WO2023047826A1 - 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2023047826A1
WO2023047826A1 PCT/JP2022/030412 JP2022030412W WO2023047826A1 WO 2023047826 A1 WO2023047826 A1 WO 2023047826A1 JP 2022030412 W JP2022030412 W JP 2022030412W WO 2023047826 A1 WO2023047826 A1 WO 2023047826A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wavelength band
light
subject
infrared
Prior art date
Application number
PCT/JP2022/030412
Other languages
English (en)
French (fr)
Inventor
智大 島田
臣一 下津
哲也 藤川
智行 河合
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2023047826A1 publication Critical patent/WO2023047826A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an image processing device, an imaging device, an image processing method, and an image processing program for extracting an abnormal area from an image of a subject.
  • Patent Document 1 describes extracting feature amounts separately from a visible light image and a near-infrared image obtained by imaging. Further, Patent Document 2 describes extracting a flaw separately from a visible light image and a near-infrared image obtained by imaging.
  • An embodiment according to the technology of the present disclosure provides an image processing device, an imaging device, an image processing method, and an image processing program capable of accurately extracting an abnormal area of a subject from an image.
  • An image processing apparatus is an image processing apparatus including a processor, wherein the processor is configured to focus on a subject with light in a first wavelength band including the wavelength band of visible light. Acquiring a visible image of a subject captured with light of one wavelength band, and focusing on the subject with light of the first wavelength band, a second wavelength that includes a near-infrared wavelength band and is different from the first wavelength band Acquiring a first near-infrared image of the subject captured with light in a band, and based on the visible image and the first near-infrared image, a first region in which an abnormality exists on the surface of the subject and an abnormality in the interior of the subject and a first mask image showing a second region including a region in which is present, and a second near-field image of the subject imaged with light of the second wavelength band in a state in which the subject is focused on with light of the second wavelength band.
  • An infrared image is acquired, and abnormal regions in the first region and the second wavelength that includes a near-
  • the "abnormal area” is an area in which an abnormality such as damage or deformation exists, but in the present invention, the "abnormal area” is an area in which such inconvenience or trouble exists. However, it may be “a region that is normal or normal, but has different characteristics from the surrounding regions (regions with different constituent materials, densities, temperatures, etc.)". Also, the "abnormal area” can be defined for both the surface and the interior of the subject. Specific examples of abnormal regions will be described later in the section "Examples of Observation Objects and Abnormal Regions in the Present Invention".
  • the processor uses the image captured with the near-infrared wavelength band as the second wavelength band as the first near-infrared image and the second near-infrared image get.
  • the processor converts an image captured as light of a second wavelength band including visible and near-infrared light into a first near-infrared image and a second near-infrared image.
  • the processor generates the first mask image based on the difference between the visible image and the first near-infrared image.
  • the processor inputs the visible image to the first neural network for abnormality detection to generate the first mask image.
  • the image processing apparatus is configured such that the processor inputs the visible image or the first near-infrared image to the second neural network for abnormality detection to A two-mask image is generated, and the second mask image is further used to extract an abnormal region.
  • the processor extracts a peripheral portion of the abnormal region as a contour.
  • An image processing apparatus is any one of the first to seventh aspects, wherein the processor acquires the second near-infrared image based on the detection result of the abnormal region in the first mask image. or not.
  • a ninth aspect of the image processing apparatus according to any one of the first to eighth aspects, wherein the processor acquires a second near-infrared image based on a difference between the first wavelength band and the second wavelength band. decide whether to
  • the processor replaces the region where the first mask image exists in the visible image and/or the first near-infrared image with another Identify the area.
  • An image processing device is an image processing device comprising a processor, wherein the processor is configured to focus on a subject with light in a first wavelength band including a wavelength band of visible light. Acquiring a visible image of a subject captured with light of one wavelength band, and focusing on the subject with light of the first wavelength band, a second wavelength that includes a near-infrared wavelength band and is different from the first wavelength band Acquiring a first near-infrared image of the subject captured with light in a band, and based on the visible image and the first near-infrared image, a first region in which an abnormality exists on the surface of the subject and an abnormality in the interior of the subject and the processor focused light in the second wavelength band onto the subject based on the detection of anomalies in the first mask image. In this state, it is determined whether or not to acquire a second near-infrared image of the subject imaged with light of the second wavelength band.
  • the processor when determining to acquire the second near-infrared image, acquires the second near-infrared image, and the first mask image and the second Abnormal regions in the first region and the second region are extracted based on the near-infrared image.
  • An imaging device includes an optical system that transmits light in a first wavelength band and light in a second wavelength band, and a first an optical filter switching mechanism that places either an optical filter or a second optical filter that reduces at least part of light in a second wavelength band on an optical path of the optical system; an optical system; the first optical filter or the second optical an imaging device that outputs an image signal corresponding to light transmitted through a filter; and an image processing device according to any one of the first to twelfth aspects, wherein the processor is configured to: A visible image, a first near-infrared image, and a second near-infrared image are obtained based on image signals output from the elements.
  • the optical system includes a focusing position adjusting lens
  • the processor comprises a focusing position indicating a focusing position when the first optical filter is arranged on the optical path.
  • Information is stored in memory in advance, and the position of the focus position adjustment lens is changed by referring to the focus position information depending on which of the first optical filter and the second optical filter is arranged on the optical path.
  • An image processing method is an image processing method executed by an image processing apparatus including a processor, wherein the processor irradiates an object with light in a first wavelength band including a wavelength band of visible light. Acquiring a visible image of a subject captured with light in a first wavelength band in a focused state, and obtaining a first wavelength including a near-infrared wavelength band in a state in which the subject is focused with light in the first wavelength band Acquiring a first near-infrared image of the subject captured with light in a second wavelength band different from the band, and based on the visible image and the first near-infrared image, a first region where an abnormality exists on the surface of the subject and a second region including a region in which an abnormality exists inside the object, and with the light of the second wavelength band focused on the object, A second near-infrared image of the captured subject is acquired, and abnormal regions in the first and second regions are extracted based on the first mask image and the second near-
  • An image processing method is an image processing method executed by an image processing apparatus including a processor, wherein the processor irradiates an object with light in a first wavelength band including a wavelength band of visible light. Acquiring a visible image of a subject captured with light in a first wavelength band in a focused state, and obtaining a first wavelength including a near-infrared wavelength band in a state in which the subject is focused with light in the first wavelength band Acquiring a first near-infrared image of the subject captured with light in a second wavelength band different from the band, and based on the visible image and the first near-infrared image, a first region where an abnormality exists on the surface of the subject and a second region including a region where an abnormality exists inside the subject, and the processor generates light in the second wavelength band based on the detection result of the abnormality in the first mask image It is determined whether or not to acquire a second near-infrared image of the subject captured with light of the second wavelength
  • An image processing program is an image processing program that causes an image processing device having a processor to execute an image processing method, wherein the processor includes a visible light wavelength band.
  • the processor includes a visible light wavelength band.
  • Acquiring a first near-infrared image of the subject captured with light in a second wavelength band different from the first wavelength band including the wavelength band of, and based on the visible image and the first near-infrared image, the surface of the subject A state in which a first mask image showing a first region in which an abnormality exists in and a second region including a region in which an abnormality exists in the subject is focused on the subject with light in the second wavelength band.
  • the image processing program according to the seventeenth aspect may further execute a configuration similar to that of the second to twelfth aspects.
  • a non-transitory recording medium recording the computer-readable code of the image processing program of these aspects is also included in the scope of the present invention.
  • An image processing program is an image processing program that causes an image processing device having a processor to execute an image processing method, wherein the processor includes a visible light wavelength band. Acquire a visible image of the subject captured with light of the first wavelength band while the subject is focused on with light of one wavelength band, and acquire a near-infrared image of the subject while the subject is focused with light of the first wavelength band Acquiring a first near-infrared image of the subject captured with light in a second wavelength band different from the first wavelength band including the wavelength band of, and based on the visible image and the first near-infrared image, the surface of the subject generating a first mask image showing a first region in which an abnormality exists in and a second region including a region in which an abnormality exists inside the subject, and the processor generates a first mask image based on the detection result of the abnormality in Then, it is determined whether or not to acquire a second near-infrared image of the subject imaged with the light
  • An image processing program according to an eighteenth aspect may further execute a configuration similar to that of the second to twelfth aspects.
  • a non-transitory recording medium recording the computer-readable code of the image processing program of these aspects is also included in the scope of the present invention.
  • FIG. 1 is a diagram showing the overall configuration of an imaging device according to the first embodiment.
  • FIG. 2 is a graph showing a light transmittance profile of an imaging lens.
  • FIG. 3 is a schematic diagram of the optical filter switching section viewed from the AA direction of FIG.
  • FIG. 4 is a block diagram showing a schematic configuration of the imaging device.
  • FIG. 5 is a diagram showing a schematic configuration of a computer.
  • FIG. 6 is a flow chart showing an imaging procedure in the first embodiment.
  • FIG. 7 is a diagram showing the procedure of image processing according to the first embodiment.
  • FIG. 8 is a diagram conceptually showing a captured image and a mask image.
  • FIG. 9 is a diagram conceptually showing an image obtained by image processing.
  • FIG. 10 is another diagram conceptually showing an image obtained by image processing.
  • FIG. 1 is a diagram showing the overall configuration of an imaging device according to the first embodiment.
  • FIG. 2 is a graph showing a light transmittance profile of an imaging lens.
  • FIG. 11 is still another diagram conceptually showing an image obtained by image processing.
  • 12A and 12B are diagrams illustrating the procedure of image processing in a modification of the first embodiment.
  • FIG. 13 is a flow chart showing an imaging procedure in the second embodiment.
  • FIG. 14 is a diagram illustrating the procedure of image processing according to the second embodiment.
  • FIG. 15 is a diagram illustrating the procedure of image processing according to the third embodiment.
  • FIG. 16 is a diagram showing image processing in a modification of the third embodiment.
  • FIG. 17 is a diagram showing the configuration of a pupil division type optical system.
  • FIG. 1 is a diagram showing the overall configuration of an imaging device according to the first embodiment.
  • an imaging device 1 imaging device
  • the imaging unit 130 has an imaging device 132 .
  • the imaging lens 100 is a lens having a plurality of lenses.
  • the imaging lens 100 includes an objective lens 10, a focus lens 12, a zoom lens 14, an aperture 30, an optical filter switching section 50, and an adjusting lens 16 in order from the objective side to the imaging side.
  • the “objective side” is the side on which an imaging target (subject) exists
  • the “imaging side” is the side on which an optical image of the imaging target is formed, that is, the side on which the imaging element 132 exists.
  • the “imaging lens” means, for example, an optical system for forming an optical image of an imaging target on the imaging surface 132A of the imaging device 132 using a plurality of lenses.
  • the “imaging lens” may include not only lenses but also optical elements such as diaphragms, optical filters, half mirrors, and/or deflection elements.
  • the objective lens 10 is fixed to a housing 90 that holds optical elements such as lenses, and collects light from an imaging target.
  • the focus lens 12 is an optical system that adjusts the focus position of the target image.
  • the zoom lens 14 is an optical system that adjusts zoom magnification.
  • the focus lens 12 and the zoom lens 14 move back and forth along the optical axis OP (optical path) of the imaging lens 100 in conjunction with each other by, for example, a cam mechanism (not shown).
  • a cam mechanism (not shown).
  • the magnification is changed and the focal position is adjusted so that the focal position is on the imaging surface 132A of the imaging element 132.
  • the focus lens 12 and the zoom lens 14 are driven by a zoom lens driving mechanism 20, for example, by rotating a zoom cam (not shown).
  • the zoom lens driving mechanism 20 is controlled by the control unit 110 (processor) according to instructions given to the imaging apparatus 1 by the user.
  • the diaphragm 30 is an optical element that blocks unnecessary light such as stray light and narrows down the luminous flux.
  • the optical filter switching unit 50 (optical filter switching mechanism) is a device for switching between different optical filters for imaging with visible light and imaging with near-infrared light.
  • the diaphragm 30 is arranged between the zoom lens 14 and the optical filter switching unit 50, but the position of the diaphragm 30 is not limited to this. You may arrange
  • the light transmittance of the imaging lens 100 (optical system) will be described.
  • Each lens of the imaging lens 100 is coated so as to have high light transmittance in specific wavelength regions of visible light and near-infrared light.
  • the coating is composed of a plurality of layers in which light-transmitting materials such as TiO2, Ta2O5, Al2O3, SiO2 and MgF2 are laminated on the lens surface in the form of thin films.
  • the refractive index, thickness, and number of layers of the material forming the thin film By adjusting the refractive index, thickness, and number of layers of the material forming the thin film, the light transmittance in a specific wavelength range can be increased and the light transmittance in a specific wavelength range can be decreased.
  • the coating material, coating thickness, and number of coating layers for increasing the light transmittance in a specific wavelength range and decreasing the light transmittance in a specific wavelength range can be designed by computer simulation or the like.
  • each of the objective lens 10, the focus lens 12, the zoom lens 14, and the adjustment lens 16 may be composed of one or more lens groups.
  • the imaging lens 100 may be composed of several to several tens of lenses as a whole.
  • Each lens of the imaging lens 100 has a high light transmittance in a specific wavelength band of visible light and near-infrared light (that is, a relatively low transmittance for wavelength bands other than the specific wavelength band). coated) to have light transmittance. Coatings may be applied to only some of the total lenses. However, it is more preferable to apply the coating to all lenses.
  • FIG. 2 is a diagram showing a profile of light transmittance of the imaging lens 100. As shown in FIG. The horizontal axis of FIG. 2 is the wavelength, and the vertical axis is the light transmittance of the imaging lens 100 . As shown in FIG. 2, the light transmittance profile of the imaging lens 100 has a first light transmittance peak PK1 in the near-infrared light peak wavelength region NIR from 1450 nm to 1650 nm.
  • the light transmittance on the short wavelength side of the near-infrared light peak wavelength region NIR decreases as the wavelength becomes shorter from the light transmittance at the short wavelength end (1450 nm) of the near-infrared light peak wavelength region NIR.
  • the light transmittance on the longer wavelength side than the near-infrared light peak wavelength region NIR decreases as the wavelength increases from the light transmittance at the long wavelength end (1650 nm) of the near-infrared light peak wavelength region NIR. .
  • the light transmittance of the first light transmittance peak PK1 is about 92% at a wavelength of 1520 nm. Moreover, the light transmittance in the wavelength range from 1490 nm to 1560 nm is 90% or more.
  • the light transmittance profile of the imaging lens 100 has a second light transmittance peak PK2 in the visible light peak wavelength region VIS from 450 nm to 700 nm. That is, the light transmittance on the shorter wavelength side than the visible light peak wavelength region VIS decreases as the wavelength becomes shorter from the light transmittance at the short wavelength end (450 nm) of the visible light peak wavelength region VIS. Further, the light transmittance on the longer wavelength side than the visible light peak wavelength region VIS decreases as the wavelength increases from the light transmittance at the long wavelength end (700 nm) of the visible light peak wavelength region VIS.
  • the light transmittance of the second light transmittance peak PK2 is about 96% at wavelengths from 570 nm to 580 nm. Moreover, the light transmittance in the wavelength range of 480 nm to 660 nm is 90% or more.
  • the light transmittance of the wavelength region on the short wavelength side of the blue wavelength region included in the visible light wavelength region is lower than the light transmittance of the wavelength region on the long wavelength side of the blue wavelength region.
  • the light transmittance in the wavelength range of 450 nm or less in the blue wavelength range is lower than the light transmittance in the wavelength range longer than 450 nm.
  • the light transmittance at wavelengths from 400 nm to 430 nm is 50% or less.
  • the light transmittance from 400 nm to 430 nm is higher than 50%, the light transmittance from 1200 nm to 1290 nm, which is the peak of the near-infrared wavelength band, is also increased. This means that the peak in the near-infrared wavelength region is widened, and there is a possibility that the light transmittance in the vicinity of the wavelength of 1550 nm is lowered, or the characteristics are deteriorated such that ripples remain.
  • the imaging lens 100 has a lower light transmittance than the near-infrared light peak wavelength range and the visible light peak wavelength range over a wavelength range of 900 nm to 1100 nm between the near-infrared light peak wavelength range and the visible light peak wavelength range.
  • the light transmittance of the low light transmittance region LOW is preferably 5% or less.
  • the low light transmittance region LOW forms a light transmittance peak in the near-infrared light wavelength region in the near-infrared light peak wavelength region NIR, and forms a light transmittance peak in the visible light region in the visible light peak wavelength region VIS. It is a region that is generated as a result of formation.
  • the wavelength of the low light transmittance region LOW is a wavelength region that does not contribute to imaging with visible light or near-infrared light, the light transmittance of the low light transmittance region LOW is low. is not a problem.
  • the light transmittance profile shown in FIG. 2 has one light transmittance peak PK1 in the near-infrared peak wavelength region NIR and one light transmittance peak PK2 in the visible light peak wavelength region VIS. .
  • the light transmittance profile of the present disclosure is not limited to this. It may have a waveform shape (ripple) due to a plurality of light transmittance peaks in the near-infrared light peak wavelength region NIR. Moreover, it may have a ripple in the visible light peak wavelength region VIS. Ripple is a shape that exhibits one characteristic of variations in light transmission. Thus, any profile having a light transmittance peak in the near-infrared light peak wavelength region NIR and a light transmittance peak in the visible light peak wavelength region VIS may be used. The number is not limited.
  • the first light transmittance peak PK1 formed in the near-infrared light peak wavelength region NIR should have a half width as narrow as possible. Near-infrared light, which has a longer wavelength than visible light, is more prone to chromatic aberration than visible light when the wavelength range is widened. Therefore, it is preferable that the imaging wavelength range be as narrow as possible.
  • the light transmittance peak at 1/3 wavelength of the fundamental wave caused by the interference caused by the coating of the fundamental wave having the light transmittance peak in the near-infrared light peak wavelength region is visible. It is obtained by coating such that it exists in the optical peak wavelength region.
  • the fundamental wave preferably has a peak near 1550 nm.
  • the light transmittance that satisfies the above conditions is configured so that the light transmittance peak of the half wavelength of the fundamental wave is prevented from appearing and the light transmittance peak of the one-third wavelength is increased. You get a profile. It is possible by conventional techniques to design and form a coating that provides a light transmission profile that satisfies the above conditions.
  • the optical filter switching unit 50 has four optical filters 52, 54, 56 and 58 arranged on a circular plate, as shown in FIG. , a turret-type switching device. This switching device rotates a disk by a turret driving mechanism 22 such as a motor to arrange each optical filter on the optical path OP. Rotation may be clockwise or counterclockwise.
  • the optical filter switching unit 50 has a sensor (not shown) for detecting the filter arranged on the optical path OP. The sensor may be installed at the turret driving mechanism 22 instead of the optical filter switching section 50 .
  • the turret driving mechanism 22 is controlled by the control section 110 (processor; turret driving section 116) in accordance with instructions given to the imaging apparatus 1 by the user.
  • optical filter switching section 50 is arranged between the zoom lens 14 and the adjustment lens 16 in FIG. 1, the position of the optical filter switching section 50 is not limited to this.
  • the optical filter switching unit 50 can be arranged between the object side of the objective lens 10 and the imaging side of the adjustment lens 16 .
  • the optical filter switching section 50 may be arranged between the adjusting lens 16 and the imaging device 132 .
  • the imaging device 1 may have a configuration in which the housing 90 that houses the imaging lens 100 and the imaging unit 130 can be separated.
  • the imaging device 1 may be configured such that the housing 90 is an interchangeable lens unit, the imaging unit 130 is a camera unit, and any one of a plurality of types of lens units can be attached to one camera unit. good.
  • the optical filter switching section 50 may be arranged in the imaging section 130, that is, in the camera section.
  • the optical filter 52 is a bandpass filter that reduces the light transmittance of at least part of the wavelength band of near-infrared light.
  • Light transmittance in at least a partial wavelength band of near-infrared light refers to, for example, the light transmittance of the light transmission region in the near-infrared light region of the imaging lens 100 .
  • the “near-infrared light region” refers to, for example, a wavelength region of 1100 nm or more in the near-infrared light wavelength region.
  • the “light transmission region in the near-infrared light region” refers to, for example, the near-infrared light peak wavelength region described later.
  • the optical filter 52 (bandpass filter) is an example of a second optical filter according to the technology of the present disclosure.
  • the optical filter 52 is arranged on the optical path OP when the imaging device 1 captures an image with light in the first wavelength band including the wavelength band of visible light.
  • the optical filter 54 (first optical filter) is a bandpass filter that reduces the light transmittance of at least part of the wavelength band of visible light.
  • Light transmittance in at least a partial wavelength band of visible light refers to light transmittance in the light transmission region of the imaging lens 100 in the visible light region.
  • the “visible light region” refers to a wavelength region of 800 nm or less, for example.
  • the “light transmission region in the visible light region” refers to, for example, the visible light peak wavelength region described later.
  • the optical filter 54 is placed on the optical path OP when imaging is performed with light of a second wavelength band that includes the wavelength band of near-infrared light and is different from the first wavelength band.
  • the optical filter 56 is a transparent glass plate having a refractive index close to that of the other optical filters 52,54 and 58.
  • transparent shall mean transmitting visible light and near-infrared light.
  • the optical filter 56 is an optical path length adjustment filter for not changing the optical path length as much as possible from the optical path length when the optical filters 52, 54 and 58 are used when the other optical filters 52, 54 and 58 are not used.
  • the optical filter 58 is an ND (Neutral Density) filter for adjusting the amount of light.
  • the optical filter 52 has a larger ND value, which is the product of the refractive index and thickness, than the ND value, which is the product of the refractive index and thickness of the optical filter 54 .
  • This reduces the difference in optical path length when switching between visible light and near-infrared light as the light of the imaging target, and reduces the difference between the in-focus position for visible light and the in-focus position for near-infrared light. This is to make it smaller. That is, the optical filter 52 transmits visible light, but the focal length for visible light is shorter than the focal length for near-infrared light.
  • the ND value of the optical filter 52 is made larger than the ND value of the optical filter 54 that transmits near-infrared light, thereby lengthening the optical path length.
  • the configuration for changing the ND value of the optical filter 52 and the ND value of the optical filter 54 adjusts the shift between the in-focus position for visible light and the in-focus position for near-infrared light only with the adjustment lens 16 described below. Useful when you can't finish.
  • the adjustment lens 16 (focus position adjustment lens) is a lens for adjusting the difference between the focal length for visible light and the focal length for near-infrared light when the optical filter 52 and the optical filter 54 are switched. is.
  • the focal length of near-infrared light which has a longer wavelength than that of visible light, is longer than that of visible light.
  • the adjustment lens 16 is adjusted based on focus position data (focus position information), which will be described later. is moved so that the in-focus position is aligned with the imaging surface 132A.
  • the adjustment lens 16 is driven by an adjustment lens driving mechanism 24.
  • the adjustment lens drive mechanism 24 is controlled by the control section 110 (processor; adjustment lens drive section 118) according to instructions from the user.
  • the control unit 110 controls the adjusting lens drive mechanism 24 so that the position of the adjusting lens 16 is adjusted to the in-focus position according to the imaging conditions instructed by the user.
  • the imaging conditions refer to, for example, selection of visible light or near-infrared light and selection of zoom magnification according to a user's instruction.
  • the focus position of the adjustment lens 16 refers to the position of the adjustment lens 16 for forming an image of light on the imaging surface 132A of the imaging element 132 in a focused state.
  • control unit 110 identifies the optical filter arranged on the optical path OP based on the filter position information from the sensor provided in the optical filter switching unit 50, and determines the position of the adjustment lens 16 based on the focus position data. may be adjusted. For example, when the user instructs the control unit 110 to perform imaging with visible light via the input unit 28 described later, the optical filter 52 is placed on the optical path OP by the control unit 110 . Further, when the user instructs the controller 110 to perform imaging with near-infrared light via the input unit 28 , the optical filter 54 is placed on the optical path OP by the controller 110 .
  • the control unit 110 detects the type of optical filter on the optical path OP using a sensor provided in the optical filter switching unit 50, and adjusts the position of the adjustment lens 16 based on the detected type of optical filter. Note that the adjustment lens 16 can also be used for flange focal length adjustment when the imaging unit 130 is replaced.
  • the configuration of the imaging lens 100 is not limited to the above aspect.
  • various types of lens configurations are known for zoom lenses and focus lenses, and configurations for zoom control and focus control (moving out the entire lens group or part of the lens group, etc.) are also known.
  • Various configurations are known, and those configurations can be adopted in the present invention.
  • the imaging device 132 is a device that converts an optical image of an imaging target formed by the imaging lens 100 into an electrical signal and outputs an image signal. , an image sensor sensitive to both visible light and near-infrared light.
  • FIG. 4 a block diagram showing a schematic configuration of an imaging device
  • the imaging device 1 is controlled by a control unit 110 (processor).
  • the control unit 110 includes a computer 200 (processor).
  • FIG. 5 a diagram showing a schematic configuration of the computer
  • the computer 200 includes a processor 202 (processor), a RAM (random access memory) 204 (RAM: random access memory), and a flash memory 206 (which are interconnected via a bus line 112). flash memory).
  • the processor 202 controls the imaging apparatus 1 as a whole.
  • a RAM 204 is, for example, a volatile memory that is used as a work area or the like when executing a control program.
  • a flash memory 206 (memory) stores a control program 210 (image processing program) and focus position data 212 (focus information) used for controlling the imaging apparatus 1 (including execution of the image processing method according to the present invention).
  • it is a non-volatile memory (non-temporary recording medium).
  • a non-temporary recording medium such as ROM (read only memory) or EEPROM (electrically erasable programmable read-only memory) may be used.
  • the processor 202 configured as described above has the function of performing the following processes.
  • (1) Switching of optical filters (2) Focus control, zoom control, adjustment of focus position (3) Judgment of acquisition of visible image, first near-infrared image, and second near-infrared image, and image based on judgment (4) Generation of mask image (5) Extraction of abnormal region (6) Operation as first and second neural networks (7) Image processing (brightness adjustment, brightness correction, image height conversion, enlargement or reduction , transformation, distortion correction, binarization, point image restoration, contour extraction) (8) Display control of images and/or image processing results (including identification display), output control to recording media such as flash memory 206, etc. Processing Unit), FPGA (Field Programmable Gate Array), PLD (Programmable Logic Device) or the like can be used to configure one or a plurality of processors.
  • image processing procedure The procedure of image processing by the imaging device 1 configured as described above is divided into image acquisition patterns (a combination of which wavelength band of light is used to focus on the subject and which wavelength band of light is used to capture an image). explain.
  • FIG. 6 is a flowchart showing an example of an imaging procedure in Example 1.
  • a visible image, a first near-infrared image, and a second near-infrared image are acquired.
  • the image acquisition order may differ from the example described below.
  • the processor 202 executes processing
  • the processor 202 executes using the RAM 204 and/or the flash memory 206 as necessary
  • the processor 202 (computer 200) is a control unit It also includes the case where it is executed via other units that constitute 110 .
  • the computer 200 places an optical filter on the optical path OP. 52 (second optical filter) is placed (step S110).
  • the optical filter 52 is an optical filter that reduces (cuts) the transmittance of at least part of near-infrared light (light in the second wavelength band).
  • the processor 202 focuses the object with the light of the first wavelength band (light including the wavelength band of visible light) via the zoom lens driving unit 114, the zoom lens driving mechanism 20, etc. (step S120), and in the focused state, A visible image is captured (step S130).
  • the processor 202 arranges the optical filter 54 (first optical filter) that reduces the transmittance of at least part of visible light on the optical path OP (step S140), and uses the light in the first wavelength band to is focused (step S150).
  • the processor 202 refers to the focus position data 212 (focus position information) stored in the flash memory 206 (memory) to adjust (change) the position of the adjustment lens 16 (focus position adjustment lens). , the in-focus position is aligned with the imaging surface 132A.
  • Processor 202 captures the first near-infrared image in this focused state (step S160).
  • the processor 202 determines the transmittance of at least a part of visible light. is placed on the optical path OP (step S180), and light in a second wavelength band (light in a wavelength band that includes a near-infrared wavelength band and is different from the first wavelength band) to focus on the subject (step S190).
  • Processor 202 captures a second near-infrared image in this focused state (step S200).
  • the processor 202 repeats the above procedure until the necessary image is acquired (until YES in step S210).
  • the control unit 110 can make the determination in step S210 based on an instruction to the input unit 28 by the user.
  • the processor 202 displays the captured images (the visible image, the first near-infrared image, and the second near-infrared image) on a display device such as the image display unit 26 so that the user can check the images. good.
  • FIG. 7 is a diagram showing the procedure of image processing according to the first embodiment.
  • the processor 202 may perform the image processing shown in FIG. 7 after capturing all images (for example, after all the processing in FIG. 6 is completed), or may perform capturing and image processing in parallel. good too.
  • the processor 202 performs image processing 500 on the first near-infrared image 302 (first near-infrared image), for example, image processing for matching brightness with the visible image 300 (visible image), Image processing 502 such as binarization is performed on the difference from the first near-infrared image 302 to generate a mask image 304 (first mask image).
  • the mask image 304 (first mask image) is based on the difference between the visible image and the near-infrared image.
  • the position, size, shape, etc. of the parts are not necessarily accurate. This is because in the first near-infrared image, the subject is focused with visible light, so the internal abnormal portion is defocused (blurred) and appears in a different position, size, shape, etc. from the actual one. This is due to the fact that there are cases where
  • FIG. 8 is a diagram conceptually showing a captured image and a mask image.
  • Part (a) of the figure shows a visible image 320 (visible image).
  • the abnormal region 322 (first region) on the surface is clear, but the internal abnormal region 324 (second region) is hardly discernible.
  • part (b) of FIG. 8 shows the first near-infrared image 330 . Since the first near-infrared image 330 is captured with light in the second wavelength band including near-infrared light, the abnormal region 322A (corresponding to the abnormal region 322; first region) on the surface is hardly distinguishable.
  • the internal abnormal region 326 (second region) is blurred and is larger than the actual abnormal region 324A (second region). It looks big.
  • a plurality of abnormal regions may exist on the surface and/or inside.
  • Part (c) of FIG. 8 shows a first mask image 340 (first mask image) generated based on the visible image 320 and the first near-infrared image 330 .
  • a region 342 (first region) corresponding to the surface abnormal region 322 (first region) and the abnormal region 322A (first region), and an internal abnormal region 324 (second region) and abnormal region 326 (second region)
  • the pixel value is 1 in the area 344A (the second area; wider than the area 346 which is the true abnormal area) (the uncolored portion in the figure), and the pixel value is 0 in the other areas (the black part inside).
  • the processor 202 performs image processing 504 such as deformation on the second near-infrared image 306 (second near-infrared image), multiplies it with the mask image 304, and performs image processing 506 such as contour extraction on the multiplication result. to generate an abnormal partial image 308 (see FIG. 7).
  • FIG. 9 is a diagram conceptually showing an image obtained by image processing, and part (a) of FIG. 9 shows a second near-infrared image 350 (second near-infrared image).
  • the abnormal region 352 (first region) on the surface is hardly distinguishable, but the second near-infrared image 350 is focused on the subject with light in the second wavelength band including near-infrared light. Since the image is taken in the state of being tilted, the internal abnormal region 354 (second region) is clearly shown.
  • the processor 202 performs image processing such as deformation according to the focus position in visible light (light in the first wavelength band), and the result of the image processing is based on the visible image and the first near-infrared image. You can fix it. Thereby, the accuracy of deformation and the like can be improved.
  • Part (b) of FIG. 9 shows the result of multiplying the second near-infrared image 350 and the first mask image 340 (image 360; corresponding to the abnormal portion image 308 of FIG. 7).
  • image 360 the abnormal region 362 on the surface of the subject is extracted with approximately the same size as the actual abnormal region and the abnormal region 352 in the second near-infrared image, but the actual abnormal region inside the subject An abnormal region 366 larger than 364 is extracted.
  • the processor 202 compares the second near-infrared image 350 and the first mask image 340 to determine whether each abnormal region is a surface abnormal region (first region) or an internal abnormal region (second region). can determine whether there is In the example shown in FIG. 9, the abnormal region 352 in the second near-infrared image 350 is almost the same size as the region 342 in the first mask image 340, so it is determined to be a surface abnormal region. is also smaller, it can be determined that "this is an area (second area) in which an abnormality exists inside the object".
  • the processor 202 can extract an area determined to be "an internal abnormal area". For example, as shown in part (c) of FIG. 9, an abnormal region 366 (including an abnormal region 364) determined to be an “internal abnormal region” can be extracted from the image 360 resulting from the multiplication. In an image 370 shown in the same portion, abnormal regions 374 and 376 correspond to abnormal regions 366 and 364, respectively. Processor 202 also extracts an internal abnormal region from second near-infrared image 350 to generate image 370A (abnormal region 374 corresponds to abnormal region 354), as shown in part (d) of FIG. You may
  • the processor 202 can extract from the visible image 320 an abnormal region 322 determined to be ⁇ an abnormal region on the surface''.
  • An example of such extraction is an image 380 (abnormal region 382 corresponds to abnormal region 322) shown in part (a) of FIG. 10 (another diagram conceptually showing an image obtained by image processing).
  • the processor 202 converts a surface abnormal region 392 (corresponding to the abnormal regions 322 and 382) and an internal abnormal region 394 (corresponding to the abnormal region 374) into one image 390, as shown in part (b) of FIG. Image 390 may be generated by combining.
  • the processor 202 may extract a region (normal region) other than the abnormal region from the visible image or the first and second near-infrared images and synthesize them.
  • Processor 202 may perform various image processing and/or identification on the generated images. For example, as shown in part (a) of FIG. 11 (still another diagram conceptually showing an image obtained by image processing), the peripheral edges of abnormal regions on the surface and inside are extracted as contours 402 and 404. Image 400 may be generated. By extracting the contour in this way, the size, shape, etc. of the abnormal region can be easily measured.
  • the processor 202 performs image processing on the generated images (visible image, first near-infrared image, second near-infrared image, and images generated using these images), and performs the image processing. An image may be used to extract contours.
  • the processor 202 may add frame lines (bounding boxes) 413 and 418 to the extracted abnormal regions 412 and 414 for identification display.
  • the processor 202 may perform contour enhancement of the abnormal region, coloring including identification display such as color coding depending on whether the region is on the surface or inside, and painting.
  • the processor 202 may perform image processing and/or identification display on the visible image, the first near-infrared image, and the second near-infrared image instead of the image from which the abnormal region is extracted or the synthesized image.
  • the processor 202 can cause the image display unit 26 (display device) or the like to display the result of image processing and/or identification display.
  • the processor 202 may measure and output the feature amount (position, size, shape, quantity, etc.) of the abnormal region.
  • the processor 202 can perform such measurements based on known image processing techniques (including machine learning techniques such as neural networks).
  • the processor 202 can associate the generated image with its measurement results, etc., and record them in a recording medium such as the flash memory 206 .
  • Example 1 the abnormal region on the surface is extracted from the visible image, the first mask image is generated using the visible image and the first near-infrared image, and the position of the internal abnormal region, Roughly extract the size, shape, etc. Then, using the first mask image and the second near-infrared image, the internal abnormal region can be extracted with high accuracy.
  • the computer 200 may use the visible image and the first near-infrared image to determine (judge) "whether or not to capture the second near-infrared image".
  • the computer 200 determines to acquire the second near-infrared image, it can extract an abnormal region according to the procedure described above.
  • the processing time can be shortened by not capturing the second near-infrared image for increasing the detection accuracy of abnormality.
  • determining (determining) using the visible image and the first near-infrared image means, for example, based on the detection result of an abnormality in the first mask image, or the visible image when generating the first mask image. and the first near-infrared image (image before the first mask image is generated by binarization or the like) based on the detection result of abnormality.
  • 2 whether to capture a near-infrared image may be determined. This is because if the difference in wavelength between the visible image and the first near-infrared image is small, the amount of defocusing is small, and the degree of improvement in detection accuracy by using the second near-infrared image is also low.
  • the images acquired in the modified example are the same as those in Example 1 (visible image, first near-infrared image, and second near-infrared image).
  • the modification differs from the first embodiment in that a neural network is used for image processing.
  • 12A and 12B are diagrams illustrating the procedure of image processing in a modification of the first embodiment.
  • Computer 200 (control unit 110; processor) inputs visible image 300 and first near-infrared image 302 to abnormality detection neural network 311 (first neural network) to generate abnormality partial map 310, Image processing such as binarization is performed on the partial map 310 to generate a mask image 304 (first mask image).
  • the computer 200 inputs the mask image 304 and the second near-infrared image after the image processing 504 described above to the abnormality detection neural network 312 (first neural network) to generate an abnormal partial image 308 .
  • the neural networks 311 and 312 can internally perform image multiplication.
  • Neural networks 311 and 312 can be realized by, for example, DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), U-NET, etc. (including their derivative versions and improved versions).
  • DNN Deep Neural Network
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • U-NET etc.
  • Various neural networks can be used without being limited to the example.
  • the computer 200 may use neural networks 311 and 312 with characteristics (described later) according to the characteristics of the abnormality to be detected.
  • the "characteristics of abnormality” include, for example, whether it is a surface abnormality or an internal abnormality, the type of abnormality (cracks, peeling, bubbles, foreign substances, dents, cavities, etc.), the number, size, shape, etc. item fluctuation range), but is not limited to these items. If the imaging device 1 has a plurality of neural networks, the computer 200 may switch the neural network according to the characteristics of the abnormality to be detected and use it as the neural network 311 and/or the neural network 312 . Thereby, an appropriate characteristic network can be selected according to the characteristics of the abnormality.
  • the neural network 311 and the neural network 312 may be neural networks with the same layer configuration (layer structure).
  • the “same layer configuration” includes, for example, a repeating pattern of convolutional layers and pooling layers, the presence or absence and number of fully connected layers, the presence or absence of branching and its pattern, etc., but is not limited to these points.
  • the neural networks 311 and 312 can be constructed using machine learning techniques. When learning is performed, weighting coefficients in a state in which learning has been performed for one of neural network 311 (first neural network) and neural network 312 (second neural network) are used as weighting coefficients in the other neural network. , the other neural network can be trained. Such a procedure enables efficient learning. In learning, a mask image or an abnormal partial image can be given as training data.
  • the neural network 311 and the neural network 312 may have different characteristics while adopting the same layer configuration. "Changing the characteristics” means, for example, that the neural network 312 increases the number of filters in the convolutional layer, increases the filter size, reduces the stride number of the filters, and reduces the number of dilations compared to the neural network 311. , reducing the filter size of max pooling, etc., but the characteristics to be changed are not limited to these items.
  • the neural network 312 is used to detect an abnormal portion with higher accuracy than the neural network 311, and for that purpose it is effective to change the characteristics in this way.
  • the neural network 311 and/or the neural network 312 may be a two-stage neural network.
  • these neural networks include a subject detection neural network for detecting a subject from an image (a visible image, a first near-infrared image, a second near-infrared image, and an image after mask processing), and a detected subject. and an anomaly detection neural network for detecting an anomaly in an image (a visible image, a first near-infrared image, a second near-infrared image, and an image after mask processing), and a detected subject. and an anomaly detection neural network for detecting an anomaly in
  • the neural network 311 and the neural network 312 have the same layer configuration, the neural network 311 and the neural network 312 may have different layer configurations.
  • Example 2 Another example of image processing in the present invention will be described.
  • the wavelength bands for acquiring the first near-infrared image and the second near-infrared image are different from those in Example 1 and Modification 1 described above.
  • FIG. 13 is a flow chart showing the imaging procedure in the second embodiment.
  • the computer 200 places the transparent optical filter 56 on the optical path OP (step S140A) to allow visible light and near-infrared light to pass through the imaging lens 100.
  • visible light first wavelength band
  • a first near-infrared image is captured (step S160).
  • the computer 200 arranges the transparent optical filter 56 on the optical path OP (step S180A) to allow visible light and near-infrared light to pass through the imaging lens 100, and in this state near-infrared light (second wavelength band) is focused on the subject (step S190), and a second near-infrared image is taken (step S200).
  • FIG. 14 is a diagram showing the procedure of image processing in the second embodiment.
  • a first near-infrared image 303 is the first near-infrared image acquired in step S160 of FIG. 13
  • a second near-infrared image 307 is the second near-infrared image acquired in step S200.
  • Other processes are the same as in the first embodiment (see FIG. 7), and the abnormal partial image 308 can be generated.
  • image processing, image identification display, composition, recording, etc. can be performed in the same manner as in the first embodiment and its modifications.
  • Example 3 Another example of image processing in the present invention will be described.
  • Example 3 differs from Example 1, Modification 1, and Example 2 described above in that two mask images are used.
  • the image (wavelength band, focus state) to be acquired is the same as in Example 2, and can be imaged by the same procedure as in FIG. 13 .
  • FIG. 15 is a diagram showing the procedure of image processing in the third embodiment.
  • a computer 200 performs object detection image processing 501 on a visible image 300, and generates a mask image 304A (second mask image) based on the result.
  • the image processing 501 may be performed by a neural network.
  • the computer 200 multiplies the second near-infrared image 307 after the image processing 504, the mask image 305 (first mask image), and the mask image 304A (second mask image), and the result is a contour image.
  • Image processing 506 such as extraction is performed to generate an abnormal partial image 308 .
  • the abnormal partial image 308 is generated based on the multiplication of three images in the example shown in FIG. 15, the abnormal partial image 308 may be generated in a different pattern.
  • the computer 200 generates a mask image 305 (first mask image) and a mask image 304A (second mask image) as shown in FIG.
  • a logical sum may be calculated to generate a mask image 309 (third mask image), and the second near-infrared image 307 after the image processing 504 may be multiplied by this mask image 309 .
  • Subsequent processing for generating the abnormal partial image 308 can be performed in the same manner as in the example of FIG.
  • image processing, image identification display, composition, recording, etc. can be performed in the same manner as in the first embodiment, the modified example, and the second embodiment.
  • an image may be acquired by an imaging device having a configuration different from that of the imaging device 1 .
  • FIG. 17 is a diagram showing the configuration of a pupil division type optical system.
  • a lens device 100A shown in the figure includes a housing 102 that houses a zoom lens and a focus lens.
  • lenses that transmit visible light and near-infrared light can be used in the same manner as the imaging lens 100 described above.
  • a slit 108 is formed in the housing 102 at or near the pupil position of the optical system, and the filter unit 134 is inserted into the slit 108 .
  • the filter unit 134 has a frame 135, and the frame 135 is provided with opening regions 135A to 135D.
  • an optical filter (second optical filter; the above-described optical filter 52 or the like) that reduces the transmittance of near-infrared light and transmits visible light (light in the first wavelength band), and a visible light transmission
  • An optical filter (first optical filter; the above-mentioned optical filter 54 or the like) is arranged to transmit near-infrared light (light in the second wavelength band) with a reduced efficiency.
  • An optical filter that transmits both visible light and near-infrared light may be placed in either aperture region.
  • the optical filters that transmit visible light may be composed of color filters corresponding to R (red), G (green), and B (blue) so that a color image can be obtained.
  • R red
  • G green
  • B blue
  • only a part of the opening area may be used and the rest of the opening area may be shielded.
  • an imaging device that selectively receives light transmitted through any one of the aperture regions 135A to 135D.
  • Visible light pixels and near-infrared light pixels can be arranged in this imaging element. Pixels that receive both visible light and near-infrared light may be provided.
  • a color filter may be arranged in the pixel for visible light.
  • a polarizing element that transmits light in a specific polarization direction may be arranged in the aperture region and/or the imaging element to achieve selective light reception.
  • a visible image and a near-infrared image can be acquired simultaneously based on the image signal output by the imaging device having such a configuration. At this time, it is preferable to perform demosaicing (also referred to as synchronizing) of the image signal according to the arrangement pattern of the pixels.
  • observation targets and abnormal regions in the present invention observation objects (objects ).
  • the abnormal region is, for example, surface damage, internal dents, cavities, etc.
  • the "abnormal region" is not limited to a region where there is an inconvenience or defect.
  • a living body for example, a tubular organ, etc.
  • a living body for example, a tubular organ, etc.
  • blood vessels and lesions near the surface of the mucous membrane and blood vessels and lesions in the deep layer (inside) can be observed as “abnormal regions”.
  • Imaging Device 10 Objective Lens 12 Focus Lens 14 Zoom Lens 16 Adjustment Lens 20
  • Zoom Lens Drive Mechanism 22 Turret Drive Mechanism 24 Adjustment Lens Drive Mechanism 26
  • Image Display Section 28 Input Section 30
  • Diaphragm 50 Optical Filter Switching Section 52
  • Optical Filter 54 Optical Filter 56
  • Optical filter 58 Optical filter 90 Housing 100 Imaging lens 100A Lens device 102 Housing 108 Slit 110 Control unit 112 Bus line 114 Zoom lens driving unit 116 Turret driving unit 118 Adjustment lens driving unit 130
  • Computer 202 Processor 204
  • RAM 206 flash memory 210
  • control program 212 focusing position data 300 visible image 302 first near-infrared image 303 first near-infrared image 304 mask image 304A mask image 305 mask image 306 second near-infrared image 307 second near-infrare

Abstract

本発明の一つの実施形態は、画像から被写体の異常領域を精度良く抽出することができる画像処理装置、撮像装置、画像処理方法、及び画像処理プログラムを提供する。本発明の一態様に係る画像処理装置において、プロセッサは、可視画像と第１近赤外画像とに基づいて、被写体の表面において異常が存在する第１領域と、被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、第２波長帯域の光で被写体に合焦させた状態で第２波長帯域の光で撮像した被写体の第２近赤外画像を取得し、第１マスク画像と第２近赤外画像とに基づいて、第１領域及び第２領域における異常領域を抽出する。

Description

画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
　本発明は、被写体の画像から異常領域を抽出するための画像処理装置、撮像装置、画像処理方法、及び画像処理プログラムに関する。
　画像から異常領域を抽出するための技術に関し、例えば特許文献１には、撮像により得られた可視光画像と近赤外画像とから個別に特徴量を抽出することが記載されている。また、特許文献２には、撮像により得られた可視光画像と近赤外画像とから個別に傷を抽出することについて記載されている。
特開２０１４－０５２８００号公報 特開２０２０－０５１９８１号公報
　可視光領域の画像と近赤外光領域の画像を比較することで、例えば果物の内部の打痕を検出することができる。こうした打痕のような異常部分の正確な大きさを知る上では、異常が検出される近赤外の焦点位置で撮像する必要がある。一方、可視光の焦点位置で撮像した可視画像と近赤外光の焦点位置で撮像した近赤外画像の差分をとることで異常部分を抽出しようとしても、異常がない部分に関してもボケ具合が大きく異なっているので、差分が大きくなり、異常部分だけを抽出することが困難である。しかしながら、上述した特許文献１，２のような従来の技術は、このような事情を十分考慮したものではなかった。
　本開示の技術に係る一つの実施形態は、画像から被写体の異常領域を精度良く抽出することができる画像処理装置、撮像装置、画像処理方法、及び画像処理プログラムを提供する。
　本発明の第１の態様に係る画像処理装置は、プロセッサを備える画像処理装置であって、プロセッサは、可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で第１波長帯域の光で撮像した被写体の可視画像を取得し、第１波長帯域の光で被写体に合焦させた状態で、近赤外の波長帯域を含み第１波長帯域とは異なる第２波長帯域の光で撮像した被写体の第１近赤外画像を取得し、可視画像と第１近赤外画像とに基づいて、被写体の表面において異常が存在する第１領域と、被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、第２波長帯域の光で被写体に合焦させた状態で第２波長帯域の光で撮像した被写体の第２近赤外画像を取得し、第１マスク画像と第２近赤外画像とに基づいて、第１領域及び第２領域における異常領域を抽出する。
　第１の態様及び以下の各態様において、「異常領域」は例えば損傷、変状等の異常が存在する領域であるが、本発明において「異常領域」はこのような不都合や不具合が存在する領域に限らず、「正常あるいは通常の領域であるが、周囲の領域と異なる特徴（構成する物質、密度、温度等が異なる領域）を有する領域」であってもよい。また、「異常領域」は被写体の表面、内部のいずれについても規定することができる。具体的な異常領域の例については、「本発明における観察対象及び異常領域の例」の項で後述する。
　第２の態様に係る画像処理装置は第１の態様において、プロセッサは、近赤外の波長帯域を第２波長帯域として撮像された画像を第１近赤外画像及び第２近赤外画像として取得する。
　第３の態様に係る画像処理装置は第１または第２の態様において、プロセッサは、可視及び近赤外を含む波長帯域を第２波長帯域の光として撮像された画像を第１近赤外画像及び第２近赤外画像として取得する。
　第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、プロセッサは、可視画像と第１近赤外画像との差分に基づいて第１マスク画像を生成する。
　第５の態様に係る画像処理装置は第１から第４の態様のいずれか１つにおいて、プロセッサは、可視画像を異常検出用の第１ニューラルネットワークに入力して第１マスク画像を生成する。
　第６の態様に係る画像処理装置は第１から第５の態様のいずれか１つにおいて、プロセッサは、可視画像または第１近赤外画像を異常検出用の第２ニューラルネットワークに入力して第２マスク画像を生成し、第２マスク画像をさらに用いて異常領域を抽出する。
　第７の態様に係る画像処理装置は第１から第６の態様のいずれか１つにおいて、プロセッサは、異常領域の周縁部を輪郭として抽出する。
　第８の態様に係る画像処理装置は第１から第７の態様のいずれか１つにおいて、プロセッサは、第１マスク画像における異常領域の検出結果に基づいて、第２近赤外画像を取得するか否かを判断する。
　第９の態様に係る画像処理装置は第１から第８の態様のいずれか１つにおいて、プロセッサは、第１波長帯域と第２波長帯域との差分に基づいて第２近赤外画像を取得するか否かを判断する。
　第１０の態様に係る画像処理装置は第１から第９の態様のいずれか１つにおいて、プロセッサは、可視画像及び／または第１近赤外画像において第１マスク画像が存在する領域を他の領域と識別表示する。
　本発明の第１１の態様に係る画像処理装置は、プロセッサを備える画像処理装置であって、プロセッサは、可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で第１波長帯域の光で撮像した被写体の可視画像を取得し、第１波長帯域の光で被写体に合焦させた状態で、近赤外の波長帯域を含み第１波長帯域とは異なる第２波長帯域の光で撮像した被写体の第１近赤外画像を取得し、可視画像と第１近赤外画像とに基づいて、被写体の表面において異常が存在する第１領域と、被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、プロセッサは、第１マスク画像における異常の検出結果に基づいて、第２波長帯域の光で被写体に合焦させた状態で第２波長帯域の光で撮像した被写体の第２近赤外画像を取得するか否かを判断する。
　第１２の態様に係る画像処理装置は第１１の態様において、プロセッサは、第２近赤外画像を取得すると判断した場合は、第２近赤外画像を取得し、第１マスク画像と第２近赤外画像とに基づいて、第１領域及び第２領域における異常領域を抽出する。
　本発明の第１３の態様に係る撮像装置は、第１波長帯域の光及び第２波長帯域の光を透過させる光学系と、第１波長帯域の光の少なくとも一部の透過率を下げる第１光学フィルタと第２波長帯域の光の少なくとも一部を下げる第２光学フィルタとのいずれかを光学系の光路上に配置する光学フィルタ切替機構と、光学系と、第１光学フィルタまたは第２光学フィルタと、を透過した光に対応する画像信号を出力する撮像素子と、第１から第１２の態様のいずれか１つに係る画像処理装置と、を備える撮像装置であって、プロセッサは、撮像素子から出力される画像信号に基づいて可視画像、第１近赤外画像、及び第２近赤外画像を取得する。
　第１４の態様に係る撮像装置は第１３の態様において、光学系は合焦位置調整レンズを備え、プロセッサは、第１光学フィルタが光路上に配置された場合の合焦位置を示す合焦位置情報をあらかじめメモリに記憶し、第１光学フィルタと第２光学フィルタのいずれが光路上に配置されているかに応じて合焦位置情報を参照して合焦位置調整レンズの位置を変更する。
　本発明の第１５の態様に係る画像処理方法は、プロセッサを備える画像処理装置により実行される画像処理方法であって、プロセッサは、可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で第１波長帯域の光で撮像した被写体の可視画像を取得し、第１波長帯域の光で被写体に合焦させた状態で、近赤外の波長帯域を含み第１波長帯域とは異なる第２波長帯域の光で撮像した被写体の第１近赤外画像を取得し、可視画像と第１近赤外画像とに基づいて、被写体の表面において異常が存在する第１領域と、被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、第２波長帯域の光で被写体に合焦させた状態で第２波長帯域の光で撮像した被写体の第２近赤外画像を取得し、第１マスク画像と第２近赤外画像とに基づいて、第１領域及び第２領域における異常領域を抽出する。第１５の態様に係る画像処理方法は、第２から第１２の態様と同様の構成をさらに実行するものでもよい。
　本発明の第１６の態様に係る画像処理方法は、プロセッサを備える画像処理装置により実行される画像処理方法であって、プロセッサは、可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で第１波長帯域の光で撮像した被写体の可視画像を取得し、第１波長帯域の光で被写体に合焦させた状態で、近赤外の波長帯域を含み第１波長帯域とは異なる第２波長帯域の光で撮像した被写体の第１近赤外画像を取得し、可視画像と第１近赤外画像とに基づいて、被写体の表面において異常が存在する第１領域と、被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、プロセッサは、第１マスク画像における異常の検出結果に基づいて、第２波長帯域の光で被写体に合焦させた状態で第２波長帯域の光で撮像した被写体の第２近赤外画像を取得するか否かを判断する。第１６の態様に係る画像処理方法は、第２から第１２の態様と同様の構成をさらに実行するものでもよい。
　本発明の第１７の態様に係る画像処理プログラムは、プロセッサを備える画像処理装置に画像処理方法を実行させる画像処理プログラムであって、画像処理方法において、プロセッサは、可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で第１波長帯域の光で撮像した被写体の可視画像を取得し、第１波長帯域の光で被写体に合焦させた状態で、近赤外の波長帯域を含み第１波長帯域とは異なる第２波長帯域の光で撮像した被写体の第１近赤外画像を取得し、可視画像と第１近赤外画像とに基づいて、被写体の表面において異常が存在する第１領域と、被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、第２波長帯域の光で被写体に合焦させた状態で第２波長帯域の光で撮像した被写体の第２近赤外画像を取得し、第１マスク画像と第２近赤外画像とに基づいて、第１領域及び第２領域における異常領域を抽出する。第１７の態様に係る画像処理プログラムは、第２から第１２の態様と同様の構成をさらに実行するものでもよい。これら態様の画像処理プログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の範囲に含まれる。
　本発明の第１８の態様に係る画像処理プログラムは、プロセッサを備える画像処理装置に画像処理方法を実行させる画像処理プログラムであって、画像処理方法において、プロセッサは、可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で第１波長帯域の光で撮像した被写体の可視画像を取得し、第１波長帯域の光で被写体に合焦させた状態で、近赤外の波長帯域を含み第１波長帯域とは異なる第２波長帯域の光で撮像した被写体の第１近赤外画像を取得し、可視画像と第１近赤外画像とに基づいて、被写体の表面において異常が存在する第１領域と、被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、プロセッサは、第１マスク画像における異常の検出結果に基づいて、第２波長帯域の光で被写体に合焦させた状態で第２波長帯域の光で撮像した被写体の第２近赤外画像を取得するか否かを判断する。第１８の態様に係る画像処理プログラムは、第２から第１２の態様と同様の構成をさらに実行するものでもよい。これら態様の画像処理プログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の範囲に含まれる。
図１は、第１の実施形態に係る撮像装置の全体構成を示す図である。 図２は、撮像レンズの光透過率プロファイルを示すグラフである。 図３は、図１のＡ－Ａ方向から見た光学フィルタ切替部の概略図である。 図４は、撮像装置の概略構成を示すブロック図である。 図５は、コンピュータの概略構成を示す図である。 図６は、実施例１における撮像手順を示すフローチャートである。 図７は、実施例１における画像処理の手順を示す図である。 図８は、撮像した画像及びマスク画像を概念的に示す図である。 図９は、画像処理により得られた画像を概念的に示す図である。 図１０は、画像処理により得られた画像を概念的に示す他の図である。 図１１は、画像処理により得られた画像を概念的に示すさらに他の図である。 図１２は、実施例１の変形例における画像処理の手順を示す図である。 図１３は、実施例２における撮像手順を示すフローチャートである。 図１４は、実施例２における画像処理の手順を示す図である。 図１５は、実施例３における画像処理の手順を示す図である。 図１６は、実施例３の変形例における画像処理を示す図である。 図１７は、瞳分割型の光学系の構成を示す図である。
　本発明に係る画像処理装置、撮像装置、画像処理方法、及び画像処理プログラムの一つの実施形態は以下の通りである。説明においては、必要に応じて添付図面が参照される。
　［第１の実施形態］
　［撮像装置の構成］
　図１は、第１の実施形態に係る撮像装置の全体構成を示す図である。図１に示すように、撮像装置１（撮像装置）は、撮像レンズ１００と撮像部１３０を備えている。撮像部１３０は、撮像素子１３２を備えている。
　［撮像レンズの構成］
　撮像レンズ１００は、複数のレンズを有するレンズである。撮像レンズ１００は、対物側から結像側に向かって、対物レンズ１０、フォーカスレンズ１２、ズームレンズ１４、絞り３０、光学フィルタ切替部５０、及び調整レンズ１６を備えている。「対物側」とは撮像対象（被写体）が存在する側であり、「結像側」とは、撮像対象の光学像が結像される側、つまり撮像素子１３２が存在する側である。なお、「撮像レンズ」とは、例えば、複数のレンズによって撮像素子１３２の撮像面１３２Ａに撮像対象の光学像を結像させるための光学系を意味する。「撮像レンズ」は、レンズだけではなく、絞り、光学フィルタ、ハーフミラー、及び／または偏向素子等の光学素子を含んでいてもよい。
　対物レンズ１０は、レンズ等の各光学素子を保持する筐体９０に固定されており、撮像対象からの光を集光する。
　フォーカスレンズ１２は、対象像の合焦位置を調節する光学系である。ズームレンズ１４は、ズーム倍率を調節する光学系である。フォーカスレンズ１２及びズームレンズ１４は、例えばカム機構（図示省略）により互いに連動して撮像レンズ１００の光軸ＯＰ（光路）に沿って前後に移動する。これにより、倍率を変更し、かつ撮像素子１３２の撮像面１３２Ａに合焦位置が来るように合焦位置が調節される。フォーカスレンズ１２及びズームレンズ１４は、ズームレンズ駆動機構２０により例えばズームカム（図示省略）を回転させることにより駆動される。ズームレンズ駆動機構２０は、ユーザから撮像装置１に対して与えられた指示に応じて、制御部１１０（プロセッサ）により制御される。
　絞り３０は、迷光等の不要光を遮光し、光束を絞る光学素子である。光学フィルタ切替部５０（光学フィルタ切替機構）は、可視光での撮像と近赤外光での撮像とで異なる光学フィルタに切り替えるための装置である。図１では、絞り３０はズームレンズ１４と光学フィルタ切替部５０との間に配置されているが、絞り３０の位置はこれに限定されず、例えば、フォーカスレンズ１２とズームレンズ１４との間に移動可能に配置されていてもよい。
　［撮像レンズの光透過率］
　撮像レンズ１００（光学系）の光透過率について説明する。撮像レンズ１００の各レンズは、可視光及び近赤外光の特定の波長域が高い光透過率を有するようにコーティングされている。コーティングは、レンズ面にＴｉＯ２，Ｔａ２Ｏ５，Ａｌ２Ｏ３，ＳｉＯ２，ＭｇＦ２等の光を透過する材料を薄膜状に積層したコーティングにより、複数の層から構成されることが好ましい。薄膜を形成する材料の屈折率と厚さと層数とを調整することにより、特定の波長域の光透過率を高くし、特定の波長域の光透過率を低くすることができる。特定の波長域の光透過率を高くし、特定の波長域の光透過率を低くするためのコーティング材料、コーティング厚さ、コーティング層数は、コンピュータシミュレーション等により設計することができる。
　光透過率とは、ある波長の光を例えばレンズに入射させた場合の、レンズに入射する光の強度（入射光強度）に対するレンズから出射する光の強度（出射光強度）の割合を意味し、次式で表される。
　光透過率（％）＝１００ד出射光強度”／“入射光強度”
　図１では簡略化して描いているが、対物レンズ１０、フォーカスレンズ１２、ズームレンズ１４、及び調整レンズ１６は、それぞれが１枚以上のレンズ群から構成されていてもよい。撮像レンズ１００は、全体として、数枚から数十枚のレンズから構成されていてもよい。撮像レンズ１００の各レンズは、可視光と近赤外光のうち、特定の波長帯域に高い光透過率を有するように（即ち、当該特定の波長帯域以外の波長帯域については、相対的に低い光透過率を有するように）コーティングされている。コーティングは、全部のレンズのうち一部だけに施してもよい。しかしコーティングは全部のレンズに施すことがより好ましい。
　［可視光及び近赤外光での合焦位置の相違］
　上述の撮像レンズ１００では、可視光と近赤外光の焦点位置に相違がある。相違は光学系の具体的な構成に依存するが、例えば0.5mm～2.0mm程度である。可視光で被写体に合焦させた状態で撮像する場合、近赤外光を発する領域はデフォーカス状態となる。
　［撮像レンズの光透過率のプロファイル］
　図２は、撮像レンズ１００の光透過率のプロファイルを示す図である。図２の横軸が波長、縦軸が撮像レンズ１００の光透過率である。図２に示すように、撮像レンズ１００の光透過率のプロファイルは、１４５０ｎｍから１６５０ｎｍの近赤外光ピーク波長域ＮＩＲに第１の光透過率ピークＰＫ１を有する。つまり、近赤外光ピーク波長域ＮＩＲよりも短波長側の光透過率は、近赤外光ピーク波長域ＮＩＲの短波長端（１４５０ｎｍ）の光透過率から波長が短くなるにつれて減少している。また、近赤外光ピーク波長域ＮＩＲよりも長波長側の光透過率は、近赤外光ピーク波長域ＮＩＲの長波長端（１６５０ｎｍ）の光透過率から波長が長くなるにつれて減少している。
　図２からわかるように、第１の光透過率ピークＰＫ１の光透過率は、１５２０ｎｍの波長で約９２％である。また、波長１４９０ｎｍから１５６０ｎｍの範囲の光透過率は９０％以上である。
　また、撮像レンズ１００の光透過率のプロファイルは、４５０ｎｍから７００ｎｍの可視光ピーク波長域ＶＩＳに第２の光透過率ピークＰＫ２を有する。つまり、可視光ピーク波長域ＶＩＳよりも短波長側の光透過率は、可視光ピーク波長域ＶＩＳの短波長端（４５０ｎｍ）の光透過率から波長が短くなるにつれて減少している。また、可視光ピーク波長域ＶＩＳよりも長波長側の光透過率は、可視光ピーク波長域ＶＩＳの長波長端（７００ｎｍ）の光透過率から波長が長くなるにつれて減少している。
　図２からわかるように、第２の光透過率ピークＰＫ２の光透過率は、５７０ｎｍから５８０ｎｍの波長で約９６％である。また、波長４８０ｎｍから６６０ｎｍの範囲の光透過率は９０％以上である。
　また、可視光波長域に含まれる青色波長域のうちの短波長側の波長域の光透過率は、青色波長域のうちの長波長側の波長域の光透過率よりも低い。具体的には、青色波長域の４５０ｎｍ以下の波長域の光透過率は、４５０ｎｍより長い波長域の光透過率より低い。また、波長４００ｎｍから４３０ｎｍ の光透過率は、５０％以下である。波長４００ｎｍから４３０ｎｍまでの光透過率を５０％より高くすると、近赤外波長帯のピークとなる３倍波である波長１２００ｎｍから１２９０ｎｍまでの光透過率も高くなる。これは近赤外波長域のピークが広がることを意味し、波長１５５０ｎｍ付近の光透過率が低下する、又はリップルが残留するなどの特性低下を生じる可能性がある。
　さらに、撮像レンズ１００は、近赤外光ピーク波長域と可視光ピーク波長域との間の波長９００ｎｍから１１００ｎｍにわたって、近赤外光ピーク波長域と可視光ピーク波長域よりも光透過率が低い、低光透過率領域ＬＯＷを有する。低光透過率領域ＬＯＷの光透過率は５％以下であることが好ましい。低光透過率領域ＬＯＷは、近赤外光ピーク波長域ＮＩＲに近赤外光波長域での光透過率ピークを形成し、可視光ピーク波長域ＶＩＳに可視光域での光透過率ピークを形成したことに伴い生じる領域である。しかし、低光透過率領域ＬＯＷの波長は、可視光での撮像及び近赤外光での撮像のいずれにも寄与しない波長域であるので、低光透過率領域ＬＯＷの光透過率が低いことは問題とはならない。
　図２に示す光透過率のプロファイルは、近赤外光ピーク波長域ＮＩＲに１つの光透過率ピークＰＫ１を有し、可視光ピーク波長域ＶＩＳに１つの光透過率ピークＰＫ２を有している。しかし、本開示の光透過率のプロファイルはこれに限られない。近赤外光ピーク波長域ＮＩＲに複数の光透過率ピークによる波形の形状（リップル）を有していてもよい。また、可視光ピーク波長域ＶＩＳにリップルを有していてもよい。リップルは、光透過率の変動の１つの特性を示す形状である。このように、近赤外光ピーク波長域ＮＩＲに光透過率ピークを有し、可視光ピーク波長域ＶＩＳに光透過率ピークを有するプロファイルであればよく、リップルの有無、つまり光透過率ピークの数は限定されない。
　近赤外光ピーク波長域ＮＩＲに形成される第１の光透過率ピークＰＫ１は、できるだけ半値幅が狭いほうがよい。可視光に比較して波長の長い近赤外光は、波長範囲が広がると色収差が可視光に比べて出やすい。従って、撮像する波長範囲はできるだけ狭いほうが好ましい。
　図２に示すような光透過率のプロファイルは、近赤外光ピーク波長域に光透過率ピークを有する基本波のコーティングによる干渉によって生じる基本波の３分の１波長の光透過率ピークが可視光ピーク波長域に存在するようにコーティングすることによって得られる。基本波は、１５５０ｎｍ付近にピークを有することが好ましい。この基本波の２分の１波長の光透過率ピークが出ないようにし、３分の１波長の光透過率ピークが大きくなるようにコーティングを構成することにより、上述の条件を満たす光透過率プロファイルが得られる。上述の条件を満たす光透過率プロファイルが得られるコーティングを設計し、形成することは従来技術によって可能である。
　［光学フィルタ切替部］
　光学フィルタ切替部５０は、図３（図１のＡ－Ａ方向から見た光学フィルタ切替部の概略図）に示すように、円板に４つの光学フィルタ５２，５４，５６及び５８を配置した、ターレット式の切替装置である。この切替装置は、円板をモータ等のターレット駆動機構２２により回転させてそれぞれの光学フィルタを光路ＯＰ上に配置させる。回転は、時計回りでもよいし、反時計回りでもよい。光学フィルタ切替部５０は、光路ＯＰ上に配置されているフィルタを検知するための図示しないセンサを備えている。センサの設置箇所は、光学フィルタ切替部５０ではなく、ターレット駆動機構２２であってもよい。ターレット駆動機構２２は、ユーザから撮像装置１に対して与えられた指示に応じて、制御部１１０（プロセッサ；ターレット駆動部１１６）により制御される。
　なお、図１では光学フィルタ切替部５０は、ズームレンズ１４と調整レンズ１６との間に配されているが、光学フィルタ切替部５０の位置はこれに限定されない。光学フィルタ切替部５０は、対物レンズ１０よりも対象物側から調整レンズ１６よりも結像側までの間に配置可能である。例えば、光学フィルタ切替部５０は、調整レンズ１６と撮像素子１３２との間に配置してもよい。
　また、撮像装置１は、撮像レンズ１００を収容する筐体９０と撮像部１３０とが分離可能な構成であってもよい。例えば、撮像装置１は、筐体９０を交換可能なレンズ部とし、撮像部１３０をカメラ部とし、複数種類のレンズ部のいずれかを１つのカメラ部に取り付け可能に構成されるようにしてもよい。この場合、光学フィルタ切替部５０は、撮像部１３０、つまりカメラ部に配置されていてもよい。
　光学フィルタ５２（第２光学フィルタ）は、近赤外光のうちの少なくとも一部の波長帯域の光透過率を下げるバンドパスフィルタである。「近赤外光のうちの少なくとも一部の波長帯域の光透過率」とは、例えば、撮像レンズ１００の近赤外光領域における光透過領域に関する光透過率を指す。ここで、「近赤外光領域」とは、例えば、近赤外光波長域のうちの１１００ｎｍ以上の波長域を指す。また、「近赤外光領域における光透過領域」とは、例えば後述の近赤外光ピーク波長域を指す。光学フィルタ５２（バンドパスフィルタ）は、本開示の技術に係る第２光学フィルタの一例である。光学フィルタ５２は、撮像装置１により可視光の波長帯域を含む第１波長帯域の光で撮像される場合に光路ＯＰ上に配置される。
　光学フィルタ５４（第１光学フィルタ）は、可視光のうちの少なくとも一部の波長帯域の光透過率を下げるバンドパスフィルタである。「可視光のうちの少なくとも一部の波長帯域の光透過率」とは、撮像レンズ１００の可視光領域における光透過領域に関する光透過率を指す。ここで、「可視光領域」とは、例えば、８００ｎｍ以下の波長域を指す。また、「可視光領域における光透過領域」とは、例えば後述の可視光ピーク波長域を指す。光学フィルタ５４は、近赤外光の波長帯域を含み第１波長帯域とは異なる第２波長帯域の光で撮像が行われる場合に光路ＯＰ上に（光路上に）配置される。
　光学フィルタ５６は、他の光学フィルタ５２，５４及び５８と近い屈折率を有する透明なガラス板である。なお、本実施形態において「透明」とは可視光及び近赤外光を透過させることを意味するものとする。光学フィルタ５６は、他の光学フィルタ５２，５４及び５８を使用しない場合に、光路長を光学フィルタ５２，５４及び５８を用いた場合の光路長からできるだけ変えないようにするための光路長調整フィルタである。光学フィルタ５８は、光量調整用のＮＤ（Neutral Density）フィルタである。
　光学フィルタ５２は、屈折率と厚さの積であるＮＤ値が、光学フィルタ５４の屈折率と厚さの積であるＮＤ値よりも大きい。これは、撮像対象の光として可視光と近赤外光とを切り替えた場合の光路長の差を小さくして、可視光での合焦位置と近赤外光での合焦位置の差を小さくするためである。つまり、光学フィルタ５２は可視光を透過させるが、可視光での焦点距離は近赤外光での焦点距離より短い。そこで光学フィルタ５２のＮＤ値を、近赤外光を透過する光学フィルタ５４のＮＤ値よりも大きくして、光路長を長くする。この構成により、可視光での合焦位置と近赤外光での合焦位置とのずれを小さくすることができる。光学フィルタ５２のＮＤ値と光学フィルタ５４のＮＤ値とを変える構成は、以下に記載する調整レンズ１６だけでは可視光での合焦位置と近赤外光での合焦位置とのずれを調整しきれない場合に有用である。
　［調整レンズ］
　調整レンズ１６（合焦位置調整レンズ）は、光学フィルタ５２と光学フィルタ５４とを切り替えた場合に、可視光での焦点距離と近赤外光での焦点距離との違いを調整するためのレンズである。可視光よりも波長の長い近赤外光の焦点距離は、可視光の焦点距離よりも長い。フォーカスレンズ１２及びズームレンズ１４が、可視光での変倍時の合焦位置を撮像素子１３２の撮像面１３２Ａに合わせるように連動して移動するように構成されている場合、近赤外光での合焦位置を調整することができない。そのため、調整レンズ１６は、近赤外光での撮像時、つまり光学フィルタ５４（第１光学フィルタ）を光路ＯＰ上に配置した場合に、後述の合焦位置データ（合焦位置情報）に基づいて、合焦位置を撮像面１３２Ａに合わせるように移動される。
　調整レンズ１６は、調整レンズ駆動機構２４により駆動される。調整レンズ駆動機構２４は、ユーザからの指示に応じて、制御部１１０（プロセッサ；調整レンズ駆動部１１８）により制御される。具体的には、制御部１１０は、ユーザによって指示された撮像条件に応じて、調整レンズ１６の位置が合焦位置に調整されるように調整レンズ駆動機構２４を制御する。ここで、撮像条件とは、例えば、ユーザの指示による可視光か近赤外光かの選択とズーム倍率の選択とを指す。なお、調整レンズ１６の合焦位置とは、撮像素子１３２の撮像面１３２Ａに対して光を合焦状態で結像させるための調整レンズ１６の位置を指す。
　あるいは、制御部１１０は、光学フィルタ切替部５０に設けられたセンサからのフィルタ位置情報に基づいて光路ＯＰ上に配置された光学フィルタを同定し、合焦位置データに基づいて調整レンズ１６の位置を調整してもよい。例えば、ユーザにより、後述の入力部２８を介して、制御部１１０に対して可視光での撮像を指示されると、光学フィルタ５２が、制御部１１０によって光路ＯＰ上に配置される。また、ユーザにより、入力部２８を介して、制御部１１０に対して近赤外光での撮像が指示されると、光学フィルタ５４が、制御部１１０によって光路ＯＰ上に配置される。制御部１１０は、光学フィルタ切替部５０に設けられたセンサにより、光路ＯＰ上の光学フィルタの種類を検知し、検知した光学フィルタの種類に基づいて調整レンズ１６の位置を調整する。なお、調整レンズ１６は、撮像部１３０を交換した場合のフランジバック調整にも用いることができる。
　なお、撮像レンズ１００の構成は上記態様に限定されるものではない。例えば、ズームレンズやフォーカスレンズのレンズ構成は種々の形式が知られており、またズーム制御やフォーカス制御のための構成（レンズ群の全体を繰り出す、あるいはレンズ群の一部を繰り出す、等）も種々知られていて、本発明においてもそれらの構成を採用することができる。
　［撮像素子］
　撮像素子１３２（撮像素子）は、撮像レンズ１００によって結像される撮像対象の光学像を電気信号に変換して画像信号を出力するデバイスであり、例えば、InGaAs（インジウム、ガリウム、ヒ素）センサなどの、可視光と近赤外光の両方に感度を持つイメージセンサを用いて構成することができる。
　［コンピュータの構成］
　一例として図４（撮像装置の概略構成を示すブロック図）に示すように、撮像装置１は、制御部１１０（プロセッサ）によって制御される。制御部１１０は、コンピュータ２００（プロセッサ）を備えている。コンピュータ２００は、一例として図５（コンピュータの概略構成を示す図）に示すように、互いにバスライン１１２で接続されたプロセッサ２０２（プロセッサ）、ＲＡＭ２０４（ＲＡＭ：random access memory）、及びフラッシュメモリ２０６（flash memory）を有する。
　プロセッサ２０２は、撮像装置１の全体を制御する。ＲＡＭ２０４は、制御プログラムの実行時のワークエリア等として用いられる例えば揮発性のメモリである。フラッシュメモリ２０６（メモリ）は、撮像装置１の制御（本発明に係る画像処理方法の実行を含む）に用いられる制御プログラム２１０（画像処理プログラム）及び合焦位置データ２１２（合焦情報）等を記憶する、例えば不揮発性のメモリ（非一時的記録媒体）である。フラッシュメモリ２０６に代えて、ＲＯＭ（read only memory）やＥＥＰＲＯＭ（electrically erasable programmable read-only memory）等の非一時的記録媒体を用いてもよい。
　［プロセッサの機能］
　上述した構成のプロセッサ２０２（プロセッサ）は、以下の処理を行う機能を有する。
（１）光学フィルタの切替
（２）フォーカス制御、ズーム制御、合焦位置の調整
（３）可視画像、第１近赤外画像、第２近赤外画像の取得の判断、及び判断に基づく画像の取得
（４）マスク画像の生成
（５）異常領域の抽出
（６）第１，第２ニューラルネットワークとしての動作
（７）画像処理（明るさの調整、輝度補正、像高変換、拡大または縮小、変形、歪曲補正、２値化、点像復元、輪郭抽出のうち１つ以上）
（８）画像及び／または画像処理結果の表示制御（識別表示を含む）、フラッシュメモリ２０６等の記録媒体への出力制御
　これらプロセッサ２０２の機能は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）等のプロセッサを１または複数用いて構成することができる。
　［画像処理の手順］
　上述した構成の撮像装置１による画像処理の手順について、画像の取得パターン（いずれの波長帯域の光で被写体に合焦させいずれの波長帯域の光で画像を撮像するか、の組合せ）に分けて説明する。
　［実施例１］
　［実施例１における撮像］
　まず、実施例１における撮像について説明する。図６は実施例１における撮像手順の例を示すフローチャートであり、同図に示すように、実施例１では可視画像、第１近赤外画像、及び第２近赤外画像を取得する。画像の取得順序は、以下に説明する例と異なっていてもよい。なお、以下で「プロセッサ２０２が処理を実行し」のように記載した場合、プロセッサ２０２が必要に応じＲＡＭ２０４及び／またはフラッシュメモリ２０６を用いて実行する場合、及びプロセッサ２０２（コンピュータ２００）が制御部１１０を構成する他の各部を介して実行する場合をも含む。
　ユーザによる入力部２８への指示により、プロセッサ２０２（プロセッサ）に対して可視画像及び第１近赤外画像の撮像が指示されると（ステップＳ１００でＹＥＳ）、コンピュータ２００は光路ＯＰ上に光学フィルタ５２（第２光学フィルタ）を配置する（ステップＳ１１０）。光学フィルタ５２は近赤外光（第２波長帯域の光）の少なくとも一部の透過率を下げる（カットする）光学フィルタである。プロセッサ２０２はズームレンズ駆動部１１４及びズームレンズ駆動機構２０等を介して第１波長帯域の光（可視光の波長帯域を含む光）で被写体に合焦させ（ステップＳ１２０）、その合焦状態で可視画像を撮像する（ステップＳ１３０）。
　同様に、プロセッサ２０２（プロセッサ）は、可視光の少なくとも一部の透過率を下げる光学フィルタ５４（第１光学フィルタ）を光路ＯＰ上に配置し（ステップＳ１４０）、第１波長帯域の光で被写体に合焦させる（ステップＳ１５０）。この際、プロセッサ２０２は、フラッシュメモリ２０６（メモリ）に記憶された合焦位置データ２１２（合焦位置情報）を参照して調整レンズ１６（合焦位置調整レンズ）の位置を調整（変更）し、合焦位置を撮像面１３２Ａに合わせる。プロセッサ２０２は、この合焦状態で第１近赤外画像を撮像する（ステップＳ１６０）。
　同様に、ユーザによる入力部２８への指示により、プロセッサ２０２に対して第２近赤外画像の撮像が指示されると（ステップＳ１７０でＹＥＳ）、プロセッサ２０２は可視光の少なくとも一部の透過率を下げる光学フィルタ５４（第１光学フィルタ）を光路ＯＰ上に配置し（ステップＳ１８０）、第２波長帯域の光（近赤外の波長帯域を含み第１波長帯域とは異なる波長帯域の光）で被写体に合焦させる（ステップＳ１９０）。プロセッサ２０２は、この合焦状態で第２近赤外画像を撮像する（ステップＳ２００）。
　プロセッサ２０２は、必要な画像を取得するまで（ステップＳ２１０でＹＥＳになるまで）上記手順を繰り返す。制御部１１０は、ユーザによる入力部２８への指示に基づいてステップＳ２１０の判断を行うことができる。なお、プロセッサ２０２は、撮像した画像（可視画像、第１近赤外画像、第２近赤外画像）を画像表示部２６等の表示装置に表示させ、ユーザが画像を確認できるようにしてもよい。
　［実施例１における画像処理］
　図７は、実施例１における画像処理の手順を示す図である。プロセッサ２０２は、全ての画像を撮像してから（例えば、図６の処理が全て終了してから）図７に示す画像処理を行ってもよいし、撮像と画像処理とを並行して行ってもよい。
　［第１マスク画像の生成］
　プロセッサ２０２は、第１近赤外画像３０２（第１近赤外画像）に対して画像処理５００、例えば可視画像３００（可視画像）と明るさを合わせる画像処理を行い、可視画像３００と処理後の第１近赤外画像３０２との差分に対し２値化等の画像処理５０２を施してマスク画像３０４（第１マスク画像）を生成する。マスク画像３０４（第１マスク画像）は、可視画像と近赤外画像の差分に基づいているため、表面及び内部の異常部分（異常領域）を大まかに示す画像であるが、画像で示される異常部分の位置、大きさ、形状等は必ずしも正確ではない。これは、第１近赤外画像では可視光で被写体に合焦させているため、内部の異常部分がデフォーカスして（ボケて）実際とは異なる位置、大きさ、形状等で写っている場合があること等に起因する。
　図８は、撮像した画像及びマスク画像を概念的に示す図である。同図の（ａ）部分は可視画像３２０（可視画像）を示す。可視画像３２０では、表面の異常領域３２２（第１領域）は鮮明であるが、内部の異常領域３２４（第２領域）はほとんど判別できない。一方、図８の（ｂ）部分は第１近赤外画像３３０を示す。第１近赤外画像３３０は近赤外光を含む第２波長帯域の光で撮像しているので、表面の異常領域３２２Ａ（異常領域３２２に対応；第１領域）はほとんど判別できない。また可視光を含む第１波長帯域の光で合焦した状態で撮像しているので、内部の異常領域３２６（第２領域）はボケており、実際の異常領域３２４Ａ（第２領域）よりも大きく写っている。なお、異常領域は表面及び／または内部に複数存在する場合もある。
　図８の（ｃ）部分は、可視画像３２０と第１近赤外画像３３０とに基づいて生成した第１マスク画像３４０（第１マスク画像）を示す。表面の異常領域３２２（第１領域）及び異常領域３２２Ａ（第１領域）に対応する領域３４２（第１領域）と、内部の異常領域３２４（第２領域）及び異常領域３２６（第２領域）に対応する領域３４４Ａ（第２領域；真の異常領域である領域３４６より広くなっている）とでは画素値が１（図中の無着色部分）、それ以外の領域では画素値がゼロ（図中の黒色部分）である。
　［異常領域の抽出］
　プロセッサ２０２は、第２近赤外画像３０６（第２近赤外画像）に対して変形等の画像処理５０４を施してマスク画像３０４と乗算し、乗算した結果に輪郭抽出等の画像処理５０６を施して、異常部分画像３０８を生成する（図７参照）。図９は画像処理により得られた画像を概念的に示す図であり、同図の（ａ）部分は第２近赤外画像３５０（第２近赤外画像）を示す。第２近赤外画像３５０では、表面の異常領域３５２（第１領域）はほとんど判別できないが、第２近赤外画像３５０は近赤外光を含む第２波長帯域の光で被写体に合焦させた状態で撮像した画像なので、内部の異常領域３５４（第２領域）が鮮明に写っている。
　なお、プロセッサ２０２は、可視光（第１波長帯域の光）での合焦位置に応じて変形等の画像処理を行い、その画像処理の結果を可視画像及び第１近赤外画像に基づいて修正してもよい。これにより変形等の精度を高めることができる。
　図９の（ｂ）部分は、第２近赤外画像３５０と第１マスク画像３４０とを乗算した結果（画像３６０；図７の異常部分画像３０８に対応）を示す。
※画像３６０において、被写体の表面における異常領域３６２は実際の異常領域及び第２近赤外画像における異常領域３５２とほぼ同じ大きさで抽出されているが、被写体の内部については、実際の異常領域３６４よりも大きな異常領域３６６が抽出されている。
　プロセッサ２０２は、第２近赤外画像３５０と第１マスク画像３４０とを比較することにより、各異常領域が表面の異常領域（第１領域）であるか内部の異常領域（第２領域）であるかを判定することができる。図９に示す例では、第２近赤外画像３５０における異常領域３５２は第１マスク画像３４０の領域３４２とほぼ同じ大きさなので表面の異常領域であると判定し、異常領域３５４は領域３４６よりも小さくなっているので「被写体の内部において異常が存在する領域（第２領域）である」と判断することができる。
　プロセッサ２０２は、「内部の異常領域である」と判断した領域を抽出することができる。例えば図９の（ｃ）部分に示すように、「内部の異常領域である」と判断された異常領域３６６（異常領域３６４を含む）を、乗算結果である画像３６０から抽出することができる。同部分に示す画像３７０において、異常領域３７４，３７６はそれぞれ異常領域３６６，３６４に対応する。また、プロセッサ２０２は、図９の（ｄ）部分に示すように、内部の異常領域を第２近赤外画像３５０から抽出して画像３７０Ａ（異常領域３７４が異常領域３５４に対応する）を生成してもよい。
　同様にして、プロセッサ２０２は、「表面の異常領域である」と判定した異常領域３２２を可視画像３２０から抽出することができる。このような抽出の例が、図１０（画像処理により得られた画像を概念的に示す他の図）の（ａ）部分に示す画像３８０である（異常領域３８２が異常領域３２２に対応）。プロセッサ２０２は、同図の（ｂ）部分に示すように、表面の異常領域３９２（異常領域３２２，３８２に対応）と内部の異常領域３９４（異常領域３７４に対応）とを１つの画像３９０に合成して画像３９０を生成してもよい。また、プロセッサ２０２は、異常領域以外の領域（正常領域）を可視画像または第１，第２近赤外画像から抽出してさらに合成してもよい。
　［画像処理及び識別表示等］
　プロセッサ２０２は、生成した画像に対して各種の画像処理及び／または識別表示を行うことができる。例えば、図１１（画像処理により得られた画像を概念的に示すさらに他の図）の（ａ）部分に示すように、表面及び内部の異常領域の周縁部を輪郭４０２，４０４として抽出して画像４００を生成してもよい。このように輪郭を抽出すれば、異常領域の大きさや形状等を容易に計測することができる。プロセッサ２０２は、生成した画像（可視画像、第１近赤外画像、第２近赤外画像、及びこれらの画像を用いて生成した画像）に対して画像処理を施し、その画像処理を施した画像を用いて輪郭を抽出してもよい。
　また、同図の（ｂ）部分に示すように、プロセッサ２０２は、抽出した異常領域４１２，４１４に枠線（バウンディングボックス）４１３，４１８を付加して識別表示してもよい。この他、プロセッサ２０２は、異常領域の輪郭強調、表面か内部かで色分け等の識別表示を含む着色、塗りつぶし等を行ってもよい。
　プロセッサ２０２は、異常領域を抽出した画像や合成画像ではなく可視画像、第１近赤外画像、第２近赤外画像について画像処理及び／または識別表示を行ってもよい。また、プロセッサ２０２は、画像処理及び／または識別表示を行った結果を、画像表示部２６（表示装置）等に表示させることができる。
　プロセッサ２０２は、生成した画像の表示に加えて、または表示に代えて、異常領域の特徴量（位置、大きさ、形状、数量等）を計測し出力してもよい。プロセッサ２０２は、このような計測を公知の画像処理技術（ニューラルネットワーク等の機械学習の手法を含む）に基づいて行うことができる。
　プロセッサ２０２は、生成した画像とその計測結果等を関連付けて、フラッシュメモリ２０６等の記録媒体に記録することができる。
　［実施例１の効果］
　以上説明したように、実施例１では、表面の異常領域を可視画像から抽出し、可視画像及び第１近赤外画像を用いて第１マスク画像を生成して、内部の異常領域の位置、大きさ、形状等を大まかに抽出する。そして、第１マスク画像と第２近赤外画像とを用いて、内部の異常領域を高精度に抽出することができる。
　［第２近赤外画像取得の判断］
　上述した実施例１では３つの画像（可視画像、第１近赤外画像、第２近赤外画像）を用いて最終的な異常部分画像（図７では、異常部分画像３０８）を生成しているが、３つの画像のうち一部の画像を用いて異常部分画像を生成することもできる。例えば、コンピュータ２００（プロセッサ）は、可視画像及び第１近赤外画像を用いて「第２近赤外画像を撮像するか否か」を決定（判断）してもよい。コンピュータ２００（プロセッサ）は、第２近赤外画像を取得すると判断した場合は、上述した手順により異常領域を抽出することができる。可視画像及び第１近赤外画像において異常が全く、あるいはほとんど検出されない場合、異常の検出精度を上げるための第２近赤外画像を撮像しないことで処理時間を短縮することができる。
　なお「可視画像及び第１近赤外画像を用いて決定（判断）する」とは、例えば、第１マスク画像における異常の検出結果に基づいて、あるいは第１マスク画像を生成する際の可視画像と第１近赤外画像との差分画像（２値化等により第１マスク画像を生成する前の画像）における異常の検出結果に基づいて決定（判断）することをいう。
　また、異常の検出結果に代えて、またはこれに加えて、可視画像と第１近赤外画像との波長の差分（例えば、ピーク波長の差分、中心波長の差分等）に基づいて、「第２近赤外画像を撮像するか否か」を決定してもよい。可視画像と第１近赤外画像とで波長の差分が小さければ、デフォーカス量が少なくなるため、第２近赤外画像を用いることによる検出精度の向上度合いも低くなるからである。
　［実施例１の変形例］
　変形例で取得する画像は実施例１と同じ（可視画像、第１近赤外画像、第２近赤外画像）、したがって実施例１と同様の手順（図６参照）で撮像を行うことができる。変形例では、画像処理にニューラルネットワークを用いる点が実施例１と異なる。図１２は、施例１の変形例における画像処理の手順を示す図である。コンピュータ２００（制御部１１０；プロセッサ）は、可視画像３００及び第１近赤外画像３０２を異常検出用のニューラルネットワーク３１１（第１ニューラルネットワーク）に入力して異常部分マップ３１０を生成し、この異常部分マップ３１０に２値化等の画像処理を施してマスク画像３０４（第１マスク画像）を生成する。そして、コンピュータ２００は、マスク画像３０４と、上述の画像処理５０４を施した後の第２近赤外画像とを異常検出用のニューラルネットワーク３１２（第１ニューラルネットワーク）に入力して異常部分画像３０８を生成する。なお、ニューラルネットワーク３１１，３１２は、内部で画像の乗算を行うことができる。
　ニューラルネットワーク３１１，３１２は、例えばＤＮＮ（Deep Neural Network）、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、Ｕ－ＮＥＴ等（これらの派生版や改良版を含む）により実現できるが、これらの例に限らず種々のニューラルネットワークを用いることができる。
　［ニューラルネットワークの構成等］
　変形例において、コンピュータ２００は、検出の対象である異常の特徴に応じた特性（後述）のニューラルネットワークをニューラルネットワーク３１１，３１２として用いてもよい。「異常の特徴」とは、例えば表面の異常であるか内部の異常であるか、異常の種類（ひび割れ、剥離、気泡、異物、打痕、空洞等）、数、大きさ、形状等（これら項目の振れ幅を含んでいてもよい）であるが、これらの項目には限定されない。撮像装置１が複数のニューラルネットワークを有する場合、コンピュータ２００は、検出の対象である異常の特徴に応じてニューラルネットワークを切り替え、ニューラルネットワーク３１１及び／またはニューラルネットワーク３１２として用いてもよい。これにより、異常の特徴に応じて適切な特性ネットワークを選択することができる。
　ニューラルネットワーク３１１とニューラルネットワーク３１２は同じ層構成（層構造）のニューラルネットワークでもよい。「同じ層構成」とは、例えば畳み込み層とプーリング層の繰り返しパターン、全結合層の有無や数、分岐の有無やそのパターン等であるが、これらの点には限定されない。
　ニューラルネットワーク３１１，３１２は機械学習の手法により構築することができる。学習を行う場合、ニューラルネットワーク３１１（第１ニューラルネットワーク）とニューラルネットワーク３１２（第２ニューラルネットワーク）とのうち一方のニューラルネットワークについて学習が行われた状態での重み係数を他方のニューラルネットワークにおける重み係数の初期値として、上記他方のニューラルネットワークの学習を行うことができる。このような手順により、効率的に学習を行うことができる。なお、学習においてはマスク画像や異常部分画像を教師データとして与えることができる。
　また、ニューラルネットワーク３１１とニューラルネットワーク３１２とで、同じ層構成を採用しつつ特性を変えてもよい。「特性を変える」とは、例えば、ニューラルネットワーク３１２はニューラルネットワーク３１１に対し畳み込み層のフィルタ数を多くする、フィルタサイズを大きくする、フィルタのストライド数を少なくする、ダイレーション（dilation）数を少なくする、マックスプーリングのフィルタサイズを小さくする、等を挙げることができるが、変化させる特性はこれらの項目には限定されない。変形例において、ニューラルネットワーク３１２はニューラルネットワーク３１１よりも異常部分を高精度に検出するために用いられるが、そのためには、このように特性を変えることが効果的である。
　ニューラルネットワーク３１１及び／またはニューラルネットワーク３１２は、２段階構成のニューラルネットワークでもよい。具体的には例えば、これらニューラルネットワークは画像（可視画像、第１近赤外画像、第２近赤外画像、マスク処理後の画像）から被写体を検出する被写体検出用ニューラルネットワークと、検出した被写体における異常を検出する異常検出用ニューラルネットワークと、を備えていてもよい。
　なお、ニューラルネットワーク３１１とニューラルネットワーク３１２とが同じ層構成の場合について上述したが、ニューラルネットワーク３１１とニューラルネットワーク３１２とは異なる層構成でもよい。
　［実施例２］
　本発明における画像処理の他の例について説明する。実施例２では、第１近赤外画像、第２近赤外画像を取得する波長帯域が、上述した実施例１及び変形例１と異なる。
　図１３は、実施例２における撮像手順を示すフローチャートである。図６との相違部分を中心に説明すると、コンピュータ２００（プロセッサ）は、透明な光学フィルタ５６を光路ＯＰ上に配置して（ステップＳ１４０Ａ）可視光及び近赤外光が撮像レンズ１００を透過させ、この状態で可視光（第１波長帯域）の光で被写体に合焦させて（ステップＳ１５０）第１近赤外画像を撮像する（ステップＳ１６０）。同様に、コンピュータ２００は、透明な光学フィルタ５６を光路ＯＰ上に配置して（ステップＳ１８０Ａ）可視光及び近赤外光が撮像レンズ１００を透過させ、この状態で近赤外光（第２波長帯域）の光で被写体に合焦させて（ステップＳ１９０）第２近赤外画像を撮像する（ステップＳ２００）。
　図１４は、実施例２における画像処理の手順を示す図である。同図において、第１近赤外画像３０３は図１３のステップＳ１６０で取得した第１近赤外画像であり、第２近赤外画像３０７はステップＳ２００で取得した第２近赤外画像である。その他の処理は実施例１と同様にして（図７参照）、異常部分画像３０８を生成することができる。なお、実施例２においても、実施例１及びその変形例と同様に画像処理、画像の識別表示、合成、記録等を行うことができる。
　［実施例３］
　本発明における画像処理の他の例について説明する。実施例３は、２つのマスク画像を用いる点において、上述した実施例１、変形例１、及び実施例２と異なる。取得する画像（波長帯域、合焦状態）は実施例２と同じであり、図１３と同様の手順により撮像することができる。
　図１５は、実施例３における画像処理の手順を示す図である。同図に示すように、実施例３では、コンピュータ２００（プロセッサ）は、可視画像３００に対し物体検出の画像処理５０１を行い、その結果に基づいてマスク画像３０４Ａ（第２マスク画像）を生成する。なお、画像処理５０１はニューラルネットワークにより行ってもよい。コンピュータ２００は、画像処理５０４を施した後の第２近赤外画像３０７と、マスク画像３０５（第１マスク画像）と、マスク画像３０４Ａ（第２マスク画像）とを乗算し、その結果に輪郭抽出等の画像処理５０６を施して異常部分画像３０８を生成する。
　［実施例３の変形例］
　図１５に示す例では３つの画像の乗算に基づいて異常部分画像３０８を生成しているが、これと異なるパターンで異常部分画像３０８を生成してもよい。具体的には、コンピュータ２００は、図１６（実施例３の変形例における画像処理を示す図）に示すようにマスク画像３０５（第１マスク画像）とマスク画像３０４Ａ（第２マスク画像）との論理和を算出してマスク画像３０９（第３マスク画像）を生成し、画像処理５０４後の第２近赤外画像３０７にこのマスク画像３０９を乗算してもよい。これ以降の、異常部分画像３０８を生成する処理は、図１５の例と同様に行うことができる。
　上述した実施例３においても、実施例１及び変形例、実施例２と同様に画像処理、画像の識別表示、合成、記録等を行うことができる。
　［撮像装置の他の構成の例］
　本発明において、撮像装置１と異なる構成の撮像装置により画像を取得してもよい。
　図１７は、瞳分割型の光学系の構成を示す図である。同図に示すレンズ装置１００Ａはズームレンズ及びフォーカスレンズを収納する筐体１０２を備える。これらのレンズは、上述した撮像レンズ１００と同様に、可視光及び近赤外光を透過させるレンズを用いることができる。
　筐体１０２において、光学系の瞳位置または瞳近傍位置にスリット１０８が形成されており、このスリット１０８にフィルタユニット１３４が挿入される。フィルタユニット１３４は枠体１３５を備え、枠体１３５には開口領域１３５Ａ～１３５Ｄが設けられている。これら開口領域には、近赤外光の透過率を下げて可視光（第１波長帯域の光）を透過させる光学フィルタ（第２光学フィルタ；上述の光学フィルタ５２等）と、可視光の透過率を下げて近赤外光（第２波長帯域の光）を透過させる光学フィルタ（第１光学フィルタ；上述の光学フィルタ５４等）を配置する。可視光と近赤外光の両方を透過させる光学フィルタ（上述した光学フィルタ５６のような透明な光学フィルタ）をいずれかの開口領域に配置してもよい。また、可視光を透過させる光学フィルタをＲ（red），Ｇ（green），Ｂ（blue）の各色に対応したカラーフィルタにより構成し、カラー画像を取得できるようにしてもよい。なお、一部の開口領域のみを用い、残りの開口領域を遮蔽してもよい。
　図１７に示す瞳分割型の光学系の場合、開口領域１３５Ａ～１３５Ｄのいずれかを透過した光を選択的に受光する撮像素子を用いる。この撮像素子には、可視光用の画素と近赤外光用の画素とを配置することができる。可視光及び近赤外光の両方を受光する画素を設けてもよい。可視光用の画素にカラーフィルタを配置してもよい。また、選択的受光のために、開口領域及び／または撮像素子に、特定の偏光方向の光を透過させる偏光素子を配置することで選択的な受光を実現してもよい。このような構成の撮像素子が出力する画像信号に基づいて、可視画像及び近赤外画像を同時に取得することができる。なお、この際、画素の配列パターンに応じて画像信号のデモザイク化（同時化ともいう）を行うことが好ましい。
　［本発明における観察対象及び異常領域の例］
　本発明では、農林水産物、文化財や美術品、配管、樹脂板、金属板等の工業製品、橋梁、道路、ダム、トンネル、ビル等の構造物（コンクリート構造物でもよい）を観察対象（被写体）とすることができる。これらを観察する場合、異常領域は例えば表面の損傷、内部の打痕や空洞等であるが、上述のように、本発明において「異常領域」は不都合や不具合が存在する領域に限定されない。
　また、本発明では、生体（例えば、管腔状の臓器等）を観察対象とすることもできる。この場合、例えば粘膜の表面付近の血管や病変と、深層部分（内部）の血管や病変とを、「異常領域」として観察することができる。
　以上で本発明の実施形態及び変形例について説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１　　　撮像装置
１０　　対物レンズ
１２　　フォーカスレンズ
１４　　ズームレンズ
１６　　調整レンズ
２０　　ズームレンズ駆動機構
２２　　ターレット駆動機構
２４　　調整レンズ駆動機構
２６　　画像表示部
２８　　入力部
３０　　絞り
５０　　光学フィルタ切替部
５２　　光学フィルタ
５４　　光学フィルタ
５６　　光学フィルタ
５８　　光学フィルタ
９０　　筐体
１００　撮像レンズ
１００Ａ　レンズ装置
１０２　　筐体
１０８　スリット
１１０　　制御部
１１２　　バスライン
１１４　　ズームレンズ駆動部
１１６　　ターレット駆動部
１１８　　調整レンズ駆動部
１３０　　撮像部
１３２　　撮像素子
１３２Ａ　撮像面
１３４　　フィルタユニット
１３５　　枠体
１３５Ａ　開口領域
１３５Ｂ　開口領域
１３５Ｃ　開口領域
１３５Ｄ　開口領域
２００　　コンピュータ
２０２　　プロセッサ
２０４　　ＲＡＭ
２０６　　フラッシュメモリ
２１０　　制御プログラム
２１２　　合焦位置データ
３００　　可視画像
３０２　　第１近赤外画像
３０３　　第１近赤外画像
３０４　　マスク画像
３０４Ａ　マスク画像
３０５　　マスク画像
３０６　　第２近赤外画像
３０７　　第２近赤外画像
３０８　　異常部分画像
３０９　　マスク画像
３１０　　異常部分マップ
３１１　　ニューラルネットワーク
３１２　　ニューラルネットワーク
３２０　　可視画像
３２２　　異常領域
３２２Ａ　異常領域
３２４　　異常領域
３２４Ａ　異常領域
３２６　　異常領域
３３０　　第１近赤外画像
３４０　　第１マスク画像
３４２　　領域
３４４Ａ　領域
３４６　　領域
３５０　　第２近赤外画像
３５２　　異常領域
３５４　　異常領域
３６０　　画像
３６２　　異常領域
３６４　　異常領域
３６６　　異常領域
３７０　　画像
３７０Ａ　画像
３７４　　異常領域
３７６　　異常領域
３８０　　画像
３８２　　異常領域
３９０　　画像
３９２　　異常領域
３９４　　異常領域
４００　　画像
４０２　　輪郭
４０４　　輪郭
４１２　　異常領域
４１３　　枠線
４１４　　異常領域
４１８　　枠線
５００　　画像処理
５０１　　画像処理
５０２　　画像処理
５０４　　画像処理
５０６　　画像処理
ＬＯＷ　　低光透過率領域
ＮＩＲ　　近赤外光ピーク波長域
ＶＩＳ　　可視光ピーク波長域
ＯＰ　　　光軸
ＰＫ１　　第１の光透過率ピーク
ＰＫ２　　第２の光透過率ピーク
Ｓ１００～Ｓ２１０　画像処理方法の各ステップ

Claims (19)

  1. 　プロセッサを備える画像処理装置であって、
    　前記プロセッサは、
    　可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で前記第１波長帯域の光で撮像した前記被写体の可視画像を取得し、
    　前記第１波長帯域の光で前記被写体に合焦させた状態で、近赤外の波長帯域を含み前記第１波長帯域とは異なる第２波長帯域の光で撮像した前記被写体の第１近赤外画像を取得し、
    　前記可視画像と前記第１近赤外画像とに基づいて、前記被写体の表面において異常が存在する第１領域と、前記被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、
    　前記第２波長帯域の光で前記被写体に合焦させた状態で前記第２波長帯域の光で撮像した前記被写体の第２近赤外画像を取得し、
    　前記第１マスク画像と前記第２近赤外画像とに基づいて、前記第１領域及び前記第２領域における異常領域を抽出する画像処理装置。
  2. 　前記プロセッサは、近赤外の波長帯域を前記第２波長帯域として撮像された画像を前記第１近赤外画像及び前記第２近赤外画像として取得する請求項１に記載の画像処理装置。
  3. 　前記プロセッサは、可視及び近赤外を含む波長帯域を前記第２波長帯域の光として撮像された画像を前記第１近赤外画像及び前記第２近赤外画像として取得する請求項１または２に記載の画像処理装置。
  4. 　前記プロセッサは、前記可視画像と前記第１近赤外画像との差分に基づいて前記第１マスク画像を生成する請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記プロセッサは、前記可視画像を異常検出用の第１ニューラルネットワークに入力して前記第１マスク画像を生成する請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記プロセッサは、前記可視画像または前記第１近赤外画像を異常検出用の第２ニューラルネットワークに入力して第２マスク画像を生成し、前記第２マスク画像をさらに用いて前記異常領域を抽出する請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記プロセッサは、前記異常領域の周縁部を輪郭として抽出する請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記プロセッサは、前記第１マスク画像における前記異常領域の検出結果に基づいて、前記第２近赤外画像を取得するか否かを判断する請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記プロセッサは、前記第１波長帯域と前記第２波長帯域との差分に基づいて前記第２近赤外画像を取得するか否かを判断する請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　前記プロセッサは、前記可視画像及び／または前記第１近赤外画像において前記第１マスク画像が存在する領域を他の領域と識別表示する請求項１から９のいずれか１項に記載の画像処理装置。
  11. 　プロセッサを備える画像処理装置であって、
    　前記プロセッサは、
    　可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で前記第１波長帯域の光で撮像した前記被写体の可視画像を取得し、
    　前記第１波長帯域の光で前記被写体に合焦させた状態で、近赤外の波長帯域を含み前記第１波長帯域とは異なる第２波長帯域の光で撮像した前記被写体の第１近赤外画像を取得し、
    　前記可視画像と前記第１近赤外画像とに基づいて、前記被写体の表面において異常が存在する第１領域と、前記被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、
    　前記プロセッサは、前記第１マスク画像における前記異常の検出結果に基づいて、前記第２波長帯域の光で前記被写体に合焦させた状態で前記第２波長帯域の光で撮像した前記被写体の第２近赤外画像を取得するか否かを判断する画像処理装置。
  12. 　前記プロセッサは、前記第２近赤外画像を取得すると判断した場合は、
    　前記第２近赤外画像を取得し、
    　前記第１マスク画像と前記第２近赤外画像とに基づいて、前記第１領域及び前記第２領域における異常領域を抽出する請求項１１に記載の画像処理装置。
  13. 　前記第１波長帯域の光及び前記第２波長帯域の光を透過させる光学系と、
    　前記第１波長帯域の光の少なくとも一部の透過率を下げる第１光学フィルタと前記第２波長帯域の光の少なくとも一部の透過率を下げる第２光学フィルタとのいずれかを前記光学系の光路上に配置する光学フィルタ切替機構と、
    　前記光学系と、前記第１光学フィルタまたは前記第２光学フィルタと、を透過した光に対応する画像信号を出力する撮像素子と、
    　請求項１から１２のいずれか１項に記載の画像処理装置と、
    　を備える撮像装置であって、
    　前記プロセッサは、前記撮像素子から出力される前記画像信号に基づいて前記可視画像、前記第１近赤外画像、及び前記第２近赤外画像を取得する撮像装置。
  14. 　前記光学系は合焦位置調整レンズを備え、
    　前記プロセッサは、
    　前記第１光学フィルタが前記光路上に配置された場合の合焦位置を示す合焦位置情報をあらかじめメモリに記憶し、
    　前記第１光学フィルタと前記第２光学フィルタのいずれが前記光路上に配置されているかに応じて前記合焦位置情報を参照して前記合焦位置調整レンズの位置を変更する請求項１３に記載の撮像装置。
  15. 　プロセッサを備える画像処理装置により実行される画像処理方法であって、
    　前記プロセッサは、
    　可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で前記第１波長帯域の光で撮像した前記被写体の可視画像を取得し、
    　前記第１波長帯域の光で前記被写体に合焦させた状態で、近赤外の波長帯域を含み前記第１波長帯域とは異なる第２波長帯域の光で撮像した前記被写体の第１近赤外画像を取得し、
    　前記可視画像と前記第１近赤外画像とに基づいて、前記被写体の表面において異常が存在する第１領域と、前記被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、
    　前記第２波長帯域の光で前記被写体に合焦させた状態で前記第２波長帯域の光で撮像した前記被写体の第２近赤外画像を取得し、
    　前記第１マスク画像と前記第２近赤外画像とに基づいて、前記第１領域及び前記第２領域における異常領域を抽出する画像処理方法。
  16. 　プロセッサを備える画像処理装置により実行される画像処理方法であって、
    　前記プロセッサは、
    　可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で前記第１波長帯域の光で撮像した前記被写体の可視画像を取得し、
    　前記第１波長帯域の光で前記被写体に合焦させた状態で、近赤外の波長帯域を含み前記第１波長帯域とは異なる第２波長帯域の光で撮像した前記被写体の第１近赤外画像を取得し、
    　前記可視画像と前記第１近赤外画像とに基づいて、前記被写体の表面において異常が存在する第１領域と、前記被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、
    　前記プロセッサは、前記第１マスク画像における前記異常の検出結果に基づいて、前記第２波長帯域の光で前記被写体に合焦させた状態で前記第２波長帯域の光で撮像した前記被写体の第２近赤外画像を取得するか否かを判断する画像処理方法。
  17. 　プロセッサを備える画像処理装置に画像処理方法を実行させる画像処理プログラムであって、
    　前記画像処理方法において、前記プロセッサは、
    　可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で前記第１波長帯域の光で撮像した前記被写体の可視画像を取得し、
    　前記第１波長帯域の光で前記被写体に合焦させた状態で、近赤外の波長帯域を含み前記第１波長帯域とは異なる第２波長帯域の光で撮像した前記被写体の第１近赤外画像を取得し、
    　前記可視画像と前記第１近赤外画像とに基づいて、前記被写体の表面において異常が存在する第１領域と、前記被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、
    　前記第２波長帯域の光で前記被写体に合焦させた状態で前記第２波長帯域の光で撮像した前記被写体の第２近赤外画像を取得し、
    　前記第１マスク画像と前記第２近赤外画像とに基づいて、前記第１領域及び前記第２領域における異常領域を抽出する画像処理プログラム。
  18. 　プロセッサを備える画像処理装置に画像処理方法を実行させる画像処理プログラムであって、
    　前記画像処理方法において、前記プロセッサは、
    　可視光の波長帯域を含む第１波長帯域の光で被写体に合焦させた状態で前記第１波長帯域の光で撮像した前記被写体の可視画像を取得し、
    　前記第１波長帯域の光で前記被写体に合焦させた状態で、近赤外の波長帯域を含み前記第１波長帯域とは異なる第２波長帯域の光で撮像した前記被写体の第１近赤外画像を取得し、
    　前記可視画像と前記第１近赤外画像とに基づいて、前記被写体の表面において異常が存在する第１領域と、前記被写体の内部において異常が存在する領域を含む第２領域と、を示す第１マスク画像を生成し、
    　前記プロセッサは、前記第１マスク画像における前記異常の検出結果に基づいて、前記第２波長帯域の光で前記被写体に合焦させた状態で前記第２波長帯域の光で撮像した前記被写体の第２近赤外画像を取得するか否かを判断する画像処理プログラム。
  19. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１７または１８に記載のプログラムが記録された記録媒体。
PCT/JP2022/030412 2021-09-27 2022-08-09 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム WO2023047826A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-156432 2021-09-27
JP2021156432 2021-09-27

Publications (1)

Publication Number Publication Date
WO2023047826A1 true WO2023047826A1 (ja) 2023-03-30

Family

ID=85719453

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030412 WO2023047826A1 (ja) 2021-09-27 2022-08-09 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム

Country Status (1)

Country Link
WO (1) WO2023047826A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62188952A (ja) * 1986-02-14 1987-08-18 Canon Inc 画像読取装置
JPH0962839A (ja) * 1995-08-30 1997-03-07 Fuji Facom Corp 農水産物の外観検査装置
JP2005016995A (ja) * 2003-06-24 2005-01-20 Railway Technical Res Inst 赤外線構造物診断方法
JP2011089978A (ja) * 2009-08-28 2011-05-06 Krones Ag ラベル付き容器を検査するための装置と方法
JP2014085300A (ja) * 2012-10-26 2014-05-12 Shimadzu Corp 太陽電池セルの検査装置
US20180059014A1 (en) * 2015-04-27 2018-03-01 Flir Systems, Inc. Moisture measurement device with thermal imaging capabilities and related methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62188952A (ja) * 1986-02-14 1987-08-18 Canon Inc 画像読取装置
JPH0962839A (ja) * 1995-08-30 1997-03-07 Fuji Facom Corp 農水産物の外観検査装置
JP2005016995A (ja) * 2003-06-24 2005-01-20 Railway Technical Res Inst 赤外線構造物診断方法
JP2011089978A (ja) * 2009-08-28 2011-05-06 Krones Ag ラベル付き容器を検査するための装置と方法
JP2014085300A (ja) * 2012-10-26 2014-05-12 Shimadzu Corp 太陽電池セルの検査装置
US20180059014A1 (en) * 2015-04-27 2018-03-01 Flir Systems, Inc. Moisture measurement device with thermal imaging capabilities and related methods

Similar Documents

Publication Publication Date Title
US7663079B2 (en) Microscope apparatus and focal-depth enlarged image generation method used therefor
CN108692815B (zh) 使用纵向色差的多光谱成像
US10393997B2 (en) Methods, systems and devices for automatically focusing a microscope on a substrate
JP5806504B2 (ja) 撮像装置およびこれを備える顕微鏡システム
JP2011503530A (ja) 光トモグラフィに対する被写界深度拡大
JPWO2014178294A1 (ja) 標本観察装置及び標本観察方法
CN108601505B (zh) 成像设备、成像方法和成像系统
JP5884021B2 (ja) マルチスペクトル撮像装置およびマルチスペクトル撮像方法
WO2020066042A1 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
JP2023527273A (ja) デジタル光学収差補正およびスペクトル撮像のためのシステムおよび方法
JP2022027501A (ja) 撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム
US20160225150A1 (en) Method and Apparatus for Object Distance and Size Estimation based on Calibration Data of Lens Focus
US20220189079A1 (en) Method for carrying out a shading correction and optical observation device system
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
JP2012245223A (ja) 電子内視鏡装置及び分光画像最適化方法
WO2023047826A1 (ja) 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP6127818B2 (ja) 補償光学素子の設定方法及び顕微鏡
JP2011015843A (ja) 眼科装置
JPWO2018096840A1 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP5025761B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN114460020B (zh) 一种基于数字微反射镜的高光谱扫描系统及方法
US7589330B2 (en) Ultraviolet microscope apparatus
US20240041317A1 (en) Focus measuring arrangement and method of ophthalmic examination, and ophthalmic examination apparatus and method
JP7079218B2 (ja) 撮像装置
CN106950222B (zh) 一种大景深成像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22872582

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023549404

Country of ref document: JP