WO2019026189A1 - 撮像装置および制御方法 - Google Patents

撮像装置および制御方法 Download PDF

Info

Publication number
WO2019026189A1
WO2019026189A1 PCT/JP2017/027941 JP2017027941W WO2019026189A1 WO 2019026189 A1 WO2019026189 A1 WO 2019026189A1 JP 2017027941 W JP2017027941 W JP 2017027941W WO 2019026189 A1 WO2019026189 A1 WO 2019026189A1
Authority
WO
WIPO (PCT)
Prior art keywords
statistical data
unit
illumination
image signal
light
Prior art date
Application number
PCT/JP2017/027941
Other languages
English (en)
French (fr)
Inventor
正法 三井
卓二 堀江
静児 坂元
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/027941 priority Critical patent/WO2019026189A1/ja
Publication of WO2019026189A1 publication Critical patent/WO2019026189A1/ja
Priority to US16/744,741 priority patent/US11323631B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V14/00—Controlling the distribution of the light emitted by adjustment of elements
    • F21V14/003—Controlling the distribution of the light emitted by adjustment of elements by interposition of elements with electrically controlled variable light transmissivity, e.g. liquid crystal elements or electrochromic devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V3/00—Globes; Bowls; Cover glasses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0297—Constructional arrangements for removing other types of optical noise or for performing calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/505—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour produced by lighting fixtures other than screens, monitors, displays or CRTs

Definitions

  • the present invention relates to an imaging device and a control method.
  • Non-Patent Document 1 describes a method using principal component analysis as a method of estimating spectral characteristics using statistical data, and a method of performing Wiener estimation using an autocorrelation matrix of spectral reflectance. There is.
  • these methods although it is possible to estimate the spectral characteristics of the subject with high accuracy by using appropriate statistical data, there is a problem that using erroneous statistical data results in large errors.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an imaging apparatus and a control method capable of realizing highly accurate spectral estimation using appropriate statistical data.
  • an imaging device includes an illumination unit that is configured of components of a plurality of wavelength bands and generates illumination light having illumination characteristics according to settings, and the illumination
  • An illumination control unit that controls illumination characteristics of illumination light generated by the unit; an imaging unit that generates an image signal by imaging light from the object; and spectral characteristics of the object included in the image signal generated by the imaging unit
  • a statistical data setting unit for setting statistical data to be used for estimation, an estimation unit for estimating spectral characteristics of an object included in the image signal by using statistical data set by the statistical data setting unit, and the estimation unit
  • An illumination characteristic determination unit that determines an illumination characteristic of the illumination light according to the estimated spectral characteristic of the subject; and the imaging unit under the illumination light having the illumination characteristic determined by the illumination characteristic determination unit.
  • a determination unit that determines whether the statistical data set by the statistical data setting unit is appropriate statistical data based on whether the generated image signal satisfies the achromatic color standard. It is characterized by
  • the imaging device is characterized in that, in the above-mentioned invention, the illumination characteristic determination unit determines the illumination characteristic so as to equalize the spectral characteristic regardless of the wavelength.
  • the statistical data setting unit when there is set statistical data, does not satisfy the reference with an image signal captured using the set statistical data. At the same time, another statistical data is set based on the image signal.
  • the determination unit makes a determination on all the statistical data selectable by the statistical data setting unit, and the statistical data most suitable for the achromatic color criterion is optimized. It is characterized in that it is determined as statistical data.
  • the illumination unit may be a flat filter whose light transmission center wavelength continuously changes along a preset direction, and a side from which light is emitted from the filter A liquid crystal portion that selectively transmits a part of the wavelength band of the light transmitted through the filter, and a light emission portion located on the side from which the light is emitted from the liquid crystal portion, and diffusing the light transmitted through the liquid crystal portion And a diffusion optical system that makes the light uniform, and the liquid crystal unit is capable of changing the wavelength band of light to be transmitted.
  • the control method according to the present invention is performed by an imaging apparatus that generates illumination light having illumination characteristics according to the setting, which includes components of a plurality of wavelength bands, and generates an image signal by imaging light from a subject.
  • An illumination characteristic determination step of determining a characteristic, and illumination light having the illumination characteristic determined in the illumination characteristic determination step
  • FIG. 1 is a block diagram showing a configuration of an imaging device according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram schematically showing the characteristics of the wavelength selection filter.
  • FIG. 3 is a view schematically showing the transmittance of light at representative positions of the wavelength selection filter.
  • FIG. 4 is a diagram showing a setting example of a region where the liquid crystal part transmits light.
  • FIG. 5 is a diagram for explaining an outline of processing performed by the imaging device according to Embodiment 1 of the present invention.
  • FIG. 6 is a flowchart showing an outline of processing performed by the imaging device according to Embodiment 1 of the present invention.
  • FIG. 7 is a flowchart showing an outline of processing performed by the imaging device according to Embodiment 2 of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an imaging device according to Embodiment 1 of the present invention.
  • the imaging device 1 shown in the figure includes an imaging unit 2, a lighting unit 3, an input unit 4, an output unit 5, a control unit 6, and a storage unit 7.
  • the imaging unit 2 photoelectrically converts light from the subject formed by focusing the light from the subject onto the imaging optical system 21 for focusing and forming an image, and generates an image signal And an element 22.
  • the imaging optical system 21 is configured using one or more lenses.
  • the imaging device 22 is configured using, for example, a monochrome image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • the imaging device 22 may be an image sensor having R, G, B color filters, or may be a multi-band image sensor of four or more bands.
  • the illumination unit 3 is composed of components of a plurality of wavelength bands, and generates illumination light having illumination characteristics according to the setting.
  • the illumination unit 3 includes a light source unit 31 that outputs white light, and a flat wavelength selection filter (linear variable filter: hereinafter referred to as “LVF”) 32 that transmits white light at different transmission wavelengths according to the incident position.
  • the liquid crystal unit 33 is located on the side where light is emitted from the LVF 32 and selectively transmits a predetermined wavelength band of the light transmitted through the LVF 32, and the liquid crystal unit 33 is located on the side where light is emitted from the liquid crystal unit 33
  • diffusive optical system 34 that diffuses the transmitted light and illuminates the light as illumination light.
  • the light source unit 31 outputs white light using, for example, a light emitting diode (LED) or a laser light source.
  • the light source unit 31 may be configured using a white LED or a white laser, and outputs white light by combining three or more LEDs or lasers including red (R), green (G), and blue (B). It is good also as composition.
  • the light source unit 31 may be configured using a xenon lamp or a halogen lamp.
  • the LVF 32 has a flat plate shape, and the transmission center wavelength of light continuously changes along the preset direction of the main surface.
  • FIG. 2 is a diagram schematically showing the characteristics of the LVF 32, and is a diagram showing the relationship between the position in the filter and the transmission center wavelength at which the transmittance is the highest.
  • the wavelength band ⁇ min ⁇ ⁇ ⁇ ⁇ max is a visible region.
  • the four vertical lines described in the LVF 32 in FIG. 2 are virtual lines connecting the positions where the wavelength bands to be transmitted are the same. These lines are orthogonal to the direction in which the transmission center wavelength changes, that is, the x-axis direction in FIG.
  • FIG. 3 is a view schematically showing the light transmittance at representative positions of the LVF 32.
  • the spectrum of the transmitted light at each position of the LVF 32 is substantially uniform in transmittance at the transmission center wavelength, and substantially uniform in bandwidth.
  • a multicolor LED light source may be used in which a plurality of LEDs of four or more colors outputting light in different wavelength bands are arranged two-dimensionally.
  • the liquid crystal unit 33 is located on the exit surface side of the LVF 32, and is configured using a liquid crystal panel capable of selectively outputting light of a preset wavelength band from the transmitted light transmitted through the LVF 32.
  • the liquid crystal unit 33 can selectively switch transmission / non-transmission of incident light for each region by changing the state of liquid crystal molecules in each region under the control of the control unit 6.
  • the transmission wavelength band of the LVF 32 and the incident position of the liquid crystal unit 33 are associated with each other and stored in a position information storage unit 72 of the storage unit 7 described later.
  • FIG. 4 is a diagram showing a setting example of a region where the liquid crystal unit 33 transmits light.
  • the hatched area is an area that transmits light.
  • the horizontal direction in the drawing corresponds to the wavelength change direction of the LVF 32.
  • the width of the transmission region in the left and right direction in the drawing corresponds to the width of the wavelength band of the transmitted light.
  • the height in the vertical direction in the figure corresponds to the light amount of the transmitted light. For example, since the second transmission region from the right in FIG. 4 penetrates in the vertical direction, the light amount of the wavelength component included in the transmission region is maximum.
  • region of the transmitted light may be making shapes other than a rectangle.
  • the diffusion optical system 34 is configured using, for example, a diffusion plate for diffusing the light flux, or an optical element for homogenizing the light flux diffused by the diffusion plate, and illuminates the light flux obtained by uniforming the illuminance distribution of the light transmitted through the liquid crystal section 33. It illuminates the subject as light.
  • the illumination unit 3 includes components of a plurality of wavelength bands different from one another, and generates illumination light in which each component has a characteristic according to the setting.
  • the illumination unit 3 simultaneously illuminates each component of the illumination light.
  • the number (band number) of the components of the wavelength band included in the illumination light and the half width of each wavelength band can be set by the user inputting via the input unit 4.
  • the illumination part 3 may irradiate each component of illumination light sequentially by time division.
  • the input unit 4 receives input of various signals including an instruction signal for operating the imaging device 1.
  • the input unit 4 includes input devices such as a keyboard, various buttons, various switches, and pointing devices such as a mouse and a touch panel, receives an input of a signal according to an external operation on these devices, and outputs the signal to the control unit 6 .
  • the input unit 4 may have a microphone for voice input.
  • the output unit 5 outputs various information including an image corresponding to the image signal generated by the imaging unit 2.
  • the output unit 5 is configured using liquid crystal, organic EL (Electro Luminescence), or the like, and includes a monitor that outputs various information including images and characters, and a speaker that outputs sound.
  • the control unit 6 includes a statistical data setting unit 61, an estimation unit 62, an illumination characteristic determination unit 63, a determination unit 64, an imaging control unit 65, and an illumination control unit 66.
  • the statistical data setting unit 61 selects and sets one of the plurality of statistical data stored in the statistical data storage unit 73 of the storage unit 7.
  • the imaging device 1 internally stores a plurality of statistical data, but the external database stores a plurality of statistical data, and the statistical data setting unit 61 is externally connected via a network.
  • Statistical data may be set by referring to the database of
  • the estimation unit 62 estimates the spectral characteristics of the subject included in the image signal generated by the imaging unit 2 by using the statistical data set by the statistical data setting unit 61.
  • the estimation unit 62 estimates the spectral characteristics of the subject by, for example, a method using principal component analysis or a method of performing Wiener estimation using an autocorrelation matrix of spectral reflectance (see Non-Patent Document 1).
  • the estimation unit 62 may estimate the spectral characteristic using the entire image signal, or estimate the spectral characteristic using a portion corresponding to a region of interest (ROI) set in advance in the image signal. You may
  • the illumination characteristic determination unit 63 determines the illumination characteristic of the illumination light emitted by the illumination unit 3 according to the spectral characteristic of the subject estimated by the estimation unit 62. In the case of the illumination unit 3 having the above-described configuration, for example, a parameter for setting a transmission portion in the liquid crystal unit 33 is determined as the illumination characteristic. Specifically, the illumination characteristic determination unit 63 determines the illumination characteristic so that the relative magnitude relation between the wavelengths is opposite to the spectral characteristic. The illumination characteristic determined by the illumination characteristic determination unit 63 is stored in the spectral information storage unit 75 of the storage unit 7 together with the estimation result of the spectral characteristic of the subject.
  • the determination unit 64 is a statistical data setting unit based on whether the image signal generated by the imaging unit 2 under the illumination light having the illumination characteristic determined by the illumination characteristic determination unit 63 satisfies the achromatic color standard. It is determined whether the statistical data set by 61 is appropriate statistical data. When the determination section 64 determines that the statistical data used for imaging is appropriate statistical data when the achromatic standard is satisfied, the statistical data used for the imaging is not acquired when the achromatic standard is not satisfied. It is determined that the statistical data is inappropriate.
  • the reference of the achromatic color here is defined as, for example, that the saturation has a predetermined range of values near zero at all wavelengths. The predetermined range can be set arbitrarily. If the estimated spectral characteristics completely match the actual spectral characteristics, the reflected light will be achromatic. If the determination unit 64 determines that the statistical data is inappropriate, the statistical data setting unit 61 sets another statistical data.
  • the imaging control unit 65 controls the imaging operation of the imaging unit 2 by controlling, for example, the frame rate and the exposure in the imaging unit 2.
  • the illumination control unit 66 controls the operation of the illumination unit 3 in synchronization with the photographing control unit 65 based on the illumination characteristic determined by the illumination characteristic determination unit 63. Specifically, the illumination control unit 66 controls the transmission pattern of each wavelength component in the liquid crystal unit 33 by controlling the state of the liquid crystal unit 33 at a predetermined timing, and thus the illumination light having the illumination characteristic determined. Generate and irradiate.
  • the control unit 6 is configured using, for example, a general-purpose processor such as a central processing unit (CPU) or a dedicated integrated circuit that executes a specific function such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA).
  • the various arithmetic processes of the imaging device 1 are executed by reading various programs stored in the storage unit 7.
  • the arithmetic processing also includes predetermined image processing on the image signal generated by the imaging unit 2.
  • the predetermined image processing includes, for example, A / D conversion processing, white balance adjustment processing, ⁇ correction processing, compression / decompression processing, and the like.
  • the storage unit 7 stores the filter information storage unit 71 storing transmission characteristics including the wavelength band of the transmitted light at each transmission position of the LVF 32, and position information storing the transmission position of the LVF 32 and the incident position in the liquid crystal unit 33 in association with each other.
  • a spectral information storage unit 75 for storing the spectral characteristic to be estimated and the illumination characteristic determined by the illumination characteristic determination unit 63 according to the spectral characteristic.
  • the image information stored in the image information storage unit 74 and the spectral information stored in the spectral information storage unit 75 are associated with each other.
  • the storage unit 7 also stores a plurality of programs executed by the control unit 6 and various setting information.
  • the program may be written and stored in a computer readable recording medium.
  • the program may be written to the storage unit 7 or the recording medium when the computer or the recording medium is shipped as a product, or may be downloaded through a communication network.
  • the storage unit 7 is configured using volatile memory such as random access memory (RAM) and non-volatile memory such as read only memory (ROM).
  • volatile memory such as random access memory (RAM) and non-volatile memory such as read only memory (ROM).
  • ROM read only memory
  • the storage unit 7 may be configured using a computer readable recording medium such as a memory card that can be externally mounted.
  • FIG. 5 is a diagram for explaining an outline of processing performed by the imaging device 1.
  • the statistical data setting unit 61 sets statistical data with respect to the image signal of the subject generated by the imaging unit 2 performing initial imaging
  • the estimation unit 62 estimates spectral characteristics.
  • a curve C1 shown in FIG. 5 indicates a wavelength spectrum of spectral characteristics when the horizontal axis is wavelength and the vertical axis is spectral characteristics.
  • the illumination characteristic determination unit 63 determines an illumination characteristic that makes the estimated spectral characteristic uniform.
  • a curve C2 shown in FIG. 5 indicates a wavelength spectrum of the illumination characteristic when the horizontal axis is a wavelength and the vertical axis is an illumination characteristic.
  • a curve C2 is a curve that provides illumination characteristics for each wavelength to make the curve C1 uniform.
  • the shape of the curve C2 is shaped such that the relative magnitude relationship for each wavelength is opposite to that of the curve C1.
  • the curve C1 and the curve C2 have different amounts in the vertical axis, but the curve C2 apparently has a shape in which the curve C1 is vertically inverted with respect to a predetermined horizontal axis.
  • the illumination unit 3 illuminates the subject with illumination light having the determined illumination characteristic.
  • the imaging device 1 captures an image. If the spectral characteristics of the subject are the same as the estimated spectral characteristics, then by multiplying the spectral characteristics and the illumination characteristics of the illuminated light, it is possible to obtain an achromatic image signal whose saturation is zero over the entire wavelength range. It becomes.
  • the determination unit 64 determines that the statistical data used for imaging is appropriate when the image signal satisfies a predetermined achromatic standard.
  • the control unit 6 is generated by photographing under the illumination light having the statistical data determined to be appropriate, the illumination characteristic of the illumination light determined using the statistical data, and the illumination characteristic.
  • An image signal is output and stored in association with the storage unit 7.
  • the determination unit 64 determines that the statistical data used for imaging is inappropriate.
  • the statistical data setting unit 61 sets another statistical data, and the estimation unit 62 estimates the spectral characteristic again.
  • the illumination characteristic determination unit 63 determines the illumination characteristic again, and the imaging unit 2 performs imaging under the illumination light having the determined illumination characteristic. These processes are repeated until the determination unit 64 determines that it is appropriate.
  • the illumination characteristic determination unit 63 determines an initial illumination characteristic (step S1).
  • the initial lighting characteristics may be predetermined or may be determined by the user via the input unit 4 each time.
  • the imaging device 1 performs initial imaging (step S2).
  • the illumination control unit 66 causes the illumination unit 3 to generate illumination light according to the set illumination characteristic.
  • the imaging control unit 65 causes the imaging unit 2 to perform imaging at the timing when the illumination light according to the set illumination characteristic is emitted.
  • the statistical data setting unit 61 selects and sets one statistical data from among the plurality of statistical data stored in the statistical data storage unit 73 (step S3).
  • the estimation unit 62 estimates the spectral characteristics of the subject using the image signal acquired by the imaging unit 2 and the statistical data set by the statistical data setting unit 61 (step S4). Thereby, the curve C1 shown in FIG. 5 is obtained.
  • the illumination characteristic determination unit 63 determines the illumination characteristic of the illumination light emitted by the illumination unit 3 from the estimated spectral characteristic (step S5).
  • the illumination characteristic determination unit 63 determines the illumination characteristic of the illumination light so that the reflected light from the subject is substantially constant regardless of the wavelength, and satisfies the achromatic standard.
  • the illumination characteristic at this time is given by, for example, a curve C2 shown in FIG.
  • the illumination control unit 66 causes the illumination unit 3 to emit illumination light having the determined illumination characteristic
  • the imaging control unit 65 causes the imaging unit 2 to perform imaging under the illumination light (step S6).
  • the determination unit 64 determines whether the image signal generated by the imaging unit 2 satisfies the achromatic standard (step S7). If the determination unit 64 determines that the criteria for achromatic color are satisfied (step S7: Yes), the determination unit 64 determines that the latest statistical data set by the statistical data setting unit 61 is appropriate statistical data (step S8).
  • the control unit 6 writes the appropriate statistical data and the illumination characteristic and the image signal respectively corresponding to the statistical data in the statistical data storage unit 73, the spectral information storage unit 75 and the image information storage unit 74 in association with each other.
  • the illumination characteristic and the image signal corresponding to the statistical data mean the illumination characteristic determined by using the statistical data and the image signal generated by photographing the illumination light having the illumination characteristic.
  • a common flag may be set for appropriate statistical data, illumination characteristics, and image signals.
  • step S7 determines that the criteria for achromatic color are not satisfied (step S7: No)
  • step S7: No the determination unit 64 determines that the latest statistical data set by the statistical data setting unit 61 is inappropriate statistical data. It is determined that (step S10).
  • the statistical data setting unit 61 refers to the statistical data storage unit 73 to select and set another statistical data (step S11). Thereafter, the imaging device 1 returns to step S4.
  • the image signal generated by the imaging unit 2 in steps S2 and S6 may be specialized for the determination of the achromatic color reference.
  • the control unit 6 does not have to perform various image processing performed at the time of normal shooting on the generated image signal, so that the determination processing of the determination unit 64 can be speeded up.
  • the imaging device 1 may perform normal shooting using appropriate statistical data after completing the series of processes. .
  • step S4 estimation of spectral characteristics in step S4 is performed using a signal corresponding to a region of interest among image signals
  • the spectral analysis of the image signal is performed using appropriate statistical data.
  • the characteristics may be estimated.
  • step S9 instead of the image signal and the illumination characteristic corresponding to the appropriate statistical data, the image signal generated in the initial imaging and the illumination characteristic of the illumination light at the initial imaging are correlated with the appropriate statistical data. , And may be stored in the image information storage unit 74 and the spectral information storage unit 75, respectively.
  • the imaging device 1 performs the series of processes described above for each region of interest.
  • the illumination light may be returned to white light, and the imaging unit 2 may rephotograph and output together with the selected statistical data. In this case, there is an advantage that it is easy to identify when the photographed image is viewed.
  • the illumination characteristic of the illumination light is determined according to the spectral characteristic of the subject estimated using the statistical data, and generated under the illumination light having the illumination characteristic. According to whether the image signal satisfies the achromatic color standard, it is possible to realize high-accuracy spectral estimation using appropriate statistical data because it is determined whether the statistical data conforms.
  • the already set statistical data when there is already set statistical data, when the image signal captured using the already set statistical data does not satisfy the achromatic color standard, the already set statistical In order to set another statistical data based on an image captured using data, it is possible to approximate the appropriate statistical data by repeating the setting of the statistical data.
  • the image satisfying the achromatic color standard is output together with the illumination characteristic and the statistical data at that time, the difference in the signal level for each wavelength is small, and the S / N ratio for each wavelength is An image that is equivalent can be obtained.
  • the determination unit 64 generates error information with the achromatic color reference.
  • the statistical data setting unit 61 sets second and subsequent statistical data, statistical data is selected using error information included in the previous determination result.
  • the statistical data setting unit 61 performs the second statistical data setting processing based on the error information corresponding to the blue component. In this case, the statistical data setting unit 61 selects statistical data selected for the second time that the reflectance of the blue component is higher than that for the first time.
  • imaging is performed with setting of all settable statistical data, and the statistical data determined to be most suitable for the achromatic standard among them is determined as the optimal statistical data.
  • the configuration of the imaging device according to the second embodiment is the same as the configuration (see FIG. 1) of the imaging device 1 described in the first embodiment.
  • FIG. 7 is a flowchart showing an outline of processing performed by the imaging device according to Embodiment 2 of the present invention.
  • the processes of steps S21 to S26 correspond to the processes of steps S1 to S6 described in the first embodiment, respectively.
  • step S27 the determination unit 64 determines whether the statistical data setting unit 61 has set all the statistical data.
  • the determination unit 64 determines whether the image signal corresponding to each statistical data satisfies the achromatic criteria. It is determined whether the statistical data corresponding to the image signal that most conforms to the achromatic color standard is the optimal statistical data (step S28).
  • the "image signal that conforms to the most achromatic standard" referred to herein is the most achromatic image signal whose spectral characteristic is most uniform regardless of the wavelength.
  • the imaging device 1 writes the optimum statistical data and the illumination characteristic and the image signal respectively corresponding to the optimum statistical data in the statistical data storage unit 73, the spectral information storage unit 75 and the image information storage unit 74 in association with each other. To store (step S29).
  • step S27 when the determination unit 64 determines that the statistical data setting unit 61 does not set all statistical data (step S27: No), the statistical data setting unit 61 refers to the statistical data storage unit 73. Another statistical data is selected and set (step S30). Thereafter, the imaging device 1 returns to step S24.
  • determination is performed on all settable statistical data, and statistical data that most conforms to the achromatic color criteria is determined to be optimum statistical data, so the statistical data is optimized. be able to.
  • the present invention should not be limited only by the above-described first and second embodiments.
  • a method of performing spectral estimation it is also possible to apply statistical methods other than the above-described principal component analysis and Wiener estimation.
  • a multiple regression model can be mentioned.
  • the coefficient of the polynomial giving the approximate curve is set as statistical data.
  • maximum likelihood estimation or Bayesian estimation may be applied.
  • the probability density function is set as statistical data.
  • statistical data may be set using machine learning.
  • a plurality of learning devices for respectively learning a plurality of different statistical data for learning are provided, and the statistical data setting unit selects and sets optimal statistical data based on the learning results in those learning devices. May be As machine learning, deep learning etc. which are performed using a neural network of a multilayer structure can be mentioned.

Abstract

撮像装置は、複数の波長帯域の成分からなり、設定に応じた照明特性を有する照明光を生成する照明部と、照明部が生成する照明光の照明特性を制御する照明制御部と、被写体からの光を撮像することによって画像信号を生成する撮像部と、撮像部が生成した画像信号に含まれる被写体の分光特性の推定に用いる統計データを設定する統計データ設定部と、統計データ設定部が設定した統計データを用いることによって画像信号に含まれる被写体の分光特性を推定する推定部と、推定部が推定した被写体の分光特性に応じて照明光の照明特性を決定する照明特性決定部と、照明特性決定部が決定した照明特性を有する照明光のもとで撮像部が生成した画像信号が無彩色の基準を満たしているか否かに基づいて、統計データ設定部が設定した統計データが適切な統計データであるか否かを判定する判定部と、を備える。

Description

撮像装置および制御方法
　本発明は、撮像装置および制御方法に関する。
　従来、被写体の分光特性を推定する方法として、被写体の分光特性の統計データを使用して推定する方法が知られている。例えば、非特許文献１には、統計データを使用して分光特性を推定する方法として、主成分分析を用いる方法や、分光反射率の自己相関行列を用いてWiener推定を行う方法が記載されている。これらの方法では、適切な統計データを使用することによって被写体の分光特性を高精度に推定することができるものの、誤った統計データを使用すると誤差が大きくなってしまうという問題がある。
　これに対し、カメラの信号値に応じて分光特性の推定に使用する統計データを選択する技術が知られている（例えば、特許文献１を参照）。この技術では、カメラの信号値を入力とし、統計データを出力とするルックアップテーブルを用いて信号値ごとに統計データを選択し、その統計データを用いて被写体の分光特性を推定する。
特開２００１－８２２０号公報
三宅洋一著、「ディジタルカラー画像の解析・評価」、東京大学出版会、2000年2月、p.147－155
　ところで、上述した特許文献１に記載の技術では、ノイズ等の影響により、異なる分光特性を有する被写体であってもカメラの信号値が同一になる場合がありうる。このような場合には、被写体の分光特性の推定に使用した統計データが適切であるか否かを判定することができず、適切な統計データを用いた高精度の分光推定を実現することができなかった。
　本発明は、上記に鑑みてなされたものであって、適切な統計データを用いた高精度の分光推定を実現することができる撮像装置および制御方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、複数の波長帯域の成分からなり、設定に応じた照明特性を有する照明光を生成する照明部と、前記照明部が生成する照明光の照明特性を制御する照明制御部と、被写体からの光を撮像することによって画像信号を生成する撮像部と、前記撮像部が生成した画像信号に含まれる被写体の分光特性の推定に用いる統計データを設定する統計データ設定部と、前記統計データ設定部が設定した統計データを用いることによって前記画像信号に含まれる被写体の分光特性を推定する推定部と、前記推定部が推定した被写体の分光特性に応じて前記照明光の照明特性を決定する照明特性決定部と、前記照明特性決定部が決定した照明特性を有する照明光のもとで前記撮像部が生成した画像信号が無彩色の基準を満たしているか否かに基づいて、前記統計データ設定部が設定した統計データが適切な統計データであるか否かを判定する判定部と、を備えたことを特徴とする。
　本発明に係る撮像装置は、上記発明において、前記照明特性決定部は、前記分光特性を波長によらず均一化するように前記照明特性を決定することを特徴とする。
　本発明に係る撮像装置は、上記発明において、前記統計データ設定部は、設定済みの統計データがある場合において、該設定済みの統計データを用いて撮影された画像信号が前記基準を満たしていないとき、前記画像信号に基づいて別の統計データを設定することを特徴とする。
　本発明に係る撮像装置は、上記発明において、前記判定部は、前記統計データ設定部が選択可能な全ての統計データに対して判定を行い、前記無彩色の基準に最も適合する統計データを最適統計データと判定することを特徴とする。
　本発明に係る撮像装置は、上記発明において、前記照明部は、光の透過中心波長が予め設定された方向に沿って連続的に変化する平板状のフィルタと、前記フィルタから光が出射する側に位置し、前記フィルタを透過した光の一部の波長帯域を選択的に透過する液晶部と、前記液晶部から光が出射する側に位置し、前記液晶部を透過した光を拡散して均一化する拡散光学系と、を有し、前記液晶部は、透過する光の波長帯域を変更可能であることを特徴とする。
　本発明に係る制御方法は、複数の波長帯域の成分からなり、設定に応じた照明特性を有する照明光を生成するとともに、被写体からの光を撮像することによって画像信号を生成する撮像装置が実行する制御方法であって、前記画像信号を生成する画像信号生成ステップと、前記画像信号生成ステップで生成した画像信号に含まれる被写体の分光特性の推定に用いる統計データを設定する統計データ設定ステップと、前記統計データ設定ステップで設定した統計データを用いることによって前記画像信号に含まれる被写体の分光特性を推定する推定ステップと、前記推定ステップで推定した被写体の分光特性に応じて前記照明光の照明特性を決定する照明特性決定ステップと、前記照明特性決定ステップで決定した照明特性を有する照明光のもとで画像信号を生成する第２画像信号生成ステップと、前記第２画像信号生成ステップで生成した画像信号が無彩色の基準を満たしているか否かに基づいて、前記統計データ設定ステップで設定した統計データが適切な統計データであるか否かを判定する判定ステップと、を有することを特徴とする。
　本発明によれば、適切な統計データを用いた高精度の分光推定を実現することができる。
図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。 図２は、波長選択フィルタの特性を模式的に示す図である。 図３は、波長選択フィルタの代表的な位置における光の透過率を模式的に示す図である。 図４は、液晶部が光を透過する領域の設定例を示す図である。 図５は、本発明の実施の形態１に係る撮像装置が行う処理の概要を説明する図である。 図６は、本発明の実施の形態１に係る撮像装置が行う処理の概要を示すフローチャートである。 図７は、本発明の実施の形態２に係る撮像装置が行う処理の概要を示すフローチャートである。
　以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
（実施の形態１）
　図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置１は、撮像部２、照明部３、入力部４、出力部５、制御部６および記憶部７を備える。
　撮像部２は、被写体からの光を集光して結像する撮像光学系２１と、撮像光学系２１が集光して結像した被写体からの光を光電変換して画像信号を生成する撮像素子２２とを有する。撮像光学系２１は、１または複数のレンズを用いて構成される。撮像素子２２は、例えばＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等のモノクロのイメージセンサを用いて構成される。なお、撮像素子２２は、Ｒ、Ｇ、Ｂのカラーフィルタを有するイメージセンサでもよいし、４バンド以上の多バンドのイメージセンサでもよい。
　照明部３は、複数の波長帯域の成分からなり、設定に応じた照明特性を有する照明光を生成する。照明部３は、白色光を出力する光源部３１と、白色光を入射位置に応じて異なる透過波長で透過する平板状の波長選択フィルタ（リニアバリアブルフィルタ：以下、「ＬＶＦ」という）３２と、ＬＶＦ３２から光が出射する側に位置し、ＬＶＦ３２を透過した光のうち所定の波長帯域を選択的に透過する液晶部３３と、液晶部３３から光が出射する側に位置し、液晶部３３を透過した光を拡散して均一化した光を照明光として照射する拡散光学系３４とを有する。
　光源部３１は、例えばＬＥＤ（Light　Emitting　Diode）またはレーザ光源を用いて白色光を出力する。光源部３１は、白色ＬＥＤまたは白色レーザを用いた構成としてもよいし、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を含む３つ以上のＬＥＤまたはレーザを組み合わせて白色光を出力する構成としてもよい。なお、光源部３１をキセノンランプまたはハロゲンランプ等を用いて構成してもよい。
　ＬＶＦ３２は平板状をなしており、主面の予め設定された方向に沿って光の透過中心波長が連続的に変化する。図２は、ＬＶＦ３２の特性を模式的に示す図であり、フィルタ内の位置とその位置で最も透過率が高い透過中心波長との関係を示す図である。図２の左右方向であってＬＶＦ３２の対向する２辺と平行な方向をｘ軸方向として、ＬＶＦ３２の左端の位置をｘ＝０、右端の位置をｘ＝ｘmaxとする。ＬＶＦ３２は、ｘ軸方向の位置がｘ＝０からｘ＝ｘmaxに変化するにつれて、各位置における透過中心波長λが連続的にかつ線形に増加する（図２の直線Ｌを参照）。波長帯域λmin≦λ≦λmaxは可視領域である。例えば、左端ｘ＝０における透過中心波長λminは３８０ｎｍであり、右端ｘ＝ｘmaxにおける透過中心波長λmaxは７８０ｎｍである。図２では、ｘ＝ｘn（ｎ＝１～４；０＜ｘn＜ｘmax）における透過中心波長をλnとしている。図２においてＬＶＦ３２に記載された４本の縦線は、透過する波長帯域が同じである位置を結んだ仮想的な線である。これらの線は、透過中心波長が変化する方向すなわち図２のｘ軸方向とそれぞれ直交している。
　図３は、ＬＶＦ３２の代表的な位置における光の透過率を模式的に示す図である。図３では、ｘ＝０、ｘn（ｎ＝１～４）、ｘmaxをそれぞれ透過する光の透過率を模式的に示している。例えば、ｘ＝０を透過する光のスペクトルＳminは、透過中心波長λminを有する。同様に、ｘ＝ｘnを透過する光のスペクトルＳnは、透過中心波長λnを有し、ｘ＝ｘmaxを透過する光のスペクトルＳmaxは、透過中心波長λmaxを有する。図３からも明らかなように、ＬＶＦ３２の各位置における透過光のスペクトルは、透過中心波長における透過率がほぼ均一であるとともに、帯域幅もほぼ均一である。
　なお、ＬＶＦ以外のフィルタを用いて照明部３を構成してもよい。例えば、互いに異なる波長帯域の光を出力する４色以上の複数のＬＥＤを２次元的に並べて配置した多色ＬＥＤ光源を用いてもよい。
　液晶部３３は、ＬＶＦ３２の出射面側に位置しており、ＬＶＦ３２を透過した透過光から予め設定された波長帯域の光を選択的に出力可能な液晶パネルを用いて構成される。液晶部３３は、制御部６の制御のもと、各領域の液晶分子の状態を変化させることにより、入射する光の透過／非透過を領域ごとに選択的に切り換え可能である。ＬＶＦ３２の透過波長帯域と液晶部３３の入射位置は、互いに対応付けられて、後述する記憶部７の位置情報記憶部７２に記憶されている。
　図４は、液晶部３３が光を透過する領域の設定例を示す図である。図４においては、斜線で示した領域が光を透過する領域であることを模式的に示している。図の左右方向は、ＬＶＦ３２の波長変化方向に対応している。図の左右方向の透過領域の幅は、透過光の波長帯域の広さに対応している。これに対して、図の上下方向の高さは、透過光の光量に対応している。例えば、図４の右から２番目の透過領域は上下方向に貫通しているため、この透過領域に含まれる波長成分の光量は最大である。なお、透過光の領域は矩形以外の形状をなしていてもよい。
　拡散光学系３４は、例えば光束を拡散する拡散板や、拡散板によって拡散した光束を均一化する光学素子を用いて構成され、液晶部３３を透過した光の照度分布を均一化した光束を照明光として被写体へ向けて照射する。
　照明部３は、互いに異なる複数の波長帯域の成分からなり、各成分が設定に応じた特性を有する照明光を生成する。照明部３は、照明光の各成分を同時に照射する。照明光に含まれる波長帯域の成分の数（バンド数）および各波長帯域の半値幅は、ユーザが入力部４を介して入力することにより設定することが可能である。なお、照明部３は、照明光の各成分を時分割で順次照射してもよい。
　入力部４は、撮像装置１を操作する指示信号を含む各種信号の入力を受け付ける。入力部４は、キーボード、各種ボタン、各種スイッチ等の入力デバイス、マウス、タッチパネル等のポインティングデバイスを含み、これらのデバイスに対する外部からの操作に応じた信号の入力を受け付けて制御部６に出力する。入力部４は、音声入力用のマイクロフォンを有していてもよい。
　出力部５は、撮像部２が生成した画像信号に対応する画像を含む各種情報を出力する。出力部５は、液晶または有機ＥＬ（Electro　Luminescence）等を用いて構成され、画像や文字を含む各種情報を出力するモニタと、音声を出力するスピーカとを有する。
　制御部６は、統計データ設定部６１、推定部６２、照明特性決定部６３、判定部６４、撮影制御部６５、および照明制御部６６を有する。
　統計データ設定部６１は、記憶部７の統計データ記憶部７３が記憶している複数の統計データから１つを選択して設定する。なお、本実施の形態１では撮像装置１が内部に複数の統計データを記憶しているが、外部のデータベースに複数の統計データを記憶させておき、統計データ設定部６１がネットワークを介して外部のデータベースを参照して統計データを設定するようにしてもよい。
　推定部６２は、統計データ設定部６１が設定した統計データを用いることにより、撮像部２が生成した画像信号に含まれる被写体の分光特性を推定する。推定部６２は、例えば主成分分析を用いた方法や分光反射率の自己相関行列を用いてWiener推定を行う方法によって被写体の分光特性を推定する（非特許文献１を参照）。推定部６２は、画像信号全体を用いて分光特性を推定してもよいし、画像信号の中で予め設定された関心領域（ＲＯＩ：Region　of　Interest）に対応する部分を用いて分光特性を推定してもよい。
　照明特性決定部６３は、推定部６２が推定した被写体の分光特性に応じて照明部３が照射する照明光の照明特性を決定する。上述した構成を有する照明部３の場合には、照明特性として、例えば液晶部３３における透過部分を設定するパラメータが決定される。具体的には、照明特性決定部６３は、分光特性と比して波長ごとの相対的な大小関係が逆となるように照明特性を決定する。照明特性決定部６３が決定した照明特性は、被写体の分光特性の推定結果とともに、記憶部７の分光情報記憶部７５に記憶される。
　判定部６４は、照明特性決定部６３が決定した照明特性を有する照明光のもとで撮像部２が生成した画像信号が無彩色の基準を満たしているか否かに基づいて、統計データ設定部６１が設定した統計データが適切な統計データであるか否かを判定する。判定部６４は、無彩色の基準を満たしている場合、撮影に用いた統計データが適切な統計データであると判定する一方、無彩色の基準を満たしていない場合、撮影に用いた統計データが不適切な統計データであると判定する。ここでいう無彩色の基準は、例えばすべての波長において彩度がゼロ近傍の所定の範囲の値を有することと定められる。所定の範囲は任意に設定可能である。推定した分光特性が実際の分光特性と完全に一致すれば、反射光は無彩色となる。判定部６４が不適切な統計データであると判定した場合、統計データ設定部６１は別の統計データを設定する。
　撮影制御部６５は、例えば撮像部２におけるフレームレートや露出等を制御することによって撮像部２の撮影動作を制御する。
　照明制御部６６は、照明特性決定部６３によって決定された照明特性に基づいて、撮影制御部６５と同期を取りながら照明部３の動作を制御する。具体的には、照明制御部６６は、所定のタイミングで液晶部３３の状態を制御することによって液晶部３３における各波長成分の透過パターンを制御することにより、決定された照明特性を有する照明光を生成して照射する。
　制御部６は、例えばＣＰＵ（Central　Processing　Unit）等の汎用プロセッサまたはＡＳＩＣ（Application　Specific　Integrated　Circuit）もしくはＦＰＧＡ（Field　Programmable　Gate　Array）等の特定の機能を実行する専用の集積回路等を用いて構成され、記憶部７が記憶する各種プログラムを読み込むことによって撮像装置１の各種演算処理を実行する。この演算処理には、撮像部２が生成した画像信号に対する所定の画像処理も含まれる。所定の画像処理は、例えばＡ／Ｄ変換処理、ホワイトバランス調整処理、γ補正処理、圧縮・伸張処理等を含む。
　記憶部７は、ＬＶＦ３２の各透過位置における透過光の波長帯域を含む透過特性を記憶するフィルタ情報記憶部７１と、ＬＶＦ３２の透過位置と液晶部３３における入射位置とを対応付けて記憶する位置情報記憶部７２と、統計データ設定部６１が設定するための統計データを複数記憶する統計データ記憶部７３と、撮像部２が撮影した画像信号を記憶する画像情報記憶部７４と、推定部６２が推定する分光特性および照明特性決定部６３が分光特性に応じて決定する照明特性を記憶する分光情報記憶部７５と、を有する。画像情報記憶部７４が記憶する画像情報と分光情報記憶部７５が記憶する分光情報とは、互いに関連付けられている。
　記憶部７は、制御部６が実行する複数のプログラムおよび各種設定情報も記憶する。なお、プログラムは、コンピュータ読み取り可能な記録媒体に書き込んで記憶させてもよい。プログラムの記憶部７または記録媒体への書き込みは、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
　記憶部７は、ＲＡＭ（Random　Access　Memory）等の揮発性メモリおよびＲＯＭ（Read　Only　Memory）等の不揮発性メモリを用いて構成される。なお、外部から装着可能なメモリカード等のコンピュータ読み取り可能な記録媒体を用いて記憶部７を構成してもよい。
　図５は、撮像装置１が行う処理の概要を説明する図である。まず、撮像部２が初期撮影することにより生成した被写体の画像信号に対して、統計データ設定部６１が統計データを設定し、推定部６２が分光特性の推定を行う。図５に示す曲線Ｃ１は横軸を波長、縦軸が分光特性としたときの分光特性の波長スペクトルを示している。
　その後、照明特性決定部６３は、推定した分光特性を均一化するような照明特性を決定する。図５に示す曲線Ｃ２は、横軸を波長、縦軸を照明特性としたときの照明特性の波長スペクトルを示している。曲線Ｃ２は、曲線Ｃ１を均一化するための波長ごとの照明特性を与える曲線である。曲線Ｃ２の形状は、波長ごとの相対的な大小関係が曲線Ｃ１と逆であるような形状をなしている。曲線Ｃ１と曲線Ｃ２は縦軸が異なる量であるが、曲線Ｃ２は見かけ上、曲線Ｃ１を所定の横軸に対して上下に反転させた形状をなしている。
　この後、照明部３は、決定された照明特性を有する照明光を被写体に照射する。この状態で撮像装置１は撮影を行う。被写体の分光特性が推定した分光特性と同じであれば、分光特性と照射した照明光の照明特性とのかけ合わせにより、全波長帯にわたって彩度がゼロである無彩色の画像信号が得られることとなる。
　判定部６４は、画像信号が所定の無彩色の基準を満たす場合、撮影に用いた統計データが適切であると判定する。この場合、制御部６は、適切と判定された統計データと、該統計データを用いて決定された照明光の照明特性と、該照明特性を有する照明光のもとでの撮影によって生成された画像信号を出力し、記憶部７に関連付けて記憶させる。
　これに対して、画像信号が無彩色の基準を満たさない場合、判定部６４は、撮影に用いた統計データが不適切であると判定する。判定部６４が統計データを不適切と判定した場合、統計データ設定部６１は別の統計データを設定し、推定部６２は分光特性を再度推定する。続いて、照明特性決定部６３は照明特性を再び決定し、撮像部２は決定された照明特性を有する照明光のもとで撮影を行う。これらの処理は、判定部６４が適切と判定するまで繰り返される。
　以上説明した処理について、図６に示すフローチャートを参照してより詳細に説明する。まず、照明特性決定部６３は、初期の照明特性を決定する（ステップＳ１）。初期の照明特性は、予め定められたものでもよいし、その都度ユーザが入力部４を介して決定するようにしてもよい。
　続いて、撮像装置１は初期撮影を行う（ステップＳ２）。この際、照明制御部６６は、設定された照明特性にしたがう照明光を照明部３に生成させる。また、撮影制御部６５は、設定された照明特性にしたがう照明光が照射されているタイミングで撮像部２に撮影を行わせる。
　この後、統計データ設定部６１は、統計データ記憶部７３が記憶する複数の統計データの中から１つの統計データを選択して設定する（ステップＳ３）。続いて、推定部６２は、撮像部２が取得した画像信号と統計データ設定部６１が設定した統計データを用いて被写体の分光特性を推定する（ステップＳ４）。これにより、図５に示す曲線Ｃ１が得られる。
　続いて、照明特性決定部６３は、推定された分光特性から照明部３が照射する照明光の照明特性を決定する（ステップＳ５）。照明特性決定部６３は、被写体からの反射光が波長によらず略一定となり、無彩色の基準を満たすように照明光の照明特性を決定する。この時の照明特性は、例えば図５に示す曲線Ｃ２によって与えられる。
　この後、照明制御部６６は、照明部３に決定された照明特性を有する照明光を照射させ、撮影制御部６５はその照明光のもとで撮像部２に撮影を行わせる（ステップＳ６）。
　続いて、判定部６４は、撮像部２が生成した画像信号が無彩色の基準を満たすか否かを判定する（ステップＳ７）。判定部６４が無彩色の基準を満たすと判定した場合（ステップＳ７：Ｙｅｓ）、判定部６４は、統計データ設定部６１が設定した最新の統計データが適切な統計データであると判定する（ステップＳ８）。
　その後、制御部６は、適切な統計データ、ならびに該統計データにそれぞれ対応する照明特性および画像信号を互いに関連付けて、統計データ記憶部７３、分光情報記憶部７５および画像情報記憶部７４にそれぞれ書き込んで記憶させる（ステップＳ９）。ここで、統計データに対応する照明特性および画像信号とは、その統計データを用いて決定された照明特性、および該照明特性を有する照明光のもとの撮影によって生成された画像信号を意味する。なお、関連付けの方法としては、例えば適切な統計データ、照明特性および画像信号に共通のフラグを立てればよい。
　ステップＳ７において判定部６４が無彩色の基準を満たさないと判定した場合（ステップＳ７：Ｎｏ）、判定部６４は、統計データ設定部６１が設定した最新の統計データが不適切な統計データであると判定する（ステップＳ１０）。続いて、統計データ設定部６１は、統計データ記憶部７３を参照して別の統計データを選択して設定する（ステップＳ１１）。その後、撮像装置１はステップＳ４に戻る。
　なお、ステップＳ２およびＳ６において撮像部２が生成する画像信号は、無彩色の基準の判定用に特化してもよい。この場合には、生成された画像信号に対して、制御部６が通常撮影時に行う各種画像処理を行わないでよいため、判定部６４の判定処理を高速化することができる。このようにステップＳ２およびＳ６の撮影を予備的な撮影（プレ撮影）とする場合、撮像装置１は一連の処理を終了した後、適切な統計データを用いて通常撮影を行うようにすればよい。
　また、ステップＳ４における分光特性の推定を、画像信号のうち関心領域に対応する信号を用いて行う場合には、上述した一連の処理を終了した後、適切な統計データを用いて画像信号の分光特性を推定するようにしてもよい。
　また、ステップＳ９では、適切な統計データに対応する画像信号および照明特性に代えて、初期撮影で生成した画像信号および該初期撮影時の照明光の照明特性を、適切な統計データと互いに関連付けて、画像情報記憶部７４および分光情報記憶部７５にそれぞれ記憶させてもよい。
　また、１つの画像に複数の関心領域が設定されている場合、撮像装置１は上述した一連の処理を関心領域ごとに行う。
　また、ステップＳ７で無彩色の基準を満たすと判定した場合、照明光を白色光に戻して撮像部２が再撮影し、選択された統計データとともに出力してもよい。この場合は、撮影画像を目視したときに識別しやすいという利点がある。
　以上説明した本発明の実施の形態１によれば、統計データを用いて推定した被写体の分光特性に応じて照明光の照明特性を決定し、その照明特性を有する照明光のもとで生成した画像信号が無彩色の基準を満たしているか否かに応じて、統計データが適合しているか否かを判定するため、適切な統計データを用いた高精度の分光推定を実現することができる。
　また、本実施の形態１によれば、設定済みの統計データがある場合において、該設定済みの統計データを用いて撮影された画像信号が無彩色の基準を満たしていないとき、設定済みの統計データを用いて撮影された画像に基づいて別の統計データを設定するため、統計データの設定を繰り返すことによって適切な統計データに近づけることができる。
　また、本実施の形態１によれば、無彩色の基準を満たす画像をそのときの照明特性および統計データとともに出力するため、波長ごとの信号レベルの差が少なく、波長ごとのＳ／Ｎ比が同等である画像を取得することができる。
（変形例）
　実施の形態１の変形例は、判定部６４が無彩色の基準との誤差情報を生成する。この場合、統計データ設定部６１が２回目以降の統計データを設定する際に、前回の判定結果に含まれる誤差情報を用いて統計データの選択を行う。
　例えば、１回目に設定した統計データを用いて推定部６２が推定した分光特性から決定した照明特性に基づく照明光を照射して撮影によって取得した画像に青色成分が含まれている場合、すなわち実際の分光特性は推定結果よりも青の反射率が高いと考えられる場合には、この青色成分に相当する誤差情報に基づいて、統計データ設定部６１が２回目の統計データ設定処理を行う。この場合、統計データ設定部６１は、２回目に選択する統計データは、１回目よりも青色成分の反射率が高くなる統計データを選択する。
　本変形例によれば、判定部６４の判定時における無彩色との誤差情報を用いて統計データの再設定を行うため、所定の順序で統計データを選択していく場合と比較して、より早く適切な統計データを見つけることができる。
（実施の形態２）
　本発明の実施の形態２は、設定可能なすべての統計データを設定して撮影を行い、その中で最も無彩色の基準に適合すると判定される統計データを最適統計データと判定する。本実施の形態２に係る撮像装置の構成は、実施の形態１で説明した撮像装置１の構成（図１を参照）と同様である。
　図７は、本発明の実施の形態２に係る撮像装置が行う処理の概要を示すフローチャートである。図７において、ステップＳ２１～Ｓ２６の処理は、実施の形態１で説明したステップＳ１～Ｓ６の処理にそれぞれ対応している。
　ステップＳ２７において、判定部６４は、統計データ設定部６１がすべての統計データを設定したか否かを判定する。統計データ設定部６１がすべての統計データ設定した、と判定部６４が判定した場合（ステップＳ２７：Ｙｅｓ）、判定部６４は、各統計データに対応する画像信号が無彩色の基準を満たすか否かを判定し、最も無彩色の基準に適合する画像信号に対応する統計データを最適統計データと判定する（ステップＳ２８）。ここでいう「最も無彩色の基準に適合する画像信号」とは、分光特性が波長によらず最も均一化された、最も無彩色に近い画像信号のことである。
　その後、撮像装置１は、最適統計データ、ならびに該最適統計データにそれぞれ対応する照明特性および画像信号を互いに関連付けて、統計データ記憶部７３、分光情報記憶部７５および画像情報記憶部７４にそれぞれ書き込んで記憶させる（ステップＳ２９）。
　ステップＳ２７において、統計データ設定部６１がすべての統計データを設定していない、と判定部６４が判定した場合（ステップＳ２７：Ｎｏ）、統計データ設定部６１は統計データ記憶部７３を参照して別の統計データを選択して設定する（ステップＳ３０）。その後、撮像装置１はステップＳ２４に戻る。
　以上説明した本発明の実施の形態２によれば、実施の形態１と同様、適切な統計データを用いた高精度の分光推定を実現することができる。
　また、本実施の形態２によれば、全ての設定可能な統計データに対して判定を行い、最も無彩色の基準に適合する統計データを最適統計データと判定するため、統計データを最適化することができる。
（その他の実施の形態）
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１、２によってのみ限定されるべきものではない。例えば、分光推定を行う方法として、上述した主成分分析やWiener推定以外の統計的手法を適用することも可能である。具体的な例として、重回帰モデルを挙げることができる。重回帰モデルを適用する場合には、近似曲線を与える多項式の係数を統計データとして設定する。また、別の例として、最尤推定またはベイズ推定を適用してもよい。最尤推定またはベイズ推定を適用する場合には、確率密度関数を統計データとして設定する。
　また、機械学習を用いて統計データを設定してもよい。例えば、互いに異なる学習用の複数の統計データをそれぞれ学習する複数の学習器を備え、それらの学習器における学習結果に基づいて、統計データ設定部が最適な統計データを選択して設定するようにしてもよい。機械学習としては、多層構造のニューラルネットワークを用いて行う深層学習などを挙げることができる。
　このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
　１　撮像装置
　２　撮像部
　３　照明部
　４　入力部
　５　出力部
　６　制御部
　７　記憶部
　２１　撮像光学系
　２２　撮像素子
　３１　光源部
　３２　ＬＶＦ
　３３　液晶部
　３４　拡散光学系
　６１　統計データ設定部
　６２　推定部
　６３　照明特性決定部
　６４　判定部
　６５　撮影制御部
　６６　照明制御部
　７１　フィルタ情報記憶部
　７２　位置情報記憶部
　７３　統計データ記憶部
　７４　画像情報記憶部
　７５　分光情報記憶部
 

Claims (6)

  1. 　複数の波長帯域の成分からなり、設定に応じた照明特性を有する照明光を生成する照明部と、
    　前記照明部が生成する照明光の照明特性を制御する照明制御部と、
    　被写体からの光を撮像することによって画像信号を生成する撮像部と、
    　前記撮像部が生成した画像信号に含まれる被写体の分光特性の推定に用いる統計データを設定する統計データ設定部と、
    　前記統計データ設定部が設定した統計データを用いることによって前記画像信号に含まれる被写体の分光特性を推定する推定部と、
    　前記推定部が推定した被写体の分光特性に応じて前記照明光の照明特性を決定する照明特性決定部と、
    　前記照明特性決定部が決定した照明特性を有する照明光のもとで前記撮像部が生成した画像信号が無彩色の基準を満たしているか否かに基づいて、前記統計データ設定部が設定した統計データが適切な統計データであるか否かを判定する判定部と、
    　を備えたことを特徴とする撮像装置。
  2. 　前記照明特性決定部は、
    　前記分光特性を波長によらず均一化するように前記照明特性を決定することを特徴とする請求項１に記載の撮像装置。
  3. 　前記統計データ設定部は、
    　設定済みの統計データがある場合において、該設定済みの統計データを用いて撮影された画像信号が前記基準を満たしていないとき、前記画像信号に基づいて別の統計データを設定することを特徴とする請求項１または２に記載の撮像装置。
  4. 　前記判定部は、
    　前記統計データ設定部が選択可能な全ての統計データに対して判定を行い、前記無彩色の基準に最も適合する統計データを最適統計データと判定することを特徴とする請求項１または２に記載の撮像装置。
  5. 　前記照明部は、
    　光の透過中心波長が予め設定された方向に沿って連続的に変化する平板状のフィルタと、
    　前記フィルタから光が出射する側に位置し、前記フィルタを透過した光の一部の波長帯域を選択的に透過する液晶部と、
    　前記液晶部から光が出射する側に位置し、前記液晶部を透過した光を拡散して均一化する拡散光学系と、
    　を有し、
    　前記液晶部は、透過する光の波長帯域を変更可能であることを特徴とする請求項１～４のいずれか一項に記載の撮像装置。
  6. 　複数の波長帯域の成分からなり、設定に応じた照明特性を有する照明光を生成するとともに、被写体からの光を撮像することによって画像信号を生成する撮像装置が実行する制御方法であって、
    　前記画像信号を生成する画像信号生成ステップと、
    　前記画像信号生成ステップで生成した画像信号に含まれる被写体の分光特性の推定に用いる統計データを設定する統計データ設定ステップと、
    　前記統計データ設定ステップで設定した統計データを用いることによって前記画像信号に含まれる被写体の分光特性を推定する推定ステップと、
    　前記推定ステップで推定した被写体の分光特性に応じて前記照明光の照明特性を決定する照明特性決定ステップと、
    　前記照明特性決定ステップで決定した照明特性を有する照明光のもとで画像信号を生成する第２画像信号生成ステップと、
    　前記第２画像信号生成ステップで生成した画像信号が無彩色の基準を満たしているか否かに基づいて、前記統計データ設定ステップで設定した統計データが適切な統計データであるか否かを判定する判定ステップと、
    　を有することを特徴とする制御方法。
     
PCT/JP2017/027941 2017-08-01 2017-08-01 撮像装置および制御方法 WO2019026189A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/027941 WO2019026189A1 (ja) 2017-08-01 2017-08-01 撮像装置および制御方法
US16/744,741 US11323631B2 (en) 2017-08-01 2020-01-16 Image capturing device and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/027941 WO2019026189A1 (ja) 2017-08-01 2017-08-01 撮像装置および制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/744,741 Continuation US11323631B2 (en) 2017-08-01 2020-01-16 Image capturing device and control method

Publications (1)

Publication Number Publication Date
WO2019026189A1 true WO2019026189A1 (ja) 2019-02-07

Family

ID=65232428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027941 WO2019026189A1 (ja) 2017-08-01 2017-08-01 撮像装置および制御方法

Country Status (2)

Country Link
US (1) US11323631B2 (ja)
WO (1) WO2019026189A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10982836B2 (en) * 2018-10-31 2021-04-20 Microsoft Technology Licensing, Llc Tunable spectral illuminator for camera
US10931894B2 (en) 2018-10-31 2021-02-23 Microsoft Technology Licensing, Llc Tunable spectral illuminator for camera
EP3726459B1 (en) * 2019-04-17 2022-02-16 Leica Instruments (Singapore) Pte. Ltd. Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008220A (ja) * 1999-06-18 2001-01-12 Olympus Optical Co Ltd 色再現システム
JP2009168572A (ja) * 2008-01-15 2009-07-30 Olympus Corp 画像処理装置および画像処理プログラム
JP2012244277A (ja) * 2011-05-17 2012-12-10 Olympus Corp 撮像装置およびこれを備える顕微鏡システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7009640B1 (en) 1999-05-31 2006-03-07 Olympus Corporation Color reproduction system for carrying out color correction by changing over color correction parameters according to images of photographed subjects
JP3967690B2 (ja) * 2003-03-25 2007-08-29 富士フイルム株式会社 撮像装置
JP6304953B2 (ja) * 2013-06-27 2018-04-04 オリンパス株式会社 観察装置
US9386289B2 (en) * 2014-04-29 2016-07-05 Intel Corporation Automatic white balancing with chromaticity measure of raw image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008220A (ja) * 1999-06-18 2001-01-12 Olympus Optical Co Ltd 色再現システム
JP2009168572A (ja) * 2008-01-15 2009-07-30 Olympus Corp 画像処理装置および画像処理プログラム
JP2012244277A (ja) * 2011-05-17 2012-12-10 Olympus Corp 撮像装置およびこれを備える顕微鏡システム

Also Published As

Publication number Publication date
US20200154029A1 (en) 2020-05-14
US11323631B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
JP2015228641A (ja) 撮像装置、露光調整方法およびプログラム
US9204790B2 (en) Image processing apparatus for fundus image, image processing method for fundus image, and program medium
US11323631B2 (en) Image capturing device and control method
JP2009527961A (ja) フラッシュライトユニットを有する色バランスが調節されたカメラ
US10499027B2 (en) Processor device and method of operating the same
US20190087970A1 (en) Endoscope system, processor device, and endoscope system operation method
US8705151B2 (en) Imaging device calibration methods, imaging device calibration instruments, imaging devices, and articles of manufacture
JP2020176873A (ja) 校正装置、校正方法、分光カメラ、及び表示装置
JPWO2017199557A1 (ja) 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
JP6654117B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6891304B2 (ja) 内視鏡システム
JP7238296B2 (ja) プロジェクター、色補正システム及びプロジェクターの制御方法
JP7428090B2 (ja) 校正装置、校正方法、校正プログラム、及び分光カメラ
JP7015382B2 (ja) 内視鏡システム
JP5480672B2 (ja) 撮像装置及びその制御方法
EP3993382A1 (en) Colour calibration of an imaging device
JP4432479B2 (ja) 画像処理装置
JP3960989B2 (ja) 色推定システム及び色推定方法
US11070722B2 (en) Image capturing device and control method
US10989596B2 (en) Subject identification device and subject identification method
US20170038196A1 (en) System and method for acquiring color image from monochrome scan camera
JP6930869B2 (ja) 撮像装置、撮像方法及びプログラム
JP2002281513A (ja) 画像撮影方法およびスペクトル画像取得装置およびプログラム
JP2008085975A (ja) 撮像素子特性評価方法および撮像素子特性評価装置
JP6523908B2 (ja) コード読取装置、コード読取方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17919683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17919683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP