WO2018193546A1 - 撮像装置および内視鏡装置 - Google Patents

撮像装置および内視鏡装置 Download PDF

Info

Publication number
WO2018193546A1
WO2018193546A1 PCT/JP2017/015706 JP2017015706W WO2018193546A1 WO 2018193546 A1 WO2018193546 A1 WO 2018193546A1 JP 2017015706 W JP2017015706 W JP 2017015706W WO 2018193546 A1 WO2018193546 A1 WO 2018193546A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
monochrome
correction
transmittance characteristic
Prior art date
Application number
PCT/JP2017/015706
Other languages
English (en)
French (fr)
Inventor
博 坂井
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/015706 priority Critical patent/WO2018193546A1/ja
Publication of WO2018193546A1 publication Critical patent/WO2018193546A1/ja
Priority to US16/599,223 priority patent/US20200045279A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Definitions

  • the present invention relates to an imaging apparatus and an endoscope apparatus.
  • image pickup elements having primary color filters composed of R (red), G (green), and B (blue) are widely used.
  • R red
  • G green
  • B blue
  • a general image pickup device uses a method of intentionally overlapping the transmittance characteristics of the R, G, and B color filters.
  • Patent Document 1 discloses an imaging apparatus having a pupil division optical system in which a first pupil region transmits R and G light and a second pupil region transmits G and B light. A phase difference is detected based on a positional shift between the R image and the B image obtained by the color image sensor mounted on the image pickup apparatus.
  • the image pickup apparatus disclosed in Patent Document 1 causes a color shift in an image when an image of a subject at a position out of focus is taken.
  • the imaging apparatus having the pupil division optical system disclosed in Patent Document 1 has a color shift 2 by approximating the blur shape and the gravity center position of the R image and the B image to the blur shape and the gravity center position of the G image. Displays an image with reduced multiple images.
  • FIG. 24 shows captured images I10 of white and black subjects.
  • 25 and 26 show the profile of the line L10 in the captured image I10.
  • the horizontal axis in FIGS. 25 and 26 is the horizontal address of the captured image, and the vertical axis is the pixel value of the captured image.
  • FIG. 25 shows a profile when the transmittance characteristics of the color filters of the respective colors do not overlap.
  • FIG. 26 shows a profile when the transmittance characteristics of the color filters of the respective colors overlap.
  • Profile R20 and profile R21 are R image profiles.
  • the R image includes information of pixels in which R color filters are arranged.
  • the profile G20 and the profile G21 are G image profiles.
  • the G image includes information on a pixel in which a G color filter is arranged.
  • Profile B20 and profile B21 are B image profiles.
  • the B image includes information on a pixel in which a B color filter is arranged.
  • the user may point to the displayed image, that is, specify a point.
  • measurement can be performed based on a measurement point designated by a user, and inspection such as a scratch can be performed based on the measurement result.
  • inspection such as a scratch can be performed based on the measurement result.
  • an image including a double image as described above is displayed, there is a problem that it is difficult for the user to perform pointing with high accuracy.
  • the imaging apparatus includes a pupil division optical system, an imaging element, a correction unit, a user instruction unit, a mark generation unit, and a superimposition unit.
  • the pupil division optical system includes a first pupil that transmits light in a first wavelength band, and a second pupil that transmits light in a second wavelength band different from the first wavelength band.
  • the imaging device images light transmitted through the pupil division optical system and a first color filter having a first transmittance characteristic, and the pupil division optical system, the first transmittance characteristic, and a part thereof The light that has passed through the second color filter having the second transmittance characteristic overlapping each other is imaged and a captured image is output.
  • the correction unit corrects a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic on the captured image having the component based on the first transmittance characteristic.
  • a second monochrome correction in which a correction image and a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic are corrected for the captured image having a component based on the second transmittance characteristic.
  • At least one of the images is output as a monochrome corrected image.
  • the user instruction unit outputs point information indicating points in the monochrome corrected image in accordance with a user instruction.
  • the mark generation unit generates a mark.
  • the superimposing unit superimposes the mark on the basis of the point information on the monochrome corrected image or the processed image obtained by processing the monochrome corrected image, and the monochrome corrected image or the processed image on which the mark is superimposed. Is output to the display.
  • the correction unit may output the first monochrome corrected image and the second monochrome corrected image.
  • the imaging apparatus includes a selection unit that selects at least one of the first monochrome correction image and the second monochrome correction image output from the correction unit and outputs the selected image as the monochrome correction image. May be.
  • the imaging device is configured to instruct the selection unit to select at least one of the first monochrome correction image and the second monochrome correction image. You may have.
  • the selection unit may select at least one of the first monochrome correction image and the second monochrome correction image in accordance with an instruction from the selection instruction unit.
  • the selection instruction unit has a higher SNR (signal-to-noise ratio) of the first monochrome corrected image and the second monochrome corrected image.
  • the selection unit may be instructed to select an image.
  • the selection instruction unit selects at least one of the first monochrome correction image and the second monochrome correction image in accordance with an instruction from a user. You may instruct
  • a measuring unit for calculating a phase difference between the first monochrome corrected image and the second monochrome corrected image.
  • the point information may indicate a measurement point that is a position where the phase difference is calculated.
  • the imaging device may include a second correction unit and a measurement unit.
  • the second correction unit is arranged independently of the correction unit, and for the captured image having a component based on the first transmittance characteristic, the first transmittance characteristic and the second transmittance characteristic.
  • a fourth monochrome corrected image in which a value based on the overlapping component is corrected is generated.
  • the measurement unit calculates a phase difference between the third monochrome corrected image and the fourth monochrome corrected image.
  • the point information may indicate a measurement point that is a position where the phase difference is calculated.
  • the user instruction unit may specify at least one of a plurality of modes in accordance with the user instruction.
  • the imaging apparatus generates a processed image by performing image processing corresponding to a mode specified by the user instruction unit on at least a part of the monochrome corrected image output from the selection unit An image processing unit that outputs the processed image to the display unit may be provided.
  • the image processing unit performs enlargement processing, edge extraction processing, edge processing on at least a part of the monochrome corrected image output from the selection unit.
  • the processed image may be generated by performing at least one of an enhancement process and a noise reduction process.
  • the image processing unit performs an enlargement process on at least a part of the monochrome corrected image output from the selection unit, and performs edge processing.
  • the processed image may be generated by performing at least one of extraction processing, edge enhancement processing, and noise reduction processing.
  • an endoscope apparatus includes the imaging apparatus according to the first aspect.
  • the imaging apparatus and the endoscope apparatus can generate an image in which double images due to image color shift are reduced, visibility is improved, and pointing is easier.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment of the present invention. It is a block diagram which shows the structure of the pupil division
  • FIG. 1 shows a configuration of an imaging apparatus 10 according to the first embodiment of the present invention.
  • the imaging device 10 is a digital still camera, a video camera, a camera-equipped mobile phone, a camera-equipped personal digital assistant, a camera-equipped personal computer, a surveillance camera, an endoscope, a digital microscope, or the like.
  • the imaging apparatus 10 includes a pupil division optical system 100, an imaging element 110, a demosaic processing unit 120, a correction unit 130, a user instruction unit 140, a mark generation unit 150, a superimposition unit 160, and a display unit 170. Have.
  • the pupil division optical system 100 includes a first pupil 101 that transmits light in the first wavelength band and a second pupil 102 that transmits light in a second wavelength band different from the first wavelength band.
  • the image sensor 110 captures an image of light transmitted through the pupil division optical system 100 and the first color filter having the first transmittance characteristic, and the pupil division optical system 100 and the first transmittance characteristic and a part thereof The light that has passed through the second color filter having the overlapping second transmittance characteristic is imaged and a captured image is output.
  • the correction unit 130 corrects a value based on a component in which the first transmittance characteristic and the second transmittance characteristic overlap with respect to a captured image having a component based on the first transmittance characteristic, For a captured image having a component based on the second transmittance characteristic, at least one of a second monochrome corrected image obtained by correcting a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic is monochrome. Output as a corrected image.
  • the user instruction unit 140 outputs point information indicating points in the monochrome corrected image in accordance with a user instruction.
  • the mark generation unit 150 generates a mark.
  • the superimposing unit 160 superimposes the mark on the monochrome corrected image based on the point information, and outputs the monochrome corrected image on which the mark is superimposed to the display unit 170.
  • the display unit 170 displays a monochrome corrected image on which marks are superimposed.
  • the first pupil 101 of the pupil division optical system 100 has an RG filter that transmits light of R (red) and G (green) wavelengths.
  • the second pupil 102 of the pupil division optical system 100 has a BG filter that transmits light of B (blue) and G (green) wavelengths.
  • FIG. 2 shows the configuration of the pupil division optical system 100.
  • the pupil division optical system 100 includes a lens 103, a band limiting filter 104, and a stop 105.
  • the lens 103 is generally composed of a plurality of lenses. In FIG. 2, only one lens is shown for simplicity.
  • the band limiting filter 104 is disposed on the optical path of light incident on the image sensor 110.
  • the band limiting filter 104 is disposed at or near the position of the diaphragm 105.
  • the band limiting filter 104 is disposed between the lens 103 and the diaphragm 105.
  • the diaphragm 105 adjusts the brightness of light incident on the image sensor 110 by limiting the passage range of light that has passed through the lens 103.
  • FIG. 3 shows the configuration of the band limiting filter 104.
  • the left half of the band limiting filter 104 constitutes the first pupil 101
  • the right half of the band limiting filter 104 is the second pupil.
  • 102 is configured.
  • the first pupil 101 transmits light having R and G wavelengths and blocks light having B wavelengths.
  • the second pupil 102 transmits light having B and G wavelengths and blocks light having R wavelengths.
  • the imaging element 110 is a photoelectric conversion element such as a CCD (Charge Coupled Device) sensor and an XY address scanning type CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • As a configuration of the image sensor 110 there is a single plate primary color Bayer arrangement, or a three plate method using three sensors.
  • a CMOS sensor 500 ⁇ 500 pixels, depth 10 bits having a single-plate primary color Bayer array is used.
  • the image sensor 110 has a plurality of pixels.
  • the image sensor 110 includes a color filter including a first color filter, a second color filter, and a third color filter.
  • the color filter is disposed in each pixel of the image sensor 110.
  • the first color filter is an R filter
  • the second color filter is a B filter
  • the third color filter is a G filter.
  • Light that passes through the pupil division optical system 100 and passes through the color filter enters each pixel of the image sensor 110.
  • the light transmitted through the pupil division optical system 100 is light transmitted through the first pupil 101 and light transmitted through the second pupil 102.
  • the image sensor 110 transmits the pixel value of the first pixel to which the light transmitted through the first color filter is incident, the pixel value of the second pixel to which the light transmitted through the second color filter is incident, and the third color filter.
  • a captured image including the pixel value of the third pixel on which light is incident is acquired and output.
  • AFE processing such as CDS (Correlated Double Sampling), AGC (Analog Gain Control), and ADC (Analog-to-Digital Converter) is performed on the analog imaging signal generated by photoelectric conversion in the CMOS sensor by the imaging device 110 ( (Analog Front End) is performed.
  • a circuit outside the image sensor 110 may perform the AFE process.
  • the captured image (bayer image) acquired by the image sensor 110 is transferred to the demosaic processing unit 120.
  • FIG. 4 shows a pixel array of a Bayer image.
  • R (red) and Gr (green) pixels are alternately arranged in odd rows, and Gb (green) and B (blue) pixels are alternately arranged in even rows.
  • R (red) and Gb (green) pixels are alternately arranged in the odd columns, and Gr (green) and B (blue) pixels are alternately arranged in the even columns.
  • the demosaic processing unit 120 performs black level correction (OB (Optical Black) subtraction) on the pixel value of the Bayer image. Furthermore, the demosaic processing unit 120 generates the pixel value of the adjacent pixel by copying the pixel value of each pixel. Thereby, an RGB image in which the pixel values of the respective colors are aligned in all the pixels is generated. For example, the demosaic processing unit 120 performs OB subtraction on the R pixel value (R_00), and then copies the pixel value (R_00-OB). Thereby, the R pixel values in the Gr, Gb, and B pixels adjacent to the R pixel are interpolated.
  • FIG. 5 shows a pixel array of the R image.
  • the demosaic processing unit 120 performs OB subtraction on the Gr pixel value (Gr_01), and then copies the pixel value (Gr_01-OB). Further, the demosaic processing unit 120 performs OB subtraction on the Gb pixel value (Gb_10), and then copies the pixel value (Gb_10 ⁇ OB). Thereby, the G pixel value in the R pixel adjacent to the Gr pixel and the B pixel adjacent to the Gb pixel is interpolated.
  • FIG. 6 shows a pixel array of the G image.
  • the demosaic processing unit 120 performs OB subtraction on the B pixel value (B_11), and then copies the pixel value (B_11 ⁇ OB). Thereby, the B pixel value in the R, Gr, and Gb pixels adjacent to the B pixel is interpolated.
  • FIG. 7 shows a pixel arrangement of the B image.
  • the demosaic processing unit 120 generates a color image (RGB image) composed of an R image, a G image, and a B image by the above processing.
  • RGB image a color image
  • the specific method of demosaic processing is not limited to the above method.
  • Filter processing may be applied to the generated RGB image.
  • the RGB image generated by the demosaic processing unit 120 is transferred to the correction unit 130.
  • FIG. 8 shows an example of spectral characteristics (transmittance characteristics) of the RG filter of the first pupil 101, the BG filter of the second pupil 102, and the color filter of the image sensor 110.
  • the horizontal axis in FIG. 8 is the wavelength ⁇ [nm], and the vertical axis is the gain.
  • a line f RG indicates the spectral characteristic of the RG filter.
  • a line f BG indicates the spectral characteristic of the BG filter.
  • the wavelength ⁇ C is a boundary between the spectral characteristic of the RG filter and the spectral characteristic of the BG filter.
  • the RG filter transmits light in a wavelength band longer than the wavelength ⁇ C.
  • the BG filter transmits light in a wavelength band shorter than the wavelength ⁇ C.
  • a line f R indicates the spectral characteristic (first transmittance characteristic) of the R filter of the image sensor 110.
  • a line f G indicates the spectral characteristic of the G filter of the image sensor 110. Since the filter characteristics of the Gr filter and the Gb filter are equivalent, the Gr filter and the Gb filter are represented as a G filter.
  • a line f B indicates the spectral characteristic (second transmittance characteristic) of the B filter of the image sensor 110. The spectral characteristics of the filters of the image sensor 110 overlap.
  • a region on the shorter wavelength side than the wavelength ⁇ C in the spectral characteristic indicated by the line f R is defined as a region ⁇ GB .
  • a phase difference between R (red) information and B (blue) information is acquired.
  • R information is acquired by photoelectric conversion in the R pixel of the image sensor 110 in which the R filter is arranged.
  • the R information includes information on the region ⁇ R , the region ⁇ RG , and the region ⁇ GB in FIG.
  • Information areas phi R and region phi RG is based on light transmitted through the RG filter of the first pupil 101.
  • the information on the region ⁇ GB is based on light transmitted through the BG filter of the second pupil 102.
  • information on the region ⁇ GB is based on an overlapping component of the spectral characteristics of the R filter and the spectral characteristics of the B filter. Since the region ⁇ GB is on the shorter wavelength side than the wavelength ⁇ C , information on the region ⁇ GB is B information that causes a double image due to color shift. This information is not preferable for the R information because the waveform of the R image is distorted and a double image is generated.
  • B information is acquired by photoelectric conversion in the B pixel of the image sensor 110 in which the B filter is arranged.
  • the B information includes information on the region ⁇ B , the region ⁇ RG , and the region ⁇ GB in FIG.
  • Information on the region ⁇ B and the region ⁇ GB is based on the light transmitted through the BG filter of the second pupil 102.
  • information on the region ⁇ RG is based on an overlapping component of the spectral characteristics of the B filter and the spectral characteristics of the R filter.
  • Information areas phi RG is based on light transmitted through the RG filter of the first pupil 101.
  • information of the area phi RG is R information that causes double images due to the color shift. This information is not preferable for the B information because it distorts the waveform of the B image and generates a double image.
  • the red information it reduces the information area phi GB including blue information, and the blue information are made correction to reduce the information of the region phi RG including red information.
  • the correction unit 130 performs correction processing on the R image and the B image. That is, the correction unit 130 may reduce the information in the area phi GB in the red information, and reduces the information area phi RG in the blue information.
  • FIG. 9 is a view similar to FIG. 9, a line f BR shows the area phi GB and regions phi RG in FIG.
  • the spectral characteristics of the G filter shown by line f G, the spectral characteristics indicated by line f BR, is generally similar.
  • the correction unit 130 performs correction processing using this property. In the correction process, the correction unit 130 calculates red information and blue information using Expression (1) and Expression (2).
  • R ′ R ⁇ ⁇ G (1)
  • B ′ B ⁇ ⁇ G (2)
  • Equation (1) R is red information before the correction process is performed, and R ′ is red information after the correction process is performed.
  • B is blue information before the correction process is performed, and B ′ is blue information after the correction process is performed.
  • ⁇ and ⁇ are greater than 0 and less than 1.
  • ⁇ and ⁇ are set according to the spectral characteristics of the image sensor 110.
  • ⁇ and ⁇ are set according to the spectral characteristics of the imaging element 110 and the spectral characteristics of the light source. For example, ⁇ and ⁇ are stored in a memory (not shown).
  • the correcting unit 130 generates an image (monochrome corrected image) corrected as described above.
  • the correction unit 130 outputs a monochrome corrected image by outputting any one of the generated R ′ image and B ′ image.
  • the correction unit 130 outputs an R ′ image.
  • one of the R ′ image and the B ′ image is output to the display unit 170.
  • the correcting unit 130 may generate an R ′ image and a B ′ image, and may output only one of the generated R ′ image and B ′ image. Alternatively, the correction unit 130 may generate only a predetermined one of the R ′ image and the B ′ image.
  • the superimposing unit 160 outputs the monochrome corrected image output from the correcting unit 130 to the display unit 170.
  • the display unit 170 displays the monochrome corrected image output from the superimposing unit 160.
  • the user instruction unit 140 is a user interface such as buttons, switches, keys, and a mouse.
  • the user instruction unit 140 and the display unit 170 may be configured as a touch panel.
  • the user touches the target position on the monochrome corrected image displayed on the display unit 170 with a finger or clicks with the mouse. As a result, the user performs pointing on the monochrome corrected image via the user instruction unit 140.
  • the user instruction unit 140 outputs the point information at the position instructed by the user to the mark generation unit 150.
  • the user performs pointing in order to mark the subject in the monochrome corrected image.
  • the imaging apparatus 10 is configured as an endoscope apparatus, the user performs pointing in order to designate a measurement point for a scratch or the like shown in the monochrome correction image.
  • the mark generator 150 generates mark graphic data.
  • the shape and color of the mark are arbitrary.
  • the user may specify the mark shape and color.
  • the mark generation unit 150 outputs the generated mark and the point information output from the user instruction unit 140 to the superimposition unit 160.
  • the superimposing unit 160 superimposes the mark on the monochrome corrected image output from the correcting unit 130. At this time, the superimposing unit 160 superimposes the mark at the position indicated by the point information in the monochrome corrected image. As a result, the mark is superimposed at the position where the user has performed pointing.
  • the monochrome corrected image on which the mark is superimposed is output to the display unit 170.
  • the display unit 170 displays a monochrome corrected image on which marks are superimposed. The user can confirm the position designated by the user in the monochrome corrected image.
  • the point information may be directly output from the user instruction unit 140 to the superimposing unit 160.
  • the mark generation unit 150 may generate an image having the same size as the monochrome corrected image and having the mark superimposed on the position indicated by the point information.
  • the image generated by the mark generation unit 150 is an image in which a mark is superimposed on a transparent image.
  • the superimposing unit 160 may generate an image obtained by superimposing the image output from the mark generating unit 150 on the monochrome corrected image output from the correcting unit 130.
  • the monochrome correction image (R ′ image) output from the correction unit 130 may be subjected to high image quality processing such as ⁇ correction, scaling processing, edge enhancement, and low-pass filter processing.
  • high image quality processing such as ⁇ correction, scaling processing, edge enhancement, and low-pass filter processing.
  • ⁇ correction bicubic, Nearest Neighbor, etc. are used.
  • low-pass filter process aliasing is corrected.
  • the correction unit 130 may perform these processes on the monochrome corrected image. That is, the correction unit 130 may generate a processed image obtained by processing a monochrome corrected image.
  • the imaging device 10 may include an image processing unit that performs these processes on the monochrome corrected image.
  • the superimposing unit 160 may output the processed image to the display unit 170.
  • the superimposing unit 160 may superimpose a mark on the processed image obtained by processing the monochrome corrected image based on the point information, and may output the processed image on which the mark is superimposed to the display unit 170.
  • the display unit 170 may display the processed image and the processed image on which the mark is superimposed.
  • the demosaic processing unit 120, the correction unit 130, the mark generation unit 150, and the superimposition unit 160 can be configured by an application specific integrated circuit (ASIC), a field-programmable gate array (FPGA), and a microprocessor.
  • ASIC application specific integrated circuit
  • FPGA field-programmable gate array
  • the demosaic processing unit 120, the correction unit 130, the mark generation unit 150, and the superposition unit 160 are configured by an ASIC and an embedded processor.
  • the demosaic processing unit 120, the correction unit 130, the mark generation unit 150, and the superposition unit 160 may be configured by other hardware, software, firmware, or a combination thereof.
  • the display unit 170 is a transmissive LCD (Liquid Crystal Display) that requires a backlight, a self-luminous EL (Electro Luminescence) element (organic EL), or the like.
  • the display unit 170 is composed of a transmissive LCD and has a driving unit necessary for driving the LCD.
  • the drive unit generates a drive signal and drives the LCD by the drive signal.
  • the imaging device 10 may be an endoscope device.
  • the pupil division optical system 100 and the image sensor 110 are arranged at the distal end of an insertion portion that is inserted into an object to be observed and measured.
  • the imaging apparatus 10 includes the correction unit 130, so that it is possible to reduce double images due to image color shift. Moreover, the visibility of an image can be improved by displaying a monochrome correction image. Even when a user observes an image in a method of acquiring a phase difference based on an R image and a B image, the user can observe an image in which a double image due to color misregistration is reduced and visibility is improved. it can.
  • the user can observe the monochrome corrected image or the processed image displayed on the display unit 170 and can point to the image. Since the image in which the double image due to color misregistration is reduced as described above is displayed, the user can easily perform pointing. That is, the user can perform pointing more accurately.
  • the display unit 170 displays a monochrome corrected image, the amount of information output to the display unit 170 is reduced. Therefore, power consumption of the display unit 170 can be reduced.
  • FIG. 10 shows a configuration of an imaging apparatus 10a according to the second embodiment of the present invention.
  • the configuration shown in FIG. 10 will be described while referring to differences from the configuration shown in FIG.
  • the imaging device 10a does not have the display unit 170.
  • the display unit 170 is configured independently of the imaging device 10a.
  • the monochrome corrected image output from the correction unit 130 may be output to the display unit 170 via a communication device.
  • the communication device communicates with the display unit 170 by wire or wireless.
  • the configuration shown in FIG. 10 is the same as the configuration shown in FIG.
  • the imaging device 10a of the second embodiment reduces the double image due to the color shift of the image, improves the visibility, and makes the pointing easier. Can be generated. Since the display unit 170 is independent of the imaging device 10a, the imaging device 10a can be reduced in size. Also, by transferring the monochrome corrected image, the frame rate when transferring the image to the display unit 170 is improved and the bit rate is reduced compared to the color image.
  • FIG. 11 shows a configuration of an imaging apparatus 10b according to the third embodiment of the present invention.
  • the configuration shown in FIG. 11 will be described while referring to differences from the configuration shown in FIG.
  • the imaging device 10b includes a selection unit 180 in addition to the configuration of the imaging device 10 illustrated in FIG.
  • the correction unit 130 outputs the first monochrome corrected image and the second monochrome corrected image.
  • the first monochrome corrected image corrects a value based on a component in which the first transmittance characteristic and the second transmittance characteristic overlap with respect to a captured image having a component based on the first transmittance characteristic. It is the image produced
  • the second monochrome corrected image is generated by correcting a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic on a captured image having a component based on the second transmittance characteristic. It is an image.
  • the selection unit 180 selects at least one of the first monochrome correction image and the second monochrome correction image output from the correction unit 130, and outputs the selected image as a selected monochrome correction image.
  • the first monochrome corrected image is an R ′ image.
  • the second monochrome corrected image is a B ′ image.
  • the imaging device 10b of the third embodiment reduces the double image due to the color shift of the image, improves the visibility, and makes the pointing easier. Can be generated.
  • FIG. 12 shows a configuration of an imaging apparatus 10c according to the fourth embodiment of the present invention.
  • the configuration shown in FIG. 12 will be described while referring to differences from the configuration shown in FIG.
  • the imaging device 10c includes a selection instruction unit 190 in addition to the configuration of the imaging device 10b illustrated in FIG.
  • the selection instruction unit 190 instructs the selection unit 180 to select at least one of the first monochrome correction image and the second monochrome correction image.
  • the selection unit 180 selects at least one of the first monochrome correction image and the second monochrome correction image in response to an instruction from the selection instruction unit 190.
  • the selection instruction unit 190 instructs the selection unit 180 to select an image having a higher SNR (signal-to-noise ratio) among the first monochrome correction image and the second monochrome correction image. For example, the selection instruction unit 190 instructs the selection unit 180 to select one of the first monochrome correction image and the second monochrome correction image according to the analysis result of the first monochrome correction image and the second monochrome correction image. . In the following example, the selection instruction unit 190 makes the selection unit 180 select one of the first monochrome correction image and the second monochrome correction image according to the histograms of the first monochrome correction image and the second monochrome correction image. Instruct.
  • FIG. 13 shows an operation procedure of the selection instruction unit 190.
  • the first monochrome corrected image and the second monochrome corrected image generated by the correction unit 130 are input to the selection instruction unit 190.
  • the selection instruction unit 190 performs histogram analysis of the first monochrome corrected image and the second monochrome corrected image (step S100). After step S100, the selection instruction unit 190 instructs the correction unit 130 to select the monochrome corrected image determined by the histogram analysis (step S110).
  • the selection instruction unit 190 generates a histogram of pixel values of each pixel in the first monochrome corrected image and the second monochrome corrected image.
  • FIG. 14 shows an example of a histogram of the first monochrome corrected image and the second monochrome corrected image. The horizontal axis in FIG. 14 is the gradation of the pixel value, and the vertical axis is the frequency.
  • FIG. 14 shows a histogram of pixel values of a plurality of R pixels in the R ′ image that is the first monochrome corrected image, and a histogram of pixel values of the plurality of B pixels in the B ′ image that is the second monochrome corrected image. ing.
  • a depth of 10 bits (0 to 1023) of the image sensor 110 is distinguished from a region A1 to a region A6.
  • the area A1 is an area having pixel values from 0 to 169.
  • the area A2 is an area having pixel values of 170 to 339.
  • An area A3 is an area having pixel values of 340 to 509.
  • a region A4 is a region having pixel values of 510 to 679.
  • An area A5 is an area having pixel values of 680 to 849.
  • a region A6 is a region having pixel values of 850 to 1023. Pixels with pixel values in the left side area are darker and pixels with pixel values in the right side area are brighter. In the example illustrated in FIG.
  • the selection instruction unit 190 determines the monochrome corrected image selected by the selection unit 180 as an R ′ image.
  • the selection instruction unit 190 generates a histogram of pixel values of a plurality of R pixels and a histogram of pixel values of a plurality of B pixels.
  • the selection instruction unit 190 instructs the selection unit 180 to select a monochrome corrected image corresponding to a pixel having a larger frequency of larger pixel values among the R pixel and the B pixel.
  • the selection instruction unit 190 may use a captured image, that is, a Bayer image, instead of the first monochrome corrected image and the second monochrome corrected image. For example, the selection instruction unit 190 generates a histogram of pixel values of a plurality of R pixels in the Bayer image and a histogram of pixel values of a plurality of B pixels in the Bayer image. The selection instruction unit 190 performs the same processing as described above based on each histogram. Further, the display unit 170 may be configured independently of the imaging device 10c.
  • the imaging device 10c of the fourth embodiment reduces the double image due to the color shift of the image, improves the visibility, and makes the pointing easier. Can be generated.
  • the selection instruction unit 190 instructs the selection unit 180 to select an image having a higher SNR among the first monochrome correction image and the second monochrome correction image. Since a monochrome corrected image having a higher SNR is displayed, the user can more easily perform pointing.
  • FIG. 15 shows a configuration of an imaging apparatus 10d according to the fifth embodiment of the present invention. The difference between the configuration shown in FIG. 15 and the configuration shown in FIG. 12 will be described.
  • the selection instruction unit 190 instructs the selection unit 180 to select at least one of the first monochrome correction image and the second monochrome correction image in accordance with an instruction from the user.
  • the user instruction unit 140 receives an instruction from the user. The user inputs an instruction to select one of the first monochrome corrected image and the second monochrome corrected image via the user instruction unit 140.
  • the user instruction unit 140 outputs information on an image instructed by the user among the first monochrome correction image and the second monochrome correction image to the selection instruction unit 190.
  • the selection instruction unit 190 instructs the selection unit 180 to select an image indicated by the information output from the user instruction unit 140.
  • FIG. 15 other than the above, the configuration shown in FIG. 15 is the same as the configuration shown in FIG.
  • the display unit 170 may be configured independently of the imaging device 10d.
  • the imaging device 10d of the fifth embodiment reduces the double image due to the color shift of the image, improves the visibility, and makes the pointing easier. Can be generated.
  • the selection instruction unit 190 instructs the selection unit 180 to select an image instructed by the user from the first monochrome correction image and the second monochrome correction image. Accordingly, the user can perform pointing on an image that the user likes.
  • FIG. 16 shows a configuration of an imaging apparatus 10e according to the sixth embodiment of the present invention. The difference between the configuration shown in FIG. 16 and the configuration shown in FIG. 15 will be described.
  • the imaging device 10e includes a measuring unit 200 in addition to the configuration of the imaging device 10d illustrated in FIG.
  • the first monochrome corrected image and the second monochrome corrected image generated by the correction unit 130 are input to the measurement unit 200.
  • the point information output from the user instruction unit 140 is input to the measurement unit 200.
  • the measuring unit 200 calculates the phase difference between the first monochrome corrected image and the second monochrome corrected image.
  • the point information output from the user instruction unit 140 indicates a measurement point that is a position where the phase difference is calculated.
  • the measurement unit 200 calculates the phase difference at the measurement point indicated by the point information.
  • the measuring unit 200 calculates the distance of the subject based on the phase difference. For example, when an arbitrary point on the image is designated by the user, the measurement unit 200 measures the depth. When two arbitrary points on the image are designated by the user, the measuring unit 200 can measure the distance between the two points.
  • the measurement part 200 outputs a measurement result to the superimposition part 160 as character information of a measured value.
  • the measurement unit 200 includes an ASIC, an FPGA, a microprocessor, and the like.
  • the superimposing unit 160 superimposes the character information of the measurement value on the selected monochrome correction image, and outputs the selected monochrome correction image on which the character information of the measurement value is superimposed to the display unit 170.
  • the display unit 170 displays the selected monochrome corrected image on which the character information of the measurement value is superimposed. Thereby, the user can confirm the measurement result.
  • the display unit 170 may be configured independently of the imaging device 10e. Similar to the fourth embodiment, the selection instruction unit 190 may instruct the selection unit 180 to select an image having a higher SNR among the first monochrome correction image and the second monochrome correction image.
  • the imaging device 10e of the sixth embodiment reduces the double image due to the color shift of the image, improves the visibility, and makes the pointing easier. Can be generated. The user can specify measurement points with higher accuracy for an image with improved visibility.
  • FIG. 17 shows a configuration of an imaging apparatus 10f according to the seventh embodiment of the present invention. The difference between the configuration illustrated in FIG. 17 and the configuration illustrated in FIG. 16 will be described.
  • the measurement unit 200 in the imaging device 10e illustrated in FIG. The Bayer image output from the image sensor 110 is input to the measurement processing unit 210. Further, the point information output from the user instruction unit 140 is input to the measurement processing unit 210. The measurement processing unit 210 outputs the character information of the measurement value to the superimposing unit 160.
  • FIG. 18 shows a configuration of the measurement processing unit 210.
  • the measurement processing unit 210 includes a second demosaic processing unit 220, a second correction unit 230, and a measurement unit 200.
  • the Bayer image output from the image sensor 110 is input to the second demosaic processing unit 220.
  • the second demosaic processing unit 220 generates the pixel value of the adjacent pixel by copying the pixel value of each pixel of the Bayer image. Thereby, an RGB image in which the pixel values of the respective colors are aligned in all the pixels is generated.
  • the RGB image is composed of an R image, a G image, and a B image.
  • the second demosaic processing unit 220 of the seventh embodiment does not perform OB subtraction, but may perform OB subtraction. When the second demosaic processing unit 220 performs OB subtraction, the OB subtraction value may be different from the OB subtraction value used by the demosaic processing unit 120.
  • the second demosaic processing unit 220 outputs the generated RGB image to the second correction unit 230.
  • the second correction unit 230 is arranged independently of the correction unit 130.
  • the second correction unit 230 corrects a value based on a component that overlaps the first transmittance characteristic and the second transmittance characteristic with respect to a captured image having a component based on the first transmittance characteristic.
  • the 4th monochrome correction image which correct
  • the second correction unit 230 outputs the generated third monochrome correction image and fourth monochrome correction image to the measurement unit 200.
  • the measuring unit 200 calculates the phase difference between the third monochrome corrected image and the fourth monochrome corrected image.
  • the second correction unit 230 performs correction processing on the R image and the B image.
  • the correction process by the second correction unit 230 is the same as the correction process by the correction unit 130.
  • the second correction unit 230 in the red information reduces the area phi GB of information of Figure 8, and reduces the information area phi RG in Figure 8 in the blue information. As a result, an R ′ image that is the third monochrome corrected image is generated, and a B ′ image that is the fourth monochrome corrected image is generated.
  • the measuring unit 200 is configured in the same manner as the measuring unit 200 in the imaging device 10e shown in FIG.
  • the second demosaic processing unit 220 and the second correction unit 230 are configured by an ASIC, an FPGA, a microprocessor, and the like.
  • the display unit 170 may be configured independently of the imaging device 10f. Similar to the fourth embodiment, the selection instruction unit 190 may instruct the selection unit 180 to select an image having a higher SNR among the first monochrome correction image and the second monochrome correction image.
  • the imaging device 10f of the seventh embodiment reduces the double image due to the color shift of the image, improves the visibility, and makes the pointing easier. Can be generated. The user can specify measurement points with higher accuracy for an image with improved visibility.
  • the second demosaic processing unit 220 sets an OB subtraction value (zero in the above example) in accordance with the measurement processing of the measurement unit 200, so that OB subtraction suitable for measurement can be performed, and measurement accuracy is improved. Connected.
  • the demosaic processing unit 120 sets an OB subtraction value in accordance with the black level, so that an appropriate black level can be set, and the image quality is improved.
  • FIG. 19 shows a configuration of an imaging apparatus 10g according to the eighth embodiment of the present invention.
  • the configuration shown in FIG. 19 will be described while referring to differences from the configuration shown in FIG.
  • the imaging device 10g includes a processed image generation unit 240 in addition to the configuration of the imaging device 10e illustrated in FIG.
  • the user instruction unit 140 specifies at least one of a plurality of modes in accordance with a user instruction.
  • the selected monochrome corrected image selected by the selection unit 180 is input to the processed image generation unit 240.
  • the processed image generation unit 240 generates a processed image by performing image processing corresponding to the mode designated by the user instruction unit 140 on at least a part of the selected monochrome corrected image output from the selection unit 180.
  • the processed image generation unit 240 performs image processing on at least a part of the selected monochrome corrected image.
  • the processed image generation unit 240 outputs the generated processed image and the selected monochrome corrected image output from the selection unit 180 to the superimposition unit 160.
  • the processed image generation unit 240 constitutes an image processing unit.
  • the processed image generation unit 240 includes an ASIC, an FPGA, a microprocessor, and the like.
  • the processed image generation unit 240 performs at least one of enlargement processing, edge extraction processing, edge enhancement processing, and noise reduction processing on at least a part of the monochrome corrected image output from the selection unit 180, thereby processing the processed image. Is generated.
  • the processed image generation unit 240 performs an enlargement process on at least a part of the selected monochrome corrected image output from the selection unit 180, and performs at least one of an edge extraction process, an edge enhancement process, and a noise reduction process.
  • a processed image may be generated by doing so.
  • the superimposing unit 160 superimposes the processed image on the selected monochrome corrected image as necessary, and outputs the selected monochrome corrected image on which the processed image is superimposed to the display unit 170.
  • the processed image may be directly output from the processed image generation unit 240 to the display unit 170.
  • FIG. 20 shows image processing performed by the processed image generation unit 240.
  • seven image processing methods are shown.
  • the first method is enlargement processing.
  • the second method is edge extraction processing.
  • the third method is edge enhancement processing.
  • the fourth method is noise reduction (NR) processing.
  • the fifth method is a combination of enlargement processing and edge extraction processing.
  • the sixth method is a combination of enlargement processing and edge enhancement processing.
  • the seventh method is a combination of enlargement processing and NR processing.
  • the user designates a desired image processing method by touching the screen of the display unit 170 or the like.
  • the user instruction unit 140 outputs information indicating the image processing method instructed by the user to the processed image generation unit 240.
  • the processed image generation unit 240 processes the selected monochrome corrected image by an image processing method instructed by the user.
  • FIG. 21 shows an example of an image displayed on the display unit 170.
  • the R ′ image R10 is displayed.
  • the user designates a measurement point for the R ′ image R10.
  • FIG. 21 shows a state when the measurement point P11 is specified after the measurement point P10 is specified.
  • a processed image R11 is generated by enlarging a predetermined region including a position that the user intends to designate as the measurement point P11 in the R ′ image R10.
  • the processed image R11 is displayed superimposed on the R ′ image R10.
  • the user can easily designate the measurement point P11 and can easily confirm the position of the designated measurement point P11 in the processed image R11.
  • a distance (10 [mm]) between two points on the subject corresponding to the measurement point P10 and the measurement point P11 is displayed on the display unit 170 as a measurement result.
  • the display unit 170 displays the R ′ image R10 and the processed image R11 so that the R ′ image R10 and the processed image R11 partially overlap each other.
  • the display unit 170 may display the R ′ image R10 and the processed image R11 side by side so that the R ′ image R10 and the processed image R11 do not overlap.
  • the display unit 170 may be configured independently of the imaging device 10g. Similar to the fourth embodiment, the selection instruction unit 190 may instruct the selection unit 180 to select an image having a higher SNR among the first monochrome correction image and the second monochrome correction image.
  • the imaging device 10g of the eighth embodiment reduces the double image due to the color shift of the image, improves the visibility, and makes the pointing easier. Can be generated. Since the processed image is displayed, the user can specify the measurement point with higher accuracy.
  • FIG. 22 shows a configuration of an imaging apparatus 10h according to the ninth embodiment of the present invention.
  • the configuration shown in FIG. 22 will be described while referring to differences from the configuration shown in FIG.
  • the selection unit 180 outputs the image selected as the selected monochrome correction image from the first monochrome correction image and the second monochrome correction image to the processed image generation unit 240. Further, the selection unit 180 outputs an image that has not been selected as the selected monochrome correction image among the first monochrome correction image and the second monochrome correction image to the superimposition unit 160.
  • the selection unit 180 selects the first monochrome correction image as the selected monochrome correction image
  • the second monochrome correction image is output from the selection unit 180 to the superimposition unit 160.
  • the selection unit 180 selects the second monochrome correction image as the selected monochrome correction image
  • the first monochrome correction image is output from the selection unit 180 to the superimposition unit 160.
  • the superimposing unit 160 superimposes the processed image on the selected monochrome corrected image.
  • the superimposing unit 160 generates an image in which the selected monochrome corrected image on which the processed image is superimposed and the monochrome corrected image output from the selecting unit 180 are arranged, and outputs the generated image to the display unit 170.
  • the display unit 170 displays the selected monochrome corrected image on which the processed image is superimposed and the monochrome corrected image side by side.
  • FIG. 23 shows an example of an image displayed on the display unit 170.
  • the R ′ image R10 on which the processed image R11 is superimposed is displayed.
  • the B ′ image B10 that has not been selected as the selected monochrome corrected image by the selection unit 180 is displayed.
  • the user designates a measurement point for the R ′ image R10 having a high SNR.
  • the measurement point P10 designated by the user is superimposed on the R ′ image R10, and the measurement point P11 designated by the user is superimposed on the processed image R11.
  • a distance (10 [mm]) between two points on the subject corresponding to the measurement point P10 and the measurement point P11 is displayed as a measurement result.
  • a point P12 corresponding to the measurement point P10 and a point P13 corresponding to the measurement point P11 are displayed superimposed on the B ′ image B10. The user can determine the measurement accuracy by confirming the points P12 and P13.
  • the display unit 170 may be configured independently of the imaging device 10h. Similar to the fourth embodiment, the selection instruction unit 190 may instruct the selection unit 180 to select an image having a higher SNR among the first monochrome correction image and the second monochrome correction image.
  • the processed image generation unit 240 may perform image processing on the selected monochrome corrected image and the image that has not been selected as the selected monochrome corrected image by the selection unit 180.
  • the imaging device 10h of the ninth embodiment reduces the double image due to the color shift of the image, improves the visibility, and makes the pointing easier. Can be generated. Since two monochrome corrected images are displayed, the user can confirm the result of specifying the measurement point.
  • the imaging apparatus and the endoscope apparatus can generate an image in which double images due to image color misregistration are reduced, visibility is improved, and pointing is easier. .
  • Imaging device 100 Pupil division optical system 101 First pupil 102 Second pupil 103 Lens 104 Band limiting filter 105 Diaphragm 110 Imaging element 120 Demosaic processing unit 130 Correction unit 140 user instruction unit 150 mark generation unit 160 superimposition unit 170 display unit 180 selection unit 190 selection instruction unit 200 measurement unit 210 measurement processing unit 220 second demosaic processing unit 230 second correction unit 240 processed image generation unit

Abstract

撮像装置において、補正部は、第１透過率特性に基づく成分を有する撮像画像に対して、前記第１透過率特性と第２透過率特性との重複する成分に基づく値を補正した第１モノクロ補正画像と、前記第２透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正した第２モノクロ補正画像との少なくとも１つをモノクロ補正画像として出力する。重畳部は、前記モノクロ補正画像または前記モノクロ補正画像を処理した処理画像に対して、ポイント情報に基づいてマークを重畳し、かつ前記マークが重畳された前記モノクロ補正画像または前記処理画像を表示部に出力する。

Description

撮像装置および内視鏡装置
　本発明は、撮像装置および内視鏡装置に関する。
　近年の撮像装置には、Ｒ（赤）、Ｇ（緑）、およびＢ（青）で構成される原色のカラーフィルタを有する撮像素子が広く用いられている。カラーフィルタの帯域が広くなるほど透過光量が増え、かつ撮像感度が高まる。このため、一般的な撮像素子では、Ｒ、Ｇ、Ｂのカラーフィルタの透過率特性を意図的にオーバーラップさせる手法が用いられている。
　位相差ＡＦ等において、２つの瞳の視差を用いた位相差検出が行われている。例えば、特許文献１には、第１瞳領域がＲおよびＧの光を透過させ、かつ第２瞳領域がＧおよびＢの光を透過させる瞳分割光学系を有する撮像装置が開示されている。この撮像装置に搭載されたカラー撮像素子で得られたＲ画像およびＢ画像の位置ずれに基づいて位相差が検出される。
日本国特開２０１３－０４４８０６号公報
　特許文献１に開示された撮像装置は、合焦位置から外れた位置にある被写体を撮像したとき、画像に色ずれが発生する。特許文献１に開示された瞳分割光学系を有した撮像装置は、Ｒ画像およびＢ画像のボケの形状および重心位置をＧ画像のボケの形状および重心位置に近似させることにより、色ずれによる２重像を軽減した画像を表示する。
　特許文献１に開示された撮像装置において、Ｇ画像のボケの形状を基準にＲ画像およびＢ画像の補正が行われるため、Ｇ画像の波形に歪みがない（２重像がない）ことが前提である。しかし、Ｇ画像の波形が歪む場合もある。以下では、図２４から図２６を用いて、Ｇ画像の波形の歪みについて説明する。
　図２４は、白および黒の被写体の撮像画像Ｉ１０を示す。図２５および図２６は、撮像画像Ｉ１０におけるラインＬ１０のプロファイルを示す。図２５および図２６における横軸は撮像画像の水平方向のアドレスであり、かつ縦軸は撮像画像の画素値である。図２５は、各色のカラーフィルタの透過率特性がオーバーラップしていない場合のプロファイルを示す。図２６は、各色のカラーフィルタの透過率特性がオーバーラップしている場合のプロファイルを示す。プロファイルＲ２０およびプロファイルＲ２１は、Ｒ画像のプロファイルである。Ｒ画像は、Ｒのカラーフィルタが配置された画素の情報を含む。プロファイルＧ２０およびプロファイルＧ２１は、Ｇ画像のプロファイルである。Ｇ画像は、Ｇのカラーフィルタが配置された画素の情報を含む。プロファイルＢ２０およびプロファイルＢ２１は、Ｂ画像のプロファイルである。Ｂ画像は、Ｂのカラーフィルタが配置された画素の情報を含む。
　図２５ではＧ画像のプロファイルＧ２０の波形に歪みがないことがわかるが、図２６では、Ｇ画像のプロファイルＧ２１の波形に歪みがあることがわかる。Ｇのカラーフィルタを透過した光がＲおよびＢの成分を含むため、Ｇ画像のプロファイルＧ２１の波形に歪みが発生する。特許文献１に開示された撮像装置では、図２５に示すプロファイルＧ２０を前提としており、図２６に示すプロファイルＧ２１に生じる波形の歪みを前提としていない。そのため、図２６に示すプロファイルＧ２１で示されるＧ画像を基準にＲ画像およびＢ画像のボケの形状および重心位置を補正した場合、撮像装置は色ずれがある２重像を含む画像を表示する。
　表示された画像に対して、ユーザーがポインティングすなわち点の指定を行う場合がある。例えば、工業用内視鏡装置において、ユーザーが指定した計測点に基づいて計測を行い、かつ計測結果に基づいてキズなどの検査を行うことができる。しかしながら、上記のような２重像を含む画像が表示された場合、ユーザーがポインティングを精度良く行うことが困難であるという課題がある。
　本発明は、画像の色ずれによる２重像が低減され、視認性が改善され、かつポインティングがより容易な画像を生成することができる撮像装置および内視鏡装置を提供することを目的とする。
　本発明の第１の態様によれば、撮像装置は、瞳分割光学系、撮像素子、補正部、ユーザー指示部、マーク生成部、および重畳部を有する。前記瞳分割光学系は、第１波長帯域の光を透過させる第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過させる第２瞳とを有する。前記撮像素子は、前記瞳分割光学系と、第１透過率特性を有する第１色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第１透過率特性と一部が重複する第２透過率特性を有する第２色フィルタとを透過した光を撮像して撮像画像を出力する。前記補正部は、前記第１透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正した第１モノクロ補正画像と、前記第２透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正した第２モノクロ補正画像との少なくとも１つをモノクロ補正画像として出力する。前記ユーザー指示部は、ユーザーの指示に従い、前記モノクロ補正画像におけるポイントを示すポイント情報を出力する。前記マーク生成部は、マークを生成する。前記重畳部は、前記モノクロ補正画像または前記モノクロ補正画像を処理した処理画像に対して、前記ポイント情報に基づいて前記マークを重畳し、かつ前記マークが重畳された前記モノクロ補正画像または前記処理画像を表示部に出力する。
　本発明の第２の態様によれば、第１の態様において、前記補正部は、前記第１モノクロ補正画像および前記第２モノクロ補正画像を出力してもよい。前記撮像装置は、前記補正部から出力された前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つを選択し、かつ選択された画像を前記モノクロ補正画像として出力する選択部を有してもよい。
　本発明の第３の態様によれば、第２の態様において、前記撮像装置は、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの選択を前記選択部に指示する選択指示部を有してもよい。前記選択部は、前記選択指示部からの指示に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つを選択してもよい。
　本発明の第４の態様によれば、第３の態様において、前記選択指示部は、前記第１モノクロ補正画像および前記第２モノクロ補正画像のうちＳＮＲ（ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ　ｒａｔｉｏ）がより高い画像の選択を前記選択部に指示してもよい。
　本発明の第５の態様によれば、第３の態様において、前記選択指示部は、ユーザーからの指示に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの選択を前記選択部に指示してもよい。
　本発明の第６の態様によれば、第３の態様において、前記第１モノクロ補正画像および前記第２モノクロ補正画像の位相差を演算する計測部を有してもよい。前記ポイント情報は、前記位相差が演算される位置である計測点を示してもよい。
　本発明の第７の態様によれば、第３の態様において、前記撮像装置は、第２補正部および計測部を有してもよい。前記第２補正部は、前記補正部とは独立して配置され、前記第１透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正した第３モノクロ補正画像と、前記第２透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正した第４モノクロ補正画像とを生成する。前記計測部は、前記第３モノクロ補正画像および前記第４モノクロ補正画像の位相差を演算する。前記ポイント情報は、前記位相差が演算される位置である計測点を示してもよい。
　本発明の第８の態様によれば、第３の態様において、前記ユーザー指示部は、前記ユーザーの指示に従い、複数のモードの少なくとも１つを指定してもよい。前記撮像装置は、前記選択部から出力された前記モノクロ補正画像の少なくとも一部に対して、前記ユーザー指示部によって指定されたモードに対応する画像処理を行うことにより加工画像を生成し、かつ生成された加工画像を前記表示部に出力する画像処理部を有してもよい。
　本発明の第９の態様によれば、第３の態様において、前記画像処理部は、前記選択部から出力された前記モノクロ補正画像の少なくとも一部に対して、拡大処理、エッジ抽出処理、エッジ強調処理、およびノイズリダクション処理の少なくとも１つを行うことにより前記加工画像を生成してもよい。
　本発明の第１０の態様によれば、第８の態様において、前記画像処理部は、前記選択部から出力された前記モノクロ補正画像の少なくとも一部に対して、拡大処理を行い、かつ、エッジ抽出処理、エッジ強調処理、およびノイズリダクション処理の少なくとも１つを行うことにより前記加工画像を生成してもよい。
　本発明の第１１の態様によれば、内視鏡装置は、第１の態様の前記撮像装置を有する。
　上記の各態様によれば、撮像装置および内視鏡装置は、画像の色ずれによる２重像が低減され、視認性が改善され、かつポインティングがより容易な画像を生成することができる。
本発明の第１の実施形態の撮像装置の構成を示すブロック図である。 本発明の第１の実施形態の瞳分割光学系の構成を示すブロック図である。 本発明の第１の実施形態の帯域制限フィルタの構成を示す図である。 本発明の第１の実施形態におけるｂａｙｅｒ画像の画素配列を示す図である。 本発明の第１の実施形態におけるＲ画像の画素配列を示す図である。 本発明の第１の実施形態におけるＧ画像の画素配列を示す図である。 本発明の第１の実施形態におけるＢ画像の画素配列を示す図である。 本発明の第１の実施形態における第１瞳のＲＧフィルタ、第２瞳のＢＧフィルタ、および撮像素子のカラーフィルタの分光特性の例を示す図である。 本発明の第１の実施形態における第１瞳のＲＧフィルタ、第２瞳のＢＧフィルタ、および撮像素子のカラーフィルタの分光特性の例を示す図である。 本発明の第２の実施形態の撮像装置の構成を示すブロック図である。 本発明の第３の実施形態の撮像装置の構成を示すブロック図である。 本発明の第４の実施形態の撮像装置の構成を示すブロック図である。 本発明の第４の実施形態における選択指示部の動作の手順を示すフローチャートである。 本発明の第４の実施形態における第１モノクロ補正画像および第２モノクロ補正画像のヒストグラムの例を示す図である。 本発明の第５の実施形態の撮像装置の構成を示すブロック図である。 本発明の第６の実施形態の撮像装置の構成を示すブロック図である。 本発明の第７の実施形態の撮像装置の構成を示すブロック図である。 本発明の第７の実施形態の計測処理部の構成を示すブロック図である。 本発明の第８の実施形態の撮像装置の構成を示すブロック図である。 本発明の第８の実施形態の加工画像生成部が行う画像処理を示す図である。 本発明の第８の実施形態において表示される画像の例を示す図である。 本発明の第９の実施形態の撮像装置の構成を示すブロック図である。 本発明の第９の実施形態において表示される画像の例を示す図である。 白および黒の被写体の撮像画像を示す図である。 白および黒の被写体の撮像画像におけるラインのプロファイルを示す図である。 白および黒の被写体の撮像画像におけるラインのプロファイルを示す図である。
　図面を参照し、本発明の実施形態を説明する。
　（第１の実施形態）
　図１は、本発明の第１の実施形態の撮像装置１０の構成を示す。撮像装置１０は、デジタルスチルカメラ、ビデオカメラ、カメラ付き携帯電話、カメラ付き携帯情報端末、カメラ付きパーソナルコンピュータ、監視カメラ、内視鏡、およびデジタル顕微鏡などである。図１に示すように、撮像装置１０は、瞳分割光学系１００、撮像素子１１０、デモザイク処理部１２０、補正部１３０、ユーザー指示部１４０、マーク生成部１５０、重畳部１６０、および表示部１７０を有する。
　撮像装置１０の概略構成について説明する。瞳分割光学系１００は、第１波長帯域の光を透過させる第１瞳１０１と、第１波長帯域とは異なる第２波長帯域の光を透過させる第２瞳１０２とを有する。撮像素子１１０は、瞳分割光学系１００と、第１透過率特性を有する第１色フィルタとを透過した光を撮像し、かつ、瞳分割光学系１００と、第１透過率特性と一部が重複する第２透過率特性を有する第２色フィルタとを透過した光を撮像して撮像画像を出力する。補正部１３０は、第１透過率特性に基づく成分を有する撮像画像に対して、第１透過率特性と第２透過率特性との重複する成分に基づく値を補正した第１モノクロ補正画像と、第２透過率特性に基づく成分を有する撮像画像に対して、第１透過率特性と第２透過率特性との重複する成分に基づく値を補正した第２モノクロ補正画像との少なくとも１つをモノクロ補正画像として出力する。ユーザー指示部１４０は、ユーザーの指示に従い、モノクロ補正画像におけるポイントを示すポイント情報を出力する。マーク生成部１５０は、マークを生成する。重畳部１６０は、モノクロ補正画像に対して、ポイント情報に基づいてマークを重畳し、かつマークが重畳されたモノクロ補正画像を表示部１７０に出力する。表示部１７０は、マークが重畳されたモノクロ補正画像を表示する。
　撮像装置１０の詳細な構成について説明する。瞳分割光学系１００の第１瞳１０１は、Ｒ（赤）およびＧ（緑）の波長の光を透過させるＲＧフィルタを有する。瞳分割光学系１００の第２瞳１０２は、Ｂ（青）およびＧ（緑）の波長の光を透過させるＢＧフィルタを有する。
　図２は、瞳分割光学系１００の構成を示す。図２に示すように、瞳分割光学系１００は、レンズ１０３、帯域制限フィルタ１０４、および絞り１０５を有する。例えば、レンズ１０３は、一般的には複数のレンズで構成されることが多い。図２においては簡単のために１枚のレンズのみが示されている。帯域制限フィルタ１０４は、撮像素子１１０に入射する光の光路上に配置されている。例えば、帯域制限フィルタ１０４は、絞り１０５の位置またはその近傍に配置されている。図２に示す例では、帯域制限フィルタ１０４は、レンズ１０３と絞り１０５との間に配置されている。絞り１０５は、レンズ１０３を通過した光の通過範囲を制限することにより、撮像素子１１０に入射する光の明るさを調節する。
　図３は、帯域制限フィルタ１０４の構成を示す。図３に示す例では、撮像素子１１０側から帯域制限フィルタ１０４を見たときに、帯域制限フィルタ１０４の左半分が第１瞳１０１を構成し、かつ帯域制限フィルタ１０４の右半分が第２瞳１０２を構成する。第１瞳１０１は、ＲおよびＧの波長の光を透過させ、かつＢの波長の光を遮断する。第２瞳１０２は、ＢおよびＧの波長の光を透過させ、かつＲの波長の光を遮断する。
　撮像素子１１０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサーおよびＸＹアドレス走査型のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー等の光電変換素子である。撮像素子１１０の構成としては、単板原色ベイヤー配列、またはセンサーを３つ使用した３板等の方式がある。以下では単板原色ベイヤー配列のＣＭＯＳセンサー（５００×５００画素、深度１０ｂｉｔ）を使用した例で本発明の実施形態を説明する。
　撮像素子１１０は、複数の画素を有する。また、撮像素子１１０は、第１色フィルタ、第２色フィルタ、および第３色フィルタを含むカラーフィルタを有する。カラーフィルタは、撮像素子１１０の各画素に配置されている。例えば、第１色フィルタはＲフィルタであり、第２色フィルタはＢフィルタであり、かつ第３色フィルタはＧフィルタである。瞳分割光学系１００を透過し、かつカラーフィルタを透過した光が撮像素子１１０の各画素に入射する。瞳分割光学系１００を透過した光は、第１瞳１０１を透過した光と、第２瞳１０２を透過した光とである。撮像素子１１０は、第１色フィルタを透過した光が入射した第１画素の画素値と、第２色フィルタを透過した光が入射した第２画素の画素値と、第３色フィルタを透過した光が入射した第３画素の画素値とを含む撮像画像を取得および出力する。
　ＣＭＯＳセンサーにおける光電変換により生成されたアナログ撮像信号に対して、撮像素子１１０によって、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）、ＡＧＣ（Ａｎａｌｏｇ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ）、およびＡＤＣ（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）などのＡＦＥ処理（Ａｎａｌｏｇ　Ｆｒｏｎｔ　Ｅｎｄ）が行われる。撮像素子１１０の外部の回路がＡＦＥ処理を行ってもよい。撮像素子１１０によって取得された撮像画像（ｂａｙｅｒ画像）は、デモザイク処理部１２０に転送される。
　デモザイク処理部１２０では、ｂａｙｅｒ画像がＲＧＢ画像に変換され、カラー画像が生成される。図４は、ｂａｙｅｒ画像の画素配列を示す。奇数行においてＲ（赤）およびＧｒ（緑）の画素が交互に配置され、かつ偶数行においてＧｂ（緑）およびＢ（青）の画素が交互に配置される。奇数列においてＲ（赤）およびＧｂ（緑）の画素が交互に配置され、かつ偶数列においてＧｒ（緑）およびＢ（青）の画素が交互に配置される。
　デモザイク処理部１２０は、ｂａｙｅｒ画像の画素値に対して、黒のレベル補正（ＯＢ（Ｏｐｔｉｃａｌ　Ｂｌａｃｋ）減算）を行う。さらに、デモザイク処理部１２０は、各画素の画素値をコピーすることにより、隣接画素の画素値を生成する。これにより、全ての画素において各色の画素値が揃ったＲＧＢ画像が生成される。例えば、デモザイク処理部１２０は、Ｒの画素値（Ｒ＿００）にＯＢ減算を行った後、画素値（Ｒ＿００－ＯＢ）をコピーする。これにより、Ｒの画素に隣接するＧｒ、Ｇｂ、およびＢの画素におけるＲの画素値が補間される。図５は、Ｒ画像の画素配列を示す。
　同様に、デモザイク処理部１２０は、Ｇｒの画素値（Ｇｒ＿０１）にＯＢ減算を行った後、画素値（Ｇｒ＿０１－ＯＢ）をコピーする。また、デモザイク処理部１２０は、Ｇｂの画素値（Ｇｂ＿１０）にＯＢ減算を行った後、画素値（Ｇｂ＿１０－ＯＢ）をコピーする。これにより、Ｇｒの画素に隣接するＲの画素およびＧｂの画素に隣接するＢの画素におけるＧの画素値が補間される。図６は、Ｇ画像の画素配列を示す。
　同様に、デモザイク処理部１２０は、Ｂの画素値（Ｂ＿１１）にＯＢ減算を行った後、画素値（Ｂ＿１１－ＯＢ）をコピーする。これにより、Ｂの画素に隣接するＲ、Ｇｒ、およびＧｂの画素におけるＢの画素値が補間される。図７は、Ｂ画像の画素配列を示す。
　デモザイク処理部１２０は、上記の処理により、Ｒ画像、Ｇ画像、およびＢ画像で構成されるカラー画像（ＲＧＢ画像）を生成する。デモザイク処理の具体的な方法は、上記の方法に限らない。生成されたＲＧＢ画像に対してフィルタ処理が施されてもよい。デモザイク処理部１２０によって生成されたＲＧＢ画像は、補正部１３０に転送される。
　補正部１３０が行う処理の詳細について説明する。図８は、第１瞳１０１のＲＧフィルタ、第２瞳１０２のＢＧフィルタ、および撮像素子１１０のカラーフィルタの分光特性（透過率特性）の例を示す。図８における横軸は波長λ［ｎｍ］であり、かつ縦軸はゲインである。線ｆＲＧは、ＲＧフィルタの分光特性を示す。線ｆＢＧは、ＢＧフィルタの分光特性を示す。波長λＣがＲＧフィルタの分光特性とＢＧフィルタの分光特性との境界である。ＲＧフィルタは、波長λＣよりも長波長側の波長帯域の光を透過させる。ＢＧフィルタは、波長λＣよりも短波長側の波長帯域の光を透過させる。線ｆＲは、撮像素子１１０のＲフィルタの分光特性（第１透過率特性）を示す。線ｆＧは、撮像素子１１０のＧフィルタの分光特性を示す。ＧｒフィルタおよびＧｂフィルタのフィルタ特性は同等であるため、ＧｒフィルタおよびＧｂフィルタはＧフィルタとして表されている。線ｆＢは、撮像素子１１０のＢフィルタの分光特性（第２透過率特性）を示す。撮像素子１１０の各フィルタの分光特性は、オーバーラップしている。
　線ｆＲが示す分光特性において波長λＣよりも長波長側の領域のうち線ｆＲおよび線ｆＢの間の領域を領域φＲと定義する。線ｆＢが示す分光特性において波長λＣよりも長波長側の領域を領域φＲＧと定義する。線ｆＢが示す分光特性において波長λＣよりも短波長側の領域のうち線ｆＢおよび線ｆＲの間の領域を領域φＢと定義する。線ｆＲが示す分光特性において波長λＣよりも短波長側の領域を領域φＧＢと定義する。
　Ｒ画像およびＢ画像に基づいて位相差を取得する方式では、例えばＲ（赤）情報およびＢ（青）情報の位相の差が取得される。Ｒフィルタが配置された撮像素子１１０のＲ画素における光電変換により、Ｒ情報が取得される。Ｒ情報は、図８の領域φＲ、領域φＲＧ、および領域φＧＢの情報を含む。領域φＲおよび領域φＲＧの情報は、第１瞳１０１のＲＧフィルタを透過した光に基づく。領域φＧＢの情報は、第２瞳１０２のＢＧフィルタを透過した光に基づく。Ｒ情報において領域φＧＢの情報は、Ｒフィルタの分光特性とＢフィルタの分光特性との重複する成分に基づく。領域φＧＢは波長λＣよりも短波長側であるため、領域φＧＢの情報は、色ずれによる２重像の原因となるＢ情報である。この情報は、Ｒ画像の波形を歪ませ、かつ２重像を発生させるため、Ｒ情報には好ましくない。
　一方、Ｂフィルタが配置された撮像素子１１０のＢ画素における光電変換により、Ｂ情報が取得される。Ｂ情報は、図８の領域φＢ、領域φＲＧ、および領域φＧＢの情報を含む。領域φＢおよび領域φＧＢの情報は、第２瞳１０２のＢＧフィルタを透過した光に基づく。Ｂ情報において領域φＲＧの情報は、Ｂフィルタの分光特性とＲフィルタの分光特性との重複する成分に基づく。領域φＲＧの情報は、第１瞳１０１のＲＧフィルタを透過した光に基づく。領域φＲＧは波長λＣよりも長波長側であるため、領域φＲＧの情報は、色ずれによる２重像の原因となるＲ情報である。この情報は、Ｂ画像の波形を歪ませ、かつ２重像を発生させるため、Ｂ情報には好ましくない。
　赤情報において、青情報を含む領域φＧＢの情報を低減させ、かつ青情報において、赤情報を含む領域φＲＧの情報を低減させる補正がなされる。補正部１３０は、Ｒ画像とＢ画像に対して、補正処理を行う。つまり、補正部１３０は、赤情報において領域φＧＢの情報を低減させ、かつ青情報において領域φＲＧの情報を低減させる。
　図９は、図８と同様の図である。図９において、線ｆＢＲは、図８における領域φＧＢおよび領域φＲＧを示す。線ｆＧで示されるＧフィルタの分光特性と、線ｆＢＲで示される分光特性とは、一般的に相似である。補正部１３０は、この性質を利用して補正処理を行う。補正部１３０は、補正処理において、式（１）および式（２）により赤情報および青情報を算出する。
　　Ｒ’＝Ｒ－α×Ｇ　・・・（１）
　　Ｂ’＝Ｂ－β×Ｇ　・・・（２）
　式（１）において、Ｒは補正処理が行われる前の赤情報であり、かつＲ’は補正処理が行われた後の赤情報である。式（２）において、Ｂは補正処理が行われる前の青情報であり、かつＢ’は補正処理が行われた後の青情報である。この例において、αおよびβは、０よりも大きく、かつ１よりも小さい。αおよびβは、撮像素子１１０の分光特性に応じて設定される。撮像装置１０が照明用の光源を有する場合、αおよびβは、撮像素子１１０の分光特性および光源の分光特性に応じて設定される。例えば、αおよびβは、図示していないメモリに格納されている。
　式（１）および式（２）で示される演算により、Ｒフィルタの分光特性とＢフィルタの分光特性との重複する成分に基づく値が補正される。補正部１３０は、上記のように補正された画像（モノクロ補正画像）を生成する。補正部１３０は、生成されたＲ’画像およびＢ’画像のいずれか１つを出力することにより、モノクロ補正画像を出力する。例えば、補正部１３０は、Ｒ’画像を出力する。第１の実施形態において、Ｒ’画像およびＢ’画像のいずれか１つが表示部１７０に出力される。補正部１３０は、Ｒ’画像およびＢ’画像を生成し、かつ生成されたＲ’画像およびＢ’画像のいずれか１つのみを出力してもよい。あるいは、補正部１３０は、Ｒ’画像およびＢ’画像のうち予め決められた１つのみを生成してもよい。
　重畳部１６０は、補正部１３０から出力されたモノクロ補正画像を表示部１７０に出力する。表示部１７０は、重畳部１６０から出力されたモノクロ補正画像を表示する。
　ユーザー指示部１４０は、ボタン、スイッチ、キー、およびマウス等のユーザーインターフェースである。ユーザー指示部１４０および表示部１７０は、タッチパネルとして構成されてもよい。ユーザーは、表示部１７０に表示されたモノクロ補正画像上の注目位置に対して、指によるタッチあるいはマウスによるクリック等を行う。これにより、ユーザーは、ユーザー指示部１４０を介して、モノクロ補正画像に対してポインティングを行う。ユーザー指示部１４０は、ユーザーによって指示された位置のポイント情報をマーク生成部１５０に出力する。例えば、ポイント情報は、（ｘ，ｙ）＝（２００，２３０）のような座標情報である。例えば、ユーザーは、モノクロ補正画像に写っている被写体に目印を付けるためにポインティングを行う。撮像装置１０が内視鏡装置として構成されている場合、ユーザーは、モノクロ補正画像に写っているキズ等に計測点を指定するためにポインティングを行う。
　マーク生成部１５０は、マークのグラフィックデータを生成する。マークの形状および色は任意である。ユーザーがマークの形状や色を指定しても構わない。マーク生成部１５０は、生成されたマークと、ユーザー指示部１４０から出力されたポイント情報とを重畳部１６０に出力する。
　重畳部１６０は、補正部１３０から出力されたモノクロ補正画像に対してマークを重畳する。このとき、重畳部１６０は、モノクロ補正画像において、ポイント情報が示す位置にマークを重畳する。これにより、ユーザーがポインティングを行った位置にマークが重畳される。マークが重畳されたモノクロ補正画像は、表示部１７０に出力される。表示部１７０は、マークが重畳されたモノクロ補正画像を表示する。ユーザーは、モノクロ補正画像において自身が指定した位置を確認することができる。
　ユーザー指示部１４０から重畳部１６０にポイント情報が直接出力されてもよい。マーク生成部１５０は、モノクロ補正画像と同じ大きさを有し、かつポイント情報が示す位置にマークが重畳された画像を生成してもよい。マーク生成部１５０によって生成されるその画像は、透明な画像に対してマークが重畳された画像である。重畳部１６０は、補正部１３０から出力されたモノクロ補正画像に対して、マーク生成部１５０から出力された画像を重ねた画像を生成してもよい。
　補正部１３０から出力されたモノクロ補正画像（Ｒ’画像）に対して、例えばγ補正、スケーリング処理、エッジの強調、およびローパスフィルタ処理等の高画質化処理が行われてもよい。スケーリング処理では、バイキュービックおよびＮｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ等が利用される。ローパスフィルタ処理では、折返し歪み（ａｌｉａｓｉｎｇ）が補正される。補正部１３０は、モノクロ補正画像に対して、これらの処理を行ってもよい。つまり、補正部１３０は、モノクロ補正画像を処理した処理画像を生成してもよい。あるいは、撮像装置１０は、モノクロ補正画像に対してこれらの処理を行う画像処理部を有してもよい。重畳部１６０は、処理画像を表示部１７０に出力してもよい。また、重畳部１６０は、モノクロ補正画像を処理した処理画像に対して、ポイント情報に基づいてマークを重畳し、かつマークが重畳された処理画像を表示部１７０に出力してもよい。表示部１７０は、処理画像およびマークが重畳された処理画像を表示してもよい。
　モノクロ補正画像に対してスケーリング処理が行われる場合、ユーザーが指定した位置とマークが重畳される位置とを合わせるためにスケーリング情報がマーク生成部１５０に通知される。例えば、５００ｘ５００の大きさを有するモノクロ補正画像（スケーリングなし）において、ユーザーがモノクロ補正画像の（ｘ，ｙ）＝（２００，２３０）の位置を指定した場合は、（ｘ，ｙ）＝（２００，２３０）の位置にマークを生成する必要がある。一方、スケーリングをした場合、ユーザーによって指定された位置をスケーリングに応じて変換する必要がある。例えば、５００ｘ５００の大きさを有するモノクロ補正画像が２倍の大きさ（１０００ｘ１０００）に拡大された場合、（ｘ，ｙ）＝（２００，２３０）の座標は、処理画像において（ｘ，ｙ）＝（４００，４６０）の位置に対応する。そのため、この座標にマークを生成する必要がある。
　デモザイク処理部１２０、補正部１３０、マーク生成部１５０、および重畳部１６０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、およびマイクロプロセッサーなどで構成することができる。例えば、デモザイク処理部１２０、補正部１３０、マーク生成部１５０、および重畳部１６０は、ＡＳＩＣおよびエンベデッドプロセッサーで構成される。デモザイク処理部１２０、補正部１３０、マーク生成部１５０、および重畳部１６０は、それ以外のハードウエア、ソフトウエア、ファームウエア、またはこれらの組み合わせで構成されてもよい。
　表示部１７０は、バックライトが必要な透過型ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）および自発光タイプのＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子（有機ＥＬ）などである。例えば、表示部１７０は透過型ＬＣＤで構成され、かつＬＣＤ駆動に必要な駆動部を有する。駆動部は、駆動信号を生成し、かつ駆動信号によりＬＣＤを駆動する。
　撮像装置１０は、内視鏡装置であってもよい。工業用内視鏡において、瞳分割光学系１００および撮像素子１１０は、観察および計測の対象物の内部に挿入される挿入部の先端に配置される。
　第１の実施形態の撮像装置１０は、補正部１３０を有することにより、画像の色ずれによる２重像を低減することができる。また、モノクロ補正画像が表示されることにより、画像の視認性を改善することができる。ユーザーは、Ｒ画像およびＢ画像に基づいて位相差を取得する方式において画像を観察する場合であっても、色ずれによる２重像が低減され、かつ視認性が向上した画像を観察することができる。
　ユーザーは、表示部１７０に表示されたモノクロ補正画像または処理画像を観察し、かつ画像に対してポインティングを行うことができる。上記のように色ずれによる２重像が低減された画像が表示されるため、ユーザーは、容易にポインティングを行うことができる。つまり、ユーザーは、より精度良くポインティングを行うことができる。
　表示部１７０はモノクロ補正画像を表示するため、表示部１７０に出力される情報量が低下する。そのため、表示部１７０の消費電力を削減することができる。
　（第２の実施形態）
　図１０は、本発明の第２の実施形態の撮像装置１０ａの構成を示す。図１０に示す構成について、図１に示す構成と異なる点を説明する。
　撮像装置１０ａは表示部１７０を有していない。表示部１７０は、撮像装置１０ａから独立して構成されている。補正部１３０から出力されたモノクロ補正画像は、通信機を介して表示部１７０に出力されてもよい。例えば、通信機は、表示部１７０と有線または無線により通信を行う。
　上記以外の点について、図１０に示す構成は、図１に示す構成と同様である。
　第２の実施形態の撮像装置１０ａは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像が低減され、視認性が改善され、かつポインティングがより容易な画像を生成することができる。表示部１７０が撮像装置１０ａから独立しているため、撮像装置１０ａを小型化することができる。また、モノクロ補正画像を転送することにより、カラー画像に比べて、表示部１７０に対して画像を転送するときのフレームレートが向上し、かつビットレートが低減する。
　（第３の実施形態）
　図１１は、本発明の第３の実施形態の撮像装置１０ｂの構成を示す。図１１に示す構成について、図１に示す構成と異なる点を説明する。
　撮像装置１０ｂは、図１に示す撮像装置１０の構成に加えて、選択部１８０を有する。補正部１３０は、第１モノクロ補正画像および第２モノクロ補正画像を出力する。前述したように、第１モノクロ補正画像は、第１透過率特性に基づく成分を有する撮像画像に対して、第１透過率特性と第２透過率特性との重複する成分に基づく値を補正することにより生成された画像である。第２モノクロ補正画像は、第２透過率特性に基づく成分を有する撮像画像に対して、第１透過率特性と第２透過率特性との重複する成分に基づく値を補正することにより生成された画像である。選択部１８０は、補正部１３０から出力された第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つを選択し、かつ選択された画像を選択モノクロ補正画像として出力する。例えば、第１モノクロ補正画像は、Ｒ’画像である。例えば、第２モノクロ補正画像は、Ｂ’画像である。
　上記以外の点について、図１１に示す構成は、図１に示す構成と同様である。
　第３の実施形態の撮像装置１０ｂは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像が低減され、視認性が改善され、かつポインティングがより容易な画像を生成することができる。
　（第４の実施形態）
　図１２は、本発明の第４の実施形態の撮像装置１０ｃの構成を示す。図１２に示す構成について、図１１に示す構成と異なる点を説明する。
　撮像装置１０ｃは、図１１に示す撮像装置１０ｂの構成に加えて、選択指示部１９０を有する。選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つの選択を選択部１８０に指示する。選択部１８０は、選択指示部１９０からの指示に応じて、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つを選択する。
　選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像のうちＳＮＲ（ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ　ｒａｔｉｏ）がより高い画像の選択を選択部１８０に指示する。例えば、選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像の解析結果に応じて、第１モノクロ補正画像および第２モノクロ補正画像のいずれか１つの選択を選択部１８０に指示する。以下の例では、選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像のヒストグラムに応じて、第１モノクロ補正画像および第２モノクロ補正画像のいずれか１つの選択を選択部１８０に指示する。
　上記以外の点について、図１２に示す構成は、図１１に示す構成と同様である。
　図１３は、選択指示部１９０の動作の手順を示す。補正部１３０によって生成された第１モノクロ補正画像および第２モノクロ補正画像が選択指示部１９０に入力される。選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像のヒストグラム解析を行う（ステップＳ１００）。ステップＳ１００の後、選択指示部１９０は、ヒストグラム解析によって決定されたモノクロ補正画像の選択を補正部１３０に指示する（ステップＳ１１０）。
　ステップＳ１００における処理の詳細について説明する。選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像における各画素の画素値のヒストグラムを生成する。図１４は、第１モノクロ補正画像および第２モノクロ補正画像のヒストグラムの例を示す。図１４における横軸は画素値の階調であり、かつ縦軸は度数である。図１４において、第１モノクロ補正画像であるＲ’画像における複数のＲ画素の画素値のヒストグラムと、第２モノクロ補正画像であるＢ’画像における複数のＢ画素の画素値のヒストグラムとが示されている。撮像素子１１０の深度１０ｂｉｔ（０から１０２３）は、領域Ａ１から領域Ａ６に区別されている。領域Ａ１は、画素値が０から１６９の領域である。領域Ａ２は、画素値が１７０から３３９の領域である。領域Ａ３は、画素値が３４０から５０９の領域である。領域Ａ４は、画素値が５１０から６７９の領域である。領域Ａ５は、画素値が６８０から８４９の領域である。領域Ａ６は、画素値が８５０から１０２３の領域である。より左側の領域の画素値を有する画素はより暗く、より右側の領域の画素値を有する画素はより明るい。図１４に示す例では、Ｒ画素の度数は、Ｂ画素の度数と比べて、より明るい領域に分布している。そのため、Ｒ’画像は、Ｂ’画像に比べてＳＮＲが高いと判断できる。選択指示部１９０は、選択部１８０が選択するモノクロ補正画像をＲ’画像に決定する。
　この例では、選択指示部１９０は、複数のＲ画素の画素値のヒストグラムと、複数のＢ画素の画素値のヒストグラムとを生成する。選択指示部１９０は、Ｒ画素およびＢ画素のうち、より大きい画素値の度数がより多い画素に対応するモノクロ補正画像の選択を選択部１８０に指示する。
　選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像の代わりに、撮像画像すなわちｂａｙｅｒ画像を使用してもよい。例えば、選択指示部１９０は、ｂａｙｅｒ画像における複数のＲ画素の画素値のヒストグラムと、ｂａｙｅｒ画像における複数のＢ画素の画素値のヒストグラムとを生成する。選択指示部１９０は、各ヒストグラムに基づいて、上記と同様の処理を行う。また、表示部１７０は、撮像装置１０ｃから独立して構成されてもよい。
　第４の実施形態の撮像装置１０ｃは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像が低減され、視認性が改善され、かつポインティングがより容易な画像を生成することができる。
　選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像のうちＳＮＲがより高い画像の選択を選択部１８０に指示する。ＳＮＲがより高いモノクロ補正画像が表示されるため、ユーザーは、ポインティングをより容易に行うことができる。
　（第５の実施形態）
　図１５は、本発明の第５の実施形態の撮像装置１０ｄの構成を示す。図１５に示す構成について、図１２に示す構成と異なる点を説明する。
　選択指示部１９０は、ユーザーからの指示に応じて、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つの選択を選択部１８０に指示する。ユーザー指示部１４０は、ユーザーからの指示を受け付ける。ユーザーは、第１モノクロ補正画像および第２モノクロ補正画像のいずれか１つを選択する指示を、ユーザー指示部１４０を介して入力する。ユーザー指示部１４０は、第１モノクロ補正画像および第２モノクロ補正画像のうちユーザーにより指示された画像の情報を選択指示部１９０に出力する。選択指示部１９０は、ユーザー指示部１４０から出力された情報が示す画像の選択を選択部１８０に指示する。
　上記以外の点について、図１５に示す構成は、図１２に示す構成と同様である。
　表示部１７０は、撮像装置１０ｄから独立して構成されてもよい。
　第５の実施形態の撮像装置１０ｄは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像が低減され、視認性が改善され、かつポインティングがより容易な画像を生成することができる。
　選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像のうちユーザーにより指示された画像の選択を選択部１８０に指示する。これにより、ユーザーは、自身が好む画像に対してポインティングを行うことができる。
　（第６の実施形態）
　図１６は、本発明の第６の実施形態の撮像装置１０ｅの構成を示す。図１６に示す構成について、図１５に示す構成と異なる点を説明する。
　撮像装置１０ｅは、図１５に示す撮像装置１０ｄの構成に加えて、計測部２００を有する。補正部１３０によって生成された第１モノクロ補正画像および第２モノクロ補正画像が計測部２００に入力される。また、ユーザー指示部１４０から出力されたポイント情報が計測部２００に入力される。計測部２００は、第１モノクロ補正画像および第２モノクロ補正画像の位相差を演算する。ユーザー指示部１４０から出力されるポイント情報は、位相差が演算される位置である計測点を示す。計測部２００は、ポイント情報が示す計測点における位相差を演算する。
　計測部２００は、位相差に基づいて被写体の距離を算出する。例えば、画像の任意の１点がユーザーにより指定された場合、計測部２００は奥行きの計測を行う。画像の任意の２点がユーザーにより指定された場合、計測部２００は２点間の距離を計測することができる。計測部２００は、計測結果を計測値のキャラクター情報として重畳部１６０に出力する。計測部２００は、ＡＳＩＣ、ＦＰＧＡ、およびマイクロプロセッサーなどで構成される。
　重畳部１６０は、選択モノクロ補正画像に計測値のキャラクター情報を重畳し、かつ計測値のキャラクター情報が重畳された選択モノクロ補正画像を表示部１７０に出力する。表示部１７０は、計測値のキャラクター情報が重畳された選択モノクロ補正画像を表示する。これにより、ユーザーは計測結果を確認することができる。
　上記以外の点について、図１６に示す構成は、図１５に示す構成と同様である。
　表示部１７０は、撮像装置１０ｅから独立して構成されてもよい。第４の実施形態と同様に、選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像のうちＳＮＲがより高い画像の選択を選択部１８０に指示してもよい。
　第６の実施形態の撮像装置１０ｅは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像が低減され、視認性が改善され、かつポインティングがより容易な画像を生成することができる。ユーザーは、視認性が改善された画像に対して計測点をより精度良く指定することができる。
　（第７の実施形態）
　図１７は、本発明の第７の実施形態の撮像装置１０ｆの構成を示す。図１７に示す構成について、図１６に示す構成と異なる点を説明する。
　撮像装置１０ｆにおいて、図１６に示す撮像装置１０ｅにおける計測部２００は計測処理部２１０に変更される。撮像素子１１０から出力されたｂａｙｅｒ画像が計測処理部２１０に入力される。また、ユーザー指示部１４０から出力されたポイント情報が計測処理部２１０に入力される。計測処理部２１０は、計測値のキャラクター情報を重畳部１６０に出力する。
　上記以外の点について、図１７に示す構成は、図１６に示す構成と同様である。
　図１８は、計測処理部２１０の構成を示す。図１８に示すように、計測処理部２１０は、第２デモザイク処理部２２０、第２補正部２３０、および計測部２００を有する。
　撮像素子１１０から出力されたｂａｙｅｒ画像が第２デモザイク処理部２２０に入力される。第２デモザイク処理部２２０は、ｂａｙｅｒ画像の各画素の画素値をコピーすることにより、隣接画素の画素値を生成する。これにより、全ての画素において各色の画素値が揃ったＲＧＢ画像が生成される。ＲＧＢ画像は、Ｒ画像、Ｇ画像、およびＢ画像で構成される。第７の実施形態の第２デモザイク処理部２２０はＯＢ減算を行わなかったが、ＯＢ減算を行っても構わない。第２デモザイク処理部２２０がＯＢ減算を行う場合、ＯＢ減算値はデモザイク処理部１２０が使用したＯＢ減算値と異なっても構わない。第２デモザイク処理部２２０は、生成されたＲＧＢ画像を第２補正部２３０に出力する。
　第２補正部２３０は、補正部１３０とは独立して配置されている。第２補正部２３０は、第１透過率特性に基づく成分を有する撮像画像に対して、第１透過率特性と第２透過率特性との重複する成分に基づく値を補正した第３モノクロ補正画像と、第２透過率特性に基づく成分を有する撮像画像に対して、第１透過率特性と第２透過率特性との重複する成分に基づく値を補正した第４モノクロ補正画像とを生成する。第２補正部２３０は、生成された第３モノクロ補正画像および第４モノクロ補正画像を計測部２００に出力する。計測部２００は、第３モノクロ補正画像および第４モノクロ補正画像の位相差を演算する。
　具体的には、第２補正部２３０は、Ｒ画像とＢ画像に対して、補正処理を行う。第２補正部２３０による補正処理は、補正部１３０による補正処理と同様である。第２補正部２３０は、赤情報において図８の領域φＧＢの情報を低減させ、かつ青情報において図８の領域φＲＧの情報を低減させる。これにより、第３モノクロ補正画像であるＲ’画像が生成され、かつ第４モノクロ補正画像であるＢ’画像が生成される。
　計測部２００は、図１６に示す撮像装置１０ｅにおける計測部２００と同様に構成されている。第２デモザイク処理部２２０および第２補正部２３０は、ＡＳＩＣ、ＦＰＧＡ、およびマイクロプロセッサーなどで構成される。
　表示部１７０は、撮像装置１０ｆから独立して構成されてもよい。第４の実施形態と同様に、選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像のうちＳＮＲがより高い画像の選択を選択部１８０に指示してもよい。
　第７の実施形態の撮像装置１０ｆは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像が低減され、視認性が改善され、かつポインティングがより容易な画像を生成することができる。ユーザーは、視認性が改善された画像に対して計測点をより精度良く指定することができる。
　第２デモザイク処理部２２０が計測部２００の計測処理に合わせてＯＢ減算値（上記の例では、ゼロ）を設定することで、計測に適したＯＢ減算をすることができ、計測精度の向上につながる。また、デモザイク処理部１２０が、黒レベルに合わせて、ＯＢ減算値を設定することで、適切な黒レベルの設定が可能となり、画質が向上する。
　（第８の実施形態）
　図１９は、本発明の第８の実施形態の撮像装置１０ｇの構成を示す。図１９に示す構成について、図１６に示す構成と異なる点を説明する。
　撮像装置１０ｇは、図１６に示す撮像装置１０ｅの構成に加えて、加工画像生成部２４０を有する。ユーザー指示部１４０は、ユーザーの指示に従い、複数のモードの少なくとも１つを指定する。選択部１８０によって選択された選択モノクロ補正画像が加工画像生成部２４０に入力される。加工画像生成部２４０は、選択部１８０から出力された選択モノクロ補正画像の少なくとも一部に対して、ユーザー指示部１４０によって指定されたモードに対応する画像処理を行うことにより加工画像を生成する。加工画像生成部２４０は、選択モノクロ補正画像の少なくとも一部に対して画像処理を行う。加工画像生成部２４０は、生成された加工画像と、選択部１８０から出力された選択モノクロ補正画像とを重畳部１６０に出力する。
　加工画像生成部２４０は、画像処理部を構成する。加工画像生成部２４０は、ＡＳＩＣ、ＦＰＧＡ、およびマイクロプロセッサーなどで構成される。加工画像生成部２４０は、選択部１８０から出力されたモノクロ補正画像の少なくとも一部に対して、拡大処理、エッジ抽出処理、エッジ強調処理、およびノイズリダクション処理の少なくとも１つを行うことにより加工画像を生成する。加工画像生成部２４０は、選択部１８０から出力された選択モノクロ補正画像の少なくとも一部に対して、拡大処理を行い、かつ、エッジ抽出処理、エッジ強調処理、およびノイズリダクション処理の少なくとも１つを行うことにより加工画像を生成してもよい。
　重畳部１６０は、必要に応じて、選択モノクロ補正画像に対して加工画像を重畳し、かつ加工画像が重畳された選択モノクロ補正画像を表示部１７０に出力する。加工画像が加工画像生成部２４０から表示部１７０に直接出力されてもよい。
　上記以外の点について、図１９に示す構成は、図１６に示す構成と同様である。
　図２０は、加工画像生成部２４０が行う画像処理を示す。図２０において、７つの画像処理方法が示されている。第１の方法は、拡大処理である。第２の方法は、エッジ抽出処理である。第３の方法は、エッジ強調処理である。第４の方法は、ノイズリダクション（ＮＲ）処理である。第５の方法は、拡大処理およびエッジ抽出処理の組合せである。第６の方法は、拡大処理およびエッジ強調処理の組合せである。第７の方法は、拡大処理およびＮＲ処理の組合せである。
　例えば、図２０に示す７つの画像処理方法が表示部１７０に表示される。ユーザーは、表示部１７０の画面のタッチ等により所望の画像処理方法を指定する。ユーザー指示部１４０は、ユーザーにより指示された画像処理方法を示す情報を加工画像生成部２４０に出力する。加工画像生成部２４０は、ユーザーにより指示された画像処理方法で選択モノクロ補正画像を処理する。
　図２１は、表示部１７０に表示された画像の例を示す。例えば、Ｒ’画像Ｒ１０が表示される。ユーザーは、Ｒ’画像Ｒ１０に対して計測点を指定する。図２１において、計測点Ｐ１０が指定された後、計測点Ｐ１１が指定されるときの状態が示されている。計測点Ｐ１１が指定されるとき、Ｒ’画像Ｒ１０において、ユーザーが計測点Ｐ１１として指定しようとする位置を含む所定領域を拡大した加工画像Ｒ１１が生成される。加工画像Ｒ１１は、Ｒ’画像Ｒ１０に重畳表示される。ユーザーが計測点Ｐ１１として指定しようとする位置の周辺が拡大されるため、ユーザーは計測点Ｐ１１を指定しやすく、かつ指定された計測点Ｐ１１の位置を加工画像Ｒ１１において確認しやすい。計測点Ｐ１０および計測点Ｐ１１に対応する被写体上の２点間の距離（１０［ｍｍ］）が計測結果として表示部１７０に表示される。
　図２１において、表示部１７０は、Ｒ’画像Ｒ１０および加工画像Ｒ１１の一部が重なるようにＲ’画像Ｒ１０および加工画像Ｒ１１を表示する。表示部１７０は、Ｒ’画像Ｒ１０および加工画像Ｒ１１が重ならないように、Ｒ’画像Ｒ１０および加工画像Ｒ１１を並べて表示してもよい。
　表示部１７０は、撮像装置１０ｇから独立して構成されてもよい。第４の実施形態と同様に、選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像のうちＳＮＲがより高い画像の選択を選択部１８０に指示してもよい。
　第８の実施形態の撮像装置１０ｇは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像が低減され、視認性が改善され、かつポインティングがより容易な画像を生成することができる。加工画像が表示されるため、ユーザーは、計測点をより精度良く指定することができる。
　（第９の実施形態）
　図２２は、本発明の第９の実施形態の撮像装置１０ｈの構成を示す。図２２に示す構成について、図１９に示す構成と異なる点を説明する。
　選択部１８０は、第１モノクロ補正画像および第２モノクロ補正画像のうち選択モノクロ補正画像として選択された画像を加工画像生成部２４０に出力する。また、選択部１８０は、第１モノクロ補正画像および第２モノクロ補正画像のうち選択モノクロ補正画像として選択されなかった画像を重畳部１６０に出力する。選択部１８０が第１モノクロ補正画像を選択モノクロ補正画像として選択した場合、第２モノクロ補正画像が選択部１８０から重畳部１６０に出力される。選択部１８０が第２モノクロ補正画像を選択モノクロ補正画像として選択した場合、第１モノクロ補正画像が選択部１８０から重畳部１６０に出力される。
　重畳部１６０は、選択モノクロ補正画像に対して加工画像を重畳する。また、重畳部１６０は、加工画像が重畳された選択モノクロ補正画像と、選択部１８０から出力されたモノクロ補正画像とが並んだ画像を生成し、生成された画像を表示部１７０に出力する。表示部１７０は、加工画像が重畳された選択モノクロ補正画像と、モノクロ補正画像とを並べて表示する。
　上記以外の点について、図２２に示す構成は、図１９に示す構成と同様である。
　図２３は、表示部１７０に表示された画像の例を示す。図２１と同様に、加工画像Ｒ１１が重畳されたＲ’画像Ｒ１０が表示される。また、選択部１８０によって選択モノクロ補正画像として選択されなかったＢ’画像Ｂ１０が表示される。例えば、ユーザーは、ＳＮＲが高いＲ’画像Ｒ１０に対して計測点を指定する。ユーザーによって指定された計測点Ｐ１０がＲ’画像Ｒ１０に重畳表示され、かつユーザーによって指定された計測点Ｐ１１が加工画像Ｒ１１に重畳表示される。また、計測点Ｐ１０および計測点Ｐ１１に対応する被写体上の２点間の距離（１０［ｍｍ］）が計測結果として表示される。さらに、計測点Ｐ１０に対応する点Ｐ１２と、計測点Ｐ１１に対応する点Ｐ１３とがＢ’画像Ｂ１０に重畳表示される。ユーザーは、点Ｐ１２および点Ｐ１３を確認することにより、計測精度を判断することができる。
　表示部１７０は、撮像装置１０ｈから独立して構成されてもよい。第４の実施形態と同様に、選択指示部１９０は、第１モノクロ補正画像および第２モノクロ補正画像のうちＳＮＲがより高い画像の選択を選択部１８０に指示してもよい。加工画像生成部２４０は、選択モノクロ補正画像と、選択部１８０によって選択モノクロ補正画像として選択されなかった画像とに画像処理を行ってもよい。
　第９の実施形態の撮像装置１０ｈは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像が低減され、視認性が改善され、かつポインティングがより容易な画像を生成することができる。２つのモノクロ補正画像が表示されるため、ユーザーは、計測点の指定結果を確認することができる。
　以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
　本発明の各実施形態によれば、撮像装置および内視鏡装置は、画像の色ずれによる２重像が低減され、視認性が改善され、かつポインティングがより容易な画像を生成することができる。
　１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ，１０ｆ，１０ｇ，１０ｈ　撮像装置
　１００　瞳分割光学系
　１０１　第１瞳
　１０２　第２瞳
　１０３　レンズ
　１０４　帯域制限フィルタ
　１０５　絞り
　１１０　撮像素子
　１２０　デモザイク処理部
　１３０　補正部
　１４０　ユーザー指示部
　１５０　マーク生成部
　１６０　重畳部
　１７０　表示部
　１８０　選択部
　１９０　選択指示部
　２００　計測部
　２１０　計測処理部
　２２０　第２デモザイク処理部
　２３０　第２補正部
　２４０　加工画像生成部

Claims (11)

  1. 　第１波長帯域の光を透過させる第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過させる第２瞳とを有する瞳分割光学系と、
    　前記瞳分割光学系と、第１透過率特性を有する第１色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第１透過率特性と一部が重複する第２透過率特性を有する第２色フィルタとを透過した光を撮像して撮像画像を出力する撮像素子と、
    　前記第１透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正した第１モノクロ補正画像と、前記第２透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正した第２モノクロ補正画像との少なくとも１つをモノクロ補正画像として出力する補正部と、
    　ユーザーの指示に従い、前記モノクロ補正画像におけるポイントを示すポイント情報を出力するユーザー指示部と、
    　マークを生成するマーク生成部と、
    　前記モノクロ補正画像または前記モノクロ補正画像を処理した処理画像に対して、前記ポイント情報に基づいて前記マークを重畳し、かつ前記マークが重畳された前記モノクロ補正画像または前記処理画像を表示部に出力する重畳部と、
    　を有する撮像装置。
  2. 　前記補正部は、前記第１モノクロ補正画像および前記第２モノクロ補正画像を出力し、
    　前記撮像装置は、
    　前記補正部から出力された前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つを選択し、かつ選択された画像を前記モノクロ補正画像として出力する選択部
    　を有する請求項１に記載の撮像装置。
  3. 　前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの選択を前記選択部に指示する選択指示部を有し、
    　前記選択部は、前記選択指示部からの指示に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つを選択する
    　請求項２に記載の撮像装置。
  4. 　前記選択指示部は、前記第１モノクロ補正画像および前記第２モノクロ補正画像のうちＳＮＲ（ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ　ｒａｔｉｏ）がより高い画像の選択を前記選択部に指示する
    　請求項３に記載の撮像装置。
  5. 　前記選択指示部は、ユーザーからの指示に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの選択を前記選択部に指示する
    　請求項３に記載の撮像装置。
  6. 　前記第１モノクロ補正画像および前記第２モノクロ補正画像の位相差を演算する計測部を有し、
    　前記ポイント情報は、前記位相差が演算される位置である計測点を示す
    　請求項３に記載の撮像装置。
  7. 　前記補正部とは独立して配置され、前記第１透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正した第３モノクロ補正画像と、前記第２透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正した第４モノクロ補正画像とを生成する第２補正部と、
    　前記第３モノクロ補正画像および前記第４モノクロ補正画像の位相差を演算する計測部と、
    　を有し、
    　前記ポイント情報は、前記位相差が演算される位置である計測点を示す
    　請求項３に記載の撮像装置。
  8. 　前記ユーザー指示部は、前記ユーザーの指示に従い、複数のモードの少なくとも１つを指定し、
    　前記撮像装置は、
    　前記選択部から出力された前記モノクロ補正画像の少なくとも一部に対して、前記ユーザー指示部によって指定されたモードに対応する画像処理を行うことにより加工画像を生成し、かつ生成された加工画像を前記表示部に出力する画像処理部
    　を有する請求項３に記載の撮像装置。
  9. 　前記画像処理部は、前記選択部から出力された前記モノクロ補正画像の少なくとも一部に対して、拡大処理、エッジ抽出処理、エッジ強調処理、およびノイズリダクション処理の少なくとも１つを行うことにより前記加工画像を生成する
    　請求項８に記載の撮像装置。
  10. 　前記画像処理部は、前記選択部から出力された前記モノクロ補正画像の少なくとも一部に対して、拡大処理を行い、かつ、エッジ抽出処理、エッジ強調処理、およびノイズリダクション処理の少なくとも１つを行うことにより前記加工画像を生成する
    　請求項８に記載の撮像装置。
  11. 　請求項１に記載の撮像装置を有する内視鏡装置。
PCT/JP2017/015706 2017-04-19 2017-04-19 撮像装置および内視鏡装置 WO2018193546A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/015706 WO2018193546A1 (ja) 2017-04-19 2017-04-19 撮像装置および内視鏡装置
US16/599,223 US20200045279A1 (en) 2017-04-19 2019-10-11 Imaging apparatus and endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/015706 WO2018193546A1 (ja) 2017-04-19 2017-04-19 撮像装置および内視鏡装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/599,223 Continuation US20200045279A1 (en) 2017-04-19 2019-10-11 Imaging apparatus and endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2018193546A1 true WO2018193546A1 (ja) 2018-10-25

Family

ID=63855725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/015706 WO2018193546A1 (ja) 2017-04-19 2017-04-19 撮像装置および内視鏡装置

Country Status (2)

Country Link
US (1) US20200045279A1 (ja)
WO (1) WO2018193546A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置
JP2015011058A (ja) * 2013-06-26 2015-01-19 オリンパス株式会社 撮像装置及び撮像方法
WO2016121464A1 (ja) * 2015-01-28 2016-08-04 オリンパス株式会社 信号処理装置および内視鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置
JP2015011058A (ja) * 2013-06-26 2015-01-19 オリンパス株式会社 撮像装置及び撮像方法
WO2016121464A1 (ja) * 2015-01-28 2016-08-04 オリンパス株式会社 信号処理装置および内視鏡システム

Also Published As

Publication number Publication date
US20200045279A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
JP5816015B2 (ja) 固体撮像装置及びカメラモジュール
JP5701785B2 (ja) カメラモジュール
JP5740465B2 (ja) 撮像装置及び欠陥画素補正方法
KR101391161B1 (ko) 화상처리장치
US8988591B2 (en) Solid-state imaging device, camera module, and focus adjustment method of camera module
CN103444183B (zh) 彩色摄像元件及摄像装置
JP2013093914A (ja) 画像入力装置
JP2019033917A (ja) 内視鏡システム
JP2016048815A (ja) 画像処理装置、画像処理方法、及び、画像処理システム
JP5600812B2 (ja) 撮像装置
JP2020005844A (ja) 医療用画像処理装置及び医療用観察装置
US10778948B2 (en) Imaging apparatus and endoscope apparatus
JP2016100879A (ja) 撮像装置、画像処理方法
JP2011109620A (ja) 撮像装置および画像処理方法
JP2007318630A (ja) 画像入力装置、撮像モジュール、及び固体撮像装置
US9374568B2 (en) Image processing apparatus, imaging apparatus, and image processing method
WO2018193546A1 (ja) 撮像装置および内視鏡装置
JP2019154029A (ja) 画像処理装置及び撮像装置
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
WO2018193552A1 (ja) 撮像装置および内視鏡装置
JP2013012089A (ja) 画像処理装置、カメラおよび画像処理プログラム
JP4781825B2 (ja) 撮像装置
JP2010093336A (ja) 撮像装置および補間処理方法
JP4017017B2 (ja) カラー撮像装置
JP2012256169A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17906266

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17906266

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP