WO2020213238A1 - 撮像装置と画像処理装置および画像処理方法 - Google Patents

撮像装置と画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2020213238A1
WO2020213238A1 PCT/JP2020/004824 JP2020004824W WO2020213238A1 WO 2020213238 A1 WO2020213238 A1 WO 2020213238A1 JP 2020004824 W JP2020004824 W JP 2020004824W WO 2020213238 A1 WO2020213238 A1 WO 2020213238A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
polarized
polarization
image
correction coefficient
Prior art date
Application number
PCT/JP2020/004824
Other languages
English (en)
French (fr)
Inventor
康孝 平澤
雄飛 近藤
楽公 孫
大志 大野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080020042.5A priority Critical patent/CN113557709A/zh
Priority to US17/602,588 priority patent/US11997398B2/en
Priority to JP2021514805A priority patent/JPWO2020213238A1/ja
Priority to EP20791081.1A priority patent/EP3937476A4/en
Publication of WO2020213238A1 publication Critical patent/WO2020213238A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G02B27/285—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining comprising arrays of elements, e.g. microprisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • This technology makes it possible to obtain the correction coefficient of the sensitivity difference between polarized pixels and unpolarized pixels without performing calibration for the image pickup device, the image processing device, and the image processing method.
  • Patent Document 1 discloses a method of arranging a patterned polarizing element in front of an imaging unit to acquire polarized images in a plurality of polarization directions.
  • Patent Document 2 since the amount of light incident on the imaging unit decreases due to the provision of the polarizer, problems such as an increase in noise occur. Therefore, the unpolarized pixel without the polarizer is provided to provide an unpolarized image. It is disclosed that polarized light information is accurately acquired based on a polarized image.
  • an object of this technique to provide an image pickup apparatus, an image processing apparatus, and an image processing method capable of acquiring a correction coefficient of a sensitivity difference between a polarized pixel and an unpolarized pixel without performing calibration.
  • a pixel region includes a first pixel block composed of polarized pixels and non-polarized pixels in two different polarization directions, and a second pixel block having a plurality of polarization pixels in a polarization direction including a polarization direction different from that of the first pixel block. It is in the image pickup apparatus provided with the image pickup unit provided in.
  • a first pixel block and a second pixel block are provided in the pixel area of the imaging unit.
  • the first pixel block is composed of polarized pixels and non-polarized pixels in two different polarization directions.
  • the second pixel block is composed of a plurality of polarization pixels in a polarization direction including a polarization direction different from that of the first pixel block, for example, three different polarization direction polarization pixels or orthogonal polarization direction polarization pixels, and an unpolarized pixel. Has been done.
  • the second pixel block is smaller than the first pixel block, and is provided in a radial direction or at predetermined intervals from a region different from the region where polarization information is generated, or a position corresponding to the optical axis position of the imaging lens, for example.
  • the second aspect of this technology is Correction coefficient of sensitivity difference between the unpolarized pixel and the polarized pixel based on the polarized pixel and the unpolarized pixel in two or more different polarization directions in an image captured by a polarized pixel in a plurality of polarized directions and a non-polarized pixel. It is in an image processing apparatus provided with a correction coefficient calculation unit for calculating.
  • a first pixel block composed of polarized pixels in two different polarization directions and non-polarized pixels, and a second pixel having a plurality of polarized pixels in a plurality of polarization directions including a polarization direction different from that of the first pixel block.
  • the correction coefficient calculation unit calculates the correction coefficient of the sensitivity difference between the polarized pixel and the non-polarized pixel based on the captured image generated by the imaging unit in which the block is provided in the pixel region.
  • the second pixel block has, for example, polarized pixels in three different polarization directions, and the correction coefficient calculation unit calculates the correction coefficient based on the pixel values of the polarized pixels in the three polarization directions different from the unpolarized pixels.
  • the second pixel block has polarized pixels in the polarization direction orthogonal to each other, and the correction coefficient calculation unit calculates the correction coefficient based on the pixel values of the polarized pixels in the polarization direction orthogonal to the unpolarized pixels. Further, the correction coefficient calculation unit may recalculate the correction coefficient at a predetermined timing, for example, at the timing when the lens of the imaging lens is replaced by the imaging device that generates the captured image.
  • the image processing apparatus includes a demosaic processing unit that generates a non-polarized image and a polarized component image for each polarization direction from the captured image, and a polarized component image, a non-polarized image, and a correction coefficient calculation unit generated by the demosaic processing unit.
  • a polarization information generation unit may be provided to generate polarization information indicating the polarization characteristics of the subject included in the captured image based on the calculated correction coefficient.
  • the third aspect of this technology is Correction coefficient of sensitivity difference between the unpolarized pixel and the polarized pixel based on the polarized pixel in two or more polarization directions different from the unpolarized pixel in the captured image composed of the unpolarized pixel and the polarized pixel in a plurality of polarization directions.
  • FIG. 1 is a diagram for explaining the relationship between a subject and a polarized image.
  • the light source LT is used to illuminate the subject OB
  • the camera CM images the subject OB via the polarizing plate PL.
  • the brightness of the subject OB changes according to the polarization direction of the polarizing plate PL.
  • the polarizing plate PL for example, by rotating the polarizing plate PL for imaging, a plurality of polarized images are acquired, and the highest brightness is Imax and the lowest brightness is Imin.
  • the polarization angle ⁇ the angle in the y-axis direction with respect to the x-axis when the polarizing plate PL is rotated.
  • the polarization angle when the maximum brightness Imax is observed is defined as the azimuth angle ⁇ (polarization phase of the observed light)
  • the brightness I observed when the polarizing plate PL is rotated is expressed by the equation (1). Can be done.
  • the equation is used.
  • the Stokes vector S0 is the value calculated using the equation (3)
  • the Stokes vector S1 is the value calculated using the equation (4)
  • the Stokes vector S2 is the value calculated using the equation (5).
  • the average value of the maximum brightness Imax and the minimum brightness Imin and the Stokes vector S0 indicate the light intensity
  • the correction coefficient K for absorbing the sensitivity difference between the polarized pixel and the unpolarized pixel is the observed value In of the unpolarized pixel. It can be calculated based on the formula (6).
  • a first pixel block composed of polarized pixels and non-polarized pixels in two different polarization directions in order to generate polarization information (hereinafter, “polarization information generation”).
  • a second pixel block (hereinafter referred to as "sensitivity difference detection pixel block") having a plurality of polarization directions including a polarization direction different from that of the polarization information generation pixel block so that the sensitivity difference can be detected.
  • the correction coefficient K is calculated based on the pixel value of the sensitivity difference detection pixel block, and the calculated correction coefficient K and the pixel value of the polarization information generation pixel block are used to make the polarization information accurate without performing calibration. Make it easy to get.
  • the number of polarization information generation pixel blocks is smaller than that of the polarization information generation pixel block.
  • FIG. 3 shows a part of the configuration of the imaging device.
  • a sensitivity difference having a polarization information generation pixel block composed of polarized pixels and non-polarizing pixels in two different polarization directions and a plurality of polarization pixels including polarization directions different from the polarization information generation pixel block.
  • An imaging unit 11 is provided in which a detection pixel block is provided in the pixel region.
  • the imaging unit 11 has a configuration in which a polarizing filter 112 is arranged on the incident surface of the image sensor 111, and the polarizing filter 112 is configured so that a polarization information generation pixel block and a sensitivity difference detection pixel block are provided in a pixel region. Has been done.
  • a polarizing filter 112 a photonic liquid crystal, a wire grid, or the like is used.
  • the sensitivity difference detection pixel block is composed of polarized pixels in three different polarization directions or polarized pixels in orthogonal polarization directions, and unpolarized pixels.
  • the sensitivity difference detection pixel block By configuring the sensitivity difference detection pixel block in this way, it is possible to obtain a function indicating the change in brightness I shown in FIG. 2 based on the pixel values of the polarized pixels in the three different polarization directions. Therefore, the above equation (6) ) Can be used to calculate the correction coefficient. Further, the correction coefficient can be calculated based on the above equation (6) by using the pixel values of the polarized pixels in the orthogonal polarization directions.
  • one polarization direction of the polarization direction orthogonal to the two polarization directions in the three different polarization directions may be the same as the polarization direction of the polarization pixel in the polarization information generation pixel block.
  • FIG. 4 shows a configuration example of a polarization information generation pixel block and a sensitivity difference detection pixel block.
  • FIG. 4A exemplifies a polarization information generation pixel block
  • FIG. 4B exemplifies a sensitivity difference detection pixel block.
  • the pixels at diagonal positions in the 2 ⁇ 2 pixel region are unpolarized pixels.
  • the polarization information generation pixel block has a configuration having two different polarization directions and a non-polarized pixel, and the sensitivity difference detection pixel block has a plurality of polarization pixels including a different polarization direction from the polarization information generation pixel block. Any configuration may be used, and the configuration is not limited to that shown in FIG.
  • FIG. 5 illustrates the arrangement of the sensitivity difference detection pixel block.
  • the region excluding the sensitivity difference detection pixel block is the polarization information generation pixel block.
  • FIG. 5 illustrates a case where one sensitivity difference detection pixel block is provided.
  • the correction coefficient K for correcting the sensitivity difference between the polarized pixel and the unpolarized pixel becomes a substantially equal value regardless of the pixel position. .. Therefore, one sensitivity difference detection pixel block for calculating the correction coefficient K is provided.
  • FIG. 5B illustrates a case where a sensitivity difference detection pixel block is provided outside the polarization information target region ARd that generates polarization information. Since the sensitivity difference detection pixel block is not provided in the polarization information target region ARd, it is possible to suppress a decrease in the amount of light in the polarization information target region ARd.
  • FIG. 5C illustrates a case where a plurality of sensitivity difference detection pixel blocks are provided in the radial direction Fr from the position PSc corresponding to the optical axis of the image pickup lens used in the image pickup apparatus 10.
  • the focal length of the imaging lens is long, the angle of view is narrow and the incident angle range of the subject light is small.
  • the focal length of the imaging lens becomes shorter, the angle of view becomes wider and the incident angle range of the subject light becomes larger. Therefore, there is a possibility that a sensitivity difference between the polarized pixel and the unpolarized pixel may occur between the position corresponding to the optical axis and the position separated from this position in the radial direction.
  • FIG. 5D illustrates a case where a plurality of sensitivity difference detection pixel blocks are provided at predetermined intervals.
  • Sensitivity difference detection Interference processing is performed using the correction coefficient calculated for each pixel block, and the correction coefficient corresponding to each pixel position can be calculated.
  • the image pickup apparatus 10 includes a defect pixel correction unit that corrects defective pixels with respect to the image signal generated by the image pickup unit 11, and noise that removes noise from the image signal as described in Patent Document 2.
  • a removing portion or the like may be provided.
  • FIG. 6 illustrates the configuration of the image processing apparatus.
  • the image processing device 20 transmits an image signal generated by the image pickup device 10, that is, a polarization information generation pixel block composed of polarized pixels and unpolarized pixels in two different polarization directions, and a polarization direction different from that of the polarization information generation pixel block. Correction of sensitivity difference between unpolarized pixels and polarized pixels based on the image signal of the captured image acquired by the imaging unit 11 provided with a sensitivity difference detection pixel block having a plurality of polarized pixels in the polarization direction including the pixel region. The coefficient is calculated and the polarization information of the subject included in the captured image is generated.
  • the image processing device 20 has a demosaic processing unit 30, a correction coefficient calculation unit 40, and a polarization information generation unit 50.
  • the demosaic processing unit 30 performs demosaic processing using, for example, an image signal generated by the image pickup apparatus 10, and generates a polarized component image and a non-polarized image for each polarization direction.
  • the pixel arrangement in the image pickup apparatus 10 is such that the pixels at two diagonal positions in the 2 ⁇ 2 pixel region are unpolarized pixels and the remaining pixels are in the polarization direction, as in the polarization information generation pixel block shown in FIG. 4A.
  • the pixel array corresponds to a Bayer array.
  • the unpolarized pixel is a green pixel in the Bayer array
  • the blue pixel (or red pixel) in the Bayer array corresponds to the blue pixel (or red pixel) in the Bayer array.
  • the sensitivity difference detection pixel block has the same pixel arrangement as the polarization information generation pixel block. It becomes.
  • the image signals of the polarized component image and the unpolarized image for each polarization direction may be generated by the same method as in Patent Document 2.
  • the demosaic processing unit 30 outputs the image signals of the generated polarized component image and unpolarized image for each polarization direction to the polarization information generation unit 50. Further, the demosaic processing unit 30 outputs a pixel signal in a polarization direction different from the polarization information generation pixel block in the sensitivity difference detection pixel block, and an image signal of a polarization component image and an unpolarized image for each polarization direction to the correction coefficient calculation unit 40. To do. Further, the demosaic processing unit 30 may output the pixel signal of the sensitivity difference detection pixel block to the correction coefficient calculation unit 40.
  • the correction coefficient calculation unit 40 includes the unpolarized pixel and the polarized pixel based on the polarized pixel and the unpolarized pixel in two or more different polarized directions in the captured image composed of the polarized pixel in the plurality of polarized directions and the unpolarized pixel. Calculate the correction coefficient of the sensitivity difference.
  • the correction coefficient calculation unit 40 calculates the correction coefficient using, for example, a pixel signal in a polarization direction different from the polarization information generation pixel block supplied from the demosaic processing unit 30, a polarization component image for each polarization direction, and an image signal of an unpolarized image. To do.
  • FIG. 7 illustrates an image supplied to the correction coefficient calculation unit.
  • the correction coefficient calculation unit 40 uses a pixel signal in a polarization direction different from the polarization information generation pixel block supplied from the demosaic processing unit 30, a polarization component image for each polarization direction, and a pixel signal at the same pixel position in a non-polarized image. Find the function showing the change in brightness I shown in FIG. Further, the calculation of the equation (6) is performed using the maximum luminance Imax, the minimum luminance Imin, and the pixel signals of the unpolarized pixels of the obtained function to calculate the correction coefficient K.
  • FIG. 8 illustrates another image supplied to the correction coefficient calculation unit.
  • the calculation of the equation (6) is performed using the value (observed value) I90, and the correction coefficient K is calculated.
  • the correction coefficient calculation unit 40 outputs the calculated correction coefficient K as a correction coefficient for each pixel position to the polarization information generation unit 50. Further, when the correction coefficient K is calculated for each of the plurality of sensitivity difference detection pixel blocks, the correction coefficient calculation unit 40 performs interpolation processing using the calculated correction coefficient K for each of the plurality of sensitivity difference detection pixel blocks, and performs interpolation processing for each pixel.
  • the position correction coefficient K may be calculated and output to the polarization information generation unit 50.
  • the correction coefficient calculation unit 40 determines the sensitivity difference between the unpolarized pixels and the polarized pixels based on the captured image composed of the unpolarized pixels and the polarized pixels in the plurality of polarization directions acquired by the imaging unit 11 of the imaging device 10. Since the correction coefficient of can be calculated, it is not necessary to perform calibration in advance.
  • the polarization information generation unit 50 generates polarization information using the polarization component image generated by the demosaic processing unit 30, the unpolarized image, and the correction coefficient calculated by the correction coefficient calculation unit 40.
  • the above equation (1) can be expressed as the equation (7) by using the polarization direction ⁇ , and the polarization information generation unit 50 calculates the polarization parameters Wa, Wb, Wc in the equation (7).
  • the polarization information generation unit 50 calculates the polarization parameter Wc using the brightness (pixel value) Ic of the unpolarized pixel based on the equation (8).
  • Wc K ⁇ Ic ⁇ ⁇ ⁇ (8)
  • the polarization information generation unit 50 calculates the polarization parameters Wa and Wb in the polarization model equation of the equation (8) based on the polarized pixels and the unpolarized pixels in the two polarization directions, for example, by using the least squares method.
  • the parameter x is defined as in Eq. (9).
  • the polarization model A is defined as in the equation (10).
  • the brightness y is defined as in the equation (11).
  • the polarization information generation target pixel in the polarization component image having the polarization direction ⁇ 0 has the brightness (pixel value) I0 and the polarization component having the polarization direction ⁇ 1.
  • the polarization information generation target pixel in the image be the brightness (pixel value) I1.
  • the polarization parameter Wa is a value calculated by using the equation (13)
  • the polarization parameter Wb is a value calculated by using the equation (14).
  • Wb I0-K ⁇ Ic ⁇ ⁇ ⁇ (14)
  • the polarization information generation unit 50 generates and outputs polarization information indicating a polarization model formula using the polarization parameters Wa, Wb, Wc or the polarization parameters Wa, Wb, Wc. Further, the polarization information generation unit 50 stores the correction coefficient calculated by the correction coefficient calculation unit 40, and then generates polarization information using the stored correction coefficient. Further, when the correction coefficient calculation unit 40 newly calculates the correction coefficient, the polarization information generation unit 50 updates the stored correction coefficient to the newly calculated correction coefficient.
  • FIG. 9 is a flowchart illustrating the operation of the image processing device.
  • the image processing apparatus acquires the captured image.
  • the image processing device 20 is composed of a polarization information generation pixel block composed of polarized pixels in two polarization directions different from unpolarized pixels and a sensitivity difference detection pixel block composed of polarized pixels in three polarization directions different from unpolarized pixels.
  • the captured image is acquired from the imaging device 10 and the process proceeds to step ST2.
  • step ST2 the image processing device generates a polarized component image and a non-polarized image for each polarization direction.
  • the demosaic processing unit 30 of the image processing apparatus performs demosaic processing using the captured image, generates a polarized component image and a non-polarized image which are polarized images for each polarization direction, and proceeds to step ST3.
  • step ST3 the image processing device calculates the correction coefficient.
  • the correction coefficient calculation unit 40 of the image processing device calculates the correction coefficient using the pixel value of the sensitivity difference detection pixel block, and proceeds to step ST4.
  • step ST4 the image processing device generates polarization information.
  • the polarization information generation unit 50 of the image processing apparatus generates polarization information for each pixel by using the polarization component image generated in step ST2, the unpolarized image, and the correction coefficient calculated in step ST3.
  • demosaic process in step ST2 may be performed after the correction coefficient in step ST3 is calculated, or may be performed in parallel.
  • the calculation of the correction coefficient in step ST3 may be performed at a predetermined timing, for example, when the lens characteristics of the image pickup lens in the image pickup apparatus 10 are changed or a change larger than a predetermined value occurs.
  • the imaging lens is replaced, the incident characteristic of the subject light on the polarized pixel is changed by the lens replacement, and the sensitivity may change. Therefore, if the correction coefficient is calculated when the imaging lens is replaced and the stored correction coefficient is updated, the calculated correction coefficient can be used without performing calibration for each lens replacement.
  • the sensitivity difference can be corrected with high accuracy.
  • the correction coefficient may be calculated for each focal length of the imaging lens and stored in the polarization information generation unit 50.
  • the image processing apparatus includes a polarization information generation pixel block composed of polarized pixels and unpolarized pixels in two different polarization directions, and polarization in a plurality of polarization directions including a polarization direction different from that of the polarization information generation pixel block.
  • the correction coefficient can be calculated based on the pixel value of the sensitivity difference detection pixel block by using the captured image generated by the image pickup apparatus having the sensitivity difference detection pixel block having pixels. Further, since the image processing device generates polarization information using the unpolarized image, the polarization component image, and the correction coefficient, it is possible to generate more accurate polarization information as compared with the case where the correction coefficient is not used. Further, since it is not necessary to perform calibration in advance to calculate and store the correction coefficient, the manufacturing process and the like can be simplified.
  • FIG. 10 illustrates the configuration of an imaging device that generates a color image.
  • the color mosaic filter 113 is provided on the incident surface of the image sensor 111 in the image pickup unit 11.
  • the color mosaic filter 113 is not limited to the case where it is provided between the image sensor 111 and the polarizing filter 112, and may be provided on the incident surface of the polarizing filter 112.
  • the polarizing filter 112 and the color mosaic filter 113 are configured by providing pixels in each polarization direction with the same color so that the polarization pixels in different polarization directions are not affected by the difference in color. Further, the polarizing filter 112 and the color mosaic filter 113 are configured so that the pixel values of unpolarized pixels can be obtained for each color. For example, a polarization information generation pixel block and a sensitivity difference detection pixel block are provided for each color component. Furthermore, if the correction coefficient is calculated using the sensitivity difference detection pixel block of the color having the highest pixel value of the unpolarized pixel, the correction coefficient can be calculated based on the other color components even at the pixel position where one of the color components is small. Will be.
  • the demosaic processing unit 30 corrects the pixel signal in the polarization direction different from the polarization information generation pixel block in the sensitivity difference detection pixel block, and the image signals of the polarization component image and the unpolarized image for each polarization direction.
  • the case where the correction coefficient is calculated by outputting to the coefficient calculation unit 40 has been illustrated, but the pixel signal of the sensitivity difference detection pixel block is supplied from the image pickup device 10 to the correction coefficient calculation unit 40 to calculate the correction coefficient. May be good.
  • the image pickup apparatus 10 and the image processing apparatus 20 may be integrally configured, or may be configured separately, and the image signal generated by the image pickup apparatus 10 may be configured as an image via a wired or wireless transmission line or a recording medium. It may be configured to be supplied by the processing device 20.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may. Further, it may be realized as a device mounted on a device used in a production process in a factory or a device used in a construction field. When applied to such a field, polarization information can be acquired with high accuracy, so that normal information can be generated and reflection components can be separated with high accuracy. Therefore, the surrounding environment can be easily grasped in three dimensions, and the fatigue of the driver and the operator can be reduced. In addition, automatic driving and the like can be performed more safely.
  • the technology according to the present disclosure can also be applied to the medical field. For example, if it is applied when the captured image of the surgical site is used when performing surgery, it becomes possible to accurately obtain an image without reflection and the three-dimensional shape of the surgical site, which reduces the operator's fatigue and is safe and safe. It becomes possible to perform surgery more reliably.
  • the technology related to this disclosure can be applied to fields such as public services. For example, when an image of a subject is published in a book, a magazine, or the like, unnecessary reflection components or the like can be accurately removed from the image of the subject. Further, if it is applied to the monitoring field, it is possible to generate normal information and separate reflective components with high accuracy, so that the monitoring work can be easily performed.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program that records the processing sequence is installed in the memory in the computer embedded in the dedicated hardware and executed.
  • the program can be recorded in advance on a hard disk as a recording medium, an SSD (Solid State Drive), or a ROM (Read Only Memory).
  • the program is a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disk, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disk, semiconductor memory card. It can be temporarily or permanently stored (recorded) on a removable recording medium such as.
  • a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the imaging device of the present technology can have the following configurations.
  • a first pixel block composed of polarized pixels in two different polarization directions and non-polarized pixels, and a second pixel block having a plurality of polarized pixels in a plurality of polarization directions including a polarization direction different from that of the first pixel block.
  • An imaging device including an imaging unit provided with a pixel region.
  • the image processing apparatus of the present technology can have the following configurations.
  • An image processing device including a correction coefficient calculation unit for calculating the correction coefficient of.
  • the captured image has a first pixel block composed of polarized pixels and unpolarized pixels in two different polarization directions, and a plurality of polarized pixels in the polarization direction including a polarization direction different from that of the first pixel block.
  • the image processing device which is an image captured by an image pickup device having a second pixel block.
  • the second pixel block has three polarized pixels in different polarization directions.
  • the image processing apparatus according to (2), wherein the correction coefficient calculation unit calculates the correction coefficient based on the pixel values of the unpolarized pixel and the polarized pixel in three different polarization directions.
  • the second pixel block has polarized pixels in orthogonal polarization directions.
  • the image processing apparatus wherein the correction coefficient calculation unit calculates the correction coefficient based on the pixel values of the unpolarized pixel and the polarized pixel in the polarization direction orthogonal to the unpolarized pixel.
  • the image processing apparatus recalculates the correction coefficient at a predetermined timing.
  • the predetermined timing is a timing at which the lens of the imaging lens is replaced by the imaging apparatus that generates the captured image.
  • a demosaic processing unit that generates an unpolarized image and a polarized component image for each polarization direction from the captured image. Based on the polarization component image generated by the demosaic processing unit, the unpolarized image, and the correction coefficient calculated by the correction coefficient calculation unit, polarization information indicating the polarization characteristics of the subject included in the captured image is generated.
  • the image processing apparatus according to any one of (1) to (6), further including a polarization information generating unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置１０は、異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部１１を有する。画像処理装置２０は撮像装置１０で生成された撮像画像を取得して、補正係数算出部４０では第２画素ブロックの画像に基づいて、偏光画素と無偏光画素との感度差を吸収する補正係数を算出する。偏光情報生成部５０は、デモザイク処理部３０で生成された無偏光画像と偏光成分画像と補正係数算出部４０で算出された補正係数を用いて、撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する。キャリブレーションを行うことなく偏光画素と無偏光画素との感度差の補正係数を取得できる。

Description

撮像装置と画像処理装置および画像処理方法
　この技術は、撮像装置と画像処理装置および画像処理方法に関し、キャリブレーションを行うことなく偏光画素と無偏光画素との感度差の補正係数を取得できるようにする。
　従来、撮像部と偏光フィルタを用いて偏光画像を取得する方法が開示されている。例えば、特許文献１では、撮像部の前にパターン化偏光子を配置して、複数の偏光方向の偏光画像を取得する方法が開示されている。また、特許文献２では、偏光子を設けることで撮像部に入射する光量が低下してノイズ増加等の問題を生じることから、偏光子が設けられていない無偏光画素を設けて、無偏光画像と偏光画像に基づき偏光情報を精度よく取得することが開示されている。
特開２００９－２９０８９５号公報 国際公開第２０１８／０７４０６４号
　ところで、無偏光画像と偏光画像に基づき偏光情報を精度よく取得するためには、予め偏光子が設けられていない無偏光画素と偏光子が設けられた偏光画素の感度差を測定するためにキャリブレーションを行う必要がある。
　そこで、この技術ではキャリブレーションを行うことなく偏光画素と無偏光画素との感度差の補正係数を取得できる撮像装置と画像処理装置および画像処理方法を提供することを目的とする。
　この技術の第１の側面は、
　異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部
を備える撮像装置にある。
　この技術においては、撮像部の画素領域に第１画素ブロックと第２画素ブロックが設けられている。第１画素ブロックは、異なる２つの偏光方向の偏光画素と無偏光画素で構成されている。また、第２画素ブロックは、第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素、例えば異なる３つの偏光方向の偏光画素または直交する偏光方向の偏光画素と、無偏光画素で構成されている。
　第２画素ブロックは、第１画素ブロックよりも少なく、例えば偏光情報の生成対象領域と異なる領域、あるいは撮像レンズの光軸位置に対応する位置から径方向に、または所定間隔で設けられている。
　この技術の第２の側面は、
　複数偏光方向の偏光画素と無偏光画素からなる撮像画像における異なる２つ以上の偏光方向の前記偏光画素と前記無偏光画素に基づいて、前記無偏光画素と前記偏光画素との感度差の補正係数を算出する補正係数算出部
を備える画像処理装置にある。
　この技術においては、例えば異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部で生成された撮像画像に基づいて、偏光画素と無偏光画素との感度差の補正係数が補正係数算出部で算出される。第２画素ブロックは、例えば異なる３つの偏光方向の偏光画素を有しており、補正係数算出部は、無偏光画素と異なる３つの偏光方向の偏光画素の画素値に基づいて補正係数を算出する。また、第２画素ブロックは、直交する偏光方向の偏光画素を有しており、補正係数算出部は、無偏光画素と直交する偏光方向の偏光画素の画素値に基づいて補正係数を算出する。また、補正係数算出部は、所定のタイミング例えば撮像画像を生成する撮像装置で撮像レンズのレンズ交換が行われたタイミングで補正係数を再度算出してもよい。
　また、画像処理装置には、撮像画像から無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、デモザイク処理部で生成された偏光成分画像と無偏光画像と補正係数算出部で算出された補正係数に基づいて、撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部が設けられてもよい。
　この技術の第３の側面は、
　無偏光画素と複数偏光方向の偏光画素からなる撮像画像における前記無偏光画素と異なる２つ以上の偏光方向の前記偏光画素に基づいて、前記無偏光画素と前記偏光画素との感度差の補正係数を補正係数算出部で算出すること
を含む画像処理方法にある。
被写体と偏光画像の関係を説明するための図である。 輝度の変化を示す図である。 撮像装置の構成の一部を示した図である。 偏光情報生成画素ブロックと感度差検出画素ブロックの構成例を例示した図である。 感度差検出画素ブロックの配置を例示した図である。 画像処理装置の構成を例示した図である。 補正係数算出部に供給される画像を例示した図である。 補正係数算出部に供給される他の画像を例示した図である。 画像処理装置の動作を例示したフローチャートである。 カラー画像を生成する撮像装置の構成を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光画像について
　２．実施の形態
　　２－１．撮像装置について
　　２－２．画像処理装置について
　　　２－２－１．画像処理装置の構成
　　　２－２－２．画像処理装置の動作
　３．他の実施の形態
　４．応用例
　＜１．偏光画像について＞
　図１は、被写体と偏光画像の関係を説明するための図である。例えば、光源ＬＴを用いて被写体ＯＢの照明を行い、カメラＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光板ＰＬを回転して撮像を行うことで、複数の偏光画像を取得して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有しており、輝度Ｉは、例えば図２に示すように変化する。
　最大輝度Ｉmaxが観測されたときの偏光角を方位角φ（観測光の偏光位相）と定義すると、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１）のように表すことができる。
Figure JPOXMLDOC01-appb-M000001
　また、偏光方向θ＝０°の観測値Ｉ0，偏光方向θ＝４５°の観測値Ｉ45，偏光方向θ＝９０°の観測値Ｉ90，偏光方向θ＝１３５°の観測値Ｉ135を用いると、式（１）は式（２）に示すストークスベクトルＳ＝［Ｓ0，Ｓ1，Ｓ2］－Ｔを用いた式として表すことができる。なお、式（２）において、ストークスベクトルＳ0は式（３）、ストークスベクトルＳ1は式（４）、ストークスベクトルＳ2は式（５）を用いて算出された値である。
Figure JPOXMLDOC01-appb-M000002
　最大輝度Ｉmaxと最小輝度Ｉminの平均値やストークスベクトルＳ0は、光強度を示しており、偏光画素と無偏光画素の感度差を吸収する補正係数Ｋは、無偏光画素の観測値Ｉｎを用いて式（６）に基づき算出できる。
　Ｋ＝Ｓ0／Ｉｎ＝（Ｉmax－Ｉmin）／（２・Ｉｎ）　　・・・（６）
　そこで、本技術では、撮像画像の画像信号を生成する撮像装置に、偏光情報を生成するために異なる２つの偏光方向の偏光画素と無偏光画素で構成した第１画素ブロック（以下「偏光情報生成画素ブロック」という）と、感度差を検出できるように偏光情報生成画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロック（以下「感度差検出画素ブロック」という）を設けて、感度差検出画素ブロックの画素値に基づき補正係数Ｋを算出して、算出した補正係数Ｋと偏光情報生成画素ブロックの画素値を用いることで、キャリブレーションを行うことなく偏光情報を精度よく取得できるようにする。また、感度の低下を少なくするため、偏光情報生成画素ブロックは、偏光情報生成画素ブロックよりも少なくする。
　＜２．実施の形態＞
　＜２－１．撮像装置について＞
　図３は、撮像装置の構成の一部を示している。撮像装置１０では、異なる２つの偏光方向の偏光画素と無偏光画素で構成された偏光情報生成画素ブロックと、偏光情報生成画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する感度差検出画素ブロックとを画素領域に設けた撮像部１１が設けられている。
　撮像部１１は、イメージセンサ１１１の入射面に、偏光フィルタ１１２を配置した構成とされており、偏光フィルタ１１２は、画素領域に偏光情報生成画素ブロックと感度差検出画素ブロックが設けられるように構成されている。偏光フィルタ１１２としては、フォトニック液晶またはワイヤグリッド等が用いられている。
　感度差検出画素ブロックは、異なる３つの偏光方向の偏光画素または直交する偏光方向の偏光画素と、無偏光画素で構成されている。このように感度差検出画素ブロックを構成すれば、異なる３つの偏光方向の偏光画素の画素値に基づき、図２に示す輝度Ｉの変化を示す関数を求めることができるので、上述の式（６）に基づき補正係数を算出できる。また、直交する偏光方向の偏光画素の画素値を用いることで上述の式（６）に基づき補正係数を算出できる。
　また、感度差検出画素ブロックは、異なる３つの偏光方向における２つの偏光方向と直交する偏光方向の１つの偏光方向は、偏光情報生成画素ブロックにおける偏光画素の偏光方向と等しい偏光方向としてもよい。このように感度差検出画素ブロックを構成すれば、感度差検出画素ブロックと偏光情報生成画素ブロックの構成の違いを少なくできる。すなわち、偏光情報生成画素ブロックに、異なる２つの偏光方向のいずれかに直交する方向の偏光画素を設けることで感度差検出画素ブロックを生成できる。
　図４は、偏光情報生成画素ブロックと感度差検出画素ブロックの構成例を示している。図４の（ａ）は偏光情報生成画素ブロックを例示しており、図４の（ｂ）は感度差検出画素ブロックを例示している。偏光情報生成画素ブロックと感度差検出画素ブロックは、例えば２×２画素領域であり、偏光情報生成画素ブロックは２つの無偏光画素と異なる２つの偏光方向（例えば「偏光方向が「θ0＝０°，θ1＝４５°」）の偏光画素、感度差検出画素ブロックは１つの無偏光画素と異なる３つの偏光方向（例え偏光方向が「θ0＝０°，θ1＝４５°，θ2＝９０°」）の偏光画素で構成されている場合を示している。なお、偏光情報生成画素ブロックでは、２×２画素領域における対角位置の画素が無偏光画素とされている。なお、偏光情報生成画素ブロックは異なる２つの偏光方向の偏光画素と無偏光画素を有する構成、感度差検出画素ブロックは偏光情報生成画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する構成であればよく、図４の構成に限られない。
　図５は、感度差検出画素ブロックの配置を例示している。なお、図５において、感度差検出画素ブロックを除く領域は偏光情報生成画素ブロックである。
　図５の（ａ）は、感度差検出画素ブロックを１つ設けた場合を例示している。各画素における光の入射方向が略等しく、各偏光画素の偏光子の特性が略等しい場合、偏光画素と無偏光画素の感度差を補正する補正係数Ｋは画素位置に係らず略等しい値となる。したがって、補正係数Ｋを算出するための感度差検出画素ブロックを１つ設けている。
　図５の（ｂ）は、偏光情報を生成する偏光情報対象領域ＡＲｄの外に感度差検出画素ブロックを設けた場合を例示している。偏光情報対象領域ＡＲｄには、感度差検出画素ブロックが設けられていないことから、偏光情報対象領域ＡＲｄにおける光量の低下を抑えることができる。
　図５の（ｃ）は、撮像装置１０で用いられる撮像レンズの光軸に対応する位置ＰＳｃから径方向Ｆｒに複数の感度差検出画素ブロックを設けた場合を例示している。例えば撮像レンズの焦点距離が長い場合は画角が狭く、被写体光の入射角範囲が小さい。しかし、撮像レンズの焦点距離が短くなると画角が広くなり、被写体光の入射角範囲が大きくなる。このため、光軸に対応する位置とこの位置から径方向に離れた位置では、偏光画素と無偏光画素の感度差を生じるおそれがある。このため、光軸に対応する位置から径方向に複数の感度差検出画素ブロックを設けることで、光軸に対応する位置とこの位置から径方向に離れた位置で感度差の違いを生じても、感度差の違い応じた補正係数を算出できるようになる。
　図５の（ｄ）は、感度差検出画素ブロックを所定間隔で複数設けた場合を例示している。このように、感度差検出画素ブロックを所定間隔で複数設けることにより、例えば撮像レンズのレンズ特性等によって、偏光画素と無偏光画素の感度差が画素位置によって違いを生じた場合であっても、感度差検出画素ブロック毎に算出された補正係数を用いて補間処理を行い、各画素位置に応じた補正係数を算出できるようになる。
　また、撮像装置１０には、撮像部１１で生成された画像信号に対して欠陥画素の補正を行う欠陥画素補正部や、特許文献２に記載されているように画像信号からノイズを除去するノイズ除去部等を設けてもよい。
　＜２－２．画像処理装置について＞
　＜２－２－１．画像処理装置の構成＞
　図６は、画像処理装置の構成を例示している。画像処理装置２０は、撮像装置１０で生成された画像信号、すなわち異なる２つの偏光方向の偏光画素と無偏光画素で構成された偏光情報生成画素ブロックと、偏光情報生成画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する感度差検出画素ブロックとを画素領域に設けた撮像部１１で取得された撮像画像の画像信号に基づいて、無偏光画素と偏光画素との感度差の補正係数の算出および撮像画像に含まれる被写体の偏光情報の生成を行う。
　画像処理装置２０は、デモザイク処理部３０と補正係数算出部４０および偏光情報生成部５０を有している。
　デモザイク処理部３０は、例えば撮像装置１０で生成された画像信号を用いてデモザイク処理を行い、偏光方向毎の偏光成分画像と無偏光画像を生成する。撮像装置１０における画素配置が、図４の（ａ）に示す偏光情報生成画素ブロックのように、２×２画素領域における２つの対角位置の画素が無偏光画素で残りの画素が偏光方向の異なる偏光画素で構成されている場合、画素配列はベイヤー配列に相当する。すなわち、無偏光画素はベイヤー配列における緑色画素、偏光方向が「α0＝０°」である偏光画素はベイヤー配列における赤色画素（または青色画素）、偏光方向が「α1＝４５°」である偏光画素はベイヤー配列における青色画素（または赤色画素）に相当する。また、感度差検出画素ブロックにおける偏光方向が「α2＝９０°」である偏光画素の観測値として無偏光画素の観測値を用いれば、感度差検出画素ブロックは偏光情報生成画素ブロックと等しい画素配置となる。したがって、デモザイク処理部３０は、ベイヤー配列の赤色画素と青色画素と緑色画素から色毎の画像信号を生成する処理、例えば文献「B.Gunturk, J. Glotzbach, Y. Altunbasak, R.schafer, and R. Mersereau, “Demosaicing: Color filter array interpolation,”.in IEEE Signal Processing Magazine, vol. 22, no. 1, Jan 2005.」で開示された処理と同様な処理を行い、偏光方向毎（θ0＝０°，θ1＝４５°）の偏光成分画像と無偏光画像の画像信号を生成する。なお、画素配列がベイヤー配列と異なる場合には、特許文献２と同様な方法で、偏光方向毎の偏光成分画像と無偏光画像の画像信号を生成すればよい。
　デモザイク処理部３０は、生成した偏光方向毎の偏光成分画像と無偏光画像の画像信号を偏光情報生成部５０へ出力する。また、デモザイク処理部３０は、感度差検出画素ブロックにおける偏光情報生成画素ブロックと異なる偏光方向の画素信号と、偏光方向毎の偏光成分画像と無偏光画像の画像信号を補正係数算出部４０へ出力する。また、デモザイク処理部３０は、感度差検出画素ブロックの画素信号を補正係数算出部４０へ出力してもよい。
　補正係数算出部４０は、複数偏光方向の偏光画素と無偏光画素からなる撮像画像における異なる２つ以上の偏光方向の前記偏光画素と前記無偏光画素に基づいて、無偏光画素と偏光画素との感度差の補正係数を算出する。補正係数算出部４０は、例えばデモザイク処理部３０から供給された偏光情報生成画素ブロックと異なる偏光方向の画素信号および偏光方向毎の偏光成分画像と無偏光画像の画像信号を用いて補正係数を算出する。
　図７は、補正係数算出部に供給される画像を例示している。補正係数算出部４０は、デモザイク処理部３０から供給された偏光情報生成画素ブロックと異なる偏光方向の画素信号と偏光方向毎の偏光成分画像および無偏光画像における同じ画素位置の画素信号を用いて、図２に示す輝度Ｉの変化を示す関数を求める。さらに、求めた関数の最大輝度Ｉmaxと最小輝度Ｉminおよび無偏光画素の画素信号を用いて式（６）の演算を行い、補正係数Ｋを算出する。
　図８は、補正係数算出部に供給される他の画像を例示している、感度差検出画素ブロックが１つの無偏光画素と偏光方向が「θ0＝０°，θ1＝４５°，θ2＝９０°」の３つの偏光画素で構成されている場合、補正係数算出部４０は、偏光方向θ0＝０°の偏光画素の画素値（観測値）Ｉ0と偏光方向θ2＝９０°の偏光画素の画素値（観測値）Ｉ90を用いて式（６）の演算を行い、補正係数Ｋを算出する。
　補正係数算出部４０は、算出した補正係数Ｋを各画素位置の補正係数として偏光情報生成部５０へ出力する。また、補正係数算出部４０は、複数の感度差検出画素ブロック毎に補正係数Ｋを算出した場合、算出した複数の感度差検出画素ブロック毎の補正係数Ｋを用いて補間処理を行い、各画素位置の補正係数Ｋを算出して偏光情報生成部５０へ出力してもよい。
　このように、補正係数算出部４０は、撮像装置１０の撮像部１１で取得された無偏光画素と複数偏光方向の偏光画素からなる撮像画像に基づいて、無偏光画素と偏光画素との感度差の補正係数を算出できるので、予めキャリブレーションを行う必要がない。
　偏光情報生成部５０は、デモザイク処理部３０で生成された偏光成分画像と無偏光画像および補正係数算出部４０で算出された補正係数を用いて偏光情報を生成する。
　例えば、上述の式（１）は、偏光方向θを用いると式（７）として示すことができ、偏光情報生成部５０は、式（７）における偏光パラメータＷａ，Ｗｂ，Ｗｃを算出する。
Figure JPOXMLDOC01-appb-M000003
　偏光情報生成部５０は、式（８）に基づき無偏光画素の輝度（画素値）Ｉcを用いて偏光パラメータＷｃを算出する。
　　Ｗｃ＝Ｋ・Ｉc　　　・・・（８）
　また、偏光情報生成部５０は、式（８）の偏光モデル式における偏光パラメータＷａ，Ｗｂを、２つの偏光方向の偏光画素と無偏光画素に基づき例えば最小二乗法を用いて算出する。ここで、パラメータｘを式（９）のように定義する。また、偏光モデルＡを式（１０）のように定義する。さらに、輝度ｙを式（１１）のように定義する。このようにパラメータｘと偏光モデルＡと輝度ｙを定義した場合、理想的にはｙ＝Ａｘが成立する。したがって、最小二乗法によって式（１２）に基づきパラメータｘを算出する。
Figure JPOXMLDOC01-appb-M000004
　ここで、偏光方向が例えば「α0＝０°，α1＝４５°」であり、偏光方向α0である偏光成分画像における偏光情報生成対象画素を輝度（画素値）Ｉ0、偏光方向α1である偏光成分画像における偏光情報生成対象画素を輝度（画素値）Ｉ1とする。この場合、偏光パラメータＷａは式（１３）、偏光パラメータＷｂは式（１４）を用いて算出された値となる。なお、偏光パラメータＷｃは式（８）を用いて算出された値である。
　Ｗａ＝Ｉ1－Ｋ・Ｉc　　・・・（１３）
　Ｗｂ＝Ｉ0－Ｋ・Ｉc　　・・・（１４）
　偏光情報生成部５０は、偏光パラメータＷａ，Ｗｂ，Ｗｃ、あるいは偏光パラメータＷａ，Ｗｂ，Ｗｃを用いた偏光モデル式を示す偏光情報を生成して出力する。また、偏光情報生成部５０は、補正係数算出部４０で算出された補正係数を記憶して、その後記憶した補正係数を用いて偏光情報を生成する。また、偏光情報生成部５０は、補正係数算出部４０で新たに補正係数が算出された場合、記憶している補正係数を新たに算出された補正係数に更新する。
　＜２－２－２．画像処理装置の動作＞
　図９は、画像処理装置の動作を例示したフローチャートである。ステップＳＴ１で画像処理装置は撮像画像を取得する。画像処理装置２０は、無偏光画素と異なる２つの偏光方向の偏光画素からなる偏光情報生成画素ブロックと、無偏光画素と異なる３つの偏光方向の偏光画素からなる感度差検出画素ブロックで構成された撮像装置１０から撮像画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で画像処理装置は、偏光方向毎の偏光成分画像と無偏光画像を生成する。画像処理装置のデモザイク処理部３０は、撮像画像を用いてデモザイク処理を行い、偏光方向毎の偏光画像である偏光成分画像と無偏光画像を生成してステップＳＴ３に進む。
　ステップＳＴ３で画像処理装置は補正係数を算出する。画像処理装置の補正係数算出部４０は感度差検出画素ブロックの画素値を用いて補正係数を算出してステップＳＴ４に進む。
　ステップＳＴ４で画像処理装置は偏光情報を生成する。画像処理装置の偏光情報生成部５０は、ステップＳＴ２で生成された偏光成分画像と無偏光画像およびステップＳＴ３で算出した補正係数を用いて、偏光情報を画素毎に生成する。
　なお、ステップＳＴ２のデモザイク処理はステップＳＴ３の補正係数の算出後に行ってもよく、並列に行ってもよい。
　さらに、ステップＳＴ３の補正係数の算出では、所定タイミング例えば撮像装置１０における撮像レンズのレンズ特性の変更や所定よりも大きい変化等が生じる場合に行ってもよい。撮像レンズの交換が行われると、偏光画素に対する被写体光の入射特性がレンズ交換によって変更されて、感度が変化するおそれがある。したがって、撮像レンズの交換が行われた場合に補正係数の算出を行って、記憶されている補正係数を更新すれば、レンズ交換毎にキャリブレーションを行わなくとも、算出された補正係数を用いて感度差を精度よく補正できる。また、例えば偏光画素に対する被写体光の入射特性が撮像レンズのズーム動作に応じて変化する場合、撮像レンズの焦点距離毎に補正係数を算出して、偏光情報生成部５０に記憶させてもよい。
　以上のように、画像処理装置は、異なる２つの偏光方向の偏光画素と無偏光画素で構成された偏光情報生成画素ブロックと、偏光情報生成画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する感度差検出画素ブロックとを有する撮像装置で生成された撮像画像を用いて、感度差検出画素ブロックの画素値に基づき補正係数を算出できる。さらに、画像処理装置は、無偏光画像と偏光成分画像と補正係数を用いて偏光情報を生成することから、補正係数を用いていない場合に比べて精度のよい偏光情報を生成できる。また、予めキャリブレーションを行って補正係数を算出して記憶させる必要がないので製造工程等を簡略化できる。
　＜３．他の実施の形態＞
　ところで、上述の画像処理装置では、撮像装置で生成される撮像画像が白黒画像である場合について説明したが、撮像画像はカラー画像であってもよい。図１０は、カラー画像を生成する撮像装置の構成を例示している。撮像装置１０でカラー画像を生成する場合、撮像部１１におけるイメージセンサ１１１の入射面に、カラーモザイクフィルタ１１３を設ける。なお、カラーモザイクフィルタ１１３は、イメージセンサ１１１と偏光フィルタ１１２との間に設ける場合に限らず、偏光フィルタ１１２の入射面に設けてもよい。
　偏光フィルタ１１２とカラーモザイクフィルタ１１３は、異なる偏光方向の偏光画素間で色の違いによる影響を受けることがないように、同じ色で各偏光方向の画素を設けた構成する。また、偏光フィルタ１１２とカラーモザイクフィルタ１１３は、各色で無偏光画素の画素値を得られるように構成する。例えば、偏光情報生成画素ブロックと感度差検出画素ブロックを色成分毎に設ける。さらに、無偏光画素の画素値が最も高い色の感度差検出画素ブロックを用いて補正係数を算出すれば、いずれかの色成分が少ない画素位置でも、他の色成分に基づき補正係数を算出できるようになる。
　また、上述の実施の形態では、感度差検出画素ブロックにおける偏光情報生成画素ブロックと異なる偏光方向の画素信号と、偏光方向毎の偏光成分画像と無偏光画像の画像信号をデモザイク処理部３０から補正係数算出部４０へ出力して補正係数を算出する場合を例示したが、感度差検出画素ブロックの画素信号を撮像装置１０から補正係数算出部４０に供給して、補正係数を算出するようにしてもよい。
　また、撮像装置１０と画像処理装置２０は一体に構成されてもよく、別個に構成されて、撮像装置１０で生成された画像信号を、有線または無線の伝送路あるいは記録媒体等を介して画像処理装置２０で供給する構成であってもよい。
　＜４．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、偏光情報を精度よく取得できるので、法線情報の生成や反射成分の分離等を高精度に行うことができる。したがって、周辺環境を３次元で容易に把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
　また、本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画像を利用する場合に適用すれば、術部の３次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。
　さらに、本開示に係る技術は、パブリックサービス等の分野にも適用できる。例えば被写体の画像を書籍や雑誌等に掲載する際に、不要な反射成分等を被写体の画像から精度よく除去することが可能となる。また、監視分野に適用すれば、法線情報の生成や反射成分の分離等を高精度に行うことができるので、監視作業を容易に行えるようになる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の撮像装置は以下のような構成も取ることができる。
　（１）　異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部
を備える撮像装置。
　（２）　前記第２画素ブロックは、異なる３つの偏光方向の偏光画素または直交する偏光方向の偏光画素と、無偏光画素で構成されている（１）に記載の撮像装置。
　（３）　前記異なる３つの偏光方向における２つの偏光方向と前記直交する偏光方向の１つの偏光方向は、前記第１画素ブロックにおける偏光画素の偏光方向と等しい偏光方向である（２）に記載の撮像装置。
　（４）　前記第２画素ブロックは、前記第１画素ブロックよりも少なく設けられている（１）乃至（３）のいずれかに記載の撮像装置。
　（５）　前記第２画素ブロックは、偏光情報の生成対象領域と異なる領域に設けられている（４）に記載の撮像装置。
　（６）　前記第２画素ブロックは、撮像レンズの光軸位置に対応する位置から径方向に複数設けた（４）に記載の撮像装置。
　（７）　前記第２画素ブロックは、所定間隔で複数設けられている（４）に記載の撮像装置。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　複数偏光方向の偏光画素と無偏光画素からなる撮像画像における異なる２つ以上の偏光方向の前記偏光画素と前記無偏光画素に基づいて、前記無偏光画素と前記偏光画素との感度差の補正係数を算出する補正係数算出部
を備える画像処理装置。
　（２）　前記撮像画像は、異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを有する撮像装置で生成された撮像画像である（１）に記載の画像処理装置。
　（３）　前記第２画素ブロックは、異なる３つの偏光方向の偏光画素を有しており、
　前記補正係数算出部は、前記無偏光画素と前記異なる３つの偏光方向の偏光画素の画素値に基づいて前記補正係数を算出する（２）に記載の画像処理装置。
　（４）　前記第２画素ブロックは、直交する偏光方向の偏光画素を有しており、
　前記補正係数算出部は、前記無偏光画素と前記直交する偏光方向の偏光画素の画素値に基づいて前記補正係数を算出する（２）に記載の画像処理装置。
　（５）　前記補正係数算出部は、所定のタイミングで前記補正係数を再度算出する（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記所定のタイミングは、前記撮像画像を生成する撮像装置で撮像レンズのレンズ交換が行われたタイミングである（５）に記載の画像処理装置。
　（７）　前記撮像画像から、無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、
　前記デモザイク処理部で生成された前記偏光成分画像と前記無偏光画像と前記補正係数算出部で算出された補正係数に基づいて、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部とをさらに備える（１）乃至（６）のいずれかに記載の画像処理装置。
　１０・・・撮像装置
　１１・・・撮像部
　２０・・・画像処理装置
　３０・・・デモザイク処理部
　４０・・・補正係数算出部
　５０・・・偏光情報生成部
　１１１・・・イメージセンサ
　１１２・・・偏光フィルタ
　１１３・・・カラーモザイクフィルタ

Claims (15)

  1. 　異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部
    を備える撮像装置。
  2. 　前記第２画素ブロックは、異なる３つの偏光方向の偏光画素または直交する偏光方向の偏光画素と、無偏光画素で構成されている
    請求項１に記載の撮像装置。
  3. 　前記異なる３つの偏光方向における２つの偏光方向と前記直交する偏光方向の１つの偏光方向は、前記第１画素ブロックにおける偏光画素の偏光方向と等しい偏光方向である
    請求項２に記載の撮像装置。
  4. 　前記第２画素ブロックは、前記第１画素ブロックよりも少なく設けられている
    請求項１に記載の撮像装置。
  5. 　前記第２画素ブロックは、偏光情報の生成対象領域と異なる領域に設けられている
    請求項４に記載の撮像装置。
  6. 　前記第２画素ブロックは、撮像レンズの光軸位置に対応する位置から径方向に複数設けた
    請求項４に記載の撮像装置。
  7. 　前記第２画素ブロックは、所定間隔で複数設けられている
    請求項４に記載の撮像装置。
  8. 　複数偏光方向の偏光画素と無偏光画素からなる撮像画像における異なる２つ以上の偏光方向の前記偏光画素と前記無偏光画素に基づいて、前記無偏光画素と前記偏光画素との感度差の補正係数を算出する補正係数算出部
    を備える画像処理装置。
  9. 　前記撮像画像は、異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部で生成された撮像画像である
    請求項８に記載の画像処理装置。
  10. 　前記第２画素ブロックは、異なる３つの偏光方向の偏光画素を有しており、
    　前記補正係数算出部は、前記無偏光画素と前記異なる３つの偏光方向の偏光画素の画素値に基づいて前記補正係数を算出する
    請求項９に記載の画像処理装置。
  11. 　前記第２画素ブロックは、直交する偏光方向の偏光画素を有しており、
    　前記補正係数算出部は、前記無偏光画素と前記直交する偏光方向の偏光画素の画素値に基づいて前記補正係数を算出する
    請求項９に記載の画像処理装置。
  12. 　前記補正係数算出部は、所定のタイミングで前記補正係数を再度算出する
    請求項８に記載の画像処理装置。
  13. 　前記所定のタイミングは、前記撮像画像を生成する撮像装置で撮像レンズのレンズ交換が行われたタイミングである
    請求項１２に記載の画像処理装置。
  14. 　前記撮像画像から、無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、
    　前記デモザイク処理部で生成された前記偏光成分画像と前記無偏光画像と前記補正係数算出部で算出された補正係数に基づいて、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部とをさらに備える
    請求項８に記載の画像処理装置。
  15. 　複数偏光方向の偏光画素と無偏光画素からなる撮像画像における異なる２つ以上の偏光方向の前記偏光画素と前記無偏光画素に基づいて、前記無偏光画素と前記偏光画素との感度差の補正係数を補正係数算出部で算出すること
    を含む画像処理方法。
PCT/JP2020/004824 2019-04-19 2020-02-07 撮像装置と画像処理装置および画像処理方法 WO2020213238A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080020042.5A CN113557709A (zh) 2019-04-19 2020-02-07 成像装置、图像处理装置和图像处理方法
US17/602,588 US11997398B2 (en) 2019-04-19 2020-02-07 Imaging apparatus, image processing apparatus, and image processing method
JP2021514805A JPWO2020213238A1 (ja) 2019-04-19 2020-02-07
EP20791081.1A EP3937476A4 (en) 2019-04-19 2020-02-07 IMAGE RECORDING SYSTEM, IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019079979 2019-04-19
JP2019-079979 2019-04-19

Publications (1)

Publication Number Publication Date
WO2020213238A1 true WO2020213238A1 (ja) 2020-10-22

Family

ID=72838118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004824 WO2020213238A1 (ja) 2019-04-19 2020-02-07 撮像装置と画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US11997398B2 (ja)
EP (1) EP3937476A4 (ja)
JP (1) JPWO2020213238A1 (ja)
CN (1) CN113557709A (ja)
WO (1) WO2020213238A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196038A1 (ja) * 2021-03-19 2022-09-22 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
WO2022209226A1 (ja) * 2021-03-31 2022-10-06 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
EP4254935A4 (en) * 2020-11-30 2024-04-10 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
US11838699B2 (en) * 2020-07-06 2023-12-05 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, and image processing method
CN115880188B (zh) * 2023-02-08 2023-05-19 长春理工大学 一种偏振方向统计图像生成方法、设备以及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290895A (ja) 2007-06-15 2009-12-10 Panasonic Corp 画像処理装置
JP2013057769A (ja) * 2011-09-08 2013-03-28 Sony Corp 固体撮像装置、撮像装置、合焦制御方法、及び、プログラム
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
WO2018074064A1 (ja) 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042040A (ja) * 2007-08-08 2009-02-26 Oji Keisoku Kiki Kk 偏光イメージングカメラを利用した偏光解析装置
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
US9317754B2 (en) * 2009-12-25 2016-04-19 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
JP5831024B2 (ja) * 2011-08-04 2015-12-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2013070241A (ja) * 2011-09-22 2013-04-18 Olympus Corp 画像処理装置、画像処理方法、および、画像処理プログラム
JP6124720B2 (ja) * 2013-07-22 2017-05-10 オリンパス株式会社 撮像装置、画像処理方法及び画像処理プログラム
JP6379966B2 (ja) * 2013-12-24 2018-08-29 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
JP6485078B2 (ja) * 2014-02-18 2019-03-20 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
JP2016022010A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6673327B2 (ja) * 2015-02-27 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
JP6693514B2 (ja) * 2015-04-30 2020-05-13 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP2017005111A (ja) * 2015-06-10 2017-01-05 ソニー株式会社 固体撮像装置及び電子機器
JP6693712B2 (ja) * 2015-07-01 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置
CN108353153B (zh) * 2015-11-10 2020-10-23 索尼公司 图像处理装置和图像处理方法
US10048413B2 (en) * 2016-06-07 2018-08-14 Goodrich Corporation Imaging systems and methods
WO2018037678A1 (ja) * 2016-08-24 2018-03-01 ソニー株式会社 画像処理装置および情報生成装置と情報生成方法
DE112018002992T5 (de) * 2017-06-13 2020-02-27 Sony Corporation Bildgebungseinrichtung, bildgebungselement und bildverarbeitungsverfahren
WO2019021591A1 (ja) * 2017-07-28 2019-01-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび画像処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290895A (ja) 2007-06-15 2009-12-10 Panasonic Corp 画像処理装置
JP2013057769A (ja) * 2011-09-08 2013-03-28 Sony Corp 固体撮像装置、撮像装置、合焦制御方法、及び、プログラム
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
WO2018074064A1 (ja) 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
B. GUNTURKJ. GLOTZBACHY. ALTUNBASAKR. SCHAFERR. MERSEREAU: "Demosaicing: Color filter array interpolation", IEEE SIGNAL PROCESSING MAGAZINE, vol. 22, no. 1, January 2005 (2005-01-01)
See also references of EP3937476A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4254935A4 (en) * 2020-11-30 2024-04-10 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
WO2022196038A1 (ja) * 2021-03-19 2022-09-22 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
WO2022209226A1 (ja) * 2021-03-31 2022-10-06 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器

Also Published As

Publication number Publication date
EP3937476A1 (en) 2022-01-12
US11997398B2 (en) 2024-05-28
CN113557709A (zh) 2021-10-26
EP3937476A4 (en) 2022-05-04
US20220210322A1 (en) 2022-06-30
JPWO2020213238A1 (ja) 2020-10-22

Similar Documents

Publication Publication Date Title
WO2020213238A1 (ja) 撮像装置と画像処理装置および画像処理方法
JP5868183B2 (ja) 撮像装置及び撮像方法
WO2019198287A1 (ja) 情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
JP5404376B2 (ja) カメラモジュール及び画像処理装置
JP2011055038A5 (ja)
JP2011215707A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US20210235060A1 (en) Solid-state imaging device, information processing device, information processing method, and calibration method
US20180092516A1 (en) Imaging device, endoscope apparatus, and imaging method
WO2019078320A1 (ja) 情報処理装置と情報処理方法および撮像装置とプログラム
JP5541750B2 (ja) 画像処理装置、撮像装置、画像処理方法、及び、プログラム
JP2012156715A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
WO2019202984A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
WO2021140873A1 (ja) 画像処理装置と画像処理方法および撮像装置
JP6824757B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6111430B2 (ja) 撮像装置
WO2020049816A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2019207886A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2023089956A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2022113568A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2022004145A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP6316140B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2023100467A1 (ja) 情報処理装置と情報処理方法とプログラム
JP2016201600A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2019103132A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20791081

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021514805

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020791081

Country of ref document: EP

Effective date: 20211006

NENP Non-entry into the national phase

Ref country code: DE