WO2023053770A1 - 情報処理装置、方法及びプログラム並びに撮像装置 - Google Patents

情報処理装置、方法及びプログラム並びに撮像装置 Download PDF

Info

Publication number
WO2023053770A1
WO2023053770A1 PCT/JP2022/031321 JP2022031321W WO2023053770A1 WO 2023053770 A1 WO2023053770 A1 WO 2023053770A1 JP 2022031321 W JP2022031321 W JP 2022031321W WO 2023053770 A1 WO2023053770 A1 WO 2023053770A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information processing
imaging
images
crosstalk
Prior art date
Application number
PCT/JP2022/031321
Other languages
English (en)
French (fr)
Inventor
達郎 岩▲崎▼
慶延 岸根
和佳 岡田
高志 椚瀬
康一 田中
友也 平川
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202280063707.XA priority Critical patent/CN117999792A/zh
Publication of WO2023053770A1 publication Critical patent/WO2023053770A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes

Definitions

  • the present invention relates to an information processing device, method, program, and imaging device, and more particularly to technology for processing an image output from an image sensor of an imaging device that captures an image with pupil division.
  • Patent Document 1 an imaging device that can divide the pupil and acquire a high-quality multispectral image with a single image sensor.
  • the imaging device described in Patent Document 1 combines n types (n ⁇ 2) of spectral filter elements with different spectral transmittances and m types of polarization filter elements (2 ⁇ m ⁇ 3) with different transmission polarization directions.
  • the signal processing unit performs predetermined arithmetic processing on the signal values (x1, x2, .
  • the signal values (X1, X2, . . . , Xk) of k pixels are calculated to generate an image of each optical region.
  • the predetermined arithmetic processing obtains a coefficient group composed of a matrix of k rows and q columns, each element of which is represented by aij, and the signal values x1, x2, x1, x2 of q pixels obtained from each pixel block of the image sensor. . . , xq, the signal values X1, X2, .
  • the coefficient group represented by the matrix of k rows and q columns is calculated by calculating the inverse matrix of the matrix whose elements are the proportions of light incident on each optical region of the optical system and received by each pixel of each pixel block of the image sensor. As shown in Equation 1, a matrix of k rows and q columns and signal values of q pixels obtained from each pixel block of the image sensor (x1, x2, . . . , xq ) to remove interference components contained in the signal values of q pixels. This reduces crosstalk between images of wavelength bands corresponding to each optical region.
  • One embodiment of the technology of the present disclosure is an information processing device, method, program, and imaging for detecting crosstalk included in an image output from an image sensor of an imaging device that captures images with different characteristics by splitting the pupil.
  • Provide equipment for detecting crosstalk included in an image output from an image sensor of an imaging device that captures images with different characteristics by splitting the pupil.
  • An invention is an information processing apparatus including a processor that processes an image output from an image sensor of an imaging apparatus that captures images having different characteristics by pupil division, wherein the processor includes a first subject. is imaged by an imaging device under a first imaging condition, a first image output from an image sensor is acquired, and the first subject is imaged by an imaging device under a second imaging condition different from the first imaging condition, and an image Acquiring a second image having the same characteristics as the first image among the images output from the sensor, and detecting crosstalk contained in the image based on the correlation of the feature amount between the first image and the second image; It is an information processing device.
  • the second imaging condition is an imaging condition that changes the feature amount when crosstalk occurs.
  • the second photographing condition includes the focus position, the photographing magnification, the illumination condition for the subject, and the relative position between the subject and the imaging device with respect to the first photographing condition. At least one of them is preferably different imaging conditions.
  • the processor acquires a plurality of first images with different wavelengths captured by the imaging device under the first imaging condition, output from the image sensor, and acquires the first images under the second imaging condition.
  • a plurality of second images of different wavelengths captured by an imaging device and output from an image sensor are acquired, and crosstalk included in the images is detected based on the correlation between the plurality of first images and the plurality of second images. is preferred.
  • the crosstalk is preferably image components with different wavelengths included in the image.
  • the correlation is the position and/or intensity of image components with different wavelengths included in the first image and the positions and/or intensities of image components with different wavelengths included in the second image. Or it is preferably a value relative to the intensity.
  • the correlation of the feature amount between the first image and the second image is the correlation between the peak positions or the peak values of the autocorrelation coefficients of the first image and the second image. is preferred.
  • the second imaging condition is an imaging condition in which a reference image without crosstalk is output from the image sensor as the second image, and the features of the first image and the second image are The amount of correlation is a cross-correlation coefficient between the first image and the reference image, preferably a cross-correlation coefficient obtained when the first image and the reference image are relatively shifted.
  • the second imaging condition is an imaging condition in which a reference image without crosstalk is output from the image sensor as the second image, and the characteristics of the first image and the second image are The quantity is preferably the degree of matching of feature points between the first image and the reference image.
  • the second imaging condition is an imaging condition in which a reference image without crosstalk is output from the image sensor as the second image, and the characteristics of the first image and the second image are The amount is preferably the degree of matching between a plurality of split images obtained by splitting the first image and the reference image in a grid pattern.
  • the imaging device includes an imaging optical system having a plurality of areas with different characteristics, and the second imaging condition for outputting the reference image is one of the plurality of areas. It is preferable that the photographing conditions are such that only one region is opened and other regions are light-shielded.
  • the imaging device includes an imaging optical system having a plurality of regions that transmit light in different wavelength bands, and the second imaging conditions for outputting the reference image are different. It is preferable that the photographing conditions are such that only light in one wavelength band among the light in the wavelength band is incident on the photographing optical system.
  • the processor can detect crosstalk for each of the plurality of locations based on correlation of feature amounts for each of the plurality of locations between the first image and the second image. preferable.
  • the processor causes the display to display information indicating the presence or absence of crosstalk or the intensity of crosstalk at each of the plurality of locations, superimposed on an image output from the image sensor. is preferred.
  • the processor performs interference elimination processing for reducing crosstalk between images output from the image sensor, and the first image and the second image undergo interference elimination processing, respectively. It is preferably a printed image.
  • a sixteenth aspect of the invention provides an imaging optical system in which an optical element having wavelength selection elements that transmit different wavelength bands for each of a plurality of regions is arranged at or near the pupil position, and a plurality of wavelength selection elements.
  • An imaging apparatus comprising: an image sensor that pupil-divides and receives subject light that has passed through each of a plurality of wavelength bands; and the information processing apparatus according to any one of the first to fifteenth aspects.
  • a seventeenth aspect of the invention provides a multifocal imaging optical system having a plurality of areas with different focal lengths, and an image sensor that receives subject light that has passed through each of the plurality of areas of the imaging optical system in a pupil-divided manner. , and the information processing device according to any one of the first to fifteenth aspects.
  • a plurality of first polarizing filters arranged corresponding to the plurality of regions and having different polarization directions, and a plurality of first polarizing filters arranged in each pixel of the image sensor and a plurality of second polarizing filters respectively corresponding to the plurality of first polarizing filters and the plurality of second polarizing filters, the plurality of first polarizing filters and the plurality of second polarizing filters pupil-divide subject light passing through a plurality of regions for each region, and output to the image sensor Incidence is preferred.
  • An invention is an information processing method for processing an image output from an image sensor of an imaging device that captures images having different characteristics by pupil division, wherein the first subject is captured under a first imaging condition. obtaining a first image captured by the device and output from the image sensor; and an image captured by the imaging device under a second capturing condition different from the first capturing condition for the first subject and output from the image sensor. acquiring a second image having the same characteristics as the first image of; and detecting crosstalk contained in the image based on the correlation of feature amounts between the first image and the second image. , is an information processing method in which a processor executes processing of each step.
  • the information processing method includes a step of performing interference removal processing for reducing crosstalk included in an image output from the image sensor, wherein the first image and the second image are subjected to the interference removal processing, respectively. is preferably an image subjected to
  • a twenty-first aspect of the invention is an information processing program that causes a processor to execute the processing of each step in the information processing method according to the nineteenth aspect or the twentieth aspect.
  • FIG. 1 is a diagram showing the system configuration of an imaging system including an information processing apparatus according to the present invention.
  • 2 is a perspective view showing a filter unit arranged in the imaging optical system of the imaging apparatus shown in FIG. 1.
  • FIG. 3 is a plan view of the image sensor of the imaging device shown in FIG. 1, showing a micro-polarizer arranged in each pixel of the image sensor.
  • FIG. 4 is a block diagram showing an embodiment of the hardware configuration of the information processing apparatus according to the present invention.
  • FIG. 5 shows an image without crosstalk and an image with crosstalk.
  • FIG. 6 is a diagram showing the first image captured under the first imaging condition and the autocorrelation coefficient of the first image.
  • FIG. 1 is a diagram showing the system configuration of an imaging system including an information processing apparatus according to the present invention.
  • 2 is a perspective view showing a filter unit arranged in the imaging optical system of the imaging apparatus shown in FIG. 1.
  • FIG. 3 is a plan view of the image sensor of the imaging device shown in FIG. 1, showing
  • FIG. 7 is a diagram showing the autocorrelation coefficient of the second image and the second image captured under the second imaging condition in which the focus position is different from the first imaging condition.
  • FIG. 8 is a diagram showing an example of changes in multiple images before and after changing the illumination conditions for the object when multiple images are generated.
  • FIG. 9 is a diagram showing an autocorrelation coefficient between a second image captured under a second imaging condition in which the illumination condition for the subject is different from that of the first imaging condition and the second image.
  • FIG. 10 is a diagram showing an example of an imaging optical system of a split-pupil multifocal camera.
  • FIG. 11 is a diagram showing an image without crosstalk and an image when crosstalk occurs captured by a split-pupil multifocal camera.
  • FIG. 12 is an image diagram of a multiple image, a multiple image map, and a multiple image map superimposed on the multiple image.
  • FIG. 13 is a flow chart showing an embodiment of an information processing method according to the present invention.
  • FIG. 1 is a diagram showing the system configuration of an imaging system including an information processing apparatus according to the present invention.
  • the imaging system shown in FIG. 1 is composed of an imaging device 1 and an information processing device 2 .
  • the imaging device 1 shown in FIG. 1 is a multispectral camera that captures a plurality of images (multispectral images) having different wavelength bands, and includes an imaging optical system 10, an image sensor 30, and a signal processing unit (not shown). It has
  • the photographic optical system 10 of this example has a front lens group 10A and a rear lens group 10B, and the wavelength band to be transmitted is at or near the pupil position between the front lens group 10A and the rear lens group 10B.
  • An optical element (filter unit) 20 with different wavelength selection elements is arranged.
  • FIG. 2 is a perspective view showing a filter unit arranged in the imaging optical system shown in FIG. 1.
  • FIG. 2 is a perspective view showing a filter unit arranged in the imaging optical system shown in FIG. 1.
  • the filter unit 20 has aperture regions (three equally spaced circular aperture regions in the example shown in FIG. 2) that transmit light of different transmission wavelength bands, and the first wavelength band ( ⁇ 1), a wavelength selection element (first band-pass filter BPF1) that transmits light of a second wavelength band ( ⁇ 2), a wavelength selection element (second band-pass filter BPF2) that transmits light of a second wavelength band ( ⁇ 2), and a third wavelength band ( and a wavelength selection element (third bandpass filter BPF3) that transmits light of ⁇ 3).
  • first band-pass filter BPF1 that transmits light of a second wavelength band ( ⁇ 2)
  • second band-pass filter BPF2 that transmits light of a second wavelength band ( ⁇ 2)
  • third band and a wavelength selection element (third bandpass filter BPF3) that transmits light of ⁇ 3).
  • a plurality of (in this example, three) polarizing filters (first polarizing filters) PL1, PL2, and PL3 having different polarization directions are arranged in the aperture region of the filter unit 20.
  • the polarizing filter PL1 absorbs the horizontal component of the unpolarized light in FIG. 2 and transmits the vertical component.
  • the direction (polarization direction) of linearly polarized light passing through the polarizing filter PL1 is assumed to be 0°.
  • the polarization direction of the linearly polarized light passing through the polarizing filter PL2 is 45°
  • the polarization direction of the linearly polarized light passing through the polarizing filter PL3 is 90°. That is, the three polarizing filters PL1, PL2, and PL3 are arranged so as to have different polarization directions.
  • the polarization directions of the polarizing filters PL1, PL2, and PL3 are not limited to 0°, 45°, and 90°, and may be, for example, 0°, 60°, and 120°.
  • the light emitted from the subject passes through the three aperture regions of the photographing optical system 10 and enters the image sensor 30 as subject light with different wavelength bands and different polarization directions.
  • FIG. 3 is a plan view of the image sensor shown in FIG. 1, showing a micro-polarizer arranged in each pixel of the image sensor.
  • each pixel of the image sensor 30 is provided with four micro-polarizers (second polarizing filters) p1, p2, p3, and p4 with different polarization directions.
  • the micro-polarizer p1 transmits the vertical component of the incident light in FIG. 3, and causes the pixels in which the micro-polarizer p1 is arranged to receive the light. Assuming that the polarization direction of the micro-polarizer p1 is 0°, the polarization directions of the micro-polarizers p2, p3, and p4 are 45°, 90°, and 135°.
  • each pixel of the image sensor 30 has the micro-polarizers p1 to p4 of the basic array pattern F aligned vertically and horizontally in FIG. are arranged repeatedly in
  • the polarizing filters PL1, PL2, PL3 (FIG. 2) respectively arranged in the three aperture regions of the filter unit 20 and the micropolarizers p1, p2, p3, p4 arranged on each pixel of the image sensor 30 are It is a pupil division unit that pupil-divides object light of different wavelength bands that are transmitted through the three aperture regions of the photographing optical system 10, and causes the respective pixels of the image sensor 30 that have corresponding polarization directions to enter the pupil division. That is, in this example, a "polarization method" pupil division unit that separates object light of different wavelength bands using the polarization of light is employed.
  • crosstalk correction interference removal processing
  • image removal processing is performed to remove multiple images from the image output from the image sensor 30 by measuring the amount of crosstalk generated in advance and determining the amount of correction.
  • the signal processing unit (not shown) of the imaging device 1 performs interference removal processing for removing multiple images from the image output from the image sensor 30 as described below.
  • S1, S2, and S3 are the signal values output from the pixels (polarization pixels) with polarization directions of 0°, 45°, and 90°, in which the micropolarizers p1, p2, and p3 are arranged, which are output from the image sensor 30, respectively.
  • C11 to C33 are correction amounts (interference removal parameters) indicating the ratio of interference
  • the signal processing unit of the imaging device 1 obtains signal values S( ⁇ 1), S( ⁇ 2), S( ⁇ 3 ) is calculated by the following [Equation 2].
  • the interference elimination parameters (C11 to C33) change depending on various conditions such as individual cameras, focus positions, etc., but they can be measured and stored in advance.
  • An image with reduced crosstalk (interference component) between images output from the image sensor 30 of the imaging device 1 is generated by performing the calculation of the above [Equation 2] for all pixels of the multispectral image. be able to.
  • the shooting conditions (camera, lens, and subject conditions) that were used when obtaining the interference elimination parameters (C11 to C33) may change, resulting in insufficient or overcorrection. may occur.
  • the information processing device 2 shown in FIG. 1 processes an image output from the image sensor 30 of the imaging device 1 and detects crosstalk (presence or absence of crosstalk, magnitude of crosstalk, etc.) included in the image.
  • the information processing device 2 can be configured by, for example, a PC (personal computer) as shown in FIG. Acquire via media (memory card).
  • the information processing device 2 corresponds to an image ( ⁇ 1) corresponding to the first wavelength band ( ⁇ 1), an image ( ⁇ 2) corresponding to the second wavelength band ( ⁇ 2), and a third wavelength band ( ⁇ 3). Acquire three images ( ⁇ 3) for Further, the information processing device 2 changes the photographing conditions as described later, and obtains three first images (image ( ⁇ 1), image ( ⁇ 2 ), image ( ⁇ 3)), and three second images (image ( ⁇ 1), image ( ⁇ 2), and image ( ⁇ 3)) captured under the second shooting conditions for the same subject (first subject).
  • the second imaging condition is an imaging condition that changes the feature amounts of the first image and the second image with respect to the first imaging condition when crosstalk occurs.
  • FIG. 4 is a block diagram showing an embodiment of the hardware configuration of the information processing device according to the present invention.
  • the information processing device 2 configured by a PC includes a processor 100, a memory 110, a display 120, an input/output interface 130, an operation unit 140, and the like.
  • the processor 100 is composed of a CPU (Central Processing Unit), etc., and performs integrated control of each part of the information processing device 2, as well as functions as various information processing parts including detection of crosstalk.
  • CPU Central Processing Unit
  • the memory 110 includes flash memory, ROM (Read-only Memory), RAM (Random Access Memory), hard disk device, and the like.
  • the flash memory, ROM, or hard disk device is non-volatile memory that stores the operating system, the information processing program according to the present invention, and the like. Also, the flash memory or hard disk device stores images acquired from the imaging device 1, crosstalk detection results, and the like.
  • the RAM functions as a work area for information processing by the processor 100, and also temporarily stores information processing programs and the like stored in flash memory and the like. Note that the processor 100 may incorporate part of the memory 110 (RAM).
  • the display 120 not only displays a screen for operating the information processing device 2, but also displays images acquired from the imaging device 1, crosstalk detection results, and the like.
  • the input/output interface 130 includes a connection section that can be connected to an external device, a communication section that can be connected to a network, and the like.
  • a connection unit that can be connected to an external device includes a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (HDMI is a registered trademark), a card slot in which a memory card is inserted, and the like.
  • the operation unit 140 includes a mouse, a pointing device such as a touch pad, a keyboard, and the like, and is a part that receives various operation inputs from the user.
  • FIG. 5 shows an image without crosstalk and an image with crosstalk.
  • FIG. 5-1 in FIG. 5 shows three images without crosstalk, namely an image of only the first wavelength band ( ⁇ 1), an image of only the second wavelength band ( ⁇ 2), and an image of only the third wavelength band ( ⁇ 3). An image is shown.
  • 5-2 in FIG. 5 shows three images with crosstalk.
  • an image in which the image ( ⁇ 2) and the image ( ⁇ 3) are reflected in the image ( ⁇ 1) is defined as the image ( ⁇ 1′), and the image ( ⁇ 2) is the image ( ⁇ 1) and the image ( ⁇ 3). is image ( ⁇ 2′), and the image ( ⁇ 3) with image ( ⁇ 1) and image ( ⁇ 2) is image ( ⁇ 3′).
  • the magnitude of crosstalk in the three images having crosstalk is not uniform.
  • the image ( ⁇ 2′) has a large reflection of the image ( ⁇ 3), and the image ( ⁇ 3′) has a small reflection of the images ( ⁇ 1) and ( ⁇ 3).
  • multiple images generated by crosstalk change the position of the multiple images when the shooting conditions (for example, focus position, shooting magnification (angle of view), lighting conditions, relative position between the subject and the imaging device) change.
  • intensity changes. Normally (optically generated astigmatism images), even if the photographing conditions change, the distance between multiple images and the intensity ratio do not change.
  • the present invention detects the crosstalk by focusing on the characteristic change of the multiple images caused by the crosstalk due to the change in the imaging conditions.
  • FIG. 6 is a diagram showing the first image captured under the first imaging condition and the autocorrelation coefficient of the first image.
  • the first image shown in 6-1 of FIG. 6 is an image with crosstalk, and a double image appears in the first image due to crosstalk.
  • the double images are images of the same object with different wavelengths appearing at different positions in the horizontal direction in FIG.
  • FIG. 6 is a diagram showing the autocorrelation coefficient of the first image.
  • the autocorrelation coefficient of the first image shown in 6-2 in FIG. 6 is obtained by shifting the first images in the horizontal direction on FIG. 6, and has two peaks P0 and P1. ing.
  • the peak P0 is the peak when the shift amount between the first images is 0, and takes the maximum value as the autocorrelation coefficient.
  • Peak P1 is a peak that occurs when the amount of shift between the first images is equivalent to the interval between double images in the first image, and has a peak value smaller than that of peak P0. It should be noted that the peak value of the peak P1 increases as the amount of reflected light due to crosstalk increases.
  • FIG. 7 is a diagram showing the autocorrelation coefficients of the second image captured under the second imaging condition in which the focus position is different from the first imaging condition and the second image.
  • the second image shown in 7-1 of FIG. 7 is an image with crosstalk, and a double image appears in the second image due to crosstalk.
  • the second image shown in 7-1 of FIG. 7 is an image having the same characteristics as the first image shown in 6-1 of FIG.
  • the first image shown in 6-1 is an image with crosstalk ( ⁇ 1′)
  • the second image is also an image with crosstalk ( ⁇ 1′) in the same wavelength band.
  • the characteristics are the characteristics of the image used for crosstalk detection, and are, for example, optical characteristics imparted by passing through a specific pupil region.
  • the wavelength band corresponds to optical characteristics.
  • an imaging device that captures images with different characteristics by pupil division is a device that captures images through a plurality of optical filters with different wavelength bands in a plurality of regions of the pupil position, such as a multispectral camera. is a device for capturing images with different characteristics (different characteristics).
  • the interval between the double images of the second image is wider than the interval between the double images of the first image shown in 6-1 of FIG. This is because the multiple images moved due to the change in the focus position.
  • the interval between the double images of the second image is wider than the interval of the double images of the first image, but it may be narrower than the interval of the double images of the first image.
  • FIG. 7 is a diagram showing the autocorrelation coefficient of the second image.
  • the autocorrelation coefficient of the second image shown in 7-2 in FIG. 7 was obtained by shifting the second images in the horizontal direction in FIG. 7, and has two peaks P0 and P2. ing.
  • the peak P0 is the peak when the shift amount between the second images is 0, and takes the maximum value as the autocorrelation coefficient.
  • Peak P2 is a peak that occurs when the amount of shift between the second images is equivalent to the interval between double images in the second image, and has a peak value smaller than that of peak P0.
  • the peak P2 has moved to the left in FIG. 7 as indicated by the arrow with respect to the peak P1 of the first image indicated by the dotted line.
  • the processor 100 shown in FIG. 4 acquires through the input/output interface 130 the first image and the second image, which are targets of information processing and have different focus positions, by an operation input on the operation unit 140 .
  • the processor 100 calculates the autocorrelation coefficients of the acquired first image and the acquired second image.
  • the image is shifted in the left-right direction in calculating the autocorrelation coefficient. and calculate the autocorrelation coefficient.
  • three peaks including the peak when the shift amount is 0 are generated in the autocorrelation coefficient. This is because the two images are crowded with parallax due to crosstalk.
  • the processor 100 detects crosstalk included in the images (first image, second image) based on the correlation of feature amounts between the first image and the second image. That is, in the first embodiment, the processor 100 detects that the autocorrelation coefficient of the first image has a peak P1 at a shift amount other than 0 as shown in 6-2 of FIG. As shown in 7-2 of FIG. 7, the autocorrelation coefficient of the first image has a peak P2 at a shift amount other than 0, and the peak position between the peak P1 and the peak P2 is If the first image and the second image move in accordance with the movement of the focus position, it is determined that the image has crosstalk. It is preferable that the peak values and shapes of the peak P1 and the peak P2 are similar and that only the peak positions are different.
  • Processor 100 determines that there is no crosstalk in the images (first image, second image) when peak P1 and peak P2 as described above do not exist in the autocorrelation coefficients of the first image and second image. .
  • the first image and the second image with different focus positions used for crosstalk detection are images with the same characteristics (in this example, the same wavelength band), but can be acquired at the same time.
  • Crosstalk can be detected for each set of the first image and the second image, and in this case, the accuracy of crosstalk detection is further improved.
  • the autocorrelation coefficient calculated from each image is Crosstalk may be detected based on the above.
  • the image is divided into a plurality of regions, and each divided region An autocorrelation coefficient may be calculated. According to this, in the case of an image with crosstalk, it can be found in which region in the image the crosstalk (multiple images) is present.
  • the imaging device 1 acquires a first image (multispectral image) captured under a first lighting condition and a second image (multispectral image) captured under a second lighting condition different from the first lighting condition. .
  • the information processing apparatus of the second embodiment acquires a first image and a second image captured under a first illumination condition and a second illumination condition, and detects crosstalk based on the first image and the second image. I do.
  • FIG. 8 is a diagram showing an example of changes in multiple images before and after changing the illumination conditions for the subject when multiple images are generated.
  • the change in illumination conditions for the subject shown in FIG. 8 is achieved by changing the intensity of a certain wavelength of the illumination light.
  • the intensity of the illumination light of the second wavelength ⁇ 2 in the illumination light is weakened.
  • the first image captured under certain lighting conditions and the second image captured under different lighting conditions have crosstalk.
  • the illumination condition is changed to capture the second image
  • the intensity of the illumination light of the second wavelength ⁇ 2 is reduced
  • the image of the second wavelength ⁇ 2 in the double image of the second image becomes the first image.
  • the double image of the image is darkened (lightened) with respect to the image of the second wavelength ⁇ 2.
  • crosstalk is detected from changes in density of multiple images (double images) that change with changes in illumination conditions.
  • FIG. 9 is a diagram showing an autocorrelation coefficient between a second image captured under a second imaging condition in which the illumination condition for the subject is different from the first imaging condition and the second image.
  • the illumination condition when the second image is captured is, for example, as shown in FIG.
  • the illumination condition is changed by weakening the intensity of the illumination light of the second wavelength ⁇ 2.
  • the second image shown in 9-1 of FIG. 9 is an image with crosstalk, and a double image appears in the second image due to crosstalk.
  • the second image shown in 9-1 in FIG. 9 is an image having the same characteristics as the first image shown in 6-1 in FIG. In the case of the image with talk ( ⁇ 1′), the second image is also the image with crosstalk ( ⁇ 1′) in the same wavelength band, and both are images with different illumination conditions.
  • the image of wavelength ⁇ 2 (image on the right) reflected in the image of wavelength ⁇ 1 (image on the left) is the image of wavelength ⁇ 1 shown in 6-1 in FIG.
  • the density is lighter than the image (image on the right) of wavelength ⁇ 2 reflected in (image on the left). This is because the intensity of the illumination light with the wavelength ⁇ 2 is weakened when the second image is captured.
  • FIG. 9 is a diagram showing the autocorrelation coefficient of the second image.
  • the autocorrelation coefficient of the second image shown in 9-2 in FIG. 9 was obtained by shifting the second images in the horizontal direction on FIG. 9, and has two peaks P0 and P3. ing.
  • the peak P0 is the peak when the shift amount between the second images is 0, and takes the maximum value as the autocorrelation coefficient.
  • Peak P3 is a peak that occurs when the amount of shift between the second images is equivalent to the interval between double images in the second image, and has a peak value smaller than that of peak P0.
  • the peak value of the peak P3 is smaller than that of the peak P1 of the first image indicated by the dotted line, as indicated by the arrow.
  • the change in the respective autocorrelation coefficients in this example, the peak P1 of the autocorrelation coefficient of the first image and the autocorrelation coefficient of the second image ), it can be determined that crosstalk is included between the first image and the second image.
  • the processor 100 shown in FIG. 4 acquires, through the input/output interface 130, the first image and the second image, which are targets of information processing and have different lighting conditions, according to an operation input on the operation unit 140.
  • the processor 100 calculates the autocorrelation coefficients of the acquired first image and the acquired second image.
  • the processor 100 detects that the autocorrelation coefficient of the first image has a peak P1 at a shift amount other than 0 as shown in 6-2 of FIG.
  • the autocorrelation coefficient of the first image has a peak P3 at a shift amount other than 0, and the peak values of the peak P1 and the peak P3 are equal to the illumination condition , it is determined that the image has crosstalk. Note that the peak P1 and the peak P3 are present at the same shift amount.
  • the peak P3 was smaller than the peak P1, but the intensity of the illumination light of wavelength ⁇ 2 was reduced. When the intensity is increased, peak P3 becomes larger than peak P1.
  • the following modes can be considered as modes for changing the intensity of a certain wavelength.
  • a band-pass filter that transmits only one wavelength is mounted in front of the imaging optical system 10 when capturing the second image.
  • another aspect of changing the illumination condition is to change the irradiation pattern of the illumination light.
  • a spot light source that illuminates only the center of the screen is used.
  • the change of the photographing conditions when photographing the first image and the second image includes the above-described change of the focus position and the change of the illumination condition, as well as the relative position ( position of the subject) is included.
  • the present invention detects crosstalk included in an image based on the correlation of feature amounts between the first image and the second image.
  • cross-correlations may be obtained in addition to the respective autocorrelations of the first and second images.
  • a normal multispectral image (first image) is captured, and a non-multiplexed reference image (second image) is captured. and the second image to calculate the cross-correlation coefficient.
  • a reference image (second image) without multiple images is captured by (1) opening only one of the plurality of aperture regions of the filter unit 20, and (2) band-pass It can be obtained by mounting a filter in front of the imaging optical system 10 and taking an image, or (3) using a single-wavelength light source to take an image.
  • the processor 100 can determine the degree of similarity between the first image and the second image (that is, whether the first image is a multiple image) from the cross-correlation coefficients of the first image and the second image.
  • the cross-correlation coefficient of the entire image is calculated.
  • a correlation coefficient may be calculated. According to this, in the case of an image with crosstalk, it can be found in which region in the image the crosstalk (multiple images) is present.
  • the correlation of the feature amount between the first image and the second image is not limited to the case of obtaining by calculating the autocorrelation coefficient and cross-correlation coefficient.
  • a normal multispectral image (first image) and a reference image without multiple images (second image) are acquired, and features such as edges of the second image are obtained.
  • first image a normal multispectral image
  • second image a reference image without multiple images
  • features such as edges of the second image are obtained.
  • crosstalk multiple images
  • crosstalk may be detected based on the degree of matching between a plurality of divided images obtained by dividing an image into a lattice, or detection of similar objects within the same image.
  • first image and the second image are subjected to Fourier transform, converted into information in the frequency domain, and crosstalk is detected from the degree of matching between the first image and the second image in the frequency domain.
  • the characteristic is an amount reflecting the amount of crosstalk between the first image and the second image, such as an intensity value with respect to the amount of shift.
  • the imaging device 1 shown in FIG. 1 is a multispectral camera, but the imaging device that splits the pupil and captures images with different characteristics is not limited to the multispectral camera, and various cameras can be considered.
  • FIG. 10 is a diagram showing an example of an imaging optical system of a split-pupil multifocal camera.
  • the imaging optical system 12 shown in FIG. 10 has three lenses 12A, 12B, 12C and a polarizing filter unit 22.
  • the lenses 12B and 12C are only the upper half lenses from the optical axis in FIG. and lenses 12B and 12C constitute a telephoto optical system, and the lower half aperture area of the photographing optical system 12 constitutes a wide-angle optical system consisting of only the lower half of the lens 12A.
  • the imaging optical system 12 is a multifocal (bifocal) lens with different focal lengths, which is vertically divided (divided into two) in FIG.
  • the polarizing filter unit 22 is arranged between the lens 12A and the lens 12B and includes 0° and 90° polarizing filters PL1 and PL3 whose polarization directions are orthogonal to each other.
  • the image sensor of the split-pupil multifocal camera having this imaging optical system 12 is not shown, but four micro polarizers (second polarizing filters) p1 arranged in the pixels of the image sensor 30 shown in FIG. , p2, p3, and p4, the micro-polarizers p1 and p3 having polarization directions of 0° and 90° may be provided.
  • the polarizing filters PL1 and PL3 of the polarizing filter unit 22 and the micro polarizers p1 and p3 of the image sensor function as a pupil dividing section, and the pixels on which the micro polarizer p1 of the image sensor is arranged transmit light through the polarizing filter PL1.
  • linearly polarized light (telephoto image by a telephoto optical system) is incident, and linearly polarized light (optical image by a wide-angle optical system) that passes through the polarizing filter PL3 is incident on the pixels in which the micro polarizer p3 of the image sensor is arranged.
  • the split-pupil multifocal camera can capture images with different characteristics (telephoto image and wide-angle image) by splitting the pupil.
  • the characteristics are the characteristics of the image used for crosstalk detection, and are, for example, optical characteristics imparted by passing through a specific pupil region.
  • the angle of view given by the telescopic optical system and the angle of view given by the wide-angle optical system correspond to the optical characteristics.
  • polarizing filters PL1 and PL3 and micro polarizers p1 and p3 whose polarization directions are orthogonal to each other are used to create a distance between the telescopic image and the wide-angle image. Since crosstalk can be reduced, it is possible to omit crosstalk correction (interference removal processing) for removing a double image of a telescopic image and a wide-angle image. However, in this case as well, crosstalk occurs due to slight angular misalignment between the polarizing filters PL1 and PL3 and the micropolarizers p1 and p3, so it is preferable to perform interference elimination processing.
  • FIG. 11 is a diagram showing an image without crosstalk and an image with crosstalk captured by a split-pupil multifocal camera.
  • 11-1 and 11-2 in FIG. 11 respectively show a telephoto image and a wide-angle image without crosstalk, and 11-3 in FIG. telephoto image).
  • the information processing device 2 shown in FIGS. 1 and 4 can be similarly applied to a case where an imaging device of a split-pupil multifocal camera is used instead of the imaging device 1 of a multispectral camera.
  • the processor 100 of the information processing device 2 changes the imaging conditions to obtain at least two first images (a telephoto image and a wide-angle image) captured under the first imaging conditions and two images captured under the second imaging conditions. Two secondary images (telephoto and wide-angle) are acquired.
  • the processor 100 detects crosstalk included in the telephoto images (first image and second image) based on the correlation of the feature amounts of the first image (telephoto image) and the second image (telephoto image) having the same focal length. Detect crosstalk included in wide-angle images (first and second images) based on the correlation of feature amounts between a first image (wide-angle image) and a second image (wide-angle image) having the same focal length. can be detected.
  • crosstalk detection can be performed in the same manner as in the multispectral camera, detailed description thereof will be omitted.
  • FIG. 12 is an image diagram of a multiple image, a multiple image map, and an image in which the multiple image map is superimposed on the multiple image.
  • FIG. 12 is a diagram showing an example of a multiple image.
  • the processor 100 acquires the first image and the second image under different photographing conditions corresponding to the multiple image shown in 12-1 in FIG.
  • the multiple image intensity which is the intensity of the amount of light reflected by crosstalk (multiple image), is detected from the relational coefficient.
  • the multiple image intensity can be obtained, for example, from the magnitude of the peak value of the peak P1 of the autocorrelation coefficient detected in relation to the image reflected by crosstalk as shown in FIG.
  • the processor 100 divides the image into a plurality of regions (for example, nine divisions in the example of FIG. 12) as shown in 12-2 of FIG. A position within the region is determined and a multi-image intensity map is generated.
  • the rectangles indicate the positions of the multiple images in the divided areas, and the density of the rectangles indicates the multiple image intensity.
  • the processor 100 generates an image by superimposing the multiple image map shown in FIG. 12-2 on the multiple image image shown in 12-1 in FIG.
  • the processor 100 can cause the display 120 to display the multiple image map generated in this manner or an image in which the multiple image map is superimposed on the multiple image image. That is, the processor 100 can cause the display 120 to display information indicating the presence or absence of crosstalk or the strength of the crosstalk for each of a plurality of locations in the image, superimposed on the multiplexed image.
  • FIG. 13 is a flow chart showing an embodiment of an information processing method according to the present invention.
  • the processor 100 shown in FIG. 4 executes the processing of each step shown in the flowchart of FIG. 13 according to the information processing program.
  • processor 100 inputs a first image captured under a first imaging condition and a second image captured under a second imaging condition, which are targets of information processing, by operation input on operation unit 140 . Acquired through the output interface 130 (step S10, step S20).
  • the processor 100 detects crosstalk included in the images based on the correlation of feature amounts between the first image and the second image (steps S30 and S40).
  • the processor 100 calculates the autocorrelation coefficient of the first image (first autocorrelation coefficient) and the autocorrelation coefficient of the second image (second autocorrelation coefficient) (step S30). .
  • the processor 100 compares the first autocorrelation coefficient and the second autocorrelation coefficient, and determines the image ( First image, second image) is detected (step S40).
  • the first autocorrelation coefficient of the first image and the second autocorrelation coefficient of the second image in the same wavelength band Autocorrelation coefficients are compared to detect crosstalk in the image of that wavelength band.
  • crosstalk can be detected for each image of each wavelength band.
  • the information processing device 2 of this embodiment is a separate device from the imaging device 1, but the present invention is a device in which the imaging device 1 and the information processing device 2 are integrated, that is, the information processing device 2.
  • the imaging device 1 may be provided.
  • the filter unit 20 of this example has three equally spaced circular aperture regions as aperture regions for transmitting light of different transmission wavelength bands, but the shape and number of the aperture regions are not limited to this.
  • the circular pupil area may be four sector-shaped aperture areas with a central angle of 90°, or three sector-shaped aperture areas with a central angle of 120°.
  • the hardware structure of a processing unit that executes various types of processing includes various processors as shown below.
  • the circuit configuration can be changed after manufacturing, such as CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), which is a general-purpose processor that executes software (program) and functions as various processing units.
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (eg, multiple FPGAs, or combinations of CPUs and FPGAs).
  • a plurality of processing units may be configured by one processor.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • the present invention also includes an information processing program that, when installed in a computer, causes the computer to function as an information processing apparatus according to the present invention, and a nonvolatile storage medium in which this information processing program is recorded.

Abstract

瞳分割して特性が異なる画像を撮像する撮像装置のイメージセンサから出力される画像に含まれるクロストークを検出する情報処理装置、方法及びプログラム並びに撮像装置を提供する。瞳分割して特性が異なる画像を撮像する撮像装置（１）のイメージセンサ（３０）から出力される画像を処理する、プロセッサを備えた情報処理装置（２）である。プロセッサは、第１撮影条件で撮像装置（１）により撮像され、イメージセンサ（３０）から出力される第１画像を取得し、第１撮影条件とは異なる第２撮影条件で撮像装置（１）により撮像され、イメージセンサ（３０）から出力される画像のうちの第１画像と同じ特性を有する第２画像を取得し、第１画像と第２画像との特徴量の相関に基づいて画像に含まれるクロストークを検出する。

Description

情報処理装置、方法及びプログラム並びに撮像装置
　本発明は情報処理装置、方法及びプログラム並びに撮像装置に係り、特に瞳分割して画像を撮像する撮像装置のイメージセンサから出力される画像を処理する技術に関する。
　従来、瞳分割して１つのイメージセンサで高品質なマルチスペクトル画像を取得できる撮像装置が提案されている（特許文献１）。
　特許文献１に記載の撮像装置は、分光透過率の異なるｎ種（ｎ≧２）の分光フィルタ素子と、透過偏光方位の異なるｍ種（２≦ｍ≦３）の偏光フィルタ素子とを組み合わせて、ｑ種（ｑ＝ｎ×ｍ）の光を各画素で受光する画素ブロックを複数備えたイメージセンサと、透過する光の波長帯域が異なるｋ個（ｋ≦ｑ）の光学領域を備え、かつ、各光学領域に偏光フィルタ部を備えた光学系と、イメージセンサから得られる各画素の信号値を処理して、光学系の各光学領域の画像を生成する信号処理部と、を備える。信号処理部は、イメージセンサの各画素ブロックから得られるｑ個の画素の信号値（ｘ１、ｘ２、…、ｘｑ）に対して所定の演算処理を行って、光学系の各光学領域に対応したｋ個の画素の信号値（Ｘ１、Ｘ２、…、Ｘｋ）を算出し、各光学領域の画像を生成する。
　所定の演算処理は、各要素がａｉｊで表されるｋ行ｑ列の行列で構成される係数群を取得し、イメージセンサの各画素ブロックから得られるｑ個の画素の信号値ｘ１、ｘ２、…、ｘｑから、下記の［数１］式によって、光学系の各光学領域に対応したｋ個の画素の信号値Ｘ１、Ｘ２、…、Ｘｋを算出する。
Figure JPOXMLDOC01-appb-M000001
　ｋ行ｑ列の行列で表される係数群は、光学系の各光学領域に入射した光が、イメージセンサの各画素ブロックの各画素で受光される割合を要素とする行列の逆行列を算出して取得されるものであり、［数１］式に示すようにｋ行ｑ列の行列と、イメージセンサの各画素ブロックから得られるｑ個の画素の信号値（ｘ１、ｘ２、…、ｘｑ）とを演算することで、ｑ個の画素の信号値に含まれる混信成分を除去する。これにより、各光学領域に対応する波長帯域の画像間のクロストークを低減する。
国際公開第２０２０／０７５５２３号
　本開示の技術に係る一つの実施形態は、瞳分割して特性が異なる画像を撮像する撮像装置のイメージセンサから出力される画像に含まれるクロストークを検出する情報処理装置、方法及びプログラム並びに撮像装置を提供する。
　第１態様に係る発明は、瞳分割して特性が異なる画像を撮像する撮像装置のイメージセンサから出力される画像を処理する、プロセッサを備えた情報処理装置であって、プロセッサは、第１被写体に対し第１撮影条件で撮像装置により撮像され、イメージセンサから出力される第１画像を取得し、第１被写体に対し第１撮影条件とは異なる第２撮影条件で撮像装置により撮像され、イメージセンサから出力される画像のうちの第１画像と同じ特性を有する第２画像を取得し、第１画像と第２画像との特徴量の相関に基づいて画像に含まれるクロストークを検出する、情報処理装置である。
　本発明の第２態様に係る情報処理装置において、第２撮影条件は、クロストークが発生する場合に、特徴量に変化を与える撮影条件であることが好ましい。
　本発明の第３態様に係る情報処理装置において、第２撮影条件は、第１撮影条件に対してフォーカス位置、撮影倍率、被写体への照明条件、及び被写体と撮像装置との相対的な位置のうちの少なくとも１つが異なる撮影条件であることが好ましい。
　本発明の第４態様に係る情報処理装置において、プロセッサは、第１撮影条件で撮像装置により撮像され、イメージセンサから出力される異なる波長の複数の第１画像を取得し、第２撮影条件で撮像装置により撮像され、イメージセンサから出力される異なる波長の複数の第２画像を取得し、複数の第１画像と複数の第２画像との相関に基づいて画像に含まれるクロストークを検出することが好ましい。
　本発明の第５態様に係る情報処理装置において、クロストークは、画像に含まれる異なる波長の画像成分であることが好ましい。
　本発明の第６態様に係る情報処理装置において、相関は、第１画像に含まれる異なる波長の画像成分の位置及び／又は強度と、第２画像に含まれる異なる波長の画像成分の位置及び／又は強度との相対値であることが好ましい。
　本発明の第７態様に係る情報処理装置において、第１画像と第２画像の特徴量の相関は、第１画像と第２画像の自己相関係数のピーク位置又はピーク値の相関であることが好ましい。
　本発明の第８態様に係る情報処理装置において、第２撮影条件は、イメージセンサからクロストークのないリファレンス画像が第２画像として出力される撮影条件であり、第１画像と第２画像の特徴量の相関は、第１画像とリファレンス画像との相互相関係数であって、第１画像とリファレンス画像とを相対的にずらしたときに得られる相互相関係数であることが好ましい。
　本発明の第９態様に係る情報処理装置において、第２撮影条件は、イメージセンサからクロストークのないリファレンス画像が第２画像として出力される撮影条件であり、第１画像と第２画像の特徴量は、第１画像とリファレンス画像との特徴点のマッチング度であることが好ましい。
　本発明の第１０態様に係る情報処理装置において、第２撮影条件は、イメージセンサからクロストークのないリファレンス画像が第２画像として出力される撮影条件であり、第１画像と第２画像の特徴量は、第１画像とリファレンス画像とをそれぞれ格子状に分割した複数の分割画像同士のマッチング度であることが好ましい。
　本発明の第１１態様に係る情報処理装置において、撮像装置は、特性がそれぞれ異なる複数の領域を有する撮影光学系を備え、リファレンス画像を出力させる第２撮影条件は、複数の領域のうちの１つの領域のみを開口し、他の領域を遮光させる撮影条件であることが好ましい。
　本発明の第１２態様に係る情報処理装置において、撮像装置は、それぞれ異なる波長帯域の光を透過させる複数の領域を有する撮影光学系を備え、リファレンス画像を出力させる第２撮影条件は、それぞれ異なる波長帯域の光のうちの１つの波長帯域の光のみを撮影光学系に入射させる撮影条件であることが好ましい。
　本発明の第１３態様に係る情報処理装置において、プロセッサは、第１画像と第２画像との複数の箇所毎の特徴量の相関に基づいて、複数の箇所毎のクロストークを検出することが好ましい。
　本発明の第１４態様に係る情報処理装置において、プロセッサは、複数の箇所毎のクロストークの有無又はクロストークの強度を示す情報を、イメージセンサから出力される画像に重ね合わせてディスプレイに表示させることが好ましい。
　本発明の第１５態様に係る情報処理装置において、プロセッサは、イメージセンサから出力される画像間のクロストークを低減する混信除去処理を行い、第１画像及び第２画像は、それぞれ混信除去処理を施した画像であることが好ましい。
　第１６態様に係る発明は、複数の領域毎にそれぞれ透過させる波長帯域が異なる波長選択素子を有する光学素子が、瞳位置又は瞳位置近傍に配置された撮影光学系と、複数の波長選択素子をそれぞれ透過した複数の波長帯域ごとの被写体光を瞳分割して受光するイメージセンサと、第１態様から第１５態様のいずれかに記載の情報処理装置と、を備えた撮像装置である。
　第１７態様に係る発明は、複数の領域毎にそれぞれ異なる焦点距離を有する多焦点の撮影光学系と、撮影光学系の複数の領域をそれぞれ透過した被写体光を瞳分割して受光するイメージセンサと、第１態様から第１５態様のいずれかに記載の情報処理装置と、を備えた撮像装置である。
　本発明の第１８態様に係る撮像装置において、複数の領域に対応して配置され、それぞれ偏光方向が異なる複数の第１偏光フィルタと、イメージセンサの各画素に配置され、複数の第１偏光フィルタにそれぞれ対応する複数の第２偏光フィルタと、を備え、複数の第１偏光フィルタと複数の第２偏光フィルタとは、複数の領域を透過する被写体光を領域毎に瞳分割してイメージセンサに入射させることが好ましい。
　第１９態様に係る発明は、瞳分割して特性が異なる画像を撮像する撮像装置のイメージセンサから出力される画像を処理する情報処理方法であって、第１被写体に対し第１撮影条件で撮像装置により撮像され、イメージセンサから出力される第１画像を取得するステップと、第１被写体に対し第１撮影条件とは異なる第２撮影条件で撮像装置により撮像され、イメージセンサから出力される画像のうちの第１画像と同じ特性を有する第２画像を取得するステップと、第１画像と第２画像との特徴量の相関に基づいて画像に含まれるクロストークを検出するステップと、を含み、プロセッサが各ステップの処理を実行する情報処理方法である。
　本発明の第２０態様に係る情報処理方法において、イメージセンサから出力される画像に含まれるクロストークを低減する混信除去処理を行うステップを含み、第１画像及び第２画像は、それぞれ混信除去処理を施した画像であることが好ましい。
　第２１態様に係る発明は、第１９態様又は第２０態様に記載の情報処理方法における各ステップの処理を、プロセッサに実行させる情報処理プログラムである。
図１は、本発明に係る情報処理装置を含む撮像システムのシステム構成を示す図である。 図２は、図１に示した撮像装置の撮影光学系に配置されたフィルタユニットを示す斜視図である。 図３は、図１に示した撮像装置のイメージセンサの平面図であり、イメージセンサの各画素に配置されるマイクロ偏光子を示す図である。 図４は、本発明に係る情報処理装置のハードウェア構成の実施形態を示すブロック図である。 図５は、クロストークのない画像とクロストークのある画像を示す図である。 図６は、第１撮影条件で撮像された第１画像と第１画像の自己相関係数を示す図である。 図７は、第１撮影条件とはフォーカス位置が異なる第２撮影条件で撮像された第２画像と第２画像の自己相関係数を示す図である。 図８は、多重像が発生する場合において、被写体への照明条件の変更の前後の多重像の変化の一例を図である。 図９は、第１撮影条件とは被写体への照明条件が異なる第２撮影条件で撮像された第２画像と第２画像の自己相関係数を示す図である。 図１０は、瞳分割式多焦点カメラの撮影光学系の一例を示す図である。 図１１は、瞳分割式多焦点カメラにより撮像されるクロストークのない画像とクロストーク発生時の画像とを示す図である。 図１２は、多重像画像、多重像マップ、及び多重像画像に多重像マップを重ね合わせたイメージ図である。 図１３は、本発明に係る情報処理方法の実施形態を示すフローチャートである。
　以下、添付図面に従って本発明に係る情報処理装置、方法及びプログラム並びに撮像装置の好ましい実施形態について説明する。
　［撮像システムの概要］
　図１は、本発明に係る情報処理装置を含む撮像システムのシステム構成を示す図である。
　図１に示す撮像システムは、撮像装置１と、情報処理装置２とから構成される。
　図１に示す撮像装置１は、波長帯域が異なる複数の画像（マルチスペクトル画像）を撮像するマルチスペクトルカメラであり、撮影光学系１０と、イメージセンサ３０と、信号処理部（図示せず）とを備えている。
　本例の撮影光学系１０は、前群レンズ１０Ａと後群レンズ１０Ｂとを有し、前群レンズ１０Ａと後群レンズ１０Ｂとの間の瞳位置又は瞳位置近傍に、それぞれ透過させる波長帯域が異なる波長選択素子を有する光学素子（フィルタユニット）２０が配置されている。
　図２は、図１に示した撮影光学系に配置されたフィルタユニットを示す斜視図である。
　図２に示すようにフィルタユニット２０は、異なる透過波長帯域光を透過させる開口領域（図２に示す例では、等間隔の３つの円形の開口領域）を有しており、第１波長帯域（λ１）の光を透過させる波長選択素子（第１バンドパスフィルタＢＰＦ１）と、第２波長帯域（λ２）の光を透過させる波長選択素子（第２バンドパスフィルタＢＰＦ２）と、第３波長帯域（λ３）の光を透過させる波長選択素子（第３バンドパスフィルタＢＰＦ３）と、を有している。
　また、フィルタユニット２０の開口領域には、偏光方向が異なる複数（本例では、３つ）の偏光フィルタ（第１偏光フィルタ）ＰＬ１、ＰＬ２、ＰＬ３が配置されている。偏光フィルタＰＬ１は、図２上で非偏光の光の左右方向成分を吸収し、上下方向成分を透過させる。以下、偏光フィルタＰＬ１を透過する直線偏光の方向（偏光方向）を０°とする。
　図２上で時計回り方向を正とすると、偏光フィルタＰＬ２を透過する直線偏光の偏光方向は４５°であり、偏光フィルタＰＬ３を透過する直線偏光の偏光方向は９０°である。即ち、３つの偏光フィルタＰＬ１、ＰＬ２、ＰＬ３は、それぞれ偏光方向が異なるように配置されている。尚、偏光フィルタＰＬ１、ＰＬ２、ＰＬ３の偏光方向は、０°、４５°、９０°に限らず、例えば、０°、６０°、１２０°でもよい。
　図２に戻って、被写体から発せられる光は、撮影光学系１０の３つの開口領域を透過することで、それぞれ波長帯域が異なり、かつ偏光方向が異なる被写体光としてイメージセンサ３０に入射する。
　図３は、図１に示したイメージセンサの平面図であり、イメージセンサの各画素に配置されるマイクロ偏光子を示す図である。
　図３に示すようにイメージセンサ３０の各画素には、偏光方向が異なる４つのマイクロ偏光子（第２偏光フィルタ）ｐ１、ｐ２、ｐ３、ｐ４が配置されている。マイクロ偏光子ｐ１は、図３上で、入射光の上下方向成分を透過させ、マイクロ偏光子ｐ１が配置された画素に受光させる。尚、マイクロ偏光子ｐ１の偏光方向を０°とすると、マイクロ偏光子ｐ２、ｐ３、ｐ４の偏光方向は、４５°、９０°、１３５°である。
　それぞれ隣接する４つのマイクロ偏光子ｐ１～ｐ４を基本配列パターンＦとすると、イメージセンサ３０の各画素には、基本配列パターンＦのマイクロ偏光子ｐ１～ｐ４が、図３上で上下方向及び左右方向に繰り返し配列されている。
　フィルタユニット２０の３つの開口領域にそれぞれ配置された偏光フィルタＰＬ１、ＰＬ２、ＰＬ３（図２）と、イメージセンサ３０の各画素上に配置されたマイクロ偏光子ｐ１、ｐ２、ｐ３、ｐ４とは、撮影光学系１０の３つの開口領域をそれぞれ透過する波長帯域の異なる被写体光を瞳分割し、それぞれイメージセンサ３０の偏光方向が対応する画素に入射させる瞳分割部である。即ち、本例では、光の偏光を利用して、波長帯域の異なる被写体光を分離する「偏光方式」の瞳分割部を採用している。
　しかしながら、この種の瞳分割方式の撮像装置１では、波長帯域の異なる被写体光を完全に分離することができず、第１波長帯域（λ１）の画像に第２波長帯域（λ２）の画像成分、及び第３波長帯域（λ３）の画像成分が加算または減算される「クロストーク」又は「混信」という現象により、第１波長帯域（λ１）の画像が多重像になる。同様に、第２波長帯域（λ２）の画像、及び第３波長帯域（λ２）の画像も多重像になる。
　そのため、クロストークの発生量を予め測定して補正量を求めておくことで、イメージセンサ３０から出力される画像から多重像を除去するクロストーク補正（混信除去処理）が実施されている。
　即ち、撮像装置１の図示しない信号処理部は、以下に示すようにイメージセンサ３０から出力される画像から多重像を除去する混信除去処理を行う。
　イメージセンサ３０から出力されるマイクロ偏光子ｐ１、ｐ２、ｐ３が配置された、偏光方向が０°、４５°、９０°画素（偏光画素）から出力された信号値を、それぞれS1、S2、S3とし、混信の割合を示す補正量（混信除去パラメータ）を、C11～C33とすると、撮像装置１の信号処理部は、混信除去後の信号値S(λ1)、S(λ2)、S(λ3)を、次の［数２］式により算出する。
　［数２］
　S(λ1) = C11 * S1 + C12 * S2 + C13 * S3
　S(λ2) = C21 * S1 + C22 * S2 + C23 * S3
　S(λ3) = C31 * S1 + C32 * S2 + C33 * S3
　混信除去パラメータ（C11～C33）は、カメラ個体、フォーカス位置等、様々な条件で変化するが、予め測定して記憶しておくことができる。
　マルチスペクトル画像の全ての画素について、上記の［数２］式の演算を行うことで、撮像装置１のイメージセンサ３０から出力される画像間のクロストーク（混信成分）を低減した画像を生成することができる。
　しかしながら、撮像装置１を実際に使用していると、混信除去パラメータ（C11～C33）を求めたときの撮影条件（カメラやレンズ、被写体の状態）から変化してしまい、補正不足や過補正が発生することがある。
　これにより、撮像装置１から出力される画像には、混信除去処理で除去したはずの多重像が再び出現してしまうという問題が発生する。
　混信除去後のマルチスペクトル画像をディスプレイに表示し、マルチスペクトル画像にクロストークによる多重像が含まれているか否かを目視により確認することが考えられるが、目視では、微小な多重像を認識することが難しく、また、被写体のエッジ部分かクロストークによる多重像かの判別も難しい。
　図１に示す情報処理装置２は、撮像装置１のイメージセンサ３０から出力される画像を処理し、画像に含まれるクロストーク（クロストークの有無、クロストークの大きさ等）を検出する。
　［情報処理装置］
　情報処理装置２は、例えば、図１に示すようにＰＣ（personal computer：パーソナルコンピュータ）により構成することができ、撮像装置１のイメージセンサ３０から出力される画像を、有線又は無線通信、もしくは記録メディア（メモリカード）を介して取得する。
　情報処理装置２は、本例では、第１波長帯域（λ１）に対応する画像（λ１）、第２波長帯域（λ２）に対応する画像（λ２）、及び第３波長帯域（λ３）に対応する画像（λ３）の３つの画像を取得する。また、情報処理装置２は、後述するように撮影条件を変更して、少なくとも被写体（第１被写体）に対し第１撮影条件で撮像された３つの第１画像（画像（λ１）、画像（λ２）、画像（λ３））と、同じ被写体（第１被写体）に対し第２撮影条件で撮像された３つの第２画像（画像（λ１）、画像（λ２）、画像（λ３））を取得する。ここで、第２撮影条件は、クロストークが発生する場合に、第１撮影条件に対して第１画像と第２画像の特徴量に変化を与える撮影条件である。
　図４は、本発明に係る情報処理装置のハードウェア構成の実施形態を示すブロック図である。
　図４に示すように、ＰＣにより構成される情報処理装置２は、プロセッサ１００、メモリ１１０、ディスプレイ１２０、入出力インターフェース１３０、及び操作部１４０等を備える。
　プロセッサ１００は、ＣＰＵ（Central Processing Unit）等から構成され、情報処理装置２の各部を統括制御するとともに、クロストークの検出を含む各種の情報処理部として機能する。
　メモリ１１０は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、及びＲＡＭ(Random Access Memory)、ハードディスク装置等を含む。フラッシュメモリ、ＲＯＭ又はハードディスク装置は、オペレーションシステム、本発明に係る情報処理プログラム等を記憶する不揮発性メモリである。また、フラッシュメモリ又はハードディスク装置は、撮像装置１から取得した画像やクロストークの検出結果等を記憶する。
　ＲＡＭは、プロセッサ１００による情報処理の作業領域として機能し、また、フラッシュメモリ等に格納された情報処理プログラム等を一時的に記憶する。尚、プロセッサ１００が、メモリ１１０の一部（ＲＡＭ）を内蔵していてもよい。
　ディスプレイ１２０は、情報処理装置２の操作用の画面を表示する他、撮像装置１から取得した画像やクロストークの検出結果等を表示する。
　入出力インターフェース１３０は、外部機器と接続可能な接続部、及びネットワークと接続可能な通信部等を含む。外部機器と接続可能な接続部としては、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（ＨＤＭＩは登録商標）、メモリカードが装着されるカードスロット等を含む。
　操作部１４０は、マウス、タッチパッド等のポインティングデバイス、キーボード等を含み、ユーザによる各種の操作入力を受け付ける部分である。
　［本発明の原理］
　図５は、クロストークのない画像とクロストークのある画像を示す図である。
　図５の５－１には、クロストークのない３つの画像、即ち、第１波長帯域（λ１）のみの画像、第２波長帯域（λ２）のみの画像、及び第３波長帯域（λ３）のみ画像が図示されている。
　一方、図５の５－２には、クロストークのある３つの画像が図示されている。図５の５－２において、画像（λ１）に画像（λ２）及び画像（λ３）が映り込んだ画像を、画像（λ１’）とし、画像（λ２）に画像（λ１）及び画像（λ３）が映り込んだ画像を、画像（λ２’）とし、画像（λ３）に画像（λ１）及び画像（λ２）が映り込んだ画像を、画像（λ３’）とする。
　尚、図５の５－２に示すように、クロストークのある３つの画像におけるクロストークの大きさは均一ではなく、例えば、画像（λ１’）では、画像（λ２）の映り込みが大きく、画像（λ２’）では、画像（λ３）の映り込みが大きく、画像（λ３’）では、画像（λ１）及び画像（λ３）の映り込みが小さい。
　図５の画像（λ１’）に示すように多重像が出現する理由は、上記のように画像（λ１）に画像（λ２）及び画像（λ３）が映り込むためであり、λ１とλ２とλ３の光線が通過する３つの開口領域の瞳位置が異なり（図１参照）、視差が存在することに由来する。
　また、クロストークによって発生する多重像は、撮影条件（例えば、フォーカス位置、撮影倍率（画角）、照明条件、被写体と撮像装置との相対的な位置）が変化すると、その多重像の位置、強度が変化する。通常（光学的に発生する非点収差のイメージ）は、撮影条件が変化しても多重像の間隔が変化したり、強度比が変化したりしない。
　撮影条件としてフォーカス位置Ａからフォーカス位置Ｂに変化させる場合、フォーカス位置Ａで多重像が出現していることが前提であり、フォーカス位置Ｂに変更すると、フォーカス位置Ａで出現した多重像が移動する。
　そこで、本発明は、撮影条件の変化による、クロストークによって発生する多重像の特有の変化に着目し、クロストークを検出する。
　［情報処理装置の第１実施形態］
　次に、本発明に係る情報処理装置の第１実施形態について説明する。
　図６は、第１撮影条件で撮像された第１画像と第１画像の自己相関係数を示す図である。
　図６の６－１に示す第１画像はクロストークのある画像であり、第１画像にはクロストークにより二重像が出現している。尚、説明を簡単にするために、二重像は、図６上で、左右方向の異なる位置に、同じ被写体の異なる波長の画像が映り込んでいるものとする。
　図６の６－２は、第１画像の自己相関係数を示す図である。
　図６の６－２に示す第１画像の自己相関係数は、図６上で第１画像同士を左右方向にシフトすることで得られたものであり、２つのピークＰ０、Ｐ１を有している。
　ピークＰ０は、第１画像同士のシフト量が０のときのピークであり、自己相関係数として最大値をとる。ピークＰ１は、第１画像同士のシフト量が、第１画像における二重像の間隔に相当するシフト量のときに発生するピークであり、ピークＰ０よりも小さいピーク値を有する。尚、ピークＰ１のピーク値は、クロストークにより映り込む光量が大きい程、大きな値をとる。
　図７は、第１撮影条件とはフォーカス位置が異なる第２撮影条件で撮像された第２画像と第２画像の自己相関係数を示す図である。
　図７の７－１に示す第２画像はクロストークのある画像であり、第２画像にはクロストークにより二重像が出現している。
　図７の７－１に示す第２画像は、図６の６－１に示した第１画像と同じ特性を有する画像である。例えば、６－１に示した第１画像が、クロストークのある画像（λ１’）の場合には、第２画像も同じ波長帯域の、クロストークのある画像（λ１’）であり、両者はフォーカス位置が異なる画像である。ここで特性とは、クロストークの検出に用いられる画像の特性であって、一例として特定の瞳領域を透過したことにより付与される光学特性のことである。ここでは、波長帯域が光学特性にあたる。なお、瞳分割して特性が異なる画像を撮像する撮像装置とは、マルチスペクトルカメラのように瞳位置の複数の領域にある波長帯域が異なる複数の光学フィルタを通して撮像する装置であって、波長帯域が異なる（特性が異なる）画像を撮像する装置である。
　また、図７の７－１に示すように第２画像の二重像の間隔は、図６の６－１に示した第１画像の二重像の間隔よりも広がっている。これは、フォーカス位置が変化したことにより多重像が移動したためである。尚、本例では、第２画像の二重像の間隔が、第１画像の二重像の間隔よりも広がっているが、第１画像の二重像の間隔よりも狭くなる場合もある。
　図７の７－２は、第２画像の自己相関係数を示す図である。
　図７の７－２に示す第２画像の自己相関係数は、図７上で第２画像同士を左右方向にシフトすることで得られたものであり、２つのピークＰ０、Ｐ２を有している。
　ピークＰ０は、第２画像同士のシフト量が０のときのピークであり、自己相関係数として最大値をとる。ピークＰ２は、第２画像同士のシフト量が、第２画像における二重像の間隔に相当するシフト量のときに発生するピークであり、ピークＰ０よりも小さいピーク値を有する。
　図７の７－２において、ピークＰ２は、点線で示した第１画像のピークＰ１に対して、矢印で示すように図７上で左側に移動している。
　このようにフォーカス位置が異なる第１画像と第２画像において、それぞれの相関の相対値の変化（本例では、第１画像の自己相関係数のピークＰ１と、第２画像の自己相関係数のピークＰ２とのピーク位置の変化）から、第１画像と第２画像には、クロストークが含まれていると判別することができる。
　図４に示したプロセッサ１００は、操作部１４０での操作入力により情報処理の対象となるフォーカス位置が異なる第１画像と第２画像とを、入出力インターフェース１３０を介して取得する。
　続いて、プロセッサ１００は、取得した第１画像の自己相関係数と第２画像の自己相関係数を算出する。図６及び図７に示した例では、自己相関係数の算出にあたって、画像を左右方向にシフトしたが、２次元の所定範囲（多重像が発生する可能性のある範囲）内で画像をシフトし、自己相関係数を算出する。また、図５の５－２に示したクロストークのある画像の場合、自己相関係数のピークは、シフト量が０の場合のピークを含む３つのピークが発生する。クロストークにより２つの画像が、視差をもって映り混んでいるからである。
　プロセッサ１００は、第１画像と第２画像との特徴量の相関に基づいて画像（第１画像、第２画像）に含まれるクロストークを検出する。即ち、プロセッサ１００は、第１実施形態では、図６の６－２に示したように第１画像の自己相関係数にシフト量が０以外のシフト量の位置にピークＰ１が存在し、同様に図７の７－２に示したように第１画像の自己相関係数にシフト量が０以外のシフト量の位置にピークＰ２が存在し、かつピークＰ１とピークＰ２とのピーク位置が、第１画像と第２画像のフォーカス位置の移動に応じて移動している場合、クロストークのある画像である判別する。尚、ピークＰ１とピークＰ２とは、ピーク値や形状が近似し、ピーク位置のみが異なるものであることが好ましい。
　プロセッサ１００は、第１画像及び第２画像の自己相関係数において、上記のようなピークＰ１、ピークＰ２が存在しない場合、画像（第１画像、第２画像）はクロストークがないと判別する。
　クロストークの検出に使用するフォーカス位置が異なる第１画像と第２画像は、同じ特性（本例では、同じ波長帯域）の画像であるが、同時に取得することができる、複数の波長帯域別の第１画像と第２画像のセット毎にそれぞれクロストークを検出することができ、この場合、クロストークの検出の精度がより向上する。
　また、２つのフォーカス位置の第１画像及び第２画像に限らず、例えば、３つのフォーカス位置の第１画像、第２画像及び第３画像を使用し、各画像から算出した自己相関係数に基づいてクロストークの検出を行うようにしてもよい。
　更に、第１画像及び第２画像からそれぞれ自己相関係数を算出する場合、画像全体の自己相関係数を算出する場合に限らず、画像を複数の領域に分割し、分割した分割領域毎に自己相関係数を算出するようにしてもよい。これによれば、クロストークがある画像の場合、その画像内のどの領域にクロストーク（多重像）があるかが分かる。
　［情報処理装置の第２実施形態］
　次に、本発明に係る情報処理装置の第２実施形態について説明する。
　撮像装置１は、第１照明条件下で撮像した第１画像（マルチスペクトル画像）と、第１照明条件とは異なる第２照明条件下で撮像した第２画像（マルチスペクトル画像）とを取得する。
　第２実施形態の情報処理装置は、第１照明条件及び第２照明条件で撮像された第１画像及び第２画像を取得し、これらの第１画像及び第２画像に基づいてクロストークの検出を行う。
　図８は、多重像が発生する場合において、被写体への照明条件の変更の前後の多重像の変化の一例を図である。
　図８に示す被写体への照明条件の変更は、照明光のある波長の強度を変化させることで照明条件を変更させており、具体的には第１波長λ１の照明光と第２波長λ２の照明光のうちの第２波長λ２の照明光の強度を弱くしている。
　第１波長λ１及び第２波長λ２のマルチスペクトル画像を撮像する際に、ある照明条件で撮像された第１画像、及び照明条件を変更して撮像された第２画像にそれぞれクロストークがある場合、図８に示すように第１波長λ１の画像と第２波長λ２の画像の二重像になる。
　そして、照明条件を変更して第２画像を撮像する際に、第２波長λ２の照明光の強度を弱くすると、第２画像の二重像のうちの第２波長λ２の画像が、第１画像の二重像の第２波長λ２の画像に対して暗く（薄く）なる。
　情報処理装置の第２実施形態では、照明条件を変更することで変化する、多重像（二重像）の濃度の変化によりクロストークを検出する。
　図９は、第１撮影条件とは被写体への照明条件が異なる第２撮影条件で撮像された第２画像と第２画像の自己相関係数を示す図である。
　第２画像の撮像時の照明条件は、第１画像の撮像時の照明条件に対して、例えば、図８に示したように第１波長λ１の照明光と第２波長λ２の照明光のうちの第２波長λ２の照明光の強度を弱くすることで、照明条件を変更している。
　図９の９－１に示す第２画像はクロストークのある画像であり、第２画像にはクロストークにより二重像が出現している。
　図９の９－１に示す第２画像は、図６の６－１に示した第１画像と同じ特性を有する画像であり、例えば、波長λ１の画像に波長λ２の画像が映り込んだクロストークのある画像（λ１’）の場合には、第２画像も同じ波長帯域の、クロストークのある画像（λ１’）であり、両者は照明条件が異なる画像である。
　また、図９の９－１に示すように、波長λ１の画像（左側の画像）に映り込んだ波長λ２の画像（右側の画像）は、図６の６－１に示した波長λ１の画像（左側の画像）に映り込んだ波長λ２の画像（右側の画像）と比較して濃度が薄くなっている。これは、第２画像の撮像時に、波長λ２の照明光の強度を弱くしたためである。
　図９の９－２は、第２画像の自己相関係数を示す図である。
　図９の９－２に示す第２画像の自己相関係数は、図９上で第２画像同士を左右方向にシフトすることで得られたものであり、２つのピークＰ０、Ｐ３を有している。
　ピークＰ０は、第２画像同士のシフト量が０のときのピークであり、自己相関係数として最大値をとる。ピークＰ３は、第２画像同士のシフト量が、第２画像における二重像の間隔に相当するシフト量のときに発生するピークであり、ピークＰ０よりも小さいピーク値を有する。
　図９の９－２において、ピークＰ３は、点線で示した第１画像のピークＰ１に対して、矢印で示すようにピーク値が小さくなっている。
　このように照明条件が異なる第１画像と第２画像において、それぞれの自己相関係数の変化（本例では、第１画像の自己相関係数のピークＰ１と、第２画像の自己相関係数のピークＰ３とのピーク値の変化）から、第１画像と第２画像には、クロストークが含まれていると判別することができる。
　図４に示したプロセッサ１００は、操作部１４０での操作入力により情報処理の対象となる照明条件が異なる第１画像と第２画像とを、入出力インターフェース１３０を介して取得する。
　続いて、プロセッサ１００は、取得した第１画像の自己相関係数と第２画像の自己相関係数を算出する。プロセッサ１００は、第２実施形態では、図６の６－２に示したように第１画像の自己相関係数にシフト量が０以外のシフト量の位置にピークＰ１が存在し、同様に図９の９－２に示したように第１画像の自己相関係数にシフト量が０以外のシフト量の位置にピークＰ３が存在し、かつピークＰ１とピークＰ３とのピーク値が、照明条件の変化に応じて変化している場合、クロストークのある画像である判別する。尚、ピークＰ１とピークＰ３とは、同じシフト量の位置に存在する。また、本例では、波長λ１の画像に映り込んだ波長λ２の画像に対応する波長λ２の照明光の強度を弱くしたため、ピークＰ３はピークＰ１よりも小さくなったが、波長λ２の照明光の強度を強くした場合には、ピークＰ３はピークＰ１よりも大きくなる。
　ある波長の強度を変える態様としては、以下の態様が考えれる。
　(1) 第２画像の撮像時にフィルタユニット２０の複数の開口領域（図２に示す例では、３つの開口領域）のうちの１つ開口領域のみを開口し、他の開口領域を遮光させる。この場合、１つ開口領域に設けられたバンドパスフィルタの透過波長帯域の光のみとなる。
　(2) 第２画像の撮像時に一つの波長だけを透過させるバンドパスフィルタを撮影光学系１０の前に装着する。
　(3) 第２画像の撮像時に波長一つだけの単波長光源を使用する。
　(4) 第２画像の撮像時に第１画像の撮像時の光源とは別の光源（単波長光源）を追加する。
　また、照明条件を変更する他の態様としては、照明光の照射パターンを変えることが考えられる。例えば、画面中央のみを照明するスポット光源を使用する。
　更に、第１画像と第２画像とを撮像する場合の撮影条件の変更は、前述したフォーカス位置の変更、照明条件の変更の他に、物体（被写体）と撮像装置との相対的な位置（被写体の写る位置）の変更を含む。
　被写体の写る位置の変更は、カメラを動かして被写体の写る位置を変更する場合と、被写体を移動させて被写体の写る位置を変更する場合とがある。
　更にまた、本発明は、第１画像と第２画像との特徴量の相関に基づいて画像に含まれるクロストークを検出するが、第１画像と第２画像との特徴量の相関は、図６の６－２、図７の７－２、及び図９の９－２に示した第１画像、第２画像のそれぞれの自己相関の他に、相互相関を求めるようにしてもよい。
　相互相関に基づいて画像に含まれるクロストークを検出する場合、通常のマルチスペクトル画像（第１画像）の撮像と、多重像のないリファレンス画像（第２画像）の撮像とを行い、第１画像と第２画像との相互相関係数を算出する。
　多重像のないリファレンス画像（第２画像）は、撮像装置１による撮像時に、(1) フィルタユニット２０の複数の開口領域のうちの１つ開口領域のみを開けて撮像し、(2) バンドパスフィルタを撮影光学系１０の前に装着して撮像し、又は(3) 単波長光源を使用して撮像することで取得することができる。
　プロセッサ１００は、第１画像と第２画像との相互相関係数から、第１画像と第２画像との類似度（即ち、第１画像が多重像か否か）を判別することができる。尚、第１画像と第２画像との相互相関係数を算出する場合、画像全体の相互相関係数を算出する場合に限らず、画像を複数の領域に分割し、分割した領域毎に相互相関係数を算出するようにしてもよい。これによれば、クロストークがある画像の場合、その画像内のどの領域にクロストーク（多重像）があるかが分かる。
　また、第１画像と第２画像との特徴量の相関は、自己相関係数、相互相関係数の算出により取得する場合に限らず、例えば、特徴量マッチング、フーリエ変換等により取得するようにしてもよい。
　特徴量マッチングでは、相互相関係数と同様に通常のマルチスペクトル画像（第１画像）の撮像と、多重像のないリファレンス画像（第２画像）とを取得し、第２画像のエッジなどの特徴量（特徴点）を抽出した上で、この第２画像の特徴点と第１画像の特徴点とのマッチング度に基づいて第１画像にクロストーク（多重像）があるか否かを判別することができる。また、画像を格子状に分割した複数の分割画像同士のマッチング度、あるいは同一画像内での類似物体の検出によりクロストークを検出してもよい。
　また、第１画像と第２画像とをフーリエ変換し、それぞれ周波数領域の情報に変換した上で、周波数領域での第１画像と第２画像の一致度からクロストークの検出を行うようにしてもよい。特性とは第1画像と第２画像の間にあるクロストーク量を反映する量であって、一例としてシフト量に対する強度の値である。
　［撮像装置の他の実施形態］
　図１に示した撮像装置１は、マルチスペクトルカメラであるが、瞳分割してそれぞれ特性が異なる画像を撮像する撮像装置は、マルチスペクトルカメラに限らず、種々のカメラが考えられる。
　図１０は、瞳分割式多焦点カメラの撮影光学系の一例を示す図である。
　図１０に示す撮影光学系１２は、３つのレンズ１２Ａ、１２Ｂ、１２Ｃと、偏光フィルタユニット２２と、を有している。
　３つのレンズ１２Ａ、１２Ｂ、１２Ｃのうちのレンズ１２Ｂ及び１２Ｃは、図１０上で、光軸から上半分のみのレンズであり、撮影光学系１２の上半分の開口領域は、レンズ１２Ａの上半分とレンズ１２Ｂ、１２Ｃで望遠光学系を構成し、撮影光学系１２の下半分の開口領域は、レンズ１２Ａの下半分のみからなる広角光学系を構成している。
　即ち、撮影光学系１２は、図１０上で上下に瞳分割（２分割）された、焦点距離が異なる多焦点（２焦点）レンズである。
　偏光フィルタユニット２２は、レンズ１２Ａとレンズ１２Ｂとの間に配置され、偏光方向が互いに直交する、０°と９０°の偏光フィルタＰＬ１、ＰＬ３を備えている。
　この撮影光学系１２を有する瞳分割式多焦点カメラのイメージセンサは、図示されていないが、図３に示したイメージセンサ３０の画素に配置された４つのマイクロ偏光子（第２偏光フィルタ）ｐ１、ｐ２、ｐ３、ｐ４のうちの、偏光方向が０°と９０°のマイクロ偏光子ｐ１、ｐ３を備えていればよい。
　偏光フィルタユニット２２の偏光フィルタＰＬ１、ＰＬ３とイメージセンサのマイクロ偏光子ｐ１、ｐ３とが瞳分割部として機能し、イメージセンサのマイクロ偏光子ｐ１が配設された画素には、偏光フィルタＰＬ１を透過する直線偏光（望遠光学系による望遠画像）が入射し、イメージセンサのマイクロ偏光子ｐ３が配設された画素には、偏光フィルタＰＬ３を透過する直線偏光（広角光学系による光学像）が入射する。
　これにより、瞳分割式多焦点カメラは、瞳分割して特性が異なる画像（望遠画像と広角画像）を撮像することができる。ここで特性とは、クロストークの検出に用いられる画像の特性であって、一例として特定の瞳領域を透過したことにより付与される光学特性のことである。ここでは、望遠光学系により付与される画角と広角光学系により付与される画角が光学特性にあたる。
　望遠画像と広角画像の２つの画像を撮像する瞳分割式多焦点カメラでは、偏光方向が互いに直交する偏光フィルタＰＬ１、ＰＬ３とマイクロ偏光子ｐ１、ｐ３とにより、望遠画像と広角画像の画像間のクロストークを低減できるため、望遠画像と広角画像の二重像を除去するクロストーク補正（混信除去処理）を省略することが可能である。但し、この場合も偏光フィルタＰＬ１、ＰＬ３とマイクロ偏光子ｐ１、ｐ３との間のわずか角度ずれ等によりクロストークが発生するため、混信除去処理を行うことが好ましい。
　図１１は、瞳分割式多焦点カメラにより撮像されるクロストークのない画像とクロストーク発生時の画像とを示す図である。
　図１１の１１－１、及び１１－２は、それぞれクロストークのない望遠画像及び広角画像を示し、図１１の１１－３は、望遠画像に広角画像が映り込んだクロストーク発生時の画像（望遠画像）を示している。
　図１及び図４に示した情報処理装置２は、マルチスペクトルカメラの撮像装置１の代わりに、瞳分割式多焦点カメラの撮像装置を使用する場合にも同様に適用することができる。
　即ち、情報処理装置２のプロセッサ１００は、撮影条件を変更して、少なくとも第１撮影条件で撮像された２つの第１画像（望遠画像と広角画像）と、第２撮影条件で撮像された２つの第２画像（望遠画像と広角画像）を取得する。
　プロセッサ１００は、焦点距離が同一の第１画像（望遠画像）と第２画像（望遠画像）との特徴量の相関に基づいて望遠画像（第１画像、第２画像）に含まれるクロストークを検出し、同様に焦点距離が同一の第１画像（広角画像）と第２画像（広角画像）との特徴量の相関に基づいて広角画像（第１画像、第２画像）に含まれるクロストークを検出することができる。
　尚、クロストークの検出は、マルチスペクトルカメラの場合と同様に行うことができるため、その詳細な説明は省略する。
　図１２は、多重像画像、多重像マップ、及び多重像画像に多重像マップを重ね合わせた画像のイメージ図である。
　図１２の１２－１は、多重像画像の一例を示す図である。
　プロセッサ１００は、図１２の１２－１に示す多重像画像に対応する、撮影条件の異なる第１画像と第２画像とを取得し、前述したように第１画像と第２画像との自己相関係数から、クロストークにより映り込む光量（多重像）の強度である多重像強度を検出する。
　多重像強度は、例えば、図６に示したようにクロストークにより映り込む画像に関連して検出される自己相関係数のピークＰ１のピーク値の大きさにより求めることができる。
　そして、プロセッサ１００は、図１２の１２－２に示すように画像を複数に分割（例えば、図１２の例では、９分割）した分割領域毎に、多重像強度とそのピークＰ１が発生する分割領域内の位置とを求め、多重像強度マップを生成する。本例の多重像マップでは、矩形により分割領域内の多重像の位置を示し、矩形の濃度により多重像強度を示している。
　プロセッサ１００は、図１２－３に示すように、図１２の１２－１に示した多重像画像に、図１２－２に示した多重像マップを重ね合わせた画像を生成する。プロセッサ１００は、このようにして生成した多重像マップ、又は多重像画像に多重像マップを重ね合わせた画像をディスプレイ１２０に表示させることができる。即ち、プロセッサ１００は、画像内の複数の箇所毎のクロストークの有無又はクロストークの強度を示す情報を、多重像画像に重ね合わせてディスプレイ１２０に表示させることができる。
　これによれば、［数２］式中の混信除去パラメータ（C11～C33）が、画面を９分割した分割領域毎に設定されている場合、どの分割領域の混信除去パラメータ（C11～C33）を修正すべきかが分かる。
　［情報処理方法の実施形態］
　図１３は、本発明に係る情報処理方法の実施形態を示すフローチャートである。
　図４に示したプロセッサ１００は、情報処理プログラムにしたがって、図１３のフローチャートに示す各ステップの処理を実行する。
　図１３において、プロセッサ１００は、操作部１４０での操作入力により情報処理の対象となる第１撮影条件で撮像された第１画像と、第２撮影条件で撮像された第２画像とを、入出力インターフェース１３０を介して取得する（ステップＳ１０、ステップＳ２０）。
　プロセッサ１００は、第１画像と第２画像との特徴量の相関に基づいて画像に含まれるクロストークを検出する（ステップＳ３０、ステップＳ４０）。
　本例では、プロセッサ１００は、第１画像の自己相関係数（第１自己相関係数）と、第２画像の自己相関係数（第２自己相関係数）とを算出する（ステップＳ３０）。
　続いて、プロセッサ１００は、第１自己相関係数と第２自己相関係数とを比較し、第１自己相関係数と第２自己相関係数のピーク位置又はピーク値の違いから、画像（第１画像、第２画像）に含まれるクロストークを検出する（ステップＳ４０）。
　尚、第１画像と第２画像が、それぞれマルチスペクトルカメラで撮像された撮影条件の異なるマルチスペクトル画像の場合、同じ波長帯域の第１画像の第１自己相関係数と第２画像の第２自己相関係数とを比較して、その波長帯域の画像におけるクロストークを検出する。
　したがって、３つの波長帯域毎のマルチスペクトル画像の場合、各波長帯域の画像毎にクロストークを検出することができる。
　［その他］
　本実施形態の情報処理装置２は、撮像装置１とは別体の装置であるが、本発明は、撮像装置１と情報処理装置２とが一体化された装置、即ち、情報処理装置２を備えた撮像装置１でもよい。
　また、本例のフィルタユニット２０は、それぞれ異なる透過波長帯域光を透過させる開口領域として、等間隔の３つの円形の開口領域を有するが、開口領域の形状や個数はこれに限らず、例えば、円形の瞳領域を中心角が９０°の４つの扇形の開口領域、又は中心角が１２０°の３つの扇形の開口領域としてもよい。
　また、本実施形態において、例えば、情報処理装置２のプロセッサ１００のように各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　また、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る情報処理装置として機能させる情報処理プログラム、及びこの情報処理プログラムが記録された不揮発性の記憶媒体を含む。
　更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１　撮像装置
２　情報処理装置
１０　撮影光学系
１０Ａ　前群レンズ
１０Ｂ　後群レンズ
１２　撮影光学系
１２Ａ、１２Ｂ、１２Ｃ　レンズ
２０　フィルタユニット
２２　偏光フィルタユニット
３０　イメージセンサ
１００　プロセッサ
１１０　メモリ
１２０　ディスプレイ
１３０　入出力インターフェース
１４０　操作部
Ｆ　基本配列パターン
ｐ１、ｐ２、ｐ３、ｐ４　マイクロ偏光子
Ｐ０、Ｐ１、Ｐ２、Ｐ３　ピーク
ＰＬ１、ＰＬ２、ＰＬ３　偏光フィルタ
Ｓ１０、Ｓ２０、Ｓ３０、Ｓ４０　ステップ

Claims (22)

  1. 　瞳分割して特性が異なる画像を撮像する撮像装置のイメージセンサから出力される画像を処理する、プロセッサを備えた情報処理装置であって、
    　前記プロセッサは、
    　第１被写体に対し第１撮影条件で前記撮像装置により撮像され、前記イメージセンサから出力される第１画像を取得し、
    　前記第１被写体に対し前記第１撮影条件とは異なる第２撮影条件で前記撮像装置により撮像され、前記イメージセンサから出力される画像のうちの前記第１画像と同じ特性を有する第２画像を取得し、
    　前記第１画像と前記第２画像との特徴量の相関に基づいて前記画像に含まれるクロストークを検出する、
    　情報処理装置。
  2. 　前記第２撮影条件は、前記クロストークが発生する場合に、前記特徴量に変化を与える撮影条件である、
    　請求項１に記載の情報処理装置。
  3. 　前記第２撮影条件は、前記第１撮影条件に対してフォーカス位置、撮影倍率、被写体への照明条件、及び被写体と前記撮像装置との相対的な位置のうちの少なくとも１つが異なる撮影条件である、
    　請求項１又は２に記載の情報処理装置。
  4. 　前記プロセッサは、
    　前記第１撮影条件で前記撮像装置により撮像され、前記イメージセンサから出力される異なる波長の複数の前記第１画像を取得し、
    　前記第２撮影条件で前記撮像装置により撮像され、前記イメージセンサから出力される前記異なる波長の複数の前記第２画像を取得し、
    　前記複数の第１画像と前記複数の第２画像との相関に基づいて前記画像に含まれるクロストークを検出する、
    　請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　前記クロストークは、前記画像に含まれる前記異なる波長の画像成分である、
    　請求項４に記載の情報処理装置。
  6. 　前記相関は、
    　前記第１画像に含まれる前記異なる波長の画像成分の位置及び／又は強度と、前記第２画像に含まれる前記異なる波長の画像成分の位置及び／又は強度との相対値である、
    　請求項４又は５に記載の情報処理装置。
  7. 　前記第１画像と前記第２画像の特徴量の相関は、前記第１画像と前記第２画像の自己相関係数のピーク位置又はピーク値の相関である、
    　請求項１から６のいずれか１項に記載の情報処理装置。
  8. 　前記第２撮影条件は、前記イメージセンサから前記クロストークのないリファレンス画像が前記第２画像として出力される撮影条件であり、
    　前記第１画像と前記第２画像の特徴量の相関は、前記第１画像と前記リファレンス画像との相互相関係数であって、前記第１画像と前記リファレンス画像とを相対的にずらしたときに得られる相互相関係数である、
    　請求項１から６のいずれか１項に記載の情報処理装置。
  9. 　前記第２撮影条件は、前記イメージセンサから前記クロストークのないリファレンス画像が前記第２画像として出力される撮影条件であり、
    　前記第１画像と前記第２画像の特徴量は、前記第１画像と前記リファレンス画像との特徴点のマッチング度である、
    　請求項１から６のいずれか１項に記載の情報処理装置。
  10. 　前記第２撮影条件は、前記イメージセンサから前記クロストークのないリファレンス画像が前記第２画像として出力される撮影条件であり、
    　前記第１画像と前記第２画像の特徴量は、前記第１画像と前記リファレンス画像とをそれぞれ格子状に分割した複数の分割画像同士のマッチング度である、
    　請求項１から６のいずれか１項に記載の情報処理装置。
  11. 　前記撮像装置は、特性がそれぞれ異なる複数の領域を有する撮影光学系を備え、
    　前記リファレンス画像を出力させる前記第２撮影条件は、前記複数の領域のうちの１つの領域のみを開口し、他の領域を遮光させる撮影条件である、
    　請求項８から１０のいずれか１項に記載の情報処理装置。
  12. 　前記撮像装置は、それぞれ異なる波長帯域の光を透過させる複数の領域を有する撮影光学系を備え、
    　前記リファレンス画像を出力させる前記第２撮影条件は、前記それぞれ異なる波長帯域の光のうちの１つの波長帯域の光のみを前記撮影光学系に入射させる撮影条件である、
    　請求項８から１０のいずれか１項に記載の情報処理装置。
  13. 　前記プロセッサは、前記第１画像と前記第２画像との複数の箇所毎の特徴量の相関に基づいて、前記複数の箇所毎の前記クロストークを検出する、
    　請求項１から９のいずれか１項に記載の情報処理装置。
  14. 　前記プロセッサは、前記複数の箇所毎の前記クロストークの有無又は前記クロストークの強度を示す情報を、前記イメージセンサから出力される画像に重ね合わせてディスプレイに表示させる、
    　請求項１３に記載の情報処理装置。
  15. 　前記プロセッサは、前記イメージセンサから出力される画像間の前記クロストークを低減する混信除去処理を行い、
    　前記第１画像及び前記第２画像は、それぞれ前記混信除去処理を施した画像である、
    　請求項１から１４のいずれか１項に記載の情報処理装置。
  16. 　複数の領域毎にそれぞれ透過させる波長帯域が異なる波長選択素子を有する光学素子が、瞳位置又は瞳位置近傍に配置された撮影光学系と、
    　前記複数の波長選択素子をそれぞれ透過した前記複数の波長帯域ごとの被写体光を瞳分割して受光する前記イメージセンサと、
    　請求項１から１５のいずれか１項に記載の情報処理装置と、
    　を備えた撮像装置。
  17. 　複数の領域毎にそれぞれ異なる焦点距離を有する多焦点の撮影光学系と、
    　前記撮影光学系の前記複数の領域をそれぞれ透過した被写体光を瞳分割して受光する前記イメージセンサと、
    　請求項１から１５のいずれか１項に記載の情報処理装置と、
    　を備えた撮像装置。
  18. 　前記複数の領域に対応して配置され、それぞれ偏光方向が異なる複数の第１偏光フィルタと、
    　前記イメージセンサの各画素に配置され、前記複数の第１偏光フィルタにそれぞれ対応する複数の第２偏光フィルタと、を備え、
    　前記複数の第１偏光フィルタと前記複数の第２偏光フィルタとは、前記複数の領域を透過する被写体光を領域毎に瞳分割して前記イメージセンサに入射させる、
    　請求項１６又は１７に記載の撮像装置。
  19. 　瞳分割して特性が異なる画像を撮像する撮像装置のイメージセンサから出力される画像を処理する情報処理方法であって、
    　第１被写体に対し第１撮影条件で前記撮像装置により撮像され、前記イメージセンサから出力される第１画像を取得するステップと、
    　前記第１被写体に対し第前記第１撮影条件とは異なる第２撮影条件で前記撮像装置により撮像され、前記イメージセンサから出力される画像のうちの前記第１画像と同じ特性を有する第２画像を取得するステップと、
    　前記第１画像と前記第２画像との特徴量の相関に基づいて前記画像に含まれるクロストークを検出するステップと、を含み、
    　プロセッサが各ステップの処理を実行する情報処理方法。
  20. 　前記イメージセンサから出力される画像に含まれる前記クロストークを低減する混信除去処理を行うステップを含み、
    　前記第１画像及び前記第２画像は、それぞれ前記混信除去処理を施した画像である、
    　請求項１９に記載の情報処理方法。
  21. 　請求項１９又は２０に記載の情報処理方法における各ステップの処理を、前記プロセッサに実行させる情報処理プログラム。
  22. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項２１に記載のプログラムが記録された記録媒体。
PCT/JP2022/031321 2021-09-30 2022-08-19 情報処理装置、方法及びプログラム並びに撮像装置 WO2023053770A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280063707.XA CN117999792A (zh) 2021-09-30 2022-08-19 信息处理装置、方法及程序以及摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021162372 2021-09-30
JP2021-162372 2021-09-30

Publications (1)

Publication Number Publication Date
WO2023053770A1 true WO2023053770A1 (ja) 2023-04-06

Family

ID=85782306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/031321 WO2023053770A1 (ja) 2021-09-30 2022-08-19 情報処理装置、方法及びプログラム並びに撮像装置

Country Status (2)

Country Link
CN (1) CN117999792A (ja)
WO (1) WO2023053770A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080154A1 (ja) * 2014-11-20 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
WO2017029827A1 (ja) * 2015-08-19 2017-02-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
WO2021172284A1 (ja) * 2020-02-28 2021-09-02 富士フイルム株式会社 撮像装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080154A1 (ja) * 2014-11-20 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
WO2017029827A1 (ja) * 2015-08-19 2017-02-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
WO2021172284A1 (ja) * 2020-02-28 2021-09-02 富士フイルム株式会社 撮像装置及び方法

Also Published As

Publication number Publication date
CN117999792A (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
US10785412B2 (en) Image processing apparatus and image capturing apparatus
US10382684B2 (en) Image processing apparatus and image capturing apparatus
US10412370B2 (en) Photographing device and vehicle
WO2019106636A1 (en) Optical device testing method and apparatus
US9690112B2 (en) Image capturing apparatus
US10051159B2 (en) Imaging apparatus and imaging system
EP2446638B1 (en) Stereoscopic image capturing method, system and camera
CN108700472B (zh) 使用相对的滤光器掩模进行相位检测自动聚焦
JP2001194114A (ja) 画像処理装置および画像処理方法、並びにプログラム提供媒体
US9300931B2 (en) Image pickup system
JP6297234B1 (ja) 複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体
EP3756161B1 (en) Method and system for calibrating a plenoptic camera system
JP5229489B2 (ja) 生体認証装置
JP2007074079A (ja) 画像入力装置
US10984566B2 (en) Image processing apparatus that calculates using luminance values of one or more input images produced by photoelectric conversion of multiple polarized lights, image-capturing apparatus and image processing method
JP6975933B2 (ja) 画像処理装置、撮像システム、画像処理方法およびプログラム
JP5500879B2 (ja) 画像処理装置および画像処理方法
CN109328026A (zh) 物镜光学系统以及具备物镜光学系统的内窥镜装置
WO2022163671A1 (ja) データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置
WO2023053770A1 (ja) 情報処理装置、方法及びプログラム並びに撮像装置
JP2013024653A (ja) 距離測定装置及びプログラム
WO2022181749A1 (ja) データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置
JP7373297B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2023053767A1 (ja) データ処理装置、方法及びプログラム並びにマルチスペクトルカメラ
US20220172388A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023550451

Country of ref document: JP