WO2023089956A1 - 画像処理装置と画像処理方法およびプログラム - Google Patents

画像処理装置と画像処理方法およびプログラム Download PDF

Info

Publication number
WO2023089956A1
WO2023089956A1 PCT/JP2022/035755 JP2022035755W WO2023089956A1 WO 2023089956 A1 WO2023089956 A1 WO 2023089956A1 JP 2022035755 W JP2022035755 W JP 2022035755W WO 2023089956 A1 WO2023089956 A1 WO 2023089956A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
polarization
polarized light
polarized
optical
Prior art date
Application number
PCT/JP2022/035755
Other languages
English (en)
French (fr)
Inventor
雄飛 近藤
俊 海津
英治 平田
哲平 栗田
大志 大野
楽公 孫
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023561432A priority Critical patent/JPWO2023089956A1/ja
Priority to EP22895242.0A priority patent/EP4440129A1/en
Priority to CN202280075819.7A priority patent/CN118251897A/zh
Publication of WO2023089956A1 publication Critical patent/WO2023089956A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • This technology relates to image processing devices, image processing methods, and programs, and makes it possible to easily obtain high-frequency images.
  • image information is filtered using, for example, a Sobel filter.
  • detection of a straight line by Hough transform and detection of a peak of intensity of a gradient related to brightness on an image as an edge are performed.
  • an object of the present technology is to provide an image processing method and a program for an image processing device capable of acquiring a high-frequency image at high speed with low computation cost.
  • a first aspect of this technology is A first polarized image based on the first polarized light generated from the incident light and subjected to the optical low-pass filter processing, and a second polarized light generated from the incident light and not subjected to the optical low-pass filter processing.
  • the image processing apparatus includes a high-frequency image generation unit that generates a high-frequency image using a two-polarization image.
  • the polarization optical section separates the incident light into the first polarized light and the second polarized light in the polarization separation section, and performs optical low-pass filtering on the first polarized light in the optical filter section. Also, the first polarized light subjected to the optical low-pass filter processing and the second polarized light not subjected to the optical low-pass filter processing are combined in the polarized light combiner to generate combined light. Further, the polarization optical section may have a depolarization element that depolarizes incident light, and optical low-pass filter processing is performed by the depolarization element that depolarizes polarized light incident on the optical filter section and the optical filter section. and a polarizing filter for extracting the first polarized light from the unpolarized light.
  • the polarized image acquisition unit has first polarized pixels that generate pixel information of the first polarized image based on the combined light and second polarized pixels that generate pixel information of the second polarized image based on the combined light.
  • the angle difference between the polarization directions of the first polarization pixel and the second polarization pixel is 90 degrees.
  • the second polarization pixels are provided equal to or more than the first polarization pixels.
  • the image processing unit generates a high-frequency image by difference calculation using the first polarized image and the second polarized image obtained by the polarization image obtaining unit based on the combined light generated by the polarization optical unit.
  • difference calculation a high-frequency image is generated by calculating a difference for each pixel from surrounding pixels that generate pixel information of different polarized light.
  • the image processing section may compensate for the decrease in the amount of light by optical low-pass filter processing on the first polarized image.
  • the polarization image acquisition section and the image processing section may be integrated into one device, and the polarization optical section may be detachably provided with respect to the polarization image acquisition section.
  • a second aspect of this technology is A first polarized image based on the first polarized light generated from the incident light and subjected to the optical low-pass filter processing, and a second polarized light generated from the incident light and not subjected to the optical low-pass filter processing.
  • the image processing method includes generating a high-frequency image in an image processing unit using a two-polarized image.
  • a third aspect of this technology is A program that causes a computer to generate a high-frequency image, A first polarized image based on the first polarized light generated from the incident light and subjected to the optical low-pass filter processing, and a second polarized light generated from the incident light and not subjected to the optical low-pass filter processing.
  • the program causes the computer to execute a procedure for generating a high-frequency image from a bipolarized image.
  • the program of the present technology is provided in a computer-readable format to a general-purpose computer capable of executing various program codes, for example, a storage medium, a communication medium, such as an optical disk, a magnetic disk, and a storage medium such as a semiconductor memory. , or a program that can be provided by a communication medium such as a network.
  • FIG. 4 is a diagram exemplifying the configuration of an image processing unit;
  • FIG. 4 is a flowchart illustrating the operation of an image processing unit; It is a figure for demonstrating difference calculation processing.
  • FIG. 10 is a diagram illustrating a case where a polarization optical unit is detachably provided with respect to a polarization image acquisition unit;
  • FIG. 1 illustrates the configuration of an imaging system using an image processing device of the present technology.
  • the imaging system 10 has a polarization optical section 20 , a polarization image acquisition section 30 and an image processing section 40 .
  • the polarization optical unit 20 separates incident light into first polarized light and second polarized light with different vibration directions of different electromagnetic fields, and filters the first polarized light using an optical low-pass filter (hereinafter referred to as “optical low-pass filter”). Filter processing”) is performed, and the first polarized light after the optical low-pass filter processing and the second polarized light without the optical low-pass filter processing are combined to generate combined light.
  • optical low-pass filter optical low-pass filter
  • FIG. 2 illustrates the configuration of the polarization optical section.
  • the polarization optical unit 20 includes a depolarization element 21, an imaging lens 22, a polarization separation element (polarization separation section) 23, optical path changing elements 24 and 25, a depolarization element 26a, an optical low-pass filter 27, a polarizing filter 26b, a polarized light combining element ( It has a polarized light synthesizing section) 28 .
  • the depolarizing element 21 changes incident light (object light) into a random polarized state (unpolarized state).
  • the depolarizing element 21 may be a depolarizing plate obtained by laminating wedge-shaped birefringent crystals, or may be a depolarizing element having a sub-wavelength structure region.
  • the depolarizing element 21 emits the incident light to the imaging lens 22 in a non-polarized state.
  • the imaging lens 22 is configured using a focus lens, and forms an optical image of the subject on the imaging plane of the polarized image acquisition section 30 . Also, the imaging lens 22 may be configured using a focus lens and a zoom lens so that an optical image of a subject having a desired image size can be formed on the imaging plane of the polarized image acquisition section 30 .
  • the polarization separation element 23 separates incident light that has passed through the imaging lens 22 into first polarized light and second polarized light.
  • the polarization separation element 23 is composed of a beam splitter, and splits incident light into S-polarized light and P-polarized light by the beam splitter.
  • the S-polarized light is the first polarized light and the P-polarized light is the second polarized light, but the P-polarized light may be the first polarized light and the S-polarized light may be the second polarized light.
  • the polarization separating element 23 emits P-polarized light in the direction of the optical path changing element 24 and S-polarized light in the direction of the optical path changing element 25, as shown in FIG. 2, for example.
  • the optical path changing element 24 changes the optical path of the P-polarized light emitted from the polarization separating element 23 .
  • the optical path changing element 24 is, for example, a mirror, and changes the optical path of the P-polarized light emitted from the polarization separating element 23 to the direction of the polarized light combining element 28 without changing the polarization state.
  • the optical path changing element 25 changes the optical path of the S-polarized light emitted from the polarization separating element 23 .
  • the optical path changing element 25 is, for example, a mirror, and changes the optical path of the S-polarized light emitted from the polarization separating element 23 to the direction of the depolarizing element 26a without changing the polarization state.
  • the depolarizing element 26a changes the S-polarized light whose optical path has been changed by the optical path changing element 25 into a non-polarized state. Similar to the depolarizer 21, the depolarizer 26a may be a depolarizer plate in which wedge-shaped birefringent crystals are bonded together, or may be a depolarizer having a sub-wavelength structure region. The depolarizing element 26a outputs the S-polarized light to the optical low-pass filter 27 in a non-polarized state.
  • the optical low-pass filter 27 attenuates and outputs frequency components higher than a preset spatial frequency in incident light.
  • the optical low-pass filter 27 attenuates frequency components higher than a preset spatial frequency in the unpolarized S-polarized light, and outputs the transmitted light after optical low-pass filtering to the polarizing filter 26b.
  • the polarizing filter 26b extracts polarized light of a predetermined polarization component from the transmitted light from the optical low-pass filter 27.
  • the polarizing filter 26b may be a wire grid polarizer, a polarizer using a crystalline material, or the like.
  • the polarizing filter 26b is used in a pair with the depolarizing element 26a, and extracts the S-polarized light from the transmitted light from the optical low-pass filter 27 before being depolarized by the depolarizing element 26a.
  • the polarization optical unit 20 does not need to include the depolarization element 26a and the polarizing filter 26b.
  • the polarization optical unit 20 only the polarizing filter 26b is provided without providing the depolarizing element 26a, and S-polarized light is extracted from the transmitted light from the optical low-pass filter 27 and emitted to the polarized light combining element 28. good.
  • the polarized light combining element 28 combines the first polarized light separated by the polarization separation element 23 and subjected to optical low-pass filter processing, and the second polarized light separated by the polarization separation element 23 and not subjected to optical low-pass filter processing. Combine to produce synthetic light.
  • the polarized light combining element 28 is composed of, for example, a light combining half mirror, and splits the S polarized light separated by the polarized light separating element 23 and optically low-pass filtered by the optical low-pass filter 27, and the S-polarized light separated by the polarized light separating element 23 and optically
  • the optical image of the S-polarized light subjected to the optical low-pass filter processing and the optical image of the P-polarized light not subjected to the optical low-pass filter processing are combined with the P-polarized light not subjected to the low-pass filter processing. Synthetic light is emitted from the polarization optical unit 20 so that the S polarized light subjected to the optical low-pass filtering and the P polarized light not subjected to the optical low-pass filtering are emitted in the same direction.
  • the polarization optical unit combines the first polarized light generated from the incident light and subjected to the optical low-pass filter processing and the second polarized light generated from the incident light and not subjected to the optical low-pass filter processing.
  • the configuration is not limited to that shown in FIG.
  • the polarization separating element 23, the optical low-pass filter 27, and the polarized light combining element 28 may be arranged in a straight line.
  • the polarization image acquisition unit 30 is configured by providing a polarization filter on the incident surface side of the image sensor. A polarized image based on the first polarized light and a polarized image based on the second polarized light not subjected to optical low-pass filter processing are acquired.
  • FIG. 3 exemplifies the configuration of the polarization image acquisition unit.
  • the polarization image acquisition unit 30 has an image sensor 301 such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), for example, as shown in FIG.
  • a polarizing filter 302 is placed to obtain a polarized image.
  • the polarizing filter 302 can extract linearly polarized light from subject light, and uses a wire grid, photonic liquid crystal, or the like, for example.
  • the polarizing filter 302 converts the combined light emitted from the polarization optical unit 20 into a polarized image based on the first polarized light that has undergone the optical low-pass filter processing and a second polarized light that has not undergone the optical low-pass filter processing. It is configured to acquire a polarization image based on light.
  • the polarizing filter 302 includes polarization pixels for generating pixel information based on P-polarized light and pixel information based on S-polarized light in the combined light emitted from the polarization optical unit 20 . , polarizing filters having a difference of 90° in polarization direction are arranged.
  • the polarized image acquisition unit 30 simultaneously acquires a polarized image based on S-polarized light subjected to optical low-pass filtering and a polarized image based on P-polarized light not subjected to optical low-pass filtering. can.
  • the polarization image acquisition unit 30 may generate a plurality of polarization images with different polarization directions using a multi-lens array configuration.
  • a plurality of lenses 303 are provided in front of the image sensor 301 , and each lens 303 forms an optical image of a subject on the imaging surface of the image sensor 301 .
  • a polarizing plate 304 is provided in front of each lens 303, and the polarization direction of the polarizing plate 304 is set to a direction in which S-polarized light subjected to optical low-pass filtering is transmitted, and a direction in which S-polarized light subjected to optical low-pass filtering is transmitted, and a direction of P-polarized light in which optical low-pass filtering is not performed. It is the direction in which polarized light is transmitted.
  • the polarization image acquisition unit 30 By configuring the polarization image acquisition unit 30 in this manner, a polarization image based on the S-polarized light and a polarization image based on the P-polarized light can be simultaneously acquired in one imaging operation. Further, as shown in FIG.
  • polarizing plates 312-1 and 312-2 having different polarization directions are provided in front of imaging units 310-1 and 310-2.
  • a plurality of polarization images with different polarization directions may be acquired.
  • a polarizing plate 312-1 transmitting S-polarized light subjected to optical low-pass filtering before the imaging unit 310-1 and a P-polarized light not subjected to optical low-pass filtering before the imaging unit 310-2
  • a polarized image may be acquired.
  • a polarizing plate 311 may be provided in front of the imaging section 310 as shown in (d) of FIG. In this case, by rotating the polarizing plate 311, imaging is performed in the polarization direction for transmitting the S-polarized light subjected to the optical low-pass filtering and the polarization direction for transmitting the P-polarized light not subjected to the optical low-pass filtering. Then, a polarization image based on S-polarized light subjected to optical low-pass filter processing and a polarization image based on P-polarized light not subjected to optical low-pass filter processing are acquired.
  • optical low-pass filter processing is performed. Parallax can be ignored between the polarized image based on the S-polarized light subjected to the optical low-pass filter processing and the polarized image based on the P-polarized light not subjected to the optical low-pass filter processing.
  • a polarized image based on S-polarized light subjected to optical low-pass filter processing and a polarized image based on P-polarized light not subjected to optical low-pass filter processing are divided according to the amount of parallax. may be aligned.
  • the image processing unit 40 generates a first polarized image based on the first polarized light that has been subjected to the optical low-pass filter processing acquired by the polarized image acquisition unit 30 and a second polarization image that has not been subjected to the optical low-pass filter processing.
  • a high-frequency image is generated by extracting high-frequency components from the subject image using the second polarized image based on the polarized light.
  • FIG. 4 exemplifies the configuration of the image processing unit.
  • the image processing unit 40 uses the polarization image acquired by the polarization image acquisition unit 30 to generate a high-pass image.
  • the image processing unit 40 has, for example, a compensation unit 41 and a high frequency image generation unit 42 .
  • the compensator 41 performs gain adjustment on the first polarized image on which the optical low-pass filtering has been performed in order to compensate for the amount of light that has decreased due to the optical low-pass filtering. Note that the gain used for compensation is set for the entire screen or for each pixel position based on the measurement result by measuring the amount of light that is reduced by the optical low-pass filter processing in advance.
  • the high-pass image generator 42 calculates the difference between the polarized image based on the second polarized light and the first polarized image whose gain has been adjusted by the compensator 41 to generate a high-pass image.
  • the high-frequency image generation unit 42 may use a difference between positive values or negative values, or may use an absolute difference value as the image data representing the high-frequency image. Also, the bit width of the difference and the absolute value of the difference may be reduced to reduce the data amount of the high-frequency image. Alternatively, the difference or the absolute value of the difference may be compared with a preset threshold, and the binary data indicating the comparison result may be used as the image data of the high-frequency image.
  • the image processing unit 40 may be configured without the compensating unit 41 when there is no need to consider the reduction in the amount of light due to the optical low-pass filter processing in the high-frequency image.
  • the polarization optical unit 20 separates the incident light into the first polarized light and the second polarized light, performs optical low-pass filter processing on the first polarized light, and obtains the first polarized light after filtering. and the second polarized light that has not undergone optical low-pass filtering to generate combined light.
  • the polarization optical unit 20 having the configuration shown in FIG. 2 separates incident light into S-polarized light and P-polarized light, performs optical low-pass filter processing on the S-polarized light, and converts the filtered S-polarized light into P-polarized light that has not undergone optical low-pass filter processing is combined to generate combined light.
  • the polarization image acquisition unit 30 has a configuration in which a polarization filter is provided on the incident surface side of the image sensor. , acquire a polarization image based on polarized light that has not undergone optical low-pass filtering.
  • the polarization image acquisition unit 30 has pixels provided with polarization filters that transmit S-polarized light and pixels provided with polarization filters that transmit P-polarized light.
  • the polarizing filters are arranged in such a manner that the pixels are arranged in a shape or in a line.
  • the polarization image acquisition unit 30 acquires a polarization image based on S-polarized light subjected to optical low-pass filter processing by using pixels provided with a polarizing filter that transmits S-polarized light, and transmits P-polarized light.
  • a polarized image based on P-polarized light that has not undergone optical low-pass filter processing is obtained by using pixels provided with a polarizing filter for the polarizing light.
  • the image processing unit 40 uses the polarization image generated by the polarization image acquisition unit 30 to generate a high frequency image by extracting high frequency components from the subject image.
  • FIG. 5 is a flowchart illustrating the operation of the image processing section.
  • the image processing unit 40 acquires a polarization image.
  • the image processing unit 40 converts the polarized image generated by the polarized image acquisition unit 30 based on the S-polarized light subjected to the optical low-pass filter processing to the optical low-pass filter processing.
  • a polarization image based on the P-polarized light for which the is not performed is acquired, and the process proceeds to step ST2.
  • step ST2 the image processing unit 40 performs compensation processing.
  • the polarization optical unit 20 has the configuration shown in FIG.
  • Gain adjustment is performed to compensate for the decrease in the amount of light generated in the S-polarized light by the optical low-pass filter processing, and the process proceeds to step ST3.
  • step ST3 the image processing unit 40 performs difference calculation processing.
  • a difference between a polarization image based on S-polarized light and a polarization image based on P-polarized light is calculated.
  • FIG. 6 is a diagram for explaining the difference calculation process.
  • FIG. 6 illustrates a case where two polarization pixels having the same polarization direction are arranged side by side in the horizontal direction or the vertical direction in the polarization image acquisition unit 30 .
  • FIG. 6 shows a case where two polarized pixels having the same polarization direction are arranged horizontally.
  • the image processing unit 40 calculates the difference between vertically adjacent polarization pixels.
  • FIG. 6 shows a case where two polarized pixels having the same polarization direction are arranged side by side in the vertical direction.
  • the image processing unit 40 calculates the difference between horizontally adjacent polarization pixels.
  • FIG. 6 shows a case where two polarized pixels having the same polarization direction are arranged horizontally.
  • the image processing unit 40 calculates the difference between the diagonally adjacent polarization pixels.
  • FIG. 6 shows a case where two polarized pixels having the same polarization direction are arranged side by side in the vertical direction.
  • the image processing unit 40 calculates the difference between the diagonally adjacent polarization pixels.
  • FIG. 6 shows a case where two polarized pixels having the same polarization direction are arranged horizontally.
  • the image processing unit 40 calculates the pixel calculated value (addition value or average value) of two pixels arranged in the horizontal direction, and calculates the difference between the pixel calculated values for different polarization directions.
  • FIG. 6 shows a case where two polarized pixels having the same polarization direction are arranged side by side in the vertical direction.
  • the image processing unit 40 calculates the pixel calculated values (added value or average value) of two pixels arranged in the vertical direction, and calculates the difference between the pixel calculated values for different polarization directions.
  • FIG. 6 illustrates a case in which two polarized pixels with the same polarization direction are arranged horizontally or vertically.
  • polarization pixels having different polarization directions may be arranged in a mosaic pattern. In this case, the difference is calculated between adjacent polarization pixels having different polarization directions.
  • the polarization image is desirably an image that has not undergone optical low-pass filter processing.
  • the polarized image acquisition unit 30 performs optical low-pass filtering rather than polarized pixels (referred to as first polarized pixels) that generate pixel information based on the first polarized light that has undergone optical low-pass filtering. increase the number of polarization pixels (referred to as second polarization pixels) that generate pixel information based on the second polarized light for which the is not performed.
  • FIG. 7 illustrates a case in which more second polarization pixels are provided than first polarization pixels.
  • a polarization pixel block of 2 ⁇ 2 pixels one first polarization pixel and three second polarization pixels are provided. It shows the case where it is provided.
  • the second polarization pixels when more second polarization pixels are provided than first polarization pixels, the second polarization pixels, which have a larger number of pixels, can acquire more pixel information corresponding to polarized light that is not subjected to optical low-pass filter processing. . Further, in the first polarization pixels with a small number of pixels, optical low-pass filter processing is performed to obtain pixel information from which high-frequency components are removed.
  • FIG. 7 shows a case where the difference is calculated between vertically adjacent polarization pixels having different polarization directions
  • FIG. 7(c) shows the case of calculating a difference between adjacent polarization pixels in different polarization directions in an oblique direction.
  • the image processing unit 40 calculates the difference between the polarized pixel that generates pixel information based on S-polarized light and the polarized pixel that generates pixel information based on P-polarized light adjacent to this polarized pixel, and proceeds to step ST4. .
  • the image processing unit 40 generates a high-frequency image.
  • the image processing unit 40 generates a high frequency image representing high frequency components of the subject image based on the difference calculated in step ST3.
  • the image processing unit 40 may use the positive or negative difference or the absolute difference value as the image data representing the high-frequency image. You may reduce the data amount of a high frequency image.
  • the difference or the absolute value of the difference may be compared with a preset threshold, and the binary data indicating the comparison result may be used as the image data indicating the high-frequency image.
  • Formula (1) exemplifies a formula for generating binary data Ded.
  • "Ip” is pixel information (pixel value) based on P-polarized light that has not been subjected to optical low-pass filtering
  • "Is” is S-polarized light that has been subjected to optical low-pass filtering. shows pixel information (pixel values) based on .
  • “ ⁇ ” is a preset threshold.
  • the image processing unit 40 can generate an edge image indicating the position of the edge as a high-frequency image by generating the binary data Ded based on the comparison between the absolute difference value and the threshold.
  • the present technology generates polarized light with high-frequency components attenuated by optical low-pass filter processing, and performs a polarized image and optical low-pass filter processing based on the polarized light that has undergone optical low-pass filter processing.
  • a high-pass image is acquired from a polarization image based on unpolarized light. Therefore, according to the present technology, compared to the case where a high-frequency image is generated by performing filtering processing on image information, peak detection of strength of gradients related to straight lines or brightness, etc., high-frequency images can be obtained at a low computation cost and at a high speed. image can be acquired.
  • the imaging system 10 is not limited to the case where the polarized image acquisition section 30 and the image processing section 40 are provided separately. That is, the image processing apparatus of the present technology may be a solid-state imaging device in which the polarization image acquisition section 30 and the high-frequency image generation section 42 are integrated.
  • FIG. 8 illustrates the configuration of a solid-state imaging device.
  • the solid-state imaging device 50 has a pixel section 51 , a signal processing section 52 and a control section 53 .
  • the pixel unit 51 is configured by arranging pixels that perform photoelectric conversion in an array.
  • the pixel unit 51 generates a pixel signal corresponding to the amount of polarized light transmitted through the polarizing filter in the pixel provided with the polarizing filter as described above.
  • the signal processing unit 52 is provided with a vertical driving circuit, a column signal processing circuit, a horizontal driving circuit, and the like.
  • the vertical driving circuit Based on the clock signal and control signal from the control unit 53, the vertical driving circuit sequentially selectively scans the pixels of the pixel unit 51 in units of rows in the vertical direction, reads the pixel signals generated by each pixel, and performs column signal processing. feed the circuit.
  • the column signal processing circuit performs signal processing such as noise removal on pixel signals read from pixels for each pixel column based on the clock signal and control signal from the control unit 53 .
  • the column signal processing circuit performs signal processing such as CDS (Correlated Double Sampling) for removing pixel-specific fixed pattern noise.
  • the horizontal drive circuit sequentially selects the pixel columns of the column signal processing circuit based on the clock signal and control signal from the control unit 53, and outputs the pixel signals that have undergone signal processing.
  • the signal processing unit 52 performs arithmetic processing on pixel signals output from the pixel unit 51 in the same manner as the image processing unit 40 described above.
  • the signal processing unit 52 sequentially stores the pixel signals output from the column signal processing circuit in, for example, a line buffer, and combines the pixel signals of the lines stored in the line buffer with the next line output from the column signal processing circuit. are used to calculate differences between adjacent pixels with different polarization directions as shown in FIGS. As shown in FIG. 6B, when calculating the difference between horizontally adjacent pixels having different polarization directions, the line buffer may not be provided.
  • the gain adjustment and arithmetic processing in the signal processing unit 52 may be performed using analog pixel signals and the processing results may be converted to digital signals. Gain adjustment and arithmetic processing may be performed.
  • the signal processing unit 52 is preset as a signal indicating a positive or negative difference result, a signal indicating an absolute difference value, a signal obtained by reducing the bit width of the difference or the absolute difference value, or the difference or the absolute difference value.
  • the thresholds are compared, and a signal indicating the comparison result is output as image data of a high-frequency image.
  • the control unit 53 Based on the vertical synchronization signal, horizontal synchronization signal and clock signal, the control unit 53 generates a clock signal and a control signal that serve as a reference for the operation of the vertical driving circuit, the column signal processing circuit, the horizontal driving circuit, etc., and controls the signal processing unit. 52.
  • the imaging system 10 is not limited to the case where the polarization optical section 20 is fixed to the polarization image acquisition section 30, and the polarization optical section 20 may be detachably installed with respect to the polarization image acquisition section 30.
  • FIG. 9 illustrates a case where the polarization optical section is detachably provided with respect to the polarization image acquisition section.
  • the polarization optical section 20 is attached to the polarization image acquisition section 30 via the mount mechanism 60 .
  • the mount mechanism 60 detachably holds the polarization optical section 20 with respect to the polarization image acquisition section 30 .
  • the mount mechanism 60 is arranged such that the first polarized light pixel of the polarized image acquisition unit 30 is polarized in the polarization direction in which the transmission of the first polarized light contained in the combined light emitted from the polarization optical unit 20 is maximized, and the second polarized light is The polarization optical unit 20 and the polarized image acquisition unit 30 are positioned so that the pixel is polarized in the polarization direction that maximizes the transmission of the second polarized light contained in the combined light emitted from the polarization optical unit 20 .
  • the polarization optical unit is detachably attached to the polarization image acquisition unit in this way, the polarization optical unit having at least one of the focal length, the zoom magnification, and the filter characteristics of the optical low-pass filter is selected and used. This makes it possible to easily obtain a high-frequency image with a desired angle of view, filter characteristics, and the like.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots.
  • it may be implemented as a device mounted on equipment used in the production process in a factory or equipment used in the construction field. If applied to such a field, edge images showing the contours of surrounding objects can be obtained, so that the surrounding environment can be easily grasped, and the fatigue of drivers and workers can be reduced. In addition, it becomes possible to perform automatic driving and various operations more safely and accurately.
  • the technology according to the present disclosure can also be applied to the medical field. For example, if it is applied to the imaging of the operative site during surgery, it will be possible to observe the state of the operative site using not only normal images but also edge images, reducing operator fatigue and ensuring safer and more reliable surgery. It becomes possible to do Also, it becomes possible to perform diagnosis and the like with high accuracy.
  • a series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • a program recording a processing sequence is installed in a memory within a computer incorporated in dedicated hardware and executed.
  • the program can be installed and executed in a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program can be stored on a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disc, semiconductor memory card It can be temporarily or permanently stored (recorded) in a removable recording medium such as.
  • Such removable recording media can be provided as so-called package software.
  • the program can also be downloaded from the download site via a network such as WAN (Wide Area Network), LAN (Local Area Network) such as cellular, or the Internet to the computer wirelessly or by wire. You can transfer with The computer can receive the program transferred in this way and install it in a built-in recording medium such as a hard disk.
  • WAN Wide Area Network
  • LAN Local Area Network
  • the image processing apparatus of the present technology can also have the following configuration.
  • An image processing device comprising a high-pass image generation unit that generates a high-pass image using a second polarized image based on the above.
  • a first polarized pixel that generates pixel information of the first polarized image based on combined light obtained by combining the first polarized light and the second polarized light that have undergone the optical low-pass filtering;
  • the image processing apparatus according to any one of (1) to (4), further comprising a polarization image acquisition unit having second polarization pixels that generate pixel information of a two-polarization image.
  • (6) The image processing device according to (5), wherein the polarization image acquisition unit sets the angle difference between the polarization directions of the first polarization pixels and the second polarization pixels to 90 degrees.
  • the polarization image acquisition unit includes the second polarization pixels equal to or more than the first polarization pixels.
  • the image processing apparatus according to any one of (5) to (7), in which the polarization image acquisition section and the high-frequency image generation section are integrated. (9) further comprising a polarization optical unit that generates synthesized light by synthesizing the first polarized light and the second polarized light that have been subjected to the optical low-pass filtering,
  • the polarization optical unit is a polarization separation unit that separates the incident light into first polarized light and second polarized light; an optical filter unit that performs optical low-pass filter processing on the first polarized light; (1) a polarized light combiner configured to combine the first polarized light that has been subjected to the optical low-pass filtering and the second polarized light that has not been subjected to the optical low-pass filtering to generate combined light;
  • the image processing apparatus according to any one of (8) to (8).
  • the image processing apparatus has a depolarization element that depolarizes the incident light incident on the polarization separation section.
  • the polarization optical section includes a depolarization element that depolarizes polarized light incident on the optical filter section;
  • the image processing device according to (9) or (10), further comprising a polarizing filter that extracts the first polarized light from the non-polarized light that has been optically low-pass filtered by the optical filter section.
  • the polarization optical unit is generating pixel information of the first polarized image based on combined light obtained by combining the first polarized light that has undergone the optical low-pass filtering and the second polarized light that has not undergone the optical low-pass filtering;
  • the image processing device according to any one of (9) to (11), which is detachably attached to a polarization image acquisition unit having one polarization pixel and a second polarization pixel for generating pixel information of the second polarization image. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

低い演算コストで高速に高域画像を取得できるようにする。　偏光光学部２０は、入射光を第１偏光光と第２偏光光に分離して、第１偏光光に対して光学ローパスフィルタ処理を行い、光学ローパスフィルタ処理が行われた第１偏光光と、光学ローパスフィルタ処理が行われていない第２偏光光を合成して合成光を生成する。偏光画像取得部３０は、合成光に基づき、第１偏光画像の画素情報を生成する第１偏光画素と、第２偏光画像の画素情報を生成する第２偏光画素を有する。画像処理部４０は、偏光画像取得部３０で取得された第１偏光画像と第２偏光画像の差分演算を行い、高域画像を生成する。

Description

画像処理装置と画像処理方法およびプログラム
　この技術は、画像処理装置と画像処理方法およびプログラムに関し、容易に高域画像を得られるようにする。
　従来、高域画像（エッジ画像または空間差分画像ともいう）を取得するために、画像情報に対して例えばソーベルフィルタを用いたフィルタ処理が行われている。また、ハフ変換によって直線を検出することや非特許文献１のように画像上の輝度に関する勾配の強さのピークをエッジとして検出することが行われている。
Canny, J「A Computational Approach To Edge Detection」 IEEE Transactions on Pattern Analysis and Machine Intelligence,PAMI-8, NO. 6, 679－698, 1986.
　ところで、画像情報に対してフィルタ処理を行う場合あるいは直線や輝度に関する勾配の強さのピークを検出する場合、演算コストが高く高域画像を高速に取得することも難しい。
　そこで、本技術では、低い演算コストで高速に高域画像を取得できる画像処理装置を画像処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　入射光から生成されて光学ローパスフィルタ処理が行われた第１偏光光に基づく第１偏光画像と、前記入射光から生成されて前記光学ローパスフィルタ処理が行われていない第２偏光光に基づく第２偏光画像とを用いて高域画像を生成する高域画像生成部
を備える画像処理装置にある。
　この技術において、偏光光学部は、入射光を偏光分離部で第１偏光光と第２偏光光に分離して、第１偏光光に対して光学フィルタ部で光学ローパスフィルタ処理を行う。また、光学ローパスフィルタ処理が行われた第１偏光光と、光学ローパスフィルタ処理が行われていない第２偏光光とを偏光光合成部で合成して合成光を生成する。また、偏光光学部は、入射光を無偏光とする偏光解消素子を有してもよく、光学フィルタ部に入射される偏光光を無偏光とする偏光解消素子と光学フィルタ部で光学ローパスフィルタ処理された無偏光から第１偏光光を取り出す偏光フィルタとを有してもよい。
　偏光画像取得部は、合成光に基づいて第１偏光画像の画素情報を生成する第１偏光画素と合成光に基づいて第２偏光画像の画素情報を生成する第２偏光画素を有する。第１偏光画素と第２偏光画素との偏光方向の角度差は９０度とする。また、第２偏光画素が、第１偏光画素と等しくまたは多く設ける。
　画像処理部は、偏光光学部で生成された合成光に基づいて偏光画像取得部で取得された第１偏光画像と第２偏光画像とを用いた差分演算によって高域画像を生成する。差分演算では、異なる偏光光の画素情報を生成する周辺画素との差分を画素毎に算出して高域画像を生成する。また、画像処理部は、光学ローパスフィルタ処理による光量減少の補償を、第１偏光画像に対して行うようにしてもよい。
　偏光画像取得部と画像処理部は一体化して１つのデバイスとしてもよく、偏光光学部は、偏光画像取得部に対して着脱可能に設けてもよい。
　この技術の第２の側面は、
　入射光から生成されて光学ローパスフィルタ処理が行われた第１偏光光に基づく第１偏光画像と、前記入射光から生成されて前記光学ローパスフィルタ処理が行われていない第２偏光光に基づく第２偏光画像とを用いて高域画像を画像処理部で生成すること
を含む画像処理方法にある。
　この技術の第３の側面は、
　高域画像の生成をコンピュータで実行させるプログラムであって、
　入射光から生成されて光学ローパスフィルタ処理が行われた第１偏光光に基づく第１偏光画像と、前記入射光から生成されて前記光学ローパスフィルタ処理が行われていない第２偏光光に基づく第２偏光画像とから高域画像を生成する手順
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラムコードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
撮像システムの構成を例示した図である。 偏光光学部の構成を例示した図である。 偏光画像取得部の構成を例示した図である。 画像処理部の構成を例示した図である。 画像処理部の動作を例示したフローチャートである。 差分算出処理を説明するための図である。 第１偏光画素よりも第２偏光画素を多く設けた場合を例示した図である。 固体撮像デバイスの構成を例示した図である。 偏光光学部が偏光画像取得部に対して着脱可能に設ける場合を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．撮像システムの構成
　２．撮像システムの動作
　３．変形例
　４．応用例　
　＜１．撮像システムの構成＞
　図１は、本技術の画像処理装置を用いた撮像システムの構成を例示している。
　撮像システム１０は、偏光光学部２０と偏光画像取得部３０と画像処理部４０を有している。
　偏光光学部２０は、入射光を異なる電磁場の振動方向が異なる第１偏光光と第２偏光光に分離して、第１偏光光に対して光学ローパスフィルタを用いたフィルタ処理（以下「光学ローパスフィルタ処理」という）を行い、光学ローパスフィルタ処理後の第１偏光光と光学ローパスフィルタ処理が行われていない第２偏光光を合成して合成光を生成する。
　図２は、偏光光学部の構成を例示している。偏光光学部２０は、偏光解消素子２１と撮像レンズ２２、偏光分離素子（偏光分離部）２３、光路変更素子２４，２５、偏光解消素子２６ａ、光学ローパスフィルタ２７、偏光フィルタ２６ｂ、偏光光合成素子（偏光光合成部）２８を有している。
　偏光解消素子２１は、入射光（被写体光）をランダムな偏光状態（無偏光状態）とする。偏光解消素子２１は、ウエッジ状の複屈折結晶を貼り合わせた偏光解消板を用いてもよく、サブ波長構造領域をもつ偏光解消素子等を用いてもよい。偏光解消素子２１は、入射光を無偏光状態として撮像レンズ２２へ出射する。このように、偏光解消素子２１を設ければ、反射等によって入射光が特定の偏光状態とされていても、入射光の偏光状態による影響を防止できる。また、入射光が無偏光状態である場合は、偏光解消素子２１を設けなくともよい。
　撮像レンズ２２は、フォーカスレンズを用いて構成されており、偏光画像取得部３０の撮像面に被写体光学像を結像させる。また、撮像レンズ２２は、フォーカスレンズとズームレンズを用いて構成して、偏光画像取得部３０の撮像面に所望の像サイズの被写体光学像を結像できるようにしてもよい。
　偏光分離素子２３は、撮像レンズ２２を介した入射光を第１偏光光と第２偏光光に分離する。例えば、偏光分離素子２３は、ビームスプリッタで構成して、入射された光をビームスプリッタでＳ偏光光とＰ偏光光に分離する。なお、以下の説明では、Ｓ偏光光を第１偏光光、Ｐ偏光光を第２偏光光としているが、Ｐ偏光光を第１偏光光、Ｓ偏光光を第２偏光光としてもよい。偏光分離素子２３は、例えば図２に示すように、Ｐ偏光光を光路変更素子２４の方向、Ｓ偏光光を光路変更素子２５の方向へ出射する。
　光路変更素子２４は、偏光分離素子２３から出射されたＰ偏光光の光路を変更する。光路変更素子２４は、例えば鏡であり、偏光分離素子２３から出射されたＰ偏光光の光路を偏光光合成素子２８の方向に偏光状態を変化させることなく変更する。
　光路変更素子２５は、偏光分離素子２３から出射されたＳ偏光光の光路を変更する。光路変更素子２５は、例えば鏡であり、偏光分離素子２３から出射されたＳ偏光光の光路を偏光解消素子２６ａの方向に偏光状態を変化させることなく変更する。
　偏光解消素子２６ａは、光路変更素子２５で光路が変更されたＳ偏光光を無偏光状態とする。偏光解消素子２６ａは、偏光解消素子２１と同様に、ウエッジ状の複屈折結晶を貼り合わせた偏光解消板を用いてもよく、サブ波長構造領域をもつ偏光解消素子等を用いてもよい。偏光解消素子２６ａは、Ｓ偏光光を無偏光状態として光学ローパスフィルタ２７へ出射する。
　光学ローパスフィルタ２７は、入射光における予め設定された空間周波数よりも高い周波数成分を減衰させて出射する。光学ローパスフィルタ２７は、無偏光状態のＳ偏光光における予め設定された空間周波数よりも高い周波数成分を減衰させて、光学ローパスフィルタ処理後の透過光を偏光フィルタ２６ｂへ出射する。
　偏光フィルタ２６ｂは、光学ローパスフィルタ２７からの透過光から、所定の偏光成分の偏光光を抽出する。偏光フィルタ２６ｂは、ワイヤーグリッド偏光子を用いてもよく、結晶性材料を用いた偏光子等を用いてもよい。偏光フィルタ２６ｂは、偏光解消素子２６ａと対に用いられて、光学ローパスフィルタ２７からの透過光から、偏光解消素子２６ａで無偏光状態とされる前のＳ偏光光を抽出して偏光光合成素子２８へ出射する。
　なお、光学ローパスフィルタ２７が、入射光の偏光状態に影響されることなく光学ローパスフィルタ処理を行うことができる場合、偏光光学部２０では、偏光解消素子２６ａと偏光フィルタ２６ｂを設けなくともよい。また、偏光光学部２０では、偏光解消素子２６ａを設けることなく偏光フィルタ２６ｂのみを設けて、光学ローパスフィルタ２７からの透過光から、Ｓ偏光光を抽出して偏光光合成素子２８へ出射する構成でもよい。
　偏光光合成素子２８は、偏光分離素子２３で分離されて光学ローパスフィルタ処理が行われた第１偏光光と、偏光分離素子２３で分離された光学ローパスフィルタ処理が行われていない第２偏光光を合成して合成光を生成する。偏光光合成素子２８は、例えば光合成ハーフミラーで構成して、偏光分離素子２３で分離されて光学ローパスフィルタ２７で光学ローパスフィルタ処理が行われたＳ偏光光と、偏光分離素子２３で分離されて光学ローパスフィルタ処理が行われていないＰ偏光光と合成して、光学ローパスフィルタ処理が行われたＳ偏光光の光学像と光学ローパスフィルタ処理が行われていないＰ偏光光の光学像が位置ずれを生じることなく重なりあって、光学ローパスフィルタ処理が行われたＳ偏光光と光学ローパスフィルタ処理が行われていないＰ偏光光の出射方向が同一方向である合成光を偏光光学部２０から出射する。
　また、偏光光学部は、入射光から生成されて光学ローパスフィルタ処理が行われた第１偏光光と、入射光から生成されて光学ローパスフィルタ処理が行われていない第２偏光光を合成した合成光を出射できれば、図２に示す構成に限られない。例えば、偏光分離素子２３と光学ローパスフィルタ２７と偏光光合成素子２８が直線上に配置された構成であってもよく、望ましくは偏光光学部の小型化が可能な構成とする。
　図１に戻り、偏光画像取得部３０は、イメージセンサの入射面側に偏光フィルタを設けた構成されており、偏光光学部２０から出射された合成光に基づき、光学ローパスフィルタ処理が行われ第１偏光光に基づく偏光画像と、光学ローパスフィルタ処理が行われていない第２偏光光に基づく偏光画像を取得する。
　図３は偏光画像取得部の構成を例示している。偏光画像取得部３０は、例えば図３の（ａ）に示すように、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ３０１に、複数の偏光方向の画素構成とされた偏光フィルタ３０２を配置して偏光画像を取得する。偏光フィルタ３０２は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。また、偏光フィルタ３０２は、偏光光学部２０から出射された合成光から、光学ローパスフィルタ処理が行われた第１偏光光に基づいた偏光画像と、光学ローパスフィルタ処理が行われていない第２偏光光に基づいた偏光画像を取得できるように構成する。例えば、偏光フィルタ３０２は、イメージセンサ３０１が、偏光光学部２０から出射された合成光におけるＰ偏光光に基づく画素情報を生成する偏光画素とＳ偏光光に基づく画素情報を生成する偏光画素を備えるように、偏光方向が９０°の差を有する偏光フィルタを配置した構成とする。このような構成とすれば、偏光画像取得部３０は、光学ローパスフィルタ処理が行われたＳ偏光光に基づく偏光画像と光学ローパスフィルタ処理が行われていないＰ偏光光に基づく偏光画像を同時に取得できる。
　また、偏光画像取得部３０は、図３の（ｂ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサ３０１の前面にレンズ３０３を複数設けて、各レンズ３０３によって被写体の光学像をイメージセンサ３０１の撮像面にそれぞれ結像させる。また、各レンズ３０３の前面に偏光板３０４を設けて、偏光板３０４の偏光方向を、光学ローパスフィルタ処理が行われたＳ偏光光を透過する方向と、光学ローパスフィルタ処理が行われていないＰ偏光光を透過する方向とする。このように偏光画像取得部３０を構成すれば、１回の撮像でＳ偏光光に基づく偏光画像とＰ偏光光に基づく偏光画像を同時に取得できる。また、図３の（ｃ）に示すように、撮像部３１０-1，３１０-2の前に互いに偏光方向が異なる偏光板３１２-1，３１２-2を設けた構成として、異なる複数の視点から偏光方向が異なる複数の偏光画像を取得できるようにしてもよい。例えば、撮像部３１０-1の前に光学ローパスフィルタ処理が行われたＳ偏光光を透過す偏光板３１２-1と、撮像部３１０-2の前に光学ローパスフィルタ処理が行われていないＰ偏光光を透過する偏光板３１２-2を設けた構成として、異なる複数の視点から光学ローパスフィルタ処理が行われたＳ偏光光に基づく偏光画像と光学ローパスフィルタ処理が行われていないＰ偏光光に基づく偏光画像を取得してもよい。
　なお、被写体の動きが遅い場合やステップ的に動作する場合には、図３の（ｄ）に示すように、撮像部３１０の前に偏光板３１１を設けた構成としてもよい。この場合、偏光板３１１を回転させて、光学ローパスフィルタ処理が行われたＳ偏光光を透過する偏光方向と、光学ローパスフィルタ処理が行われていないＰ偏光光を透過する偏光方向でそれぞれ撮像を行い、光学ローパスフィルタ処理が行われたＳ偏光光に基づく偏光画像と光学ローパスフィルタ処理が行われていないＰ偏光光に基づく偏光画像をそれぞれ取得する。
　また、図３の（ｂ），（ｃ）の場合、被写体までの距離に対して各レンズ３０３や撮像部３１０-1，３１０-2の位置間隔が無視できる程度に短ければ、光学ローパスフィルタ処理が行われたＳ偏光光に基づく偏光画像と光学ローパスフィルタ処理が行われていないＰ偏光光に基づく偏光画像では視差を無視することができる。なお、視差を無視することができない場合は、光学ローパスフィルタ処理が行われたＳ偏光光に基づく偏光画像と光学ローパスフィルタ処理が行われていないＰ偏光光に基づく偏光画像を視差量に応じて位置合わせしてもよい。
　図１に戻り、画像処理部４０は、偏光画像取得部３０で取得された光学ローパスフィルタ処理が行われた第１偏光光に基づく第１偏光画像と光学ローパスフィルタ処理が行われていない第２偏光光に基づく第２偏光画像を用いて、被写体画像から高域成分を抽出した高域画像を生成する。
　図４は、画像処理部の構成を例示している。画像処理部４０は、偏光画像取得部３０で取得された偏光画像を用いて高域画像を生成する。画像処理部４０は、例えば補償部４１と高域画像生成部４２を有している。
　補償部４１は、光学ローパスフィルタ処理を行うことにより減少した光量を補償するため、光学ローパスフィルタ処理が行われた第１偏光画像に対してゲイン調整を行う。なお、補償に用いるゲインは、予め光学ローパスフィルタ処理を行うことにより減少する光量を予め計測して、計測結果に基づき画面全体あるいは画素位置毎に設定しておく。
　高域画像生成部４２は、第２偏光光に基づく偏光画像と、補償部４１でゲイン調整が行われた第１偏光画像との差分を算出して高域画像を生成する。高域画像生成部４２は、高域画像を示す画像データとして、正値あるいは負値の差分を用いてもよく、差分絶対値を用いてもよい。また、差分や差分絶対値のビット幅を少なくして、高域画像のデータ量を削減してもよい。また、差分あるいは差分絶対値と予め設定された閾値を比較して、比較結果を示す二値データを高域画像の画像データとしてもよい。
　なお、画像処理部４０は、高域画像において光学ローパスフィルタ処理による光量の減少を考慮する必要がない場合、補償部４１を設けていない構成としてもよい。
　＜２．撮像システムの動作＞
　次に、撮像システムの動作について説明する。偏光光学部２０は、上述したように、入射光を第１偏光光と第２偏光光に分離して、第１偏光光に対して光学ローパスフィルタ処理を行い、フィルタ処理後の第１偏光光と光学ローパスフィルタ処理が行われていない第２偏光光を合成して合成光を生成する。例えば、図２に示す構成の偏光光学部２０は、入射光をＳ偏光光とＰ偏光光に分離して、Ｓ偏光光に対して光学ローパスフィルタ処理を行い、フィルタ処理後のＳ偏光光と光学ローパスフィルタ処理が行われていないＰ偏光光を合成して合成光を生成する。
　偏光画像取得部３０は、イメージセンサの入射面側に偏光フィルタを設けた構成として、偏光光学部２０から出射された合成光に基づき、光学ローパスフィルタ処理が行われた偏光光に基づく偏光画像と、光学ローパスフィルタ処理が行われていない偏光光に基づく偏光画像を取得する。
　例えば、偏光光学部２０が図２に示す構成である場合、偏光画像取得部３０は、Ｓ偏光光を透過する偏光フィルタを設けた画素とＰ偏光光を透過する偏光フィルタを設けた画素がモザイク状あるいはそれぞれライン状に配置された画素構成となるように偏光フィルタを配置する。偏光画像取得部３０は、Ｓ偏光光を透過する偏光フィルタを設けた画素を用いることで、光学ローパスフィルタ処理が行われているＳ偏光光に基づく偏光画像を取得して、Ｐ偏光光を透過する偏光フィルタを設けた画素を用いることで、光学ローパスフィルタ処理が行われていないＰ偏光光に基づく偏光画像を取得する。
　画像処理部４０は、偏光画像取得部３０で生成された偏光画像を用いて、被写体画像から高域成分を抽出した高域画像を生成する。図５は、画像処理部の動作を例示したフローチャートである。
　ステップＳＴ１で画像処理部４０は偏光画像を取得する。画像処理部４０は、偏光光学部２０が図２に示す構成である場合、偏光画像取得部３０で生成された光学ローパスフィルタ処理が行われているＳ偏光光に基づく偏光画像と光学ローパスフィルタ処理が行われていないＰ偏光光に基づく偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で画像処理部４０は補償処理を行う。画像処理部４０は、例えば偏光光学部２０が図２に示す構成である場合、偏光画像取得部３０で生成された光学ローパスフィルタ処理が行われているＳ偏光光に基づく偏光画像に対して、光学ローパスフィルタ処理によってＳ偏光光に生じた光量の減少を補償するゲイン調整を行いステップＳＴ３に進む。
　ステップＳＴ３で画像処理部４０は差分演算処理を行う。Ｓ偏光光に基づく偏光画像とＰ偏光光に基づく偏光画像との差分を算出する。図６は、差分算出処理を説明するための図である。
　図６は、偏光画像取得部３０において偏光方向の等しい偏光画素が水平方向あるいは垂直方向に２画素並んで配置されている場合を例示している。
　図６の（ａ）は、偏光方向の等しい偏光画素が水平方向に２画素並んで配置されている場合を示している。この場合、画像処理部４０は垂直方向に隣接する偏光画素間で差分を算出する。
　図６の（ｂ）は、偏光方向の等しい偏光画素が垂直方向に２画素並んで配置されている場合を示している。この場合、画像処理部４０は水平方向に隣接する偏光画素間で差分を算出する。
　図６の（ｃ）は、偏光方向の等しい偏光画素が水平方向に２画素並んで配置されている場合を示している。この場合、画像処理部４０は斜め方向に隣接する偏光画素間で差分を算出する。
　図６の（ｄ）は、偏光方向の等しい偏光画素が垂直方向に２画素並んで配置されている場合を示している。この場合、画像処理部４０は斜め方向に隣接する偏光画素間で差分を算出する。
　図６の（ｅ）は、偏光方向の等しい偏光画素が水平方向に２画素並んで配置されている場合を示している。この場合、画像処理部４０は水平方向に並んでいる２画素の画素演算値（加算値あるいは平均値）を算出して、偏光方向が異なる画素演算値の差分を算出する。
　図６の（ｆ）は、偏光方向の等しい偏光画素が垂直方向に２画素並んで配置されている場合を示している。この場合、画像処理部４０は垂直方向に並んでいる２画素の画素演算値（加算値あるいは平均値）を算出して、偏光方向が異なる画素演算値の差分を算出する。
　なお、図６では、偏光方向の等しい偏光画素が水平方向あるいは垂直方向に２画素並んで配置されている場合を例示したが、偏光方向の異なる偏光画素を交互に水平方向および垂直方向に配置して、偏光方向の異なる偏光画素がモザイク状に配置された構成であってもよい。この場合、偏光方向が異なる隣接した偏光画素間で差分を算出する。
　また、偏光画像取得部３０で取得された偏光画像を用いて種々のアプリケーションで処理を行う場合、偏光画像は光学ローパスフィルタ処理が行われていない画像が望ましい。このような場合、偏光画像取得部３０は、光学ローパスフィルタ処理が行われている第１偏光光に基づいた画素情報を生成する偏光画素（第１偏光画素とする）よりも、光学ローパスフィルタ処理が行われていない第２偏光光に基づいた画素情報を生成する偏光画素（第２偏光画素とする）の画素数を多くする。
　図７は、第１偏光画素よりも第２偏光画素を多く設けた場合を例示しており、２×２画素の偏光画素ブロック内において第１偏光画素を１画素、第２偏光画素を３画素設けた場合を示している。
　このように、第１偏光画素よりも第２偏光画素を多く設けた場合、画素数の多い第２偏光画素では、光学ローパスフィルタ処理が行われていない偏光光に応じた画素情報を多く取得できる。また、画素数の少ない第１偏光画素では光学ローパスフィルタ処理が行われて高域成分が除かれた画素情報を取得できる。
　図７の（ａ）は、偏光方向が異なる垂直方向に隣接した偏光画素間で差分を算出する場合を示しており、図７の（ｂ）は、偏光方向が異なる水平方向に隣接した偏光画素間で差分を算出する場合を示している。また、図７の（ｃ）は、偏光方向が異なる斜め方向に隣接した偏光画素間で差分を算出する場合を示している。
　画像処理部４０は、Ｓ偏光光に基づいた画素情報を生成する偏光画素と、この偏光画素に隣接するＰ偏光光に基づいた画素情報を生成する偏光画素と差分を算出してステップＳＴ４に進む。
　ステップＳＴ４で画像処理部４０は高域画像を生成する。画像処理部４０は、ステップＳＴ３で算出した差分に基づき、被写体画像の高域成分を示す高域画像を生成する。画像処理部４０は、上述したように、正値あるいは負値の差分あるいは差分絶対値を、高域画像を示す画像データとして用いてもよく、差分や差分絶対値のビット幅を小さくして、高域画像のデータ量を削減してもよい。また、差分または差分絶対値と予め設定された閾値を比較して、比較結果を示す二値データを高域画像を示す画像データとしてもよい。
　式（１）は、二値データＤedの生成式を例示している。なお、式（１）において、「Ｉｐ」は光学ローパスフィルタ処理が行われていないＰ偏光光に基づいた画素情報（画素値）、「Ｉｓ」は光学ローパスフィルタ処理が行われているＳ偏光光に基づいた画素情報（画素値）を示している。また、「δ」は予め設定された閾値である。
Figure JPOXMLDOC01-appb-M000001
　画像処理部４０は、差分絶対値と閾値との比較に基づき二値データＤedを生成することで、高域画像としてエッジの位置を示すエッジ画像を生成できる。
　このように、本技術は、光学ローパスフィルタ処理によって高域成分を減衰させた偏光光を生成して、光学ローパスフィルタ処理が行われた偏光光に基づく偏光画像と光学ローパスフィルタ処理が行われていない偏光光に基づく偏光画像とから高域画像を取得する。したがって、本技術によれば、画像情報に対してフィルタ処理あるいは直線や輝度に関する勾配の強さのピーク検出等を行って高域画像を生成する場合に比べて、演算コストが低く高速に高域画像を取得できるようになる。
　＜３．変形例＞
　ところで、撮像システム１０は、偏光画像取得部３０と画像処理部４０を別個に設ける場合に限らない。すなわち、本技術の画像処理装置は、偏光画像取得部３０と高域画像生成部４２を一体化した固体撮像デバイスであってもよい。
　図８は、固体撮像デバイスの構成を例示している。固体撮像デバイス５０は、画素部５１と信号処理部５２と制御部５３を有している。
　画素部５１は、光電変換を行う画素がアレイ状に配置された構成されている。画素部５１は、上述のように偏光フィルタが設けられた画素において、偏光フィルタを透過した偏光光の光量に応じた画素信号を生成する。
　信号処理部５２には、垂直駆動回路やカラム信号処理回路及び水平駆動回路等が設けられている。
　垂直駆動回路は、制御部５３からのクロック信号や制御信号に基づき、画素部５１の画素を行単位で順次垂直方向に選択走査して、各画素で生成された画素信号を読み出してカラム信号処理回路に供給する。
　カラム信号処理回路は、制御部５３からのクロック信号や制御信号に基づき、画素から読み出された画素信号に対して画素列ごとにノイズ除去などの信号処理を行う。例えば、カラム信号処理回路は、画素固有の固定パターンノイズを除去するためのＣＤＳ(Correlated Double Sampling：相関２重サンプリング)等の信号処理を行う。
　水平駆動回路は、制御部５３からのクロック信号や制御信号に基づき、カラム信号処理回路の画素列を順に選択して、信号処理された画素信号を出力させる。
　また、信号処理部５２は、画素部５１から出力された画素信号に対して、上述の画像処理部４０と同様に演算処理を行う。例えば、信号処理部５２は、カラム信号処理回路から出力された画素信号を例えばラインバッファに順次記憶して、ラインバッファに記憶されているラインの画素信号とカラム信号処理回路から出力される次ラインの画素信号を用いて、図６，７に示すように偏光方向が異なる隣接する画素間で差分を算出する。なお、図６の（ｂ）に示すように、偏光方向が異なる水平方向に隣接する画素間で差分を算出する場合はラインバッファを設けていなくともよい。信号処理部５２における利得調整や演算処理は、アナログ画素信号を用いて行い、処理結果をデジタル信号に変換してもよく、アナログ画素信号をデジタル画素信号に変換して、デジタル画素信号を用いて利得調整や演算処理を行ってもよい。
　さらに、信号処理部５２は、正値あるいは負値の差分結果を示す信号、あるいは差分絶対値を示す信号、差分や差分絶対値のビット幅を小さくした信号、差分あるいは差分絶対値と予め設定された閾値を比較して、比較結果を示す信号を高域画像の画像データとして出力する。
　制御部５３は、垂直同期信号、水平同期信号及びクロック信号に基づいて、垂直駆動回路、カラム信号処理回路及び水平駆動回路などの動作の基準となるクロック信号や制御信号を生成して信号処理部５２へ出力する。
　このように、固体撮像デバイスを構成すれば、高域画像を用いるシステムの小型化や軽量化が容易となる。
　また、撮像システム１０は、偏光光学部２０を偏光画像取得部３０に固定して設けた場合に限らず、偏光画像取得部３０に対して偏光光学部２０を着脱可能に設けてもよい。
　図９は、偏光光学部が偏光画像取得部に対して着脱可能に設ける場合を例示している。偏光光学部２０は、マウント機構６０を介して偏光画像取得部３０に取り付けられる。マウント機構６０は、偏光画像取得部３０に対して偏光光学部２０を着脱可能に保持する。また、マウント機構６０は、偏光画像取得部３０の第１偏光画素が偏光光学部２０から出射される合成光に含まれる第１偏光光の透過が最大となる偏光方向の偏光画素、第２偏光画素が偏光光学部２０から出射される合成光に含まれる第２偏光光の透過が最大となる偏光方向の偏光画素となるように、偏光光学部２０と偏光画像取得部３０を位置決めする。
　このように、偏光光学部を偏光画像取得部に対して着脱可能に設けるようにすれば、焦点距離とズーム倍率と光学ローパスフィルタのフィルタ特性の少なくともいずれかが異なる偏光光学部を選択して用いることが可能となり、所望の画角やフィルタ特性等で高域画像を容易に取得できるようになる。
　＜４．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、周囲の物体等の輪郭を示すエッジ画像を取得できるので、周辺環境を容易に把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転や種々の作業等をより安全に精度よく行うことが可能となる。
　本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像に適用すれば、術部の状況を通常画像だけでなくエッジ画像を用いて観察できるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。また、診断等も精度よく行うことが可能となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからセルラーに代表されるＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　入射光から生成されて光学ローパスフィルタ処理が行われた第１偏光光に基づく第１偏光画像と、前記入射光から生成されて前記光学ローパスフィルタ処理が行われていない第２偏光光に基づく第２偏光画像とを用いて高域画像を生成する高域画像生成部
を備える画像処理装置。
　（２）　前記高域画像生成部は、前記第１偏光画像と前記第２偏光画像を用いた差分演算を行い、前記高域画像を生成する（１）に記載の画像処理装置。
　（３）　前記高域画像生成部は、異なる偏光光の画素情報を生成する周辺画素との差分を画素毎に算出して前記高域画像を生成する（２）に記載の画像処理装置。
　（４）　前記高域画像生成部は、前記光学ローパスフィルタ処理による光量減少の補償を、前記第１偏光画像に対して行う（１）乃至（３）の何れかに記載の画像処理装置。
　（５）　前記光学ローパスフィルタ処理が行われた前記第１偏光光と前記第２偏光光を合成した合成光に基づき、前記第１偏光画像の画素情報を生成する第１偏光画素と、前記第２偏光画像の画素情報を生成する第２偏光画素を有する偏光画像取得部をさらに備える（１）乃至（４）の何れかに記載の画像処理装置。
　（６）　前記偏光画像取得部は、前記第１偏光画素と前記第２偏光画素との偏光方向の角度差を９０度とする（５）に記載の画像処理装置。
　（７）　前記偏光画像取得部は、前記第２偏光画素を、前記第１偏光画素と等しくまたは多く設けた（５）または（６）に記載の画像処理装置。
　（８）　前記偏光画像取得部と前記高域画像生成部を一体化した（５）乃至（７）の何れかに記載の画像処理装置。
　（９）　前記光学ローパスフィルタ処理が行われた前記第１偏光光と前記第２偏光光を合成した合成光を生成する偏光光学部をさらに備え、
　前記偏光光学部は、
　前記入射光を第１偏光光と第２偏光光に分離する偏光分離部と、
　前記第１偏光光に対して光学ローパスフィルタ処理を行う光学フィルタ部と、
　前記光学ローパスフィルタ処理が行われた前記第１偏光光と、前記光学ローパスフィルタ処理が行われていない前記第２偏光光とを合成して合成光を生成する偏光光合成部と
を有する（１）乃至（８）の何れかに記載の画像処理装置。
　（１０）　前記偏光光学部は、前記偏光分離部に入射する前記入射光を無偏光とする偏光解消素子を有する（９）に記載の画像処理装置。
　（１１）　前記偏光光学部は、前記光学フィルタ部に入射される偏光光を無偏光とする偏光解消素子と、
　前記光学フィルタ部で光学ローパスフィルタ処理された前記無偏光から前記第１偏光光を取り出す偏光フィルタを有する（９）または（１０）に記載の画像処理装置。
　（１２）　前記偏光光学部は、
　前記光学ローパスフィルタ処理が行われた前記第１偏光光と前記光学ローパスフィルタ処理が行われていない前記第２偏光光を合成した合成光に基づき、前記第１偏光画像の画素情報を生成する第１偏光画素と、前記第２偏光画像の画素情報を生成する第２偏光画素を有する偏光画像取得部に対して着脱可能に設けた（９）乃至（１１）の何れかに記載の画像処理装置。
　１０・・・撮像システム
　２０・・・偏光光学部
　２１，２６ａ・・・偏光解消素子
　２２・・・撮像レンズ
　２３・・・偏光分離素子
　２４，２５・・・光路変更素子
　２６ｂ・・・偏光フィルタ
　２７・・・光学ローパスフィルタ
　２８・・・偏光光合成素子
　３０・・・偏光画像取得部
　４０・・・画像処理部
　４１・・・補償部
　４２・・・高域画像生成部
　５０・・・固体撮像デバイス
　５１・・・画素部
　５２・・・信号処理部
　５３・・・制御部
　６０・・・マウント機構
　３０１・・・イメージセンサ
　３０２・・・偏光フィルタ
　３０３・・・レンズ
　３０４，３１１，３１２-1，３１２-2・・・偏光板
　３１０，３１０-1，３１０-2・・・撮像部

Claims (14)

  1. 　入射光から生成されて光学ローパスフィルタ処理が行われた第１偏光光に基づく第１偏光画像と、前記入射光から生成されて前記光学ローパスフィルタ処理が行われていない第２偏光光に基づく第２偏光画像とを用いて高域画像を生成する高域画像生成部
    を備える画像処理装置。
  2. 　前記高域画像生成部は、前記第１偏光画像と前記第２偏光画像を用いた差分演算を行い、前記高域画像を生成する
    請求項１に記載の画像処理装置。
  3. 　前記高域画像生成部は、異なる偏光光の画素情報を生成する周辺画素との差分を画素毎に算出して前記高域画像を生成する
    請求項２に記載の画像処理装置。
  4. 　前記高域画像生成部は、前記光学ローパスフィルタ処理による光量減少の補償を、前記第１偏光画像に対して行う
    請求項１に記載の画像処理装置。
  5. 　前記光学ローパスフィルタ処理が行われた前記第１偏光光と前記第２偏光光を合成した合成光に基づき、前記第１偏光画像の画素情報を生成する第１偏光画素と、前記第２偏光画像の画素情報を生成する第２偏光画素を有する偏光画像取得部をさらに備える
    請求項１に記載の画像処理装置。
  6. 　前記偏光画像取得部は、前記第１偏光画素と前記第２偏光画素との偏光方向の角度差を９０度とする
    請求項５に記載の画像処理装置。
  7. 　前記偏光画像取得部は、前記第２偏光画素を、前記第１偏光画素と等しくまたは多く設けた
    請求項５に記載の画像処理装置。
  8. 　前記偏光画像取得部と前記高域画像生成部を一体化した
    請求項５に記載の画像処理装置。
  9. 　前記光学ローパスフィルタ処理が行われた第１偏光光と前記第２偏光光を合成した合成光を生成する偏光光学部をさらに備え、
    　前記偏光光学部は、
    　前記入射光を第１偏光光と第２偏光光に分離する偏光分離部と、
    　前記第１偏光光に対して光学ローパスフィルタ処理を行う光学フィルタ部と、
    　前記光学ローパスフィルタ処理が行われた前記第１偏光光と、前記光学ローパスフィルタ処理が行われていない前記第２偏光光とを合成して合成光を生成する偏光光合成部と
    を有する
    請求項１に記載の画像処理装置。
  10. 　前記偏光光学部は、前記偏光分離部に入射する前記入射光を無偏光とする偏光解消素子を有する
    請求項９に記載の画像処理装置。
  11. 　前記偏光光学部は、前記光学フィルタ部に入射される偏光光を無偏光とする偏光解消素子と、
    　前記光学フィルタ部で光学ローパスフィルタ処理された前記無偏光から前記第１偏光光を取り出す偏光フィルタを有する
    請求項９に記載の画像処理装置。
  12. 　前記偏光光学部は、
    　前記光学ローパスフィルタ処理が行われた前記第１偏光光と前記光学ローパスフィルタ処理が行われていない前記第２偏光光を合成した合成光に基づき、前記第１偏光画像の画素情報を生成する第１偏光画素と、前記第２偏光画像の画素情報を生成する第２偏光画素を有する偏光画像取得部に対して着脱可能に設けた
    請求項９に記載の画像処理装置。
  13. 　入射光から生成されて光学ローパスフィルタ処理が行われた第１偏光光に基づく第１偏光画像と、前記入射光から生成されて前記光学ローパスフィルタ処理が行われていない第２偏光光に基づく第２偏光画像とを用いて高域画像を高域画像生成部で生成すること
    を含む画像処理方法。
  14. 　高域画像の生成をコンピュータで実行させるプログラムであって、
    　入射光から生成されて光学ローパスフィルタ処理が行われた第１偏光光に基づく第１偏光画像と、前記入射光から生成されて前記光学ローパスフィルタ処理が行われていない第２偏光光に基づく第２偏光画像とから高域画像を生成する手順
    を前記コンピュータで実行させるプログラム。
PCT/JP2022/035755 2021-11-22 2022-09-26 画像処理装置と画像処理方法およびプログラム WO2023089956A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023561432A JPWO2023089956A1 (ja) 2021-11-22 2022-09-26
EP22895242.0A EP4440129A1 (en) 2021-11-22 2022-09-26 Image processing device, image processing method, and program
CN202280075819.7A CN118251897A (zh) 2021-11-22 2022-09-26 图像处理装置、图像处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021189212 2021-11-22
JP2021-189212 2021-11-22

Publications (1)

Publication Number Publication Date
WO2023089956A1 true WO2023089956A1 (ja) 2023-05-25

Family

ID=86396744

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035755 WO2023089956A1 (ja) 2021-11-22 2022-09-26 画像処理装置と画像処理方法およびプログラム

Country Status (4)

Country Link
EP (1) EP4440129A1 (ja)
JP (1) JPWO2023089956A1 (ja)
CN (1) CN118251897A (ja)
WO (1) WO2023089956A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120602A (ja) * 2002-09-27 2004-04-15 Matsushita Electric Ind Co Ltd 撮像方法、撮像装置、撮像装置におけるプログラム、その媒体
JP2016075561A (ja) * 2014-10-06 2016-05-12 パナソニックＩｐマネジメント株式会社 光沢判定装置および光沢判定方法
JP2019004203A (ja) * 2017-06-12 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム。

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120602A (ja) * 2002-09-27 2004-04-15 Matsushita Electric Ind Co Ltd 撮像方法、撮像装置、撮像装置におけるプログラム、その媒体
JP2016075561A (ja) * 2014-10-06 2016-05-12 パナソニックＩｐマネジメント株式会社 光沢判定装置および光沢判定方法
JP2019004203A (ja) * 2017-06-12 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム。

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CANNY, J: "A Computational Approach To Edge Detection", EEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,PAMI, vol. 8, no. 6, 1986, pages 679 - 698, XP000604891, DOI: 10.1109/TPAMI.1986.4767851

Also Published As

Publication number Publication date
CN118251897A (zh) 2024-06-25
JPWO2023089956A1 (ja) 2023-05-25
EP4440129A1 (en) 2024-10-02

Similar Documents

Publication Publication Date Title
JP5421365B2 (ja) ３次元撮像装置
EP2760209B1 (en) Image processing device, method, program and recording medium, stereoscopic image capture device, portable electronic apparatus, printer, and stereoscopic image player device
WO2020213238A1 (ja) 撮像装置と画像処理装置および画像処理方法
US20130038690A1 (en) Method and apparatus for generating three-dimensional image information
JP2013038503A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2012186789A (ja) 撮像装置
JP2012230341A5 (ja)
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
JP2017191986A5 (ja)
WO2023089956A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP2014155071A5 (ja)
JP2013102322A (ja) 撮像装置及び撮像方法
WO2022113568A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2021140873A1 (ja) 画像処理装置と画像処理方法および撮像装置
JP2013106217A (ja) 奥行き推定撮像装置
JP2018117282A (ja) 撮像装置、その制御方法、および制御プログラム
CN115769594A (zh) 图像处理装置、图像处理方法和程序
WO2020049816A1 (ja) 情報処理装置と情報処理方法およびプログラム
JP2012088549A (ja) 立体画像撮像装置、立体画像表示装置、および立体画像撮像表示装置
WO2022107530A1 (ja) 信号処理装置と信号処理方法およびプログラム
US9338435B2 (en) Grid modulated single lens 3-D camera
JP2009133642A (ja) 画像処理装置、撮像装置及び画像処理プログラム
US11496665B2 (en) Image capturing apparatus and control method thereof
WO2021024577A1 (ja) 撮像制御装置と撮像制御方法とプログラムおよび撮像装置
WO2023100467A1 (ja) 情報処理装置と情報処理方法とプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895242

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023561432

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280075819.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022895242

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022895242

Country of ref document: EP

Effective date: 20240624