WO2015152423A1 - 撮像素子、撮像装置および画像処理装置 - Google Patents

撮像素子、撮像装置および画像処理装置 Download PDF

Info

Publication number
WO2015152423A1
WO2015152423A1 PCT/JP2015/060715 JP2015060715W WO2015152423A1 WO 2015152423 A1 WO2015152423 A1 WO 2015152423A1 JP 2015060715 W JP2015060715 W JP 2015060715W WO 2015152423 A1 WO2015152423 A1 WO 2015152423A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
visible
invisible
pixel value
image data
Prior art date
Application number
PCT/JP2015/060715
Other languages
English (en)
French (fr)
Inventor
石賀　健一
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201580018356.0A priority Critical patent/CN106165398B/zh
Priority to JP2016511655A priority patent/JP6354838B2/ja
Publication of WO2015152423A1 publication Critical patent/WO2015152423A1/ja
Priority to US15/285,050 priority patent/US10291901B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording

Definitions

  • the present invention relates to an imaging device, an imaging apparatus, and an image processing apparatus.
  • Patent Literature Japanese Patent Application Laid-Open No. 2003-7994
  • the imaging device includes a plurality of types of aperture masks each having openings positioned so as to allow different partial light beams to pass through the photoelectric conversion device with respect to an incident light beam in a visible light wavelength band.
  • Any of the visible parallax pixels associated with photoelectric conversion pixels that receive light in the visible range and the photoelectric conversion elements are positioned to pass different partial light beams with respect to incident light beams in the wavelength band of invisible light.
  • Any of a plurality of types of opening masks each having an opening includes a non-visible parallax pixel associated with a photoelectric conversion pixel that receives a non-visible light region.
  • the imaging apparatus includes an optical system that guides an incident light beam, and includes a control unit that performs an autofocus control on a main subject whose visible light captures the in-focus position of the optical system. It is an imaging device incorporating the imaging element.
  • An imaging device generates a plurality of visible parallax image data having a parallax and a plurality of invisible parallax image data having a parallax from each other from the imaging device and the output of the imaging device.
  • An image processing unit An image processing unit.
  • An image processing apparatus includes an input unit that inputs visible image data and non-visible image data generated from a pixel signal output from the same surface of an image sensor by one imaging, and visible image data And an image processing unit that newly calculates one of the invisible image data and the other.
  • An image processing apparatus includes an image without visible parallax in a reference direction viewpoint in a wavelength band of visible light of a subject image, and a first viewpoint different from the reference direction viewpoint in a wavelength band of visible light.
  • the invisible first parallax image and the invisible second parallax image of the second viewpoint are input, and the newly calculated pixel value of the visible first parallax image is changed to the newly calculated pixel value of the visible first parallax image.
  • a difference between the pixel values of the non-parallax image is calculated so as to maintain a correlation with at least the difference between the pixel value of the invisible first parallax image and the pixel value of the invisible second parallax image; A new visible first parallax image is output.
  • An image processing apparatus includes an image having no visible parallax in a reference direction viewpoint in a wavelength band of visible light of a subject image, and a first viewpoint different from the reference direction viewpoint in a wavelength band of visible light.
  • the invisible first parallax image and the invisible second parallax image of the second viewpoint are inputted, and the newly calculated pixel value of the invisible first parallax image is newly calculated as the pixel value of the invisible first parallax image.
  • the image processing apparatus includes an image having no visible parallax at the viewpoint in the reference direction of the wavelength band of visible light of the subject image, and a first viewpoint different from the viewpoint in the reference direction of the wavelength band of visible light.
  • the invisible first parallax image and the invisible second parallax image of the second viewpoint are input, and the newly calculated pixel value of the visible first parallax image is changed to the newly calculated pixel value of the visible first parallax image.
  • the ratio defined between the pixel values of the non-parallax image is at least correlated with the ratio defined between the pixel value of the invisible first parallax image and the pixel value of the invisible second parallax image. It calculates so that it may maintain, and a new visible 1st parallax image is output.
  • An image processing apparatus includes an image having no visible parallax at a viewpoint in a reference direction of a wavelength band of visible light of a subject image, and a first viewpoint different from a viewpoint in a reference direction of a wavelength band of visible light.
  • a visible first parallax image and a visible second parallax image of a second viewpoint an image of a non-visible parallax in a reference direction of a wavelength band of invisible light of a subject image, and a first viewpoint of a wavelength band of invisible light
  • the invisible first parallax image and the invisible second parallax image of the second viewpoint are inputted, and the newly calculated pixel value of the invisible first parallax image is newly calculated as the pixel value of the invisible first parallax image.
  • An image processing apparatus includes an input unit that inputs visible image data and non-visible image data generated from a pixel signal output from the same surface of an imaging element by one imaging, and visible image data And an image processing unit that superimposes a parallax component included in at least one of the invisible image data on the other.
  • the digital camera according to the present embodiment which is one form of the imaging device, can generate an image corresponding to the wavelength band of visible light and an image corresponding to the wavelength band of invisible light for one scene by one shooting. It is configured.
  • an image having a plurality of viewpoints can be generated for one scene by one shooting.
  • Each image having a different viewpoint is called a parallax image.
  • a parallax image with two viewpoints corresponding to the right eye and the left eye will be described.
  • the digital camera according to the present embodiment can generate a parallax-free image with no parallax from the central viewpoint as the viewpoint in the reference direction along with the parallax image.
  • the parallax pixel at the left viewpoint may be referred to as the parallax Lt pixel or the left parallax pixel
  • the parallax pixel at the right viewpoint may be referred to as the parallax Rt pixel or the right parallax pixel
  • the non-parallax pixel may be referred to as the N pixel.
  • the parallax image of the left viewpoint may be referred to as a parallax Lt image or a left parallax image
  • the parallax image of the right viewpoint may be referred to as a parallax Rt image or a right parallax image
  • an image without parallax may be referred to as an N image.
  • a pixel that photoelectrically converts the wavelength band of visible light in the incident light beam may be referred to as a visible pixel
  • a pixel that photoelectrically converts the wavelength band of invisible light may be referred to as a non-visible pixel.
  • FIG. 1 is a diagram illustrating a configuration of a digital camera 10 according to the present embodiment.
  • the digital camera 10 includes a photographic lens 20 as a photographic optical system and an image sensor 100.
  • the taking lens 20 guides the subject luminous flux incident along the optical axis 21 to the image sensor 100.
  • an infrared cut filter is not disposed at a position corresponding to at least a non-visible pixel in the image sensor 100 in the previous stage of the image sensor 100.
  • the digital camera 10 includes a control unit 201, an A / D conversion circuit 202, a memory 203, a drive unit 204, an image processing unit 205, a memory card IF 207, an operation unit 208, a display unit 209, in addition to the photographing lens 20 and the image sensor 100. And an LCD drive circuit 210.
  • the direction parallel to the optical axis 21 toward the image sensor 100 is defined as the + Z-axis direction
  • the direction toward the back of the paper surface on the plane orthogonal to the Z-axis is the + X-axis direction
  • the direction toward the paper surface is + Y. It is defined as the axial direction.
  • the X axis is the horizontal direction
  • the Y axis is the vertical direction.
  • the photographing lens 20 is composed of a plurality of optical lens groups, and forms an image of a subject light flux from the scene in the vicinity of its focal plane.
  • the photographing lens 20 may be an interchangeable lens that can be attached to and detached from the digital camera 10.
  • the photographic lens 20 is represented by a single virtual lens arranged in the vicinity of the pupil.
  • the image sensor 100 is disposed in the vicinity of the focal plane of the photographing lens 20.
  • the image sensor 100 is an image sensor such as a CCD or CMOS in which a plurality of pixels are two-dimensionally arranged.
  • the image sensor 100 is controlled in timing by the drive unit 204, converts the subject image formed on the light receiving surface into an image signal, and outputs the image signal to the A / D conversion circuit 202.
  • the image signal output to the A / D conversion circuit 202 includes an image signal corresponding to the wavelength band of visible light and an image signal corresponding to the wavelength band of invisible light.
  • the A / D conversion circuit 202 converts the image signal output from the image sensor 100 into a digital image signal and outputs the digital image signal to the memory 203.
  • the image processing unit 205 performs various image processing using the memory 203 as a work space, and generates image data.
  • the image processing unit 205 also has general image processing functions such as adjusting image data in accordance with the selected image format.
  • the generated image data is converted into a display signal by the LCD drive circuit 210 and displayed on the display unit 209.
  • the data is recorded on the memory card 220 attached to the memory card IF 207.
  • a series of shooting sequences is started when the operation unit 208 receives a user operation and outputs an operation signal to the control unit 201.
  • Various operations such as AF and AE accompanying the imaging sequence are executed under the control of the control unit 201.
  • FIG. 2 is a schematic diagram illustrating a cross section of the image sensor 100.
  • the imaging element 100 is configured by arranging a micro lens 101, an optical filter 102, an aperture mask 103, a wiring layer 105, and a photoelectric conversion element 108 in order from the subject side.
  • the photoelectric conversion element 108 is configured by a photodiode that converts incident light into an electrical signal.
  • a plurality of photoelectric conversion elements 108 are two-dimensionally arranged on the surface of the substrate 109.
  • the image signal converted by the photoelectric conversion element 108, the control signal for controlling the photoelectric conversion element 108, and the like are transmitted / received via the wiring 106 provided in the wiring layer 105.
  • an opening mask 103 provided with one-to-one correspondence with each photoelectric conversion element 108 and having openings 104 arranged repeatedly two-dimensionally is provided in contact with the wiring layer 105.
  • the opening 104 is shifted for each corresponding photoelectric conversion element 108 so that the relative position is precisely determined.
  • parallax occurs in the subject light beam received by the photoelectric conversion element 108 by the action of the opening mask 103 including the opening 104.
  • the aperture mask 103 does not exist on the photoelectric conversion element 108 that does not generate parallax.
  • an aperture mask 103 having an aperture 104 that does not limit the subject luminous flux incident on the corresponding photoelectric conversion element 108, that is, allows the entire incident luminous flux to pass therethrough is provided.
  • the aperture 107 formed by the wiring 106 defines the incident light flux that is incident, so the wiring 106 is regarded as an aperture mask that allows the entire incident light flux that does not cause parallax to pass.
  • the opening mask 103 may be arranged separately and independently corresponding to each photoelectric conversion element 108, or may be formed collectively for a plurality of photoelectric conversion elements 108 in the same manner as the manufacturing process of the optical filter 102. .
  • the optical filter 102 is provided on the opening mask 103.
  • a visible pixel that receives the wavelength region of visible light is provided with a color filter as the optical filter 102.
  • the color filter is a filter provided in a one-to-one correspondence with each photoelectric conversion element 108, which is colored so as to transmit a specific wavelength band to each photoelectric conversion element 108.
  • at least two types of color filters that are different from each other may be arranged, but in order to obtain a color image with higher image quality, it is preferable to arrange three or more types of color filters.
  • a red filter (R filter) that transmits the red wavelength band, a green filter (G filter) that transmits the green wavelength band, and a blue filter (B filter) that transmits the blue wavelength band may be arranged in a grid pattern.
  • the color filter may be not only a combination of primary colors RGB but also a combination of YCM complementary color filters. Note that a color filter is not provided when a monochrome image signal has only to be output.
  • a non-visible pixel that receives a wavelength region of invisible light is provided with a near-infrared band-pass filter as the optical filter 102. As will be described in detail later, it is preferable that at least two types of band-pass filters different from each other are arranged.
  • the microlens 101 is provided on the optical filter 102.
  • the microlens 101 is a condensing lens for guiding more incident subject light flux to the photoelectric conversion element 108.
  • the microlenses 101 are provided in a one-to-one correspondence with the photoelectric conversion elements 108.
  • the optical axis of the microlens 101 is shifted so that more subject light flux is guided to the photoelectric conversion element 108. It is preferable.
  • the arrangement position may be adjusted so that more specific subject light beam, which will be described later, is incident along with the position of the opening 104 of the opening mask 103.
  • one unit of the aperture mask 103, the optical filter 102, and the microlens 101 provided in one-to-one correspondence with each photoelectric conversion element 108 is referred to as a pixel.
  • a pixel provided with the opening mask 103 that generates parallax is referred to as a parallax pixel
  • a pixel that is not provided with the opening mask 103 that generates parallax is referred to as a non-parallax pixel.
  • the microlens 101 may not be provided.
  • the wiring layer 105 is provided on the side opposite to the photoelectric conversion element 108. Further, if the opening 104 of the opening mask 103 has a color component or a band component, the optical filter 102 and the opening mask 103 can be integrally formed.
  • the opening mask 103 and the wiring 106 are provided separately, but the wiring 106 may serve the function of the opening mask 103 in the parallax pixels. That is, a prescribed opening shape may be formed by the wiring 106, and the incident light beam may be limited by the opening shape to guide only a specific partial light beam to the photoelectric conversion element 108. In this case, the wiring 106 that forms the opening shape is preferably closest to the photoelectric conversion element 108 in the wiring layer 105.
  • the opening mask 103 may be formed of a permeation blocking film that is provided over the photoelectric conversion element 108.
  • the opening mask 103 is formed, for example, by sequentially laminating a SiN film and a SiO 2 film to form a permeation blocking film and removing a region corresponding to the opening 104 by etching.
  • the photoelectric conversion element 108 itself may be formed so as to correspond to the opening 104 of the opening mask 103.
  • FIG. 3 is a diagram for explaining the concept of defocus in a pixel without parallax. As shown in FIG. 3A, when an object point that is a subject exists at the focal position, the subject luminous flux that reaches the image sensor light receiving surface through the lens pupil is steep with the pixel at the corresponding image point as the center. The light intensity distribution is shown.
  • the subject luminous flux is received by the image sensor compared to the case where the object point exists at the focus position. It shows a gentle light intensity distribution on the surface. That is, the output value at the pixel of the corresponding image point is lowered, and a distribution having output values up to the peripheral pixels is shown.
  • the subject luminous flux exhibits a gentler light intensity distribution on the image sensor light receiving surface.
  • the output value at the pixel of the corresponding image point further decreases, and a distribution having output values up to the surrounding pixels is shown.
  • FIG. 4 is a diagram for explaining the concept of defocusing in a parallax pixel.
  • the parallax Lt pixel and the parallax Rt pixel receive the subject luminous flux that arrives from one of the two parallax virtual pupils set as the optical axis target as a partial region of the lens pupil.
  • a method of capturing a parallax image by receiving subject light fluxes that arrive from different virtual pupils in a single lens pupil is referred to as a monocular pupil division imaging method.
  • the light intensity indicated by the parallax Lt pixel is greater than when the object point exists at the focal position.
  • the distribution peak appears at a position away from the pixel corresponding to the image point in one direction, and its output value decreases.
  • the width of the pixel having the output value is increased. That is, since the point image spreads in the horizontal direction of the light receiving surface of the image sensor, the amount of blur increases.
  • the peak of the light intensity distribution indicated by the parallax Rt pixel appears at a position away from the pixel corresponding to the image point in the opposite direction to the one direction in the parallax Lt pixel and at an equal distance, and the output value similarly decreases. Similarly, the width of the pixel having the output value is increased. That is, the same light intensity distribution that is gentler than that in the case where the object point exists at the focal position appears at an equal distance from each other.
  • the shift amount between the peaks of the light intensity distribution indicated by the parallax Lt pixel and the parallax Rt pixel corresponds to the parallax amount.
  • the light intensity indicated by the parallax Rt pixel is opposite to the state of FIG.
  • the distribution peak appears at a position away from the pixel corresponding to the image point in the one direction.
  • the peak of the light intensity distribution indicated by the parallax Lt pixel appears at a position away from the one direction in the parallax Rt pixel. That is, it is determined in which direction the peak of the light intensity distribution indicated by the parallax Lt pixel and the parallax Rt pixel appears in the direction away from the pixel corresponding to the image point according to the direction of deviation of the object point.
  • FIG. 5 is a graph showing the change in the light intensity distribution explained in FIG. 3 and the change in the light intensity distribution explained in FIG.
  • FIG. 5 is a diagram illustrating the light intensity distribution of the non-parallax pixel and the parallax pixel.
  • the horizontal axis represents the pixel position, and the center position is the pixel position corresponding to the image point.
  • the vertical axis represents the output value of each pixel. Since this output value is substantially proportional to the light intensity, it is shown as the light intensity in the figure.
  • FIG. 5A is a graph showing changes in the light intensity distribution described in FIG.
  • a distribution curve 1801 represents the light intensity distribution corresponding to FIG. 3A and shows the steepest state.
  • the distribution curve 1802 represents the light intensity distribution corresponding to FIG. 3B, and the distribution curve 1803 represents the light intensity distribution corresponding to FIG.
  • the peak value gradually decreases and has a broadening.
  • FIG. 5B is a graph showing changes in the light intensity distribution described in FIG.
  • a distribution curve 1804 and a distribution curve 1805 represent the light intensity distribution of the parallax Lt pixel and the light intensity distribution of the parallax Rt pixel in FIG. 4B, respectively. As can be seen from the figure, these distributions have a line-symmetric shape with respect to the center position. Further, a combined distribution curve 1806 obtained by adding them shows a similar shape to the distribution curve 1802 of FIG. 3B which is in a defocus state equivalent to that of FIG.
  • the distribution curve 1807 and the distribution curve 1808 respectively represent the light intensity distribution of the parallax Lt pixel and the light intensity distribution of the parallax Rt pixel in FIG. As can be seen from the figure, these distributions are also symmetrical with respect to the center position. Further, a combined distribution curve 1809 obtained by adding them shows a similar shape to the distribution curve 1803 in FIG. 3C which is in a defocus state equivalent to that in FIG. Note that the light intensity distribution of the parallax Lt pixel and the light intensity distribution of the parallax Rt pixel in FIG. 4D are interchanged with the positions of the light intensity distribution of the parallax Lt pixel and the light intensity distribution of the parallax Rt pixel in FIG. Therefore, they correspond to the distribution curve 1808 and the distribution curve 1807, respectively.
  • FIG. 6 is a diagram illustrating the opening shape of the opening 104 when there are two types of parallax pixels.
  • the shape of the opening 104l of the parallax Lt pixel and the shape of the opening 104r of the parallax Rt pixel are respectively obtained by dividing the shape of the opening 104n of the non-parallax pixel by the center line 322. The example which is the same is shown. That is, in FIG. 6A, the area of the opening 104n of the non-parallax pixel is the sum of the area of the opening 104l of the parallax Lt pixel and the area of the opening 104r of the parallax Rt pixel.
  • the opening 104n of the non-parallax pixel is referred to as a full-opening opening, and the opening 104l and the opening 104r are referred to as half-opening openings.
  • the opening is said to be in the reference direction.
  • the opening 104l of the parallax Lt pixel and the opening 104r of the parallax Rt pixel are displaced in opposite directions with respect to a virtual center line 322 passing through the center (pixel center) of the corresponding photoelectric conversion element 108. Yes.
  • the opening 104l of the parallax Lt pixel and the opening 104r of the parallax Rt pixel each generate parallax in one direction with respect to the center line 322 and in the other direction opposite to the one direction.
  • FIG. 6B shows a light intensity distribution when the object point is deviated from the focal position in the direction away from the light receiving surface of the image sensor in the pixel having each opening shown in FIG.
  • the horizontal axis represents the pixel position
  • the center position is the pixel position corresponding to the image point.
  • the vertical axis represents the light intensity.
  • the curve Lt corresponds to the distribution curve 1804 in FIG. 5B
  • the curve Rt corresponds to the distribution curve 1805 in FIG.
  • a curve N corresponds to a pixel without parallax, and shows a similar shape to the combined distribution curve 1806 in FIG.
  • Each of the openings 104n, 104l, and 104r functions as an aperture stop.
  • the blur width of the non-parallax pixel having the opening 104n having an area double the opening 104l (opening 104r) is the parallax Lt pixel and the parallax Rt pixel indicated by the combined distribution curve 1806 in FIG. Is the same as the blur width of the curve.
  • FIG. 6C shows the light intensity distribution when the object point deviates from the focal position in the direction approaching the image sensor light receiving surface in the pixel having each opening shown in FIG. 6A.
  • the horizontal axis represents the pixel position
  • the center position is the pixel position corresponding to the image point.
  • the vertical axis represents the light intensity.
  • the curves Lt and Rt in FIG. 6C maintain the relationship that the blur width of the non-parallax pixel having the opening 104n is approximately the same as the blur width of the curve obtained by adding the parallax Lt pixel and the parallax Rt pixel. However, the positional relationship is reversed with respect to the curves Lt and Rt in FIG.
  • FIG. 6D shows an example in which the shape of the opening 104l of the parallax Lt pixel, the shape of the eyelid opening 104r of the parallax Rt pixel, and the shape of the opening 104c are all the same shape.
  • the pixel having the opening 104c is a pixel without an eccentricity having an opening corresponding to the reference direction, although only the subject light beam having the central portion of the pupil as a partial region is guided to the photoelectric conversion element 108. Therefore, it can be regarded as a pixel without parallax (C pixel).
  • the opening 104l, the opening 104r, and the opening 104c are half the area of the opening 104n illustrated in FIG. As in the case of FIG. 6A, each of the openings 104 l and 104 r is in contact with a virtual center line 322 that passes through the center (pixel center) of the photoelectric conversion element 108.
  • FIG. 6E shows a light intensity distribution when an object point is deviated from the focal position in a direction away from the light receiving surface of the image sensor in the pixel having each opening shown in FIG. 6D.
  • the horizontal axis represents the pixel position
  • the center position is the pixel position corresponding to the image point.
  • the vertical axis represents the light intensity.
  • the curve Lt corresponds to the distribution curve 1804 in FIG. 5B
  • the curve Rt corresponds to the distribution curve 1805 in FIG.
  • Each of the openings 104c, 104l, and 104r has a function of an aperture stop.
  • the blur width of the non-parallax pixel having the opening 104c having the same shape and the same area as the opening 104l and the opening 104r is approximately the same as the blur width of the parallax Lt pixel and the parallax Rt pixel.
  • FIG. 6F shows the light intensity distribution when the object point is deviated from the focal position in the direction approaching the light receiving surface of the image sensor in the pixel having each opening shown in FIG.
  • the horizontal axis represents the pixel position
  • the center position is the pixel position corresponding to the image point.
  • the vertical axis represents the light intensity.
  • FIG. 7 is a schematic diagram showing the wavelength dependence of the imaging position.
  • the horizontal axis indicates the wavelength [nm]
  • the vertical axis indicates the focus position [ ⁇ m].
  • the near-infrared region range of about 900 nm to 1700 nm
  • a conventional monocular optical system in the visible region 400 nm to 700 nm
  • the refraction angle of the short wavelength is generally larger than the refraction angle of the long wavelength, as shown in the figure, when the optical system is focused on the subject image of the visible light, the subject image of the near infrared light is a slightly blurred image. It becomes.
  • a commercially available lens group is designed so that the focal planes match as much as possible in the visible light region when averaged over the wavelength bands of the three colors R, G, and B.
  • the property that the focus position of visible light is different from the focus position of near-infrared has the potential as a means that can be effectively used newly when developing to monocular stereoscopic imaging.
  • the point image distribution at the left viewpoint and the point image distribution at the right viewpoint are the same for the subject at the in-focus position.
  • the point image distribution of the reference viewpoint is a point image distribution obtained by summing the point image distribution of the left viewpoint and the point image distribution of the right viewpoint.
  • the N pixel captures the subject image in the viewpoint direction at the center of gravity of the subject image captured by each of the left and right parallax pixels.
  • Such a property of the monocular pupil division imaging method appears in the wavelength region of visible light.
  • visible pixels that photoelectrically convert the visible region and non-visible pixels that photoelectrically convert the near-infrared region are arranged on the same plane in the single-plate image sensor. More specifically, the photoelectric conversion elements corresponding to each pixel are arranged on the same image plane with respect to the optical axis direction. Then, even if the subject image in the visible light region is in focus, the subject image in the near-infrared light region is slightly blurred. That is, even if there is no parallax in the subject image in the visible light region, some parallax occurs in the subject image in the near-infrared light region.
  • the depth of the photoelectric conversion element that is the light receiving portion of the pixel may be changed so as to match the imaging position in all wavelength regions. Does not dare to do so, but utilizes the property that the focus position of visible light and the focus position of near-infrared are slightly different.
  • the second embodiment described later is used instead of the first embodiment described later, the characteristics can be utilized particularly.
  • FIG. 8 and FIG. 9 are diagrams showing a real space array and a k space as an example of a pixel array.
  • An example using periodically arranged image pickup elements using the upper array diagram of each figure as a basic lattice is shown.
  • the frequency resolution region of the reciprocal lattice space is also shown for each color and each parallax combination.
  • the solid rectangle indicates a visible parallax pixel
  • the broken rectangle indicates an invisible parallax pixel.
  • Solid squares indicate pixels without visible parallax.
  • both 2D and 3D can be developed with high resolution.
  • the monocular stereoscopic imaging system uses the property that parallax occurs only in a blurred area, lowers the density of parallax pixels, maintains the reference resolution by N pixels, and captures N images (2D captured by N pixels).
  • N pixels 2D captured by N pixels.
  • the high-resolution information of the image is reflected in the parallax Lt image and the parallax Rt image (3D image).
  • An image that can be viewed simultaneously by a viewer wearing 3D glasses and a viewer not wearing 3D glasses is called a 2D-3D seamless image.
  • a non-visible pixel a non-parallax pixel is not adopted and only a parallax pixel is added.
  • a non-parallax non-visible light image is reflected on the information of a non-parallax image of visible light. Make resolution. After that, a non-visible high-resolution stereoscopic image is generated using the information of the non-visible parallax pixel. Therefore, the non-parallax pixel may not be provided as the invisible pixel.
  • the array shown in the upper part of FIG. 8 has the frequency resolution shown in the lower part of FIG. 8 at the time of sampling.
  • the frequency resolution of other components can be extended to that extent by using the information of the component showing the highest resolution to the outermost side.
  • the density of the visible parallax pixels and the non-visible parallax pixels may be reduced, and the pixels may be arranged apart from each other so as to minimize the damage to the pixels without visible parallax.
  • the basic structure of the color arrangement is premised on maintaining a Bayer arrangement.
  • the basic rule of arrangement is that each component is isotropically arranged and one parallax pixel of a certain wavelength band component is isotropically arranged so as to be arranged in a non-uniform manner with respect to visible N pixels. Therefore, it is arranged so as to be farthest from the other parallax pixel in the wavelength band.
  • the parallax pixels of the same viewpoint are arranged so as to be farthest from each other, and the non-visible parallax pixels are arranged as far as possible from each other.
  • the visible parallax pixels are arranged so as to be farthest from each other.
  • the arrangement shown in FIG. 8 or the arrangement shown in FIG. FIG. 8 shows an arrangement giving priority to separating non-parallax pixels.
  • FIG. 9 shows an arrangement in which parallax pixels at the same viewpoint are prioritized to be the most separated.
  • FIGS. 11 and 12 an example of an arrangement in which a monochrome stereoscopic imaging device is expanded to a two-band stereoscopic imaging device of visible and near infrared is shown in FIGS.
  • the pixel arrangements shown in FIGS. 11 and 12 also follow the above-described arrangement rule.
  • the imaging information is only sampled with extremely low resolution.
  • the subject image at the invisible wavelength may be pseudo, there is a demand to view it as an image with high spatial resolution.
  • 2D development in the invisible wavelength band after reflecting 2D resolution in the visible wavelength band, sampling information that is insufficient with only invisible parallax pixel information in stereoscopic development is also obtained. This makes it possible to perform invisible three-dimensional development with high resolution.
  • Document A1 PCT / JP2013 / 001811
  • Document A2 JP2013-229765A
  • Document A3 PCT / JP2013 / 001745
  • Example 1> Visible + non-visible 6-band sparse parallax pixel array --- The example using the image pick-up element periodically arrange
  • FIG. 10 is a diagram for explaining the relationship between wavelength and minute sensitivity.
  • the horizontal axis indicates the wavelength [nm], and the vertical axis indicates the minute sensitivity.
  • a commonly used color filter having spectral characteristics is used as the RGB color filter for visible light.
  • the I 1 , I 2 , and I 3 bandpass filters for near-infrared light as shown in FIG. 10A, a bandpass filter with a wide half-value width may be used, or FIG. ), A band pass filter having a narrow half-value width and transmitting a specific wavelength may be used. Three different band-pass filters can be used as the near-infrared band-pass filter.
  • the three colors of visible light and the three bands of the near infrared may be collectively referred to as six bands for convenience.
  • the visible light color component and the near-infrared band component may be collectively referred to as a color band component.
  • B, G, R, I B, I G also symbols of I R is used.
  • the non-parallax pixel is distinguished by adding N, the left parallax pixel is subtracted by Lt, and the right parallax pixel is subscripted by Rt.
  • the average value of the entire pixel value of the pixel value of the non-parallax pixel the average value of the entire pixel value of the pixel value of the left parallax pixel, and the entire image of the pixel value of the right parallax pixel
  • the average value of is calculated.
  • gain correction is performed so that the signal level matches the average value. This is because even if there is parallax, the left and right parallax pixels capture the subject image of the same area, so the signal necessary for level adjustment from the subject image itself without shooting a uniform plane Based on the assumption that information can be obtained.
  • gain correction is performed so that the signal level matches the average value.
  • arithmetic mean and geometric mean.
  • a geometrical average is taken between the signal level averaged on the left and right and the signal level of the pixel without parallax, and gain correction is performed so as to match the signal level with the average value.
  • the procedure carried out R, G, B, I R , I G, the color band components of each I B. The average value corresponding to each It expresses.
  • an arithmetic average type method is adopted.
  • the geometric average method is adopted when all the pixels without parallax have a half-aperture mask. Therefore, the arithmetic average type is adopted in the present embodiment.
  • the signal plane of the left parallax pixel of the visible R component is denoted by R Lt_mosaic (x, y), R Rt_mosaic (x, y), the signal surface of the right parallax pixel of the visible R component
  • the signal plane of the left parallax pixel of the visible G component is denoted by GN_mosaic (x, y)
  • G Lt_mosaic (x, y) be the signal surface of the non-parallax pixel of the visible G component
  • the signal plane of the right parallax pixel of the visible G component is denoted by GRt_mosaic (x, y)
  • the signal plane of the non-parallax pixel of the visible B component is represented by B N_mosaic (x, y),
  • a mosaic image in which a non-parallax pixel is corrected with one gain coefficient, a left parallax pixel with one gain coefficient, and a right parallax pixel with one gain coefficient is output as M ′ (x, y). To do.
  • Temporary left parallax images and temporary right parallax images with low spatial frequency resolution are generated for each of the six color bands of the visible band and the near-infrared band. For example, simple average interpolation is performed in the visible G color plane in which only the left parallax pixels in a single color band are collected. For example, linear interpolation is performed according to the distance ratio using pixel values that are close to each other. Similarly, simple average interpolation is performed in the G color plane in which only right parallax pixels in a single color band are collected. Similar processes performed R, G, B, I R , I G, the 6-band I B.
  • a temporary visible R component non-parallax image is represented by R N (x, y).
  • a temporary non-parallax image of the visible G component is represented by G N (x, y).
  • a temporary non-parallax image of the visible B component is represented by B N (x, y).
  • the left parallax image of the temporary visible R component is represented by R Lt (x, y).
  • the left parallax image of the temporary visible G component is represented by G Lt (x, y).
  • the left parallax image of the temporary visible B component is represented by B Lt (x, y).
  • the right parallax image of the temporary visible R component is represented by R Rt (x, y).
  • a right parallax image of a temporary visible G component is represented by G Rt (x, y).
  • the right parallax image of the temporary visible B component is represented by B Rt (x, y).
  • the left parallax images of the near-infrared I R component of the temporary represented by I R Lt (x, y) .
  • the left parallax images of the near-infrared I G component of the temporary expressed by I G Lt (x, y) .
  • step 2) Generation of color mosaic images without visible parallax by correcting left and right illumination distribution (local gain balance correction)
  • step 2) by performing local gain correction in units of pixels only for the RGB 3 bands of the visible image, first the left parallax pixel in the screen and the in-screen Adjust the illuminance of the right parallax pixel. This operation eliminates the parallax between the left and right. Then, the illuminance is further adjusted between the signal plane obtained by taking the left-right average and the imaging signal plane of the non-parallax pixel.
  • a new Bayer surface in which gain matching is achieved for all pixels is created. This is equivalent to replacing with an average value, and a Bayer surface in which parallax disappears is completed. This is written as M N (x, y).
  • the pixel value obtained by taking the average value of the left viewpoint image and the right viewpoint image and the reference viewpoint image without parallax as a new pixel value without parallax The data on the Bayer plane is rewritten, and an image M N (x, y) on the Bayer plane without parallax is output. Note that data in which the original imaging pixel is a near-infrared pixel is also replaced with the data obtained here in accordance with the color rules of the Bayer array.
  • the RGB color image without parallax obtained as described above is represented by R N (x, y), G N (x, y), and B N (x, y). These are RGB data expressed in linear gradation.
  • the factor of 1 ⁇ 4 power, 1 ⁇ 2 power, 1 ⁇ 4 times, or 1 ⁇ 2 times is a coefficient of reliability in accordance with the height of pixel density of each color component of the image sensor, that is, a weighting factor. .
  • a near-logarithmic space is once obtained by gamma conversion, and a near-infrared high-resolution 2D image is generated while correcting the difference, and then the inverse is performed.
  • a procedure for returning to a linear gradation space by gamma conversion is performed.
  • the characteristics of the gamma conversion are not limited to logarithm and can be set arbitrarily, and the following gradation characteristics are excellent.
  • x represents an input signal
  • y represents an output signal
  • X: [0, 1] and y: [0, 1] are standardized.
  • the value of ⁇ is set to a value close to zero for a low-sensitivity image, and is set to increase as the imaging sensitivity increases. See USP 7,957,588, the same inventor as the present application.
  • (X, y) and color images R N (x, y), G N (x, y), and B N (x, y) with high resolution generated as intermediate processing in step 5) are used.
  • left parallax color images R ′ Lt (x, y), G ′ Lt (x, y), and B ′ Lt (x, y) with high resolving power that are actually output are generated.
  • R N (x, y), G N (x, y), and B N (x, y) that are generated as follows: R ′ Rt (x, y), G ′ Rt (x, y), and B ′ Rt (x, y) are generated.
  • the temporary left-parallax color images I R Lt (x, y), I G Lt (x, y), and I B Lt (x, y) generated in step 3) are low.
  • 3-band image without high resolution produced as intermediate processing parallax in step 6) I R N (x, y), I G N (x, y), using the I B N (x, y) , the actual Left-parallax three-band images I ′ R Lt (x, y), I ′ G Lt (x, y), and I ′ B Lt (x, y) are generated.
  • I ′ R Rt (x, y), I ′ G Rt (x, y), and I ′ B Rt (x, y) with high resolving power is generated.
  • the visible image is closed independently between visible images
  • the near-infrared image is closed independently within the near-infrared image.
  • multicolor parallax modulation is performed by mixing between wavelength bands.
  • near infrared wavelengths multiband parallax modulation is performed by mixing between wavelength bands. This is a different concept from the second embodiment.
  • parallax modulation methods There are two possible parallax modulation methods: a method of keeping the ratio constant and a method of keeping the difference constant. Further, when the ratio is constant, two methods are conceivable: a method using an arithmetic average as a reference point and a method using a geometric average as a reference point. Both can obtain a parallax modulation effect, but when the aperture mask of pixels without parallax of the image sensor is full aperture, a method using an arithmetic average as a reference point is adopted, and the aperture mask of pixels without parallax is a pixel with parallax. A method using the geometric mean as the reference point for the same half aperture is adopted. Therefore, in this embodiment, a method using an arithmetic mean as a reference point is used.
  • parallax modulation with a constant ratio is performed in a linear gradation space
  • parallax modulation with a constant difference is performed in a gamma space.
  • the conversion to gamma space and the inverse conversion are the same as those defined in step 6).
  • the logarithm is taken with respect to the formula of the geometric mean of the method with the constant ratio, it is in agreement with the formula when the difference is constant.
  • the IR cut filter is provided corresponding to the visible pixel, but is not provided for the non-visible pixel.
  • a high-resolution 2D image and a 3D image are generated as two types of “color” images including three visible colors and three near-infrared bands.
  • axial chromatic aberration also includes a mixture of large and small blur color components
  • parallax modulation is performed with an average blur of three colors.
  • blur and parallax amount are in a corresponding relationship, and therefore, on-axis chromatic aberration of a lens usually causes a color floating / sinking phenomenon.
  • performing multicolor parallax modulation also has the effect of averaging the difference in the degree of blur that exists between the color components and eliminating the color floating / sinking phenomenon.
  • the 2D image generation has an effect of preventing the influence of lateral chromatic aberration
  • the 3D image generation has an effect of preventing the influence of axial chromatic aberration.
  • multicolor is the same as “using a plurality of color components”.
  • the same can be said even if the visible multi-color components are replaced with many invisible band components.
  • the images of different bands change in the same way and satisfy the precondition that the difference is constant or the ratio is constant. Is called.
  • this assumption is broken, an unnatural false image is generated around the boundary between the broken area and the area.
  • the other band is often collapsed in a different state, and if the modulation process is performed with multiple bands, the assumption collapse is canceled, It is possible to construct an environment in which an assumption is established in the image area.
  • the edge component of the near-infrared non-parallax image plane generated as an average of the near-infrared left and right parallax images extracted as the correction term has a low sampling density. For this reason, the image area generated by the interpolation is not extracted because it changes gradually, and the unevenness information in the vicinity of the sampling position is extracted. Therefore, the imaging information sampled by the near-infrared pixel is reflected in the Bayer interpolation result of visible light.
  • step 3) of the near-infrared image using the high-resolution parallax-free color images R N (x, y), G N (x, y), and B N (x, y) generated as Temporary left-parallax color images I R Rt (x, y), I G Rt (x, y), I B Rt (x, y) with low resolving power and high resolving power generated as an intermediate process in step 6) 3-band image I R N without parallax (x, y), I G N (x, y), I B N (x, y) be used, actually a color image R of high right disparity of the output to resolution ' Rt (x, y), G ′ Rt (x, y)
  • the temporary left-parallax color images I R Lt (x, y), I G Lt (x, y), and I B Lt (x, y) generated in step 3) are low.
  • 3-band image without high resolution produced as intermediate processing parallax in step 6) I R N (x, y), I G N (x, y), using the I B N (x, y) , further, A temporary left-parallax color image R Lt (x, y), G Lt (x, y), B Lt (x, y) generated in step 3) of the visible image and intermediate processing in step 5)
  • Rt (x, y), I ′ G Rt (x, y), and I ′ B Rt (x, y)
  • the visible image is mixed with the visible image and the near-infrared image, and the near-infrared image is subjected to parallax modulation in which the near-infrared image and the visible image are mixed with each other.
  • multicolor parallax modulation is also performed by mixing between wavelength bands in the visible wavelength.
  • Multiband parallax modulation is also performed by mixing between wavelength bands even in the near infrared wavelength range.
  • the generated stereoscopic image reflects sampling information at the time of all imaging, and becomes a high-resolution visible and near-infrared stereoscopic image.
  • parallax modulation with a constant difference
  • the parallax modulation terms are all zero in the region of the subject image focused on the visible image.
  • the near-infrared parallax modulation term is not zero, a parallax modulation effect is produced.
  • FIG. 11 and FIG. 12 are diagrams showing an arrangement of real space and k space as an example of a pixel arrangement.
  • An example using periodically arranged image pickup elements using the upper array diagram of each figure as a basic lattice is shown.
  • the frequency resolution region of the reciprocal lattice space is also shown for each color and each parallax combination.
  • visible light is imaged in monochrome, and near-infrared light is imaged in only one band.
  • This arrangement captures the property that parallax occurs only in the blurred subject area of the monocular pupil division method, arranges the density of visible and invisible parallax pixels sparsely, and sets the remaining pixels to pixels without visible parallax.
  • This is a visible + invisible mono-band imaging device having a structure assigned as much as possible.
  • sequence of FIG. 12 is mentioned as an example, and is demonstrated.
  • the mosaic image M (x, y)
  • W N_mosaic (x, y) be the signal plane of the pixel without visible parallax
  • the signal plane of the visible left parallax pixel is denoted by W Lt_mosaic (x, y)
  • the signal surface of the visible right parallax pixel is denoted by W Rt_mosaic (x, y)
  • the signal surface of the non-visible left parallax pixel is denoted by I Lt_mosaic (x, y)
  • the non-visible parallax pixel is one gain coefficient
  • the visible left parallax pixel is one gain coefficient
  • the visible right parallax pixel is one gain coefficient
  • the non-visible left parallax pixel is one gain coefficient
  • the invisible right parallax is A mosaic image in which pixels are corrected by one gain coefficient is output as M ′ (x, y).
  • a temporary left parallax image and a temporary right parallax image with low spatial frequency resolution are generated for each of the two color bands of the visible band and the near-infrared band. For example, simple average interpolation is performed in the signal color plane in which only the left parallax pixels in a single color band are collected. For example, linear interpolation is performed according to the distance ratio using pixel values that are close to each other. Similarly, simple average interpolation is performed in the signal plane in which only the right parallax pixels in the single color band are collected. This process is performed for two bands, W and I.
  • a temporary image without visible parallax is represented by W N (x, y).
  • a temporary visible left parallax image is represented by W Lt (x, y).
  • a temporary visible right parallax image is represented by W Rt (x, y).
  • a temporary near-infrared left parallax image is represented by I Lt (x, y).
  • a temporary near-infrared right parallax image is represented by I Rt (x, y).
  • the reciprocal weighting ratio of the correlation amount is first obtained by checking the vertical and horizontal correlations or the diagonal correlations of the pixels having good symmetry surrounded by the four vertical and horizontal four points or the four diagonal points. More preferably, the interpolation is performed by repeating this operation in order for the remaining pixels having good symmetry.
  • step 4 Generation of a reference image without visible parallax by correcting left and right local illuminance distribution (local gain balance correction)
  • step 2) by performing local gain correction in units of pixels only for visible images, first the left parallax pixel in the screen and the right parallax in the screen Adjust the illuminance of the pixels. This operation eliminates the parallax between the left and right. Then, the illuminance is further adjusted between the signal plane obtained by taking the left-right average and the imaging signal plane of the non-parallax pixel. In this way, a new reference image plane without visible parallax that is gain-matched in all pixels is created. This is equivalent to replacing with an average value, and an intermediate image plane in which the parallax disappears is completed. This is written as W N (x, y).
  • the distribution is focused on high density non-parallax pixels.
  • a pixel value obtained by averaging the average value of the visible image of the left viewpoint and the visible image of the right viewpoint with the image of the visual reference viewpoint without parallax is set as a new pixel value without visible parallax, and a visible single band
  • the surface data is rewritten, and an image W N (x, y) of a single band surface without visible parallax is output.
  • step 5 a process for correcting an image without visible parallax by correlating the single-band visible light surface and the near-infrared light surface may be added.
  • the proper usage is in accordance with the description in the next step 6).
  • the correction method Two types of calculation can be considered as the correction method.
  • the arithmetic average method is adopted when all the pixels without visible parallax have a full-opening mask.
  • the geometric average type method is adopted. Therefore, when the ratio is constant, the arithmetic average type is adopted in this embodiment.
  • a visible left parallax image W Lt ′ (x, y) with high resolving power that is actually output is generated using an image W N (x, y) having a high visible parallax.
  • (X, y) is used to generate an invisible left parallax image I Lt ′ (x, y) that is actually output and has a high resolving power.
  • y) is used to generate an invisible right parallax image I Rt ′ (x, y) that is actually output and has high resolving power.
  • parallax modulation methods There are two possible parallax modulation methods: a method using an arithmetic average as a reference point and a method using a geometric average as a reference point. Both can obtain a parallax modulation effect, but when the aperture mask of pixels without parallax of the image sensor is full aperture, a method using an arithmetic average as a reference point is adopted, and the aperture mask of pixels without parallax is a pixel with parallax. A method using the geometric mean as the reference point for the same half aperture is adopted. Therefore, in this embodiment, a method using an arithmetic mean as a reference point is used.
  • a camera system serving as an imaging apparatus for causing the most effective action of the positions of the imaging planes of visible light and near-infrared light described in the second and third embodiments to be described will be described. That is, a camera equipped with the imaging device described in the second to third embodiments is incorporated into a normal optical system, for example, a system including an interchangeable lens of a single-lens reflex camera, and the autofocus function of the camera is a conventional visible light. Using the autofocus function as it is, focus on the main subject of visible light. Then, the image processing described in the second to third embodiments is executed by software in the camera or an external computer.
  • the developing method of the arrangement of FIG. 8 has been described, but the developing method of FIG. 9 is also the same as that of Example 1 and Example 2 already described.
  • the example of the near-infrared wavelength band was shown as a non-visible wavelength band, it can also take the near-ultraviolet wavelength band.
  • step 5 of the second embodiment it has been described that a reference image without visible parallax is corrected using information of a non-visible image to generate a 2D color image. Even in the case of each of the visible and invisible single bands in Example 3, it was described in the same manner in step 4).
  • FIG. 13 is a diagram illustrating a real space array and a k-space as an example of a pixel array.
  • a case is shown in which, in the arrangement of FIG. 8 described in the first and second embodiments, all invisible pixels are not parallax pixels but non-parallax pixels.
  • a corresponding expression of the arithmetic expression performed in step 5) of the second embodiment is described. Note that ⁇ > represents a local average.
  • FIG. 14 is a diagram illustrating a real space array and a k-space as an example of a pixel array.
  • a case is shown in which the invisible pixels in the arrangement of FIG. 12 described in the third embodiment are not all parallax pixels but pixels without parallax. In such a pixel arrangement, a corresponding expression of the arithmetic expression performed in step 4) of the third embodiment is described.
  • the parallax pixels of the visible pixels are all composed of pixels without parallax.
  • the visible image and near-infrared image capture subject images at different focal positions so new optical information with different blur states is acquired. Therefore, it has been experimentally found that, even though the near-infrared image is out of focus information, it has the ability to increase the resolution of a visible image focused on the main subject. This is true even if, for example, sampling is taken as a two-plate type for both the visible image and the near-infrared image for all pixels. This is because the aliasing component of the subject image at the focus position by sampling does not occur in the blurred image, and it is considered that the false information is corrected through the correction information of the blurred image. Therefore, the blurred image includes information on a new useful subject that is not included in the focused image.
  • the near-infrared image has an in-focus position near the object because the in-focus position is shifted toward the back, and the parallax is such that the image rotates around a single axis that crosses the surface vertically.
  • the right parallax image and the left parallax image of the near-infrared image are attached to the right parallax image and the left parallax image of the near-infrared image.
  • the mutual parallax modulation between different bands plays a role of mutually mixing the parallaxes of the different rotation axes, and as a result, the local parallax that is rotated by each object unit from the global parallax in which the entire image rotates as described above. Shift to dynamic parallax.
  • the intra-band parallax modulation is halved and the inter-band parallax modulation is halved, the parallax that rotates globally and the parallax that rotates locally are obtained simultaneously.
  • This parallax that rotates locally in units of objects can be recognized as a stereoscopic image strangely and normally when viewed stereoscopically.
  • parallax with a global rotation of the entire image can identify the absolute standard of distance sense, whereas parallax with local rotation in units of objects recognizes a relative sense of distance, but the absolute standard varies depending on the person.
  • a device such as a personal computer can be caused to function as an image processing apparatus that functions as the image processing unit 205.
  • the image processing device may capture the output of the image sensor from another device such as a camera.
  • the image processing apparatus is not limited to a personal computer and can take various forms.
  • a TV, a mobile phone, a tablet terminal, a game machine, or the like can be an image processing apparatus.
  • an image may refer to image data, or may refer to a subject image itself developed and visualized according to a format.
  • I 2 is preferably greater than 1.

Abstract

　入射光束のうち非可視光の波長帯域を受光することは考慮されていなかった。　そこで、光電変換素子に、可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが可視域を受光する光電変換画素に対応づけられた可視視差画素と、光電変換素子に、非可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが非可視光域を受光する光電変換画素に対応づけられた非可視視差画素とを備える撮像素子を提供する。

Description

撮像素子、撮像装置および画像処理装置
　本発明は、撮像素子、撮像装置および画像処理装置に関する。
　単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
　　［特許文献１］特開２００３－７９９４号公報
　この種の撮像装置においては、入射光束のうち非可視光の波長帯域を受光することは考慮されていなかった。
　本発明の第１の態様における撮像素子は、光電変換素子に、可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが可視域を受光する光電変換画素に対応づけられた可視視差画素と、光電変換素子に、非可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが非可視光域を受光する光電変換画素に対応づけられた非可視視差画素と、を備える。
　本発明の第２の態様における撮像装置は、入射光束を導く１つの光学系を備え、光学系の合焦位置を可視光が捉える主要被写体に対して、オードフォーカス制御する制御部を備えた上記の撮像素子を組み込んだ撮像装置である。
　本発明の第３の態様における撮像装置は、上記の撮像素子と、撮像素子の出力から、互いに視差を有する複数の可視視差画像データと、互いに視差を有する複数の非可視視差画像データとを生成する画像処理部とを備える。
　本発明の第４の態様における画像処理装置は、一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、可視画像データおよび非可視画像データのうち一方を用いて他方を新たに算出する画像処理部とを備える。
　本発明の第５の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、可視第１視差画像の新たに算出する画素値を、可視第１視差画像の新たに算出する画素値と可視視差なし画像の画素値との間の差が、少なくとも、非可視第１視差画像の画素値と非可視第２視差画像の画素値との間の差に対して相関を保つように算出し、新たな可視第１視差画像を出力する。
　本発明の第６の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、非可視第１視差画像の新たに算出する画素値を、非可視第１視差画像の新たに算出する画素値と非可視視差なし画像の画素値との間の差が、少なくとも、可視第１視差画像の画素値と可視第２視差画像の画素値との間の差に対して相関を保つように算出し、新たな非可視第１視差画像を出力する。
　本発明の第７の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、可視第１視差画像の新たに算出する画素値を、可視第１視差画像の新たに算出する画素値と可視視差なし画像の画素値との間で定義される比が、少なくとも、非可視第１視差画像の画素値と非可視第２視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな可視第１視差画像を出力する。
　本発明の第８の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、非可視第１視差画像の新たに算出する画素値を、非可視第１視差画像の新たに算出する画素値と非可視視差なし画像の画素値との間で定義される比が、少なくとも、可視第１視差画像の画素値と可視第２視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな非可視第１視差画像を出力する。
　本発明の第９の態様における画像処理装置は、一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、可視画像データおよび非可視画像データのうち少なくとも一方に含まれる視差成分を他方に重畳する画像処理部とを備える。
　なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
デジタルカメラの構成を説明する図である。 撮像素子の断面の構成を説明する図である。 視差なし画素におけるデフォーカスの概念を説明する図である。 視差画素におけるデフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 視差画素の種類が２つの場合における開口部の開口形状を説明する図である。 結像位置の波長依存性を示す概略図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。 波長と分高感度との関係を説明する図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて可視光の波長帯域に対応する画像と非可視光の波長帯域に対応する画像とを一度の撮影により生成できるように構成されている。加えて、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている場合もある。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による視差画像を生成する場合について説明する。詳しくは後述するが、本実施形態におけるデジタルカメラは、基準方向の視点として中央視点による視差のない視差なし画像も、視差画像と共に生成できる。なお、左視点の視差画素を視差Ｌｔ画素または左視差画素、右視点の視差画素を視差Ｒｔ画素または右視差画素、視差なし画素をＮ画素と記す場合もある。左視点の視差画像を視差Ｌｔ画像または左視差画像、右視点の視差画像を視差Ｒｔ画像または右視差画像、視差なし画像をＮ画像と記す場合もある。また、入射光束のうち可視光の波長帯域を光電変換する画素を可視画素、非可視光の波長帯域を光電変換する画素を非可視画素と記す場合もある。
　図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０と、撮像素子１００とを備える。撮影レンズ２０は、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。詳しくは後述するが、撮像素子１００の前段においては、撮像素子１００内の少なくとも非可視画素に対応する位置に、赤外線カットフィルタは配置されていない。デジタルカメラ１０は、撮影レンズ２０および撮像素子１００に加えて、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。
　なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向を＋Ｘ軸方向、紙面上へ向かう方向を＋Ｙ軸方向と定める。撮影における構図との関係は、Ｘ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。
　撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の画素が配列されたＣＣＤ、ＣＭＯＳ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２へ出力される画像信号は、可視光の波長帯域に対応する画像信号および非可視光の波長帯域に対応する画像信号を含む。
　Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部２０５は、他にも選択された画像フォーマットにしたがって画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
　一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ、ＡＥ等の各種動作は、制御部２０１に制御されて実行される。
　次に、撮像素子１００の構成の一例について説明する。図２は、撮像素子１００の断面を表す概略図である。
　撮像素子１００は、被写体側から順に、マイクロレンズ１０１、光学フィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
　光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられ、二次元的に繰り返し配列された開口部１０４を有する開口マスク１０３が、配線層１０５に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
　一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列してもよいし、光学フィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成してもよい。
　光学フィルタ１０２は、開口マスク１０３上に設けられている。可視光の波長領域を受光する可視画素には、光学フィルタ１０２としてカラーフィルタが設けられている。カラーフィルタは、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列するとよい。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭの補色フィルタの組合せであってもよい。なお、白黒画像信号を出力すればよい場合にはカラーフィルタは設けない。非可視光の波長領域を受光する非可視画素には、光学フィルタ１０２として近赤外光のバンドパスフィルタが設けられている。詳しくは後述するが、互いに異なる少なくとも２種類のバンドパスフィルタが配列されていることが好ましい。
　マイクロレンズ１０１は、光学フィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されてもよい。
　このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、光学フィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。
　なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ１０１を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分またはバンド成分を持たせれば、光学フィルタ１０２と開口マスク１０３を一体的に形成することもできる。
　また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担ってもよい。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導いてもよい。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。
　また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。さらに、光電変換素子１０８そのものの領域を開口マスク１０３の開口部１０４に相当するように形成してもよい。
＜視差画素とボケ特性＞
　視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する。図３は、視差なし画素におけるデフォーカスの概念を説明する図である。図３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。
　一方、図３（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。
　図３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。
　図３（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。
　図４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。
　図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
　一方、図４（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。
　また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。
　図４（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図４（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。
　図３で説明した光強度分布の変化と、図４で説明した光強度分布の変化をそれぞれグラフ化すると、図５のように表される。図５は、視差なし画素と視差画素の光強度分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。
　なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークと同様であるので、省略している。
　図５（ａ）は、図３で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図３（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図３（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図３（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。
　図５（ｂ）は、図４で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）に対して同等のデフォーカス状態である図３（ｂ）の分布曲線１８０２と相似形状を示す。
　分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）に対して同等のデフォーカス状態である図３（ｃ）の分布曲線１８０３と相似形状を示す。なお、図４（ｄ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布は、図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線１８０８と分布曲線１８０７に相当する。
　図６は、視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。図６（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図６（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。この場合、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、中心線３２２に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。
　図６（ｂ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図中において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。また、曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図５（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りとしての機能を発揮する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のボケ幅は、図５（ｂ）の合成分布曲線１８０６で示される、視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となる。
　図６（ｃ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。図６（ｃ）の曲線Ｌｔ、曲線Ｒｔは、開口部１０４ｎを有する視差なし画素のボケ幅が視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となるという関係を維持しつつ、図６（ｂ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。
　図６（ｄ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の 開口部１０４ｒの形状と、開口部１０４ｃの形状とが、全て同形状である例を示している。この場合、開口部１０４ｃを備える画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子１０８へ導くものの、基準方向に対応する開口部を有する偏心のない画素である。よって、視差なし画素（Ｃ画素）とみなすことができる。また、開口部１０４ｌ、開口部１０４ｒ、開口部１０４ｃは、図６（ａ）で示した開口部１０４ｎの半分の面積である。図６（ａ）の場合と同様、開口部１０４ｌおよび１０４ｒのそれぞれは、光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２と接している。
　図６（ｅ）は、図６（ｄ）で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。また、それぞれの開口部１０４ｃ、開口部１０４ｌ、開口部１０４ｒは、開口絞りの機能を有する。したがって、開口部１０４ｌおよび開口部１０４ｒと同形状、同面積である開口部１０４ｃを有する視差なし画素のボケ幅は、視差Ｌｔ画素および視差Ｒｔ画素のボケ幅と同程度となる。
　図６（ｆ）は、図６（ｄ）で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。図６（ｆ）の曲線Ｌｔ、曲線Ｒｔは、図６（ｅ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。
　続いて、単眼立体撮像システムの中で、可視光領域から非可視光領域までを立体撮像するシステムについて述べる。初めに原理説明と配列構成を述べ、実施例１と実施例２で現像処理方法を述べる。
＜非可視領域へのマルチバンド化と立体撮像＞
　被写体像における可視光の波長帯域だけでなく、非可視光の波長帯域も撮像できると相補的な豊富な情報が得られる。非可視光の波長帯域の情報を利用することにより、新しい空間分解能を持った分光装置を提供することが可能になる。そのとき、可視光の波長帯域と非可視光の波長帯域とを同時に一度に撮像できると、装置として最も使いやすい。更に、単眼瞳分割撮像方式の原理を用いて、撮像素子の開口を工夫することにより、同時に立体撮像できることが好ましい。そのとき、各々の可視域の色成分や非可視域のバンド成分を用いて、空間解像度を高め、更に立体視も実現するために、撮像素子をどのような配列構造とするのかが重要な課題となる。可視光の波長帯域の被写体像を立体撮像するための方式を非可視光の波長帯域へ拡張する場合に、新たにどのような新しい状況が生じ、かつ、どのような撮像素子の配列構造をとって撮像し、どのような現像処理を行えばよいのか不明であった。なかでも、単板撮像方式を採用するにあたって、可視から非可視に渡る広大なマルチバンド化の影響が光学系特性に与える影響と、その結果、単眼瞳分割撮像における立体像への影響が不明であった。
　図７は、結像位置の波長依存性を示す概略図である。横軸は波長［ｎｍ］を示し、縦軸はフォーカス位置［μｍ］を示す。マルチバンド化する非可視域の波長帯域として近赤外の領域（９００ｎｍ～１７００ｎｍ程度の範囲）を用いると、従来の可視域（４００ｎｍ～７００ｎｍ）の単眼光学系システムを流用することができる。これほどの広帯域の波長を扱うと、同じ光学系でも可視域と非可視域では、結像する焦点面の位置が異なってくることが予想される。すなわち、一般に短波長の屈折角は長波長の屈折角よりも大きいので、図示するように、可視光の被写体像に光学系を合焦させると、近赤外光の被写体像は少しボケた像となる。なお、市販のレンズ群では、一般的に、可視光域ではＲ、Ｇ、Ｂの３色の波長帯域で平均すると、合焦面ができるだけ一致するように設計されている。可視光の合焦位置と近赤外の合焦位置とが異なるという性質は、単眼立体撮像に展開するときに、新たに有効活用できる手段としての可能性を秘めている。
　図３、図４を用いて既に説明したように、単眼瞳分割撮像方式では、合焦位置の被写体においては、左視点の点像分布と右視点の点像分布とが同一であるのに対し、非合焦域の被写体においては、合焦位置から離れた被写体になるほど点像分布が広がりつつ互いに離れ、視差が発生する。また、基準視点の点像分布は、左視点の点像分布と右視点の点像分布とを合計した点像分布となる。換言すると、Ｎ画素は、左右の視差画素のそれぞれが捉える被写体像の重心位置における視点方向の被写体像を捉える。
　このような単眼瞳分割撮像方式の性質は、可視光の波長領域に現れる。既に説明したように、単板撮像素子の中に、可視域を光電変換する可視画素と近赤外域を光電変換する非可視画素とを同一平面上に配列する。より詳細には、各画素に対応する光電変換素子を、光軸方向に対して同じ結像面上に配列する。そうすると、可視光の領域の被写体像が合焦したとしても、近赤外光の領域の被写体像は少しボケることになる。すなわち、可視光の領域の被写体像に視差が生じていなくても、近赤外光の領域の被写体像に多少の視差が生じている。また、近赤外光の被写体像が合焦しているときは、その逆の関係となる。つまり、近赤外光の領域の被写体像は合焦したとしても、可視光の領域の被写体像は少しボケることになる。このような性質が発生しないように、全ての波長域で結像位置を一致させるべく、画素の受光部である光電変換素子の深さを変えるように設計してもよいが、本実施形態においては、敢えてそのようなことをせずに、可視光の合焦位置と近赤外の合焦位置とが少し異なる性質を利用する。現像処理の方法として、後述する実施例１ではなく、後述する実施例２を利用すると、特にその性質が活かせることになる。
＜画素配列構成の基本法則と現像処理の関係＞
　上述した可視帯域と非可視帯域のマルチバンドを利用して立体撮像するためにはどのような画素配列構造をとればよいかについて説明する。特願２０１２－０６０７３８（疎で等方的な視差画素配列）においては、可視画素として全開口の視差なし画素と半開口の左右の視差画素とが配列されている。同様に、非可視画素として全開口の視差画素と半開口の左右視差画素とが配列されると、可視帯域の画素密度が低下してしまい、可視域の空間解像能力をそいでしまうという問題が発生する。すなわち、多視差化とマルチバンド化に伴って、各々の成分の空間解像との両立が問題となる。そこで、本実施形態においては、次のような基本的立場をとり、図８、図９等に示す配列を採用する。
　図８および図９は、画素配列の一例としての実空間の配列とｋ空間を示す図である。各図の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。各図の配列図において、実線の矩形は可視視差画素を示し、破線の矩形は非可視視差画素を示す。実線の正方形は可視視差なし画素を示す。
　可視域でのＲＧＢ３色の２Ｄ撮像ではＢａｙｅｒ配列が有効である。それは、視感度の大きいＧ成分がＲ成分、Ｂ成分より高密度に配置されることにより、Ｇ成分が基準解像を担い、かつ、ＲＧＢ色成分間の相関、すなわち、色比Ｒ／Ｇ、Ｒ／Ｂが一定、あるいは色差Ｒ－Ｇ、Ｂ－Ｇが一定という関係を利用して、Ｒ成分、Ｂ成分の空間解像を引き上げることができるからである。さらに、可視域でのＲＧＢ３色の立体撮像では、特願２０１２－０６０７３８が示すＮ：Ｌｔ：Ｒｔ＝６：１：１配列が２Ｄ－３Ｄシームレス画像を撮影するという観点から最も有効である。すなわち、２Ｄも３Ｄも高解像に現像することができる。これは、単眼立体撮像システムでは、ボケた領域にしか視差は発生しないという性質を利用して、視差画素の密度を下げ、Ｎ画素によって基準解像を保ち、Ｎ画素が捉えたＮ画像（２Ｄ画像）の高解像情報を視差Ｌｔ画像および視差Ｒｔ画像（３Ｄ画像）に反映するからである。実験的に、特願２０１２－０６０７３８が示すＮ：Ｌｔ：Ｒｔ＝１４：１：１配列も２Ｄ－３Ｄシームレス画像の撮影に有効な性能を持つことを確認している。Ｎ：Ｌｔ：Ｒｔ＝６以上：１：１の配列であれば、２Ｄ－３Ｄシームレス画像の撮影に有効な性能を持つ可能性がある。なお、３Ｄメガネを装着した鑑賞者と３Ｄメガネを装着しない鑑賞者とが同時に鑑賞できる画像を２Ｄ－３Ｄシームレス画像という。
　そこで、本実施形態においては、可視画素のみからなる画素配列から、非可視画素を加えた画素配列へ拡張するとき、特願２０１２－０６０７３８が示すＮ：Ｌｔ：Ｒｔ＝１４：１：１を基本構造として採用した上で、一部の可視視差なし画素を非可視視差画素に置き換える。より詳細には、可視域で２Ｄ－３Ｄシームレスな高解像出力が保証されている特願２０１２－０６０７３８のＮ：Ｌｔ：Ｒｔ＝１４：１：１配列（ＲＧＢ３色配列）を採用しつつ、Ｎ：Ｌｔ：Ｒｔ＝６：１：１配列へ視差画素を増分した画素を、それぞれ近赤外の３バンドの視差画素に割り当てる。以上のように割り当てることにより、図示するように、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１配列に可視光領域の２Ｄ－３Ｄシームレス画像を同時に高解像に分解する基本解像を担わせる。一方で、非可視画素としては、視差なし画素は採用せず、視差画素のみを追加している。このような配列において、非可視光領域の２Ｄ－３Ｄシームレス画像を同時に高解像出力するには、まず、非可視光の視差なし画像を可視光の視差なし画像の情報を反映させて、高解像度化する。その後に、非可視視差画素の情報を利用して、非可視の高解像な立体画像を生成する。したがって、非可視画素として視差なし画素が設けられていなくてもよい。
　図８上段に示す配列は、図８下段に示す周波数解像をサンプリング時点で持つ。現像処理段階で、最も外側にまで高い解像を示す成分の情報を利用して、その他の成分の周波数解像をそこまで伸ばせる可能性を持つ。そのためには、可視視差画素と非可視視差画素の密度を低くしつつ、それらの画素を可視視差なし画素のダメージが最も少なくなるように纏まりなく離して配置するとよい。一方で、各々の色またはバンド、および視差を持つ各成分が図８下段の周波数解像をとるには、各成分を等方的に配置する必要がある。同時に、その色配列の基本構造は、Ｂａｙｅｒ配列を保つことが前提となる。そうすると、配列の基本法則は、各成分を等方的に配置しつつ、可視のＮ画素に対して纏まりなく配置するために、ある波長バンド成分の一方の視差画素を等方的に配置した上で、その波長バンドの他方の視差画素とは最も距離が離れるように配置することになる。更に、可視と非可視を区別せずに、６つの波長バンドを纏めて捉えたときに、同じ視点の視差画素同士が最も離れるように配置しつつ、非可視視差画素同士が最も離れるように配置し、かつ、可視視差画素同士も最も離れるように配置する。図９上段に示す配列についても同様のことがいえる。最後に述べた条件の優先順位の付け方によって、図８の配列をとったり、図９の配列をとったりすることになる。図８は非視差画素同士を離すことを優先した配列である。図９は同じ視点の視差画素同士が最も離れることを優先した配列である。
　詳しくは後述するが、モノクロの立体撮像素子を可視と近赤外の２バンドの立体撮像素子に拡張した配列の例を図１１、図１２に示す。図１１および図１２に示す画素配列も上述の配置法則に則っている。
＜可視波長帯域と非可視波長帯域の混合立体現像＞
　可視波長帯域と非可視波長帯域では、同じ光学系を用いても結像面の位置が異なるという性質を利用する点をもう少し詳しく説明する。この性質を利用して、可視帯域の立体現像において非可視帯域の視差情報を与えながら現像処理すると、新たに合焦位置でも視差が発生するという新しい効果が生み出される。可視画素のみの単眼立体撮像システムでは、合焦位置の被写体像では視差が発生せず、非合焦位置の被写体像でのみ視差が発生していた。この場合にも自然な立体視が可能になるが、人間の目においては、合焦位置でも右目と左目に写る像には視差が存在する。それでいて、焦点を合わせていない部分では、ぼんやりとしか認知していない。したがって、非可視光の結像位置が異なるという性質を利用することにより、より視覚系が捉える立体像に近い立体画像を生成する単眼立体撮像システムを提供することが可能になる。
　一方で、非可視の波長帯域の立体現像では、撮像情報は極めて低解像なサンプリングしかされていない。しかしながら、非可視波長における被写体像も擬似的でもよいから空間解像の高い画像として見たいという要求がある。そこで、非可視の波長帯域の２Ｄ現像において、可視の波長帯域の２Ｄ解像を反映させた上で、立体現像においても非可視視差画素の情報だけでは不足するサンプリング情報を可視視差画素のサンプリング情報で補いながら高い解像度の非可視立体現像を可能とする。
　なお、可視域での単眼立体撮像とその現像方法の説明を理解する上で、本出願と同一発明者の以下の特許文献が参考となる。
　文献Ａ１：ＰＣＴ／ＪＰ２０１３／００１８１１
　文献Ａ２：特開２０１３－２２９７６５
　文献Ａ３：ＰＣＴ／ＪＰ２０１３／００１７４５
＜実施例１＞
　－－－可視＋非可視６バンド疎な視差画素配列－－－
　図８の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。周波数をｆとすると、ｋ＝２πｆで表される波数ｋのｋ空間で記述している。
　図１０は、波長と分高感度との関係を説明する図である。横軸は波長［ｎｍ］を示し、縦軸は分高感度を示す。図１０（ａ）、（ｂ）に示すように、可視光のＲＧＢカラーフィルタとして、一般的に使用される分光特性を有するカラーフィルタを用いる。一方で、近赤外光のＩ１，Ｉ２，Ｉ３バンドパスフィルタとしては、図１０（ａ）に示すように、半値幅が広いバンドパスフィルタを用いてもよいし、図１０（ｂ）に示すように、半値幅が狭く特定の波長を透過させるバンドパスフィルタを用いてもよい。近赤外光のバンドパスフィルタとして互いに異なる３バンドのバンドパスフィルタを用いることができる。
　以下の説明では、可視光の３色と近赤外の３バンドを、便宜上、６バンドとひとまとめに呼ぶ場合もある。また、可視光の色成分と近赤外のバンド成分とをまとめて色バンド成分と呼ぶ場合もある。波長の短いバンドから順に、Ｂ，Ｇ，Ｒ，ＩＢ，ＩＧ，ＩＲという記号も用いる。
　それぞれの色バンド成分で、視差なし画素にＮ、左視差画素にＬｔ、右視差画素にＲｔの下つきの添字を付けて区別する。
　可視視差なし画素：ＲＮ、ＧＮ、ＢＮ
　可視左視差画素：ＲＬｔ、ＧＬｔ、ＢＬｔ
　可視右視差画素：ＲＲｔ、ＧＲｔ、ＢＲｔ
　近赤外左視差画素：ＩＲ Ｌｔ、ＩＧ Ｌｔ、ＩＢ Ｌｔ
　近赤外右視差画素：ＩＲ Ｒｔ、ＩＧ Ｒｔ、ＩＢ Ｒｔ
　なお、便宜的にＩＢ，ＩＧ，ＩＲを波長の短い順から名付けたが、実際にはこれらの役割を入れ替えても良い。すなわち、画素密度の多い成分を何れにとってもよいし、また、図８のＲ画素が存在する行に、必ずしも近赤外３バンドの中の最長波長側が位置していなくてもよい。
　可視と非可視の非混合現像を説明する。処理の手順は、およそ以下の通りである。
　１）色・視差多重化モザイク画像データ入力
　２）色・視差モザイク画像のグローバル・ゲインバランス補正
　３）仮の可視及び非可視視差画像の生成
　４）左右の局所照度分布補正による可視視差なし色モザイク画像の生成
　（ローカル・ゲインバランス補正）
　５）可視視差なし基準画像の生成
　６）非可視視差なし基準画像の生成
　７）実際の可視及び非可視視差画像の生成
　８）可視及び非可視画像の出力色空間への変換
　以下、詳細に説明する。
　１）色・視差多重化モザイク画像データ入力
　図８の可視光及び近赤外の色バンドと視差の多重化された単板式モザイク画像をＭ（ｘ，ｙ）で表す。階調はＡ／Ｄ変換によって出力された線形階調であるものとする。すなわち、光量に比例した画素値を持つ。これをＲＡＷデータと呼ぶこともある。
　２）色・視差モザイク画像のグローバル・ゲインバランス補正
　左視差画素に入る照度と右視差画素に入る照度とは、絞りを絞るほど、単に左右間の相対的な分布の違いだけではなく、画像全体の平均信号レベルとしても大きな差が現実問題として生まれるので、この段階で全体的な明るさの整合をとるゲイン補正を行う。これは可視光でも近赤外光でも同様に生じる。そのために、撮影された被写体像をそのまま使って、視差なし画素の画素値の画像全体の平均値と、左視差画素の画素値の画像全体の平均値と、右視差画素の画素値の画像全体の平均値を算出する。可視光では３つの信号レベルが存在する。近赤外光では２つの信号レベルが存在する。
　まず、左右間の基準点として、平均値に信号レベルを合わせるようにゲイン補正を行う。これは、例え視差があったとしても、左右の視差画素では同じような領域の被写体像を捉えていることから、一様面を撮影しなくても被写体像そのものから、レベル合わせに必要な信号情報を得ることができるとの仮定に基づく。左右間の基準点として、平均値に信号レベルを合わせるようにゲイン補正を行う。そのとき、基準点の取り方として相加平均と相乗平均の２通りが考えられる。その後、可視光については、左右平均された信号レベルと視差なし画素の信号レベルとの間で相乗平均をとって、その平均値に信号レベルを合わせるようにゲイン補正を行う。この手続きを、Ｒ、Ｇ、Ｂ、ＩＲ、ＩＧ、ＩＢ各々の色バンド成分について行う。それぞれに対応する平均値を
Figure JPOXMLDOC01-appb-I000001
　と表す。
　なお、全ての視差なし画素が全開口のマスクを持っているときに相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているときに相乗平均型の方式を採用する。従って、本実施形態では相加平均型を採用する。
　便宜的にモザイク画像Ｍ（ｘ，ｙ）の内、
　可視Ｒ成分の視差なし画素の信号面をＲＮ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　可視Ｒ成分の左視差画素の信号面をＲＬｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　可視Ｒ成分の右視差画素の信号面をＲＲｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　可視Ｇ成分の左視差画素の信号面をＧＮ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　可視Ｇ成分の視差なし画素の信号面をＧＬｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　可視Ｇ成分の右視差画素の信号面をＧＲｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　可視Ｂ成分の視差なし画素の信号面をＢＮ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　可視Ｂ成分の左視差画素の信号面をＢＬｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　可視Ｂ成分の右視差画素の信号面をＢＲｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　近赤外ＩＲ成分の左視差画素の信号面をＩＲ Ｌｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　近赤外ＩＲ成分の右視差画素の信号面をＩＲ Ｒｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　近赤外ＩＧ成分の左視差画素の信号面をＩＧ Ｎ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　近赤外ＩＧ成分の右視差画素の信号面をＩＧ Ｒｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　近赤外ＩＢ成分の左視差画素の信号面をＩＢ Ｌｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　近赤外ＩＢ成分の右視差画素の信号面をＩＢ Ｒｔ＿ｍｏｓａｉｃ（ｘ，ｙ）
　と表すことにする。
Figure JPOXMLDOC01-appb-I000002
Figure JPOXMLDOC01-appb-I000003
Figure JPOXMLDOC01-appb-I000004
Figure JPOXMLDOC01-appb-I000005
Figure JPOXMLDOC01-appb-I000006
Figure JPOXMLDOC01-appb-I000007
Figure JPOXMLDOC01-appb-I000008
Figure JPOXMLDOC01-appb-I000009
Figure JPOXMLDOC01-appb-I000010
Figure JPOXMLDOC01-appb-I000011
　以上のようにして、視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をＭ'（ｘ，ｙ）として出力する。
　３）仮の可視及び非可視視差画像の生成
　空間周波数解像度の低い分解能の仮の左視差画像および仮の右視差画像を可視バンドと近赤外バンドの６色バンドのそれぞれについて生成する。例えば、単色バンドの左視差画素ばかりを集めた可視Ｇ色面内の単純平均補間を行う。例えば、近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、単色バンドの右視差画素ばかりを集めたＧ色面内の単純平均補間を行う。同様の処理をＲ，Ｇ，Ｂ，ＩＲ，ＩＧ，ＩＢの６バンドについて行う。更に、可視単色バンドの視差なし画素ばかりを集めたＧ色面内の単純平均補間を行う。同様の処理をＲ，Ｇ，Ｂの各々について行う。すなわち、ＲＬｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＲＬｔ（ｘ，ｙ）を、ＲＲｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＲＲｔ（ｘ，ｙ）を、ＲＮ＿ｍｏｓａｉｃ（ｘ，ｙ）からＲＮ（ｘ，ｙ）を生成する。ＧＬｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＧＬｔ（ｘ，ｙ）を、ＧＲｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＧＲｔ（ｘ，ｙ）を、ＧＮ＿ｍｏｓａｉｃ（ｘ，ｙ）からＧＮ（ｘ，ｙ)を生成する。ＢＬｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＢＬｔ（ｘ，ｙ）を、ＢＲｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＢＲｔ（ｘ，ｙ）を、ＢＮ＿ｍｏｓａｉｃ（ｘ，ｙ）からＢＮ（ｘ，ｙ）を生成する。ＩＲ Ｌｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＩＲ Ｌｔ（ｘ，ｙ）を、ＩＲ Ｒｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＩＲ Ｒｔ（ｘ，ｙ）を、ＩＧ Ｌｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＩＧ Ｌｔ（ｘ，ｙ）を、ＩＧ Ｒｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＩＧ Ｒｔ（ｘ，ｙ）を、ＩＢ Ｌｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＩＢ Ｌｔ（ｘ，ｙ）を、ＩＢ Ｒｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＩＢ Ｒｔ（ｘ，ｙ）を生成する。
　仮の可視Ｒ成分の視差なし画像をＲＮ（ｘ，ｙ）で表す。
　仮の可視Ｇ成分の視差なし画像をＧＮ（ｘ，ｙ）で表す。
　仮の可視Ｂ成分の視差なし画像をＢＮ（ｘ，ｙ）で表す。
　仮の可視Ｒ成分の左視差画像をＲＬｔ（ｘ，ｙ）で表す。
　仮の可視Ｇ成分の左視差画像をＧＬｔ（ｘ，ｙ）で表す。
　仮の可視Ｂ成分の左視差画像をＢＬｔ（ｘ，ｙ）で表す。
　仮の可視Ｒ成分の右視差画像をＲＲｔ（ｘ，ｙ）で表す。
　仮の可視Ｇ成分の右視差画像をＧＲｔ（ｘ，ｙ）で表す。
　仮の可視Ｂ成分の右視差画像をＢＲｔ（ｘ，ｙ）で表す。
　仮の近赤外ＩＲ成分の左視差画像をＩＲ Ｌｔ（ｘ，ｙ）で表す。
　仮の近赤外ＩＧ成分の左視差画像をＩＧ Ｌｔ（ｘ，ｙ）で表す。
　仮の近赤外ＩＢ成分の左視差画像をＩＢ Ｌｔ（ｘ，ｙ）で表す。
　仮の近赤外ＩＲ成分の右視差画像をＩＲ Ｒｔ（ｘ，ｙ）で表す。
　仮の近赤外ＩＧ成分の右視差画像をＩＧ Ｒｔ（ｘ，ｙ）で表す。
　仮の近赤外ＩＢ成分の右視差画像をＩＢ Ｒｔ（ｘ，ｙ）で表す。
　なお、仮の可視視差なし画像ＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）を作るときは、信号面内での方向判定を導入して高精細に行うのが好ましい。また、仮の視差画像の各々を生成するときも、上下左右の４点、ないしは斜め４点に囲まれた対称性の良い画素をまず縦横相関、ないしは斜め相関をみながら相関量の逆数加重比で補間し、残りの対称性のよい画素を順繰りにこの操作を繰り返して補間する方法がより好ましい。
　４）左右の照度分布補正による可視視差なし色モザイク画像の生成
　（ローカル・ゲインバランス補正）
　次にステップ２）で行ったグローバル・ゲイン補正と同様の考え方で、可視画像のＲＧＢ３バンドに限って、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいＢａｙｅｒ面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したＢａｙｅｒ面が出来上がる。これをＭＮ（ｘ，ｙ）と書くことにする。
　この場合も、各画素の基準点として揃える目標値の設定方法に、左右間の視差を消滅させる方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅を全開口のボケ幅と一致させるために相加平均型を選ぶ必要がある。一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅を半開口のボケ幅と一致させるために相乗平均型を選ぶ必要がある。本実施形態では視差なし画素は全開口であるので、相加平均型を採用する。
　さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているから、そのボケ幅を保存する必要がある。したがって、このときには共通に相乗平均をとらなければならない。以下にそれらの具体式を挙げる。
　なお、そのときに撮像素子配列における視差なし画素と視差画素との密度比を考慮に入れた相乗平均をとるようにする。すなわち、本実施例で用いている視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の比は、可視画素のみを取り出すと、Ｎ：Ｌ：Ｒ＝１２：１：１、すなわち、Ｎ：（Ｌ＋Ｒ）＝６：１である。したがって、視差画素には６／７乗の重みを、視差なし画素には１／７乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。
Figure JPOXMLDOC01-appb-I000012
Figure JPOXMLDOC01-appb-I000013
Figure JPOXMLDOC01-appb-I000014
Figure JPOXMLDOC01-appb-I000015
Figure JPOXMLDOC01-appb-I000016
　以上のように、可視光３バンドについて、左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Ｂａｙｅｒ面のデータを書き換え、視差なしＢａｙｅｒ面の画像ＭＮ（ｘ，ｙ）を出力する。なお、元々の撮像画素が近赤外画素であったデータもここで求めたデータにＢａｙｅｒ配列の色の規則に則って置き換えを行うものとする。
　５）可視視差なし基準画像の生成
　こうして可視ＲＧＢ各色成分の照度バランスが揃い、視差の消滅したＢａｙｅｒ面ＭＮ（ｘ，ｙ）から、従来の色補間の技術を用いてセンサーが持つ画素数相当のナイキスト周波数にまで分解能をもつ視差なしのカラー画像を２Ｄ画像として生成することができる。例えば、公知のＢａｙｅｒ補間技術の最も優れた例として、本出願と同一発明者のＵＳＰ８，２５９，２１３に示される補間アルゴリズムがある。
　以上のようにして得られた視差なしのＲＧＢカラー画像をＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）によって表す。これらは線形階調で表されたＲＧＢデータである。
　６）非可視視差なし基準画像の生成
　次に、非可視光における近赤外の波長帯域の２Ｄ画像を高精細に生成する方法を説明する。生成する画像をＩＲ Ｎ（ｘ，ｙ）、ＩＧ Ｎ（ｘ，ｙ）、ＩＢ Ｎ（ｘ，ｙ）によって表すことにする。特に高精細に生成するのでなければ、これらは以下の式によって求まる。
Figure JPOXMLDOC01-appb-I000017
　しかし、非可視域における近赤外の画像であっても、実際にどのように物体が写っているのかをたとえ擬似的にであっても高解像の画像として生成したい場合がある。例えば、蛇は、人間が視認できる可視光とは違った赤外光によって物体を認知している。そのような像を作るために、可視光で捉えた高解像な２Ｄ画像の高周波情報を非可視光の近赤外の低解像度データに補正項として加える。そのときに、図８に示した配列で、近赤外と同じ視差画素密度である可視光の視差画素との差異を利用して、実際に不足している高周波成分を取り出す操作を行う。こうすることによって、無用な周波数帯域での過剰なエッジ強調のような弊害がでる恐れがなくなり、自然な近赤外光の高解像度化が図れる。
　補正方法には２通りの演算が考えられる。すなわち、可視光の高解像度画像と低解像度画像との間で成り立つ関係が、比が一定のまま近赤外光の高解像度画像と低解像度画像の間でも成り立っていると仮定する方法と、差が一定のまま近赤外光の高解像度画像と低解像度画像の間でも成り立っている仮定する方法である。
　なお、比が一定のタイプの場合、全ての可視視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての可視視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、比が一定の場合、本実施形態では相加平均型を採用する。
Figure JPOXMLDOC01-appb-I000018
Figure JPOXMLDOC01-appb-I000019
Figure JPOXMLDOC01-appb-I000020
　ただし、１／４乗や１／２乗、あるいは１／４倍や１／２倍の因子は、撮像素子の各色成分の画素密度の高さに合わせた信頼度の係数、すなわち重み係数である。
　比が一定の方式では、線形階調空間のままの状態で演算を行うのが一般的である。一方の差が一定の方式では、一旦ガンマ変換によって対数に近い空間に持っていった上で、差が一定の補正を行いながら近赤外の高解像な２Ｄ画像を生成し、その後、逆ガンマ変換によって線形階調空間に戻す手続きを行うのが一般的である。そのガンマ変換の特性は、対数に限らず任意に設定でき、次の階調特性が優れる。ただし、ｘが入力信号、ｙが出力信号を表し、Ｘ：［０，１］、ｙ：［０，１］の範囲に規格化されているものとする。εの値は、低感度画像では零に近い値を設定し、撮像感度が大きくなるに従って大きく設定する。本出願と同一発明者のＵＳＰ７，９５７，５８８を参照されたい。
Figure JPOXMLDOC01-appb-I000021
　なお、比が一定の方式の相乗平均の式に対して対数をとれば、差が一定の場合の式と一致する。
　７）実際の可視及び非可視視差画像の生成
　可視画像に関して、ステップ３）で生成した解像力の低い仮の左視差のカラー画像ＲＬｔ（ｘ，ｙ）、ＧＬｔ（ｘ，ｙ）、ＢＬｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像ＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）を用いて、実際に出力する解像力の高い左視差のカラー画像Ｒ'Ｌｔ（ｘ，ｙ）、Ｇ'Ｌｔ（ｘ，ｙ）、Ｂ'Ｌｔ（ｘ，ｙ）を生成する。同様に、ステップ３）で生成した解像力の低い仮の右視差のカラー画像ＲＲｔ（ｘ，ｙ）、ＧＲｔ（ｘ，ｙ）、ＢＲｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像ＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）を用いて、実際に出力する解像力の高い右視差のカラー画像Ｒ'Ｒｔ（ｘ，ｙ）、Ｇ'Ｒｔ（ｘ，ｙ）、Ｂ'Ｒｔ（ｘ，ｙ）を生成する。
　近赤外画像に関しても、ステップ３）で生成した解像力の低い仮の左視差のカラー画像ＩＲ Ｌｔ（ｘ，ｙ）、ＩＧ Ｌｔ（ｘ，ｙ）、ＩＢ Ｌｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像ＩＲ Ｎ（ｘ，ｙ）、ＩＧ Ｎ（ｘ，ｙ）、ＩＢ Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い左視差の３バンド画像Ｉ'Ｒ Ｌｔ（ｘ，ｙ）、Ｉ'Ｇ Ｌｔ（ｘ，ｙ）、Ｉ'Ｂ Ｌｔ（ｘ，ｙ）を生成する。同様に、ステップ３）で生成した解像力の低い仮の右視差の３バンド画像ＩＲ Ｒｔ（ｘ，ｙ）、ＩＧ Ｒｔ（ｘ，ｙ）、ＩＢ Ｒｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像ＩＲ Ｎ（ｘ，ｙ）、ＩＧ Ｎ（ｘ，ｙ）、ＩＢ Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い右視差の３バンド画像Ｉ'Ｒ Ｒｔ（ｘ，ｙ）、Ｉ'Ｇ Ｒｔ（ｘ，ｙ）、Ｉ'Ｂ Ｒｔ（ｘ，ｙ）を生成する。
　すなわち、可視画像は可視画像の間の中で独立して閉じ、近赤外画像は近赤外画像の中で独立して閉じた視差変調を行う。ただし、可視波長の中では、波長バンド間の混合を行って多色視差変調をする。近赤外波長の中でも、波長バンド間の混合を行って多バンド視差変調をする。ここが後の実施例２と異なる考え方である。
　視差変調の方式として、比一定に保つ方法と差一定に保つ方法との２通りが考えられる。更に、比が一定の場合には、相加平均を基準点にとる方法と相乗平均を基準点にとる方法との２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。
　視差変調を行うときも、撮像素子配列における各視差画素同士の間でのＲＧＢの密度比を考慮に入れた相乗平均をとる。すなわち、左視差画素同士の間ではＲ：Ｇ：Ｂ＝１：２：１であり、右視差画素同士の間でもＲ：Ｇ：Ｂ＝１：２：１であるので、比が一定の変調の場合には、Ｒ成分による視差変調に１／４乗の重みを、Ｇ成分による視差変調に１／２乗の重みを、Ｂ成分による視差変調に１／４乗の重みを与えて、密度の高いＧ成分による視差変調を重視した配分をとる。差が一定の変調の場合には、１／４倍、１／２倍、１／４倍の係数がそれぞれＲＧＢに掛かる。近赤外の３バンドについても同様である。
Figure JPOXMLDOC01-appb-I000022
Figure JPOXMLDOC01-appb-I000023
Figure JPOXMLDOC01-appb-I000024
Figure JPOXMLDOC01-appb-I000025
Figure JPOXMLDOC01-appb-I000026
　なお、比一定の視差変調は線形階調空間のままで行い、差一定の視差変調はガンマ空間で行う。ガンマ空間への変換と逆変換は、ステップ６）で定義した式と同じである。
　なお、比が一定の方式の相乗平均の式に対して対数をとれば、差が一定の場合の式と一致する。
　８）可視及び非可視画像の出力色空間への変換
　こうして得られた可視光波長域の高解像な視差なしの中間カラー画像ＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）と、高解像の左視差のカラー画像ＲＬｔ（ｘ，ｙ）、ＧＬｔ（ｘ，ｙ）、ＢＬｔ（ｘ，ｙ）と、高解像の右視差のカラー画像ＲＲｔ（ｘ，ｙ）、ＧＲｔ（ｘ，ｙ）、ＢＲｔ（ｘ，ｙ）とのそれぞれを、センサーの分光特性のカメラＲＧＢから標準的なｓＲＧＢ色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。
　一方で、非可視光の波長帯域に関する標準的な色空間は存在しないので、特に非可視光画像に関しては、何も色変換をする必要はない。ただし、分光スペクトルが３バンドの間で重なっていて、その分離度をあげたい場合には、非可視光３バンド間の３ｘ３行列による線形演算が行われる。なお、可視光の波長帯域と近赤外光の波長帯域とが重なっている場合には、以下に示すように、６ｘ６行列によって同時に色空間変換を行う。なお、本実施形態においては、ＩＲカットフィルタは可視画素に対応して備えられるのに対し、非可視画素に備えられていない。また、ＩＲカットフィルタを可視画素に備えずに、可視画素においてＩＲに相当する画素値を減算することにより、ＩＲカットフィルタと同等の役割を果たすこともできる。
Figure JPOXMLDOC01-appb-I000027
　こうして結局、可視３色、近赤外３バンドからなる２種類の「カラー」画像として、高解像な２Ｄ画像と３Ｄ画像が生成される。
　ここで、多色視差変調を行う画質的な効果を、実験事実に基づいて記載しておく。もし仮に、３色全てを用いずに単色成分のみで視差変調を行ったとする。そうした場合、色境界を持つ被写体像は、適切に視差変位を行うことができず、視差の過大変位や過小変位となって、立体像では色浮きや色沈み現象が発生することが明らかとなっている。特に、赤色の被写体が浮いて見える赤浮き現象が極めて顕著に認識される。また、レンズの軸上色収差が大きな光学系を用いて撮像した画像に対して、立体画像生成過程で単色視差変調を行ったときも、同様の現象を発生しうることが判明している。これに対し、多色視差変調を行った場合、これらの現象をほぼ完全に抑えることができるという極めて顕著な画質効果をもたらす。これは、色境界部においては、ある色成分が過大変位を起こしても別の色成分が過小変位を起こす場合が多く、実際には適正な視差変位量に相殺する機構が働くからである。軸上色収差も、ボケが大きい色成分と小さい色成分とが混在して存在するために、３つの色成分を用いると、３色の平均的なボケに落ち着いた視差変調を行う。単眼立体撮像においては、ボケと視差量は対応関係にあるから、通常、レンズの軸上色収差は色浮き・色沈み現象を発生させる。しかし、多色視差変調を行うと、色成分間に存在するボケ度合いの違いを平均化し、色浮き・色沈み現象を解消する効果も伴う。
　上述した単眼立体撮像における単色視差変調の抱える課題と多色視差変調による解決策の関係は、ちょうど２Ｄ撮像における例えば、Ｂａｙｅｒ配列を色補間する時の単色外挿と多色外挿の関係に相似で現れているということができる。単色外挿とは、例えばＵＳＰ５，５４１，６５３に示されるようなＢａｙｅｒ配列のＲ成分の画素位置にＧ成分を補間するとき、周辺のＧ画素の平均値に中心のＲ画素と周辺のＲ画素の平均値の差分からなる外挿項で補正して補間値を算出する。このような単色外挿を行うと、色境界部分では過補正によるオーバーシュートを生じる問題があり、更には倍率色収差が存在するときにはブロック化現象を生じることが、本出願と同一発明者のＵＳＰ７，２３６，６２８に詳述されている。その解決手段として、多色による外挿補正を行うと、これらを全て解決することができることを、その発明の中で示している。したがって、２Ｄ画像のデモザイク処理における多色外挿補正は、３Ｄ画像のステレオ画像生成における多色視差変調とちょうど対応関係にあり、両者は共に色境界部で相補的に相殺効果として有効に機能するとともに、２Ｄ画像生成では倍率色収差の影響を防ぐ効果となって現れ、３Ｄ画像生成では軸上色収差の影響を防ぐ効果となって現れることになる。なお、上述の「多色」は、「複数の色成分を用いた」と同意である。
　以上の効果については、可視における多色の色成分を非可視における多数のバンド成分に置き換えても同様のことが言える。前述のように、異なるバンド間の変調処理を行うとき、異なるバンドの画像同士が相互に同じような信号変化をし、差一定ないしは比一定の前提条件を満たすと仮定して、変調処理が行われる。この前提が崩れるとき、その崩れた領域と成り立っている領域の境界部辺りに不自然な偽像が生じることになる。しかしながら、あるバンドとあるバンドとの間が崩れていても、別のバンドはそれとは異なる状態で崩れている場合が多く、多バンドで変調処理を行うと仮定の崩れは相殺され、大部分の画像領域で、仮定が成立するような環境を構築することができる。
＜実施例２＞
　－－－可視＋非可視６バンド疎な視差画素配列－－－
　図８上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。ここでは、可視と非可視の相互混合現像を説明する。処理の手順は、およそ以下の通りである。
　１）色・視差多重化モザイク画像データ入力
　２）色・視差モザイク画像のグローバル・ゲインバランス補正
　３）仮の可視及び非可視視差画像の生成
　４）左右の局所照度分布補正による可視視差なし色モザイク画像の生成
　（ローカル・ゲインバランス補正）
　５）可視視差なし基準画像の生成
　６）非可視視差なし基準画像の生成
　７）実際の可視及び非可視視差画像の生成
　８）可視及び非可視画像の出力色空間への変換
　以下、詳細に説明する。全体的な処理の流れは、実施例１のフローチャートと同じである。ここでは、処理内容が異なる部分として、ステップ５およびステップ７を説明する。
　５）可視視差なし基準画像の生成
　実施例１で説明した通常のＢａｙｅｒ補間後、次の補正を加える。なぜなら、近赤外画素の撮像情報が全く使われていなければ、その分、いくら高性能なＢａｙｅｒ補間をしても通常のＢａｙｅｒ配列を補間したときに比べて、その現像画像には、ぼやけが生じているからである。よって、近赤外の信号面とも相関をとった補正項を加える。それには３通りの手法があり、それぞれ実施例１の中で説明した使い分け方に準ずる。
Figure JPOXMLDOC01-appb-I000028
Figure JPOXMLDOC01-appb-I000029
Figure JPOXMLDOC01-appb-I000030
　補正項として抽出している、近赤外の左右の視差画像の平均で生成した近赤外の視差なし画像面のエッジ成分は、サンプリング密度が低い。このため、補間により生成された画像領域は緩やかに変化するため抽出されず、サンプリング位置近傍での凹凸情報が抽出される。ゆえに、近赤外画素がサンプリングした撮像情報が可視光のＢａｙｅｒ補間結果に反映される。
　７）実際の可視及び非可視視差画像の生成
　可視画像に関して、ステップ３）で生成した解像力の低い仮の左視差のカラー画像ＲＬｔ（ｘ，ｙ）、ＧＬｔ（ｘ，ｙ）、ＢＬｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像ＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）を用い、更に、近赤外画像のステップ３）で生成した解像力の低い仮の左視差のカラー画像ＩＲ Ｌｔ（ｘ，ｙ）、ＩＧ Ｌｔ（ｘ，ｙ）、ＩＢ Ｌｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像ＩＲ Ｎ（ｘ，ｙ）、ＩＧ Ｎ（ｘ，ｙ）、ＩＢ Ｎ（ｘ，ｙ）も用いて、実際に出力する解像力の高い左視差のカラー画像Ｒ'Ｌｔ（ｘ，ｙ）、Ｇ'Ｌｔ（ｘ，ｙ）、Ｂ'Ｌｔ（ｘ，ｙ）を生成する。同様に、ステップ３）で生成した解像力の低い仮の右視差のカラー画像ＲＲｔ（ｘ，ｙ）、ＧＲｔ（ｘ，ｙ）、ＢＲｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像ＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）を用い、更に、近赤外画像のステップ３）で生成した解像力の低い仮の左視差のカラー画像ＩＲ Ｒｔ（ｘ，ｙ）、ＩＧ Ｒｔ（ｘ，ｙ）、ＩＢ Ｒｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像ＩＲ Ｎ（ｘ，ｙ）、ＩＧ Ｎ（ｘ，ｙ）、ＩＢ Ｎ（ｘ，ｙ）も用いて、実際に出力する解像力の高い右視差のカラー画像Ｒ'Ｒｔ（ｘ，ｙ）、Ｇ'Ｒｔ（ｘ，ｙ）、Ｂ'Ｒｔ（ｘ，ｙ）を生成する。
　近赤外画像に関しても、ステップ３）で生成した解像力の低い仮の左視差のカラー画像ＩＲ Ｌｔ（ｘ，ｙ）、ＩＧ Ｌｔ（ｘ，ｙ）、ＩＢ Ｌｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像ＩＲ Ｎ（ｘ，ｙ）、ＩＧ Ｎ（ｘ，ｙ）、ＩＢ Ｎ（ｘ，ｙ）を用い、更に、可視画像のステップ３）で生成した解像力の低い仮の左視差のカラー画像ＲＬｔ（ｘ，ｙ）、ＧＬｔ（ｘ，ｙ）、ＢＬｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像ＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）も用いて、実際に出力する解像力の高い左視差の３バンド画像Ｉ'Ｒ Ｌｔ（ｘ，ｙ）、Ｉ'Ｇ Ｌｔ（ｘ，ｙ）、Ｉ'Ｂ Ｌｔ（ｘ，ｙ）を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差の３バンド画像ＩＲ Ｒｔ（ｘ，ｙ）、ＩＧ Ｒｔ（ｘ，ｙ）、ＩＢ Ｒｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像ＩＲ Ｎ（ｘ，ｙ）、ＩＧ Ｎ（ｘ，ｙ）、ＩＢ Ｎ（ｘ，ｙ）を用い、更に、可視画像のステップ３）で生成した解像力の低い仮の左視差のカラー画像ＲＲｔ（ｘ，ｙ）、ＧＲｔ（ｘ，ｙ）、ＢＲｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像ＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）も用いて、実際に出力する解像力の高い右視差の３バンド画像Ｉ'Ｒ Ｒｔ（ｘ，ｙ）、Ｉ'Ｇ Ｒｔ（ｘ，ｙ）、Ｉ'Ｂ Ｒｔ（ｘ，ｙ）を生成する。
　すなわち、可視画像は可視画像と近赤外画像と相互に混合し、近赤外画像も近赤外画像と可視画像を相互に混合した視差変調を行う。かつ、可視波長の中では波長バンド間の混合も行って多色視差変調もする。近赤外波長の中でも波長バンド間の混合も行って多バンド視差変調もする。以上によって、生成された立体画像は、全ての撮像時のサンプリング情報が反映され、高解像な可視及び近赤外の立体画像となる。
　視差変調を行うときも、撮像素子配列における各視差画素同士の間でのＲＧＢ及びＩＲＩＧＩＢの密度比を考慮に入れた相乗平均をとる。すなわち、左視差画素同士の間ではＲ：Ｇ：Ｂ：ＩＲ：ＩＧ：ＩＢ＝１：２：１：１：２：１であり、右視差画素同士の間でもＲ：Ｇ：Ｂ：ＩＲ：ＩＧ：ＩＢ＝１：２：１：１：２：１であるので、比一定の変調の場合は、Ｒ成分とＩＲ成分による視差変調に１／８乗の重みを、Ｇ成分とＩＧ成分による視差変調に１／４乗の重みを、Ｂ成分とＩＢ成分による視差変調に１／８乗の重みを与えて、密度の高いＧ成分とＩＧ成分による視差変調を重視した配分をとる。差一定の視差変調の場合は１／４倍、１／２倍、１／４倍の係数がそれぞれＲＧＢとＩＲＩＧＩＢに掛かる。近赤外の３バンドについても同様である。
Figure JPOXMLDOC01-appb-I000031
Figure JPOXMLDOC01-appb-I000032
Figure JPOXMLDOC01-appb-I000033
Figure JPOXMLDOC01-appb-I000034
Figure JPOXMLDOC01-appb-I000035
Figure JPOXMLDOC01-appb-I000036
　ここで、可視画像と近赤外画像の結像位置が異なる性質を利用して、合焦位置の結像画像に対しても立体画像に視差を発生させる原理をもう一度説明しておく。例えば、差一定の視差変調の場合、可視画像に合焦している被写体像の領域では、視差変調項が何れも零となる。しかしながら、近赤外の視差変調項は零とならないので、視差変調効果が生み出される。
＜実施例３＞
　－－－可視モノクロ＋非可視１バンド疎な視差画素配列－－－
　図１１および図１２、画素配列の一例としての実空間の配列とｋ空間を示す図である。各図の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。各図上段の配列図の基本格子においては、可視光はモノクロで撮像され、近赤外光は１バンドだけで撮像される。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、可視視差画素及び非可視視差画素の密度を疎な配置にし、残りの画素を可視視差なし画素にできるだけ割り当てた構造をした可視＋非可視モノバンド撮像素子である。以下では、図１２の配列を例に挙げて説明する。
　なお、可視光と非可視光の２バンドを入れているので、ここでも便宜的にフローチャートのタイトルでは、これらを色と呼ぶことにする。ここでは、可視と非可視の相互混合現像を説明する。処理の手順は、およそ以下の通りである。ここでは、実施例２に対応する現像方法を例に挙げて説明する。実施例１に対応する現像方法に関しても基本的に同様のことがいえる。
　１）色・視差多重化モザイク画像データ入力
　２）色・視差モザイク画像のグローバル・ゲインバランス補正
　３）仮の可視及び非可視視差画像の生成
　４）左右の局所照度分布補正による可視視差なし基準画像の生成
　（ローカル・ゲインバランス補正）
　５）非可視視差なし基準画像の生成
　６）実際の可視及び非可視視差画像の生成
　７）可視及び非可視画像の出力色空間への変換
　以下、詳細に説明する。
　１）色・視差多重化モザイク画像データ入力
　図１２に示す、視差が多重化された単板式の可視＋非可視モノバンドのモザイク画像をＭ（ｘ，ｙ）と表す。階調はＡ／Ｄ変換によって出力された線形階調であるものとする。
Figure JPOXMLDOC01-appb-I000037
　便宜的にモザイク画像Ｍ（ｘ，ｙ）の内、
　可視視差なし画素の信号面をＷＮ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　可視左視差画素の信号面をＷＬｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　可視右視差画素の信号面をＷＲｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　非可視左視差画素の信号面をＩＬｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　非可視右視差画素の信号面をＩＲｔ＿ｍｏｓａｉｃ（ｘ，ｙ）、
　と表すことにする。
Figure JPOXMLDOC01-appb-I000038
Figure JPOXMLDOC01-appb-I000039
Figure JPOXMLDOC01-appb-I000040
Figure JPOXMLDOC01-appb-I000041
　全ての可視視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての可視視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、本実施形態では相加平均型を採用する。こうして可視視差なし画素が１つのゲイン係数で、可視左視差画素が１つのゲイン係数で、可視右視差画素が１つのゲイン係数で、非可視左視差画素が１つのゲイン係数で、非可視右視差画素が１つのゲイン係数で補正されたモザイク画像をＭ'（ｘ，ｙ）として出力する。
　３）仮の可視及び非可視視差画像の生成
　空間周波数解像度の低い分解能の仮の左視差画像および仮の右視差画像を可視バンドと近赤外バンドとの２色バンドのそれぞれについて生成する。例えば、単色バンドの左視差画素ばかりを集めた信号色面内の単純平均補間を行う。例えば、近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、単色バンドの右視差画素ばかりを集めた信号面内の単純平均補間を行う。この処理をＷとＩの２バンドについて行う。更に、可視単色バンドの視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、ＷＬｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＷＬｔ（ｘ，ｙ）を、ＷＲｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＷＲｔ（ｘ，ｙ）を、ＷＮ＿ｍｏｓａｉｃ（ｘ，ｙ）からＲＮ（ｘ，ｙ）を、ＩＬｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＩＬｔ（ｘ，ｙ）を、ＩＲｔ＿ｍｏｓａｉｃ（ｘ，ｙ）からＩＲｔ（ｘ，ｙ）を生成する。
　仮の可視視差なし画像をＷＮ（ｘ，ｙ）で表す。
　仮の可視左視差画像をＷＬｔ（ｘ，ｙ）で表す。
　仮の可視右視差画像をＷＲｔ（ｘ，ｙ）で表す。
　仮の近赤外左視差画像をＩＬｔ（ｘ，ｙ）で表す。
　仮の近赤外右視差画像をＩＲｔ（ｘ，ｙ）で表す。
　なお、仮の可視視差なし画像ＷＮ（ｘ，ｙ）を生成するときは、信号面内での方向判定を導入して高精細に行うのが好ましい。また、仮の視差画像の各々を生成するときも、上下左右の４点、ないしは斜め４点に囲まれた対称性の良い画素をまず縦横相関、ないしは斜め相関をみながら相関量の逆数加重比で補間し、残りの対称性のよい画素を順繰りにこの操作を繰り返して補間する方法がより好ましい。
　４）左右の局所照度分布補正による可視視差なし基準画像の生成
　（ローカル・ゲインバランス補正）
　次に、ステップ２）で行ったグローバル・ゲイン補正と同様の考え方で、可視画像に限って、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい可視視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをＷＮ（ｘ，ｙ）と書くことにする。
　なお、そのときに撮像素子配列における視差なし画素と視差画素の密度比を考慮に入れた相乗平均をとる。すなわち、本実施例で用いている可視視差なし画素（ＷＮ）と可視左視差画素（ＷＬｔ）と可視右視差画素（ＷＲｔ）との比は、ＷＮ：ＷＬｔ：ＷＲｔ＝１２：１：１、すなわち、ＷＮ：（ＷＬｔ＋ＷＲｔ）＝６：１であるので、視差画素には６／７乗の重みを、視差なし画素には１／７乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。
Figure JPOXMLDOC01-appb-I000042
Figure JPOXMLDOC01-appb-I000043
　このように左視点の可視画像と右視点の可視画像との平均値を更に視差のない可視基準視点の画像との平均値をとった画素値を新たな可視視差なし画素値として、可視単バンド面のデータを書き換え、可視視差なし単バンド面の画像ＷＮ（ｘ，ｙ）を出力する。
　なお、実施例２のステップ５）で記述した内容に合わせて、単バンドの可視光面と近赤外光面との相関をとって、可視視差なし画像を補正する処理を加えてもよい。その使い分け方は次ステップ６）の記載に準じる。
Figure JPOXMLDOC01-appb-I000044
　５）非可視視差なし基準画像の生成
　次に、非可視光における近赤外の波長帯域の２Ｄ画像を高精細に生成する。生成する画像をＩＮ（ｘ，ｙ）によって表す。特に高精細に生成するのでなければ、これらは以下の式によって取得できる。
Figure JPOXMLDOC01-appb-I000045
　しかし、以下の補正を行って非可視画像の高解像度化を行うとよい。補正方法には２通りの演算が考えられる。比が一定の場合と差が一定の場合である。なお、比が一定の場合、全ての可視視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての可視視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、比が一定の場合、本実施形態では相加平均型を採用する。
Figure JPOXMLDOC01-appb-I000046
　６）実際の可視及び非可視視差画像の生成
　可視画像について、ステップ３）で生成した解像力の低い仮の可視左視差画像ＷＬｔ（ｘ，ｙ）と、ステップ４）で中間処理として生成した解像力の高い可視視差なし画像ＷＮ（ｘ，ｙ）を用いて、実際に出力する解像力の高い可視左視差画像ＷＬｔ'（ｘ，ｙ）を生成する。同様に、ステップ３）で生成した解像力の低い仮の可視右視差画像ＷＲｔ（ｘ，ｙ）と、ステップ４）で中間処理として生成した解像力の高い可視視差なし画像ＷＮ（ｘ，ｙ）を用いて、実際に出力する解像力の高い可視右視差画像ＷＲｔ'（ｘ，ｙ）を生成する。
　非可視画像についても、ステップ３）で生成した解像力の低い仮の非可視左視差画像ＩＬｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い非可視視差なし画像ＩＮ（ｘ，ｙ）を用いて、実際に出力する解像力の高い非可視左視差画像ＩＬｔ'（ｘ，ｙ）を生成する。同様に、ステップ３）で生成した解像力の低い仮の非可視右視差画像ＩＲｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い非可視視差なし画像ＩＮ（ｘ，ｙ）を用いて、実際に出力する解像力の高い非可視右視差画像ＩＲｔ'（ｘ，ｙ）を生成する。
　視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法との２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。
Figure JPOXMLDOC01-appb-I000047
Figure JPOXMLDOC01-appb-I000048
　７）可視及び非可視画像の出力色空間への変換
　こうして得られた高解像な可視視差なし画像ＷＮ（ｘ，ｙ）と、高解像の可視左視差画像ＷＬｔ'（ｘ，ｙ）と、高解像の可視右視差画像ＷＲｔ'（ｘ，ｙ）と、高解像な非可視視差なし画像ＩＮ（ｘ，ｙ）と、高解像の非可視左視差画像ＩＬｔ'（ｘ，ｙ）と、高解像の非可視右視差画像ＩＲｔ'（ｘ，ｙ）とのそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。
＜実施例４＞
　実施例２、３で説明した可視光と近赤外光の結像面の位置が異なることを最も有効に作用させるための撮像装置としてのカメラシステムを説明する。すなわち、実施例２ないし３に記載した撮像素子を搭載したカメラを通常の光学系、例えば、一眼レフの交換レンズを備えたシステムに組み込み、更にそのカメラのオートフォーカス機能は、従来の可視光のオートフォーカス機能をそのまま用いて、可視光の主要被写体に合焦させる。その上で、実施例２ないし３に記載の画像処理をカメラ内ないしは外部コンピュータのソフトウェアで実行する。ここで、重要なのは、可視光が撮像面に結像する位置にフォーカスを合わせるようにカメラを制御し、近赤外光はその光学系の特性で規定される量のボケ情報を同時に捉えることである。このボケ情報は、どのような光学系を用いても一定の範囲の中での可視光に対するずれを常に提供する。そうすると、最も人間の目に優しい可視光の立体画像が生成され、長時間鑑賞あるいは視聴しても頭痛のしない立体画像が楽しめることになる。
　以上では、図８の配列の現像方法を説明したが、図９の現像方法も、既に説明した実施例１、および実施例２と共通である。また、非可視の波長帯域として、近赤外の波長帯域の例を示したが、近紫外の波長帯域にとることもできる。また、近赤外３バンドの組み合せではなく、近赤外と近紫外を組み合わせてもよい。
　実施例２のステップ５）においては、可視視差なし基準画像を非可視画像の情報を用いて補正を行って、２Ｄカラー画像を生成すると説明した。実施例３の可視と非可視の単バンドずつの場合でも、ステップ４）において同様に説明した。これらは、何れも非可視画素を視差画素のみで構成した撮像素子を用いた説明であったが、そこで説明したサンプリングの不足分を埋める効果にとどまらずに、視差画素の有無にかかわらず、２Ｄ画像同士の可視と非可視画像の間で常に有益な効果をもたらす事実が存在することが実験的に判明した。その理由は、次に述べる。
　図１３は、画素配列の一例としての実空間の配列とｋ空間を示す図である。図１３の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。ここでは、実施例１、２で説明した図８の配列において、非可視画素が全て視差画素ではなく、視差なし画素で構成される場合を示す。このような画素配列において、実施例２のステップ５）で行う演算式の対応式を記載する。
Figure JPOXMLDOC01-appb-I000049
　なお、＜＞は、局所平均を表す。
　図１４は、画素配列の一例としての実空間の配列とｋ空間を示す図である。図１４の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。ここでは、実施例３で説明した図１２の配列において非可視画素が全て視差画素ではなく、視差なし画素で構成される場合を示す。このような画素配列において、実施例３のステップ４）で行う演算式の対応式を記載する。ただし、図１４では、可視画素の視差画素も全て視差なし画素で構成している。
Figure JPOXMLDOC01-appb-I000050
　前述したサンプリング不足を埋める以上に、可視画像と近赤外画像はそれぞれ、異なった焦点位置の被写体像を捉えているため、ボケ状態の異なる新しい光学情報を取得している。したがって、近赤外画像がボケた情報であるにもかかわらず、主要被写体にピントを合わせた可視画像を極めて高解像度化する能力を有することが実験的に判明した。それは、例えば、サンプリングが全画素について可視画像と近赤外画像の両方で２板式として撮像されていても成り立つ。なぜならば、サンプリングによるピント位置の被写体像のエイリアジング成分はボケ画像では生じておらず、ボケ画像の補正情報を通じて偽情報の補正も行われると考えられるからである。したがって、ボケ像には合焦画像には含まれない新しい有益な被写体に関する情報が含まれている。
　上述した実施例１から３の画像処理の中で新しく取り入れた可視画像と非可視画像の間の相互に変調し合う概念は、その本質的な部分を、簡単のため可視単バンド、非可視単バンドのみからなる画像間の関係として取り出すと、以下のような関係式に要約される。ただし、実施形態では、非可視画像が視差画素のみの撮像から生成される場合を例に挙げて説明したが、ここでは、非可視画像が視差画素および視差なし画素の撮像から生成される場合を例に挙げて説明する。なお、説明をわかりやすくするために、比が一定の場合の相加平均を基準点とした変調のみを代表して記載する。
Figure JPOXMLDOC01-appb-I000051
　２Ｄ画像間の可視・非可視バンド間の相互変調において確認された新しい効果については、先程述べたが、３Ｄ画像生成における可視・非可視バンド間の相互視差変調によって次のような新しい作用が生まれることが、実験的に判明した。すなわち、手前、中間、奥の３つの位置に３つの物体が配置されているような状況を考える。可視光で中間物体にある被写体距離に光学系の焦点を合わせて単眼立体撮像を行うと、中間物体が置かれた合焦面内を垂直に横切る一本の軸を中心に画像全体が回転するかのように物体の視差がつく。右視差画像と左視差画像を交互に表示するとその様子が見える。一方の近赤外画像は、合焦位置が奥の方にずれるため奥の物体近辺に合焦面があり、その面内を垂直に横切る一本の軸を中心にした画像回転するような視差が近赤外画像の右視差画像と左視差画像には付いている。
　異なるバンド間の相互視差変調は、この異なる回転軸の視差を相互混合する役割をなし、結果的に前述のような画像全体が回転する大局的視差から、１つ１つの物体単位で回転する局所的視差に移行する。バンド内視差変調を半分、バンド間視差変調を半分にすると、大局回転する視差と局所回転する視差とが同時に得られる。この物体単位で局所的に回転する視差は、実際に立体視してみると、不思議と正常に立体像として認識することができる。ただし、画像全体が大局回転する視差は、距離感の絶対基準が同定できるのに対し、物体単位で局所回転する視差は、距離感が相対的に認識されるものの絶対基準は人によってまちまちな位置に同定される特殊な効果を生む。例えば、物体単位で画像をトリミングすると、バンド内視差変調のみの場合とバンド間視差変調を用いた場合では、異なる視点からの画像が得られるような結果となる。
　パーソナルコンピュータなどの機器を画像処理部２０５の機能を担う画像処理装置として機能させることもできる。この場合、画像処理装置は、カメラ等の他の装置から撮像素子の出力を取り込んでもよい。画像処理装置は、パーソナルコンピュータに限らず、さまざまな形態を採り得る。例えば、ＴＶ、携帯電話、タブレット端末、ゲーム機器等が画像処理装置になり得る。なお、以上の説明において画像は、画像データを指す場合もあれば、フォーマットに従って展開され可視化された被写体像そのものを指す場合もある。また、以上の説明では、Ｒ：Ｇ：Ｂ＝１：２：１に対応させるべく、Ｉ１：Ｉ２：Ｉ３＝１：２：１としたが、Ｉ２は１以上であればよい。Ｉ２は１よりも大きいことが好ましい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の撮影動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０　デジタルカメラ、２０　撮影レンズ、２１　光軸、１００　撮像素子、１０１　マイクロレンズ、１０２　光学フィルタ、１０３　開口マスク、１０４　開口部、１０５　配線層、１０６　配線、１０７　開口、１０８　光電変換素子、１０９　基板、２０１　制御部、２０２　Ａ／Ｄ変換回路、２０３　メモリ、２０４　駆動部、２０５　画像処理部、２０７　メモリカードＩＦ、２０８　操作部、２０９　表示部、２１０　ＬＣＤ駆動回路、２２０　メモリカード、３２２　中心線、１８０１　分布曲線、１８０２　分布曲線、１８０３　分布曲線、１８０４　分布曲線、１８０５　分布曲線、１８０６　合成分布曲線、１８０７　分布曲線、１８０８　分布曲線、１８０９　合成分布曲線

Claims (53)

  1. 　光電変換素子に、可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが可視域を受光する光電変換画素に対応づけられた可視視差画素と、
    　前記光電変換素子に、非可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが非可視光域を受光する光電変換画素に対応づけられた非可視視差画素と、
    を備えた撮像素子。
  2. 　前記非可視視差画素は、２次元方向に等間隔で配置されていると共に、前記異なる種類の前記開口マスクが対応づけられた前記非可視視差画素同士の間の距離が互いに最も離れるように配置され、
    　前記可視視差画素は、２次元方向に等間隔で配置されていると共に、前記異なる種類の前記開口マスクが対応づけられた前記可視視差画素同士の間の距離が互いに最も離れるように配置されている請求項１に記載の撮像素子。
  3. 　前記非可視視差画素と前記可視視差画素の同じ種類の開口マスクを持つ画素同士が互いに隣接しないように配置されている請求項２に記載の撮像素子。
  4. 　前記非可視視差画素は、互いに異なる波長帯域を通過させる複数種類のバンドパスフィルタの何れかが対応づけられ、
    　前記非可視視差画素は、対応づけられた前記バンドパスフィルタの種類毎に、前記２次元方向に等間隔で配置されていると共に、前記バンドパスフィルタの種類毎に異なる種類の前記開口マスクが対応づけられた前記非可視視差画素同士の距離が互いに最も離れるように配置され、
    　更に、
    　前記可視視差画素は、互いに異なる波長帯域を通過させる複数種類のカラーフィルタの何れかが対応づけられ、
    　前記可視視差画素は、対応づけられた前記カラーフィルタの種類毎に、前記２次元方向に等間隔で配置されていると共に、前記カラーフィルタの種類毎に異なる種類の前記開口マスクが対応づけられた前記可視視差画素同士の距離が互いに最も離れるように配置されている請求項２または３に記載の撮像素子。
  5. 　前記非可視視差画素が受光する波長帯域は、近赤外領域の波長帯域である請求項１に記載の撮像素子。
  6. 　前記非可視視差画素が受光する波長帯域は、近赤外領域の３種類の異なる波長帯域（Ｉ１，Ｉ２，Ｉ３）であり、
    　前記可視視差画素が受光する波長帯域は、可視領域の赤、緑、青の３種類の波長帯域（Ｒ，Ｇ，Ｂ）である請求項４に記載の撮像素子。
  7. 　前記光電変換素子に、前記開口に制限されることなく入射光束を導く視差なし画素をさらに備え、
    　前記非可視視差画素は、対応づけられた前記開口マスクの種類毎に、他の前記開口マスクが対応づけられた前記非可視視差画素、前記可視視差画素、前記視差なし画素のいずれかまたは全てに挟まれて配置されており、
    　前記可視視差画素は、対応づけられた前記開口マスクの種類毎に、他の前記開口マスクが対応づけられた前記可視視差画素、前記非可視視差画素、前記視差なし画素のいずれかまたは全てに挟まれて配置されている請求項１から６のいずれか１項に記載の撮像素子。
  8. 　前記視差なし画素は、前記可視光の波長帯域の入射光束を導き、可視域を受光する光電変換画素に対応づけられた可視視差なし画素である請求項７に記載の撮像素子。
  9. 　前記非可視視差画素と前記可視視差画素の画素密度は、前記可視視差なし画素の画素密度に対して疎な配列であり、前記非可視視差画素と前記可視視差画素の合計の画素密度が、前記可視視差なし画素の画素密度よりも小さい請求項８に記載の撮像素子。
  10. 　前記非可視視差画素と前記可視視差画素がそれぞれ右視差画素と左視差画素の２種類の開口マスクを有する時、前記可視視差なし画素に対する左視差画素と右視差画素の画素密度比が６：１：１で構成される請求項９に記載の撮像素子。
  11. 　前記非可視視差画素は、非可視領域の３種類の異なる波長帯域（Ｉ１，Ｉ２，Ｉ３）の何れかを通過させるバンドパスフィルタが対応づけられ、かつ左開口の開口マスクを有する非可視左視差画素と右開口の開口マスクを有する非可視右視差画素の何れかからなり、
    　前記可視視差画素と前記可視視差なし画素は、可視領域の赤、緑、青の３種類の波長帯域（Ｒ，Ｇ，Ｂ）の何れかを通過させるカラーフィルタがそれぞれ対応づけられ、かつ、前記可視視差画素が左開口の開口マスクを有する可視左視差画素と右開口の開口マスクを有する可視右視差画素の何れかからなるとき、
    　前記非可視視差画素の間の各波長帯域毎の画素密度比は、非可視左視差画素と非可視右視差画素は共に、Ｉ１：Ｉ２：Ｉ３＝１：２：１で構成され、
    　前記可視視差画素の間の各波長帯域毎の画素密度比は、可視左視差画素と可視右視差画素と可視視差なし画素は共に、Ｒ：Ｇ：Ｂ＝１：２：１で構成される請求項８から１０のいずれか１項に記載の撮像素子。
  12. 　前記可視視差画素と前記可視視差なし画素と前記非可視視差画素は、何れもが光軸上の同じ撮像面の位置に光電変換部が配置された請求項８から１１のいずれか一項に記載の撮像素子。
  13. 　前記入射光束を導く１つの光学系を備え、前記光学系の合焦位置を可視光が捉える主要被写体に対して、オートフォーカス制御する制御部を備えた請求項１２に記載の撮像素子を組み込んだ撮像装置。
  14. 　請求項１から１２のいずれか１項に記載の撮像素子と、
    　前記撮像素子の出力から、互いに視差を有する複数の可視視差画像データと、互いに視差を有する複数の非可視視差画像データとを生成する画像処理部と
    を備える撮像装置。
  15. 　一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、
    　前記可視画像データおよび前記非可視画像データのうち一方を用いて他方を新たに算出する画像処理部と
    を備える画像処理装置。
  16. 　前記画像処理部は、前記可視画像データ及び前記非可視画像データのいずれか一方の、基準方向の視点による視差なし画像データと前記基準方向の視点とは異なる視差画像データを用いて、他方の前記基準方向の視点による視差なし画像データを新たに算出する請求項１５に記載の画像処理装置。
  17. 　前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データと、前記可視光の波長帯域における前記基準方向の視点とは異なる第１視点の可視第１視差画像データおよび第２視点の可視第２視差画像データとを含み、
    　前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データを含む請求項１５または１６に記載の画像処理装置。
  18. 　前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との差が、前記可視視差なし画像データの前記対象画素位置における画素値と、前記可視第１視差画像データの前記対象画素位置における画素値と前記可視第２視差画像データの前記対象画素位置における画素値との平均の画素値との差に対して相関を保つように算出する請求項１７に記載の画像処理装置。
  19. 　前記入力部は、前記可視光の波長帯域における複数の色成分のそれぞれについて、前記可視視差なし画像データ、前記可視第１視差画像データ、および前記可視第２視差画像データを入力し、
    　前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との差が、少なくとも、（１）第１の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第１の色成分における前記可視第１視差画像データの前記対象画素位置の画素値と前記第１の色成分における前記可視第２視差画像データの前記対象画素位置の画素値との平均の画素値との差と、（２）第２の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第２の色成分における前記可視第１視差画像データの前記対象画素位置の画素値と前記第２の色成分における前記可視第２視差画像データの前記対象画素位置の画素値との平均からなる画素値との差との和に相関を保つように算出する請求項１７に記載の画像処理装置。
  20. 　前記非可視画像データは、前記非可視光の波長帯域における前記第１視点の非可視第１視差画像データおよび前記第２視点の非可視第２視差画像データを含み、
    　前記非可視第１視差画像データおよび前記非可視第２視差画像データの平均によって、前記非可視視差なし画像データを生成する生成部を備え、
    　前記画像処理部は、前記非可視第１視差画像データの新たに算出する画素値を、前記非可視第１視差画像データの新たに算出する画素値と、前記非可視視差なし画像データの新たに求めた画素値との差が、少なくとも、前記非可視第１視差画像データの前記対象画素位置の画素値と、前記非可視第２視差画像データの前記対象画素位置の画素値との差に対して相関を保つように算出する請求項１８または１９に記載の画像処理装置。
  21. 　前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との比が、前記可視視差なし画像データの前記対象画素位置における画素値と、前記可視第１視差画像データの前記対象画素位置における画素値と前記可視第２視差画像データの前記対象画素位置における画素値との平均の画素値との比に対して相関を保つように算出する請求項１７に記載の画像処理装置。
  22. 　前記入力部は、前記可視光の波長帯域における複数の色成分のそれぞれについて、前記可視視差なし画像データ、前記可視第１視差画像データ、および前記可視第２視差画像データを入力し、
    　前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との比が、少なくとも、（１）第１の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第１の色成分における前記可視第１視差画像データの前記対象画素位置の画素値と前記第１の色成分における前記可視第２視差画像データの前記対象画素位置の画素値との平均の画素値との比と、（２）第２の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第２の色成分における前記可視第１視差画像データの前記対象画素位置の画素値と前記第２の色成分における前記可視第２視差画像データの前記対象画素位置の画素値との平均からなる画素値との比との積に相関を保つように算出する請求項１７に記載の画像処理装置。
  23. 　前記非可視画像データは、前記非可視光の波長帯域における前記第１視点の非可視第１視差画像データおよび前記第２視点の非可視第２視差画像データを含み、
    　前記非可視第１視差画像データおよび前記非可視第２視差画像データの平均によって、前記非可視視差なし画像データを生成する生成部を備え、
    　前記画像処理部は、前記非可視第１視差画像データの新たに算出する画素値を、前記非可視第１視差画像データの新たに算出する画素値と、前記非可視視差なし画像データの新たに求めた画素値との差が、少なくとも、前記非可視第１視差画像データの前記対象画素位置の画素値と、前記非可視第２視差画像データの前記対象画素位置の画素値との比に対して相関を保つように算出する請求項２１または２２に記載の画像処理装置。
  24. 　前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データを含み、
    　前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データを含む請求項１５に記載の画像処理装置。
  25. 　前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    　前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との差が、前記非可視視差なし画像データの前記対象画素位置における画素値と、前記非可視第１視差画像データの前記対象画素位置における画素値と前記非可視第２視差画像データの前記対象画素位置における画素値との平均の画素値との差、または前記非可視視差なし画像データの前記対象画素位置における画素値と前記非可視視差なし画像データの前記対象画素位置における局所的な平均値との差に対して相関を保つように算出する請求項２４に記載の画像処理装置。
  26. 　前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    　前記入力部は、前記非可視光の波長帯域における複数のバンド成分のそれぞれについて、前記非可視視差なし画像データ、前記非可視第１視差画像データ、および前記非可視第２視差画像データを入力し、
    　前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との差が、少なくとも、（１）第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第１のバンド成分における前記非可視第１視差画像データの前記対象画素位置の画素値と前記第１のバンド成分における前記非可視第２視差画像データの前記対象画素位置の画素値との平均の画素値との差と、（２）第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第２のバンド成分における前記非可視第１視差画像データの前記対象画素位置の画素値と前記第２のバンド成分における前記非可視第２視差画像データの前記対象画素位置の画素値との平均からなる画素値との差との和、または、少なくとも、（１）第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との差と、（２）第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との差との和に相関を保つように算出する請求項２４に記載の画像処理装置。
  27. 　前記可視画像データは、前記可視光の波長帯域における前記基準方向の視点とは異なる前記第１視点の可視第１視差画像データおよび前記第２視点の可視第２視差画像データとを含み、
    　前記画像処理部は、前記可視第１視差画像データの新たに算出する画素値を、前記可視第１視差画像データの新たに算出する画素値と、前記可視視差なし画像データの新たに求めた画素値との差が、少なくとも、前記非可視第１視差画像データの前記対象画素位置の画素値と、前記非可視第２視差画像データの前記対象画素位置の画素値との差に対して相関を保つように算出する請求項２５または２６に記載の画像処理装置。
  28. 　前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    　前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との比が、前記非可視視差なし画像データの前記対象画素位置における画素値と、前記非可視第１視差画像データの前記対象画素位置における画素値と前記非可視第２視差画像データの前記対象画素位置における画素値との平均の画素値との比、または前記非可視視差なし画像データの前記対象画素位置における画素値と前記非可視視差なし画像データの前記対象画素位置における局所的な平均値との比に対して相関を保つように算出する請求項２４に記載の画像処理装置。
  29. 　前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    　前記入力部は、前記非可視光の波長帯域における複数のバンド成分のそれぞれについて、前記非可視視差なし画像データ、前記非可視第１視差画像データ、および前記非可視第２視差画像データを入力し、
    　前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との比が、少なくとも、（１）第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第１のバンド成分における前記非可視第１視差画像データの前記対象画素位置の画素値と前記第１のバンド成分における前記非可視第２視差画像データの前記対象画素位置の画素値との平均の画素値との比と、（２）第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第２のバンド成分における前記非可視第１視差画像データの前記対象画素位置の画素値と前記第２のバンド成分における前記非可視第２視差画像データの前記対象画素位置の画素値との平均からなる画素値との比との積、または、少なくとも、（１）第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との比と、（２）第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との比との積に相関を保つように算出する請求項２４に記載の画像処理装置。
  30. 　前記可視画像データは、前記可視光の波長帯域における前記基準方向の視点とは異なる前記第１視点の可視第１視差画像データおよび前記第２視点の可視第２視差画像データとを含み、
    　前記画像処理部は、前記可視第１視差画像データの新たに算出する画素値を、前記可視第１視差画像データの新たに算出する画素値と、前記可視視差なし画像データの新たに求めた画素値との比が、少なくとも、前記非可視第１視差画像データの前記対象画素位置の画素値と、前記非可視第２視差画像データの前記対象画素位置の画素値との比に対して相関を保つように算出する請求項２８または２９に記載の画像処理装置。
  31. 　前記非可視光の波長帯域は、近赤外領域である請求項１７から３０のいずれか１項に記載の画像処理装置。
  32. 　被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    　前記可視第１視差画像の新たに算出する画素値を、前記可視第１視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間の差が、少なくとも、前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間の差に対して相関を保つように算出し、新たな可視第１視差画像を出力する画像処理装置。
  33. 　前記可視第１視差画像の新たに算出する画素値を、前記可視第１視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間の差が、少なくとも、
    　１）前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間の差と、
    　２）前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな可視第１視差画像を出力する請求項３２に記載の画像処理装置。
  34. 　被写体像の可視光の波長帯域の第１～第m（m≧２）の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第１～第m（m≧２）の複数の色成分に関する前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の第１～第n（n≧２）の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１～第n（n≧２）の複数のバンド成分に関する第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    　前記第１の色成分に関する可視第１視差画像の新たに算出する画素値を、前記第１の色成分に関する可視第１視差画像の新たに算出する画素値と前記第１の色成分に関する可視視差なし画像の画素値との間の差が、少なくとも、
    　１）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間の差と、
    　２）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな第１の色成分に関する可視第１視差画像を出力する請求項３２に記載の画像処理装置。
  35. 　前記第１の色成分に関する可視第１視差画像の新たに算出する画素値を、前記第１の色成分に関する可視第１視差画像の新たに算出する画素値と前記第１の色成分に関する可視視差なし画像の画素値との間の差が、少なくとも、
    　１）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間の差と、
    　２）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間の差と、
    　３）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間の差と、
    　４）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな第１の色成分に関する可視第１視差画像を出力する請求項３４に記載の画像処理装置。
  36. 　被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    　前記非可視第１視差画像の新たに算出する画素値を、前記非可視第１視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間の差が、少なくとも、前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間の差に対して相関を保つように算出し、新たな非可視第１視差画像を出力する画像処理装置。
  37. 　前記非可視第１視差画像の新たに算出する画素値を、前記非可視第１視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間の差が、少なくとも、
    　１）前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間の差と、
    　２）前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな非可視第１視差画像を出力する請求項３６に記載の画像処理装置。
  38. 　被写体像の可視光の波長帯域の第１～第m（m≧２）の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第１～第m（m≧２）の複数の色成分に関する前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の第１～第n（n≧２）の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１～第n（n≧２）の複数のバンド成分に関する第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    　前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値を、前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値と前記第１のバンド成分に関する非可視視差なし画像の画素値との間の差が、少なくとも、
    　１）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間の差と、
    　２）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな第１のバンド成分に関する非可視第１視差画像を出力する請求項３６に記載の画像処理装置。
  39. 　前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値を、前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値と前記第１のバンド成分に関する非可視視差なし画像の画素値との間の差が、少なくとも、
    　１）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間の差と、
    　２）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間の差と、
    　３）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間の差と、
    　４）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな第１のバンド成分に関する非可視第１視差画像を出力する請求項３８に記載の画像処理装置。
  40. 　被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    　前記可視第１視差画像の新たに算出する画素値を、前記可視第１視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間で定義される比が、少なくとも、前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな可視第１視差画像を出力する画像処理装置。
  41. 　前記可視第１視差画像の新たに算出する画素値を、前記可視第１視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間で定義される比が、少なくとも、
    　１）前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間で定義される比と、
    　２）前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな可視第１視差画像を出力する請求項４０に記載の画像処理装置。
  42. 　被写体像の可視光の波長帯域の第１～第m（m≧２）の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第１～第m（m≧２）の複数の色成分に関する前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の第１～第n（n≧２）の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１～第n（n≧２）の複数のバンド成分に関する第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    　前記第１の色成分に関する可視第１視差画像の新たに算出する画素値を、前記第１の色成分に関する可視第１視差画像の新たに算出する画素値と前記第１の色成分に関する可視視差なし画像の画素値との間で定義される比が、少なくとも、
    　１）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間で定義される比と、
    　２）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな第１の色成分に関する可視第１視差画像を出力する請求項４０に記載の画像処理装置。
  43. 　前記第１の色成分に関する可視第１視差画像の新たに算出する画素値を、前記第１の色成分に関する可視第１視差画像の新たに算出する画素値と前記第１の色成分に関する可視視差なし画像の画素値との間で定義される比が、少なくとも、
    　１）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間で定義される比と、
    　２）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間で定義される比と、
    　３）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間で定義される比と、
    　４）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな第１の色成分に関する可視第１視差画像を出力する請求項４２に記載の画像処理装置。
  44. 　被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    　前記非可視第１視差画像の新たに算出する画素値を、前記非可視第１視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間で定義される比が、少なくとも、前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな非可視第１視差画像を出力する画像処理装置。
  45. 　前記非可視第１視差画像の新たに算出する画素値を、前記非可視第１視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間で定義される比が、少なくとも、
    　１）前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間で定義される比と、
    　２）前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな非可視第１視差画像を出力する請求項４４に記載の画像処理装置。
  46. 　被写体像の可視光の波長帯域の第１～第m（m≧２）の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第１～第m（m≧２）の複数の色成分に関する前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の第１～第n（n≧２）の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１～第n（n≧２）の複数のバンド成分に関する第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    　前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値を、前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値と前記第１のバンド成分に関する非可視視差なし画像の画素値との間で定義される比が、少なくとも、
    　１）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間で定義される比と、
    　２）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな第１のバンド成分に関する非可視第１視差画像を出力する請求項４４に記載の画像処理装置。
  47. 　前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値を、前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値と前記第１のバンド成分に関する非可視視差なし画像の画素値との間で定義される比が、少なくとも、
    　１）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間で定義される比と、
    　２）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間で定義される比と、
    　３）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間で定義される比と、
    　４）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな第１のバンド成分に関する非可視第１視差画像を出力する請求項４６に記載の画像処理装置。
  48. 　被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像は、いずれも１つの光学系を通して同じ撮像面上に結像した各波長帯域の像を撮像した画像からなる請求項３２から４７のいずれか１項に記載の画像処理装置。
  49. 　一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、
    　前記可視画像データおよび前記非可視画像データのうち少なくとも一方に含まれる視差成分を他方に重畳する画像処理部と
    を備える画像処理装置。
  50. 　前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データと、前記可視光の波長帯域における前記基準方向の視点とは異なる第１視点の可視第１視差画像データとを含み、
    　前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    　前記可視第１視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との間の差が、少なくとも、前記非可視第１視差画像データの前記対象画素位置における画素値と前記非可視第２視差画像データの前記対象画素位置における画素値との差に対して相関を保つように算出する請求項４９に記載の画像処理装置。
  51. 　前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点とは異なる第１視点の可視第１視差画像データおよび第２視点の可視第２視差画像データを含み、
    　前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データと、前記非可視光の波長帯域における前記第１視点の非可視第１視差画像データとを含み、
    　前記非可視第１視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との間の差が、少なくとも、前記可視第１視差画像データの前記対象画素位置における画素値と前記可視第２視差画像データの前記対象画素位置における画素値との差に対して相関を保つように算出する請求項４９に記載の画像処理装置。
  52. 　前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データと、前記可視光の波長帯域における前記基準方向の視点とは異なる第１視点の可視第１視差画像データとを含み、
    　前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    　前記可視第１視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との間の比が、少なくとも、前記非可視第１視差画像データの前記対象画素位置における画素値と前記非可視第２視差画像データの前記対象画素位置における画素値との比に対して相関を保つように算出する請求項４９に記載の画像処理装置。
  53. 　前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点とは異なる第１視点の可視第１視差画像データおよび第２視点の可視第２視差画像データを含み、
    　前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データと、前記非可視光の波長帯域における前記第１視点の非可視第１視差画像データとを含み、
    　前記非可視第１視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との間の比が、少なくとも、前記可視第１視差画像データの前記対象画素位置における画素値と前記可視第２視差画像データの前記対象画素位置における画素値との比に対して相関を保つように算出する請求項４９に記載の画像処理装置。
PCT/JP2015/060715 2014-04-04 2015-04-06 撮像素子、撮像装置および画像処理装置 WO2015152423A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580018356.0A CN106165398B (zh) 2014-04-04 2015-04-06 摄像元件、摄像装置以及图像处理装置
JP2016511655A JP6354838B2 (ja) 2014-04-04 2015-04-06 撮像素子、撮像装置および画像処理装置
US15/285,050 US10291901B2 (en) 2014-04-04 2016-10-04 Image sensor, imaging device and image processing device that generate parallax images in both visible and invisible wavelength bands

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2014077854 2014-04-04
JP2014-077854 2014-04-04
JP2014-077853 2014-04-04
JP2014077852 2014-04-04
JP2014077853 2014-04-04
JP2014-077852 2014-04-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/285,050 Continuation US10291901B2 (en) 2014-04-04 2016-10-04 Image sensor, imaging device and image processing device that generate parallax images in both visible and invisible wavelength bands

Publications (1)

Publication Number Publication Date
WO2015152423A1 true WO2015152423A1 (ja) 2015-10-08

Family

ID=54240726

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060715 WO2015152423A1 (ja) 2014-04-04 2015-04-06 撮像素子、撮像装置および画像処理装置

Country Status (4)

Country Link
US (1) US10291901B2 (ja)
JP (1) JP6354838B2 (ja)
CN (1) CN106165398B (ja)
WO (1) WO2015152423A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973199A (zh) * 2015-12-17 2017-07-21 财团法人多次元智能It融合系统 利用对焦距离扫描提高深度精确度的多光圈相机系统
WO2018211588A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置、撮像方法及びプログラム
WO2023047825A1 (ja) * 2021-09-27 2023-03-30 富士フイルム株式会社 撮像装置および撮像方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255664B2 (en) * 2014-07-04 2019-04-09 Sony Corporation Image processing device and method
EP3438723B1 (en) * 2016-03-30 2023-09-06 Sony Olympus Medical Solutions Inc. Stereoscopic observation device for medical use, stereoscopic observation method for medical use, and program
CN107333034B (zh) * 2017-06-12 2020-09-04 信利光电股份有限公司 一种红外摄像抗干扰的实现方法及实现装置
CN108093240A (zh) * 2017-12-22 2018-05-29 成都先锋材料有限公司 3d深度图获取方法及装置
JP6947021B2 (ja) * 2017-12-27 2021-10-13 株式会社リコー 画像処理方法、画像処理装置および画像処理システム
CN110475083B (zh) * 2019-08-26 2021-12-14 Oppo广东移动通信有限公司 一种像素结构、图像传感器及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175807A (ja) * 2012-02-23 2013-09-05 Nikon Corp 撮像装置
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置
JP2014060694A (ja) * 2012-03-16 2014-04-03 Nikon Corp 撮像素子および撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541653A (en) 1993-07-27 1996-07-30 Sri International Method and appartus for increasing resolution of digital color images using correlated decoding
JP4599672B2 (ja) 1999-12-21 2010-12-15 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
JP2003007994A (ja) 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP4910699B2 (ja) 2004-07-07 2012-04-04 株式会社ニコン 画像処理装置
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
WO2009066770A1 (ja) 2007-11-22 2009-05-28 Nikon Corporation デジタルカメラおよびデジタルカメラシステム
US8902321B2 (en) * 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8203465B2 (en) * 2009-07-13 2012-06-19 The Boeing Company Filtering aircraft traffic for display to a pilot
JP5874116B2 (ja) 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
CN103503447B (zh) * 2011-05-06 2016-05-18 株式会社尼康 拍摄装置及拍摄装置的控制方法
JP5263373B2 (ja) * 2011-11-07 2013-08-14 ソニー株式会社 半導体装置および撮像装置
JP6131546B2 (ja) 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP6131545B2 (ja) 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
WO2013136819A1 (ja) 2012-03-16 2013-09-19 株式会社ニコン 撮像素子、撮像装置および撮像システム
WO2013161313A1 (ja) 2012-04-25 2013-10-31 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
WO2014003806A1 (en) * 2012-06-29 2014-01-03 Xhale, Inc. Photoplethysmography sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175807A (ja) * 2012-02-23 2013-09-05 Nikon Corp 撮像装置
JP2014060694A (ja) * 2012-03-16 2014-04-03 Nikon Corp 撮像素子および撮像装置
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973199A (zh) * 2015-12-17 2017-07-21 财团法人多次元智能It融合系统 利用对焦距离扫描提高深度精确度的多光圈相机系统
CN106973199B (zh) * 2015-12-17 2020-12-04 财团法人多次元智能It融合系统 利用对焦距离扫描提高深度精确度的多光圈相机系统
WO2018211588A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置、撮像方法及びプログラム
WO2023047825A1 (ja) * 2021-09-27 2023-03-30 富士フイルム株式会社 撮像装置および撮像方法

Also Published As

Publication number Publication date
CN106165398B (zh) 2019-07-02
JPWO2015152423A1 (ja) 2017-04-13
CN106165398A (zh) 2016-11-23
US20170026632A1 (en) 2017-01-26
US10291901B2 (en) 2019-05-14
JP6354838B2 (ja) 2018-07-11

Similar Documents

Publication Publication Date Title
JP6354838B2 (ja) 撮像素子、撮像装置および画像処理装置
EP2190019A1 (en) Image pickup apparatus
JP6048574B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6036829B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御プログラム
US9727985B2 (en) Image processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon
US9838665B2 (en) Image processing device, imaging device, and image processing program
JP5923754B2 (ja) ３次元撮像装置
WO2014192300A1 (ja) 撮像素子、撮像装置、および画像処理装置
WO2013136819A1 (ja) 撮像素子、撮像装置および撮像システム
US9628776B2 (en) Three-dimensional imaging device, image processing device, image processing method, and image processing program
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
US9706186B2 (en) Imaging apparatus for generating parallax image data
JPWO2013136820A1 (ja) 撮像素子および撮像装置
JP5978736B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2012153504A1 (ja) 撮像装置および撮像装置の制御プログラム
JP5907668B2 (ja) 撮像装置及び撮像素子
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2014107594A (ja) 撮像素子および撮像装置
JP5978738B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6019611B2 (ja) 撮像装置
WO2015163350A1 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6070060B2 (ja) 撮像装置およびプログラム
JP6331279B2 (ja) 撮像装置、撮像方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15773952

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016511655

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15773952

Country of ref document: EP

Kind code of ref document: A1