WO2014196202A1 - 画像取得装置、画像取得方法、およびプログラム - Google Patents

画像取得装置、画像取得方法、およびプログラム Download PDF

Info

Publication number
WO2014196202A1
WO2014196202A1 PCT/JP2014/002985 JP2014002985W WO2014196202A1 WO 2014196202 A1 WO2014196202 A1 WO 2014196202A1 JP 2014002985 W JP2014002985 W JP 2014002985W WO 2014196202 A1 WO2014196202 A1 WO 2014196202A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image
images
light
irradiation directions
Prior art date
Application number
PCT/JP2014/002985
Other languages
English (en)
French (fr)
Inventor
安比古 足立
好秀 澤田
佳州 佐藤
本村　秀人
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP14807811.6A priority Critical patent/EP3007432B1/en
Priority to CN201480031057.6A priority patent/CN105247852B/zh
Priority to JP2014555024A priority patent/JP5789765B2/ja
Publication of WO2014196202A1 publication Critical patent/WO2014196202A1/ja
Priority to US14/628,035 priority patent/US9438793B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Definitions

  • the present application relates to an image acquisition device, an image acquisition method, and a program.
  • the imaging device used in the imaging apparatus employs a two-dimensional image sensor in which a large number of photoelectric conversion units are arranged in rows and columns within the imaging surface.
  • the photoelectric conversion unit is typically a photodiode formed on a semiconductor layer or a semiconductor substrate, and generates charge upon receiving incident light.
  • the resolution (resolution) of the two-dimensional image sensor depends on the arrangement pitch or arrangement density of the photoelectric conversion units on the imaging surface. Since the arrangement pitch of the individual photoelectric conversion units is as short as the wavelength of visible light, it is extremely difficult to further improve the resolution.
  • the image acquired by the image sensor is defined by a large number of pixels. Each pixel is partitioned by a unit region including one photoelectric conversion unit. Since there is a region occupied by the wiring on the imaging surface, the light receiving area S2 of one photoelectric conversion unit is smaller than the area S1 of one pixel.
  • the ratio (S2 / S1) of the light receiving area S2 to the pixel area S1 is called "aperture ratio".
  • the aperture ratio (S2 / S1) can take a value of about 25%, for example. When the aperture ratio is small, the amount of incident light used for photoelectric conversion is reduced, so that the quality of the pixel signal output from the image sensor is lowered.
  • a microlens array is arranged so as to face the imaging surface, and each microlens is opposed to each photoelectric conversion unit and collects light, the light receiving area S2 is effectively enlarged, and the aperture ratio ( It is possible to increase S2 / S1) to approach 1. However, even if the aperture ratio (S2 / S1) is increased in this way, the pixel arrangement pitch and arrangement density do not increase, so the resolution does not change.
  • Patent Document 1 discloses high resolution by super-resolution technology. In order to achieve such a high resolution, it is necessary to obtain a point spread function (PSF) in order to perform restoration by deconvolution. For example, it is necessary to use a point light source to determine the actual PSF, and it has been proposed to obtain the PSF using quantum dots and fluorescent beads.
  • PSF point spread function
  • the PSF measurement error increases in proportion to the photographing magnification, and as a result, the image quality of the high-resolution image deteriorates in proportion to the resolution.
  • An image acquisition apparatus includes an illumination system that sequentially emits illumination light from a plurality of different irradiation directions with respect to a subject, and irradiates the subject with the illumination light, and the subject is transmitted
  • the image sensor that is arranged at a position where the illumination light enters and acquires a plurality of different images according to the different irradiation directions, and the resolution is improved from each of the plurality of images based on the plurality of images.
  • An image processing unit that forms a high-resolution image of a subject, and a ratio of light rays that pass through the upper surfaces of a plurality of sub-pixels included in each pixel of the image sensor to the photoelectric conversion unit of the pixel in the plurality of irradiation directions.
  • a memory for storing data indicating each of the plurality of images, and the image processing unit uses a set of pixel values constituting each of the plurality of images according to the plurality of irradiation directions as a vector, Forming a high resolution image of the object based on the data read from memory.
  • An image acquisition method includes a step of emitting illumination light sequentially from a plurality of different irradiation directions with respect to a subject, irradiating the subject with the illumination light, and the light transmitted through the subject.
  • a step of storing data indicating each direction in a memory and a set of pixel values constituting each of the plurality of images according to the plurality of irradiation directions as vectors are read from the memory. Wherein an inverse matrix of matrix with coefficient the ratio on the basis of the data calculated in the vector of the
  • An image acquisition device is an image acquisition device including an illumination device, an imaging element, and a computer, and the computer uses the illumination device to generate a plurality of different irradiation directions based on a subject. Sequentially illuminating the object with the illumination light, and illuminating the subject with the illumination light.
  • An image is acquired, and based on the plurality of images, a high-resolution image of the subject with improved resolution than each of the plurality of images is formed, and upper surfaces of a plurality of sub-pixels included in each pixel of the image sensor
  • Data indicating the ratio of light beams passing through the photoelectric conversion unit of the pixel in each of the plurality of irradiation directions is stored in a memory, and the image processing unit is configured to store the plurality of images.
  • a set of pixel values constituting each of the plurality of irradiation directions is set as a vector, and an inverse matrix of a matrix having the ratio as a coefficient based on the data read from the memory is calculated as the pixel value vector.
  • the high resolution image of the subject is set.
  • a program according to an aspect of the present disclosure is a program for an image acquisition apparatus including an illumination device, an imaging element, and a computer, and sequentially from a plurality of different irradiation directions based on a subject by the illumination device.
  • the imaging device that emits illumination light, irradiates the subject with the illumination light, and is disposed at a position where the illumination light transmitted through the subject is incident, acquires a plurality of different images according to the different illumination directions. Then, based on the plurality of images, a high-resolution image of the subject with higher resolution than each of the plurality of images is formed, and passes through the upper surfaces of the plurality of sub-pixels included in each pixel of the image sensor.
  • Data indicating a rate at which light rays are incident on the photoelectric conversion unit of the pixel for each of the plurality of irradiation directions is stored in a memory, and the image processing unit is configured to store each of the plurality of images.
  • the set of pixel values constituting the plurality of irradiation directions as a vector, and an inverse matrix of a matrix having the ratio as a coefficient based on the data read from the memory is calculated as the pixel value vector, A high-resolution image of the subject is formed.
  • An image acquisition apparatus irradiates a subject with light, a light source that is fixed in posture and position, a tilt mechanism that tilts the subject at a plurality of tilt angles, and a light transmitted through the subject. Based on the plurality of images, an image sensor that is arranged at a position where the light is incident and is tilted integrally with the subject by the tilt mechanism and acquires a plurality of images according to the plurality of tilt angles.
  • An image processing unit that forms a high-resolution image of the subject with higher resolution than each of the plurality of images, and light rays that pass through the upper surfaces of the plurality of sub-pixels included in each pixel of the imaging element
  • a memory for storing data indicating a ratio of incidence on the conversion unit for each of the plurality of inclination angles, and the image processing unit is configured to store the plurality of pixel values of each of the plurality of images.
  • high resolution can be realized by synthesizing a plurality of low resolution images obtained by one image sensor.
  • Plan view schematically showing an example of arrangement of photodiodes in an image sensor The top view which shows typically the relationship between one pixel and opening area in an image sensor
  • Sectional drawing which shows typically the relationship between one pixel and opening area in an image sensor Sectional drawing for demonstrating a structure and operation
  • the figure which shows the example of the illumination in the image acquisition apparatus of this indication The figure which shows the example of the illumination in the image acquisition apparatus by this indication
  • the figure which shows the example of the illumination in the image acquisition apparatus by this indication The figure which shows the other example of the illumination in the image acquisition apparatus by this indication
  • Sectional drawing which shows the example of the light ray incidence in the image pick-up element in this indication Sectional drawing which shows the other example of the light ray incidence in the image pick-up element in this indication
  • Sectional drawing which shows the further another example of the light ray incidence in the image pick-up element in this indication Sectional drawing which shows the further another example of the light ray incidence in the image pick-up element in this indication.
  • Sectional drawing which shows the example of the light ray incidence which passed the to-be-photographed object in the image pick-up element in this indication
  • a table showing the relationship between the output values A 1 to A 4 of the photodiode 40 obtained by imaging in each of the irradiation directions J1 to J4 and the transmittances S1 to S4
  • a table showing the relationship between the output values of the photodiodes 40 obtained by imaging in the irradiation directions J1 to J4 and the transmittances S1 to S4 for N pixels.
  • a table showing the relationship between the output values A 1 to A 5 of the photodiode 40 obtained by imaging in each of the irradiation directions J1 to J5 and the transmittances S1 to S4 A table showing the relationship between the output values of the photodiodes 40 obtained by imaging in the irradiation directions J1 to J5 and the transmittances S1 to S4 for N pixels.
  • Conditional expression that defines the relationship shown in the table of FIG. A graph in which three straight lines represented by the three conditional expressions in FIG.
  • the block diagram which shows schematic structure of the image acquisition apparatus which concerns on 1st embodiment.
  • Sectional drawing which shows the error of the light beam incident position resulting from the position shift of the light source in the image acquisition apparatus which concerns on 1st embodiment.
  • Sectional drawing which shows the shift of the light beam incident position resulting from the breadth of the light beam radiate
  • the figure which shows the example of the calculation range which can be made into the object of the calculation using a matrix The perspective view which shows an example of the image pick-up element provided with the light-shielding part
  • Sectional drawing which shows an example of the image pick-up element provided with the light-shielding part
  • movement of the image acquisition apparatus which concerns on 1st embodiment The block diagram which shows schematic structure of the image acquisition apparatus which concerns on 2nd embodiment.
  • the figure which shows the acquisition method of the enlarged image 2801 for acquiring the high-resolution image of 2 times the expansion ratio The figure which shows the modification provided with the holding
  • maintains the to-be-photographed object and the image pick-up element so that attachment or detachment is possible.
  • maintains the to-be-photographed object and the image pick-up element so that attachment or detachment is possible.
  • maintains the to-be-photographed object and the image pick-up element so that attachment or detachment is possible.
  • maintains the to-be-photographed object and the image pick-up element so that attachment or detachment is possible.
  • maintains the to-be-photographed object and the image pick-up element so that attachment or detachment is possible.
  • maintains the to-be-photographed object and the image pick-up element so that attachment or detachment is possible.
  • FIG. 1 is a plan view schematically showing a part of an image pickup surface of a CCD image sensor which is an example of the image pickup element 113.
  • a plurality of photodiodes (photoelectric conversion units) 40 are arranged in rows and columns on the imaging surface.
  • one pixel 50 is indicated by a dotted rectangular area. Many pixels 50 are closely arranged in rows and columns on the imaging surface.
  • each photodiode 40 generates a charge in the photodiode 40.
  • the amount of charge generated varies depending on the amount of light incident on the photodiode 40.
  • the charge generated by each photodiode 40 moves to the vertical charge transfer path 44 extending in the vertical direction, and is sequentially transferred through the vertical charge transfer path 44 to move to the horizontal charge transfer path 46.
  • the charge is transferred through the horizontal charge transfer path 46 extending in the horizontal direction, and is output from one end of the horizontal charge transfer path 46 to the outside of the image sensor 113 as a pixel signal.
  • Transfer electrodes (not shown) are arranged on the charge transfer paths 44 and 46. Note that the configuration of the image sensor 113 used in the image acquisition device of the present disclosure is not limited to the above example. Instead of the CCD image sensor, a MOS type image sensor may be used.
  • the arrangement pitch of the photodiodes 40 in the imaging surface does not need to match in the vertical direction and the horizontal direction.
  • the arrangement pitch of the photodiodes 40 is equal in the vertical direction and the horizontal direction, and both have a size K [ ⁇ m].
  • FIG. 2 is a plan view schematically showing one pixel 50 and the photodiode 40 included in the pixel 50.
  • the size of each pixel in this example is K [ ⁇ m] ⁇ K [ ⁇ m].
  • the resolution is determined not by the pixel pitch but by the size of the photodiode 40 (the size of the light receiving region).
  • the size P of the photodiode 40 in the present embodiment can be set to 0.1 ⁇ m or more.
  • the microlens corresponding to each photodiode 40 is not provided. Therefore, in each pixel 50, a region other than the light receiving region (P ⁇ P region) of the photodiode 40 is a “light-shielding region”, and light incident on the light-shielding region is not photoelectrically converted to form a pixel signal. do not do.
  • the light receiving area indicated by P [ ⁇ m] ⁇ P [ ⁇ m] may be referred to as an “opening area”.
  • the position, shape, and size of the photodiode 40 in each pixel 50 are not limited to the example shown in FIG.
  • the pixel region and the photodiode typically have a rectangular shape on the imaging surface.
  • the ratio of the size of the photodiode to the size of the pixel region in the horizontal direction in the imaging surface is represented by (1 / n), and the size of the pixel region in the vertical direction in the imaging surface.
  • the ratio of the size of the photodiode to can be expressed by (1 / m).
  • the aperture ratio is represented by (1 / n) ⁇ (1 / m).
  • Each of n and m can be a real number of 2 or more.
  • FIG. 3 is a cross-sectional view schematically showing an example of a cross-sectional configuration of one pixel 50 included in the image sensor 113.
  • the imaging device includes a semiconductor substrate 400, a photodiode (PD) 40 formed on the surface of the semiconductor substrate 400, a wiring layer 402 supported by the semiconductor substrate 400, and a wiring layer 402.
  • the light-shielding layer 42 to cover and the transparent layer 406 which covers the light incident side surface of the semiconductor substrate 400 are provided.
  • only one photodiode 40 is shown because a cross section of a portion corresponding to a single pixel is shown. However, in reality, a large number of photodiodes 40 are formed on one semiconductor substrate 400. Is formed.
  • an impurity diffusion layer (not shown) that functions as a vertical or horizontal charge transfer path is formed in the semiconductor substrate 400 below the wiring layer 402.
  • the wiring layer 402 is connected to electrodes (not shown) arranged on the charge transfer path.
  • MOS transistors (not shown) are formed on the semiconductor substrate 400 in units of pixels. The MOS transistor functions as a switching element for reading the charge of the corresponding photodiode 40.
  • Components other than the photodiode 40 in the image sensor 113 are covered with a light shielding layer 42.
  • the area covered by the light shielding layer 42 is painted black.
  • the configuration of the image sensor that can be used in the present embodiment is not limited to the above example, and may be a back-illuminated CCD image sensor or a back-illuminated MOS image sensor.
  • FIGS. 4A and 4B are cross-sectional views each schematically showing a schematic configuration example of an image acquisition device according to the present disclosure.
  • the image acquisition apparatus shown in the drawing includes an illumination device 111 that sequentially emits illumination light from a plurality of different light source directions (irradiation directions) with respect to the subject 30 and irradiates the subject 30 with the illumination light, and the subject 30. And an image sensor 113 that acquires a plurality of different images according to different irradiation directions.
  • the image acquisition apparatus also includes an image processing unit 12 that forms a high-resolution image based on a plurality of images acquired according to different irradiation directions.
  • the image processing unit 12 can form a high-resolution image of the subject having a higher resolution (resolution) than each of the plurality of images obtained from the image sensor 113.
  • the image processing unit 12 can be realized by a general-purpose or dedicated computer.
  • the illumination device 111 causes the illumination light to enter the subject 30 from the first direction.
  • the illumination device 111 causes the illumination light to enter the subject 30 from the second direction.
  • the light rays incident on the light shielding layer 42 are not used for acquiring an image. In other words, each image is acquired only from the light emitted from the illumination device 111 and incident on the photodiode 40.
  • the region where the light beam incident on the photodiode 40 is transmitted through the subject 30 may be different.
  • the image acquisition device of this embodiment while the image sensor 113 acquires a plurality of images, at least a part of the light beam that has passed through the same part of the subject 30 may enter the photoelectric conversion unit of the image sensor 113. As described above, a plurality of irradiation directions are adjusted.
  • the subject 30 that can be imaged by the image acquisition device of the present disclosure is an object that includes at least part of a region through which light can be transmitted.
  • the subject 30 may be a slide including a pathological specimen having a thickness of several ⁇ m.
  • the shape of the subject 30 is not limited to a plate shape, and may be powder or liquid.
  • the size of the subject 30 in the normal direction of the imaging surface is, for example, 2 ⁇ m or less.
  • FIGS. 5A, 5B, and 5C a first configuration example of the illumination device 111 will be described with reference to FIGS. 5A, 5B, and 5C.
  • the illumination device 111 in the first configuration example has a plurality of light sources (illumination light sources) 10a, 10b, and 10c. These light sources 10a, 10b, and 10c are arranged at different positions corresponding to a plurality of different irradiation directions, and are sequentially turned on. For example, when the light source 10a is turned on, as shown in FIG. 5A, light is emitted from the light source 10a, and the subject 30 is irradiated with the light. 5A to 5C, the light from the light sources 10a, 10b, and 10c is shown to diverge, but in reality, the distance from the light sources 10a, 10b, and 10c to the image sensor 113 is sufficiently long.
  • substantially parallel light enters the subject 30 and the image sensor 113.
  • the light emitted from the light sources 10a, 10b, and 10c may be converged to parallel light or light close to parallel light by an optical system such as a lens (not shown). Therefore, the light sources 10a, 10b, and 10c may be point light sources or surface light sources.
  • the subject 30 is placed on the upper surface of the image sensor 113.
  • the upper surface of the image sensor 113 is indicated by a broken line in FIG. 5A and functions as the subject support section 112.
  • the image sensor 113 when imaging by the image sensor 113 is performed in a state where the subject 30 is irradiated with light from the light source 10a, for example, the light source 10b is turned on, and the light source 10a and the light source 10c are turned off. At this time, light is emitted from the light source 10b as shown in FIG. 5B, and the subject 30 is irradiated with the light.
  • the light source 10c When imaging by the image sensor 113 is performed in a state where the subject 30 is irradiated with light from the light source 10b, the light source 10c is turned on, and the light source 10a and the light source 10b are turned off. At this time, as shown in FIG. 5C, light is emitted from the light source 10c, and the subject 30 is irradiated with the light. In this state, imaging by the image sensor 113 is performed.
  • the subject 30 is irradiated from three different irradiation directions, and imaging is performed each time, so that a total of three images are acquired.
  • the number of light sources included in the illumination device 111 is not limited to three. Further, a plurality of light sources having different emission wavelengths may be arranged close to the same irradiation direction. For example, if red, green, and blue light sources (RGB light sources) are arranged at and near the position of the light source 10a in FIG. 5A, red, green, and blue light are sequentially irradiated in the state shown in FIG. 5A. 3 images can be acquired. If such three images can be acquired, a full color image can be obtained by simply superimposing them.
  • RGB light sources red, green, and blue light sources
  • Such an image is a time sequential color image.
  • the RGB light sources are simultaneously turned on, these light sources can function as a single white light source as a whole.
  • a white light source may be used as the light source.
  • the wavelength of the light source included in the illumination device 111 is not limited to the visible light region, and may be infrared or ultraviolet. Further, white light may be emitted from each light source, or light such as cyan, magenta, and yellow may be emitted.
  • FIG. 6 schematically shows a second configuration example of the illumination device 111.
  • the illumination device 111 in the configuration example of FIG. 6 includes at least one light source 10 that is movably supported. By moving the light source 10, light can be emitted from any direction included in the plurality of irradiation directions, and the subject 30 can be irradiated with the light.
  • the light sources 10a, 10b, and 10c do not need to be fixed at specific positions, and may be supported so as to be movable. Furthermore, the optical path of the light beam emitted from one fixed light source 10 may be changed via a drive optical system such as a mirror, so that the object 30 may be incident from different directions.
  • the irradiation direction changes in a plane parallel to the drawing sheet, but the irradiation direction may be a direction inclined with respect to this plane.
  • enlargement higher resolution in the one-dimensional direction on the imaging surface will be described below.
  • the magnification to be magnified is n (n is an integer of 2 or more), at least n 2 light sources can be used.
  • the “irradiation direction” of the illumination light is determined by the relative arrangement relationship between the light source and the subject (imaging surface). With reference to the imaging surface, the direction of the light beam of illumination light incident on the imaging surface is defined as the “irradiation direction”.
  • the irradiation direction can be specified by a vector in the XYZ coordinates.
  • the irradiation direction is arbitrary, and the number of irradiation directions is also arbitrary.
  • the “irradiation direction” perpendicular to the imaging surface can be expressed by a vector (0, 0, 1).
  • the 16 irradiation directions ⁇ 1 to ⁇ 16 are, for example, (0, 0, L), (K / 4, 0, L), (2K / 4, 0), respectively.
  • each pixel of the image sensor 113 includes a plurality of sub-pixels.
  • the number of the plurality of sub-pixel regions is not specific to the structure of the image sensor 113 and can be set depending on the number of times of light irradiation performed by changing the irradiation direction during imaging.
  • one pixel 50 includes four sub-pixels 50a, 50b, 50c, and 50d. Since one pixel includes one photodiode 40, in normal imaging, it is not possible to individually acquire information on small areas corresponding to the sub-pixels 50a, 50b, 50c, and 50d from the subject 30. That is, in the present specification, “a plurality of sub-pixels included in each pixel of the imaging device” is a portion that divides a region of one pixel assigned to each photodiode of the imaging device into a plurality of parts.
  • the subject 30 may be disposed in contact with or close to the upper surface 48 of the image sensor 113 during imaging.
  • the upper surface 48 of the image sensor 113 can function as a subject support portion (subject support surface).
  • the surface located on the upper surface 48 of the image sensor 113 is defined as “the upper surface of the sub-pixel”.
  • each pixel 50a, 50b, 50c, and 50d are arranged in one pixel 50 along the X-axis direction of FIG. 7, but the arrangement pattern of the subpixels is arbitrary.
  • the sub-pixels can be arranged two-dimensionally according to the spread of the imaging surface.
  • each pixel is composed of four sub-images arranged one-dimensionally along the X-axis direction, and attention is paid to only one pixel.
  • the illumination light shown in FIG. 8 is perpendicularly incident on the imaging surface.
  • Such illumination can be realized by, for example, irradiating the image sensor 113 with light emitted from the light source 10a of FIG. 5A.
  • light rays that have passed through the upper surfaces of the sub-pixels 50a, 50b, 50c, and 50d are incident on the photodiode 40 at the ratios of 1/2, 1, 1/2, and 0, respectively.
  • the amount of light that passes through the upper surface of the subpixel 50b and enters the photodiode 40 is a reference value 1
  • the amount of light that passes through the upper surface of the subpixel 50a and enters the photodiode 40 is 1/2. is there.
  • the numerical values “1/2, 1, 1/2, 0” that define the above “ratio” are merely examples, and may be expressed by a fraction using an integer of 3 or more, or expressed by a decimal. It may be. This “ratio” may change when the imaging device 113 has a different structure, for example, when the aperture ratio is different.
  • the illumination light shown in FIG. 9 is incident obliquely with respect to the imaging surface.
  • Such illumination can be realized by, for example, irradiating the image sensor 113 with light emitted from the light source 10c of FIG. 5C.
  • the light rays that have passed through the upper surfaces of the sub-pixels 50a, 50b, 50c, and 50d are incident on the photodiode 40 at the ratios of 1, 1/2, 0, and 0, respectively.
  • the illumination light shown in FIG. 10 is incident on the imaging surface obliquely from the opposite irradiation direction to the example of FIG.
  • Such illumination can be realized by, for example, irradiating the image sensor 113 with light emitted from the light source 10b in FIG. 5B.
  • light rays that have passed through the upper surfaces of the sub-pixels 50a, 50b, 50c, and 50d are incident on the photodiode 40 at the ratios of 0, 0, 1/2, and 1, respectively.
  • the irradiation direction By adjusting the irradiation direction, light can be incident on the image sensor 113 from a plurality of arbitrary directions. And said “ratio” can be calculated
  • FIG. 11 shows a state in which the subject 30 is arranged on the upper surface 48 of the image sensor 113 and the subject 30 is irradiated with light from an irradiation direction perpendicular to the imaging surface.
  • portions facing the upper surfaces of the sub-pixels 50a, 50b, 50c, and 50d are referred to as sub-pixel portions S1 to S4 of the subject 30, respectively.
  • the light transmittances of the sub-pixel portions S1 to S4 are expressed as S1 to S4, respectively.
  • the transmittances S1 to S4 of the subject 30 depend on the tissue or structure of the subject 30, and correspond to pixel information in a high-definition image of the subject 30.
  • the amount of light that passes through each of the sub-pixel portions S1 to S4 of the subject 30 and enters the photodiode 40 can be expressed by a value obtained by multiplying the transmittances S1 to S4 by the above-mentioned “ratio”.
  • the numerical values defining the “ratio” are 1/2, 1, 1/2, and 0, respectively, the amount of light that passes through each of the sub-pixel portions S1 to S4 and enters the photodiode 40 is S1 / 2, S2, S3 / 2, 0. That is, the output of 40 to the photodiode has a magnitude corresponding to S1 / 2 + S2 + S3 / 2.
  • the output value of the photodiode 40 includes information on the sub-pixel portions S1 to S4 ( Transmission) is convoluted. Therefore, the above set of numbers such as “1/2, 1, 1/2, 0” may be referred to as “convolution ratio”. Such a set of numbers can be treated as a vector.
  • the transmittances S1 to S4 are calculated by calculation. Can be determined.
  • FIG. 12A is a table showing the relationship between the output values A 1 to A 4 of the photodiode 40 obtained by imaging in each of the irradiation directions J1 to J4 and the transmittances S1 to S4. If j is 1 to 4, a set of A 1 to A 4 can be expressed as A j .
  • a j is a vector.
  • a matrix composed of numerical values of 4 rows and 4 columns shown in the table of FIG. 12A is expressed as a matrix M i j .
  • i is equal to the number of sub-pixels assigned to one pixel.
  • a vector composed of unknown transmittances S1 to S4 can be expressed as S i .
  • the sub-pixels involved in the pixel of interest include the surroundings, and when all pixels are focused, the entire simultaneous equation is obtained.
  • N the number of pixels
  • N is the number of pixels of the image to be calculated
  • j is a number from 1 to N that specifies the pixels included in the N pixels
  • k is j as described above.
  • the vector S i can be obtained by calculating the inverse matrix of the matrix M ij k with respect to the vector A j k obtained by imaging.
  • the subject in order to obtain a high-resolution image with a magnification of n, the subject is irradiated with light from n 2 different light source positions, and n 2 images are acquired.
  • n 2 images are acquired.
  • magnification n 2
  • the number of subpixels is two and the subject is irradiated with illumination light from three different irradiation directions J1, J2, and J3 will be described.
  • the table in FIG. 14 shows a numerical example of “ratio” in this case.
  • the unknowns are S1 and S2.
  • the pixel value obtained when imaged with illumination light from the irradiation direction J1 is A1
  • the pixel value obtained when imaged with illumination light from the irradiation direction J2 is A2
  • the obtained pixel value is A3.
  • Specific numerical values measured by imaging are input to A1, A2, and A3.
  • FIG. 15 shows three simultaneous equations that are established among S1, S2, A1, A2, and A3.
  • the coefficients of S1 and S2 in the equation are equal to the numerical value of “ratio” shown in FIG.
  • ratio the numerical value of “ratio” shown in FIG.
  • FIG. 16 is a graph in which three straight lines represented by the three equations in FIG. 15 are described on a two-dimensional coordinate plane with the horizontal axis S1 and the vertical axis S2. If there is no error in the “ratio” shown in FIG. 14, the three straight lines in FIG. 16 intersect at one point, and the coordinates of one point correspond to the solution to be obtained. However, due to the error, three intersections are observed in the graph of FIG. These three intersections should be located near the true value. For this reason, you may select the center point of the triangular area
  • the image of the subject 30 is acquired by substantially parallel light rays that pass through the subject 30 (for example, the divergence angle is 1/100 radians or less).
  • the divergence angle is 1/100 radians or less.
  • the distance from the imaging surface of the image sensor 113 to the subject 30 is typically 100 ⁇ m or less, and can be set to about 1 ⁇ m, for example.
  • N is an integer of 2 or more
  • high resolution can be achieved up to N times if imaging is performed by irradiating light from N ⁇ 2 different directions.
  • Performing N times higher resolution on a subject 30 corresponds to each pixel including N ⁇ 2 sub-pixels.
  • the illumination device 111 for example, when 25 low-resolution images are acquired by sequentially irradiating the subject 30 with light from 25 light sources arranged at 5 rows and 5 columns, each pixel has 5 rows and 5 columns. This corresponds to including sub-pixels.
  • the subject 30 does not move or deform while acquiring a plurality of low resolution images while changing the direction of the illumination light.
  • the subject 30 and the image sensor 113 can be surrounded by a wall that shields outside light so that at least light other than illumination light does not enter the subject 30 during imaging.
  • FIG. 17 is a block diagram of an image acquisition apparatus according to this embodiment.
  • the image acquisition device 1 includes an imaging processing unit 11 having an illumination function and an imaging function, and an image processing unit that generates and outputs a high resolution image from the low resolution image obtained by the imaging processing unit 11. 12 and a storage device 13 for storing light source position information and a low-resolution image.
  • the imaging processing unit 11 includes an illumination device 111, a subject support unit 112, and an imaging element 113.
  • the illumination device 111 has the above-described configuration, and can irradiate a subject with parallel light with a predetermined illuminance (for example, a divergence angle of 1/100 radians or less) from a plurality of directions.
  • the subject support unit 112 supports the subject such that the distance from the imaging surface of the image sensor 113 to the subject is 10 mm or less (typically 1 mm or less).
  • the lighting device 111 of the present embodiment has an LED as a light source.
  • the illuminating device 111 has RGB three-color LEDs, and is arranged at a plurality of positions.
  • As the light source an incandescent bulb, a laser diode, or a fiber laser may be used instead of the LED.
  • a lens or a reflecting mirror that converts light emitted from the incandescent bulb into parallel light may be used.
  • the light source may emit infrared light or ultraviolet light.
  • a color filter for converting or filtering the wavelength of light emitted from the light source may be arranged on the optical path. In the present embodiment, 25 sets of light sources are arranged at 25 different light source positions.
  • the illumination device 111 may have a plurality of light sources as shown in FIGS. 5A to 5C, or a light source supported so as to be movable so as to change the direction of light incident on the subject as shown in FIG. You may have.
  • the subject support unit 112 is a member that supports the subject during imaging, and may be the upper surface of the image sensor 113. You may have a mechanism which hold
  • the subject support unit 112 can be configured to dispose the subject 30 on the image sensor 113 with almost no gap.
  • FIG. 18 is a diagram showing an arrangement relationship between the subject 30 and the light source 10 arranged on the image sensor 113.
  • the distance D between the light source 10 and the subject 30 can be set to 1 m or more, for example.
  • the light beam that exits from the light source 10 and passes through the position A of the subject 30 is ⁇ Xm on the imaging surface when the position of the light source 10 is shifted by Xm in the horizontal and horizontal directions. It will enter into the position shifted only.
  • ⁇ X / X D / L
  • X should be suppressed to 0.1 m or less.
  • it is easy to set the positional deviation X of the light source 10 to 0.1 m ( 10 cm) or less.
  • the image sensor 113 having a pixel pitch K of about 1 ⁇ m is used, if the distance from the image sensor 113 to the light source 10 is set to about 1 m, the image quality is adversely affected even if the light source positional deviation X occurs about several centimeters.
  • red, green, and blue light sources are arranged in a specific irradiation direction
  • the image sensor 113 in the present embodiment has a configuration of about 4800 ⁇ 3600 pixels, for example.
  • the pixel pitch K can be set to about 1.3 ⁇ m as an example.
  • the distance from the imaging surface to the upper surface of the imaging element, that is, the distance L from the imaging surface to the subject can be set to about 1.3 ⁇ m as an example.
  • the aperture ratio of the image sensor 113 is 25%. The aperture ratio is not limited to 25%.
  • FIG. 19 is a diagram exaggeratingly describing the distribution of incident angles of light rays emitted from one light source 10.
  • a light beam is vertically incident on a region located directly under the light source 10.
  • a light beam is incident on the region located at the end of the imaging surface with an inclination.
  • the image processing unit 12 in the present embodiment includes an illumination condition adjustment unit 121, an image information acquisition unit 122, an estimation calculation unit 123, and an image configuration processing unit 124. These may be composed of functional blocks of a computer that realizes the image processing unit 12, and each component may be realized by a computer program.
  • the storage device 13 includes a light source position information server 131 and a low resolution image server 132.
  • the storage device 13 may be a hard disk, a semiconductor memory, or an optical recording medium, and may be a data server connected to the image processing unit 12 via a digital network such as the Internet.
  • the illumination condition adjustment unit 121 of the image processing unit 12 adjusts illumination conditions such as the position, brightness, light irradiation interval, and illuminance of the light source in the illumination device 111.
  • the image information acquisition unit 122 controls the image sensor 113 in a state where the illumination conditions of the illumination device 111 are appropriately set, and causes the image sensor 113 to perform imaging according to switching of the light source to be lit.
  • the image information acquisition unit 122 receives data of an image (low resolution image) acquired by the image sensor 113 from the image sensor 113. Further, information (irradiation direction, light emission intensity, illuminance, wavelength, etc.) that defines the illumination condition in association with the received image data is acquired from the illumination condition adjustment unit 121.
  • the light source position information server 131 stores information indicating the light source position obtained from the image information acquisition unit 122 as a position database.
  • the light source position information server 131 stores a matrix database shown in FIG. Whenever the value of the matrix is adjusted by the estimation calculation unit 123 described later, the database is rewritten each time.
  • the low resolution image server 132 stores, as an image database, low resolution image data obtained via the image information acquisition unit 122 and information indicating the illumination conditions used when each low resolution image is acquired. When the image configuration process described later is completed, the data of the low resolution image may be deleted from the image database.
  • the estimation calculation unit 123 in the image processing unit 12 receives light source position information and low information from the light source position information server 131 and the low resolution image server 132 of the storage device 13. Obtain a resolution image. Then, the calculation based on the above-described principle is performed to estimate the high resolution image, and the validity of the estimation is determined. Here, if the estimation is valid, a high-resolution image is output, and if not, the light source position information is changed.
  • the estimation calculation unit 123 refers to the database of the light source position information server 131, acquires the above “ratio” that defines the numerical value of the matrix, and generates a high-resolution image based on the output of the image sensor 113. presume. At this time, as described above, an estimated value and an error are obtained. When the error exceeds a reference value (for example, 5%), a process of correcting the numerical value of “ratio” from the initial value to another value may be performed.
  • the error ratio can be represented by, for example, error /
  • the calibration of the experimental device can be performed simultaneously using this error, and the accuracy of the next and subsequent experiments can be improved.
  • the correction is performed by correcting the three straight lines so that all three straight lines pass through the estimated value. Can be eliminated.
  • Conditional expressions are generally very complex. However, in terms of calculation, regarding a certain pixel of a high-resolution image obtained by calculation with rectangular blocks of all pixels, pixels that are greatly affected are limited to a limited range of pixels. As shown in FIG. 20, for example, if the calculation is performed in units of 12 ⁇ 12 rectangular blocks, the calculation cost can be reduced and the calculation can be performed at high speed.
  • a light shielding unit that prevents light from entering from outside the subject range may be provided.
  • a light shielding region for limiting the imaging range may be arranged on the subject support unit as shown in FIG.
  • a light shielding member may be disposed on the side surface of the image sensor 113.
  • the image configuration processing unit 124 configures a high-resolution image based on the image information that has been validated sent from the estimation calculation unit 123, and performs color correction, demosaic processing, gradation correction ( ⁇ correction), and YC separation. Corrections such as processing and correction of overlapping portions are performed.
  • the high resolution image is displayed on a display (not shown), or is output to the outside of the image acquisition device 1 via the output unit.
  • the high-resolution image output from the output unit can be recorded on a recording medium (not shown) and displayed on another display.
  • the low resolution image server 132 stores the low resolution image data acquired by the image information acquisition unit 122.
  • the estimation calculation unit 123 constructs an image
  • necessary low resolution image data is obtained from the database of the low resolution image server 132.
  • unnecessary data can be deleted from the low resolution image server 132.
  • n + 1) ⁇ (n + 1) ⁇ 1) or more when the number of irradiation directions is ((n + 1) ⁇ (n + 1) ⁇ 1) or more, a high resolution image of n ⁇ n times pixels can be obtained. Therefore, according to the image acquisition device of the present disclosure, a high-magnification image of the entire area can be obtained without using a microscope that takes time to focus. Therefore, even if the subject is a pathological specimen having a fine tissue, the magnification is high. Image data can be obtained in a short time.
  • FIG. 23 is a flowchart showing a flow of image acquisition in the image acquisition apparatus 1.
  • a subject is placed on the subject support unit 112 (S201).
  • the subject here is a pathological specimen.
  • a light-transmitting sample (cell, peeled tissue, etc.) having a thickness of about several ⁇ m and whose shape does not change during imaging may be used.
  • the slide glass may be turned upside down, the cover glass 32 may be placed on the upper surface of the image sensor, and imaging may be performed with a sample placed on the cover glass.
  • image composition processing is performed. Specifically, pixel conditional expressions necessary for constructing a high resolution image by calculation from each low resolution image are created (S208), and pixel estimation calculation is performed (S210). Error determination is performed, and when it is determined that the error is below the reference value, the obtained high-resolution image is output (S212). If it is determined that the error is greater than or equal to the reference value, the numerical value stored in the storage device is corrected and the pixel conditional expression is recreated (S208).
  • one low-resolution image is obtained from one light source position.
  • the embodiment of the present disclosure is not limited to this example.
  • three LED light sources for RGB are arranged at one light source position
  • three types of low-resolution RGB images may be acquired from one light source position. Accordingly, if a full-color low-resolution image is acquired, a full-color high-resolution image can be finally obtained.
  • the number of different irradiation directions is set to 25, but the number of irradiation directions may be smaller or larger than 25.
  • FIG. 24 is a block diagram of an image acquisition apparatus according to the second embodiment of the present invention.
  • the image acquisition device 1 according to this embodiment is different from the image acquisition device according to the first embodiment in that the image processing unit 12 further includes a light source position determination unit 125 that determines a light source position when the light source position is calibrated. . For this reason, in this embodiment, the light source position can be adjusted.
  • step S210 if the error is not determined to be less than the reference value (NO), the light source position information with the largest error is corrected (S211). Then, if necessary, the low-resolution image is retaken by irradiating the subject with light from the corrected light source position (S203).
  • the vector S j which is a high resolution image is not obtained by solving the inverse matrix. Instead, a high-resolution image is generated using a general super-resolution process.
  • a high-resolution image is generated using a general super-resolution process.
  • the super-resolution processing can be calculated in real time. Therefore, there is an advantage that can be easily realized even in a computer with low calculation capability.
  • FIG. 26 shows a method for acquiring an enlarged image 2801 for acquiring a high-resolution image having an enlargement ratio of 2 times.
  • Y corresponds to the enlarged image 2801.
  • a low resolution image 2802 represents a low resolution image obtained when illuminated from directly above.
  • the low-resolution image 2803 represents a low-resolution image acquired when the illumination is moved by a different distance only in the X-axis direction.
  • the low resolution image 2804 represents a low resolution image acquired when the illumination is moved by a different distance only in the Y-axis direction.
  • a low-resolution image 2805 represents a low-resolution image captured by moving in the direction of the equisegmental line of the X axis and the Y axis.
  • super-resolution processing is realized by performing computation in the frequency domain using a Wiener filter.
  • Super-resolution processing is not limited to this example. Any processing method can be used. For example, as super-resolution processing, it can also be obtained using the update formulas of Equation 3 and Equation 4.
  • Expression 3 is obtained by differentiating Expression 4 with X ij t .
  • X ij t represents the (i, j) -th pixel value of the image X at the time of the t-th repeated calculation.
  • ⁇ represents a parameter at the time of update.
  • a cost function obtained by adding the L2 norm or the L1 norm to the formula (3) can be used.
  • a high resolution image can be acquired in real time. Further, as in the case of higher resolution using an inverse matrix, it is possible to perform super-resolution processing with pixels within a limited range shown in FIG. Furthermore, it is also possible to divide the image into small areas and perform different high resolution processing including inverse matrix calculation in each small area. At this time, the high resolution processing may not be performed in a place where high resolution processing is not necessary, such as a small region where the target object does not exist on the image. High-resolution image acquisition methods differ in calculation speed and accuracy. For this reason, in areas that are not important near the background, calculation that emphasizes speed is performed, and when the shooting target is reflected in the entire small area, accurate processing is performed to focus on the area that the user wants to see. High resolution can be achieved.
  • FIG. 27 schematically shows a configuration of a modified example including a holding device that detachably holds a subject and an imaging element (hereinafter, referred to as “imaging target”) 140.
  • the imaging target 140 can be a “preparation” in which a subject and an imaging device are integrated.
  • the “illumination angle adjustment unit” has a mechanism for changing the posture of the imaging target 140.
  • This mechanism includes two gonio mechanisms 120 that can rotate the direction of the subject in a perpendicular plane orthogonal to each other.
  • the gonio center 150 of the gonio mechanism 120 is located at the center of the subject in the imaging target 140.
  • the light source 10P may be fixed.
  • the light source 10P is configured to emit parallel light.
  • the image acquisition apparatus according to this modification may include a plurality of parallel light sources 10P.
  • the photographing time is shortened as compared with the case where the photographing target 140 is fixed and the light source 10P is moved. This is because the distance L1 between the photographing target 140 and the light source 10P is much larger than the distance L2 between the subject constituting the photographing target 140 and the imaging element, and thus it is necessary to move the light source 10P greatly in proportion thereto. It is. By shortening the imaging time, an appropriate image can be acquired even when the subject changes over time in seconds, for example, luminescence from a biological sample.
  • FIG. 29 shows a configuration of a modified example in which the mechanism for changing the posture of the subject includes a gonio mechanism 120 and a rotation mechanism 122.
  • the mechanism for changing the posture of the subject includes a gonio mechanism 120 and a rotation mechanism 122.
  • illumination light is incident on the imaging target 140 from an arbitrary irradiation direction. It becomes possible.
  • the point 150 is located at the gonio center and the rotation center.
  • the image acquisition apparatus according to this modification may have a plurality of parallel light sources 10P.
  • FIG. 31 shows an example of an optical system that increases the parallelism of the light emitted from the light source and causes the parallel light to enter the subject.
  • a lens 130 for collimating diverging light emitted from a light source is mounted on an XY moving mechanism (moving stage) 124.
  • the imaging target 140 is moved together with the moving stage 124 by an arbitrary distance in the direction of the X axis and / or the Y axis in the horizontal plane.
  • FIG. 32 shows a state in which the illumination light is obliquely incident on the imaging target 140 moved by a desired distance in a desired direction in the horizontal plane. Even if the position of the light source 10a is fixed, the irradiation direction of the illumination light can be controlled by adjusting the position of the imaging target 140.
  • the image acquisition device according to this modification may have a plurality of light sources. In this way, when the plurality of light sources 10a, 10b, and 10c are provided, there is no need to have a mechanism for moving the imaging target 140, and as shown in FIG. It may be.
  • the illumination light is imaged at a desired incident angle by changing one or both of the positions of the light sources 10 a, 10 b, and 10 c that are turned on and the position of the imaging object 140. 140 can be incident.
  • FIG. 38 schematically shows a configuration of a modified example in which the two gonio mechanisms 120 support the parallel light source 10P.
  • FIG. 39 schematically shows a configuration of a modified example in which the gonio mechanism 120 and the rotation mechanism 122 support the parallel light source 10P.
  • a light source that emits parallel light is used, or an optical system that increases the parallelism of the light emitted from the light source is used.
  • the embodiment of the present disclosure is not limited to such an example. As described above, when the distance between the light source and the subject is sufficiently wide, light that is substantially parallel enters the subject.
  • the vertical size of the photodiode in the imaging surface is represented by 1 / s with respect to the vertical size of the pixel region, and the horizontal size of the photodiode is the horizontal size of the pixel region. 1 / t.
  • s and t are both real numbers and are not limited to integers.
  • the aperture ratio is represented by (1 / s) ⁇ (1 / t).
  • the illumination light is incident on the subject in different irradiation directions with an irradiation angle a different from the vertical direction in the imaging surface, and imaging is performed respectively.
  • illumination light is incident on the subject in different irradiation directions with b irradiation angles with respect to the horizontal direction in the imaging surface, and imaging is performed.
  • a and b are integers satisfying a ⁇ s and b ⁇ t.
  • a low-resolution image for each “a ⁇ b” is acquired, and an image with a resolution increased “a ⁇ b” times based on these low-resolution images.
  • the product of (1 / s) ⁇ (1 / t), which is the aperture ratio of the image sensor, and a ⁇ b is 1 or more.
  • the image acquisition device may include an illumination system including an inclination mechanism that integrally inclines the subject and the image sensor.
  • an illumination system including an inclination mechanism that integrally inclines the subject and the image sensor.
  • the subject and the image sensor can be integrally tilted, and illumination light can be sequentially emitted from a plurality of different irradiation directions with respect to the subject.
  • An image acquisition method includes a step of sequentially emitting illumination light from a plurality of different irradiation directions with respect to a subject, irradiating the subject with the illumination light, and the illumination transmitted through the subject
  • an image acquisition device of the present disclosure includes the above-described illumination device, imaging device, and general-purpose computer.
  • the computer uses the illumination device to sequentially illuminate light from a plurality of different irradiation directions with reference to the subject. , Illuminate the subject with illumination light, and acquire a plurality of different images according to the different illumination directions by an imaging device arranged at a position where the illumination light transmitted through the subject enters.
  • a high-resolution image of the subject having a higher resolution than each of the plurality of images may be formed based on the image.
  • Such an operation can be executed by a computer program recorded on a recording medium.
  • a plurality of images can be acquired according to a plurality of tilt angles by tilting the image sensor and the subject integrally with the tilt mechanism.
  • the image acquisition device, the image acquisition method, and the image processing program according to the present disclosure can save the focus adjustment and can acquire a high-magnification image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Facsimile Heads (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　本開示の実施形態は、被写体を基準にして、複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する照明システムと、被写体を透過した前記照明光が入射する位置に配置され、前記異なる照射方向に応じて異なる複数の画像を取得する撮像素子と、前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する画像処理部と、前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータを格納するメモリとを備える。画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて被写体の高分解能画像を形成する。

Description

画像取得装置、画像取得方法、およびプログラム
　本願は、画像取得装置、画像取得方法、およびプログラムに関する。
　撮像装置に使用される撮像素子には、多数の光電変換部が撮像面内に行および列状に配列された２次元イメージセンサが採用されている。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。２次元イメージセンサの分解能(解像度)は、撮像面上における光電変換部の配列ピッチまたは配列密度に依存する。個々の光電変換部の配列ピッチは、可視光の波長程度まで短くなっているため、分解能を更に向上させることは極めて困難である。
　撮像素子によって取得される画像は、多数の画素によって規定される。各画素は、１つの光電変換部を含む単位領域によって区画されている。撮像面上において、配線が占有する領域が存在するため、１つの光電変換部の受光面積Ｓ２は、１つの画素の面積Ｓ１よりも小さい。画素の面積Ｓ１に対する受光面積Ｓ２の比率（Ｓ２／Ｓ１）は、「開口率」と呼ばれている。開口率（Ｓ２／Ｓ１）は、例えば２５％程度の値をとり得る。開口率が小さいと、光電変換に用いられる入射光量が少なくなるため、撮像素子が出力する画素信号の質が低下する。撮像面に対向するようにマイクロレンズアレイを配置し、個々のマイクロレンズが個々の光電変換部に対向し、集光する構成を採用すれば、受光面積Ｓ２を実効的に拡大し、開口率（Ｓ２／Ｓ１）を高めて１に近づけることが可能である。しかし、このように開口率（Ｓ２／Ｓ１）を高めても、画素の配列ピッチおよび配列密度は増加しないので、分解能は変化しない。
　特許文献１は、超解像技術による高分解能化を開示している。これは、このような高分解能化には、デコンボリーションによる復元を行うため、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）を求めることが必要になる。例えば、実際のＰＳＦの決定には点状の光源を利用することが必要であり、量子ドットや蛍光ビーズを使い、ＰＳＦを求めることが提案されている。
特開２００６－１４０８８５号公報
　ＰＳＦを正確に求めることは困難である。また、ＰＳＦの大きさは撮影倍率に比例するため、撮影倍率に比例してＰＳＦの測定誤差が増大し、その結果、高分解能画像の画質は分解能に比例的に劣化する。
　本開示の一態様による画像取得装置は、被写体を基準にして、複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する照明システムと、前記被写体を透過した前記照明光が入射する位置に配置され、前記異なる照射方向に応じて異なる複数の画像を取得する撮像素子と、前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する画像処理部と、前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータを格納するメモリとを備え、前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記被写体の高分解能画像を形成する。
　本開示の一態様による画像取得方法は、被写体を基準にして、複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する工程と、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得する工程と、前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する工程とを含み、前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納する工程と、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように設定されている。
　本開示の一態様による画像取得装置は、照明装置と、撮像素子と、コンピュータとを備える画像取得装置であって、前記コンピュータは、前記照明装置により、被写体を基準にして、複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射し、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成し、前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納し、前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように設定されている。
　本開示の一態様によるプログラムは、照明装置と、撮像素子と、コンピュータとを備える画像取得装置のためのプログラムであって、前記照明装置により、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射し、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成し、前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納し、前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように構成されている。
　本開示の一態様による画像取得装置は、被写体に対して光を照射し、姿勢および位置が固定されている光源と、前記被写体を複数の傾斜角度に傾斜させる傾斜機構と、前記被写体を透過した前記光が入射する位置に配置され、かつ前記被写体と一体的に前記傾斜機構により傾斜され、前記複数の傾斜角度に応じて複数の画像を取得する撮像素子と、前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する画像処理部と、前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の傾斜角度の各々について示すデータを格納するメモリとを備え、前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の傾斜角度に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記被写体の高分解能画像を形成する。
　本開示の実施形態によれば、１つの撮像素子によって得られる複数の低分解能画像を合成することにより、高分解能化を実現できる。
撮像素子におけるフォトダイオードの配列例を模式的に示す平面図 撮像素子における一画素と開口領域との関係を模式的に示す平面図 撮像素子における一画素と開口領域との関係を模式的に示す断面図 本開示による画像取得装置の構成および動作を説明するための断面図 本開示による画像取得装置の構成および動作を説明するための断面図 本開示の画像取得装置における照明の例を示す図 本開示による画像取得装置における照明の例を示す図 本開示による画像取得装置における照明の例を示す図 本開示による画像取得装置における照明の他の例を示す図 本開示における撮像素子における光線入射の例を示す断面図 本開示における撮像素子における光線入射の他の例を示す断面図 本開示における撮像素子における光線入射の更に他の例を示す断面図 本開示における撮像素子における光線入射の更に他の例を示す断面図 本開示における撮像素子における被写体を通過した光線入射の例を示す断面図 照射方向Ｊ１～Ｊ４の各々について撮像によって得られたフォトダイオード４０の出力値Ａ１～Ａ４と、透過率Ｓ１～Ｓ４との関係を示すテーブル Ｎ個の画素について、照射方向Ｊ１～Ｊ４の各々について撮像によって得られたフォトダイオード４０の出力値と、透過率Ｓ１～Ｓ４との関係を示すテーブル 照射方向Ｊ１～Ｊ５の各々について撮像によって得られたフォトダイオード４０の出力値Ａ１～Ａ５と、透過率Ｓ１～Ｓ４との関係を示すテーブル Ｎ個の画素について、照射方向Ｊ１～Ｊ５の各々について撮像によって得られたフォトダイオード４０の出力値と、透過率Ｓ１～Ｓ４との関係を示すテーブル 照射方向Ｊ１～Ｊ３の各々について撮像によって得られたフォトダイオード４０の出力値Ａ１～Ａ３と、透過率Ｓ１～Ｓ２との関係を示すテーブル 図１４のテーブルに示された関係を規定する条件式 横軸がＳ１、縦軸Ｓ２の二次元座標平面上に図１５の３つの条件式で表される３本の直線を記載したグラフ 第一実施形態に係る画像取得装置の概略構成を示すブロック図 第一実施形態に係る画像取得装置における光源の位置ずれに起因する光線入射位置の誤差を示す断面図 第一実施形態に係る画像取得装置における点光源から出射された光ビームの広がりに起因する光線入射位置のシフトを示す断面図 行列を用いた演算の対象とされ得る計算範囲の例を示す図 遮光部が設けられた撮像素子の一例を示す斜視図 遮光部が設けられた撮像素子の一例を示す断面図 第一実施形態に係る画像取得装置の動作を示すフローチャート 第二実施形態に係る画像取得装置の概略構成を示すブロック図 第二実施形態に係る画像取得装置の動作を示すフローチャート 拡大率２倍の高分解能画像を取得するための拡大画像２８０１の取得方法を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている他の改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図 撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図
　本開示による画像取得装置の実施形態を説明する前に、まず、撮像素子の基本的な構成例を説明する。
　図１は、撮像素子１１３の一例であるＣＣＤイメージセンサの撮像面の一部を模式的に示す平面図である。図１に示されるように、撮像面上には複数のフォトダイオード（光電変換部）４０が行および列状に配列されている。図１において、１つの画素５０が点線の矩形領域で示されている。撮像面において多数の画素５０が行および列状に密に並んでいる。
　各フォトダイオード４０に入射した光は、フォトダイオード４０内で電荷を生成する。生成される電荷の量は、そのフォトダイオード４０に入射した光の量に応じて変化する。各フォトダイオード４０で生成された電荷は、縦方向に延びる垂直電荷転送路４４に移動し、垂直電荷転送路４４を順次転送されて水平電荷転送路４６に移動する。次に、電荷は横方向に延びる水平電荷転送路４６を転送され、水平電荷転送路４６の一端から画素信号として撮像素子１１３の外部に出力される。電荷転送路４４，４６上には不図示の転送電極が配列されている。なお、本開示の画像取得装置で使用される撮像素子１１３の構成は、上記の例に限定されない。ＣＣＤイメージセンサに代えて、ＭＯＳ型イメージセンサが使用されても良い。
　撮像面内におけるフォトダイオード４０の配列ピッチは、垂直方向および水平方向で一致している必要はない。本明細書では、簡単のため、フォトダイオード４０の配列ピッチは、垂直方向および水平方向で等しく、いずれも大きさＫ［μｍ］を有するものとする。
　図２は、１つの画素５０と、その画素５０に含まれるフォトダイオード４０を模式的に示す平面図である。この例における各画素のサイズは、Ｋ［μｍ］×Ｋ［μｍ］である。また、フォトダイオード４０のサイズ（受光領域のサイズ）は、Ｐ［μｍ］×Ｐ［μｍ］である。従って、１つの画素の面積はＳ１＝Ｋ×Ｋで表され、１つのフォトダイオード４０の面積はＳ２＝Ｐ×Ｐで表される。なお、本実施形態によれば、分解能は、画素ピッチではなく、フォトダイオード４０のサイズ（受光領域のサイズ）によって決まる。しかし、照明に使用する可視光の波長を考慮すると、本実施形態におけるフォトダイオード４０のサイズＰは、０．１μｍ以上に設定され得る。
　本開示の画像取得装置では、個々のフォトダイオード４０に対応するマイクロレンズは設けられていない。このため、各画素５０のうち、フォトダイオード４０の受光領域（Ｐ×Ｐの領域）以外の領域は「遮光領域」であり、遮光領域に入射した光は、光電変換されず、画素信号を形成しない。Ｐ［μｍ］×Ｐ［μｍ］で示される受光領域は、「開口領域」と呼んでも良い。個々の画素５０におけるフォトダイオード４０の位置、形状、および大きさは、図２に示される例に限定されない。
　画素領域およびフォトダイオードは、撮像面において典型的には矩形の形状を有している。その場合において、ｎ、ｍを実数とすると、撮像面内の水平方向における画素領域のサイズに対するフォトダイオードのサイズの比率を（１／ｎ）で表し、撮像面内の垂直方向における画素領域のサイズに対するフォトダイオードのサイズの比率を（１／ｍ）で表すことができる。このとき、開口率は、（１／ｎ）×（１／ｍ）で表される。ｎ、ｍは、いずれも、２以上の実数であり得る。
　図３は、撮像素子１１３に含まれる１つの画素５０の断面構成の例を模式的に示す断面図である。撮像素子は、図３に示されるように、半導体基板４００と、半導体基板４００の表面に形成されたフォトダイオード（ＰＤ）４０と、半導体基板４００に支持される配線層４０２と、配線層４０２を覆う遮光層４２と、半導体基板４００の光入射側面を被覆する透明層４０６とを備えている。図３では、単一の画素に対応する部分の断面が示されているため、１つのフォトダイオード４０のみが図示されているが、現実には、１つの半導体基板４００に多数のフォトダイオード４０が形成されている。なお、撮像素子１１３がＣＣＤイメージセンサである場合、半導体基板４００には、垂直または水平電荷転送路として機能する不純物拡散層（不図示）が配線層４０２の下部に形成されている。配線層４０２は、電荷転送路上に配列された不図示の電極に接続される。なお、撮像素子１１３がＭＯＳ型イメージセンサの場合は、画素単位でＭＯＳ型トランジスタ（不図示）が半導体基板４００に形成される。ＭＯＳ型トランジスタは対応するフォトダイオード４０の電荷を読み出すためのスイッチング素子として機能する。
　撮像素子１１３におけるフォトダイオード４０以外の構成要素は、遮光層４２によって覆われている。図３の例では、遮光層４２によって覆われている領域が黒く塗りつぶされている。
　本実施形態に使用され得る撮像素子の構成は、上記の例に限定されず、裏面照射型のＣＣＤイメージセンサまたは裏面照射型のＭＯＳ型イメージセンサであってもよい。
　次に、図４Ａおよび図４Ｂを参照しながら、本開示による画像取得装置の概略構成例を説明する。図４Ａおよび図４Ｂは、それぞれ、本開示による画像取得装置の概略構成例を模式的に示す断面図である。
　図示されている画像取得装置は、被写体３０を基準にして複数の異なる光源方向（照射方向）から、順次、照明光を出射し、その照明光で被写体３０を照射する照明装置１１１と、被写体３０を透過した照明光が入射する位置に配置され、異なる照射方向に応じて異なる複数の画像を取得する撮像素子１１３とを備えている。また、この画像取得装置は、異なる照射方向に応じて取得した複数の画像に基づいて高分解能画像を形成する画像処理部１２を備えている。この画像処理部１２は、撮像素子１１３から得た複数の画像の各々よりも分解能（解像度）の高い前記被写体の高分解能画像を形成することができる。画像処理部１２は、汎用または専用のコンピュータによって実現され得る。
　撮像素子１１３が第１の画像を取得する時（図４Ａ）、照明装置１１１は、照明光を被写体３０に対して第１の方向から入射させる。また、撮像素子１１３が第２の画像を取得する時（図４Ｂ）、照明装置１１１は、照明光を被写体３０に対して第２の方向から入射させる。図４Ａおよび図４Ｂに示される光線のうち、遮光層４２に入射した光線は画像の取得に利用されていない。言い換えると、照明装置１１１から出射された光のうち、フォトダイオード４０に入射した光線のみによって各画像が取得される。
　被写体３０に対する光線の入射方向が大きく異なると、フォトダイオード４０に入射する光線が被写体３０を透過する領域が異なる場合がある。しかし、本実施形態の画像取得装置において、撮像素子１１３が複数の画像を取得する間、被写体３０の同一部分を通過した光線の少なくとも一部が撮像素子１１３の光電変換部に入射することもあるように複数の照射方向が調整されている。なお、本開示の画像取得装置で撮像可能な被写体３０は、光線を透過することが可能な領域を少なくとも一部に含む物体である。被写体３０は、厚さが数μｍの病理標本を含むスライドであり得る。被写体３０の形状は、プレート状に限定されず、粉末や液体であってもよい。撮像面の法線方向における被写体３０のサイズは、例えば２μｍ以下である。
　次に、図５Ａ、図５Ｂおよび図５Ｃを参照して、照明装置１１１の第１の構成例を説明する。
　第１の構成例における照明装置１１１は、複数の光源（照明光源）１０ａ、１０ｂ、１０ｃを有している。これらの光源１０ａ、１０ｂ、１０ｃは、複数の異なる照射方向に対応した異なる位置に配置されており、順次、点灯する。例えば光源１０ａが点灯している時、図５Ａに示されるように、光源１０ａから光が出射し、その光で被写体３０が照射される。図５Ａ～５Ｃでは、光源１０ａ、１０ｂ、１０ｃからの光が発散しているように示されているが、現実には、光源１０ａ、１０ｂ、１０ｃから撮像素子１１３までの距離は充分に長く、実質的に平行な光が被写体３０および撮像素子１１３に入射すると考えて良い。また、図示されていないレンズなどの光学系により、光源１０ａ、１０ｂ、１０ｃから放射された光が平行光または平行光に近い光に収束されていてもよい。従って、光源１０ａ、１０ｂ、１０ｃは、点光源であってもよいし、面光源であってもよい。被写体３０は、撮像素子１１３の上面の上に置かれている。撮像素子１１３の上面は、図５Ａにおいて破線で示されており、被写体支持部１１２として機能する。
　まず、光源１０ａからの光で被写体３０が照射された状態で撮像素子１１３による撮像が行われると、次に、例えば光源１０ｂが点灯し、光源１０ａおよび光源１０ｃが消灯状態になる。このとき、図５Ｂに示されるように光源１０ｂから光が出射し、その光で被写体３０が照射される。光源１０ｂからの光で被写体３０が照射された状態で撮像素子１１３による撮像が行われると、次に、光源１０ｃが点灯し、光源１０ａおよび光源１０ｂが消灯状態になる。このとき、図５Ｃに示されるように光源１０ｃから光が出射し、その光で被写体３０が照射される。この状態で、また撮像素子１１３による撮像が行われる。
　図５Ａ～５Ｃの例では、３つの異なる照射方向から被写体３０が照射され、その都度、撮像が行われるため、合計３枚の画像が取得される。照明装置１１１が有する光源の個数は、３個に限定されない。また、発光波長の異なる複数の光源が同一の照射方向に近接して配置されていても良い。例えば図５Ａの光源１０ａの位置およびその近傍に、赤、緑、および青の光源（ＲＧＢ光源）を配置しておけば、図５Ａに示される状態で赤、緑、および青の光を順次照射し、３枚の画像を取得することが可能になる。このような３枚の画像が取得できれば、それらを重畳するだけでフルカラー画像を得ることができる。このような画像は、タイムシーケンシャルのカラー画像である。この場合、ＲＧＢ光源を同時に点灯させれば、これらの光源は全体として１個の白色光源として機能し得る。また、撮像素子にカラーフィルタが配置されていれば、光源として白色光源を使用すればよい。
　なお、照明装置１１１が有する光源の波長は、可視光域に限定されず、赤外または紫外であってもよい。また、各光源から白色の光が出射されても良いし、シアン、マゼンタ、イエローなどの光が出射されても良い。
　次に、図６を参照する。図６は照明装置１１１の第２の構成例を模式的に示している。図６の構成例における照明装置１１１は、移動可能に支持される少なくとも１つの光源１０を有している。この光源１０を移動させることにより、複数の照射方向に含まれる任意の方向から光を出射し、その光で被写体３０を照射することが可能になる。
　なお、図５Ａ～５Ｃの例においても、光源１０ａ、１０ｂ、１０ｃは特定位置に固定されている必要は無く、移動可能に支持されていても良い。更に、固定された１個の光源１０から出た光ビームの光路をミラーなどの駆動光学系を介して変更し、それによって被写体３０に異なる方向から入射させるようにしてもよい。
　図５Ａ～５Ｃの例および図６の例では、図面の紙面に平行な面内で照射方向が変化しているが、照射方向は、この面に対して傾斜する方向であってもよい。ただし、以下、簡単のため、撮像面上の一次元方向における拡大（高分解能化）について説明を行う。拡大したい倍率がｎ（ｎは２以上の整数）倍のとき、少なくともｎ2個の光源数が使用され得る。
　なお、照明光の「照射方向」は、光源および被写体（撮像面）との相対的な配置関係によって決まる。撮像面を基準にし、撮像面に入射する照明光の光線の方向を「照射方向」と定義する。撮像面における水平方向をＸ軸、垂直方向をＹ軸、撮像面の法線方向をＺ軸とするとき、照射方向は、ＸＹＺ座標内のベクトルによって特定され得る。照射方向は任意であり、照射方向の数も任意である。
　撮像面に垂直な「照射方向」は、ベクトル（０，０，１）によって表現され得る。撮像面から被写体までの距離をＬとすると、１６通りの照射方向θ１～θ１６は、それぞれ、例えば、（０，０，Ｌ）、（Ｋ／４，０，Ｌ）、（２Ｋ／４，０，Ｌ）、（３Ｋ／４，０，Ｌ）、（０，Ｋ／４，Ｌ）、（Ｋ／４，Ｋ／４，Ｌ）、（２Ｋ／４，Ｋ／４，Ｌ）、（３Ｋ／４，Ｋ／４，Ｌ）、（０，２Ｋ／４，Ｌ）、（Ｋ／４，２Ｋ／４，Ｌ）、（２Ｋ／４，２Ｋ／４，Ｌ）、（３Ｋ／４，２Ｋ／４，Ｌ）、（０，３Ｋ／４，Ｌ）、（Ｋ／４，３Ｋ／４，Ｌ）、（２Ｋ／４，３Ｋ／４，Ｌ）、（３Ｋ／４，３Ｋ／４，Ｌ）のベクトルで表現され得る。同一の画像が取れる別の角度でも良い。
　次に図７～図９を参照して、照明光の入射方向について説明する。これらの図では、着目するフォトダイオード４０に入射する光が記載されている。
　まず、図７を参照する。高分解能化の原理を説明するため、撮像素子１１３の各画素には複数のサブ画素が含まれると考える。複数のサブ画素領域の個数は、撮像素子１１３の構造に固有ではなく、撮像時に照射方向を変えて行う光照射の回数に依存して設定され得る。図７の例では、１個の画素５０に４個のサブ画素５０ａ、５０ｂ、５０ｃ、５０ｄが含まれる。１つの画素には１つのフォトダイオード４０が含まれるため、通常の撮像では、被写体３０からサブ画素５０ａ、５０ｂ、５０ｃ、５０ｄに対応する細かい領域の情報を個別に取得することはできない。すなわち、本明細書において、「撮像素子の各画素に含まれる複数のサブ画素」とは、撮像素子の個々のフォトダイオードに割り当てられた１画素の領域を複数に区分する部分である。
　被写体３０は、撮像時、撮像素子１１３の上面４８に接して、または上面４８に近接して配置され得る。このため、撮像素子１１３の上面４８は、被写体支持部（被写体支持面）として機能し得る。サブ画素５０ａ、５０ｂ、５０ｃ、５０ｄのうち、撮像素子１１３の上面４８に位置する面を「サブ画素の上面」と定義する。
　図７の例では、１個の画素５０に４個のサブ画素５０ａ、５０ｂ、５０ｃ、５０ｄが図７のＸ軸方向に沿って配列されているが、サブ画素の配列パターンは任意である。サブ画素は撮像面の拡がりに応じて二次元的に配列され得る。ここでは、簡単のため、Ｘ軸方向に沿って一次元的に配置された４個のサブ画像によって各画素が構成されていると考え、またひとつの画素のみに注目してみる。
　次に、図８から図１０を参照しながら、照明光の入射方向（照射方向）に応じてサブ画素５０ａ、５０ｂ、５０ｃ、５０ｄの各々の上面を通過した光線が、どのような割合でフォトダイオード４０に入射するかを検討する。図示されている状態において、まだ、被写体３０は撮像素子１１３上に置かれていない。
　図８に示す照明光は、撮像面に垂直に入射している。このような照明は、例えば、図５Ａの光源１０ａから出射された光で撮像素子１１３を照射することによって実現し得る。このとき、サブ画素５０ａ、５０ｂ、５０ｃ、５０ｄの各々の上面を通過した光線は、それぞれ、１／２、１、１／２、０の割合でフォトダイオード４０に入射する。例えば、サブ画素５０ｂの上面を通過してフォトダイオード４０に入射する光の量を基準値１とすると、サブ画素５０ａの上面を通過してフォトダイオード４０に入射する光の量は１／２である。サブ画素５０ｃの上面を通過した光の半分は、フォトダイオード４０に入射しているが、残りの半分は遮光膜４２に入射している。サブ画素５０ｄの上面を通過した光の全体は、フォトダイオード４０ではなく、遮光膜４２に入射している。上記の「割合」を規定する数値「１／２、１、１／２、０」は、あくまでも一例であり、３以上の整数を用いた分数で表現されていてもよいし、小数で表現されていてもよい。この「割合」は、撮像装置１１３が異なる構造を有する場合、例えば開口率が異なる場合に変化し得る。
　次に図９を参照する。図９に示す照明光は、撮像面に対して斜めに入射している。このような照明は、例えば、図５Ｃの光源１０ｃから出射された光で撮像素子１１３を照射することによって実現し得る。この例において、サブ画素５０ａ、５０ｂ、５０ｃ、５０ｄの各々の上面を通過した光線は、それぞれ、１、１／２、０、０の割合でフォトダイオード４０に入射している。
　次に図１０を参照する。図１０に示す照明光は、図９の例とは反対の照射方向から撮像面に対して斜めに入射している。このような照明は、例えば、図５Ｂの光源１０ｂから出射された光で撮像素子１１３を照射することによって実現し得る。この例では、サブ画素５０ａ、５０ｂ、５０ｃ、５０ｄの各々の上面を通過した光線は、それぞれ、０、０、１／２、１の割合でフォトダイオード４０に入射する。
　照射方向を調整することにより、複数の任意の方向から光を撮像素子１１３に入射することができる。そして、複数の照射方向に応じて、上記の「割合」を求めることができる。撮像素子１１３の構造が既知であれば、この「割合」を計算やコンピュータシミュレーションによって決定し得るし、また、校正用サンプルを用いて実測によって決定することもできる。
　図１１は、被写体３０を撮像素子１１３の上面４８上に配置し、撮像面に垂直な照射方向からの光で被写体３０を照射した状態を示している。被写体３０のうち、サブ画素５０ａ、５０ｂ、５０ｃ、５０ｄの各々の上面に対向する部分を、被写体３０のサブ画素部分Ｓ１～Ｓ４と称することにする。また、サブ画素部分Ｓ１～Ｓ４の光透過率を、それぞれ、Ｓ１～Ｓ４と表現することにする。被写体３０の透過率Ｓ１～Ｓ４は、被写体３０の組織または構造に依存し、被写体３０の高精細画像における画素情報に相当する。被写体３０のサブ画素部分Ｓ１～Ｓ４の各々を透過して、フォトダイオードに４０に入射する光の量は、透過率Ｓ１～Ｓ４に上述の「割合」を乗じた値で表現され得る。「割合」を規定する数値が、それぞれ、１／２、１、１／２、０である場合、サブ画素部分Ｓ１～Ｓ４の各々を透過して、フォトダイオード４０に入射する光の量は、Ｓ１／２、Ｓ２、Ｓ３／２、０である。すなわち、フォトダイオードに４０の出力は、Ｓ１／２＋Ｓ２＋Ｓ３／２に対応した大きさを有することになる。
　このように１つのフォトダイオード４０には、被写体３０におけるサブ画素部分Ｓ１～Ｓ４の各々を透過した光線が入射し得るため、そのフォトダイオード４０の出力値にはサブ画素部分Ｓ１～Ｓ４の情報（透過率）が畳み込まれる。従って、上記の例えば「１／２、１、１／２、０」という数のセットを「畳み込み割合」と称しても良い。このような数のセットは、ベクトルとして取り扱うことができる。
　異なる照射方向について被写体３０の撮像を行い、透過率Ｓ１～Ｓ４の数以上の独立なベクトルセットになるように複数のフォトダイオード４０の出力値を取得すれば、演算により、透過率Ｓ１～Ｓ４を決定することができる。
　図１２Ａは、照射方向Ｊ１～Ｊ４の各々について撮像によって得られたフォトダイオード４０の出力値Ａ１～Ａ４と、透過率Ｓ１～Ｓ４との関係を示すテーブルである。ｊを１～４とすると、Ａ１～Ａ４のセットをＡjと表記できる。Ａjはベクトルである。
　図１２Ａのテーブルに示される４行４列の数値から構成される行列を行列Ｍi jと表現する。ここで、ｉは、１画素に割り当てられるサブ画素の個数に等しい。未知数である透過率Ｓ１～Ｓ４から構成されるベクトルをＳiで表現することができる。このとき、Ｍi jＳi＝Ａjの式が成立する。
　Ｍi jＳi＝Ａjの式は、全ての画素について成立する。ここで注目する画素に関与するサブ画素が周囲を含むようになり、全画素に注目すると、全体の連立方程式となる。画素の個数がＮ個であれば、図１２Ｂのテーブルに示すように、行列を拡張することができ、Ｍij kＳi＝Ａj kとなる。図１２ＢのＮは、演算の対象となる画像の画素数であり、ｊは、Ｎ個の画素に含まれる画素を特定する１以上Ｎ以下の数、ｋは、さきほどのｊである。
　行列Ｍij kが決まれば、撮像によって得られるベクトルＡj kに対して、行列Ｍij kの逆行列を演算すれば、ベクトルＳiを求めることができる。
　上記の方法では、倍率ｎの高分解能画像を得るためにｎ2個の異なる光源位置から光を被写体に照射し、ｎ2枚の画像を取得している。この場合、行例Ｍi jの数値によって表現される「畳み込み割合」に対する校正を事前に行う必要がある。
　一方で、別の方法として、光源を増やすことによって自動的に校正する方法が存在する。
　一般に行列Ｍi jの数値には誤差が存在するが、ベクトルＳiを求めるための逆行列演算を行うとき、この誤差を評価すると、より真の値に近い解を求め、装置の校正をすることができる。以下、この点を説明する。
　倍率ｎと同等な数ｎ個の光源から光を被写体に照射する場合（図１２Ａ、図１２Ｂ）、計算によって、行列Ｍi jの数値に含まれ得る誤差を求めたり、その校正をすることができない。しかし、倍率ｎのとき、ｎ2個より多い光源、具体的には（（ｎ＋１）×（ｎ＋１）－１）個以上の光源を用意すれば、行列Ｍi jの数値ついての事前の校正が不要になる。
　行列Ｍi jの数値の誤差による影響を抑制するためには、例えば、図１３Ａ、図１３Ｂのテーブルに示されるように照射方向をひとつ増やして撮影を行えば良い。以下、簡単のため、倍率ｎが２の場合について、この点を説明する。すなわち、サブ画素数を２個として、異なる３つの照射方向Ｊ１、Ｊ２、Ｊ３から照明光を被写体に照射する例について説明する。
　図１４のテーブルは、この場合における「割合」の数値例を示している。未知数は、Ｓ１およびＳ２である。照射方向Ｊ１からの照明光で撮像したときに得られる画素値はＡ１、照射方向Ｊ２からの照明光で撮像したときに得られる画素値はＡ２、照射方向Ｊ３からの照明光で撮像したときに得られる画素値はＡ３である。Ａ１、Ａ２、Ａ３には、撮像によって測定された具体的な数値が入力される。
　図１５は、Ｓ１、Ｓ２、Ａ１、Ａ２、およびＡ３の間で成立する３つの連立方程式を示している。式中におけるＳ１およびＳ２の係数は、図１４に示される「割合」の数値に等しい。２つの未知数Ｓ１およびＳ２を求めるには、理想的には２つの連立方程式があればよい。しかし、図１５に示すように３つの連立方程式を用いることにより、図１４に示す「割合」の数値に誤差が存在する場合でも、真の値に近い解を求めることができる。
　図１６は、横軸がＳ１、縦軸Ｓ２の二次元座標平面上に、図１５の３つの式で表される３本の直線を記載したグラフである。図１４に示す「割合」に誤差が無ければ、図１６の３つの直線は１点で交差し、その一点の座標が、求めるべき解に相当する。しかし、誤差に起因して、図１６のグラフでは、３つの交点が観測される。これらの３つの交点は、真の値の近傍に位置しているはずである。このため、３の直線に囲まれた三角形領域の中央の点を３つの連立方程式の解として選択してもよい。解は、３本の直線からの距離の二乗の和が最小になる点として求められてもよい。このようにして決定された解は、Ｓ１およびＳ２の推定値である。図１６に示されるように、推定された解から３本の直線までの距離を「誤差」として定義することができる。
　本開示によれば、被写体３０の像は、被写体３０を透過する実質的に平行な光線（例えば発散角度が１／１００ラジアン以下）によって取得される。被写体３０と撮像素子１１３との間には結像のためのレンズを配置する必要は無く、被写体３０は撮像素子１１３に近接して配置され得る。撮像素子１１３の撮像面から被写体３０までの距離は、典型的には１００μｍ以下であり、例えば１μｍ程度に設定され得る。
　例えば、異なる２５方向からの光照射によって最大５倍の高分解能化が可能になる。Ｎを２以上の整数するとき、Ｎ^2個の異なる方向から光を照射して撮像を行えば、最大Ｎ倍の高分解能化が可能になる。ある被写体３０に対してＮ倍の高分解能化を行うことは、各画素がＮ^2個のサブ画素を含むことに対応する。照明装置１１１において、例えば５行５列の位置に配置された２５個の光源から光を被写体３０に順次照射して、２５枚の低分解能画像を取得する場合、各画素が５行５列のサブ画素を含むことに対応する。
　本開示の撮像装置によると、照明光の方向を変えながら複数の低分解能画像を取得する間に、被写体３０が移動したり、変形したりしないことが好ましい。
　以上の説明から、被写体３０を照射する光の方向を適切に設定することが重要であることがわかる。また、少なくとも撮像時に照明のための光以外の光が被写体３０に入射しないように、被写体３０および撮像素子１１３は外光を遮蔽する壁面によって取り囲まれ得る。
　以下、本開示の実施形態をより詳細に説明する。
　（第一実施形態）
　図１７を参照しながら、本開示の第一実施形態に係わる画像取得装置を説明する。図１７は本実施形態における画像取得装置のブロック図である。図１７に示すように、画像取得装置１は、照明機能および撮像機能を有する撮像処理部１１と、撮像処理部１１で得られた低分解能画像から高分解能画像を生成して出力する画像処理部１２と、光源位置情報および低分解能画像を記憶する記憶装置１３とを備えている。
　撮像処理部１１は、照明装置１１１、被写体支持部１１２、撮像素子１１３を備える。照明装置１１１は、前述した構成を有しており、複数方向から被写体に対して、所定の照度の平行光（例えば発散角度が１／１００ラジアン以下）を照射することができる。この被写体支持部１１２は、撮像素子１１３の撮像面から被写体までの距離が１０ｍｍ以下（典型的には１ｍｍ以下）となるように被写体を支持する。
　本実施形態の照明装置１１１は、ＬＥＤを光源として有している。照明装置１１１は、ＲＧＢの３色のＬＥＤを有し、それぞれ複数の位置に配置されている。光源としては、ＬＥＤの代わりに、白熱電球、レーザダイオード、ファイバーレーザを用いてもよい。白熱電球を用いる場合、白熱電球から放射された光を平行光に変換するレンズまたは反射鏡を使用しても良い。光源は、赤外光や紫外光を発するものでもよい。光源から放射された光の波長を変換またはフィルタリングするためのカラーフィルタが光路上に配置されていても良い。本実施形態では、２５箇所の異なる光源位置に２５セットの光源が配置されている。
　照明装置１１１は、図５Ａ～５Ｃに示すように複数の光源を有していてもよいし、図６に示すように被写体に入射する光の方向を変化させるように移動可能に支持された光源を有していてもよい。
　被写体支持部１１２は、撮像中に被写体を支持する部材であり、撮像素子１１３の上面であってもよい。撮像中に被写体の位置が変化しないようにこれらを保持する機構を有していても良い。被写体支持部１１２は、撮像素子１１３上に被写体３０をほとんど隙間なく配置するように構成され得る。
　図１８は、撮像素子１１３上に配置された被写体３０と光源１０との配置関係を示す図である。
　光源１０と被写体３０との間隔Ｄは例えば１ｍ以上に設定され得る。撮像素子１１３の撮像面から被写体３０までの距離Ｌは、画像のボケを抑制するために、１００μｍ（＝１×１０-4ｍ）以下、例えば１μｍ（＝１×１０-6ｍ）に設定される。Ｄ＝１ｍ、Ｌ＝１×１０-6ｍの場合、光源１０から出て被写体３０の位置Ａを通過する光線は、光源１０の位置が水平横方向にＸｍだけずれると、撮像面上でΔＸｍだけシフトした位置に入射することになる。ΔＸ／Ｘ＝Ｄ／Ｌの関係があるため、ΔＸを０．１μｍ（＝１×１０-7ｍ）以下に抑制するには、Ｘを０．１ｍ以下に抑制すれば良い。光源１０の位置を調整する際、光源１０の位置ずれＸを０．１ｍ（＝１０ｃｍ）以下にすることは容易である。画素ピッチＫが１μｍ程度の撮像素子１１３を用いる場合、撮像素子１１３から光源１０までの距離を１ｍ程度に設定しておけば、光源の位置ずれＸが数ｃｍ程度発生しても画質に悪影響は及ばない。また上記のことから、特定の照射方向に、赤、緑、および青の光源（ＲＧＢ光源）を配置する場合、それらの複数の光源が０．１ｍ（＝１０ｃｍ）以下の範囲にあって近接していれば、それらを１個の光源として扱うこともできる。
　本実施形態における撮像素子１１３は、例えば約４８００×３６００画素の構成を有する。この場合、画素ピッチＫは、一例として１．３μｍ程度に設定され得る。また、撮像面から撮像素子上面までの距離、すなわち、撮像面から被写体までの距離Ｌは一例として約１．３μｍに設定され得る。本実施形態では、撮像素子１１３の開口率は２５％であるとする。なお、開口率は２５％に限定されない。
　図１９は、１つの光源１０から出た光線の入射角度の分布を誇張して記載した図である。光源１０の真下に位置する領域には垂直に光線が入射している。一方、撮像面の端部に位置する領域には傾斜して光線が入射している。撮像面から光源１０までの距離Ｄが約１ｍに設定されている場合を考える。撮像素子の中央から端部までの距離Ｃは、せいぜい１０ｍｍ（＝１×１０-2ｍ）である。また、Ｌ＝１×１０-6ｍである。本来、光源から垂直に光が入射すべきであるのに、撮像面の端部には光が斜めに入射するため、その入射位置は、垂直に入射した場合の入射位置に対してΔｘだけシフトする。上記の数値例では、Ｃ／Ｄ＝Δｘ／Ｌの関係が成立しているため、Δｘ＝（ＬＣ）／Ｄ＝（１×１０-6×１×１０-2）／１＝１×１０-8＝１０ｎｍである。すなわち、フォトダイオードに入射する光線が被写体を通過する領域の位置は、撮像素子の中央か端部かによって、Δｘ＝１０ｎｍよりも小さい範囲でしかシフトしない。画素ピッチＫが１μｍ（＝１×１０-6ｍ）であるとすると、Δｘ＝１０ｎｍ（＝１×１０-8ｍ）は画素ピッチＫよりも２桁小さい。このため、撮像面から光源１０までの距離Ｄが撮像面のサイズを考慮して適切な大きさに設定されている限り、被写体を基準にした照射方向は、同じ光源に対して、被写体の位置によらず一定であると考えて良い。
　再度、図１７を参照する。本実施形態における画像処理部１２は、照明条件調整部１２１、画像情報取得部１２２、推定演算部１２３、画像構成処理部１２４を備えている。これらは、画像処理部１２を実現するコンピュータの機能ブロックから構成されていても良く、各構成要素はコンピュータプログラムによって実現され得る。記憶装置１３は、光源位置情報サーバ１３１と低分解能画像サーバ１３２とを有する。記憶装置１３は、ハードディスク、半導体メモリ、または光記録媒体であり得、インターネットなどのデジタルネットワークを介して画像処理部１２に接続されるデータサーバであってもよい。
　画像処理部１２の照明条件調整部１２１は、照明装置１１１における光源の位置、明るさ、光照射間隔、照度などの照明条件を調整する。画像情報取得部１２２は、照明装置１１１の照明条件が適切に設定された状態で撮像素子１１３を制御し、点灯する光源の切り替えに応じて撮像素子１１３に撮像を行わせる。画像情報取得部１２２は、撮像素子１１３が取得した画像（低分解能画像）のデータを撮像素子１１３から受け取る。また、受け取った画像データに関連付けて照明条件を規定する情報（照射方向、発光強度、照度、波長など）を照明条件調整部１２１から取得する。
　光源位置情報サーバ１３１は、画像情報取得部１２２から得た光源位置を示す情報を位置データベースとして格納している。また、光源位置情報サーバ１３１は、図１３に示す行列のデータベースを格納している。後述する推定演算部１２３によって行列の数値を調整した場合は、そのたびにこのデータベースを書き換える。
　低分解能画像サーバ１３２は、画像情報取得部１２２を介して得た低分解能画像のデータと、各低分解能画像を取得するときに使用された照明条件を示す情報とを画像データベースとして格納する。後述する画像構成処理が終了すると、低分解能画像のデータは画像データベースから削除されてもよい。
　画像処理部１２における推定演算部１２３は、画像情報取得部１２２から得られる撮像終了を示す信号に応答して、記憶装置１３の光源位置情報サーバ１３１および低分解能画像サーバ１３２から光源位置情報および低分解能画像を得る。そして、前述した原理による演算を行って高分解能画像を推定し、推定の妥当性を判断する。ここで、推定が妥当である場合は高分解能画像を出力し、そうでない場合は光源位置情報を変更する。推定動作を行うとき、推定演算部１２３は、光源位置情報サーバ１３１のデータベースを参照し、行列の数値を規定する上記の「割合」を取得し、撮像素子１１３の出力に基づいて高分解能画像を推定する。このとき、前述したように、推定値および誤差が求められる。誤差が基準値（例えば５％）を超えた場合は、「割合」の数値を初期値から他の値に補正する処理が行われてもよい。誤差の比率は、例えば、誤差／｜（Ｓ１、Ｓ２、・・・、Ｓ２５）｜×１００で表され得る。
　この誤差を用いて実験装置の校正も同時に行い、次回以降の実験の精度を上げることができる。具体的な校正方法は、例えば図１６のような推定値と３本の直線が引ける場合、平行移動をして３本の直線が全て推定値を通るように修正することで校正をかけ、誤差をなくすことができる。
　次に、誤差を評価しながらこの逆行列を解く。条件式は、一般には非常に複雑になる。ただし、計算上、全ての画素の矩形ブロックで計算をして求める高分解能画像のある画素に関して、大きく影響を受ける画素はごく限られた範囲の画素に限られる。図２０に示すように、例えば、画素１２×１２個の矩形ブロック単位で計算を行えば、計算コストを下げて高速に計算できる。
　推定演算部１２３の計算を撮像エリアの全体で実行する場合、被写体範囲の外からの光の入射を防ぐ遮光部を設けてもよい。被写体の位置しない領域から光が照射されることを防ぐため、図２１に示すように被写体支持部上に撮像範囲を制限する遮光領域を配置してもよい。また、図２２に示すように、撮像素子１１３の側面に遮光部材を配置してもよい。
　画像構成処理部１２４は、推定演算部１２３から送られてくる妥当性が認められた画像情報に基づいて高分解能画像を構成し、色補正、デモザイク処理、階調補正（γ補正）、ＹＣ分離処理、重なった部分の補正等、補正を施す。高分解能画像は不図示のディスプレイに表示されたり、出力部を介して画像取得装置１の外部に出力されたりする。出力部から出力された高分解能画像は、不図示の記録媒体に記録され、また他のディスプレイに表示され得る。
　低分解能画像サーバ１３２は、画像情報取得部１２２によって取得された低分解能画像のデータを格納する。推定演算部１２３にて画像を構成する際に、この低分解能画像サーバ１３２のデータベースから必要な低分解能画像のデータを得る。画像構成処理が終了すると、低分解能画像サーバ１３２からは不要なデータが削除され得る。
　本実施形態によれば、照射方向の数を（（ｎ＋１）×（ｎ＋１）－１）個以上にすると、ｎ×ｎ倍画素の高分解能画像を得ることができる。したがって、本開示の画像取得装置によれば、焦点合わせに時間がかかる顕微鏡を用いることなく全面積の高倍率の画像が得られるため、被写体が微細な組織を有する病理標本であっても高倍率の画像データを短時間で得ることができる。
　次に、図２３を参照して、上記の実施形態に係わる画像取得装置１の動作を説明する。図２３は、画像取得装置１における画像取得の流れを示すフローチャートである。
　図２３において、まず、被写体を被写体支持部１１２に配置する（Ｓ２０１）。ここでの被写体は病理検体である。病理検体の代わりに、例えば厚さが数μｍ程度で撮像中に形態が変化しない光透過性の試料（細胞、剥切した組織など）であってもよい。スライドガラスを上下反転させ、撮像素子上面にカバーガラス３２を載せ、その上にサンプルをおいた状態で撮像を行っても良い。
　次に、低分解能画像を取得するため、２５個の光源を順番に点灯しながら画像取得をする。具体的には、ｉ ＝１と定義し（Ｓ２０２）、ｉ番目の光源のみを点灯する（Ｓ２０３）。ｉ番目の光源のコントラスト調整を行いながら、画像を取得する（Ｓ２０４）。取得した画像のデータを記憶装置内の画像バッファに格納する（Ｓ２０５）。
　ｉ ＝ ｉ＋１と定義し（Ｓ２０６）、ｉが画像取得回数であるＮ＝２５回を超えているか否かを判断する（Ｓ２０７）。ｉが２５回を超えるまで、画像取得を繰り返す。
　ｉ＞Ｎを満たす（Ｓ２０７）と判断された場合（ＹＥＳ）、画像構成処理が行われる。具体的には、各低分解能画像から演算により高分解能画像を構成するために必要な画素条件式が作成され（Ｓ２０８）、画素推定演算が行われる（Ｓ２１０）。誤差判定が行われ、誤差が基準値を下回ると判断された場合は、得られた高分解能画像を出力する（Ｓ２１２）。誤差が基準値以上であると判断された場合は、記憶装置に記憶されている数値の補正を行ったうえで、画素条件式が作り直される（Ｓ２０８）。
　上記のフローでは、簡単のため、１つの光源位置から１枚の低分解能画像を得る例を説明したが、本開示の実施形態は、この例に限定されない。１つの光源位置にＲＧＢの３つのＬＥＤ光源を配置した場合、１つの光源位置からＲＧＢの３種類の低分解能画像を取得してもよい。それによってフルカラーの低分解能画像を取得すれば、最終的にフルカラーの高分解能画像を得ることが可能になる。
　上記の例では、異なる照射方向の数を２５個に設定しているが、照射方向の数は２５個より少なくても多くても良い。
　（第二実施形態）
　図２４は、本発明の第二実施形態に係わる画像取得装置のブロック図を示す。本実施形態における画像取得装置１が第一実施形態における画像取得装置と異なる点は、画像処理部１２が光源位置の校正時に光源位置を決定する光源位置決定部１２５を更に備えている点にある。このため、本実施形態では、光源位置の調節が可能である。
　次に、図２５を参照して、本実施形態に特有の動作を説明する。
　工程Ｓ２１０において、誤差が基準値未満であると判断されなかった場合（ＮＯ）、誤差が最も大きかった光源位置情報を補正する（Ｓ２１１）。そして、必要に応じて、修正後の光源位置から被写体に光を照射して低分解能画像を取り直す（Ｓ２０３）。
　（第三実施形態）
　本実施形態では、逆行列を解くことによって高分解能画像であるベクトルSjを求めない。その代わりに、一般的な超解像処理を利用して高分解能画像を生成する。逆行列を用いて高分解能化を行うには、高分解能画像の画像サイズをｗ×ｈとするとき、ｗｈ×ｗｈの行列の逆行列を求める必要がある。そのため、画像サイズが増加すると、計算困難に陥る。一方、超解像処理は実時間内での計算が可能である。従って、演算能力が低いコンピュータにおいても、実現しやすい利点がある。
　本実施形態の超分解能処理では、以下の数１に示すウィーナフィルタを用いて周波数領域での演算を行う。
Figure JPOXMLDOC01-appb-M000001

Figure JPOXMLDOC01-appb-M000002


ここで、Ｙは以下に説明する拡大画像であり、Ｘは求めたい高分解能画像であり、Ｄは畳み込み割合である。Ｈ（．）は周波数領域への変換を表しており、Ｈ（Ｄ）-1は数２に示されている。数２の式の右辺の分母におけるΓは、ＳＮ比を表すパラメータである。
　図２６を参照してＹの例を説明する。図２６は拡大率２倍の高分解能画像を取得するための拡大画像２８０１の取得方法を示している。なお、Ｙが拡大画像２８０１に対応する。
　拡大率２倍の拡大画像２８０１を取得するためには、４方向からの光の照射が必要である。図２６において、低分解能画像２８０２は、真上から照射したときに得られる低分解能画像を表す。低分解能画像２８０３は、Ｘ軸方向のみに異なる距離だけ照明を移動させた際に取得した低分解能画像を表す。低分解能画像２８０４はＹ軸方向のみに異なる距離だけ照明を移動させた際に取得した低分解能画像を表す。低分解能画像２８０５はＸ軸とＹ軸の等分線方向に移動させて撮影した低分解能画像を表す。
　以上のように、本実施形態では、ウィーナフィルタを用いた周波数領域での演算を行うことによって超分解能処理を実現する。超分解能処理は、この例に限定されない。任意の処理方法を用いることができる。例えば、超分解能処理として、数３および数４の更新式を利用して求めることもできる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　数３の式は数４の式をＸij tで微分することによって得られる。ここで、Ｘij tはt回目の繰り返し演算時の画像Ｘの（ｉ，ｊ）番目の画素値を表す。λは更新時のパラメータを表す。画像中のノイズを考慮して、数３の式にＬ２ノルムやＬ１ノルムを加えたコスト関数を利用することもできる。
　本実施形態によると、実時間内で高分解能画像を取得することができるようになる。また、逆行列を用いる高分解能化と同様に、図２０に示される限られた範囲内の画素で超分解能処理を実施することも可能である。さらに、画像を小領域に分割して、各小領域おいて、逆行列演算も含めて異なる高分解能化処理を実施することもでき得る。この際、対象物体が画像上に存在しない小領域など、高分解能処理が必要ない場所においては、高分解能処理を実施しないこともあり得る。高分解能画像の取得方法は、計算速度や精度が異なる。そのため、背景付近の重要ではない領域においては、速度重視の演算を行い、撮影対象が小領域全体に映っているようなときには精度が良い処理を実施することで、使用者が見たい領域を重点的に高分解能にすることができる。
　（改変例）
　図２７は、被写体および撮像素子（以下、「撮像対象」と称する。）１４０を着脱可能に保持する保持装置を備えている改変例の構成を模試的に示している。撮像対象１４０は、被写体と撮像素子とが一体化された「プレパラート」でありえる。この例では、「照明角度調整部」が撮像対象１４０の姿勢を変化させる機構を有している。この機構は、直交する鉛直面内で被写体の向きを回転させることができる２つのゴニオ機構１２０を含んでいる。ゴニオ機構１２０のゴニオ中心１５０は撮像対象１４０における被写体の中央部に位置している。この改変例では、ゴニオ機構１２０が照明光の照射方向を変化させることができるため、光源１０Ｐは固定されていてもよい。この改変例では、光源１０Ｐは平行光を発するように構成されている。なお、図２８に示されるように、この改変例による画像取得装置は複数の平行光光源１０Ｐを有していてもよい。
　ここで、光源１０Ｐを固定し、かつ撮影対象１４０を移動させる場合は、撮影対象１４０を固定し、かつ光源１０Ｐを移動させる場合と比較して、撮影時間が短くなる点で好ましい。これは、撮影対象１４０と光源１０Ｐとの距離Ｌ１が、撮影対象１４０を構成する被写体と撮像素子との距離Ｌ２よりも非常に大きいため、それに比例して光源１０Ｐを大きく移動させる必要があるためである。撮影時間が短くなることにより、被写体が秒単位で経時的に変化するもの、例えば、生物試料からのルミネセンスであっても適切な画像を取得できる。
　図２９は、被写体の姿勢を変化させる機構がゴニオ機構１２０と回転機構１２２とを備えている改変例の構成を示している。ゴニオ機構１２０による鉛直面内における撮像対象１４０の回転と、回転機構１２２による鉛直軸周りの撮像対象１４０の回転とを組み合わせることにより、撮像対象１４０に対して任意の照射方向から照明光を入射することが可能になる。点１５０は、ゴニオ中心および回転中心に位置している。なお、図３０に示されるように、この改変例による画像取得装置は複数の平行光光源１０Ｐを有していてもよい。
　図３１は、光源から放射された光の平行度を上げ、被写体に平行光を入射させる光学系の一例を示している。この例では、光源から出た発散光をコリメートするレンズ１３０がＸＹ移動機構(移動ステージ)１２４に搭載されている。撮像対象１４０は、移動ステージ１２４とともに、水平面内のＸ軸および／またはＹ軸の方向に任意の距離だけ移動させられる。
　図３２は、水平面内の所望の方向に所望の距離だけ移動した撮像対象１４０に対して照明光が斜めに入射する様子を示している。光源１０ａの位置が固定されていても、撮像対象１４０の位置を調整することにより、照明光の照射方向を制御できる。なお、図３３に示されるように、この改変例による画像取得装置は複数の光源を有していてもよい。このように複数の光源１０ａ、１０ｂ、１０ｃを有しているとき、撮像対象１４０を移動させる機構は無くてもよいし、図３４に示されるように、ＸＹ移動機構(移動ステージ)１２４を備えていてもよい。図３５、図３６および図３７に示されるように、点灯する光源１０ａ、１０ｂ、１０ｃの位置および撮像対象１４０の位置の一方または両方を変化させることにより、所望の入射角度で照明光を撮像対象１４０に入射できる。
　図３８は、２つのゴニオ機構１２０が平行光光源１０Ｐを支持する改変例の構成を模式的に示している。図３９は、ゴニオ機構１２０および回転機構１２２が平行光光源１０Ｐを支持する改変例の構成を模試的に示している。
　これらの改変例では、平行光を発する光源を使用したり、光源が発する光の平行度を高める光学系を使用したりしている。しかし、本開示の実施形態は、このような例に限定されない。前述したように、光源と被写体との間隔が十分に広いとき、実質的には平行といえる光が被写体に入射する。
　本開示の実施形態において、撮像面内においてフォトダイオードの垂直方向サイズが画素領域の垂直方向サイズに対して１／ｓで表され、かつ、そのフォトダイオードの水平方向サイズが画素領域の水平方向サイズに対して１／ｔで表される。ここで、ｓおよびｔは、いずれも実数であり、整数に限定されない。開口率は、（１／ｓ）×（１／ｔ）が表される。本開示の実施形態では、例えば、撮像面内における垂直方向に対して照射角度がａ通りに異なる照射方向で照明光を被写体に入射し、それぞれ撮像を行う。また、撮像面内における水平方向に対して照射角度がｂ通りに異なる照射方向で照明光を被写体に入射し、それぞれ撮像を行う。ここで、ａおよびｂは、ａ≧ｓ、ｂ≧ｔを満足する整数である。本開示の実施形態によれば、「ａ×ｂ」毎の低分解能画像を取得し、これらの低分解画像に基づいて、分解能が「ａ×ｂ」倍に増加した画像が得られる。なお、撮像素子の開口率である（１／ｓ）×（１／ｔ）とａ×ｂとの積は１以上となる。
　本開示による画像取得装置は、被写体および撮像素子を一体的に傾斜させる傾斜機構を含む照明システムを備えていても良い。その場合、光源の位置が固定されていても、傾斜機構によって被写体および撮像素子を回転させることにより、被写体を基準にしたときの照射方向を変化させることができる。このような照明システムによれば、被写体および撮像素子を一体的に傾斜させ、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射することができる。
　本開示の一態様による画像取得方法は、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する工程と、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得する工程と、前記複数の画像に基づいて前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する工程とを含む。
　また、本開示の画像取得装置は、上述した照明装置および撮像素子、ならびに汎用的なコンピュータを備え、このコンピュータが、照明装置により、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、照明光で前記被写体を照射し、被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、前記複数の画像をーに基づいて前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成するように構成されていても良い。このような動作は、記録媒体に記録されたコンピュータプログラムによって実行され得る。
　被写体に対して光を照射し、姿勢および位置が固定されている光源を用いる場合、被写体を複数の傾斜角度に傾斜させる傾斜機構があれば、被写体を透過した光が入射する位置に配置された撮像素子と被写体と一体的に傾斜機構により傾斜して、複数の傾斜角度に応じて複数の画像を取得することができる。
　本開示に係る画像取得装置、画像取得方法および画像処理プログラムは、焦点調整の手間を省き、高倍率の画像を取得することが可能になる。
１　画像取得装置
１０　光源
１１　撮像処理部
１２　画像処理部
１３　記憶装置
３０　被写体
４０　フォトダイオード
４２　遮光膜
４４　垂直電荷転送路
４６　水平電荷転送路
５０　画素
１１１　照明
１１２　被写体支持部
１１３　撮像素子
１２１　照明条件調整部
１２２　画像情報取得部
１２３　推定演算部
１２４　画像構成処理部
１２５　光源位置決定部
１３１　光源位置情報サーバ
１３２　低分解能画像サーバ
４００　半導体基板
４０２　配線層
４０６　透明層

Claims (38)

  1. 　被写体を基準にして、複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する照明システムと、
    　前記被写体を透過した前記照明光が入射する位置に配置され、前記異なる照射方向に応じて異なる複数の画像を取得する撮像素子と、
    　前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する画像処理部と、
    　前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータを格納するメモリと、
    を備え、
    　前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記被写体の高分解能画像を形成する、画像取得装置。
  2. 　前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成する、請求項１に記載の画像取得装置。
  3. 　前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、超分解能処理によって前記被写体の高分解能画像を形成する、請求項１に記載の画像取得装置。
  4. 　前記被写体は、前記撮像素子に近接して配置され、
    　前記被写体および前記撮像素子は、その間にレンズが介在しない状態で対向する、請求項１に記載の画像取得装置。
  5. 　前記撮像素子の撮像面から前記被写体までの距離は、１００μｍ以下である、請求項４に記載の画像取得装置。
  6. 　前記複数の画像は、それぞれ、前記被写体の異なる部分から構成される像を含んでいる、請求項１から５のいずれかに記載の画像取得装置。
  7. 　前記被写体は前記撮像素子に固定されており、
    　前記撮像素子を着脱可能に保持する保持装置を備えている、請求項１から６のいずれかに記載の画像取得装置。
  8. 　ａおよびｂを２以上の整数とし、
    　前記撮像素子の撮像面内における垂直方向に対して照射角度がａ通りに異なる照射方向で前記照明光を前記被写体に入射し、それぞれ撮像を行い、
    　前記撮像面内における水平方向に対して照射角度がｂ通りに異なる照射方向で前記照明光を前記被写体に入射し、それぞれ撮像を行い、
    　前記撮像素子の開口率とａ×ｂとの積が１以上になる、請求項１に記載の画像取得装置。
  9. 　前記照明システムは、波長域が異なる光を出射することができる、請求項１から８のいずれかに記載の画像取得装置。
  10. 　前記照明システムは、前記複数の異なる照射方向に対応した異なる位置に順次移動して前記照明光を出射する光源を有している、請求項１から９のいずれかに記載の画像取得装置。
  11. 　前記照明システムは、前記複数の異なる照射方向に対応した異なる位置に配置され、順次、前記照明光を出射する複数の光源を有している、請求項１から１０のいずれかに記載の画像取得装置。
  12. 　前記照明システムは、前記被写体および前記撮像素子を一体的に傾斜させる傾斜機構を含み、
    　前記被写体および前記撮像素子を一体的に傾斜させることにより、前記被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する、請求項１から１１のいずれかに記載の画像取得装置。
  13. 　前記照明システムは、前記被写体の姿勢および位置の少なくとも一方を変化させる機構を有している、請求項１２に記載の画像取得装置。
  14. 　前記機構は、ゴニオ機構および移動ステージの少なくとも一方を含んでいる、請求項１３に記載の画像取得装置。
  15. 　前記機構は、前記照明光の平行度を高める光学系を有している、請求項１３または１４に記載の画像取得装置。
  16. 　前記照明システムは、前記照明光の平行度を高める光学系を有している、請求項１２または１３に記載の画像取得装置。
  17. 　被写体を基準にして、複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する工程と、
    　前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得する工程と、
    　前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する工程と、
    を含み、
    　前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納する工程と、
    　前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように設定されている、画像取得方法。
  18. 　照明装置と、撮像素子と、コンピュータとを備える画像取得装置であって、
    　前記コンピュータは、
    　前記照明装置により、被写体を基準にして、複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射し、
    　前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、
    　前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成し、
    　前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納し、
    　前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように設定されている、画像取得装置。
  19. 　照明装置と、撮像素子と、コンピュータとを備える画像取得装置のためのプログラムであって、
    　前記照明装置により、被写体を基準にして、複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射し、
    　前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、
    　前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成し、
    　前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納し、
    　前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように構成されたプログラム。
  20. 　被写体を基準にして、ｎ2個（ｎは２以上の整数）より多い複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する照明システムと、
    　前記被写体を透過した前記照明光が入射する位置に配置され、前記異なる照射方向に応じて異なる複数の画像を取得する撮像素子と、
    　前記複数の画像に基づいて、前記複数の画像の各々よりも分解能がｎ倍の前記被写体の高分解能画像を形成する画像処理部と、
    を備え、
    　前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータを格納するメモリを備え、
    　前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成する、画像取得装置。
  21. 　前記画像取得装置において、校正用のモザイクカラーフィルタを用いずに、高分解能画像取得のたびに自動的に前記撮像素子の各画素に含まれる前記複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータを校正することができる、請求項９に記載の画像取得装置。
  22. 　前記照明システムは、波長域が異なる光を出射することができる、請求項２０または２１に記載の画像取得装置。
  23. 　前記照明システムは、前記複数の異なる照射方向に対応した異なる位置に順次移動して前記照明光を出射する光源を有している、請求項２０から２２のいずれかに記載の画像取得装置。
  24. 　前記照明システムは、前記複数の異なる照射方向に対応した異なる位置に配置され、順次、前記照明光を出射する複数の光源を有している、請求項２０から２３のいずれかに記載の画像取得装置。
  25. 　前記照明システムは、前記被写体および前記撮像素子を一体的に傾斜させる傾斜機構を含み、
    　前記被写体および前記撮像素子を一体的に傾斜させることにより、前記被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する、請求項２０から２２のいずれかに記載の画像取得装置。
  26. 　被写体を基準にして、ｎ2個（ｎは２以上の整数）より多い複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する工程と、
    　前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得する工程と、
    　前記複数の画像に基づいて、前記複数の画像の各々よりも分解能がｎ倍の前記被写体の高分解能画像を形成する工程と、
    を含み、
    　前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納する工程と、
    　前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように設定されている、画像取得方法。
  27. 　照明装置と、撮像素子と、コンピュータとを備える画像取得装置であって、
    　前記コンピュータは、
    　前記照明装置により、被写体を基準にして、ｎ2個（ｎは２以上の整数）より多い複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射し、
    　前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、
    　前記複数の画像に基づいて、前記複数の画像の各々よりも分解能がｎ倍の前記被写体の高分解能画像を形成し、
    　前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納し、
    　前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように設定されている、画像取得装置。
  28. 　照明装置と、撮像素子と、コンピュータとを備える画像取得装置のためのプログラムであって、
    　前記照明装置により、被写体を基準にして、ｎ2個（ｎは２以上の整数）より多い複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射し、
    　前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、
    　前記複数の画像に基づいて、前記複数の画像の各々よりも分解能がｎ倍の前記被写体の高分解能画像を形成し、
    　前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納し、
    　前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように構成されたプログラム。
  29. 　被写体に対して光を照射し、姿勢および位置が固定されている光源と、
    　前記被写体を複数の傾斜角度に傾斜させる傾斜機構と、
    　前記被写体を透過した前記光が入射する位置に配置され、かつ前記被写体と一体的に前記傾斜機構により傾斜され、前記複数の傾斜角度に応じて複数の画像を取得する撮像素子と、
    　前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する画像処理部と、
    　前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の傾斜角度の各々について示すデータを格納するメモリと、
    を備え、
    　前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の傾斜角度に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記被写体の高分解能画像を形成する、画像取得装置。
  30. 　前記被写体は、前記撮像素子に近接して配置され、
    　前記被写体および前記撮像素子は、その間にレンズが介在しない状態で対向する、請求項２９に記載の画像取得装置。
  31. 　前記撮像素子の撮像面から前記被写体までの距離は、１００μｍ以下である、請求項３０に記載の画像取得装置。
  32. 　前記複数の画像は、それぞれ、前記被写体の異なる部分から構成される像を含んでいる、請求項２９から３１のいずれかに記載の画像取得装置。
  33. 　前記被写体は前記撮像素子に固定されており、
    　前記撮像素子を着脱可能に保持する保持装置を備えている、請求項２９から３２のいずれかに記載の画像取得装置。
  34. 　前記傾斜機構は、ゴニオ機構または移動ステージの少なくとも一方を含んでいる、請求項２９から３３のいずれかに記載の画像取得装置。
  35. 　前記傾斜機構は、前記光の平行度を高める光学系を有している、請求項２９から３３のいずれかに記載の画像取得装置。
  36. 　前記光源は、前記光の平行度を高める光学系を有している、請求項２９から３４のいずれかに記載の画像取得装置。
  37. 　被写体を複数の傾斜角度に傾斜させながら、固定された光源から前記被写体に対して照明光を照射する工程と、
    　前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記複数の傾斜角度に応じて複数の画像を取得する工程と、
    　前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する工程と、
    を含み、
    　前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の傾斜角度の各々について示すデータに基づいて前記被写体の高分解能画像を形成する、画像取得方法。
  38. 　コンピュータに対して、以下の工程を実行させるプログラムであって、
    　被写体を複数の傾斜角度に傾斜させながら、固定された光源から前記被写体に対して照明光を照射する工程と、
    　前記被写体を透過した前記照明光が入射する位置に配置された撮像素子により、前記異なる照射方向に応じて異なる複数の画像を取得する工程と、
    　前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する工程と、
    を含み、
    　前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の傾斜角度の各々について示すデータに基づいて前記被写体の高分解能画像を形成する、プログラム。
PCT/JP2014/002985 2013-06-07 2014-06-05 画像取得装置、画像取得方法、およびプログラム WO2014196202A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14807811.6A EP3007432B1 (en) 2013-06-07 2014-06-05 Image acquisition device and image acquisition method
CN201480031057.6A CN105247852B (zh) 2013-06-07 2014-06-05 图像获取装置、图像获取方法以及记录介质
JP2014555024A JP5789765B2 (ja) 2013-06-07 2014-06-05 画像取得装置、画像取得方法、およびプログラム
US14/628,035 US9438793B2 (en) 2013-06-07 2015-02-20 Image forming apparatus, image forming method and image sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013121112 2013-06-07
JP2013-121112 2013-06-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/628,035 Continuation US9438793B2 (en) 2013-06-07 2015-02-20 Image forming apparatus, image forming method and image sensor

Publications (1)

Publication Number Publication Date
WO2014196202A1 true WO2014196202A1 (ja) 2014-12-11

Family

ID=52007859

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002985 WO2014196202A1 (ja) 2013-06-07 2014-06-05 画像取得装置、画像取得方法、およびプログラム

Country Status (5)

Country Link
US (1) US9438793B2 (ja)
EP (1) EP3007432B1 (ja)
JP (2) JP5789765B2 (ja)
CN (1) CN105247852B (ja)
WO (1) WO2014196202A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016084310A1 (ja) * 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 画像取得装置、画像形成システムおよび画像形成方法
JP2016139397A (ja) * 2015-01-23 2016-08-04 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム
WO2024014353A1 (ja) * 2022-07-11 2024-01-18 株式会社ジャパンディスプレイ 検出装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6627083B2 (ja) * 2014-08-22 2020-01-08 パナソニックＩｐマネジメント株式会社 画像取得装置および画像形成システム
US9710715B2 (en) * 2014-12-26 2017-07-18 Ricoh Company, Ltd. Image processing system, image processing device, and image processing method
JP2017098831A (ja) * 2015-11-26 2017-06-01 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、偏光制御ユニット、撮像システムおよびプログラム
US10607316B2 (en) * 2016-07-22 2020-03-31 Panasonic Intellectual Property Management Co., Ltd. Image generating apparatus and image generating method
JP7026333B2 (ja) * 2017-03-01 2022-02-28 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
CN109539978B (zh) * 2017-09-22 2021-06-25 沈机（上海）智能系统研发设计有限公司 图像检测系统、图像检测装置以及图像检测方法
JP6835020B2 (ja) * 2018-03-15 2021-02-24 オムロン株式会社 画像処理システム、画像処理装置、画像処理プログラム
EP3585047B1 (de) * 2018-06-20 2021-03-24 ZKW Group GmbH Verfahren und vorrichtung zur erstellung von hochkontrastbildern
US10638061B2 (en) * 2018-09-18 2020-04-28 Analog Devices Global Unlimited Company Active-pixel image sensor
CN109981946A (zh) * 2019-03-11 2019-07-05 歌尔股份有限公司 一种摄像头、摄像头控制方法和装置
US11950000B2 (en) * 2022-09-07 2024-04-02 Microsoft Technology Licensing, Llc Resolution enhancement in spatial-frequency space

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998030022A1 (fr) * 1996-12-26 1998-07-09 Sony Corporation Dispositif d'acquisition d'images a haute resolution et procede de capture d'images
JP2000295639A (ja) * 1999-04-08 2000-10-20 Nikon Corp 固体撮像素子検査用照明装置及びそれに用いる調整工具
JP2012185384A (ja) * 2011-03-07 2012-09-27 Nikon Corp 撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316434A (ja) * 1992-05-12 1993-11-26 Olympus Optical Co Ltd 高分解能撮像装置
JPH1132256A (ja) * 1997-07-09 1999-02-02 Sony Corp 撮像装置
JP2001136350A (ja) * 1999-11-02 2001-05-18 Seiko Epson Corp 画像入力装置、画像入力システム、および画像入力方法、並びにそのための記録媒体
JP2003319146A (ja) * 2002-04-22 2003-11-07 Pentax Corp フィルムスキャナ
US6895076B2 (en) * 2003-06-03 2005-05-17 Ge Medical Systems Global Technology Company, Llc Methods and apparatus for multiple image acquisition on a digital detector
JP4172416B2 (ja) * 2004-04-22 2008-10-29 国立大学法人東京工業大学 超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法及びそれを用いた撮像装置、並びに移動方向の評価方法
JP4311668B2 (ja) 2004-11-15 2009-08-12 オリンパス株式会社 撮像装置と撮像システムおよび画像の撮影方法
JP2009129365A (ja) * 2007-11-27 2009-06-11 Sony Corp 撮像装置およびその方法
JP5497386B2 (ja) * 2009-09-11 2014-05-21 浜松ホトニクス株式会社 画像取得装置
US20120092480A1 (en) * 2010-05-28 2012-04-19 Putman Matthew C Unique digital imaging method employing known background
JP5738564B2 (ja) * 2010-09-30 2015-06-24 オリンパス株式会社 画像処理システム
EP2633267A4 (en) * 2010-10-26 2014-07-23 California Inst Of Techn MICROSCOPE SYSTEM WITHOUT PROJECTION LENS AND SCAN
KR101854188B1 (ko) * 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
JP5350532B2 (ja) * 2011-12-27 2013-11-27 キヤノン株式会社 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998030022A1 (fr) * 1996-12-26 1998-07-09 Sony Corporation Dispositif d'acquisition d'images a haute resolution et procede de capture d'images
JP2000295639A (ja) * 1999-04-08 2000-10-20 Nikon Corp 固体撮像素子検査用照明装置及びそれに用いる調整工具
JP2012185384A (ja) * 2011-03-07 2012-09-27 Nikon Corp 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3007432A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016084310A1 (ja) * 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 画像取得装置、画像形成システムおよび画像形成方法
JP6004245B1 (ja) * 2014-11-27 2016-10-05 パナソニックＩｐマネジメント株式会社 画像取得装置、画像形成システムおよび画像形成方法
JP2016139397A (ja) * 2015-01-23 2016-08-04 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム
WO2024014353A1 (ja) * 2022-07-11 2024-01-18 株式会社ジャパンディスプレイ 検出装置

Also Published As

Publication number Publication date
CN105247852B (zh) 2019-03-08
US9438793B2 (en) 2016-09-06
JP6265153B2 (ja) 2018-01-24
EP3007432A1 (en) 2016-04-13
US20150163405A1 (en) 2015-06-11
JPWO2014196202A1 (ja) 2017-02-23
CN105247852A (zh) 2016-01-13
JP2015146590A (ja) 2015-08-13
EP3007432B1 (en) 2020-01-01
JP5789765B2 (ja) 2015-10-07
EP3007432A4 (en) 2016-06-08

Similar Documents

Publication Publication Date Title
JP6265153B2 (ja) 撮像素子
JP6307770B2 (ja) 撮像素子
US10353190B2 (en) Sensor for microscopy
JP6135779B2 (ja) プレノプティック・イメージング・システムのオブジェクト空間較正
JP6725526B2 (ja) 分散して空間的符号化画像を作成する画像を伴う撮像素子
US11614363B2 (en) Digital pathology color calibration and validation
US9046680B2 (en) Scanning illumination microscope
US10623627B2 (en) System for generating a synthetic 2D image with an enhanced depth of field of a biological sample
US20160330389A1 (en) Image generating system, image generation method, imaging element, and recording medium
JP6083833B2 (ja) 画像解像度が向上した赤外線検出器
JP2010537166A (ja) サンプルを撮像する方法
JP6940696B2 (ja) 二次元および三次元の固定式ｚ走査
US20110249155A1 (en) Image pickup device
JP6867916B2 (ja) 観察装置
KR20220110661A (ko) 이미지들로부터 값들을 추정하는 장치 및 방법
US20200174242A1 (en) Dual processor image processing
JP2006177813A (ja) 迷光補正法及びそれを用いた二次元分光輝度計
JP2023093855A (ja) 撮像装置及び撮像装置の制御方法、プログラム
KR20220083702A (ko) 서브픽셀 라인 스캐닝

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014555024

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14807811

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014807811

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE