WO2016084310A1 - 画像取得装置、画像形成システムおよび画像形成方法 - Google Patents

画像取得装置、画像形成システムおよび画像形成方法 Download PDF

Info

Publication number
WO2016084310A1
WO2016084310A1 PCT/JP2015/005545 JP2015005545W WO2016084310A1 WO 2016084310 A1 WO2016084310 A1 WO 2016084310A1 JP 2015005545 W JP2015005545 W JP 2015005545W WO 2016084310 A1 WO2016084310 A1 WO 2016084310A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
irradiation direction
preliminary
irradiation
subject
Prior art date
Application number
PCT/JP2015/005545
Other languages
English (en)
French (fr)
Inventor
太一 佐藤
好秀 澤田
安比古 足立
本村　秀人
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2016528915A priority Critical patent/JP6004245B1/ja
Priority to CN201580002651.7A priority patent/CN105829867A/zh
Priority to EP15864158.9A priority patent/EP3225975A4/en
Priority to AU2015351876A priority patent/AU2015351876B2/en
Publication of WO2016084310A1 publication Critical patent/WO2016084310A1/ja
Priority to US15/224,712 priority patent/US10241315B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59—Transmissivity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/086—Condensers for transillumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/066—Modifiable path; multiple paths in one sample
    • G01N2201/0662—Comparing measurements on two or more paths in one sample

Definitions

  • the present disclosure relates to an image acquisition apparatus, an image forming system, and an image forming method.
  • an optical microscope has been used to observe a microstructure in a living tissue or the like.
  • the optical microscope uses light transmitted through an observation object or reflected light.
  • the observer observes the image magnified by the lens.
  • a digital microscope that takes an image magnified by a microscope lens and displays it on a display. By using a digital microscope, simultaneous observation by multiple people, observation at a remote location, etc. are possible.
  • the observation target is arranged close to the imaging surface of the image sensor.
  • the image sensor a two-dimensional image sensor in which a large number of photoelectric conversion units are generally arranged in rows and columns in the imaging surface is used.
  • the photoelectric conversion unit is typically a photodiode formed on a semiconductor layer or a semiconductor substrate, and generates charge upon receiving incident light.
  • the image acquired by the image sensor is defined by a large number of pixels. Each pixel is partitioned by a unit region including one photoelectric conversion unit. Therefore, the resolution (resolution) in the two-dimensional image sensor usually depends on the arrangement pitch of the photoelectric conversion units on the imaging surface. In this specification, the resolution determined by the arrangement pitch of the photoelectric conversion units may be referred to as “inherent resolution” of the image sensor. Since the arrangement pitch of the individual photoelectric conversion units is as short as the wavelength of visible light, it is difficult to further improve the intrinsic resolution.
  • Patent Document 1 discloses a technique for forming an image of a subject using a plurality of images obtained by shifting the imaging position of the subject.
  • the present disclosure provides an image acquisition device, an image forming system, and an image forming method that can improve the practicality of a high resolution technology that realizes a resolution exceeding the intrinsic resolution of an image sensor.
  • An illumination system that sequentially irradiates light from a plurality of different irradiation directions on the subject of a module in which the subject and the image sensor are integrated, and the module receives illumination light that has passed through the subject incident on the image sensor.
  • the subject and the image sensor are integrated so that the image sensor acquires a plurality of images according to the plurality of different irradiation directions, and the plurality of images according to the plurality of different irradiation directions.
  • Irradiation that determines the plurality of different irradiation directions based on a difference from the second preliminary image acquired by the imaging device when the subject is irradiated with the second illumination light.
  • a direction determining unit, an image acquisition apparatus comprising a.
  • the practicality of the high resolution technology that realizes a resolution exceeding the intrinsic resolution of the image sensor is improved.
  • FIG. 3 is a plan view schematically showing a part of a subject 2.
  • FIG. 1B is a plan view schematically showing extracted photodiodes related to imaging of the region shown in FIG. 1A.
  • 3 is a cross-sectional view schematically showing the direction of light rays that pass through a subject 2 and enter a photodiode 4p.
  • FIG. 3 is a cross-sectional view schematically showing the direction of light rays that pass through a subject 2 and enter a photodiode 4p.
  • FIG. It is a figure which shows typically 6 pixels Pa acquired by the 6 photodiodes 4p. It is sectional drawing which shows typically the state in which the light ray was entered from the irradiation direction different from the irradiation direction shown to FIG.
  • FIG. 3 is a cross-sectional view schematically showing a state in which light beams are incident from an irradiation direction different from the irradiation direction shown in FIGS. 2A and 2B and the irradiation direction shown in FIGS. 3A and 3B. It is sectional drawing which shows typically the state which entered the light ray from the irradiation direction shown in FIG. 2A and FIG.
  • FIG. 2B is a diagram schematically showing six pixels Pd acquired under the irradiation direction shown in FIG. 5A.
  • FIG. 6 is a cross-sectional view schematically showing an irradiation direction adjusted so that light beams that have passed through two adjacent regions of the subject 2 enter different photodiodes. It is a figure which shows typically an example of the cross-section of a module. It is a top view which shows an example of an external appearance when the module 10 shown to FIG. 8A is seen from the image sensor 4 side. It is a figure for demonstrating an example of the manufacturing method of a module. It is sectional drawing which shows the example of the irradiation angle at the time of acquisition of a sub image.
  • FIG. 5 is a schematic enlarged cross-sectional view showing a relationship between illumination light transmitted through the subject 2 and a photodiode 4p in a module in which the subject 2 is arranged at a position farther from the imaging surface 4A of the image sensor 4.
  • FIG. 3 is a diagram illustrating an outline of an exemplary image forming method according to an embodiment of the present disclosure.
  • 4 is a cross-sectional view schematically showing an example of a relationship between an illumination light irradiation direction and a region of the subject 2 through which illumination light is transmitted.
  • FIG. It is sectional drawing which shows typically an example of the relationship between the irradiation direction of illumination light when the 2nd irradiation direction is changed from the state shown to FIG.
  • FIG. 17A It is a figure which shows 1st irradiation direction DR1 and 2nd irradiation direction DR2 which the light which permeate
  • 1 is a block diagram illustrating an example of an image forming system according to an embodiment of the present disclosure.
  • 5 is a flowchart illustrating an example of an operation in the image forming system 500.
  • FIG. 10 is a block diagram illustrating another example of an image forming system according to an embodiment of the present disclosure.
  • 12 is a flowchart illustrating another example of the operation in the image forming system 500.
  • FIG. 12 is a block diagram illustrating still another example of an image forming system according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart illustrating still another example of the operation in the image forming system 500.
  • FIG. 12 is a block diagram illustrating still another example of an image forming system according to an embodiment of the present disclosure. 12 is a flowchart illustrating still another example of the operation in the image forming system 500.
  • FIG. 12 is a block diagram illustrating still another example of an image forming system according to an embodiment of the present disclosure. 12 is a flowchart illustrating still another example of the operation in the image forming system 500.
  • FIG. 4 is a cross-sectional view schematically showing an example of a relationship between an illumination light irradiation direction and a region of the subject 2 through which illumination light is transmitted.
  • FIG. It is sectional drawing which shows typically another example of the relationship between the irradiation direction of illumination light, and the area
  • FIG. 6 is a cross-sectional view schematically showing still another example of the relationship between the illumination light irradiation direction and a region of the subject 2 through which illumination light is transmitted.
  • FIG. 12 is a block diagram illustrating still another example of an image forming system according to an embodiment of the present disclosure. 12 is a flowchart illustrating still another example of the operation in the image forming system 500.
  • FIG. 1A is a plan view schematically showing a part of a subject.
  • the subject 2 shown in FIG. 1A is, for example, a thin piece of biological tissue (typically having a thickness of several tens of ⁇ m or less).
  • the subject 2 is arranged close to the imaging surface of the image sensor.
  • the distance from the imaging surface of the image sensor to the subject 2 is typically 1 mm or less, and can be set to about 1 ⁇ m, for example.
  • FIG. 1B is a plan view schematically showing extracted photodiodes related to imaging of the region shown in FIG. 1A out of the photodiodes of the image sensor.
  • FIG. 1B shows arrows indicating the x, y, and z directions orthogonal to each other.
  • the z direction indicates the normal direction of the imaging surface.
  • an arrow indicating the u direction that is a direction rotated by 45 ° from the x axis toward the y axis in the xy plane is also illustrated.
  • an arrow indicating the x direction, the y direction, the z direction, or the u direction may be illustrated.
  • Components other than the photodiode 4p in the image sensor 4 are covered with a light shielding layer.
  • the hatched area indicates an area covered with the light shielding layer.
  • the area (S2) of the light receiving surface of one photodiode on the imaging surface of the CCD image sensor is smaller than the area (S1) of the unit region including the photodiode.
  • the ratio (S2 / S1) of the light receiving area S2 to the pixel area S1 is called "aperture ratio".
  • aperture ratio is 25%.
  • 2A and 2B schematically show the directions of light rays that pass through the subject 2 and enter the photodiode 4p.
  • 2A and 2B show a state in which light rays are incident from a direction perpendicular to the imaging surface.
  • no lens for image formation is disposed between the subject 2 and the image sensor 4, and the image of the subject 2 passes through the subject 2. Acquired using substantially parallel rays.
  • FIG. 2C schematically shows an image Sa (first sub-image Sa) acquired under the irradiation direction shown in FIGS. 2A and 2B.
  • the first sub-image Sa is composed of six pixels Pa acquired by six photodiodes 4p.
  • Each pixel Pa has a value (pixel value) indicating the amount of light incident on the individual photodiode 4p.
  • the first sub-image Sa has information on areas A1, A2, A3, A4, A5, and A6 (see FIG. 1A) in the entire subject 2. Note that light that has passed through a region not directly above the photodiode 4p does not enter the photodiode 4p. Therefore, in the first sub-image Sa, information on regions other than the regions A1, A2, A3, A4, A5, and A6 in the entire subject 2 is missing.
  • FIGS. 3A and 3B show a state in which light rays are incident from an irradiation direction different from the irradiation direction shown in FIGS. 2A and 2B.
  • the light rays shown in FIGS. 3A and 3B are inclined in the x direction with respect to the z direction. At this time, light that has passed through a region different from the region located immediately above the photodiode 4p in the entire subject 2 enters the photodiode 4p.
  • FIG. 3C schematically shows an image Sb (second sub-image Sb) acquired under the irradiation direction shown in FIGS. 3A and 3B.
  • the second sub-image Sb is also composed of six pixels acquired by the six photodiodes 4p.
  • the pixels Pb constituting the second sub-image Sb are areas B1, B2, B3, B4, B5, and B6 (outside the areas A1, A2, A3, A4, A5, and A6 of the entire subject 2 (See FIG. 1A).
  • the second sub-image Sb does not have information on the areas A1, A2, A3, A4, A5, and A6 in the entire subject 2, and instead, the areas B1, B2, B3, B4 , B5 and B6.
  • the region B1 is a region adjacent to the right side of the region A1 in the subject 2 (see FIG. 1A).
  • the light beam transmitted through different regions of the subject 2 is made incident on the photodiode 4p by appropriately changing the irradiation direction. be able to.
  • the first sub image Sa and the second sub image Sb can include pixel information corresponding to different positions in the subject 2.
  • FIG. 5A shows a state in which light rays are incident from an irradiation direction shown in FIGS. 2A and 2B, an irradiation direction shown in FIGS. 3A and 3B, and an irradiation direction different from the irradiation directions shown in FIGS. 4A and 4B.
  • the light beam shown in FIG. 5A is inclined in a direction that forms an angle of 45 ° with the x axis in the xy plane with respect to the z direction.
  • FIG. 6 shows a high-resolution image HR synthesized from four sub-images Sa, Sb, Sc, and Sd.
  • the number of pixels or the pixel density of the high-resolution image HR is four times the number of pixels or the pixel density of each of the four sub-images Sa, Sb, Sc, and Sd.
  • the pixel Pa1 of the sub-image Sa illustrated in FIG. 6 has information on only the area A1, not the entire block described above. Therefore, it can be said that the sub-image Sa is an image in which information on the areas B1, C1, and D1 is missing.
  • the information missing in the sub-image Sa is complemented as shown in FIG. It is possible to form a high resolution image HR.
  • a resolution four times the intrinsic resolution of the image sensor 4 is obtained.
  • the degree of high resolution (super-resolution) depends on the aperture ratio of the image sensor. In this example, since the aperture ratio of the image sensor 4 is 25%, the resolution can be increased up to four times by irradiating light from four different directions.
  • N is an integer greater than or equal to 2 if the aperture ratio of the image sensor 4 is approximately equal to 1 / N, the resolution can be increased up to N times.
  • the sub-images Sa, Sb, Sc, and Sd shown in FIG. 6 have pixel information of different areas in the subject 2 and do not overlap. However, there may be overlap between different sub-images.
  • the light beams that have passed through two adjacent regions in the subject 2 are both incident on the same photodiode.
  • the setting of the irradiation direction is not limited to this example. For example, as shown in FIG. 7, the irradiation direction may be adjusted so that light beams that have passed through two adjacent regions of the subject 2 enter different photodiodes.
  • ⁇ Module> In the formation of a high-resolution image based on the principle described with reference to FIGS. 1A to 6, acquisition of a sub image is executed in a state where the subject 2 is arranged close to the imaging surface of the image sensor 4.
  • a sub image is acquired using a module having a structure in which the subject 2 and the image sensor 4 are integrated.
  • FIG. 8A schematically shows an example of a cross-sectional structure of the module.
  • the subject 2 covered with the encapsulant 6 is disposed on the imaging surface 4 ⁇ / b> A of the image sensor 4.
  • a transparent plate (typically a glass plate) 8 is arranged on the subject 2. That is, in the configuration illustrated in FIG. 8A, the subject 2 is sandwiched between the image sensor 4 and the transparent plate 8. It is advantageous that the module 10 has the transparent plate 8 because workability is improved.
  • the transparent plate 8 for example, a general slide glass can be used. Note that each element is schematically shown in the drawing, and the actual size and shape of each element do not necessarily match the size and shape shown in the figure. The same applies to other drawings referred to below.
  • FIG. 8A shows an example of the appearance when the module 10 shown in FIG. 8A is viewed from the image sensor 4 side.
  • the package 5 has a back electrode 5 ⁇ / b> B on the surface opposite to the transparent plate 8.
  • the back electrode 5B is electrically connected to the image sensor 4 through a wiring pattern (not shown) formed on the package 5. That is, the output of the image sensor 4 can be taken out via the back electrode 5B.
  • an imaging device a structure in which a package and an image sensor are integrated is referred to as an “imaging device”.
  • a thin slice (tissue slice) of a biological tissue is illustrated as the subject 2.
  • the module 10 having a biological tissue slice as the subject 2 can be used for pathological diagnosis.
  • the tissue section A02 is placed on the transparent plate 8.
  • the transparent plate 8 can be a slide glass used for observing a sample with an optical microscope. Below, a slide glass is illustrated as the transparent plate 8.
  • the tissue section A02 is stained by immersing the tissue section A02 together with the transparent plate 8 in the staining solution Ss.
  • the subject 2 obtained by staining the tissue section A02 is covered with the encapsulant 6 by applying the encapsulant 6 on the transparent plate 8.
  • the encapsulant 6 has a function of protecting the subject 2.
  • the image sensor 7 is disposed on the subject 2 such that the imaging surface of the image sensor 4 faces the subject 2. In this way, the module 10 is obtained.
  • the module 10 is produced for each imaging target. For example, in a pathological diagnosis scene, a plurality of (for example, 5 to 20) tissue sections are prepared from one specimen. Therefore, a plurality of modules 10 having tissue sections obtained from the same specimen as the subject 2 can be produced. If a plurality of sub-images are acquired for each of the plurality of modules 10, a high-resolution image corresponding to each of the plurality of modules 10 can be formed.
  • the module 10 includes an image sensor 4 that acquires an image of the subject 2, unlike a preparation used for observation with an optical microscope. Such a module may be called an “electronic preparation”.
  • the use of the module 10 having a structure in which the subject 2 and the image sensor 7 are integrated has an advantage that the arrangement between the subject 2 and the image sensor 4 can be fixed.
  • the subject 2 When acquiring an image of the subject 2 using the module 10, the subject 2 is irradiated with illumination light through the transparent plate 8. Illumination light transmitted through the subject 2 enters the image sensor 4. Thereby, an image of the subject 2 is obtained.
  • a plurality of different images can be acquired at different angles during irradiation.
  • the light source 310 is disposed immediately above the image sensor 4. Then, when imaging is performed in a state where the subject 2 is irradiated with the collimated light CL from the normal direction of the imaging surface 4A of the image sensor 4, a sub-image similar to the sub-image Sa illustrated in FIG. 2C is obtained. Further, as shown in FIG.
  • FIG. 11A schematically shows an example of the relationship between the arrangement of the subject 2 and the irradiation direction.
  • the two irradiation directions of the irradiation direction indicated by the dashed arrow DRa and the irradiation direction indicated by the solid arrow DRb are shown together.
  • the illumination light irradiation from the direction indicated by the arrow DRa and the illumination light irradiation from the direction indicated by the arrow DRb are simultaneously performed. Are not executed, they are executed sequentially.
  • the image sensor 4 has a transparent layer 4T that covers the light incident surface of the photodiode 4p.
  • the subject 2 is located on the transparent layer 4T while being covered with the encapsulant 6.
  • an interval between the imaging surface 4A and the subject 2 is schematically indicated by an arrow d1.
  • FIG. 11B schematically shows a relationship between the illumination light transmitted through the subject 2 and the photodiode 4p in a module in which the subject 2 is arranged at a position farther from the imaging surface 4A of the image sensor 4.
  • the interval d2 between the imaging surface 4A and the subject 2 is larger than the interval d1 in the example shown in FIG. 11A.
  • the interval between the imaging surface 4A and the subject 2 may vary among a plurality of modules. Such a variation is considered to be caused, for example, by the inclusion of the encapsulant 6 (see FIG. 9) between the imaging surface 4A and the subject 2 when the module is manufactured.
  • the distance between the imaging surface 4A and the subject 2 can have a variation in the range of about 2 to 8 ⁇ m.
  • the light transmitted through the region B1 is not incident on any photodiode 4p of the image sensor 4.
  • a sub-image having information on the area B1 in the subject 2 cannot be acquired.
  • a sub-image for forming a high-resolution image cannot be obtained by irradiation from the irradiation direction indicated by the arrow DRb. Therefore, a high resolution image cannot be formed.
  • FIG. 11C schematically shows another example of the relationship between the arrangement of the subject 2 and the irradiation direction.
  • the interval d3 between the imaging surface 4A and the subject 2 is larger than the interval d1 in the example shown in FIG. 11A and smaller than the interval d2 in the example shown in FIG. 11B.
  • the subject 2 is irradiated from the irradiation direction indicated by the arrow DRb, the light transmitted through a part of the region B1 and the light transmitted through a region different from the region B1 are incident on the photodiode 4p. To do. In the sub-image obtained at this time, a part of the information on the area B1 is missing.
  • a plurality of irradiation directions set for a certain module are not necessarily appropriate as irradiation directions for acquiring a plurality of sub-images in other modules.
  • a plurality of irradiation directions set for a certain module are directly applied to acquisition of a plurality of sub-images in another module, an appropriate high resolution image is obtained from the plurality of sub-images acquired according to the plurality of irradiation directions.
  • the present inventor has repeatedly studied in view of the above, and has found an image acquisition device (digitizer), an image forming system, and an image forming method capable of improving the practicality of a high resolution technology that realizes a resolution exceeding the intrinsic resolution of an image sensor. It was.
  • An image acquisition apparatus that is one aspect of the present disclosure includes an illumination system and an irradiation direction determination unit.
  • the illumination system sequentially irradiates a subject from a plurality of different irradiation directions with respect to the subject on a module in which the subject and the image sensor are integrated so that illumination light transmitted through the subject enters the image sensor.
  • This module is configured to acquire a plurality of images corresponding to a plurality of different irradiation directions with the subject as a reference by the imaging element.
  • the irradiation direction determination unit determines a plurality of different irradiation directions based on a difference between the first preliminary image and the second preliminary image before acquiring a plurality of images by the imaging device according to a plurality of different irradiation directions. To decide.
  • the first preliminary image is an image acquired by the imaging device when the subject is irradiated with the first illumination light from the first irradiation direction.
  • the second preliminary image is an image acquired by the imaging device when the subject is irradiated with the second illumination light from the second irradiation direction.
  • the irradiation direction determination unit includes a plurality of irradiation directions based on the first irradiation direction and the second irradiation direction selected so that the difference between the first preliminary image and the second preliminary image is smaller than a predetermined level. Determine different irradiation directions.
  • the illumination system changes at least one of the first irradiation direction and the second irradiation direction.
  • the imaging device acquires one or more first preliminary images and one or more second preliminary images according to a change in at least one of the first irradiation direction and the second irradiation direction.
  • the irradiation direction determining unit is configured such that a difference between the first preliminary image and the second preliminary image is smaller than a predetermined level from one or more different image sets each including a first preliminary image and a second preliminary image.
  • An image set is determined, and a plurality of different irradiation directions are determined based on the first irradiation direction and the second irradiation direction corresponding to the image set.
  • the illumination system changes at least one of the first irradiation direction and the second irradiation direction.
  • the imaging device acquires one or more first preliminary images and one or more second preliminary images according to a change in at least one of the first irradiation direction and the second irradiation direction.
  • the irradiation direction determination unit minimizes a difference between the first preliminary image and the second preliminary image from a preset number of different image sets, each including a first preliminary image and a second preliminary image. Are determined, and a plurality of different irradiation directions are determined based on the first irradiation direction and the second irradiation direction corresponding to the image set.
  • the first irradiation direction and the second irradiation direction are symmetrical with respect to the subject.
  • the difference is an amount defined by the luminance of the pixel in the first preliminary image and the luminance of the pixel in the second preliminary image.
  • the irradiation direction determination unit compares the luminance of the plurality of pixels constituting the first preliminary image with the luminance of the plurality of pixels constituting the second preliminary image, thereby obtaining the second preliminary image and the second preliminary image. The difference between the preliminary image and the preliminary image is calculated.
  • the irradiation direction determination unit calculates a difference between the first preliminary image and the second preliminary image after correcting the luminance of the pixel in at least one of the first preliminary image and the second preliminary image.
  • the irradiation direction determination unit acquires position information indicating the height of the subject with respect to the image sensor, and determines a plurality of different irradiation directions according to the position information.
  • the illumination system includes a stage configured to be detachably loaded with a module, and a stage driving mechanism configured to change the attitude of the stage.
  • An image forming system is configured to combine each of a plurality of images by combining the image acquisition device according to any one of the above and a plurality of images acquired according to a plurality of different irradiation directions. And an image processing apparatus that forms a high-resolution image of a subject with higher resolution.
  • An image forming method includes a step of acquiring a first preliminary image of a subject, a step of acquiring a second preliminary image of the subject, and a plurality of different irradiation directions based on the subject.
  • the step of acquiring the first preliminary image by irradiating the module in which the subject and the image sensor are integrated with the first illumination light from the first irradiation direction so that the illumination light transmitted through the subject enters the image sensor.
  • a first preliminary image is acquired.
  • the second preliminary image is acquired by irradiating the module with the second illumination light from the second irradiation direction.
  • a plurality of different irradiation directions are determined based on the difference between the first preliminary image and the second preliminary image.
  • a plurality of images corresponding to a plurality of different irradiation directions are acquired by sequentially irradiating the subject with illumination light from the plurality of different irradiation directions. .
  • a high-resolution image of the subject having a higher resolution than each of the plurality of images is formed by combining the plurality of images.
  • the step of acquiring the first preliminary image is executed a plurality of times while changing the first irradiation direction.
  • the step of acquiring the second preliminary image is executed a plurality of times while changing the second irradiation direction.
  • the first irradiation direction and the second irradiation direction are symmetrical with respect to the subject.
  • the step of determining a plurality of different irradiation directions based on the first irradiation direction and the second irradiation direction such that a difference between the first preliminary image and the second preliminary image is smaller than a predetermined level.
  • a plurality of different irradiation directions are determined.
  • a plurality of the irradiation directions are determined based on the first irradiation direction and the second irradiation direction that minimize a difference between the first preliminary image and the second preliminary image.
  • Different illumination directions are determined.
  • the difference is an amount defined by the luminance of the pixel in the first preliminary image and the luminance of the pixel in the second preliminary image.
  • the step of determining a plurality of different irradiation directions includes a step of comparing the luminances of the plurality of pixels constituting the first preliminary image with the luminances of the plurality of pixels constituting the second preliminary image.
  • the image forming method includes a step of correcting the luminance of the pixels in the second preliminary image between the step of obtaining the second preliminary image and the step of determining a plurality of different irradiation directions.
  • FIG. 12 illustrates an outline of an example of a configuration of an image acquisition device according to an embodiment of the present disclosure.
  • the illumination system 30 is configured such that the light source 31 that generates the illumination light, the stage 32 configured to be detachably loaded with the module 10, and the posture of the stage 32 can be changed.
  • the stage drive mechanism 33 is included.
  • FIG. 12 schematically shows a state where the module 10 is loaded on the stage 32. However, illustration of the encapsulant 6 and the transparent plate 8 in the module 10 is omitted.
  • the module 10 is not an essential component for the image acquisition apparatus 100a.
  • the module 10 has an arrangement in which the illumination light transmitted through the subject 2 is incident on the image sensor 7 while being connected to the stage 32.
  • the illumination system 30 changes the irradiation direction with the subject 2 as a reference, for example, by changing the posture of the stage 32.
  • the change in “attitude” in the present specification broadly includes a change in inclination with respect to a reference plane, a change in rotation angle with respect to a reference orientation, a change in position with respect to a reference point, and the like.
  • the subject 2 is irradiated with illumination light generated by the light source 31 sequentially from a plurality of different irradiation directions with the subject 2 as a reference. Details of the configuration and operation of the illumination system 30 will be described later.
  • a plurality of different images (sub-images) according to a plurality of different irradiation directions are acquired by the image sensor 7.
  • a high-resolution image can be formed using the obtained plurality of images.
  • the irradiation direction determination unit 40a determines a plurality of different irradiation directions when a plurality of sub-images are acquired by the image sensor 7.
  • the acquisition of the sub-image is executed under a plurality of different irradiation directions determined by the irradiation direction determination unit.
  • the sub-images in the embodiment of the present disclosure are a plurality of different images corresponding to a plurality of different irradiation directions determined by the irradiation direction determination unit.
  • the irradiation direction determination unit 40a determines a plurality of different irradiation directions when acquiring a plurality of sub-images based on the difference between the first preliminary image and the second preliminary image. A specific example of the configuration and operation of the irradiation direction determination unit 40a will be described later.
  • the image acquisition device 100a includes a main body 110 including a light source 31 and a stage 32, and a lid 120 that is connected to the main body 110 so as to be openable and closable. By closing the lid 120, a dark room can be formed inside the image acquisition device 100a (see FIG. 13B).
  • a socket 130 for holding the module 10 is connected on the stage 32.
  • the socket 130 may be fixed to the stage 32, or may be configured to be detachable from the stage 32.
  • a configuration in which the socket 130 is configured to be detachable from the stage 32 is illustrated.
  • the socket 130 includes, for example, a lower base material 132 in which the module 10 is detachable and an upper base material 134 in which the opening Ap is formed.
  • the socket 130 holds the module 10 by sandwiching the module 10 between the lower base material 132 and the upper base material 134.
  • the lower base member 132 may have an electrical connection portion having an electrical contact for electrical connection with the image sensor 7 of the module 10.
  • the module 10 is placed on the lower base material 132 so that the imaging surface of the imaging device 7 faces the light source 31.
  • the electrical contact of the electrical connection portion and the back electrode 5B (see FIGS. 8A and 8B) of the imaging device 7 come into contact with each other, so that the imaging device 7 of the module 10 and the electrical connection portion of the lower substrate 132 are connected. Electrically connected.
  • FIG. 13C shows an example of a method for loading the socket 130 into the stage 32 of the image acquisition apparatus 100a.
  • the socket 130 includes an electrode 136 that protrudes from the bottom surface. This electrode 136 may be part of the electrical connection of the lower substrate 132.
  • the stage 32 of the image acquisition device 100a has a mounting portion 34 provided with a jack 36.
  • the socket 130 holding the module 10 is loaded on the stage 32 so that the electrode 136 of the socket 130 is inserted into the jack 36. Thereby, the electrical connection between the image sensor 7 in the module 10 held in the socket 130 and the image acquisition device 100a is established.
  • the stage 32 may have a circuit that receives the output of the image sensor 4 in a state in which the socket 130 that holds the module 10 is loaded.
  • the image acquisition device 100a acquires information (image signal or image data) indicating an image of the subject 2 with the electrical connection unit included in the socket 130 as an intermediary.
  • the same number of sockets 130 as the modules 10 are prepared, and the imaging target is changed by replacing the sockets 130 holding the modules 10. Also good.
  • the imaging target may be changed by replacing the module 10 with the single socket 130 attached to the stage 32.
  • the bottom surface of the socket 130 and the top surface of the attachment portion 34 can be brought into close contact with each other.
  • the arrangement of the socket 130 with respect to the stage 32 is fixed. Therefore, the arrangement of the stage 32 and the module 10 held in the socket 130 can be kept constant before and after the change in the posture of the stage 32.
  • the main surface of the transparent plate 8 of the module 10 and the stage 32 are substantially parallel.
  • FIG. 14A shows an example of a method of changing the irradiation direction.
  • the illumination light CL emitted from the light source 31 is irradiated to the module 10 held in the socket 130.
  • the illumination light CL is incident on the subject of the module 10 through the opening Ap provided in the socket 130.
  • the light transmitted through the subject enters the imaging surface of the imaging device 7 of the module 10.
  • the light emitted from the light source 31 is typically collimated light. However, when the light incident on the subject can be regarded as substantially parallel light, the light emitted from the light source 31 may not be collimated light.
  • the light source 31 includes, for example, an LED chip.
  • the light source 31 may include a plurality of LED chips each having a peak in a different wavelength band.
  • the light source 31 may include an LED chip that emits blue light, an LED chip that emits red light, and an LED chip that emits green light.
  • a plurality of light emitting elements are arranged close to each other (for example, about 100 ⁇ m), these can be regarded as point light sources.
  • a plurality of sub-images for each color can be acquired.
  • a set of blue sub-images, a set of red sub-images, and a set of green sub-images may be obtained.
  • a high-resolution color image can be formed using the acquired set of sub-images. For example, in a pathological diagnosis scene, more useful information regarding the presence or absence of a lesion can be obtained by using a color high-resolution image.
  • illumination lights of different colors may be obtained in a time sequential manner.
  • an image sensor for color imaging may be used as the image sensor 4.
  • a configuration without a color filter is more advantageous.
  • the light source 31 is not limited to an LED, and may be an incandescent bulb, a laser element, a fiber laser, a discharge tube, or the like.
  • the light emitted from the light source 31 is not limited to visible light, and may be ultraviolet light, infrared light, or the like.
  • the number and arrangement of the light emitting elements included in the light source 31 can be arbitrarily set.
  • the image acquisition apparatus 100a has a stage drive mechanism 33.
  • the stage drive mechanism 33 includes a gonio mechanism, a rotation mechanism, and the like, and changes the tilt angle of the stage 32 with respect to the main body 110 and / or a rotation angle with respect to an axis passing through the center of the stage 32.
  • the stage drive mechanism 33 may include a slide mechanism that can translate the stage 32 in a reference plane (typically a horizontal plane).
  • the posture of the stage 32 can be changed by operating the stage drive mechanism 33.
  • the posture of the module 10 can be changed by changing the posture of the stage 32.
  • the incident direction of the illumination light when the stage 32 is not inclined with respect to the reference plane is the normal direction of the imaging surface of the image sensor.
  • the relationship (for example, parallel) between the inclination of the stage 32 with respect to the reference plane and the inclination of the module 10 with respect to the reference plane (which may be referred to as the inclination of the transparent plate 8) is the change in the attitude of the stage 32. It is kept constant before and after. Therefore, as shown in FIG.
  • a broken line N indicates a normal line of the imaging surface of the image sensor.
  • the irradiation direction with respect to the subject 2 is, for example, an angle (normal angle ⁇ shown in FIG. 14B) formed by the normal N of the imaging surface of the image sensor and the incident light to the subject 2, and a reference set on the imaging surface. It can be expressed by a set of angles (azimuth angles) formed by the azimuth and the projection of incident light onto the imaging surface.
  • the irradiation direction may be changed by moving the light source 31 along the direction connecting the light source 31 and the subject 2.
  • the irradiation direction may be changed by combining the change in the posture of the stage 32 and the movement of the light source 31.
  • FIG. 15 shows an outline of an exemplary image forming method according to an embodiment of the present disclosure.
  • the image forming method illustrated in FIG. 15 generally includes a step of acquiring a first preliminary image (S2), a step of acquiring a second preliminary image (S4), a first preliminary image, and a second preliminary image.
  • the module in which the subject and the image sensor are integrated is an image of a subject acquired by irradiation from two irradiation directions.
  • the acquisition of the first preliminary image can be executed a plurality of times while changing the first irradiation direction.
  • the acquisition of the second preliminary image can also be executed a plurality of times by changing the second irradiation direction.
  • the first irradiation direction is not limited to a single direction, and may include a plurality of directions. Therefore, the number of first preliminary images is not limited to one.
  • the second irradiation direction is not limited to a single direction and may include a plurality of directions.
  • the number of second preliminary images is not limited to one.
  • the order of obtaining the first preliminary image and the second preliminary image is not limited to the order illustrated in FIG.
  • the “difference” between the first preliminary image and the second preliminary image is an image set composed of a certain first preliminary image and a single second preliminary image. Includes a wide range of values indicating the similarity between two images calculated from the first preliminary image and the second preliminary image.
  • an image block including a plurality of pixels for each of the first preliminary image and the second preliminary image constituting an image set.
  • a “difference” between the first preliminary image and the second preliminary image a sum of absolute values of differences in luminance of pixels between them (Sum of Absolute Difference) or a sum of squares of differences in luminance of pixels (Sum of) Squared difference may be used.
  • Normalized Cross-Correlation, Zero-means used for template matching Normalized Cross-Correlation etc. are also “difference” between the first preliminary image and the second preliminary image. Is available as
  • the plurality of irradiation directions determined based on the difference between the first preliminary image and the second preliminary image may be irradiation directions according to the height of the subject with respect to the image sensor.
  • the height of the subject relative to the image sensor means the distance from the center to the imaging surface in the thickness direction of the subject. In the embodiment of the present disclosure, it is sufficient if an approximate guide for the height of the subject with respect to the image sensor can be determined based on the difference between the first preliminary image and the second preliminary image.
  • the arrangement of the imaging elements at the time of acquiring the subject image is not limited to an arrangement in which the imaging surface is horizontal. Therefore, “height” in the present specification means a length measured along the normal direction of the imaging surface of the image sensor, and is not limited to the length measured along the vertical direction.
  • a plurality of images are combined to form a high-resolution image of a subject having a higher resolution than each of the plurality of images.
  • the principle described with reference to FIGS. 1A to 6 can be applied to the formation of a high resolution image. According to the embodiment of the present disclosure, it is possible to reliably acquire a sub-image that can be used to form a high-resolution image. Note that the above-described steps do not have to be executed continuously.
  • preliminary imaging is performed prior to acquisition of a plurality of sub-images.
  • first preliminary images and one or more second preliminary images are acquired.
  • the first preliminary image is an image acquired by the imaging device when illuminated with illumination light from the first illumination direction.
  • the second preliminary image is an image acquired by the imaging device when illuminated with illumination light from the second illumination direction.
  • FIG. 16A schematically shows an example of the relationship between the illumination light irradiation direction and the area of the subject 2 through which the illumination light is transmitted.
  • the two irradiation directions of the first irradiation direction indicated by the solid line arrow DR1 and the second irradiation direction indicated by the solid line arrow DR2 are shown together. Note that this is only for convenience of explanation, and irradiation from the first irradiation direction and irradiation from the second irradiation direction are not performed simultaneously. In other drawings, a plurality of irradiation directions may be shown in one drawing.
  • the area A1 of the subject 2 is located immediately above the photodiode 4pa, and the area A2 of the subject 2 is located immediately above the photodiode 4pb adjacent to the photodiode 4pa.
  • attention is paid to a region B1 in the subject 2 between the region A1 and the region A2.
  • the light transmitted through the region B1 of the subject 2 is incident on the photodiode 4pa. That is, among the luminances (pixel values) of a plurality of pixels included in the first preliminary image acquired under irradiation from the first irradiation direction DR1, the luminance of the pixel corresponding to the photodiode 4pa is that of the subject 2.
  • the amount of light transmitted through the region B1 is shown.
  • the luminance of the pixel corresponding to the photodiode 4pb among the luminances of the plurality of pixels included in the second preliminary image acquired under the irradiation from the second irradiation direction DR2 is the photodiode 4pa.
  • the brightness of the corresponding pixel is different.
  • the second preliminary image is acquired again by changing the second irradiation direction (see FIG. 16B).
  • the irradiation angle ⁇ 22 shown in FIG. 16B is smaller than the irradiation angle ⁇ 21 shown in FIG. 16A.
  • the luminance of the pixel corresponding to the photodiode 4pb is the same as the luminance of the plurality of pixels included in the first preliminary image.
  • the luminance of the pixel corresponding to the diode 4pa is almost the same. That is, light that has passed through a certain region of the subject 2 under irradiation from the first irradiation direction is incident on a certain photodiode (photodiode 4pa in this case) and is also irradiated from the second irradiation direction.
  • a certain photodiode photodiode 4pa in this case
  • the difference between the pixel values obtained by these photodiodes is minimized. .
  • 16C and 16D show the first preliminary image PS1 acquired under the irradiation from the first irradiation direction DR1 shown in FIG. 16B and the irradiation from the second irradiation direction DR2 shown in FIG. 16B, respectively.
  • the acquired 2nd preliminary image PS2 is shown typically.
  • a pixel Ppa in FIG. 16C and a pixel Ppb in FIG. 16D indicate pixels corresponding to the photodiode 4pa and the photodiode 4pb, respectively.
  • the luminance of the pixel Ppa corresponding to the photodiode 4pa and the luminance of the pixel Ppb corresponding to the photodiode 4pb are substantially the same.
  • the positions of the pixel Ppa and the pixel Ppb having information on the region B1 are shifted by one pixel between the first preliminary image PS1 and the second preliminary image PS2.
  • the luminance distribution of the first preliminary image PS1 and the luminance distribution of the image obtained by shifting the second preliminary image PS2 by one pixel along the horizontal direction in the figure are: Almost matches.
  • “luminance distribution” means a spatial arrangement of pixel values indicating the brightness of each pixel.
  • FIG. 16E schematically shows a second preliminary image PS22 acquired under irradiation from the second irradiation direction DR2 shown in FIG. 16A.
  • a pixel Ppb in FIG. 16E indicates a pixel corresponding to the photodiode 4pb.
  • FIG. 16E and FIG. 16C light incident on the photodiode 4pa under irradiation from the first irradiation direction and incident on the photodiode 4pb under irradiation from the second irradiation direction.
  • the luminance of the pixel Ppa corresponding to the photodiode 4pa and the luminance of the pixel Ppb corresponding to the photodiode 4pb are not substantially the same. .
  • FIG. 17A schematically shows another example of the relationship between the illumination light irradiation direction and the region of the subject 2 through which the illumination light is transmitted.
  • 17A shows a first irradiation direction DR1 shown in FIG. 16B and a first irradiation direction shown in FIG. 16B using a module in which the subject 2 is located farther from the imaging surface 4A of the image sensor 4 than the examples shown in FIGS. 16A and 16B.
  • a case is shown in which irradiation is performed from two irradiation directions DR2.
  • the photodiode 4pa when irradiated from the first irradiation direction DR1, light that has passed through a region different from the region B1 of the subject 2 is incident on the photodiode 4pa. Further, when irradiated from the second irradiation direction DR2, the photodiode 4pb adjacent to the photodiode 4pa is different from the region through which the illumination light from the first irradiation direction DR1 of the subject 2 passes, and the region of the subject 2 Light transmitted through a region different from B1 is incident.
  • the luminance of the pixel corresponding to the photodiode 4pa is different from the luminance of the pixel corresponding to the photodiode 4pb.
  • the combination of the first irradiation direction and the second irradiation direction that minimizes the difference between the pixel values obtained by two adjacent photodiodes can be different for each module.
  • FIG. 17B shows a first irradiation direction DR1 and a second irradiation direction DR2 in which light transmitted through the region B1 of the subject 2 shown in FIG. 17A is incident on the photodiode 4pa and the photodiode 4pb, respectively.
  • the irradiation angle ⁇ 23 shown in FIG. 17B is smaller than the irradiation angle ⁇ 22 shown in FIG. 17A.
  • the illumination light from the first irradiation direction and the illumination light from the second irradiation direction are the same in the subject 2 (
  • the light can enter the region B1).
  • the light transmitted through the same region in the subject 2 can be incident on the photodiodes adjacent to each other (here, the photodiode 4pa and the photodiode 4pb). At this time, the difference between the pixel values obtained by the photodiodes adjacent to each other is minimal.
  • the first irradiation direction and the second preliminary image are captured while changing the irradiation direction, and the first irradiation direction in which the difference between the pixel values obtained by adjacent photodiodes is minimized.
  • the relative approximate arrangement between the region through which the light beam passes and the photodiode through which the transmitted light beam enters in the subject 2 is acquired. It is possible to know before. If the relative approximate arrangement between the region through which light passes through the subject 2 and the photodiode through which transmitted light enters is known, a plurality of irradiation directions suitable for acquisition of a plurality of sub-images, for example, geometrically calculated. Is possible.
  • a plurality of irradiation directions suitable for acquiring a plurality of sub-images before acquiring the plurality of sub-images. Further, if the above-described method is applied for each module, a plurality of irradiation directions suitable for acquiring a plurality of sub-images even when there is a variation in the height of the subject with respect to the image sensor between the plurality of modules. Can be calculated for each module. Thereby, more reliable formation of a high resolution image can be realized.
  • the combination of the first irradiation direction and the second irradiation direction that minimizes the difference between the pixel values obtained by the adjacent photodiodes can vary depending on the height of the subject relative to the element.
  • Position information indicating the interval or position information indicating the height of the subject with respect to the image sensor can also be obtained. Using such position information, an appropriate irradiation direction according to the height of the subject may be determined for each module.
  • FIG. 18 shows an example of an image forming system according to an embodiment of the present disclosure.
  • An image forming system 500 illustrated in FIG. 18 includes an image acquisition device 100a and an image processing device 150.
  • illustration of the illumination system 30 is omitted.
  • the image processing apparatus 150 can be realized by a general-purpose or dedicated computer (or a general-purpose or dedicated processor).
  • the image processing device 150 may be integrated with the image acquisition device 100a, or may be a separate device different from the image acquisition device 100a.
  • the image processing apparatus 150 does not have to be disposed at the same place as the image acquisition apparatus 100a.
  • the image processing apparatus 150 may be arranged at a location different from the image acquisition apparatus 100a and connected via a network such as the Internet.
  • the image processing apparatus 150 includes a sub image acquisition unit 152 and a high resolution image forming unit 154.
  • the sub-image data acquired by the image acquisition device 100 a is sent to the image processing device 150.
  • the sub image acquisition unit 152 of the image processing apparatus 150 acquires sub image data.
  • the high-resolution image forming unit 154 of the image processing apparatus 150 synthesizes a plurality of sub-images using the principle described with reference to FIGS. 1A to 6, and the high-resolution of the subject having a higher resolution than each of the sub-images. Form an image.
  • the image processing apparatus 150 may have a function as a control apparatus that supplies various commands for controlling the operation of each unit of the image acquisition apparatus 100a.
  • a configuration in which the image processing device 150 includes a control device 156 that supplies various commands for controlling the operation of each unit of the image acquisition device 100a will be described as an example.
  • a system having a configuration in which the image processing device 150 and the control device 156 are separate devices is also possible.
  • the control device 156 and the image processing device 150 may be connected via a network such as the Internet.
  • the image processing device 150 installed at a location different from the control device 156 may receive sub-image data acquired by the image acquisition device 150a and execute high-resolution image formation.
  • the image acquisition device 100 a includes an irradiation direction determination unit 40 a and a memory 50.
  • the whole or a part of the irradiation direction determination unit 40a includes a digital signal processor (DSP), an ASIC (application specific integrated circuit), an ASSP (Application Specific Standard Produce), an FPGA (Field Programmable Gate Array), and a microcomputer. Or the like.
  • the irradiation direction determination unit 40a includes a first preliminary image acquisition unit 102, a second preliminary image acquisition unit 104, a comparison target pixel value calculation unit 106a, a difference calculation unit 108, a determination unit 110, and an irradiation direction calculation unit. 112 is included. Each of these may be a separate processor, or two or more of these may be included in one processor.
  • the memory 50 is a RAM.
  • the memory 50 is not limited to the RAM, and a known storage device can be used.
  • the irradiation direction determination unit 40a may have a memory 50 in a part thereof.
  • the memory 50 stores, for example, information indicating the first irradiation direction DR1 and the second irradiation direction DR2 (see, for example, FIG. 16A). Table 1 below shows an example of information indicating the first irradiation direction DR1 and information indicating the second irradiation direction DR2.
  • the value of the first irradiation angle indicating the first irradiation direction DR1 and the value of the second irradiation angle indicating the second irradiation direction DR2 are stored in the memory 50.
  • the values of the first irradiation angle and the second irradiation angle shown in Table 1 correspond to the magnitude of the angle ⁇ shown in FIG. 14B, for example.
  • the ID shown in the first column is an index for identifying a set of the first irradiation angle and the second irradiation angle.
  • the number of sets of the first irradiation angle and the second irradiation angle, the value of the first irradiation angle, the value of the second irradiation angle, and the like can be arbitrarily set.
  • the first irradiation angle value and the second irradiation angle value are set in 5 ° steps.
  • the value of the second irradiation angle for the same ID is a value obtained by multiplying the value of the first irradiation angle by -1.
  • FIG. 19 shows an example of the operation in the image forming system 500.
  • step S12 the first irradiation angle value and the second irradiation corresponding to the IDs not yet selected in the list of the first and second irradiation angles stored in the memory 50. It is determined whether there is an angle value.
  • the process proceeds to step S14.
  • the first preliminary image acquisition unit 102 or the second preliminary image acquisition unit 104 determines whether or not there is a first irradiation angle value and a second irradiation angle value corresponding to an ID that has not yet been selected. Can be done.
  • step S14 information indicating the first irradiation direction DR1 and information indicating the second irradiation direction DR2 are read from the memory 50 by the first preliminary image acquisition unit 102 and the second preliminary image acquisition unit 104, respectively.
  • ⁇ 5 ° is read as the value of the first irradiation angle
  • 5 ° is read as the value of the second irradiation angle.
  • Table 1 in this example, the first irradiation direction DR1 and the second irradiation direction DR2 are symmetric with respect to the subject.
  • step S ⁇ b> 16 the first preliminary image is acquired based on the control by the first preliminary image acquisition unit 102.
  • the acquisition of the first preliminary image is executed in a state where the irradiation direction with respect to the subject is ⁇ 5 °.
  • the subject is irradiated with illumination light.
  • Information indicating the first preliminary image acquired at this time is temporarily stored in the memory 50.
  • step S18 a second preliminary image is acquired based on control by the second preliminary image acquisition unit 104.
  • the inclination of the stage 32 is changed so that the irradiation direction with respect to the subject becomes 5 °.
  • imaging of the subject is executed.
  • Information indicating the acquired second preliminary image is temporarily stored in the memory 50.
  • step S20 the comparison target pixel value is acquired by the comparison target pixel value acquisition unit 106a.
  • the first irradiation direction and the second irradiation are such that light transmitted through a region between two regions located immediately above two photodiodes adjacent to each other enters these photodiodes. Search for directions. Therefore, when comparing the luminance of the pixels in the first preliminary image and the luminance of the pixels in the second preliminary image, the luminance of the pixels at the same position in these preliminary images is not compared, but at a certain position. The luminance of a certain pixel is compared with the luminance of a pixel shifted by one pixel from the position (see FIGS. 16C and 16D).
  • the comparison target pixel value acquisition unit 106a acquires the luminance of the pixel Ppb corresponding to the photodiode 4pb adjacent to the photodiode 4pa.
  • the difference calculation unit 108 calculates the difference between the first preliminary image and the second preliminary image. For example, as a difference between the first preliminary image and the second preliminary image, an absolute value of a difference between the luminance of the pixel in the first preliminary image and the luminance of the pixel in the second preliminary image is calculated.
  • the absolute value of the difference between the luminance of the pixel Ppa corresponding to the photodiode 4pa and the luminance of the pixel Ppb corresponding to the photodiode 4pb acquired by the comparison target pixel value acquisition unit 106a is calculated. An example will be described.
  • two or more pixels may be selected from each of the first preliminary image and the second preliminary image, and the luminance of the pixels may be compared.
  • the absolute value of the difference in luminance between pixels is calculated for each of a plurality of pixel groups each composed of one pixel in the first preliminary image and one pixel in the second preliminary image corresponding to the pixel. Then, the average value thereof may be used as the difference between the first preliminary image and the second preliminary image.
  • step S24 the determination unit 110 determines whether or not the difference calculated in step S22 is greater than or equal to a predetermined level.
  • the difference between the first preliminary image and the second preliminary image is smaller than a predetermined level set in advance, the light transmitted through the region B1 of the subject 2 under irradiation from the first irradiation direction It can be determined that light incident on the photodiode 4pa and transmitted through the region B1 of the subject 2 under irradiation from the second irradiation direction is incident on the photodiode 4pb.
  • the region through which the light beam passes and the transmitted light beam in the subject 2 It is possible to know a relative approximate arrangement with respect to the incident photodiode.
  • the level for determination can be set as appropriate.
  • the level for determination may be determined using a module whose height of the subject with respect to the image sensor is known. If a module whose subject height is known with respect to the image sensor is used, light transmitted through the region B1 of the subject 2 under irradiation from the first irradiation direction and under irradiation from the second irradiation direction. It is possible to determine the magnitude of the difference between the first preliminary image and the second preliminary image when the light transmitted through the region B1 of the subject 2 enters each of the adjacent photodiodes. You may utilize the magnitude
  • step S26 If it is determined that the difference between the first preliminary image and the second preliminary image is smaller than the predetermined level, the process proceeds to step S26. On the other hand, if it is determined that the difference between the first preliminary image and the second preliminary image is greater than or equal to a predetermined level, the process returns to step S12.
  • step S12 When the process returns to step S12, the first irradiation angle value and the second irradiation angle value corresponding to the IDs not yet selected in the list of the first and second irradiation angles stored in the memory 50 are displayed. The determination of whether or not there is performed again.
  • the process proceeds to step S14.
  • step S14 information indicating the first irradiation direction DR1 and information indicating the second irradiation direction DR2 are read from the memory 50, respectively.
  • the value of the first irradiation angle and the value of the second irradiation angle whose ID is 2 are read out.
  • step S26 based on the first irradiation direction and the second irradiation direction such that the difference between the first preliminary image and the second preliminary image is smaller than a predetermined level, the irradiation direction calculation unit 112 performs sub-image conversion.
  • a plurality of irradiation directions used for acquisition are calculated.
  • Information indicating a plurality of calculated irradiation directions is stored in the memory 50 and used in a sub-image acquisition step described later.
  • the plurality of irradiation directions can be calculated using position information indicating the height of the subject with respect to the image sensor, the arrangement pitch of the photodiodes, and the like. Thereby, a plurality of irradiation directions are determined.
  • the state in which a plurality of irradiation directions are determined means a state in which, for example, information indicating a plurality of irradiation directions (for example, values of a plurality of irradiation angles) is held in a memory or the like, so that a plurality of irradiation directions can be specified.
  • the plurality of irradiation directions used for acquiring the sub image are limited to the irradiation directions selected from the first irradiation direction used for acquiring the first preliminary image and the second irradiation direction used for acquiring the second preliminary image. Instead, it may be in a different direction.
  • step S28 a plurality of sub-images corresponding to the plurality of irradiation directions calculated by the irradiation direction calculation unit 112 are acquired (see FIGS. 2A to 5B).
  • step S3 At 0, a high-resolution image of the subject is formed using the plurality of sub-images acquired (see FIG. 6).
  • the embodiment of the present disclosure it is possible to determine a plurality of irradiation directions suitable for acquisition of sub-images according to individual modules. By obtaining a sub-image under an appropriate irradiation direction corresponding to each module, it is possible to realize formation of an appropriate high-resolution image. Therefore, according to the embodiment of the present disclosure, the practicality of the high resolution technology that realizes a resolution exceeding the intrinsic resolution of the image sensor is improved.
  • the first irradiation direction and the second irradiation direction are found such that the difference between the first preliminary image and the second preliminary image is smaller than a predetermined level
  • the first irradiation direction and The search for the second irradiation direction is terminated.
  • a plurality of sets of first and second irradiation directions are determined such that the difference between the first preliminary image and the second preliminary image is smaller than a predetermined level, and the plurality of first and second irradiations are determined.
  • a plurality of different irradiation directions may be determined using the direction.
  • FIG. 20 illustrates another example of an image forming system according to an embodiment of the present disclosure.
  • the difference between the irradiation direction determination unit 40b and the irradiation direction determination unit 40a (see FIG. 18) of the image acquisition apparatus 100b shown in FIG. 20 is that the irradiation direction determination unit 40b replaces the comparison target pixel value calculation unit 106a.
  • the brightness normalization unit 105b and the comparison target image generation unit 106b are provided.
  • FIG. 21 shows another example of the operation in the image forming system 500.
  • a comparison is made between the luminance distribution of the first preliminary image and the luminance distribution of the second preliminary image.
  • a plurality of different irradiation directions used for acquiring the sub-image are determined. .
  • the number of acquisitions of the first preliminary image is one.
  • the acquisition of the second preliminary image is executed a plurality of times while changing the second irradiation direction. Therefore, here, the memory 50 stores information indicating the second irradiation direction DR2.
  • Table 2 below shows the second irradiation direction D An example of information indicating R2 is shown.
  • step S16 a first preliminary image is acquired.
  • the acquisition of the first preliminary image is executed in a state where the irradiation direction with respect to the subject is 0 °.
  • Information indicating the first preliminary image acquired at this time is temporarily stored in the memory 50.
  • step S34 the second preliminary image acquisition unit 104 reads out information indicating the second irradiation direction DR2 from the memory 50.
  • 5 ° is read as the value of the second irradiation angle.
  • step S18 a second preliminary image is acquired.
  • the acquisition of the second preliminary image is executed in a state where the irradiation direction with respect to the subject is 5 °.
  • Information indicating the acquired second preliminary image is temporarily stored in the memory 50.
  • luminance normalization means that the sum of the luminances of a plurality of pixels included in an image to be normalized is equal to the sum of the luminances of a plurality of pixels included in a reference image. Means a process of multiplying the luminance of each pixel by a constant.
  • the first irradiation direction DR1 is parallel to the normal direction of the imaging surface of the image sensor
  • the second irradiation direction DR2 is the imaging surface of the image sensor. It is inclined with respect to the normal direction. That is, the distance traveled until the light transmitted through the subject reaches the imaging surface is larger when the light is irradiated from the second irradiation direction DR2 than when the light is irradiated from the first irradiation direction DR1.
  • the second preliminary image as a whole may be darker than the first preliminary image due to the influence of absorption, scattering, etc. in the module. If the difference between the overall brightness of the first preliminary image and the overall brightness of the second preliminary image is large, the difference between the first preliminary image and the second preliminary image is determined. It may not be possible to evaluate correctly.
  • luminance normalization is performed on the second preliminary image.
  • the luminance of each pixel in the second preliminary image can be corrected to an appropriate size. Therefore, a more accurate evaluation of the magnitude of the difference between the first preliminary image and the second preliminary image becomes possible.
  • step S38 the comparison target image generation unit 106b generates an image obtained by shifting the second preliminary image by a predetermined number of pixels (hereinafter, simply referred to as “shifted image”).
  • shifted image an image obtained by shifting the second preliminary image after luminance normalization by one pixel is generated.
  • FIG. 22 schematically illustrates an example of the first irradiation direction DR1 and the second irradiation direction DR2 in the second specific example.
  • first irradiation direction DR1 when irradiated from the first irradiation direction DR1, light transmitted through the region A1 in the subject 2 immediately above the photodiode 4pa is incident on the photodiode 4pa.
  • second irradiation direction DR2 when irradiated from the second irradiation direction DR2, the light transmitted through the region A1 in the subject 2 is incident on the photodiode 4pb adjacent to the photodiode 4pa.
  • the first preliminary image similar to the first preliminary image PS1 shown in FIG. 16C and the first preliminary image shown in FIG. 16D.
  • a second preliminary image similar to the two preliminary images PS2 is obtained.
  • the second irradiation direction DR2 in which the light transmitted through the region other than the region A1 in the subject 2 is incident on the photodiode 4pb the same as the second preliminary image PS22 shown in FIG. 16E.
  • a second preliminary image is obtained.
  • FIG. 23A schematically shows a shift image PS32 generated from the second preliminary image acquired under irradiation from the second irradiation direction DR2 shown in FIG.
  • FIG. 23B schematically shows a shift image PS42 generated from a second preliminary image acquired under irradiation from an irradiation direction different from the second irradiation direction DR2 shown in FIG.
  • FIG. 23A schematically shows a shift image PS32 generated from the second preliminary image acquired under irradiation from the second irradiation direction DR2 shown in FIG.
  • FIG. 23B schematically shows a shift image PS42 generated from a second preliminary image acquired under irradiation from an irradiation direction different from the second irradiation direction DR2 shown in FIG.
  • the luminance distribution of the first preliminary image and the luminance of the shift image generated from the second preliminary image is almost the same.
  • the luminance distribution of the shift image generated from the second preliminary image acquired under the other second irradiation direction is the first preliminary image. It is different from the luminance distribution. Therefore, light that has passed through a certain area of the subject 2 under irradiation from the first irradiation direction enters a certain photodiode, and that area of the subject 2 under irradiation from the second irradiation direction.
  • the transmitted light When the transmitted light is incident on the photodiode adjacent to the photodiode, it can be said that the difference between the first preliminary image and the second preliminary image is minimized. Therefore, as in the example described with reference to FIGS. 16A to 17B, the combination of the first irradiation direction and the second irradiation direction is such that the difference between the first preliminary image and the second preliminary image is minimized. As a result, it is possible to know the relative approximate arrangement between the region through which the light beam passes and the photodiode through which the transmitted light beam enters in the subject 2 before acquiring the sub-image.
  • step S22 the difference between the first preliminary image and the second preliminary image is calculated.
  • the absolute value of the difference between the luminance of the pixel in the first preliminary image and the luminance of the pixel in the shifted image generated from the second preliminary image is calculated for each pixel, and the sum of these absolute values is calculated as the first preliminary image.
  • the second preliminary image the variance obtained by calculating the square of the difference between the luminance of the pixel in the first preliminary image and the luminance of the pixel in the shifted image generated from the second preliminary image for each pixel and adding them together is It may be a difference between the first preliminary image and the second preliminary image.
  • step S24 it is determined whether or not the difference calculated in step S22 is greater than or equal to a predetermined level.
  • the difference between the first preliminary image and the second preliminary image is smaller than a predetermined level, as described with reference to FIGS. 22 to 23B, the subject 2 is irradiated under the irradiation from the first irradiation direction.
  • light transmitted through a certain region enters a certain photodiode, and light transmitted through that region of the subject 2 under irradiation from the second irradiation direction enters a photodiode adjacent to the photodiode. I can judge.
  • step S26 If it is determined that the difference between the first preliminary image and the second preliminary image is smaller than the predetermined level, the process proceeds to step S26.
  • the subsequent processing is the same as the processing described with reference to FIG.
  • the process returns to step S32. Thereafter, the above-described steps S34 to S24 are repeated until a combination of the first irradiation direction and the second irradiation direction is found such that the difference between the first preliminary image and the second preliminary image becomes smaller than a predetermined level. .
  • the first preliminary image is acquired once, and a comparison is made between one first preliminary image and second preliminary images acquired in accordance with a plurality of second irradiation directions. . Therefore, it is possible to shorten the processing time required to determine a plurality of irradiation directions as compared to a case where imaging is performed a plurality of times in both the first irradiation direction and the second irradiation direction.
  • the first preliminary image may be acquired after acquiring a plurality of second preliminary images.
  • the difference between the first preliminary image and the second preliminary image is calculated.
  • the target to be subjected to luminance normalization can be appropriately set according to the settings of the first irradiation direction and the second irradiation direction.
  • the luminance normalization may be performed on one or both of the first preliminary image and the second preliminary image.
  • the luminance normalization may be performed between acquisition of the luminance normalization target and determination of a plurality of different irradiation directions.
  • FIG. 24 illustrates still another example of an image forming system according to an embodiment of the present disclosure.
  • the difference between the irradiation direction determination unit 40c and the irradiation direction determination unit 40b (see FIG. 20) included in the image acquisition device 100c illustrated in FIG. 24 is that the irradiation direction determination unit 40c does not include the luminance normalization unit 105b.
  • it has a shift amount holding unit 107c connected to the comparison target image generation unit 106c.
  • the shift amount holding unit 107c can be realized by a known memory element.
  • the shift amount holding unit 107c may be a part of the memory 50.
  • the acquisition of the first preliminary image and the acquisition of the second preliminary image are performed once each.
  • Table 3 below shows an example of information indicating the first irradiation direction DR1 and information indicating the second irradiation direction DR2 stored in the memory 50.
  • the first irradiation direction DR1 and the second irradiation direction DR2 are symmetric with respect to the subject.
  • a shift image obtained by shifting one of the first preliminary image and the second preliminary image by one pixel is generated, and the shift image is compared with the other image to thereby obtain the first image.
  • the one preliminary image and the second preliminary image are compared.
  • the shift amount indicating how many pixels the acquired image is shifted is not limited to one. As will be described below, it is possible to generate a plurality of shift images having different shift amounts using either one of the first preliminary image and the second preliminary image and perform comparison between these and the other. Good.
  • FIG. 25 schematically illustrates an example of the first irradiation direction DR1 and the second irradiation direction DR2 in the third specific example.
  • first irradiation direction DR1 under irradiation from the first irradiation direction DR1, light that has passed through the region A1 located immediately above the photodiode 4pa in the subject 2 is adjacent to the left side of the photodiode 4pa. Incident on the diode 4pc.
  • the light transmitted through the region A1 in the subject 2 is incident on the photodiode 4pb adjacent to the right side of the photodiode 4pa.
  • the luminance distribution of the first preliminary image and the second preliminary image are shifted by two pixels along the horizontal direction of the drawing.
  • the luminance distribution of the obtained images is almost the same. That is, when the shift amount is set to a value other than 1, the difference between the first preliminary image and the second preliminary image may be minimized.
  • FIG. 26 shows still another example of the operation in the image forming system 500.
  • step S14 information indicating the first irradiation direction DR1 and information indicating the second irradiation direction DR2 are read from the memory 50, respectively.
  • ⁇ 30 ° is read as the value of the first irradiation angle
  • 30 ° is read as the value of the second irradiation angle.
  • step S16 a first preliminary image is acquired.
  • the acquisition of the first preliminary image is executed in a state where the irradiation direction with respect to the subject is ⁇ 30 °.
  • Information indicating the first preliminary image acquired at this time is temporarily stored in the memory 50.
  • step S18 a second preliminary image is acquired.
  • the acquisition of the second preliminary image is executed in a state where the irradiation direction with respect to the subject is 30 °.
  • Information indicating the acquired second preliminary image is temporarily stored in the memory 50.
  • step S40 the comparison target image generation unit 106c reads the shift amount from the shift amount holding unit 107c.
  • the initial value of the shift amount is set to 1.
  • step S38 the comparison target image generation unit 106c generates a shifted image obtained by shifting one of the first preliminary image and the second preliminary image by one pixel.
  • a shift image from the second preliminary image will be described.
  • step S22 the difference between the first preliminary image and the shift image is calculated.
  • step S24 it is determined whether or not the calculated difference is equal to or higher than a predetermined level. If it is determined that the difference between the first preliminary image and the shift image is smaller than the predetermined level, the process proceeds to step S26.
  • the processing after step S26 is the same as the processing described with reference to FIG.
  • step S42 the shift amount is updated (typically incremented) by the comparison target image generation unit 106c. For example, the shift amount is increased by 1, and the shift amount is set to 2.
  • step S38 a shifted image is generated by shifting the second preliminary image by two pixels.
  • step S22 a difference between the newly generated shift image and the first preliminary image is calculated.
  • step S24 it is determined whether or not the calculated difference is equal to or higher than a predetermined level. That is, in this example, the shift amount is changed and evaluation of the difference between the first preliminary image and the shift image is executed until a shift amount is found such that the difference between the first preliminary image and the shift image is minimized. Is done.
  • the number of shift amount updates can be set as appropriate. Further, the initial value of the shift amount is not limited to 1, and may be 0, for example.
  • the acquisition of the first preliminary image and the acquisition of the second preliminary image are both performed once. Therefore, it is possible to further shorten the processing time required for determining a plurality of irradiation directions.
  • the first preliminary image may be acquired after the second preliminary image is acquired.
  • FIG. 27 illustrates still another example of an image forming system according to an embodiment of the present disclosure.
  • 27 is different from the irradiation direction determination unit 40d and the irradiation direction determination unit 40b (see FIG. 20) in that the irradiation direction determination unit 40d replaces the determination unit 110 with a difference holding unit 111d.
  • the difference holding unit 111d can be realized by a known memory element.
  • the difference holding unit 111d may be a part of the memory 50.
  • the calculation of the difference is not executed any more.
  • a predetermined number of one or more first preliminary images and one or more second preliminary images are acquired, each of which includes a first preliminary image and a second preliminary image. Prepare different image sets. Then, a difference between the first preliminary image and the second preliminary image in each image set is calculated, and the difference is evaluated between these image sets.
  • an image set having the smallest difference is determined from a plurality of image sets. For the same reason as described with reference to FIGS.
  • the combination of the first and second irradiation directions so that the difference between the first preliminary image and the second preliminary image is as small as possible is It is considered suitable for calculation of a plurality of irradiation directions used for acquisition of a sub image. Therefore, in the example described below, after determining the image set having the smallest difference, a plurality of different irradiations used for acquiring the sub-image based on the first irradiation direction and the second irradiation direction corresponding to the image set. Determine the direction.
  • FIG. 28 shows still another example of the operation in the image forming system 500.
  • a list of information indicating the second irradiation direction DR2 is stored in the memory 50, similar to Table 2 described above.
  • a first preliminary image is acquired.
  • the irradiation direction based on the subject is, for example, 0 °.
  • Information indicating the first preliminary image acquired at this time is temporarily stored in the memory 50.
  • step S32 it is determined whether or not there is a value of the second irradiation angle that has not yet been selected in the list of second irradiation angles stored in the memory 50.
  • the process proceeds to step S34.
  • step S34 to step S38 shown in FIG. 28 is the same as the processing in the specific example 2 described with reference to FIG.
  • the difference between the first preliminary image and the second preliminary image is calculated in step S22.
  • the difference calculated here is composed of a first preliminary image acquired under a first irradiation angle of 0 ° and a second preliminary image acquired under a second irradiation angle of 5 °. Difference corresponding to the image set.
  • information indicating the calculated difference is temporarily stored in the difference holding unit 111d.
  • step S32 the process returns to step S32, and the processes of steps S34 to S22 are repeated. That is, for all of a plurality of image sets composed of a first preliminary image acquired at a first irradiation angle of 0 ° and a second preliminary image acquired by changing the second irradiation angle.
  • the difference between the one preliminary image and the second preliminary image is calculated.
  • the ID shown in the first column of Table 2 can be used as an index for identifying each image set.
  • Step S44 the irradiation direction calculation unit 112d determines the minimum difference from the difference data stored in the difference holding unit 111d. In other words, in step S44, the irradiation direction calculation unit 112d determines an image set that gives the smallest difference.
  • step S26 the irradiation direction calculation unit 112d calculates a plurality of different irradiation directions used for acquiring the sub-image based on the first irradiation direction and the second irradiation direction corresponding to the image set that gives the smallest difference. Is done.
  • the subsequent processing is the same as the processing described with reference to FIG. In this manner, an image set having the smallest difference between the first preliminary image and the second preliminary image is extracted from the plurality of image sets, and the first irradiation direction and the second irradiation corresponding to the image set are extracted. Based on the direction, a plurality of different irradiation directions used for acquiring the sub-image may be determined.
  • FIG. 29 illustrates still another example of an image forming system according to an embodiment of the present disclosure.
  • the difference between the irradiation direction determination unit 40e and the irradiation direction determination unit 40b (see FIG. 20) of the image acquisition apparatus 100e shown in FIG. 29 is that the irradiation direction determination unit 40e further includes a preliminary image holding unit 101e. It is a point.
  • the preliminary image holding unit 101e can be realized by a known memory element.
  • the preliminary image holding unit 101e may be a part of the memory 50.
  • the acquisition of the second preliminary image is executed by changing the second irradiation angle every time the difference between the first preliminary image and the second preliminary image is calculated.
  • each of the second preliminary images acquired according to each ID is used only once in calculating the difference between the first preliminary image and the second preliminary image.
  • the first preliminary image and / or the second preliminary image acquired in accordance with different irradiation angles may be used twice or more between different IDs.
  • FIG. 30 shows still another example of the operation in the image forming system 500.
  • step S12 the first irradiation angle value and the second irradiation corresponding to the IDs not yet selected in the list of the first and second irradiation angles stored in the memory 50. It is determined whether there is an angle value.
  • Table 4 shows an example of information indicating the first irradiation direction DR1 and information indicating the second irradiation direction DR2 stored in the memory 50.
  • some irradiation angle values are common among a plurality of IDs. Some of the values of the irradiation angle are common between the first irradiation angle and the second irradiation angle.
  • step S14 information indicating the first irradiation direction DR1 and information indicating the second irradiation direction DR2 are read from the memory 50, respectively.
  • 0 ° is read as the value of the first irradiation angle
  • 5 ° is read as the value of the second irradiation angle.
  • step S46 it is first determined whether data of a preliminary image (first preliminary image or second preliminary image) acquired under an irradiation angle of 0 ° is stored in the preliminary image holding unit 101e. This is determined by the preliminary image acquisition unit 102. At this point, neither the first preliminary image nor the second preliminary image has been acquired. Therefore, the process proceeds to step S16.
  • step S16 a first preliminary image is acquired under a first irradiation angle of 0 °. Information indicating the first preliminary image acquired at this time is temporarily stored in the preliminary image holding unit 101e.
  • the process of acquiring the first preliminary image in step S16 is skipped.
  • step S48 the second preliminary image acquisition unit 104 determines whether or not the preliminary image data acquired under the irradiation angle of 5 ° is stored in the preliminary image holding unit 101e. At this time, only the first preliminary image data acquired under the irradiation angle of 0 ° is stored in the preliminary image holding unit 101e. Therefore, the process proceeds to step S18.
  • step S18 a second preliminary image is acquired under a second irradiation angle of 5 °. Information indicating the second preliminary image acquired at this time is temporarily stored in the preliminary image holding unit 101e.
  • the process of acquiring the second preliminary image in step S18 is skipped.
  • step S38 a shift image is generated from the second preliminary image.
  • step S22 a difference between the first preliminary image and the second preliminary image is calculated. If necessary, luminance normalization is performed by the luminance normalization unit 105b prior to calculation of the difference.
  • the space between the first preliminary image and the second preliminary image is obtained. The difference is calculated.
  • step S24 it is determined whether or not the difference calculated in step S22 is greater than or equal to a predetermined level. If it is determined that the difference between the first preliminary image and the second preliminary image is smaller than the predetermined level, the process proceeds to step S26. On the other hand, if it is determined that the difference between the first preliminary image and the second preliminary image is greater than or equal to a predetermined level, the process returns to step S12.
  • step S12 it is determined again whether or not there is a first irradiation angle value and a second irradiation angle value corresponding to an ID that has not been selected.
  • the process proceeds to step S14.
  • step S14 the value of the first irradiation angle and the value of the second irradiation angle whose ID is 2 are read. That is, here, 5 ° is read as the value of the first irradiation angle, and 15 ° is read as the value of the second irradiation angle.
  • step S46 it is determined whether or not the preliminary image data acquired under the irradiation angle of 5 ° is stored in the preliminary image holding unit 101e.
  • the data of the second preliminary image acquired under the irradiation angle of 5 ° is stored in the preliminary image holding unit 101e. Accordingly, step S16 is skipped here, and the acquisition of the first preliminary image is not executed.
  • step S48 it is determined whether or not the preliminary image data acquired under the irradiation angle of 15 ° is stored in the preliminary image holding unit 101e.
  • both the data of the first preliminary image acquired under the irradiation angle of 15 ° and the data of the second preliminary image acquired under the irradiation angle of 15 ° are stored in the preliminary image holding unit 101e. Not saved. Therefore, the process proceeds to step S18.
  • step S18 a second preliminary image is acquired at a second irradiation angle of 15 °. Information indicating the second preliminary image acquired at this time is also temporarily stored in the preliminary image holding unit 101e.
  • step S38 a shift image is generated from the second preliminary image acquired under the second irradiation angle of 15 °.
  • step S22 a difference between the first preliminary image and the second preliminary image is calculated.
  • the data of the second preliminary image stored in the preliminary image holding unit 101e and acquired at the irradiation angle of 5 ° is the first preliminary image acquired at the irradiation angle of 5 °. Used as data. That is, here, the data of the second preliminary image stored in the preliminary image holding unit 101e and acquired at the irradiation angle of 5 ° and the second irradiation angle of 15 ° are acquired.
  • the difference is calculated using the shift image generated from the second preliminary image. As described above, in the example shown in FIG.
  • the data of the already acquired preliminary image is used.
  • the difference between the first preliminary image and the second preliminary image is calculated.
  • step S24 it is determined whether or not the difference calculated in step S22 is greater than or equal to a predetermined level. If it is determined that the difference between the first preliminary image and the second preliminary image is greater than or equal to a predetermined level, the process returns to step S12.
  • step S12 it is determined again whether there is a value of the first irradiation angle and a value of the second irradiation angle corresponding to an ID that has not been selected, and the process proceeds to step S14. .
  • step S14 the value of the first irradiation angle and the value of the second irradiation angle whose ID is 3 are read. That is, here, 0 ° is read as the value of the first irradiation angle, 15 ° is read as the value of the second irradiation angle.
  • step S46 it is determined whether or not the preliminary image data acquired under the irradiation angle of 0 ° is stored in the preliminary image holding unit 101e.
  • the data of the first preliminary image acquired at an irradiation angle of 0 ° is stored in the preliminary image holding unit 101e. Therefore, step S16 is skipped here.
  • step S48 it is determined whether or not the preliminary image data acquired under the irradiation angle of 15 ° is stored in the preliminary image holding unit 101e.
  • data of the second preliminary image acquired under an irradiation angle of 15 ° is stored in the preliminary image holding unit 101e. Accordingly, step S18 is also skipped here.
  • step S38 a shift image is generated from the second preliminary image stored in the preliminary image holding unit 101e and acquired at the second irradiation angle of 15 °.
  • step S22 the first preliminary image is generated.
  • the difference between the image and the second preliminary image is calculated.
  • the difference is calculated using the data of the first preliminary image stored in the preliminary image holding unit 101e and acquired at an irradiation angle of 0 ° and the shifted image generated in step S38. Is done.
  • the image is taken once for each different irradiation direction. Good. Thereby, it is possible to shorten the time required for imaging and shorten the processing time required to determine a plurality of irradiation directions.
  • the operation described with reference to FIG. 30 can be realized by the same configuration as the irradiation direction determination unit 40b shown in FIG.
  • the first preliminary image is acquired by irradiating the subject from the normal direction of the imaging surface of the image sensor, and the shift image is generated from the acquired first preliminary image.
  • imaging is performed while changing the irradiation direction (second irradiation direction), and a plurality of second preliminary images are acquired.
  • the value of the evaluation function calculated from the similarity between the first preliminary image and the second preliminary image and the similarity between the shifted image and the second preliminary image is obtained.
  • a plurality of irradiation directions used for acquiring the sub-image are determined. In the following, for the sake of simplicity, a case where the resolution is doubled in the x direction will be exemplified.
  • FIG. 31 schematically shows a state in which the subject is irradiated from the normal direction of the image pickup surface 4A of the image sensor 4.
  • the light beam that has passed through the region A1 in the subject 2 is incident on the photodiode 4pa, and the light beam that has passed through the region A2 in the subject 2 is incident on the photodiode 4pa along the x direction. It is incident on the adjacent photodiode 4pb.
  • the luminance of the pixel acquired by the photodiode 4pa under the irradiation direction DRa shown in FIG. 31 indicates the amount of light transmitted through the area A1 of the subject 2.
  • FIG. 32 shows the illumination direction of illumination light and the illumination light of the subject 2 when the angle ⁇ formed by the normal line N of the imaging surface 4A and the incident light ray on the subject 2 is increased from the state shown in FIG.
  • transmits is shown typically.
  • a light beam that has passed through a part of the area A1 and a part of the area B1 located between the area A1 and the area A2 in the subject 2 enters the photodiode 4pa.
  • the luminance Xa ⁇ b indicates the amount of light transmitted through the region Kb indicated by the thick line rectangle in FIG.
  • the region Kb includes a part of the region A1 and does not include the region A2. Therefore, the luminance Xa ⁇ b generally indicates a value closer to the luminance Xa 0 than the luminance Xb 0 described above.
  • ⁇ ⁇ It is assumed that luminance normalization is applied to the luminance value obtained when imaging is performed in a state of 0. The same applies to the following description.
  • FIG. 33 schematically illustrates an example of the relationship between the illumination light irradiation direction and the region of the subject 2 through which the illumination light is transmitted when the angle ⁇ is further increased from the state illustrated in FIG. 32.
  • a light beam that has passed through part of the region B1 and part of the region A2 in the subject 2 is incident on the photodiode 4pa.
  • the normal N and the magnitude of the incident light angle to the object 2 of the imaging surface 4A and ⁇ c ( ⁇ c> ⁇ b), if the luminance of the pixels acquired by the photodiode 4pa and Xa ⁇ c, brightness Xaganma c Indicates the amount of light transmitted through the region Kc of the subject 2 indicated by the thick line rectangle in FIG.
  • the region Kc includes a part of the region A2 and does not include the region A1. Therefore, the luminance Xa ⁇ c generally shows a value closer to the luminance Xb 0 than the luminance Xa 0 .
  • the light beam that has passed through the region A2 in the subject 2 enters the photodiode 4pa at a certain angle.
  • the luminance values of the pixels acquired by the photodiode 4pa substantially coincides with the luminance Xb 0. That is, it can be said that the luminance distribution of the image of the subject 2 obtained at this time coincides with the luminance distribution of the image obtained by shifting the image acquired under the irradiation direction DRa shown in FIG. 31 by one pixel.
  • the image obtained at that time is not useful for increasing the resolution. This is because the principle described with reference to FIGS. 1A to 6 forms a high-resolution image using a plurality of sub-images including an image composed of different parts of the subject 2.
  • the irradiation direction suitable for the acquisition of the sub-image is the irradiation direction shown in FIG. 31 and the irradiation direction in which the luminance value of the pixel acquired by the photodiode 4pa substantially matches the luminance Xb 0 . It is thought to exist in between. In particular, it is beneficial if it is possible to find an irradiation direction in which a light beam transmitted through a region B1 located between the region A1 and the region A2 of the subject 2 is incident on the photodiode 4pa (or the photodiode 4pb).
  • the image of the subject 2 acquired under the irradiation direction from the normal direction of the imaging surface 4A and the image of the subject acquired under the irradiation direction from the normal direction of the imaging surface 4A are 1 It is only necessary to find an irradiation direction that can acquire an image different from any of the images shifted in the ⁇ x direction by only pixels.
  • a specific example of a method for searching for such an irradiation direction will be described.
  • E 0 ( ⁇ ) ⁇ ′ (X i 0 ⁇ X i ( ⁇ )) 2 (1)
  • E s ( ⁇ ) ⁇ ′ (X i s ⁇ X i ( ⁇ )) 2 (2)
  • X i 0 represents the value of the luminance of the i-th pixel acquired under the irradiation direction from the normal direction of the imaging surface 4A.
  • X i ( ⁇ ) represents the luminance value of the i-th pixel acquired under the irradiation direction inclined by the angle ⁇ from the normal direction of the imaging surface 4A.
  • X i 0 and X i ( ⁇ ) are the luminance values of the pixels acquired by the i-th photodiode.
  • X i s is a pixel included in an image (shifted image) obtained by shifting an image acquired under the irradiation direction from the normal direction of the imaging surface 4A by one pixel in the ⁇ x direction. Represents the luminance value of the i-th pixel.
  • X i s is the luminance value of the pixel obtained by the (i + 1) th photodiode, where X i s is approximately equal to X i + 1 0 . Note that this shift image does not have the Mth pixel.
  • the sum ⁇ ′ in the formulas (1) and (2) represents the sum related to the index i.
  • the value of the function E 0 ( ⁇ ) in Expression (1) is inclined by an angle ⁇ from the image of the subject acquired under the irradiation direction from the normal direction of the imaging surface 4A and the normal direction of the imaging surface 4A. It can be said that the degree of similarity with the image of the subject acquired under the irradiation direction is shown.
  • the function E s ( ⁇ in equation (2) The values of) are obtained by shifting the image of the subject acquired under the irradiation direction from the normal direction of the imaging surface 4A by one pixel in the ⁇ x direction and the angle ⁇ from the normal direction of the imaging surface 4A.
  • the value of F ( ⁇ ) calculated using Expression (3) is an example of “difference” between the first preliminary image and the second preliminary image.
  • one of the functions E 0 ( ⁇ ) and E s ( ⁇ ) takes a large value, and the other takes a small value correspondingly. From this, the image of the subject 2 acquired under the irradiation direction from the normal direction of the imaging surface 4A and the image of the subject acquired under the irradiation direction from the normal direction of the imaging surface 4A are obtained.
  • the above-mentioned function F ( ⁇ ) is maximized at an angle ⁇ indicating the irradiation direction so that an image different from any of the images shifted in the ⁇ x direction by one pixel can be acquired.
  • FIG. 34 illustrates still another example of an image forming system according to an embodiment of the present disclosure.
  • 34 is different from the irradiation direction determination unit 40f and the irradiation direction determination unit 40b (see FIG. 20) in that the irradiation direction determination unit 40f includes a comparison target image generation unit 106b.
  • the comparison target image generation unit 106 f is connected to the first preliminary image acquisition unit 102.
  • a difference holding unit 111d is provided instead of the determination unit 110.
  • FIG. 35 shows another example of the operation in the image forming system 500.
  • a plurality of irradiation directions are determined using the principle described with reference to FIGS.
  • the number of acquisitions of the first preliminary image is one, as in the process in the specific example 2 described with reference to FIG.
  • the acquisition of the second preliminary image is executed a plurality of times while changing the second irradiation direction.
  • the memory 50 stores information indicating the second irradiation direction DR2.
  • Table 5 below shows an example of information indicating the second irradiation direction DR2.
  • step S16 a first preliminary image is acquired.
  • the acquisition of the first preliminary image is executed in a state where the irradiation direction with respect to the subject is 0 °.
  • Information indicating the first preliminary image acquired at this time is temporarily stored in the memory 50.
  • step S50 the comparison target image generation unit 106f generates a shifted image obtained by shifting the first preliminary image by one pixel in the ⁇ x direction.
  • step S32 it is determined whether or not the second irradiation angle list stored in the memory 50 includes a second irradiation angle value corresponding to an ID that has not yet been selected.
  • the process proceeds to step S34.
  • step S34 the second preliminary image acquisition unit 104 reads out information indicating the second irradiation direction DR2 from the memory 50.
  • 2 ° is read as the value of the second irradiation angle.
  • step S18 a second preliminary image is acquired.
  • the acquisition of the second preliminary image is executed in a state where the irradiation direction with respect to the subject is 2 °.
  • Information indicating the acquired second preliminary image is temporarily stored in the memory 50.
  • step S36 the brightness normalization unit 105b performs brightness normalization on the acquired second preliminary image.
  • step S52 the value of the evaluation function F ( ⁇ ) is calculated using the above-described equation (3).
  • the calculation of the value of the evaluation function F ( ⁇ ) is executed by, for example, the difference calculation unit 108f.
  • the calculation result is temporarily stored in the difference holding unit 111d in association with the ID (that is, the irradiation angle) at this time.
  • step S32 the process returns to step S32, and the above-described steps S32 to S52 are repeated.
  • the process proceeds to step S54.
  • step S54 the value of the evaluation function F ( ⁇ ) stored in the difference holding unit 111d is compared, and the ID that gives the maximum value of the evaluation function F ( ⁇ ) is determined.
  • the comparison of the value of the evaluation function F ( ⁇ ) is performed by the irradiation direction calculation unit 112, for example. As described with reference to FIGS. 31 to 33, it can be said that an angle ⁇ at which F ( ⁇ ) takes a maximum value indicates an irradiation direction suitable for acquisition of a sub-image.
  • step S56 based on the ID that gives the maximum of the evaluation function F ( ⁇ ), the irradiation direction calculation unit 112 determines or calculates a plurality of irradiation directions used for acquiring the sub-image.
  • Information indicating a plurality of irradiation directions is stored in the memory 50 and used in a sub-image acquisition step described later.
  • sub-images are respectively acquired at an irradiation angle of 0 ° and an ID irradiation angle that gives the maximum of the evaluation function F ( ⁇ ), and a high-resolution image is formed using these sub-images.
  • the second irradiation angle in this specific example can be arbitrarily set.
  • the value of the evaluation function F ( ⁇ ) may be obtained for at least N different irradiation directions.
  • the N different irradiation directions can be calculated using the distance from the imaging surface to the light source, the arrangement pitch of the photodiodes, and the like.
  • N different irradiation directions may be set symmetrically with respect to the normal direction of the imaging surface of the imaging element.
  • the intervals in the N different irradiation directions do not have to be equal.
  • an irradiation direction suitable for acquisition of a sub-image can be determined as in the above example. Therefore, it is of course possible to increase the resolution N times in a plane parallel to the imaging surface of the image sensor.
  • the image sensor 4 is not limited to a CCD image sensor, but is a CMOS (Complementary Metal-Oxide Semiconductor) image sensor or other image sensor (for example, a photoelectric conversion film laminated type described later). Image sensor).
  • the CCD image sensor and the CMOS image sensor may be either a front side illumination type or a back side illumination type.
  • the relationship between the element structure of the image sensor and the light incident on the photodiode of the image sensor will be described.
  • FIG. 36 shows a cross-sectional structure of the CCD image sensor and an example of the distribution of the relative transmittance Td of the subject.
  • the CCD image sensor schematically includes a substrate 80, an insulating layer 82 on the substrate 80, and a wiring 84 disposed in the insulating layer 82.
  • a plurality of photodiodes 88 are formed on the substrate 80.
  • a light shielding layer (not shown in FIG. 36) is formed on the wiring 84.
  • illustration of transistors and the like is omitted. In the following drawings, illustration of transistors and the like is omitted.
  • the cross-sectional structure in the vicinity of the photodiode in the front-illuminated CMOS image sensor is substantially the same as the cross-sectional structure in the vicinity of the photodiode in the CCD image sensor. Therefore, the illustration and description of the cross-sectional structure of the front-illuminated CMOS image sensor are omitted here.
  • the irradiation light transmitted through the region R1 directly above the photodiode 88 in the subject enters the photodiode 88.
  • the irradiation light that has passed through the region R2 of the subject that is directly above the light shielding layer on the wiring 84 is incident on the light shielding region (the region where the light shielding film is formed) of the image sensor. Therefore, when irradiation is performed from the normal direction of the imaging surface, an image showing the region R1 of the subject that is directly above the photodiode 88 is obtained.
  • irradiation is performed from a direction inclined with respect to the normal direction of the imaging surface so that light transmitted through the region R2 enters the photodiode 88. Good.
  • part of the light transmitted through the region R ⁇ b> 2 may be blocked by the wiring 84.
  • the light beam passing through the portion indicated by hatching does not reach the photodiode 88.
  • the pixel value may be somewhat reduced at oblique incidence.
  • FIGS. 37A and 37B show a cross-sectional structure of a back-illuminated CMOS image sensor and an example of a distribution of relative transmittance Td of a subject.
  • the transmitted light is not blocked by the wiring 84 even in the case of oblique incidence.
  • noise that has passed through the other area of the subject that is different from the area to be imaged (light schematically indicated by a thick arrow BA in FIG. 37A and FIG. 37B described later) is incident on the substrate 80. May occur, and the quality of the sub-image may be deteriorated.
  • Such deterioration can be reduced by forming a light shielding layer 90 on a region other than the region where the photodiode is formed on the substrate, as shown in FIG. 37B.
  • FIG. 38 shows a cross-sectional structure of an image sensor including a photoelectric conversion film formed of an organic material or an inorganic material (hereinafter referred to as a “photoelectric conversion film stacked image sensor”) and a distribution of relative transmittance Td of the subject. And an example.
  • the photoelectric conversion film stacked image sensor generally includes a substrate 80, an insulating layer 82 provided with a plurality of pixel electrodes, a photoelectric conversion film 94 on the insulating layer 82, and a photoelectric sensor. And a transparent electrode 96 on the conversion film 94.
  • a photoelectric conversion film 94 for performing photoelectric conversion is formed on a substrate 80 (for example, a semiconductor substrate) instead of the photodiode formed on the semiconductor substrate.
  • the photoelectric conversion film 94 and the transparent electrode 96 are typically formed over the entire imaging surface.
  • illustration of a protective film for protecting the photoelectric conversion film 94 is omitted.
  • the photoelectric conversion film stacked image sensor In the photoelectric conversion film stacked image sensor, charges (electrons or holes) generated by photoelectric conversion of incident light in the photoelectric conversion film 94 are collected by the pixel electrode 92. Thereby, a value indicating the amount of light incident on the photoelectric conversion film 94 is obtained. Therefore, in the photoelectric conversion film stacked image sensor, it can be said that a unit region including one pixel electrode 92 corresponds to one pixel on the imaging surface. In the photoelectric conversion film laminated image sensor, the transmitted light is not blocked by the wiring even in the case of oblique incidence as in the case of the back-illuminated CMOS image sensor.
  • a plurality of sub-images showing images composed of different portions of the subject are used.
  • the photoelectric conversion film 94 since the photoelectric conversion film 94 is formed over the entire imaging surface, for example, even in the case of normal incidence, it transmits through a region other than the desired region of the subject. Photoelectric conversion can occur in the photoelectric conversion film 94 also by the light that has been applied. If excess electrons or holes generated at this time are drawn into the pixel electrode 92, there is a possibility that an appropriate sub-image cannot be obtained. Therefore, it is beneficial to selectively draw the charges generated in the region where the pixel electrode 92 and the transparent electrode 96 overlap (the shaded region in FIG. 38) to the pixel electrode 92.
  • a dummy electrode 98 is provided in the pixel corresponding to each of the pixel electrodes 92.
  • An appropriate potential difference is applied between the pixel electrode 92 and the dummy electrode 98 when acquiring the image of the subject.
  • the charge generated in the region other than the region where the pixel electrode 92 and the transparent electrode 96 overlap is drawn into the dummy electrode 98, and the charge generated in the region where the pixel electrode 92 and the transparent electrode 96 overlap is selectively selected.
  • Similar effects can be obtained by patterning the transparent electrode 96 or the photoelectric conversion film 94. In such a configuration, it can be said that the ratio (S3 / S1) of the area S3 of the pixel electrode 92 to the area S1 of the pixel corresponds to the “aperture ratio”.
  • the ratio (S3 / S1) corresponding to the aperture ratio can be adjusted by adjusting the area S3 of the pixel electrode 92.
  • This ratio (S3 / S1) is set in the range of 10% to 50%, for example.
  • a photoelectric conversion film laminated image sensor having the ratio (S3 / S1) within the above range can be used for super-resolution.
  • the surface of the CCD image sensor and the front-illuminated CMOS image sensor facing the subject is not flat.
  • a CCD image sensor has a step on its surface.
  • the backside illuminated CMOS image sensor in order to obtain a sub-image for forming a high-resolution image, it is necessary to provide a patterned light-shielding layer on the imaging surface, and the surface facing the subject is flat. is not.
  • the imaging surface of the photoelectric conversion film laminated image sensor is a substantially flat surface. Therefore, even when the subject is arranged on the imaging surface, the subject is hardly deformed due to the shape of the imaging surface. In other words, a more detailed structure of the subject can be observed by acquiring a sub-image using a photoelectric conversion film laminated image sensor.
  • At least one of an image acquisition device, an image forming method, and an image forming system that can facilitate application of a high resolution technology that realizes a resolution exceeding the intrinsic resolution of an image sensor is provided.
  • High resolution images provide useful information, for example, in the context of pathological diagnosis.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本開示の画像取得装置は、照明システムと、照射方向決定部とを備える。照明システムは、被写体を透過した照明光が撮像素子に入射するように被写体と撮像素子とが一体化されたモジュールに、被写体を基準とする複数の異なる照射方向から、順次、被写体を照射する。モジュールは、複数の異なる照射方向に応じた複数の画像を取得する。照射方向決定部は、複数の異なる照射方向に応じて複数の画像を取得する前に、第１予備画像と、第２予備画像との間の差異に基づいて、複数の異なる照射方向を決定する。第１予備画像は、第１照射方向からの第１照明光で被写体が照射されているときに取得された画像であり、第２予備画像は、第２照射方向からの第２照明光で被写体が照射されているときに取得された画像である。

Description

画像取得装置、画像形成システムおよび画像形成方法
　本開示は、画像取得装置、画像形成システムおよび画像形成方法に関する。
　従来、生体組織などにおけるミクロ構造を観察するために光学顕微鏡が用いられてきた。光学顕微鏡は、観察対象を透過した光、あるいは反射した光を利用する。観察者は、レンズによって拡大された像を観察する。顕微鏡のレンズで拡大された像を撮影してディスプレイ上に表示するデジタル顕微鏡も知られている。デジタル顕微鏡を利用することにより、複数人での同時観察、遠隔地での観察などが可能である。
　近年、ＣＩＳ（Contact Image Sensing）方式によってミクロ構造を観察する技術が注
目されている。ＣＩＳ方式による場合、観察対象は、イメージセンサの撮像面に近接して配置される。イメージセンサとしては、一般に、多数の光電変換部が撮像面内に行および列状に配列された２次元イメージセンサが用いられる。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。
　イメージセンサによって取得される画像は、多数の画素によって規定される。各画素は、１つの光電変換部を含む単位領域によって区画されている。したがって、２次元イメージセンサにおける分解能（解像度）は、通常、撮像面上における光電変換部の配列ピッチに依存する。本明細書では、光電変換部の配列ピッチによって決まる分解能を、イメージセンサの「固有分解能」と呼ぶことがある。個々の光電変換部の配列ピッチは、可視光の波長程度まで短くなっているので、固有分解能をさらに向上させることは困難である。
　イメージセンサの固有分解能を超える分解能を実現する技術が提案されている。特許文献１は、被写体の結像位置をシフトさせて得られる複数の画像を用いて当該被写体の画像を形成する技術を開示している。
特開昭６２－１３７０３７号公報
　本開示は、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性を向上させ得る画像取得装置、画像形成システムおよび画像形成方法を提供する。
　本開示の例示的な実施形態として以下が提供される。
　被写体と撮像素子とが一体化されたモジュールの前記被写体に対して複数の異なる照射方向から、順次、光照射する照明システムと、前記モジュールは、前記被写体を透過した照明光が前記撮像素子に入射するように前記被写体と前記撮像素子とが一体化されており、前記撮像素子は、前記複数の異なる照射方向に応じた複数の画像を取得し、前記複数の異なる照射方向に応じて前記複数の画像を前記撮像素子によって取得する前に、第１照射方向からの第１照明光で前記被写体が照射されているときに前記撮像素子によって取得された第１予備画像と、第２照射方向からの第２照明光で前記被写体が照射されているときに前記撮像素子によって取得された第２予備画像との間の差異に基づいて、前記複数の異なる照射方向を決定する照射方向決定部と、を備える画像取得装置。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　本開示によれば、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性が向上する。
被写体２の一部を模式的に示す平面図である。 図１Ａに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図である。 被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す断面図である。 被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す断面図である。 ６個のフォトダイオード４ｐによって取得される６個の画素Ｐａを模式的に示す図である。 図２Ａおよび図２Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図２Ａおよび図２Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図３Ａおよび図３Ｂに示す照射方向のもとで取得される６個の画素Ｐｂを模式的に示す図である。 、図２Ａおよび図２Ｂに示す照射方向ならびに図３Ａおよび図３Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図２Ａおよび図２Ｂに示す照射方向ならびに図３Ａおよび図３Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図４Ａおよび図４Ｂに示す照射方向のもとで取得される６個の画素Ｐｃを模式的に示す図である。 図２Ａおよび図２Ｂに示す照射方向、図３Ａおよび図３Ｂに示す照射方向、ならびに図４Ａおよび図４Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図５Ａに示す照射方向のもとで取得される６個の画素Ｐｄを模式的に示す図である。 ４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄから合成される高分解能画像ＨＲを示す図である。 被写体２の隣接する２つの領域を通過した光線がそれぞれ異なるフォトダイオードに入射するように調整された照射方向を模式的に示す断面図である。 モジュールの断面構造の一例を模式的に示す図である。 図８Ａに示すモジュール１０をイメージセンサ４側から見たときの外観の一例を示す平面図である。 モジュールの作製方法の一例を説明するための図である。 サブ画像の取得時における照射角度の例を示す断面図である。 図１０Ａに示す照射角度とは異なる照射角度で被写体を照射する方法の例を示す断面図である。 被写体２の配置と照射方向との関係の一例を示す模式的な拡大断面図である。 イメージセンサ４の撮像面４Ａからより離れた位置に被写体２が配置されたモジュールにおける、被写体２を透過した照明光とフォトダイオード４ｐとの間の関係を示す模式的な拡大断面図である。 被写体２の配置と照射方向との関係の他の一例を示す模式的な拡大断面図である。 本開示の実施形態による画像取得装置の構成の一例を示す概略図である。 画像取得装置１００ａの例示的な外観を示す斜視図である。 図１３Ａに示す画像取得装置１００ａにおいて蓋部１２０を閉じた状態を示す斜視図である。 画像取得装置１００ａのステージ３２に対するソケット１３０の装填方法の一例を模式的に示す図である。 照射方向を変更する方法の一例を模式的に示す図である。 基準面に対してステージ３２を角度θだけ傾斜させたときの、被写体に入射する光線の方向の変化を模式的に示す図である。 本開示の実施形態による例示的な画像形成方法の概略を示す図である。 照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す断面図である。 図１６Ａに示す状態から第２照射方向を変化させたときにおける、照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す断面図である。 図１６Ｂに示す第１照射方向ＤＲ１からの照射のもとで取得される第１予備画像ＰＳ１を模式的に示す図である。 図１６Ｂに示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像ＰＳ２を模式的に示す図である。 図１６Ａに示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像ＰＳ２２を模式的に示す図である。 照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の他の一例を模式的に示す断面図である。 図１７Ａに示す被写体２の領域Ｂ１を透過した光がフォトダイオード４ｐａおよびフォトダイオード４ｐｂにそれぞれ入射するような第１照射方向ＤＲ１および第２照射方向ＤＲ２を示す図である。 本開示の実施形態による画像形成システムの一例を示すブロック図である。 画像形成システム５００における動作の一例を示すフローチャートである。 本開示の実施形態による画像形成システムの他の一例を示すブロック図である。 画像形成システム５００における動作の他の一例を示すフローチャートである。 具体例２における第１照射方向ＤＲ１と第２照射方向ＤＲ２の一例を模式的に示す図である。 図２２に示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像から生成されるシフト画像ＰＳ３２を模式的に示す図である。 図２２に示す第２照射方向ＤＲ２とは異なる照射方向からの照射のもとで取得される第２予備画像から生成されるシフト画像ＰＳ４２を模式的に示す図である。 本開示の実施形態による画像形成システムのさらに他の一例を示すブロック図である。 具体例３における第１照射方向ＤＲ１と第２照射方向ＤＲ２の一例を模式的に示す図である。 画像形成システム５００における動作のさらに他の一例を示すフローチャートである。 本開示の実施形態による画像形成システムのさらに他の一例を示すブロック図である。 画像形成システム５００における動作のさらに他の一例を示すフローチャートである。 本開示の実施形態による画像形成システムのさらに他の一例を示すブロック図である。 画像形成システム５００における動作のさらに他の一例を示すフローチャートである。 照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す断面図である。 照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の他の一例を模式的に示す断面図である。 照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係のさらに他の一例を模式的に示す断面図である。 本開示の実施形態による画像形成システムのさらに他の一例を示すブロック図である。 画像形成システム５００における動作のさらに他の一例を示すフローチャートである。 ＣＣＤイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。 裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。 裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。 光電変換膜積層型イメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。
　＜高分解能画像形成の原理＞
　本開示の実施形態では、照明光の照射方向を変えて複数回の撮影を実行することにより得られる複数の画像を用いて、それら複数の画像の各々よりも分解能の高い画像（以下、「高分解能画像」と呼ぶ。）を形成する。まず、図１Ａ～図６を参照して、高分解能画像形成の原理を説明する。ここでは、ＣＣＤ（Charge  Coupled  Device）イメージセンサを
例示して説明を行う。なお、以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。
　図１Ａおよび図１Ｂを参照する。図１Ａは、被写体の一部を模式的に示す平面図である。図１Ａに示す被写体２は、例えば、生物組織の薄片（典型的には、数十μｍ以下の厚さを有する。）である。被写体２の画像の取得時、被写体２は、イメージセンサの撮像面に近接して配置されている。イメージセンサの撮像面から被写体２までの距離は、典型的には１ｍｍ以下であり、例えば１μｍ程度に設定され得る。
　図１Ｂは、イメージセンサのフォトダイオードのうち、図１Ａに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図である。ここで説明する例では、イメージセンサ４に形成されたフォトダイオード４ｐのうち、６個のフォトダイオードが示されている。なお、参考のために、図１Ｂでは、互いに直交するｘ方向、ｙ方向およびｚ方向を示す矢印が図示されている。ｚ方向は、撮像面の法線方向を示している。図
１Ｂでは、ｘｙ面内においてｘ軸からｙ軸に向かって４５°回転した方向であるｕ方向を示す矢印も図示されている。他の図面においても、ｘ方向、ｙ方向、ｚ方向またはｕ方向を示す矢印を図示することがある。
　イメージセンサ４におけるフォトダイオード４ｐ以外の構成要素は、遮光層によって覆われている。図１Ｂ中、ハッチングされた領域は、遮光層によって覆われている領域を示している。ＣＣＤイメージセンサの撮像面上における１つのフォトダイオードの受光面の面積（Ｓ２）は、そのフォトダイオードを含む単位領域の面積（Ｓ１）よりも小さい。画素の面積Ｓ１に対する受光面積Ｓ２の比率（Ｓ２／Ｓ１）は、「開口率」と呼ばれている。ここでは、開口率が２５％であるとして説明を行う。
　図２Ａおよび図２Ｂは、被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す。図２Ａおよび図２Ｂは、撮像面に対して垂直な方向から光線を入射させた状態を示している。図２Ａおよび図２Ｂにおいて模式的に示すように、ここでは、被写体２とイメージセンサ４との間に結像のためのレンズは配置されておらず、被写体２の画像は、被写体２を透過する実質的に平行な光線を用いて取得される。
　図２Ｃは、図２Ａおよび図２Ｂに示す照射方向のもとで取得される画像Ｓａ（第１のサブ画像Ｓａ）を模式的に示す。図２Ｃに示すように、第１のサブ画像Ｓａは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐａから構成される。画素Ｐａの各々は、個々のフォトダイオード４ｐに入射した光の量を示す値（画素値）を持つ。
　図２Ａおよび図２Ｂに示すように、撮像面に垂直な方向から被写体２を照射したときには、被写体２の全体のうち、フォトダイオード４ｐの直上に位置する領域を透過した光がフォトダイオード４ｐに入射する。この例では、第１のサブ画像Ｓａは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６（図１Ａ参照）の情報を有している。なお、フォトダイオード４ｐの直上に位置しない領域を透過した光は、フォトダイオード４ｐには入射しない。したがって、第１のサブ画像Ｓａでは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６以外の領域の情報が欠落している。
　図３Ａおよび図３Ｂは、図２Ａおよび図２Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図３Ａおよび図３Ｂに示す光線は、ｚ方向に対してｘ方向に傾斜している。このとき、被写体２の全体のうち、フォトダイオード４ｐの直上に位置する領域とは異なる領域を透過した光がフォトダイオード４ｐに入射する。
　図３Ｃは、図３Ａおよび図３Ｂに示す照射方向のもとで取得される画像Ｓｂ（第２のサブ画像Ｓｂ）を模式的に示す。図３Ｃに示すように、第２のサブ画像Ｓｂも、６個のフォトダイオード４ｐによって取得される６個の画素から構成されている。ただし、第２のサブ画像Ｓｂを構成する画素Ｐｂは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６とは異なる領域Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５およびＢ６（図１Ａ参照）に関する画素値を持つ。言い換えれば、第２のサブ画像Ｓｂは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６の情報は有しておらず、代わりに、領域Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５およびＢ６の情報を有している。ここでは、例えば領域Ｂ１は、被写体２において領域Ａ１の右側に隣接する領域である（図１Ａ参照）。
　図２Ａおよび図２Ｂと、図３Ａおよび図３Ｂとを比較することによって理解されるように、照射方向を適切に変更することにより、被写体２の異なる領域を透過した光線をフォトダイオード４ｐに入射させることができる。その結果、第１のサブ画像Ｓａと第２のサブ画像Ｓｂは、被写体２において異なる位置に対応する画素情報を含むことができる。
　図４Ａおよび図４Ｂは、図２Ａおよび図２Ｂに示す照射方向ならびに図３Ａおよび図３Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図４Ａおよび図４Ｂに示す光線は、ｚ方向に対してｙ方向に傾斜している。
　図４Ｃは、図４Ａおよび図４Ｂに示す照射方向のもとで取得される画像Ｓｃ（第３のサブ画像Ｓｃ）を模式的に示す。図４Ｃに示すように、第３のサブ画像Ｓｃは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐｃから構成されている。図示するように、第３のサブ画像Ｓｃは、被写体２の全体のうち、図１Ａに示す領域Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５およびＣ６の情報を有している。ここでは、例えば領域Ｃ１は、被写体２において領域Ａ１の上側に隣接する領域である（図１Ａ参照）。
　図５Ａは、図２Ａおよび図２Ｂに示す照射方向、図３Ａおよび図３Ｂに示す照射方向、ならびに図４Ａおよび図４Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図５Ａに示す光線は、ｚ方向に対して、ｘｙ面内においてｘ軸と４５°の角をなす方向に傾斜している。
　図５Ｂは、図５Ａに示す照射方向のもとで取得される画像Ｓｄ（第４のサブ画像Ｓｄ）を模式的に示す。図５Ｂに示すように、第４のサブ画像Ｓｄは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐｄから構成されている。第４のサブ画像Ｓｄは、被写体２の全体のうち、図１Ａに示す領域Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５およびＤ６の情報を有している。ここでは、例えば領域Ｄ１は、領域Ｃ１の右側に隣接する領域である（図１Ａ参照）。このように、サブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄの各々は、被写体２の異なる部分から構成される像を含んでいる。
　図６は、４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄから合成される高分解能画像ＨＲを示している。図６に示すように、高分解能画像ＨＲの画素数または画素密度は、４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄの各々の画素数または画素密度の４倍である。
　例えば、被写体２における、図１Ａに示す領域Ａ１、Ｂ１、Ｃ１およびＤ１のブロックに着目する。これまでの説明からわかるように、図６に示すサブ画像Ｓａの画素Ｐａ１は、上述のブロック全体ではなく、領域Ａ１のみの情報を有している。したがって、サブ画像Ｓａは、領域Ｂ１、Ｃ１およびＤ１の情報が欠落した画像であるということができる。
　しかしながら、被写体２において異なる位置に対応する画素情報を有するサブ画像Ｓｂ、ＳｃおよびＳｄを用いることにより、図６に示すように、サブ画像Ｓａにおいて欠落した情報を補完し、ブロック全体の情報を有する高分解能画像ＨＲを形成することが可能である。個々のサブ画像の分解能がイメージセンサ４の固有分解能に等しいことに対し、この例では、イメージセンサ４の固有分解能の４倍の分解能が得られている。高分解能化（超解像）の程度は、イメージセンサの開口率に依存する。この例では、イメージセンサ４の開口率が２５％であるため、異なる４方向からの光照射によって最大４倍の高分解能化が達成されている。Ｎを２以上の整数するとき、イメージセンサ４の開口率が近似的に１／Ｎに等しければ、最大Ｎ倍の高分解能化が可能である。
　このように、被写体を基準にして複数の異なる照射方向から、順次、平行光を照射して被写体の撮像を行うことにより、被写体から「空間的」にサンプリングされる画素情報を増加させることができる。得られた複数のサブ画像を合成することにより、複数のサブ画像の各々よりも分解能の高い高分解能画像を形成することが可能である。もちろん、照射方向は、図２Ａ～図５Ｂを参照して説明した照射方向に限定されない。
　なお、上記の例において、図６に示すサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄは、被写体
２における互いに異なる領域の画素情報を有しており、重なりを有していない。しかしながら、異なるサブ画像間において重なりを有していてもよい。また、上記の例では、被写体２において隣接する２つの領域を通過した光線は、いずれも、同一のフォトダイオードに入射している。しかしながら、照射方向の設定はこの例に限定されない。例えば、図７に示すように、被写体２の隣接する２つの領域を通過した光線が、それぞれ、異なるフォトダイオードに入射するように照射方向が調整されていてもよい。
　＜モジュール＞
　図１Ａ～図６を参照して説明した原理に基づく高分解能画像の形成において、サブ画像の取得は、被写体２がイメージセンサ４の撮像面に近接して配置された状態で実行される。本開示の実施形態では、被写体２およびイメージセンサ４が一体化された構造を有するモジュールを用いてサブ画像の取得を行う。以下、図面を参照して、モジュールの構成の一例およびモジュールの作製方法の一例を説明する。
　図８Ａは、モジュールの断面構造の一例を模式的に示す。図８Ａに示すモジュール１０では、封入剤６によって覆われた被写体２がイメージセンサ４の撮像面４Ａ上に配置されている。図示する例では、透明プレート（典型的にはガラス板）８が被写体２上に配置されている。すなわち、図８Ａに例示する構成では、被写体２は、イメージセンサ４と透明プレート８との間に挟まれている。モジュール１０が透明プレート８を有すると、作業性が向上するので有益である。透明プレート８としては、例えば、一般的なスライドガラスを使用することができる。なお、図中においては各要素が模式的に表されており、各要素における実際の大きさおよび形状は、図中に現された大きさおよび形状と必ずしも一致しない。以下において参照する他の図面においても同様である。
　図８Ａに例示する構成において、イメージセンサ４は、パッケージ５に固定されている。図８Ｂは、図８Ａに示すモジュール１０をイメージセンサ４側から見たときの外観の一例を示す。図８Ａおよび図８Ｂに示すように、パッケージ５は、透明プレート８とは反対側の面に裏面電極５Ｂを有する。この裏面電極５Ｂは、パッケージ５に形成された不図示の配線パターンを介してイメージセンサ４と電気的に接続されている。すなわち、裏面電極５Ｂを介して、イメージセンサ４の出力を取り出すことができる。本明細書では、パッケージとイメージセンサとが一体化された構造物を「撮像素子」と呼ぶ。
　図９を参照して、モジュール１０の作製方法の一例を説明する。ここでは、被写体２として生物組織の薄片（組織切片）を例示する。生物組織の薄片を被写体２として有するモジュール１０は、病理診断に利用され得る。
　まず、図９に示すように、組織切片Ａ０２を透明プレート８に載せる。透明プレート８は、光学顕微鏡による試料の観察に用いられるスライドガラスであり得る。以下では、透明プレート８としてスライドガラスを例示する。次に、組織切片Ａ０２を透明プレート８ごと染色液Ｓｓに漬けることにより、組織切片Ａ０２を染色する。次に、透明プレート８上に封入剤６を付与することにより、組織切片Ａ０２を染色することによって得られた被写体２を封入剤６によって覆う。封入剤６は、被写体２を保護する機能を有する。次に、撮像素子７を、イメージセンサ４の撮像面が被写体２に対向するようにして被写体２上に配置する。このようにして、モジュール１０が得られる。
　モジュール１０は、撮像の対象ごとに作製される。例えば病理診断の場面では、１つの検体から複数（例えば５～２０枚）の組織切片が用意される。そのため、同一の検体から得られた組織切片を被写体２として有する複数のモジュール１０が作製され得る。これらの複数のモジュール１０のそれぞれについて複数のサブ画像の取得を行えば、複数のモジュール１０のそれぞれに対応した高分解能画像の形成が可能である。
　図８Ａに示すように、モジュール１０は、光学顕微鏡による観察に用いられるプレパラートとは異なり、被写体２の画像を取得するイメージセンサ４を備えている。このようなモジュールを「電子プレパラート」と呼んでもよい。図８Ａに示すように被写体２および撮像素子７が一体化された構造を有するモジュール１０を用いることにより、被写体２とイメージセンサ４との間の配置を固定できるという利点が得られる。
　モジュール１０を用いて被写体２の画像の取得を実行するとき、透明プレート８を介して被写体２に照明光を照射する。被写体２を透過した照明光がイメージセンサ４に入射する。これにより、被写体２の画像が得られる。光源と被写体との相対的な配置を変えながら、順次、撮像を実行することにより、照射時において角度を変えて複数の異なる画像を取得することができる。例えば、図１０Ａに示すように、イメージセンサ４の直上に光源３１０を配置する。そして、コリメートされた光ＣＬをイメージセンサ４の撮像面４Ａの法線方向から被写体２に照射した状態で撮像を行えば、図２Ｃに示すサブ画像Ｓａと同様のサブ画像が得られる。また、図１０Ｂに示すように、モジュール１０を傾けた状態でコリメートされた光ＣＬを被写体２に照射して撮像を行えば、図３Ｃに示すサブ画像Ｓｂ（あるいは図４Ｃに示すサブ画像Ｓｃ）と同様のサブ画像が得られる。このように、光源に対するモジュール１０の姿勢を変化させながら、順次、撮像を実行することにより、図１Ａ～図６を参照して説明した原理を適用して高分解能画像を得ることが可能である。
　＜本発明者の知見＞
　図１Ａ～図６を参照して説明したように、複数のサブ画像の取得においては、高分解能画像の形成に適したサブ画像が得られるような適切な照射方向からの照射が行われる。しかしながら、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的な配置を予め知ることは困難である。したがって、複数のサブ画像の取得に用いる複数の照射方向を決定することは一般に困難である。たとえ、ある１つのモジュールについて複数の照射方向が決定できたとしても、以下に説明するように、他のモジュールについてもそれらの複数の照射方向が適しているとは限らない。つまり、照明光の照射方向を複数のモジュール間において共通とすると、高分解能画像を適切に形成できないことがある。
　図１１Ａは、被写体２の配置と照射方向との関係の一例を模式的に示す。図１１Ａでは、破線の矢印ＤＲａで示す照射方向と、実線の矢印ＤＲｂで示す照射方向との２つの照射方向をあわせて図示している。なお、図１Ａ～図６を参照して説明した原理から明らかなように、実際の撮像時、矢印ＤＲａで示す方向からの照明光の照射および矢印ＤＲｂで示す方向からの照明光の照射は同時には実行されず、順次に実行される。
　図１１Ａに示す例では、イメージセンサ４は、フォトダイオード４ｐの光入射面を被覆する透明層４Ｔを有している。被写体２は、封入剤６に覆われた状態でこの透明層４Ｔ上に位置している。図１１Ａ中、撮像面４Ａと被写体２との間隔を矢印ｄ１により模式的に示す。
　図示するように、矢印ＤＲａで示す照射方向から被写体２を照射したときには、被写体２のうち、フォトダイオード４ｐの直上に位置する領域Ａ１を透過した光がフォトダイオード４ｐに入射する。すなわち、このとき、図２Ｃを参照して説明したサブ画像Ｓａと同様のサブ画像が取得される。矢印ＤＲｂで示す照射方向から被写体２を照射したときには、被写体２のうち、図のｘ方向に沿って領域Ａ１に隣接する領域Ｂ１を透過した光がフォトダイオード４ｐに入射する。このとき、図３Ｃを参照して説明したサブ画像Ｓｂと同様のサブ画像が取得される。したがって、これらの２つのサブ画像を用いることにより、図のｘ方向について２倍の高分解能化が実現する（図１Ａおよび図６参照）。
　図１１Ｂは、イメージセンサ４の撮像面４Ａからより離れた位置に被写体２が配置されたモジュールにおける、被写体２を透過した照明光とフォトダイオード４ｐとの間の関係を模式的に示す。図１１Ｂに示す例では、撮像面４Ａと被写体２との間隔ｄ２は、図１１Ａに示す例における間隔ｄ１よりも大きい。このように、複数のモジュールの間において、撮像面４Ａと被写体２との間隔にばらつきが生じることがある。このようなばらつきは、例えばモジュールの製作時に、撮像面４Ａと被写体２との間に封入剤６（図９参照）が入り込むことにより生じると考えられる。本発明者の検討によれば、撮像面４Ａと被写体２との間隔は、２～８μｍ程度の範囲の変動を有し得る。
　図１１Ｂに示す例において、矢印ＤＲａで示す照射方向から被写体２を照射したときには、図１１Ａに示す例と同様に、被写体２のうち領域Ａ１を透過した光がフォトダイオード４ｐに入射する。このとき、図２Ｃを参照して説明したサブ画像Ｓａと同様のサブ画像が取得される。一方、矢印ＤＲｂで示す照射方向から被写体２を照射したときには、図１１Ａを参照して説明した例とは異なり、被写体２のうち、領域Ｂ１とは異なる領域を透過した光がフォトダイオード４ｐに入射する。なお、図示する例では、領域Ｂ１を透過した光は、イメージセンサ４のいずれのフォトダイオード４ｐにも入射していない。言い換えれば、矢印ＤＲｂで示す照射方向から被写体２を照射しても、被写体２における領域Ｂ１の情報を有するサブ画像を取得することができない。この例では、矢印ＤＲｂで示す照射方向からの照射によっては、高分解能画像の形成のためのサブ画像が得られない。したがって、高分解能画像を形成することができない。
　図１１Ｃは、被写体２の配置と照射方向との関係の他の一例を模式的に示す。図１１Ｃに示す例では、撮像面４Ａと被写体２との間隔ｄ３は、図１１Ａに示す例における間隔ｄ１よりも大きく、図１１Ｂに示す例における間隔ｄ２よりも小さい。この例では、矢印ＤＲｂで示す照射方向から被写体２を照射したとき、フォトダイオード４ｐには、領域Ｂ１のうちの一部を透過した光と、領域Ｂ１とは異なる領域を透過した光とが入射する。このときに得られるサブ画像では、領域Ｂ１の情報の一部が欠落している。したがって、矢印ＤＲａで示す照射方向から被写体２を照射したときに得られたサブ画像と、矢印ＤＲｂで示す照射方向から被写体２を照射したときに得られたサブ画像とを用いても、適切な高分解能画像を形成することはできない。
　図１１Ａ～図１１Ｃからわかるように、あるモジュールについて設定した複数の照射方向は、他のモジュールにおいて複数のサブ画像を取得するための照射方向として適切であるとは限らない。つまり、あるモジュールについて設定した複数の照射方向を他のモジュールにおける複数のサブ画像の取得にそのまま適用すると、それらの複数の照射方向に応じて取得した複数のサブ画像からは適切な高分解能画像を形成できないことがある。なお、複数のモジュールの間において被写体２の厚さにばらつきが存在する場合にも上記と同様の現象が生じる可能性がある。
　本発明者は、上記に鑑み検討を重ね、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性を向上させ得る画像取得装置（デジタイザ）、画像形成システムおよび画像形成方法を見出した。
　本開示の実施形態を詳細に説明する前に、まず、本開示の実施形態の概要を説明する。本開示の一態様である画像取得装置は、照明システムと、照射方向決定部とを備える。照明システムは、被写体を透過した照明光が撮像素子に入射するように被写体と撮像素子とが一体化されたモジュールに、被写体を基準とする複数の異なる照射方向から、順次、被写体を照射する。このモジュールは、被写体を基準とする複数の異なる照射方向に応じた複数の画像を撮像素子によって取得するように構成されている。照射方向決定部は、複数
の異なる照射方向に応じて複数の画像を撮像素子によって取得する前に、第１予備画像と、第２予備画像との間の差異に基づいて、複数の異なる照射方向を決定する。第１予備画像は、第１照射方向からの第１照明光で被写体が照射されているときに撮像素子によって取得された画像である。第２予備画像は、第２照射方向からの第２照明光で被写体が照射されているときに撮像素子によって取得された画像である。
　ある態様において、照射方向決定部は、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるように選択された第１照射方向および第２照射方向に基づいて、複数の異なる照射方向を決定する。
　ある態様において、照明システムは、第１照射方向および第２照射方向の少なくとも一方を変化させる。撮像素子は、第１照射方向および第２照射方向の少なくとも一方の変化に応じて１以上の第１予備画像および１以上の第２予備画像を取得する。照射方向決定部は、各々が第１予備画像および第２予備画像から構成される１以上の異なる画像セットから、第１予備画像と第２予備画像との間にある差異が所定レベルよりも小さな画像セットを決定し、当該画像セットに対応する第１照射方向および第２照射方向に基づいて、複数の異なる照射方向を決定する。
　ある態様において、照明システムは、第１照射方向および第２照射方向の少なくとも一方を変化させる。撮像素子は、第１照射方向および第２照射方向の少なくとも一方の変化に応じて１以上の第１予備画像および１以上の第２予備画像を取得する。照射方向決定部は、各々が第１予備画像および第２予備画像から構成される、予め設定された個数の異なる画像セットから、第１予備画像と第２予備画像との間にある差異が最小である画像セットを決定し、当該画像セットに対応する第１照射方向および第２照射方向に基づいて、複数の異なる照射方向を決定する。
　ある態様において、第１照射方向および第２照射方向は、被写体を基準にして対称な関係にある。
　ある態様において、差異は、第１予備画像における画素の輝度と、第２予備画像における画素の輝度とから規定される量である。
　ある態様において、照射方向決定部は、第１予備画像を構成する複数の画素の輝度と、第２予備画像を構成する複数の画素の輝度とを比較することにより、第１予備画像と第２予備画像との間にある差異を算出する。
　ある態様において、照射方向決定部は、第１予備画像および第２予備画像の少なくとも一方における画素の輝度を補正した後に、第１予備画像と第２予備画像との間にある差異を算出する。
　ある態様において、照射方向決定部は、撮像素子に対する被写体の高さを示す位置情報を取得し、位置情報に応じて複数の異なる照射方向を決定する。
　ある態様において、照明システムは、モジュールが着脱自在に装填されるように構成されたステージ、および、ステージの姿勢を変更可能に構成されたステージ駆動機構を有する。
　本開示の他の一態様である画像形成システムは、上記のいずれかに記載の画像取得装置と、複数の異なる照射方向に応じて取得した複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する画像処理装置とを備える。
　本開示のさらに他の一態様である画像形成方法は、被写体の第１予備画像を取得する工程と、被写体の第２予備画像を取得する工程と、被写体を基準とする複数の異なる照射方向を決定する工程と、複数の異なる照射方向に応じた複数の画像を取得する工程と、被写体の高分解能画像を形成する工程とを含む。第１予備画像を取得する工程において、被写体を透過した照明光が撮像素子に入射するように被写体と撮像素子とが一体化されたモジュールを第１照明光で第１照射方向から照射することによって第１予備画像を取得する。第２予備画像を取得する工程において、モジュールを第２照明光で第２照射方向から照射することによって第２予備画像を取得する。被写体を基準とする複数の異なる照射方向を決定する工程において、第１予備画像と第２予備画像との間の差異に基づいて、複数の異なる照射方向を決定する。複数の異なる照射方向に応じた複数の画像を取得する工程において、複数の異なる照射方向から、順次、被写体を照明光で照射することにより、複数の異なる照射方向に応じた複数の画像を取得する。被写体の高分解能画像を形成する工程において、複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する。
　ある態様において、第１予備画像を取得する工程は、第１照射方向を変えて複数回実行される。
　ある態様において、第２予備画像を取得する工程は、第２照射方向を変えて複数回実行される。
　ある態様において、第１照射方向および第２照射方向は、被写体を基準にして対称な関係にある。
　ある態様では、複数の異なる照射方向を決定する工程において、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向および第２照射方向に基づいて、複数の異なる照射方向が決定される。
　ある態様では、複数の異なる照射方向を決定する工程において、第１予備画像と第２予備画像との間にある差異が最小となるような第１照射方向および第２照射方向に基づいて、複数の異なる照射方向が決定される。
　ある態様において、差異は、第１予備画像における画素の輝度と第２予備画像における画素の輝度とから規定される量である。
　ある態様において、複数の異なる照射方向を決定する工程は、第１予備画像を構成する複数の画素の輝度と、第２予備画像を構成する複数の画素の輝度とを比較する工程を含む。
　ある態様による画像形成方法は、第２予備画像を取得する工程と、複数の異なる照射方向を決定する工程との間に、第２予備画像における画素の輝度を補正する工程を含む。
　以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　＜画像取得装置＞
　図１２は、本開示の実施形態による画像取得装置の構成の一例の概略を示す。図１２に示す画像取得装置１００ａは、照明システム３０を有する。図１２に例示する構成において、照明システム３０は、照明光を生成する光源３１、モジュール１０が着脱自在に装填されるように構成されたステージ３２、および、ステージ３２の姿勢を変更可能に構成されたステージ駆動機構３３を含んでいる。図１２は、ステージ３２にモジュール１０が装填された状態を模式的に示している。ただし、モジュール１０における封入剤６および透明プレート８の図示は省略している。モジュール１０は、画像取得装置１００ａに必須の構成要素ではない。
　モジュール１０は、ステージ３２に接続された状態において、被写体２を透過した照明光が撮像素子７に入射するような配置を有する。照明システム３０は、例えばステージ３２の姿勢を変化させることにより、被写体２を基準とする照射方向を変化させる。本明細書における「姿勢」の変化は、基準面に対する傾斜の変化、基準方位に対する回転角度の変化、および、基準点に対する位置の変化などを広く含む。被写体２を基準とする複数の異なる照射方向から、順次、光源３１によって生成された照明光で被写体２を照射する。照明システム３０の構成の詳細および動作の例は後述する。照射方向を変えて被写体２を照射することにより、複数の異なる照射方向に応じて異なる複数の画像（サブ画像）が撮像素子７によって取得される。得られた複数の画像を用いて、高分解能画像の形成が可能である。
　図１２に示す画像取得装置１００ａは、照射方向決定部４０ａを有する。この照射方向決定部４０ａは、撮像素子７による複数のサブ画像の取得時における複数の異なる照射方向を決定する。本開示の実施形態では、サブ画像の取得は、照射方向決定部によって決定された複数の異なる照射方向のもとで実行される。言い換えれば、本開示の実施形態におけるサブ画像は、照射方向決定部によって決定された複数の異なる照射方向に対応した複数の異なる画像である。後に詳しく説明するように、本開示の実施形態では、複数のサブ画像の取得に先立ち、１以上の第１予備画像の取得と１以上の第２予備画像の取得とを行う。照射方向決定部４０ａは、第１予備画像と第２予備画像との間の差異に基づいて、複数のサブ画像の取得時における複数の異なる照射方向を決定する。照射方向決定部４０ａの構成および動作の具体例は、後述する。
　次に、図１３Ａ～図１４Ｂを参照して、被写体を基準とする照明光の照射方向を変更する方法の一例を説明する。
　図１３Ａおよび図１３Ｂは、画像取得装置１００ａの例示的な外観を示す。図１３Ａに例示する構成において、画像取得装置１００ａは、光源３１およびステージ３２を含む本体１１０と、本体１１０に開閉可能に連結された蓋部１２０とを有している。蓋部１２０を閉じることにより、画像取得装置１００ａの内部に暗室を形成することができる（図１３Ｂ参照）。
　図示する例では、ステージ３２上にモジュール１０を保持するためのソケット１３０が接続されている。ソケット１３０は、ステージ３２に固定されていてもよいし、ステージ３２に着脱可能に構成されていてもよい。ここでは、ソケット１３０がステージ３２に着脱可能に構成されている構成を例示する。ソケット１３０は、例えば、モジュール１０が着脱可能に構成された下部基材１３２と、開口部Ａｐが形成された上部基材１３４とを含む。図１３Ａに例示する構成では、ソケット１３０は、下部基材１３２と上部基材１３４との間にモジュール１０を挟むことにより、モジュール１０を保持する。
　下部基材１３２は、モジュール１０の撮像素子７との電気的接続のための電気的接点を
有する電気接続部を有し得る。被写体の画像の取得時、撮像素子７の撮像面が光源３１に対向するようにしてモジュール１０が下部基材１３２に載せられる。このとき、電気接続部の電気的接点と撮像素子７の裏面電極５Ｂ（図８Ａおよび図８Ｂ参照）とが接触することにより、モジュール１０の撮像素子７と下部基材１３２の電気接続部とが電気的に接続される。
　図１３Ｃは、画像取得装置１００ａのステージ３２に対するソケット１３０の装填方法の一例を示す。図１３Ｃに例示する構成において、ソケット１３０は、底面から突出する電極１３６を有している。この電極１３６は、下部基材１３２の電気接続部の一部であり得る。また、図１３Ｃに示す例では、画像取得装置１００ａのステージ３２は、ジャック３６が設けられた取付部３４を有している。図１３Ｃに示すように、例えばモジュール１０を保持した状態のソケット１３０は、ジャック３６にソケット１３０の電極１３６が挿入されるようにしてステージ３２に装填される。これにより、ソケット１３０に保持されたモジュール１０中の撮像素子７と、画像取得装置１００ａとの間の電気的接続が確立される。ステージ３２は、モジュール１０を保持するソケット１３０が装填された状態においてイメージセンサ４の出力を受け取る回路を有し得る。本開示の実施形態では、画像取得装置１００ａは、ソケット１３０が有する電気接続部を仲立ちとして被写体２の画像を示す情報（画像信号あるいは画像データ）を取得する。
　なお、複数のモジュール１０を用いて複数の被写体の撮像を行う場合、モジュール１０と同数のソケット１３０を用意し、モジュール１０を保持した状態のソケット１３０を換装することによって撮像の対象を変更してもよい。あるいは、ステージ３２に１つのソケット１３０を取り付けた状態のままモジュール１０を換装することにより、撮像の対象を変更してもよい。
　図１３Ｃに示すように、ソケット１３０をステージ３２に装填することにより、ソケット１３０の底面と、取付部３４の上面とを密着させ得る。これにより、ステージ３２に対するソケット１３０の配置が固定される。したがって、ステージ３２と、ソケット１３０に保持されたモジュール１０との配置をステージ３２の姿勢の変化の前後において一定に保つことができる。典型的には、ステージ３２にソケット１３０が装填された状態において、モジュール１０の透明プレート８の主面とステージ３２とは、ほぼ平行である。
　図１４Ａは、照射方向を変更する方法の一例を示す。図示するように、ソケット１３０に保持されたモジュール１０に、光源３１から出射された照明光ＣＬが照射される。照明光ＣＬは、ソケット１３０に設けられた開口部Ａｐを介して、モジュール１０の被写体に入射する。被写体を透過した光が、モジュール１０の撮像素子７の撮像面に入射する。
　光源３１から出射される光は、典型的には、コリメートされた光である。ただし、被写体に入射する光が実質的に平行光であるとみなせる場合には、光源３１から出射される光はコリメートされた光でなくてもよい。
　光源３１は、例えばＬＥＤチップを含む。光源３１は、各々が異なる波長帯域にピークを有する複数のＬＥＤチップを含んでいてもよい。例えば、光源３１が、青色の光を出射するＬＥＤチップ、赤色の光を出射するＬＥＤチップ、および緑色の光を出射するＬＥＤチップを含んでいてもよい。複数の発光素子を近接（例えば１００μｍ程度）して配置した場合には、これらを点光源とみなし得る。
　互いに異なる色の光を出射する複数の発光素子を使用し、例えば、異なる色の光を照射方向ごとにタイムシーケンシャルに照射することにより、それぞれの色についての複数のサブ画像を取得することができる。例えば、青色サブ画像のセット、赤色サブ画像のセッ
ト、および緑色サブ画像のセットを取得してもよい。取得されたサブ画像のセットを用いれば、カラーの高分解能画像を形成することができる。例えば病理診断の場面では、カラーの高分解能画像を利用することにより、病変の有無などに関するより多くの有益な情報を得ることができる。光源３１として白色ＬＥＤチップを用い、かつ、光路上にカラーフィルタを配置することによって、互いに異なる色の照明光をタイムシーケンシャルに得てもよい。また、イメージセンサ４としてカラー撮像用のイメージセンサを用いてもよい。ただし、イメージセンサ４の光電変換部に入射する光量の低減を抑制する観点からは、カラーフィルタを配置しない構成の方が有利である。
　光源３１は、ＬＥＤに限定されず、白熱電球、レーザ素子、ファイバーレーザ、放電管などであってもよい。光源３１から出射される光は、可視光に限定されず、紫外線、赤外線などであってもよい。光源３１が有する発光素子の数および配置も任意に設定可能である。
　図１２および図１４Ａに示すように、画像取得装置１００ａは、ステージ駆動機構３３を有する。ステージ駆動機構３３は、ゴニオ機構、回転機構などを含み、本体１１０に対するステージ３２の傾斜および／またはステージ３２の中心を通る軸に関する回転角を変化させる。ステージ駆動機構３３が、ステージ３２を基準面（典型的には水平面）内において平行移動させることが可能なスライド機構を含んでいてもよい。
　ステージ駆動機構３３を動作させることにより、ステージ３２の姿勢を変化させることができる。ここでは、モジュール１０を保持した状態のソケット１３０がステージ３２に取り付けられているので、ステージ３２の姿勢を変化させることにより、モジュール１０の姿勢を変化させることができる。例えば、ステージ３２が基準面に対して傾斜していない時における照明光の入射方向がイメージセンサの撮像面の法線方向であるとする。ここでは、基準面に対するステージ３２の傾斜と基準面に対するモジュール１０の傾斜（透明プレート８の傾斜といってもよい。）との間の関係（例えば、平行）が、ステージ３２の姿勢の変化の前後において一定に保たれている。そのため、図１４Ｂに示すように、基準面に対してステージ３２を角度θだけ傾斜させると、被写体に入射する光線の方向も角度θだけ傾斜する。なお、図１４Ｂ中、破線Ｎは、イメージセンサの撮像面の法線を示している。
　このように、ステージ３２とともにモジュール１０の姿勢を変化させることにより、被写体２を基準として複数の異なる照射方向から、順次、照明光を被写体に照射することが可能である。したがって、被写体２を基準とする複数の異なる照射方向に応じた複数の画像をモジュール１０の撮像素子７によって取得することができる。被写体２を基準とする照射方向は、例えば、イメージセンサの撮像面の法線Ｎと被写体２への入射光線とがなす角（図１４Ｂに示す天頂角θ）、および撮像面上に設定した基準方位と入射光線の撮像面への射影とがなす角（方位角）の組によって表すことができる。
　なお、光源３１を画像取得装置１００ａ内において移動させたり、互いに異なる場所に配置された複数の光源を順次に点灯させたりすることによっても、複数の異なる照射方向から被写体２を照射することが可能である。例えば、光源３１と被写体２とを結ぶ方向に沿って光源３１を移動させることにより、照射方向を変更してもよい。ステージ３２の姿勢の変化と光源３１の移動とを組み合わせることによって照射方向を変化させてもよい。
　＜画像形成方法＞
　図１５は、本開示の実施形態による例示的な画像形成方法の概略を示す。図１５に例示する画像形成方法は、概略的には、第１予備画像を取得する工程（Ｓ２）と、第２予備画像を取得する工程（Ｓ４）と、第１予備画像と第２予備画像との間の差異に基づいて複数
の照射方向を決定する工程（Ｓ６）と、複数の照射方向に応じた複数の画像を取得する工程（Ｓ８）と、複数の画像を合成することによって高分解能画像を形成する工程（Ｓ１０）とを含む。
　第１予備画像および第２予備画像は、それぞれ、被写体と撮像素子とが一体化されたモジュール（例えば図８Ａおよび図８Ｂを参照して説明したモジュール１０）を照明光で第１照射方向および第２照射方向から照射することによって取得される、被写体の画像である。後に具体例を参照して詳しく説明するように、第１予備画像の取得は、第１照射方向を変えて複数回実行され得る。また、第２予備画像の取得も、第２照射方向を変えて複数回実行され得る。第１照射方向は、単一の方向に限定されず、複数の方向を含み得る。したがって、第１予備画像の数は、１つに限定されない。同様に、第２照射方向は、単一の方向に限定されず、複数の方向を含み得る。第２予備画像の数も、１つに限定されない。第１予備画像の取得および第２予備画像の取得の順序は、図１５に例示した順序に限定されない。
　第１予備画像および第２予備画像を取得した後、これらの間の差異に基づいて、高分解能画像を形成するためのサブ画像の取得時における複数の照射方向を決定する。本明細書における、第１予備画像および第２予備画像の間の「差異」は、ある１つの第１予備画像と、ある１つの第２予備画像とから構成される画像セットにおいて、その画像セットに含まれる第１予備画像と第２予備画像とから計算される、２つの画像間の類似性を示す値を広く含む。
　ある画像セットを構成する第１予備画像および第２予備画像のそれぞれについて、複数の画素を含む画像ブロックに着目する。第１予備画像および第２予備画像の間の「差異」として、これらの間における画素の輝度の差の絶対値の和（Sum  of Absolute Difference）または画素の輝度の差の２乗和（Sum of Squared Difference）を用いてもよい。ある
いは、テンプレートマッチングに用いられるNormalized Cross-Correlation、Zero-means
 Normalized  Cross-Correlationなども第１予備画像および第２予備画像の間の「差異」
として利用可能である。
　後に詳しく説明するように、第１予備画像と第２予備画像との間の差異に基づいて決定される複数の照射方向は、撮像素子に対する被写体の高さに応じた照射方向であり得る。本明細書において、撮像素子に対する被写体の高さは、被写体の厚さ方向における中心部から撮像面までの距離を意味する。本開示の実施形態では、第１予備画像と第２予備画像との間の差異に基づいて撮像素子に対する被写体の高さのおおよその目安が決定できれば十分である。被写体の厚さ方向における中心部から撮像面までの厳密な距離を求める必要はないし、撮像素子の撮像面に平行な面内における被写体のあらゆる部分について、撮像素子に対する被写体の高さを決定する必要もない。なお、被写体の画像の取得時における撮像素子の配置は、撮像面が水平であるような配置に限定されない。したがって、本明細書における「高さ」は、撮像素子の撮像面の法線方向に沿って測った長さを意味し、鉛直方向に沿って測った長さに限定されない。
　複数の照射方向の決定後、複数のサブ画像を取得する。詳細には、第１予備画像と第２予備画像との間の差異に基づいて決定された複数の照射方向から、順次、照明光を照射することにより、それらの複数の照射方向に応じた複数の画像（サブ画像）を取得する。
　複数の照射方向に応じた複数の画像を取得した後、複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する。高分解能画像の形成には、図１Ａ～図６を参照して説明した原理を適用することができる。本開示の実施形態によれば、高分解能画像の形成に使用できるサブ画像を確実に取得し得る。なお、上
述の各工程は、連続して実行される必要はない。
　＜複数の照射方向の決定に用いられる原理＞
　次に、図１６Ａ～図１７Ｂを参照して、本開示の実施形態における複数の照射方向の決定に用いられる原理を説明する。図１５を参照して説明したように、本開示の実施形態では、複数のサブ画像の取得に先立ち、予備的な撮像を実行する。この予備的な撮像において、１以上の第１予備画像および１以上の第２予備画像を取得する。第１予備画像は、第１照射方向からの照明光で照射されているときに撮像素子によって取得される画像である。第２予備画像は、第２照射方向からの照明光で照射されているときに撮像素子によって取得される画像である。以下に詳しく説明するように、本開示の実施形態における予備的な撮像では、被写体２における同一の領域を透過した光が、互いに異なるフォトダイオードに入射するような第１照射方向および第２照射方向の探索が実行される。以下では、簡単のため、図のｘ方向について２倍の高分解能化を実現する場合を例示する。以下に説明する原理は、イメージセンサの撮像面に平行な面内においてＮ倍の高分解能化を実現する場合にも同様に適用可能である。
　図１６Ａは、照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す。図１６Ａでは、実線の矢印ＤＲ１で示す第１照射方向と、実線の矢印ＤＲ２で示す第２照射方向との２つの照射方向をあわせて図示している。なお、これは説明の便宜のためにすぎず、第１照射方向からの照射および第２照射方向からの照射が同時に実行されるわけではない。他の図面においても複数の照射方向を１つの図に示すことがある。
　図１６Ａに示す例では、フォトダイオード４ｐａの直上に、被写体２の領域Ａ１が位置しており、フォトダイオード４ｐａに隣接するフォトダイオード４ｐｂの直上に、被写体２の領域Ａ２が位置している。ここでは、被写体２のうち、領域Ａ１と領域Ａ２との間にある領域Ｂ１に着目する。
　図示する例では、第１照射方向ＤＲ１から照射したとき、フォトダイオード４ｐａには、被写体２の領域Ｂ１を透過した光が入射する。すなわち、第１照射方向ＤＲ１からの照射のもとで取得される第１予備画像に含まれる複数の画素の輝度（画素値）のうち、フォトダイオード４ｐａに対応する画素の輝度は、被写体２の領域Ｂ１を透過した光の量を示す。一方、図示する例では、第２照射方向ＤＲ２から照射したときには、領域Ａ１の一部分を透過した光と領域Ｂ１の一部分を透過した光とが、フォトダイオード４ｐａに隣接するフォトダイオード４ｐｂに入射する。したがって、このとき、第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像に含まれる複数の画素の輝度のうち、フォトダイオード４ｐｂに対応する画素の輝度は、フォトダイオード４ｐａに対応する画素の輝度とは異なっている。
　次に、第２照射方向を変化させ、再度第２予備画像の取得を行ったとする（図１６Ｂ参照）。この例では、図１６Ｂに示す照射角度θ２２は、図１６Ａに示す照射角度θ２１よりも小さい。図１６Ｂに示す第２照射方向ＤＲ２のもとで照射を行ったときには、被写体２の領域Ｂ１を透過した光がフォトダイオード４ｐｂに入射する。すなわち、このときに得られた第２予備画像に含まれる複数の画素の輝度のうち、フォトダイオード４ｐｂに対応する画素の輝度は、第１予備画像に含まれる複数の画素の輝度のうち、フォトダイオード４ｐａに対応する画素の輝度とほぼ同じである。つまり、第１照射方向からの照射のもとで被写体２のある領域を透過した光が、あるフォトダイオード（ここではフォトダイオード４ｐａ）に入射し、かつ、第２照射方向からの照射のもとで被写体２のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオード（ここではフォトダイオード４ｐｂ）に入射するとき、これらのフォトダイオードによって得られる画素値の間の
差は極小になるといえる。
　図１６Ｃおよび図１６Ｄは、それぞれ、図１６Ｂに示す第１照射方向ＤＲ１からの照射のもとで取得される第１予備画像ＰＳ１および図１６Ｂに示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像ＰＳ２を模式的に示す。図１６Ｃにおける画素Ｐｐａおよび図１６Ｄにおける画素Ｐｐｂは、それぞれ、フォトダイオード４ｐａおよびフォトダイオード４ｐｂに対応する画素を示す。
　この例では、フォトダイオード４ｐａに対応する画素Ｐｐａの輝度と、フォトダイオード４ｐｂに対応する画素Ｐｐｂの輝度とは、ほぼ同じである。ただし、領域Ｂ１の情報を有する画素Ｐｐａおよび画素Ｐｐｂの位置は、第１予備画像ＰＳ１と第２予備画像ＰＳ２との間で１画素分だけずれている。図１６Ｃおよび図１６Ｄからわかるように、この例では、第１予備画像ＰＳ１の輝度分布と、第２予備画像ＰＳ２を図の左右方向に沿って１画素分シフトさせた画像の輝度分布とは、ほぼ一致する。本明細書において、「輝度分布」は、各画素の明るさを示す画素値の空間的な配置を意味する。
　図１６Ｅは、図１６Ａに示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像ＰＳ２２を模式的に示す。図１６Ｅにおける画素Ｐｐｂは、フォトダイオード４ｐｂに対応する画素を示す。図１６Ｅと図１６Ｃとの比較からわかるように、第１照射方向からの照射のもとでフォトダイオード４ｐａに入射する光と、第２照射方向からの照射のもとでフォトダイオード４ｐｂに入射する光との両方が、被写体２の領域Ｂ１を透過した光でない場合には、フォトダイオード４ｐａに対応する画素Ｐｐａの輝度と、フォトダイオード４ｐｂに対応する画素Ｐｐｂの輝度とは、ほぼ同じにはならない。
　図１７Ａを参照する。図１７Ａは、照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の他の一例を模式的に示す。図１７Ａは、図１６Ａおよび図１６Ｂに示す例よりもイメージセンサ４の撮像面４Ａからより遠くに被写体２が位置するモジュールを用いて、図１６Ｂに示す第１照射方向ＤＲ１および図１６Ｂに示す第２照射方向ＤＲ２から照射を行った場合を示している。
　図示する例では、第１照射方向ＤＲ１から照射したとき、フォトダイオード４ｐａには、被写体２の領域Ｂ１とは異なる領域を透過した光が入射する。また、第２照射方向ＤＲ２から照射したとき、フォトダイオード４ｐａに隣接するフォトダイオード４ｐｂには、被写体２のうち第１照射方向ＤＲ１からの照明光が通過する領域とも異なり、かつ、被写体２の領域Ｂ１とも異なる領域を透過した光が入射している。したがって、この例では、フォトダイオード４ｐａに対応する画素の輝度と、フォトダイオード４ｐｂに対応する画素の輝度とは異なる。このように、隣接する２つのフォトダイオードによって得られる画素値の間の差が極小になるような第１照射方向と第２照射方向との組み合わせは、モジュールごとに異なり得る。
　図１７Ｂは、図１７Ａに示す被写体２の領域Ｂ１を透過した光がフォトダイオード４ｐａおよびフォトダイオード４ｐｂにそれぞれ入射するような第１照射方向ＤＲ１および第２照射方向ＤＲ２を示す。ここでは、図１７Ｂに示す照射角度θ２３は、図１７Ａに示す照射角度θ２２よりも小さい。
　図示するように、第１照射方向および／または第２照射方向を適切に調整すれば、第１照射方向からの照明光と第２照射方向からの照明光とが、被写体２における同一の領域（ここでは領域Ｂ１）に入射するようにできる。また、被写体２における同一の領域を透過した光が、互いに隣接するフォトダイオード（ここではフォトダイオード４ｐａおよびフォトダイオード４ｐｂ）にそれぞれ入射するようにできる。このとき、互いに隣接するフ
ォトダイオードによって得られる画素値の間の差は極小となる。このことを言い換えれば、照射方向を変えながら第１予備画像および第２予備画像の撮像を行い、互いに隣接するフォトダイオードによって得られる画素値の間の差が極小となるような第１照射方向と第２照射方向との組み合わせを求めることにより、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。
　このように、第１予備画像および第２予備画像を比較することにより、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置がわかれば、複数のサブ画像の取得に適した複数の照射方向を例えば幾何学的に算出することが可能である。
　このように、本開示の実施形態によれば、複数のサブ画像の取得の前に、複数のサブ画像の取得に適した複数の照射方向を決定することが可能である。また、上述の手法をモジュールごとに適用すれば、複数のモジュールの間において撮像素子に対する被写体の高さにばらつきが存在する場合であっても、複数のサブ画像の取得に適した複数の照射方向をモジュールごとに算出することができる。これにより、高分解能画像のより確実な形成を実現し得る。
　また、図１６Ｂと図１７Ｂとの比較からわかるように、互いに隣接するフォトダイオードによって得られる画素値の間の差が極小となるような第１照射方向と第２照射方向との組み合わせは、撮像素子に対する被写体の高さに応じて異なり得る。このことを利用すれば、互いに隣接するフォトダイオードによって得られる画素値の間の差が極小となるような第１照射方向と第２照射方向との組み合わせを見つけることにより、撮像面と被写体との間隔を示す位置情報または撮像素子に対する被写体の高さを示す位置情報を得ることもできる。このような位置情報を利用して、モジュールごとに、被写体の高さに応じた適切な照射方向を決定してもよい。なお、複数のサブ画像の取得のための複数の照射方向の決定において、図１６Ｂに示す照射角度θ２２を求めることが出来ればよく、撮像素子に対する被写体の高さを示す位置の算出は必須ではない。
　＜画像形成システム＞
　以下、図面を参照しながら、本開示の実施形態による画像形成システム、および、画像取得装置の構成の具体例を説明する。
　図１８は、本開示の実施形態による画像形成システムの一例を示す。図１８に示す画像形成システム５００は、画像取得装置１００ａと、画像処理装置１５０とを有する。図１８では、照明システム３０の図示は省略されている。
　画像処理装置１５０は、汎用または専用のコンピュータ（あるいは汎用または専用のプロセッサ）によって実現され得る。画像処理装置１５０は、画像取得装置１００ａと一体であってもよいし、画像取得装置１００ａとは異なる別個の装置であってもよい。画像処理装置１５０は、画像取得装置１００ａと同じ場所に配置されている必要はない。例えば、画像取得装置１００ａとは異なる場所に画像処理装置１５０を配置し、インターネットなどのネットワークを介してこれらを接続してもよい。
　図１８に例示する構成において、画像処理装置１５０は、サブ画像取得部１５２および高分解能画像形成部１５４を有している。図１８に示す画像形成システム５００では、画像取得装置１００ａによって取得されたサブ画像のデータが画像処理装置１５０に送られる。画像処理装置１５０のサブ画像取得部１５２は、サブ画像のデータを取得する。画像
処理装置１５０の高分解能画像形成部１５４は、図１Ａ～図６を参照して説明した原理を用いて複数のサブ画像を合成し、サブ画像の各々よりも分解能の高い、被写体の高分解能画像を形成する。
　画像処理装置１５０は、画像取得装置１００ａの各部の動作を制御するための各種のコマンドを供給する制御装置としての機能を有し得る。ここでは、画像処理装置１５０が、画像取得装置１００ａの各部の動作を制御するための各種のコマンドを供給する制御装置１５６を備える構成を例示して説明する。もちろん、画像処理装置１５０と制御装置１５６とが別個の装置であるような構成を有するシステムも可能である。例えば、インターネットなどのネットワークを介して制御装置１５６と画像処理装置１５０とを接続してもよい。制御装置１５６とは別の場所に設置された画像処理装置１５０が、画像取得装置１５０ａによって取得されたサブ画像のデータを受け取り、高分解能画像の形成を実行するような構成であってもよい。
　＜照射方向決定部の構成および動作の具体例１＞
　図１８に例示する構成において、画像取得装置１００ａは、照射方向決定部４０ａと、メモリ５０とを有する。照射方向決定部４０ａの全体または一部は、デジタルシグナルプロセッサ（digital  signal processor（DSP））、ＡＳＩＣ（application specific integrated  circuit）、ＡＳＳＰ（Application Specific Standard Produce）、ＦＰＧＡ（Field Programmable  Gate  Array）、マイクロコンピュータなどによって構成され得る。図示する例では、照射方向決定部４０ａは、第１予備画像取得部１０２、第２予備画像取得部１０４、比較対象画素値算出部１０６ａ、差異算出部１０８、判定部１１０、および照射方向算出部１１２を含んでいる。これらは、それぞれが別個のプロセッサであってもよいし、これらの２以上が１つのプロセッサに含まれていてもよい。
　メモリ５０の例は、ＲＡＭである。メモリ５０は、ＲＡＭに限定されず、公知の記憶装置を用いることができる。照射方向決定部４０ａがその一部にメモリ５０を有する構成であってもよい。メモリ５０には、例えば、第１照射方向ＤＲ１および第２照射方向ＤＲ２（例えば図１６Ａ参照）を示す情報が格納される。下記の表１は、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報の一例を示す。
Figure JPOXMLDOC01-appb-T000001
　ここでは、第１照射方向ＤＲ１を示す第１照射角度の値および第２照射方向ＤＲ２を示す第２照射角度の値がメモリ５０に格納されている。表１に示す第１照射角度の値および第２照射角度の値は、例えば、図１４Ｂに示す角度θの大きさに対応する。表１中、第１列に示すＩＤは、第１照射角度および第２照射角度の組を識別するためのインデックスである。第１照射角度および第２照射角度の組の数、第１照射角度の値および第２照射角度
の値などは任意に設定が可能である。表１に示すリストでは、第１照射角度の値および第２照射角度の値は、それぞれ、５°ステップで設定されている。また、表１に示すリストでは、同一のＩＤにおける第２照射角度の値は、第１照射角度の値に－１を乗じた値である。
　図１９は、画像形成システム５００における動作の一例を示す。図１９に示す例では、まず、ステップＳ１２において、メモリ５０に格納されている第１および第２照射角度のリストに、まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かが判定される。ここでは、第１および第２照射角度の値の取得はまだ行われていないので、処理はステップＳ１４に進められる。まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かの判定は、例えば、第１予備画像取得部１０２または第２予備画像取得部１０４によって実行され得る。
　次に、ステップＳ１４において、第１予備画像取得部１０２および第２予備画像取得部１０４により、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報が、それぞれ、メモリ５０から読み出される。ここでは、第１照射角度の値として－５°が読み出され、第２照射角度の値として５°が読み出される。表１からわかるように、この例では、第１照射方向ＤＲ１および第２照射方向ＤＲ２は、被写体を基準として対称な関係にある。
　次に、ステップＳ１６において、第１予備画像取得部１０２による制御に基づき、第１予備画像が取得される。第１予備画像の取得は、被写体を基準とする照射方向が－５°である状態で実行される。ここでは、照明システム３０（例えば図１４Ａ参照）のステージ駆動機構３３により、ステージ３２の傾斜が変更された後、被写体が照明光で照射される。このときに取得された第１予備画像を示す情報は、メモリ５０に一時的に格納される。
　次に、ステップＳ１８において、第２予備画像取得部１０４による制御に基づき、第２予備画像が取得される。このとき、被写体を基準とする照射方向が５°となるようにステージ３２の傾斜が変更される。その後、被写体の撮像が実行される。取得された第２予備画像を示す情報は、メモリ５０に一時的に格納される。
　次に、ステップＳ２０において、比較対象画素値取得部１０６ａにより、比較対象画素値が取得される。ここでは、被写体２のうち、互いに隣接する２つのフォトダイオードの直上に位置する２つの領域の間にある領域を透過した光がこれらのフォトダイオードに入射するような第１照射方向および第２照射方向の探索を行う。そのため、第１予備画像における画素の輝度と第２予備画像における画素の輝度との比較を行う場合、これらの予備画像内において同じ位置にある画素同士の輝度を比較するのではなく、ある位置にある画素の輝度と、その位置から１画素分ずれた画素の輝度とを比較する（図１６Ｃおよび図１６Ｄ参照）。ここでは、フォトダイオード４ｐａに対応する画素Ｐｐａの輝度と、フォトダイオード４ｐｂに対応する画素Ｐｐｂの輝度とを比較する例を説明する。つまり、ここでは、比較対象画素値取得部１０６ａは、フォトダイオード４ｐａに隣接しているフォトダイオード４ｐｂに対応する画素Ｐｐｂの輝度を取得する。
　次に、ステップＳ２２において、差異算出部１０８により、第１予備画像と第２予備画像との間の差異が算出される。例えば、第１予備画像と第２予備画像との間の差異として、第１予備画像における画素の輝度と、第２予備画像における画素の輝度との差の絶対値が算出される。ここでは、簡単のため、フォトダイオード４ｐａに対応する画素Ｐｐａの輝度と、比較対象画素値取得部１０６ａによって取得された、フォトダイオード４ｐｂに対応する画素Ｐｐｂの輝度との差の絶対値を算出する例を説明する。もちろん、第１予備画像および第２予備画像のそれぞれから２以上の画素を選択し、画素の輝度の比較を行っ
てもよい。例えば、第１予備画像における１つの画素と、その画素に対応する、第２予備画像における１つの画素とから構成される複数の画素の組のそれぞれについて画素間の輝度の差の絶対値を算出し、それらの平均値を第１予備画像と第２予備画像との間の差異として用いてもよい。
　次に、ステップＳ２４において、ステップＳ２２において算出された差異が所定レベル以上であるか否かが判定部１１０によって判定される。第１予備画像と第２予備画像との間の差異が、予め設定しておいた所定レベルよりも小さい場合、第１照射方向からの照射のもとで被写体２の領域Ｂ１を透過した光が、フォトダイオード４ｐａに入射し、かつ、第２照射方向からの照射のもとで被写体２の領域Ｂ１を透過した光が、フォトダイオード４ｐｂに入射すると判断できる。第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向と第２照射方向との組み合わせがわかれば、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置を知ることができる。
　判定のためのレベルは、適宜設定可能である。例えば、撮像素子に対する被写体の高さが分かっているモジュールを用いて判定のためのレベルを決定してもよい。撮像素子に対する被写体の高さが分かっているモジュールを用いれば、第１照射方向からの照射のもとで被写体２の領域Ｂ１を透過した光、および、第２照射方向からの照射のもとで被写体２の領域Ｂ１を透過した光が、互いに隣接するフォトダイオードの各々に入射するときにおける、第１予備画像と第２予備画像との間の差異の大きさを求めることが可能である。この差異の大きさを判定のためのレベルとして利用してもよい。
　第１予備画像と第２予備画像との間の差異が所定レベルよりも小さいと判定された場合には、処理がステップＳ２６に進められる。一方、第１予備画像と第２予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップＳ１２に戻される。
　処理がステップＳ１２に戻されると、メモリ５０に格納されている第１および第２照射角度のリストに、まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かの判定が再び実行される。ここでは、表１に示すＩＤが２～７である第１および第２照射角度の値の取得はまだ行われていないので、処理はステップＳ１４に進められる。その後、ステップＳ１４において、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報が、それぞれ、メモリ５０から読み出される。この例では、ＩＤが２である第１照射角度の値および第２照射角度の値が読み出される。第１および第２照射角度の値の取得後、上述のステップＳ１６～ステップＳ２４が再度実行される。ステップＳ１６では、被写体を基準とする照射方向が照明システム３０によって－１０°に変更された状態で第１予備画像の取得が実行される。また、ステップＳ１８では、被写体を基準とする照射方向が照明システム３０によって１０°に変更された状態で第２予備画像の取得が実行される。ステップＳ２４において、新たに取得された第１予備画像と第２予備画像との間の差異が所定レベル以上と判定されると、処理がステップＳ１２に戻され、ステップＳ１２～Ｓ２４の処理が繰り返される。リストに含まれる第１および第２照射角度のうち、まだ選択されていないＩＤに対応する第１および第２照射角度が存在しない場合には、これ以上の第１および第２照射角度の値の取得は行われず、処理が終了する。この場合は、サブ画像の取得に適した複数の照射方向を決定できないので、例えば、画像取得装置１００ａの使用者に対して、エラーの通知、リストの更新を促す情報の表示などが実行される。
　ステップＳ２６では、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向および第２照射方向に基づいて、照射方向算出部１１２により、サブ画像の取得に用いる複数の照射方向が算出される。算出された複数の照射方向を
示す情報は、メモリ５０に保存され、後述するサブ画像取得のステップにおいて使用される。複数の照射方向は、撮像素子に対する被写体の高さを示す位置情報、フォトダイオードの配列ピッチなどを用いて算出され得る。これにより、複数の照射方向が決定される。複数の照射方向が決定された状態とは、例えば複数の照射方向を示す情報（例えば複数の照射角度の値）がメモリなどに保持されることにより、複数の照射方向を指定可能な状態を意味する。なお、サブ画像の取得に用いる複数の照射方向は、第１予備画像の取得に用いられる第１照射方向および第２予備画像の取得に用いられる第２照射方向から選択される照射方向に限定されず、これらとは異なる方向であり得る。
　次に、ステップＳ２８において、照射方向算出部１１２によって算出された複数の照射方向に応じた複数のサブ画像が取得される（図２Ａ～図５Ｂ参照）。次に、ステップS３
０において、取得された複数のサブ画像を用いて、被写体の高分解能画像の形成が実行される（図６参照）。
　図１９に示す例では、撮像素子により、第１照射方向および第２照射方向の変化に応じて１以上の第１予備画像および１以上の第２予備画像が取得される。これにより、各々が第１予備画像および第２予備画像を有する１以上の異なる画像セットを構成することが可能である。照射方向決定部４０ａは、これらの画像セットのうちから、第１予備画像と第２予備画像との間にある差異が所定レベルよりも小さな画像セットを決定する。また、照射方向決定部４０ａは、当該画像セットに対応する第１照射方向および第２照射方向に基づいて、複数の異なる照射方向を決定する。
　本開示の実施形態によれば、個々のモジュールに応じて、サブ画像の取得に適した複数の照射方向を決定することができる。個々のモジュールに応じた適切な照射方向のもとでサブ画像を取得することにより、適切な高分解能画像の形成を実現し得る。したがって、本開示の実施形態によれば、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性が向上する。
　なお、図１９に示す例では、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向および第２照射方向が見つかると、第１照射方向および第２照射方向の探索が打ち切られる。しかしながら、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような複数の第１照射方向および第２照射方向の組を決定し、複数の第１および第２照射方向を利用して複数の異なる照射方向を決定してもよい。
　＜照射方向決定部の構成および動作の具体例２＞
　図２０は、本開示の実施形態による画像形成システムの他の一例を示す。図２０に示す画像取得装置１００ｂが有する照射方向決定部４０ｂと、照射方向決定部４０ａ（図１８参照）との相違点は、照射方向決定部４０ｂが、比較対象画素値算出部１０６ａに代えて輝度正規化部１０５ｂおよび比較対象画像生成部１０６ｂを有している点である。
　図２１は、画像形成システム５００における動作の他の一例を示す。以下に説明する例では、第１予備画像の輝度分布と、第２予備画像の輝度分布との間の比較を行う。言い換えれば、第１予備画像を構成する複数の画素の輝度と、第２予備画像を構成する複数の画素の輝度とを比較することにより、サブ画像の取得に用いる複数の異なる照射方向を決定する。
　以下に説明する例では、第１予備画像の取得の回数は、１回である。一方、第２予備画像の取得は、第２照射方向を変えて複数回実行される。したがって、ここでは、メモリ５０に、第２照射方向ＤＲ２を示す情報が格納されている。下記の表２は、第２照射方向Ｄ
Ｒ２を示す情報の一例を示す。
Figure JPOXMLDOC01-appb-T000002
　まず、ステップＳ１６において、第１予備画像が取得される。ここでは、第１予備画像の取得は、被写体を基準とする照射方向が０°である状態で実行される。このときに取得された第１予備画像を示す情報は、メモリ５０に一時的に格納される。
　次に、ステップＳ３２において、メモリ５０に格納されている第２照射角度のリストに、まだ選択されていないＩＤに対応する第２照射角度の値があるか否かが判定される。ここでは、第２照射角度の値の取得はまだ行われていないので、処理はステップＳ３４に進められる。
　次に、ステップＳ３４において、第２予備画像取得部１０４により、第２照射方向ＤＲ２を示す情報がメモリ５０から読み出される。ここでは、第２照射角度の値として５°が読み出される。
　次に、ステップＳ１８において、第２予備画像が取得される。このとき、被写体を基準とする照射方向が５°である状態で第２予備画像の取得が実行される。取得された第２予備画像を示す情報は、メモリ５０に一時的に格納される。
　次に、ステップＳ３６において、輝度正規化部１０５ｂにより、取得された第２予備画像に対して輝度正規化が施される。本明細書において、「輝度正規化」は、輝度正規化の対象の画像に含まれる複数の画素の輝度の和が、基準となる画像に含まれる複数の画素の輝度の和と等しくなるように、各画素の輝度を定数倍する処理を意味する。
　ここで説明する例では、第１照射方向ＤＲ１が撮像素子の撮像面の法線方向に平行であることに対して、表２からわかるように、第２照射方向ＤＲ２は、撮像素子の撮像面の法線方向に対して傾いている。すなわち、第１照射方向ＤＲ１から照射したときよりも第２照射方向ＤＲ２から照射したときの方が、被写体を透過した光が撮像面に達するまでに進む距離は大きい。そのため、モジュール内における吸収、散乱などの影響により、第１予備画像と比較して第２予備画像が全体として暗くなることがある。第１予備画像の全体的な輝度の大きさと第２予備画像の全体的な輝度の大きさの間の差が大きいと、第１予備画像と第２予備画像との間の差異の大きさを正しく評価できないおそれがある。
　図２１に示す例では、第２予備画像に対して輝度正規化を行う。これにより、第２予備画像における各画素の輝度が適切な大きさに補正され得る。したがって、第１予備画像と第２予備画像との間の差異の大きさのより正確な評価が可能になる。
　次に、ステップＳ３８において、比較対象画像生成部１０６ｂにより、第２予備画像を所定の画素数だけシフトさせた画像（以下、単に「シフト画像」と呼ぶことがある。）が生成される。この例では、輝度正規化後の第２予備画像を１画素分シフトさせた画像を生成する。
　図２２を参照する。図２２は、具体例２における第１照射方向ＤＲ１と第２照射方向ＤＲ２の一例を模式的に示す。図２２に示す例では、第１照射方向ＤＲ１から照射したとき、被写体２のうち、フォトダイオード４ｐａの直上にある領域Ａ１を透過した光が、フォトダイオード４ｐａに入射している。また、第２照射方向ＤＲ２から照射したとき、被写体２のうち、領域Ａ１を透過した光が、フォトダイオード４ｐａに隣接するフォトダイオード４ｐｂに入射している。したがって、図２２に示すような第１照射方向ＤＲ１および第２照射方向ＤＲ２からの照射のもとでは、図１６Ｃに示す第１予備画像ＰＳ１と同様の第１予備画像と、図１６Ｄに示す第２予備画像ＰＳ２と同様の第２予備画像とが得られる。これに対し、被写体２のうち、領域Ａ１以外の領域を透過した光が、フォトダイオード４ｐｂに入射するような第２照射方向ＤＲ２のもとでは、図１６Ｅに示す第２予備画像ＰＳ２２と同様の第２予備画像が得られる。
　図２３Ａは、図２２に示す第２照射方向ＤＲ２からの照射のもとで取得される第２予備画像から生成されるシフト画像ＰＳ３２を模式的に示す。図２３Ｂは、図２２に示す第２照射方向ＤＲ２とは異なる照射方向からの照射のもとで取得される第２予備画像から生成されるシフト画像ＰＳ４２を模式的に示す。図２３Ａと図１６Ｃとの比較からわかるように、第１照射方向からの照射のもとで被写体２のある領域を透過した光が、あるフォトダイオードに入射し、かつ、第２照射方向からの照射のもとで被写体２のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオードに入射するとき、第１予備画像の輝度分布と、第２予備画像から生成されるシフト画像の輝度分布とは、ほぼ一致する。これに対し、図２３Ｂと図１６Ｃとの比較からわかるように、他の第２照射方向のもとで取得された第２予備画像から生成されるシフト画像の輝度分布は、第１予備画像の輝度分布とは異なる。したがって、第１照射方向からの照射のもとで被写体２のある領域を透過した光が、あるフォトダイオードに入射し、かつ、第２照射方向からの照射のもとで被写体２のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオードに入射するとき、第１予備画像と第２予備画像の間の差異が極小になるといえる。したがって、図１６Ａ～図１７Ｂを参照して説明した例と同様に、第１予備画像と第２予備画像の間の差異が極小になるような第１照射方向と第２照射方向との組み合わせを求めることにより、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。
　次に、ステップＳ２２（図２１）において、第１予備画像と第２予備画像との間の差異が算出される。例えば、第１予備画像における画素の輝度と、第２予備画像から生成されたシフト画像における画素の輝度との差の絶対値を各画素について算出し、これらの絶対値の和を第１予備画像と第２予備画像との間の差異とする。あるいは、第１予備画像における画素の輝度と、第２予備画像から生成されたシフト画像における画素の輝度との差の２乗を各画素について算出してそれらを足し合わせることによって求めた分散を第１予備画像と第２予備画像との間の差異としてもよい。
　次に、ステップＳ２４において、ステップＳ２２において算出された差異が所定レベル以上であるか否かが判定される。第１予備画像と第２予備画像との間の差異が所定レベルよりも小さい場合、図２２～図２３Ｂを参照して説明したように、第１照射方向からの照射のもとで被写体２のある領域を透過した光が、あるフォトダイオードに入射し、かつ、第２照射方向からの照射のもとで被写体２のその領域を透過した光が、そのフォトダイオードに隣接するフォトダイオードに入射すると判断できる。したがって、このときの第１
照射方向と第２照射方向との組み合わせから、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置を知ることができる。このように、第１予備画像および第２予備画像のいずれか一方を所定の画素数だけシフトさせた画像を生成し、その画像と他方の画像との比較を行うことにより、第１予備画像と第２予備画像とを比較してもよい。
　第１予備画像と第２予備画像との間の差異が所定レベルよりも小さいと判定された場合には、処理がステップＳ２６に進められる。以降の処理は、図１９を参照して説明した処理と同様であるので、説明を省略する。一方、第１予備画像と第２予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップＳ３２に戻される。その後、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向と第２照射方向との組み合わせが見つかるまで、上述のステップＳ３４～Ｓ２４が繰り返される。表２に示すリストに含まれる全ての第２照射角度について評価を行っても、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さくなるような第１照射方向と第２照射方向との組み合わせが見つからない場合、処理は終了される。
　上記の具体例２では、第１予備画像の取得は１回であり、１つの第１予備画像と、複数の第２照射方向に応じて取得された第２予備画像との間の比較を行う。したがって、第１照射方向および第２照射方向の両方について複数回の撮像を行う場合と比較して、複数の照射方向の決定に要する処理の時間を短縮することが可能である。なお、複数の第２予備画像の取得を行った後に第１予備画像を取得してもよい。
　また、上記の具体例２では、第２予備画像の輝度正規化の後に、第１予備画像と第２予備画像との間にある差異を算出している。これにより、第１予備画像と第２予備画像との間の差異の大きさのより正確な評価が可能になる。輝度正規化を施す対象は、第１照射方向および第２照射方向の設定に応じて適宜設定可能である。輝度正規化は、第１予備画像および第２予備画像のいずれか一方または両方に対して実行されてもよい。輝度正規化は、輝度正規化の対象の取得と、複数の異なる照射方向の決定との間において実行されればよい。
　＜照射方向決定部の構成および動作の具体例３＞
　図２４は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図２４に示す画像取得装置１００ｃが有する照射方向決定部４０ｃと、照射方向決定部４０ｂ（図２０参照）との相違点は、照射方向決定部４０ｃが、輝度正規化部１０５ｂを有しておらず、比較対象画像生成部１０６ｃに接続されたシフト量保持部１０７ｃを有している点である。シフト量保持部１０７ｃは、公知のメモリ素子によって実現され得る。シフト量保持部１０７ｃは、メモリ５０の一部であってもよい。
　以下に説明する、照射方向決定部の動作の例では、第１予備画像の取得および第２予備画像の取得は、１回ずつ行われる。下記の表３は、メモリ５０に格納される、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報の一例を示す。この例では、第１照射方向ＤＲ１および第２照射方向ＤＲ２は、被写体を基準として対称な関係にある。
Figure JPOXMLDOC01-appb-T000003
　上述の具体例２では、第１予備画像および第２予備画像のいずれか一方を１画素分だけ
シフトさせたシフト画像を生成し、そのシフト画像と他方の画像との比較を行うことにより、第１予備画像と第２予備画像とを比較している。しかしながら、シフト画像生成において、取得された画像を何画素分だけシフトさせるかを示すシフト量は、１に限定されない。以下に説明するように、第１予備画像および第２予備画像のうちのいずれか一方を用いて、シフト量が異なる複数のシフト画像を生成し、これらと他方との間の比較を行ってもよい。
　図２５は、具体例３における第１照射方向ＤＲ１と第２照射方向ＤＲ２の一例を模式的に示す。図２５に示す例において、第１照射方向ＤＲ１からの照射のもとでは、被写体２のうち、フォトダイオード４ｐａの直上に位置する領域Ａ１を透過した光が、フォトダイオード４ｐａの左側に隣接するフォトダイオード４ｐｃに入射する。また、第２照射方向ＤＲ２からの照射のもとでは、被写体２のうち、領域Ａ１を透過した光が、フォトダイオード４ｐａの右側に隣接するフォトダイオード４ｐｂに入射する。したがって、図２５に示すような第１照射方向ＤＲ１および第２照射方向ＤＲ２のもとでは、第１予備画像の輝度分布と、第２予備画像を図の左右方向に沿って２画素分シフトさせた画像の輝度分布とが、ほぼ一致する。すなわち、シフト量を１以外に設定したときに、第１予備画像と第２予備画像との間の差異が極小になることがあり得る。第１照射方向ＤＲ１および第２照射方向ＤＲ２を固定して、第１予備画像と第２予備画像との間の差異が極小となるようなシフト量を求めることにより、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。
　図２６は、画像形成システム５００における動作のさらに他の一例を示す。まず、ステップＳ１４において、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報が、それぞれ、メモリ５０から読み出される。ここでは、第１照射角度の値として－３０°が読み出され、第２照射角度の値として３０°が読み出される。
　次に、ステップＳ１６において、第１予備画像が取得される。ここでは、第１予備画像の取得は、被写体を基準とする照射方向が－３０°である状態で実行される。このときに取得された第１予備画像を示す情報は、メモリ５０に一時的に格納される。
　次に、ステップＳ１８において、第２予備画像が取得される。このとき、被写体を基準とする照射方向が３０°である状態で第２予備画像の取得が実行される。取得された第２予備画像を示す情報は、メモリ５０に一時的に格納される。
　次に、ステップＳ４０において、比較対象画像生成部１０６ｃにより、シフト量保持部１０７ｃからシフト量が読み出される。ここでは、シフト量の初期値が、１に設定される。
　次に、ステップＳ３８において、比較対象画像生成部１０６ｃにより、第１予備画像または第２予備画像のいずれか一方を１画素分だけシフトさせたシフト画像が生成される。ここでは、第２予備画像からシフト画像を生成する例を説明する。
　次に、ステップＳ２２において、第１予備画像およびシフト画像の間の差異が算出される。
　次に、ステップＳ２４において、算出された差異が所定レベル以上であるか否かが判定される。第１予備画像およびシフト画像の間の差異が所定レベルよりも小さいと判定された場合には、処理がステップＳ２６に進められる。ステップＳ２６以降の処理は、図１９を参照して説明した処理と同様である。
　第１予備画像と第２予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップＳ４２に進められる。ステップＳ４２において、比較対象画像生成部１０６ｃによりシフト量が更新（典型的にはインクリメント）される。例えば、シフト量が１だけ増加され、シフト量が２に設定される。
　ステップＳ４２の後、処理がステップＳ３８に戻される。ステップＳ３８において、第２予備画像を２画素分だけシフトさせたシフト画像が生成される。その後、ステップＳ２２において、新たに生成されたシフト画像と、第１予備画像との間の差異が算出される。さらに、ステップＳ２４において、算出された差異が所定レベル以上であるか否かが判定される。すなわち、この例では、第１予備画像およびシフト画像の間の差異が極小となるようなシフト量が見つかるまで、シフト量を変えて、第１予備画像およびシフト画像の間の差異の評価が実行される。なお、シフト量の更新の回数は、適宜設定可能である。また、シフト量の初期値は、１に限定されず、例えば０であってもよい。
　上記の具体例３では、第１予備画像の取得および第２予備画像の取得はともに１回である。したがって、複数の照射方向の決定に要する処理の時間をより短縮することが可能である。第２予備画像の取得を行った後に第１予備画像を取得してもよい。
　＜照射方向決定部の構成および動作の具体例４＞
　図２７は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図２７に示す画像取得装置１００ｄが有する照射方向決定部４０ｄと、照射方向決定部４０ｂ（図２０参照）との相違点は、照射方向決定部４０ｄが、判定部１１０に代えて差異保持部１１１ｄを有している点である。差異保持部１１１ｄは、公知のメモリ素子によって実現され得る。差異保持部１１１ｄは、メモリ５０の一部であってもよい。
　上述の具体例１～３では、第１予備画像と第２予備画像との間の差異が所定レベルよりも小さいと判定されると、差異の算出はそれ以上実行されない。以下に説明する例では、１以上の第１予備画像の取得および１以上の第２予備画像の取得を行い、各々が第１予備画像および第２予備画像から構成される、予め設定された個数の異なる画像セットを用意する。そして、各画像セットにおける、第１予備画像と第２予備画像との間にある差異を算出し、これらの画像セットの間で、差異の評価を行う。以下に説明する例では、複数の画像セットから、差異が最小である画像セットを決定する。図２２～図２３Ｂを参照して説明した理由と同様の理由から、第１予備画像と第２予備画像との間にある差異がなるべく小さくなるような第１および第２照射方向の組み合わせは、サブ画像の取得に用いる複数の照射方向の算出に適していると考えられる。そこで、以下に説明する例では、差異が最小である画像セットを決定した後、その画像セットに対応する第１照射方向および第２照射方向に基づいて、サブ画像の取得に用いる複数の異なる照射方向を決定する。
　図２８は、画像形成システム５００における動作のさらに他の一例を示す。ここでは、メモリ５０に、上述の表２と同様の、第２照射方向ＤＲ２を示す情報のリストが格納されている。
　まず、ステップＳ１６において、第１予備画像が取得される。第１予備画像の取得時における、被写体を基準とする照射方向は、例えば０°である。このときに取得された第１予備画像を示す情報は、メモリ５０に一時的に格納される。
　次に、ステップＳ３２において、メモリ５０に格納されている第２照射角度のリストに、まだ選択されていない第２照射角度の値があるか否かが判定される。ここでは、第２照射角度の値の取得はまだ行われていないので、処理はステップＳ３４に進められる。
　図２８に示すステップＳ３４～ステップＳ３８までの処理は、図２１を参照して説明した具体例２における処理と同様であるので説明を省略する。ステップＳ３８の実行後、ステップＳ２２において、第１予備画と第２予備画像との間の差異が算出される。ここで算出された差異は、第１照射角度が０°のもとで取得された第１予備画像と、第２照射角度が５°のもとで取得された第２予備画像とから構成される画像セットに対応する差異である。この例では、差異の算出後、算出された差異を示す情報が差異保持部１１１ｄに一時的に格納される。
　その後、処理がステップＳ３２に戻され、ステップＳ３４～ステップＳ２２の処理が繰り返される。すなわち、第１照射角度が０°のもとで取得された第１予備画像と、第２照射角度を変えて取得される第２予備画像とから構成される複数の画像セットの全てについて、第１予備画像と第２予備画像との間の差異が算出される。なお、表２の第１列に示すＩＤを、各画像セットを識別するためのインデックスとして利用することが可能である。メモリ５０に格納されているリストに含まれる全てのＩＤについて第１予備画像と第２予備画像との間の差異の算出が終了すると、処理がステップＳ４４に進められる。
　ステップＳ４４では、照射方向算出部１１２ｄによって、差異保持部１１１ｄに格納されている差異のデータのうちから最小の差異が決定される。言い換えれば、ステップＳ４４において、照射方向算出部１１２ｄは、最小の差異を与える画像セットを決定する。
　次に、ステップＳ２６において、照射方向算出部１１２ｄにより、最小の差異を与える画像セットに対応する第１照射方向および第２照射方向に基づいて、サブ画像の取得に用いる複数の異なる照射方向が算出される。以降の処理は、図１９を参照して説明した処理と同様である。このように、複数の画像セットの中から第１予備画像と第２予備画像との間にある差異が最小である画像セットを抽出し、その画像セットに対応する第１照射方向および第２照射方向に基づいて、サブ画像の取得に用いる複数の異なる照射方向を決定してもよい。
　＜照射方向決定部の構成および動作の具体例５＞
　図２９は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図２９に示す画像取得装置１００ｅが有する照射方向決定部４０ｅと、照射方向決定部４０ｂ（図２０参照）との相違点は、照射方向決定部４０ｅが、予備画像保持部１０１ｅをさらに有している点である。予備画像保持部１０１ｅは、公知のメモリ素子によって実現され得る。予備画像保持部１０１ｅは、メモリ５０の一部であってもよい。
　例えば、上述の具体例２では、第２予備画像の取得が、第１予備画像と第２予備画像との間にある差異の算出ごとに第２照射角度を変えて実行される。言い換えれば、各ＩＤに応じて取得された第２予備画像のそれぞれは、第１予備画像と第２予備画像との間にある差異の算出において１度だけ用いられる。しかしながら、以下に説明するように、互いに異なる照射角度に応じて取得された第１予備画像および／または第２予備画像を、互いに異なるＩＤの間で２度以上使用してもよい。
　図３０は、画像形成システム５００における動作のさらに他の一例を示す。図３０に示す例では、まず、ステップＳ１２において、メモリ５０に格納されている第１および第２照射角度のリストに、まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かが判定される。ここでは、第１および第２照射角度の値の取得はまだ行われていないので、処理はステップＳ１４に進められる。下記の表４は、メモリ５０に格納される、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報の一例を示す。この例では、一部の照射角度の値が複数のＩＤ間において共通している。
また、一部の照射角度の値が第１照射角度と第２照射角度との間において共通している。
Figure JPOXMLDOC01-appb-T000004
　次に、ステップＳ１４において、第１照射方向ＤＲ１を示す情報および第２照射方向ＤＲ２を示す情報が、それぞれ、メモリ５０から読み出される。ここでは、第１照射角度の値として０°が読み出され、第２照射角度の値として５°が読み出される。
　次に、ステップＳ４６において、照射角度が０°のもとで取得された予備画像（第１予備画像または第２予備画像）のデータが予備画像保持部１０１ｅに保存されているか否かが第１予備画像取得部１０２によって判定される。この時点では、まだ第１予備画像の取得も第２予備画像の取得も行われていない。そのため、処理はステップＳ１６に進められる。ステップＳ１６では、第１照射角度が０°のもとで第１予備画像が取得される。このときに取得された第１予備画像を示す情報は、予備画像保持部１０１ｅに一時的に格納される。一方、照射角度が０°のもとで取得された予備画像のデータが既に予備画像保持部１０１ｅに格納されている場合には、ステップＳ１６における第１予備画像の取得の処理はスキップされる。
　次に、ステップＳ４８において、照射角度が５°のもとで取得された予備画像のデータが予備画像保持部１０１ｅに保存されているか否かが第２予備画像取得部１０４によって判定される。この時点では、予備画像保持部１０１ｅには、照射角度が０°のもとで取得された第１予備画像のデータだけが保存されている。そのため、処理がステップＳ１８に進められる。ステップＳ１８では、第２照射角度が５°のもとで第２予備画像が取得される。このときに取得された第２予備画像を示す情報は、予備画像保持部１０１ｅに一時的に格納される。一方、照射角度が５°のもとで取得された予備画像のデータが既に予備画像保持部１０１ｅに格納されている場合には、ステップＳ１８における第２予備画像の取得の処理はスキップされる。
　次に、ステップＳ３８において、第２予備画像からシフト画像が生成される。その後、ステップＳ２２において、第１予備画像と第２予備画像との間の差異が算出される。必要に応じて、差異の算出に先立ち、輝度正規化部１０５ｂにより輝度正規化を行う。ここでは、予備画像保持部１０１ｅに保存されている第１予備画像のデータと、ステップＳ３８において生成されたシフト画像のデータとを利用して、第１予備画像と第２予備画像との間の差異が算出される。
　次に、ステップＳ２４において、ステップＳ２２において算出された差異が所定レベル以上であるか否かが判定される。第１予備画像と第２予備画像との間の差異が所定レベルよりも小さいと判定された場合には、処理がステップＳ２６に進められる。一方、第１予備画像と第２予備画像との間の差異が所定レベル以上であると判定された場合には、処理
はステップＳ１２に戻される。
　処理がステップＳ１２に戻されると、まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かの判定が再び実行される。ここでは、表４に示すＩＤが２～６である第１および第２照射角度の値の取得はまだ行われていないので、処理はステップＳ１４に進められる。
　次に、ステップＳ１４において、ＩＤが２である第１照射角度の値および第２照射角度の値が読み出される。すなわち、ここでは、第１照射角度の値として５°が読み出され、第２照射角度の値として１５°が読み出される。
　次に、ステップＳ４６において、照射角度が５°のもとで取得された予備画像のデータが予備画像保持部１０１ｅに保存されているか否かが判定される。この例では、照射角度が５°のもとで取得された第２予備画像のデータが予備画像保持部１０１ｅに保存されている。したがって、ここでは、ステップＳ１６はスキップされ、第１予備画像の取得は実行されない。
　次に、ステップＳ４８において、照射角度が１５°のもとで取得された予備画像のデータが予備画像保持部１０１ｅに保存されているか否かが判定される。この例では、照射角度が１５°のもとで取得された第１予備画像のデータも、照射角度が１５°のもとで取得された第２予備画像のデータも、予備画像保持部１０１ｅに保存されてない。したがって、処理がステップＳ１８に進められる。そして、ステップＳ１８において、第２照射角度が１５°のもとで第２予備画像が取得される。このときに取得された第２予備画像を示す情報も、予備画像保持部１０１ｅに一時的に格納される。
　次に、ステップＳ３８において、第２照射角度が１５°のもとで取得された第２予備画像からシフト画像が生成される。
　次に、ステップＳ２２において、第１予備画像と第２予備画像との間の差異が算出される。このとき、予備画像保持部１０１ｅに保存されている、照射角度が５°のもとで取得された第２予備画像のデータが、照射角度が５°のもとで取得された第１予備画像のデータとして用いられる。すなわち、ここでは、予備画像保持部１０１ｅに保存されている、照射角度が５°のもとで取得された第２予備画像のデータと、第２照射角度が１５°のもとで取得された第２予備画像から生成されたシフト画像とを利用して差異が算出される。このように、図３０に示す例では、第１照射角度および第２照射角度のリスト中に同一の角度の値が複数個存在する場合には、既に取得されている予備画像のデータを利用して、第１予備画像と第２予備画像との間の差異が算出される。これにより、異なるＩＤごとに第１予備画像および第２予備画像の撮像を行う場合と比較して、撮像の回数を低減することができる。
　次に、ステップＳ２４において、ステップＳ２２において算出された差異が所定レベル以上であるか否かが判定される。第１予備画像と第２予備画像との間の差異が所定レベル以上であると判定された場合には、処理はステップＳ１２に戻される。
　処理がステップＳ１２に戻されると、まだ選択されていないＩＤに対応する第１照射角度の値および第２照射角度の値があるか否かの判定が再び実行され、処理がステップＳ１４に進められる。
　次に、ステップＳ１４において、ＩＤが３である第１照射角度の値および第２照射角度の値が読み出される。すなわち、ここでは、第１照射角度の値として０°が読み出され、
第２照射角度の値として１５°が読み出される。
　次に、ステップＳ４６において、照射角度が０°のもとで取得された予備画像のデータが予備画像保持部１０１ｅに保存されているか否かが判定される。この例では、照射角度が０°のもとで取得された第１予備画像のデータが予備画像保持部１０１ｅに保存されている。したがって、ここでは、ステップＳ１６はスキップされる。
　また、ステップＳ４８において、照射角度が１５°のもとで取得された予備画像のデータが予備画像保持部１０１ｅに保存されているか否かが判定される。この例では、照射角度が１５°のもとで取得された第２予備画像のデータが予備画像保持部１０１ｅに保存されている。したがって、ここでは、ステップＳ１８もスキップされる。
　その後、ステップＳ３８において、予備画像保持部１０１ｅに保存されている、第２照射角度が１５°のもとで取得された第２予備画像から、シフト画像が生成され、ステップＳ２２において、第１予備画像と第２予備画像との間の差異が算出される。このとき、予備画像保持部１０１ｅに保存されている、照射角度が０°のもとで取得された第１予備画像のデータと、ステップＳ３８において生成されたシフト画像とを利用して差異が算出される。
　このように、既に取得されている予備画像のデータを利用して第１予備画像と第２予備画像との間の差異を算出する場合には、異なる照射方向ごとに１度ずつ撮像を行えばよい。これにより、撮像に要する時間を短縮して、複数の照射方向の決定に要する処理の時間を短縮することが可能である。なお、メモリ５０が予備画像保持部１０１ｅの機能を有する場合には、図２０に示す照射方向決定部４０ｂと同様の構成によっても、図３０を参照して説明した動作を実現し得る。
　＜複数の照射方向の決定に用いられる原理の他の例＞
　次に、図３１～図３３を参照して、本開示の実施形態における複数の照射方向の決定に適用可能な原理の他の一例を説明する。以下に説明する例では、概略的には、撮像素子の撮像面の法線方向から被写体を照射することによって第１予備画像を取得するとともに、取得された第１予備画像からシフト画像を生成する。また、照射方向（第２照射方向）を変えながら撮像を行い、複数の第２予備画像を取得する。これにより、複数の第２照射方向に対応した複数の画像セットを構成することができる。その後、各画像セットについて、第１予備画像と第２予備画像との間の類似度、および、シフト画像と第２予備画像との間の類似度から計算される評価関数の値を求める。各画像セットについて求めた評価関数の値に基づき、サブ画像の取得に用いる複数の照射方向を決定する。以下では、簡単のため、ｘ方向について２倍の高分解能化を実現する場合を例示する。
　図３１は、イメージセンサ４の撮像面４Ａの法線方向から被写体を照射した状態を模式的に示す。図３１に示す状態においては、被写体２のうち、領域Ａ１を透過した光線が、フォトダイオード４ｐａに入射し、被写体２のうち、領域Ａ２を透過した光線が、ｘ方向に沿ってフォトダイオード４ｐａに隣接するフォトダイオード４ｐｂに入射している。図３１に示す照射方向ＤＲａのもとでフォトダイオード４ｐａによって取得される画素の輝度は、被写体２の領域Ａ１を透過した光の量を示す。また、図３１に示す照射方向ＤＲａのもとでフォトダイオード４ｐｂによって取得される画素の輝度は、被写体２の領域Ａ２を透過した光の量を示す。このとき、イメージセンサ４の撮像面４Ａの法線Ｎ（図３１において不図示）と被写体２への入射光線とがなす角をΓとすると、Γ＝０である。以下では、図３１に示す照射方向ＤＲａのもとでフォトダイオード４ｐａによって取得される画素の輝度およびフォトダイオード４ｐｂによって取得される画素の輝度を、それぞれ、Ｘａ0およびＸｂ0と表記する。
　図３２は、図３１に示す状態から、撮像面４Ａの法線Ｎと被写体２への入射光線とがなす角度Γを大きくしたときにおける、照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す。図３２に示す照射方向ＤＲｂのもとでは、被写体２のうち、領域Ａ１の一部と、領域Ａ１および領域Ａ２の間に位置する領域Ｂ１の一部とを透過した光線が、フォトダイオード４ｐａに入射している。ここで、撮像面４Ａの法線Ｎと被写体２への入射光線とがなす角の大きさをΓｂ（Γｂ＞０）とし、フォトダイオード４ｐａによって取得される画素の輝度をＸａΓbとすれば、輝度ＸａΓbは、被写体２のうち、図３２において太い線の矩形により示される領域Ｋｂを透過した光の量を示す。領域Ｋｂは、領域Ａ１の一部を含み、領域Ａ２を含んでいない。そのため、輝度ＸａΓbは、一般に、上述の輝度Ｘｂ0よりも輝度Ｘａ0に近い値を示す。なお、ここでは、Γ≠
０である状態において撮像を行ったときに得られた輝度の値に対しては、輝度正規化が施されているとする。以下の説明においても同様である。
　図３３は、図３２に示す状態から、角度Γをさらに大きくしたときにおける、照明光の照射方向と、被写体２のうち、照明光が透過する領域との関係の一例を模式的に示す。図３３に示す照射方向ＤＲｃのもとでは、被写体２のうち、領域Ｂ１の一部と、領域Ａ２の一部とを透過した光線が、フォトダイオード４ｐａに入射している。撮像面４Ａの法線Ｎと被写体２への入射光線とがなす角の大きさをΓｃ（Γｃ＞Γｂ）とし、フォトダイオード４ｐａによって取得される画素の輝度をＸａΓcとすれば、輝度ＸａΓcは、被写体２のうち、図３３において太い線の矩形により示される領域Ｋｃを透過した光の量を示す。領域Ｋｃは、領域Ａ２の一部を含み、領域Ａ１を含んでいない。そのため、輝度ＸａΓcは
、一般に、輝度Ｘａ0よりも輝度Ｘｂ0に近い値を示す。
　図３３に示す状態から角度Γをさらに大きくすると、ある角度において、被写体２のうち、領域Ａ２を透過した光線がフォトダイオード４ｐａに入射する。このとき、フォトダイオード４ｐａによって取得される画素の輝度の値は、輝度Ｘｂ0にほぼ一致する。つま
り、このときに得られる被写体２の画像の輝度分布は、図３１に示す照射方向ＤＲａのもとで取得される画像を１画素分シフトさせた画像の輝度分布と一致するといってよい。図１Ａ～図６を参照して説明した原理から明らかなように、フォトダイオード４ｐａによって取得される画素の輝度の値が輝度Ｘｂ0にほぼ一致するような照射方向のもとで被写体
２の画像を取得しても、その時に得られる画像は、高分解能化には役立たない。図１Ａ～図６を参照して説明した原理では、被写体２の異なる部分から構成される像を含む複数のサブ画像を用いて高分解能画像を形成するからである。
　以上のことから、サブ画像の取得に適した照射方向は、図３１に示す照射方向と、フォトダイオード４ｐａによって取得される画素の輝度の値が輝度Ｘｂ0にほぼ一致するよう
な照射方向との間に存在すると考えられる。特に、被写体２の領域Ａ１と領域Ａ２の間に位置する領域Ｂ１を透過した光線がフォトダイオード４ｐａ（あるいはフォトダイオード４ｐｂ）に入射するような照射方向を見つけることができれば有益である。言い換えれば、撮像面４Ａの法線方向からの照射方向のもとで取得される被写体２の画像と、撮像面４Ａの法線方向からの照射方向のもとで取得される被写体の画像を１画素だけ－ｘ方向にシフトさせた画像のいずれとも異なる画像を取得できるような照射方向を見つければよい。以下、このような照射方向を探索する方法の具体例を説明する。
　以下の２つの関数Ｅ0（Γ）およびＥs（Γ）を定義する。
　　Ｅ0（Γ）＝Σ’（Ｘi 0－Ｘi（Γ））2　・・・　（１）
　　Ｅs（Γ）＝Σ’（Ｘi s－Ｘi（Γ））2　・・・　（２）
　式（１）および式（２）中、下付きのｉは、取得された画像に含まれる画素を指定する
インデックスである（ｉ＝１，２，…，Ｍ、Ｍは整数）。式（１）中、Ｘi 0は、撮像面４Ａの法線方向からの照射方向のもとで取得されたｉ番目の画素の輝度の値を表す。式（１）および式（２）中、Ｘi（Γ）は、撮像面４Ａの法線方向から角度Γだけ傾斜した照射
方向のもとで取得されたｉ番目の画素の輝度の値を表す。Ｘi 0およびＸi（Γ）は、ｉ番
目のフォトダイオードによって取得された画素の輝度の値である。式（２）中、Ｘi sは、撮像面４Ａの法線方向からの照射方向のもとで取得される画像を１画素だけ－ｘ方向にシフトさせた画像（シフト画像）に含まれる画素のうちのｉ番目の画素の輝度の値を表す。Ｘi sは、（ｉ＋１）番目のフォトダイオードによって取得された画素の輝度の値であり、ここでは、Ｘi sは、Ｘi+1 0にほぼ等しい。なお、このシフト画像はＭ番目の画素を有しない。
　式（１）および式（２）における和Σ’は、インデックスｉに関する和を表す。この和は、複数の画素について評価を行う場合に実行する。和は、例えば、ｉ＝１～（Ｍ－１）の範囲にわたってとる。代表的な画素についてのみ和を求めてもよい。ある固定されたインデックスｉの画素についてのみ評価を行う場合には、ｉに関する和をとる必要はない。
　式（１）の関数Ｅ0（Γ）の値は、撮像面４Ａの法線方向からの照射方向のもとで取得
された被写体の画像と、撮像面４Ａの法線方向から角度Γだけ傾斜した照射方向のもとで取得された被写体の画像との間の類似度を示すといえる。一方、式（２）の関数Ｅs（Γ
）の値は、撮像面４Ａの法線方向からの照射方向のもとで取得された被写体の画像を１画素だけ－ｘ方向にシフトさせた画像と、撮像面４Ａの法線方向から角度Γだけ傾斜した照射方向のもとで取得された被写体の画像との間の類似度を示すといえる。特に、Ｅ0（０
）＝０であり、また、フォトダイオード４ｐａによって取得される画素の輝度の値が輝度Ｘｂ0にほぼ一致するような照射方向のもとでは、Ｅs（Γ）はほぼ０である。
　次に、上述の関数Ｅ0（Γ）およびＥs（Γ）を用いて下記の評価関数Ｆ（Γ）を定義する。
　　Ｆ（Γ）＝（Ｅ0（Γ）Ｅs（Γ））／（Ｅ0（Γ）＋Ｅs（Γ））　・・・　（３）
　式（３）を用いて計算されるＦ（Γ）の値は、第１予備画像および第２予備画像の間の「差異」の一例である。ここで、関数Ｅ0（Γ）およびＥs（Γ）は、一方が大きな値をとると、それに対応して他方は小さな値をとると考えられる。このことから、撮像面４Ａの法線方向からの照射方向のもとで取得される被写体２の画像と、撮像面４Ａの法線方向からの照射方向のもとで取得される被写体の画像を１画素だけ－ｘ方向にシフトさせた画像のいずれとも異なる画像を取得できるような照射方向を示す角度Γでは、上述の関数Ｆ（Γ）が極大になると考えられる。つまり、Ｆ（Γ）が極大値をとるような角度Γを求めることにより、サブ画像の取得に適した照射方向を見つけることが可能である。このように、Ｆ（Γ）が極大値をとるような角度Γを求めることにより、被写体２において光線の通過する領域と透過光線の入射するフォトダイオードとの間の相対的なおおよその配置をサブ画像の取得の前に知ることが可能である。
　＜照射方向決定部の構成および動作の具体例６＞
　図３４は、本開示の実施形態による画像形成システムのさらに他の一例を示す。図３４に示す画像取得装置１００ｆが有する照射方向決定部４０ｆと、照射方向決定部４０ｂ（図２０参照）との相違点は、照射方向決定部４０ｆが、比較対象画像生成部１０６ｂを有しておらず、第１予備画像取得部１０２に接続された比較対象画像生成部１０６ｆを有している点である。また、判定部１１０に代えて、差異保持部１１１ｄを有している点である。
　図３５は、画像形成システム５００における動作の他の一例を示す。以下に説明する例
では、図３１～図３３を参照して説明した原理を利用して、複数の照射方向を決定する。以下に説明する例では、図２１を参照して説明した具体例２における処理と同様、第１予備画像の取得の回数は、１回である。また、第２予備画像の取得は、第２照射方向を変えて複数回実行される。ここでは、メモリ５０に、第２照射方向ＤＲ２を示す情報が格納されている。下記の表５は、第２照射方向ＤＲ２を示す情報の一例を示す。
Figure JPOXMLDOC01-appb-T000005
　まず、ステップＳ１６において、第１予備画像が取得される。ここでは、第１予備画像の取得は、被写体を基準とする照射方向が０°である状態で実行される。このときに取得された第１予備画像を示す情報は、メモリ５０に一時的に格納される。
　次に、ステップＳ５０において、比較対象画像生成部１０６ｆにより、第１予備画像を１画素だけ－ｘ方向にシフトさせたシフト画像が生成される。
　次に、ステップＳ３２において、メモリ５０に格納されている第２照射角度のリストに、まだ選択されていないＩＤに対応する第２照射角度の値があるか否かが判定される。ここでは、第２照射角度の値の取得はまだ行われていないので、処理はステップＳ３４に進められる。
　次に、ステップＳ３４において、第２予備画像取得部１０４により、第２照射方向ＤＲ２を示す情報がメモリ５０から読み出される。ここでは、第２照射角度の値として２°が読み出される。
　次に、ステップＳ１８において、第２予備画像が取得される。このとき、被写体を基準とする照射方向が２°である状態で第２予備画像の取得が実行される。取得された第２予備画像を示す情報は、メモリ５０に一時的に格納される。
　次に、ステップＳ３６において、輝度正規化部１０５ｂにより、取得された第２予備画像に対して輝度正規化が施される。
　次に、ステップＳ５２において、上述した式（３）を用いて評価関数Ｆ（Γ）の値を計算する。評価関数Ｆ（Γ）の値の計算は、例えば差異算出部１０８ｆによって実行される。計算結果は、このときのＩＤ（つまり、照射角度）と関連付けられて差異保持部１１１ｄに一時的に格納される。
　その後、処理はステップＳ３２に戻され、上述のステップＳ３２～Ｓ５２が繰り返される。メモリ５０に格納されている第２照射角度のリストに含まれるＩＤの全てのついて評価関数Ｆ（Γ）の値が得られると、処理はステップＳ５４に進められる。
　次に、ステップＳ５４において、差異保持部１１１ｄに格納されている評価関数Ｆ（Γ）の値の比較が行われ、評価関数Ｆ（Γ）の極大を与えるＩＤが決定される。評価関数Ｆ（Γ）の値の比較は、例えば照射方向算出部１１２によって実行される。図３１～図３３を参照して説明したように、Ｆ（Γ）が極大値をとるような角度Γは、サブ画像の取得に適した照射方向を示すといえる。
　次に、ステップＳ５６において、評価関数Ｆ（Γ）の極大を与えるＩＤに基づいて、照射方向算出部１１２により、サブ画像の取得に用いる複数の照射方向が決定あるいは算出される。複数の照射方向を示す情報は、メモリ５０に保存され、後述するサブ画像取得のステップにおいて使用される。
　以降の処理は、図１９を参照して説明した処理と同様である。例えば、照射角度０°と、評価関数Ｆ（Γ）の極大を与えるＩＤの照射角度とでそれぞれサブ画像の取得を行い、これらのサブ画像を用いて高分解能画像の形成を行う。
　この具体例における第２の照射角度は、任意に設定可能である。ｘ方向についてＮ倍の高分解能化を行う場合には、撮像素子の撮像面の法線方向と、フォトダイオード４ｐａによって取得される画素の輝度の値が輝度Ｘｂ0にほぼ一致するような照射方向との間にお
いて、少なくともＮ個の異なる照射方向に関して評価関数Ｆ（Γ）の値を求めればよい。Ｎ個の異なる照射方向は、撮像面から光源までの距離およびフォトダイオードの配列ピッチなどを用いて算出され得る。撮像素子の撮像面の法線方向に関して対称にＮ個の異なる照射方向を設定してもよい。Ｎ個の異なる照射方向の間隔が等間隔である必要はない。ｙ方向あるいはｕ方向などについても、上記の例と同様にサブ画像の取得に適した照射方向を決定することができる。したがって、イメージセンサの撮像面に平行な面内においてＮ倍の高分解能化ももちろん可能である。
　＜モジュールに用いられるイメージセンサ＞
　なお、本開示の実施形態において、イメージセンサ４は、ＣＣＤイメージセンサに限定されず、ＣＭＯＳ（Complementary Metal-Oxide  Semiconductor）イメージセンサ、また
は、その他のイメージセンサ（一例として、後述する光電変換膜積層型イメージセンサ）であってもよい。ＣＣＤイメージセンサおよびＣＭＯＳイメージセンサは、表面照射型または裏面照射型のいずれであってもよい。以下、イメージセンサの素子構造と、イメージセンサのフォトダイオードに入射する光の関係を説明する。
　図３６は、ＣＣＤイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。図３６に示すように、ＣＣＤイメージセンサは、概略的には、基板８０と、基板８０上の絶縁層８２と、絶縁層８２内に配置された配線８４とを有している。基板８０には、複数のフォトダイオード８８が形成されている。配線８４上には、遮光層（図３６において不図示）が形成される。ここでは、トランジスタなどの図示は省略している。以下の図面においてもトランジスタなどの図示を省略する。なお、概略的には、表面照射型ＣＭＯＳイメージセンサにおけるフォトダイオード近傍の断面構造は、ＣＣＤイメージセンサにおけるフォトダイオード近傍の断面構造とほぼ同様である。そのため、ここでは、表面照射型ＣＭＯＳイメージセンサの断面構造の図示および説明を省略する。
　図３６に示すように、照明光が撮像面の法線方向から入射する場合、被写体のうち、フォトダイオード８８の直上にある領域Ｒ１を透過した照射光は、フォトダイオード８８に入射する。一方、被写体のうち、配線８４上の遮光層の直上にある領域Ｒ２を透過した照射光は、イメージセンサの遮光領域（遮光膜が形成された領域）に入射する。したがって、撮像面の法線方向から照射した場合には、被写体のうち、フォトダイオード８８の直上
にある領域Ｒ１を示す画像が得られる。
　遮光膜の直上にある領域を示す画像を取得するためには、領域Ｒ２を透過した光がフォトダイオード８８に入射するように、撮像面の法線方向に対して傾いた方向から照射を行えばよい。このとき、照射方向によっては、領域Ｒ２を透過した光のうちの一部が、配線８４によって遮られることがある。図示する例では、ハッチングによって示す部分を通る光線はフォトダイオード８８には届かない。そのため、斜め入射においては、画素値が幾分低下することがある。しかしながら、透過光の全てが遮られるわけではないので、このときに得られたサブ画像を用いた高分解能画像の形成は可能である。
　図３７Ａおよび図３７Ｂは、裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。図３７Ａに示すように、裏面照射型ＣＭＯＳイメージセンサでは、斜め入射の場合であっても透過光が配線８４によって遮られることがない。ただし、被写体のうち、撮像を行いたい領域とは異なる他の領域を透過した光（図３７Ａおよび後述する図３７Ｂ中、太い矢印ＢＡで模式的に示す光）が基板８０に入射することによってノイズが発生し、サブ画像の品質が劣化するおそれがある。このような劣化は、図３７Ｂに示すように、基板においてフォトダイオードが形成された領域以外の領域上に遮光層９０を形成することにより低減することが可能である。
　図３８は、有機材料または無機材料で形成した光電変換膜を備えるイメージセンサ（以下、「光電変換膜積層型イメージセンサ」と呼ぶ。）の断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。
　図３８に示すように、光電変換膜積層型イメージセンサは、概略的には、基板８０と、複数の画素電極が設けられた絶縁層８２と、絶縁層８２上の光電変換膜９４と、光電変換膜９４上の透明電極９６とを有している。図示するように、光電変換膜積層型イメージセンサでは、半導体基板に形成されるフォトダイオードの代わりに、光電変換を行う光電変換膜９４が基板８０（例えば半導体基板）上に形成されている。光電変換膜９４および透明電極９６は、典型的には、撮像面の全体にわたって形成される。ここでは、光電変換膜９４を保護する保護膜の図示を省略している。
　光電変換膜積層型イメージセンサでは、光電変換膜９４における入射光の光電変換によって発生した電荷（電子または正孔）が画素電極９２によって集められる。これにより、光電変換膜９４に入射した光の量を示す値が得られる。したがって、光電変換膜積層型イメージセンサでは、撮像面において、１つの画素電極９２を含む単位領域が１つの画素に相当するといえる。光電変換膜積層型イメージセンサでは、裏面照射型ＣＭＯＳイメージセンサと同様に斜め入射の場合であっても透過光が配線によって遮られることがない。
　図１Ａ～図６を参照して説明したように、高分解能画像の形成においては、被写体の異なる部分から構成される像を示す複数のサブ画像が用いられる。ところが、典型的な光電変換膜積層型イメージセンサでは、撮像面の全体にわたって光電変換膜９４が形成されているので、例えば垂直入射の場合であっても、被写体の所望の領域以外の領域を透過した光によっても光電変換膜９４において光電変換が生じ得る。このときに発生した余分な電子または正孔が画素電極９２に引き込まれると、適切なサブ画像が得られないおそれがある。したがって、画素電極９２と透明電極９６とが重なる領域（図３８において網掛けされた領域）において発生した電荷を画素電極９２に選択的に引き込むことが有益である。
　図３８に例示する構成では、画素電極９２のそれぞれと対応して、画素内にダミー電極９８が設けられている。被写体の像の取得時、画素電極９２とダミー電極９８との間には、適切な電位差が与えられる。これにより、画素電極９２と透明電極９６とが重なる領域
以外の領域で発生した電荷をダミー電極９８に引き込み、画素電極９２と透明電極９６とが重なる領域で発生した電荷を選択的に画素電極９２に引き込むことができる。なお、透明電極９６または光電変換膜９４のパターニングによっても、同様の効果を得ることが可能である。このような構成においては、画素の面積Ｓ１に対する画素電極９２の面積Ｓ３の比率（Ｓ３／Ｓ１）が、「開口率」に相当するということができる。
　既に説明したように、Ｎを２以上の整数とするとき、イメージセンサ４の開口率が近似的に１／Ｎに等しければ、最大Ｎ倍の高分解能化が可能になる。言い換えれば、開口率が小さい方が高分解能化には有利である。光電変換膜積層型イメージセンサでは、画素電極９２の面積Ｓ３を調整することによって、開口率に相当する比率（Ｓ３／Ｓ１）を調整することが可能である。この比率（Ｓ３／Ｓ１）は、例えば１０％～５０％の範囲に設定される。比率（Ｓ３／Ｓ１）が上記の範囲内にある光電変換膜積層型イメージセンサは、超解像に用いられ得る。
　なお、図３６および図３７Ｂからわかるように、ＣＣＤイメージセンサおよび表面照射型ＣＭＯＳイメージセンサにおいて被写体と対向する表面は平坦ではない。例えば、ＣＣＤイメージセンサでは、その表面に段差が存在する。また、裏面照射型ＣＭＯＳイメージセンサでは、高分解能画像を形成するためのサブ画像を取得するには、パターニングされた遮光層を撮像面上に設けることが必要であり、被写体と対向する表面は平坦ではない。
　これに対し、光電変換膜積層型イメージセンサの撮像面は、図３８からわかるように、ほぼ平坦な面である。したがって、撮像面上に被写体を配置した場合であっても、撮像面の形状に起因する被写体の変形がほとんど生じない。言い換えれば、光電変換膜積層型イメージセンサを用いてサブ画像を取得することによって、被写体のより詳細な構造を観察し得る。
　本明細書において説明される上述の種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。
　本開示の実施形態によれば、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の適用を容易にし得る、画像取得装置、画像形成方法および画像形成システムの少なくともいずれかが提供される。高分解能画像は、例えば病理診断の場面において有益な情報を提供する。
　２　　被写体
　７　　撮像素子
　８　　透明プレート
　１０　　モジュール
　３０　　照明システム
　３１　　光源
　３２　　ステージ
　３３　　ステージ駆動機構
　４０ａ～４０ｆ　　照射方向決定部
　１００ａ～１００ｆ　　画像取得装置
　１５０　　画像処理装置
　５００　　画像形成システム

Claims (20)

  1. 　被写体と撮像素子とが一体化されたモジュールの前記被写体に対して複数の異なる照射方向から、順次、光照射する照明システムと、
    　　前記モジュールは、前記被写体を透過した照明光が前記撮像素子に入射するように前記被写体と前記撮像素子とが一体化されており、
    　　前記撮像素子は、前記複数の異なる照射方向に応じた複数の画像を取得し、
    　前記複数の異なる照射方向に応じて前記複数の画像を前記撮像素子によって取得する前に、第１照射方向からの第１照明光で前記被写体が照射されているときに前記撮像素子によって取得された第１予備画像と、第２照射方向からの第２照明光で前記被写体が照射されているときに前記撮像素子によって取得された第２予備画像との間の差異に基づいて、前記複数の異なる照射方向を決定する照射方向決定部と、
    　を備える画像取得装置。
  2. 　前記照射方向決定部は、前記第１予備画像と前記第２予備画像との間の差異が所定レベルよりも小さくなるように選択された前記第１照射方向および前記第２照射方向に基づいて、前記複数の異なる照射方向を決定するように構成されている、請求項１に記載の画像取得装置。
  3. 　前記照明システムは、前記第１照射方向および前記第２照射方向の少なくとも一方を変化させ、
    　前記撮像素子は、前記第１照射方向および前記第２照射方向の前記少なくとも一方の変化に応じて１以上の前記第１予備画像および１以上の前記第２予備画像を取得し、
    　前記照射方向決定部は、各々が前記第１予備画像および前記第２予備画像から構成される１以上の異なる画像セットから、前記第１予備画像と前記第２予備画像との間にある差異が前記所定レベルよりも小さな画像セットを決定し、当該画像セットに対応する前記第１照射方向および前記第２照射方向に基づいて、前記複数の異なる照射方向を決定するように構成されている、請求項２に記載の画像取得装置。
  4. 　前記照明システムは、前記第１照射方向および前記第２照射方向の少なくとも一方を変化させ、
    　前記撮像素子は、前記第１照射方向および前記第２照射方向の前記少なくとも一方の変化に応じて１以上の前記第１予備画像および１以上の前記第２予備画像を取得し、
    　前記照射方向決定部は、各々が前記第１予備画像および前記第２予備画像から構成される、予め設定された個数の異なる画像セットから、前記第１予備画像と前記第２予備画像との間にある差異が最小である画像セットを決定し、当該画像セットに対応する前記第１照射方向および前記第２照射方向に基づいて、前記複数の異なる照射方向を決定するように構成されている、請求項１または２に記載の画像取得装置。
  5. 　前記第１照射方向および前記第２照射方向は、前記被写体を基準にして対称な関係にある、請求項１から４のいずれかに記載の画像取得装置。
  6. 　前記差異は、前記第１予備画像における画素の輝度と、前記第２予備画像における画素の輝度とから規定される量である、請求項１から５のいずれかに記載の画像取得装置。
  7. 　前記照射方向決定部は、前記第１予備画像を構成する複数の画素の輝度と、前記第２予備画像を構成する複数の画素の輝度とを比較することにより、前記第１予備画像と前記第２予備画像との間にある差異を算出する、請求項１から６のいずれかに記載の画像取得装置。
  8. 　前記照射方向決定部は、前記第１予備画像および前記第２予備画像の少なくとも一方に
    おける画素の輝度を補正した後に、前記第１予備画像と前記第２予備画像との間にある差異を算出する、請求項６または７に記載の画像取得装置。
  9. 　前記照射方向決定部は、前記撮像素子に対する前記被写体の高さを示す位置情報を取得し、前記位置情報に応じて前記複数の異なる照射方向を決定するように構成されている、請求項１から８のいずれかに記載の画像取得装置。
  10. 　前記照明システムは、前記モジュールが着脱自在に装填されるように構成されたステージ、および、前記ステージの姿勢を変更可能に構成されたステージ駆動機構を有する、請求項１から９のいずれかに記載の画像取得装置。
  11. 　請求項１から１０のいずれかに記載の画像取得装置と、
    　前記複数の異なる照射方向に応じて取得した前記複数の画像を合成することにより、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する画像処理装置と
    を備える画像形成システム。
  12. 　被写体を透過した照明光が撮像素子に入射するように前記被写体と前記撮像素子とが一体化されたモジュールを第１照明光で第１照射方向から照射することによって前記被写体の第１予備画像を取得する工程と、
    　前記モジュールを第２照明光で第２照射方向から照射することによって前記被写体の第２予備画像を取得する工程と、
    　前記第１予備画像と前記第２予備画像との間の差異に基づいて、前記被写体を基準とする複数の異なる照射方向を決定する工程と、
    　前記複数の異なる照射方向から、順次、前記被写体を前記照明光で照射することにより、前記複数の異なる照射方向に応じた複数の画像を取得する工程と、
    　前記複数の画像を合成することにより、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する工程と
    を含む、画像形成方法。
  13. 　前記第１予備画像を取得する工程は、前記第１照射方向を変えて複数回実行される、請求項１２に記載の画像形成方法。
  14. 　前記第２予備画像を取得する工程は、前記第２照射方向を変えて複数回実行される、請求項１３に記載の画像形成方法。
  15. 　前記第１照射方向および前記第２照射方向は、前記被写体を基準にして対称な関係にある、請求項１２に記載の画像形成方法。
  16. 　前記複数の異なる照射方向を決定する工程において、前記第１予備画像と前記第２予備画像との間の差異が所定レベルよりも小さくなるような前記第１照射方向および前記第２照射方向に基づいて、前記複数の異なる照射方向が決定される、請求項１２から１５のいずれかに記載の画像形成方法。
  17. 　前記複数の異なる照射方向を決定する工程において、前記第１予備画像と前記第２予備画像との間にある差異が最小となるような前記第１照射方向および前記第２照射方向に基づいて、前記複数の異なる照射方向が決定される、請求項１２から１５のいずれかに記載の画像形成方法。
  18. 　前記差異は、前記第１予備画像における画素の輝度と前記第２予備画像における画素の
    輝度とから規定される量である、請求項１２から１７のいずれかに記載の画像形成方法。
  19. 　前記複数の異なる照射方向を決定する工程は、前記第１予備画像を構成する複数の画素の輝度と、前記第２予備画像を構成する複数の画素の輝度とを比較する工程を含む、請求項１２から１８のいずれかに記載の画像形成方法。
  20. 　前記第２予備画像を取得する工程と、前記複数の異なる照射方向を決定する工程との間に、前記第２予備画像における画素の輝度を補正する工程を含む、請求項１２から１９のいずれかに記載の画像形成方法。
PCT/JP2015/005545 2014-11-27 2015-11-05 画像取得装置、画像形成システムおよび画像形成方法 WO2016084310A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016528915A JP6004245B1 (ja) 2014-11-27 2015-11-05 画像取得装置、画像形成システムおよび画像形成方法
CN201580002651.7A CN105829867A (zh) 2014-11-27 2015-11-05 图像取得装置、图像形成系统和图像形成方法
EP15864158.9A EP3225975A4 (en) 2014-11-27 2015-11-05 Image acquisition device, image formation system, and image formation method
AU2015351876A AU2015351876B2 (en) 2014-11-27 2015-11-05 Image acquisition device, image formation system, and image formation method
US15/224,712 US10241315B2 (en) 2014-11-27 2016-08-01 Image acquisition device, image forming system, and image forming method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014239443 2014-11-27
JP2014-239443 2014-11-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/224,712 Continuation US10241315B2 (en) 2014-11-27 2016-08-01 Image acquisition device, image forming system, and image forming method

Publications (1)

Publication Number Publication Date
WO2016084310A1 true WO2016084310A1 (ja) 2016-06-02

Family

ID=56073909

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005545 WO2016084310A1 (ja) 2014-11-27 2015-11-05 画像取得装置、画像形成システムおよび画像形成方法

Country Status (6)

Country Link
US (1) US10241315B2 (ja)
EP (1) EP3225975A4 (ja)
JP (1) JP6004245B1 (ja)
CN (1) CN105829867A (ja)
AU (1) AU2015351876B2 (ja)
WO (1) WO2016084310A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016214512A (ja) * 2015-05-19 2016-12-22 株式会社東芝 センサ
KR102278879B1 (ko) * 2016-01-27 2021-07-19 주식회사 히타치하이테크 계측 장치, 방법 및 표시 장치
EP3899621A4 (en) * 2018-12-21 2022-09-28 Scopio Labs Ltd. COMPRESSED RECORDING OF MICROSCOPIC IMAGES

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998030022A1 (fr) * 1996-12-26 1998-07-09 Sony Corporation Dispositif d'acquisition d'images a haute resolution et procede de capture d'images
JPH1164215A (ja) * 1997-05-28 1999-03-05 Micronas Intermetall Gmbh 測定装置
JPH1175099A (ja) * 1997-08-28 1999-03-16 Canon Electron Inc 撮像装置及び光学装置
JP2013509618A (ja) * 2009-10-28 2013-03-14 アレンティック マイクロサイエンス インコーポレイテッド 顕微撮像法
WO2014196202A1 (ja) * 2013-06-07 2014-12-11 パナソニックＩｐマネジメント株式会社 画像取得装置、画像取得方法、およびプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4411489A (en) * 1976-08-23 1983-10-25 Mcgrew Steve P System for synthesizing strip-multiplexed holograms
US4806776A (en) * 1980-03-10 1989-02-21 Kley Victor B Electrical illumination and detecting apparatus
JPS62137037A (ja) 1985-12-11 1987-06-19 株式会社東芝 Ｘ線撮影装置
JP2002118799A (ja) * 2000-05-10 2002-04-19 Canon Inc 画像表示装置、画像表示システムおよび画像表示素子
TW200520225A (en) * 2003-10-24 2005-06-16 Matsushita Electric Ind Co Ltd Pixel arranging apparatus, solid-state image sensing apparatus, and camera
JP4255819B2 (ja) * 2003-12-11 2009-04-15 パナソニック株式会社 信号処理方法および画像取得装置
JP4353246B2 (ja) * 2004-11-08 2009-10-28 パナソニック株式会社 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法
CN1908717A (zh) * 2005-08-05 2007-02-07 宇东电浆科技股份有限公司 具有光学路径调整机构的光机组件
CN101427563B (zh) * 2006-04-21 2011-08-10 松下电器产业株式会社 复眼方式的照相机模块
EP2189102A4 (en) * 2007-08-13 2015-02-18 Olympus Medical Systems Corp BODY INTERIOR OBSERVATION SYSTEM, AND BODY INTERIOR OBSERVATION METHOD
JP2010051538A (ja) * 2008-08-28 2010-03-11 Panasonic Corp 撮像装置
TWI390960B (zh) * 2008-10-15 2013-03-21 Realtek Semiconductor Corp 影像處理裝置與影像處理方法
JP5237874B2 (ja) * 2009-04-24 2013-07-17 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
US8509492B2 (en) * 2010-01-07 2013-08-13 De La Rue North America Inc. Detection of color shifting elements using sequenced illumination
DE102011004584A1 (de) * 2011-02-23 2012-08-23 Krones Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen von Blasen und/oder Falten auf etikettierten Behältern
KR101376450B1 (ko) * 2011-06-01 2014-03-19 다이닛뽕스크린 세이조오 가부시키가이샤 화상취득장치, 패턴검사장치 및 화상취득방법
WO2013019640A1 (en) * 2011-07-29 2013-02-07 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
JP6156787B2 (ja) * 2012-07-25 2017-07-05 パナソニックＩｐマネジメント株式会社 撮影観察装置
RU2675083C2 (ru) * 2012-12-04 2018-12-14 Конинклейке Филипс Н.В. Устройство и способ получения информации об основных показателях состояния организма живого существа
US9560284B2 (en) * 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
EP2957215B1 (en) * 2013-02-15 2020-05-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and endoscope
JP5789766B2 (ja) * 2013-06-06 2015-10-07 パナソニックＩｐマネジメント株式会社 画像取得装置、画像取得方法、およびプログラム
JP6408259B2 (ja) * 2014-06-09 2018-10-17 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6627083B2 (ja) * 2014-08-22 2020-01-08 パナソニックＩｐマネジメント株式会社 画像取得装置および画像形成システム
EP3214831B1 (en) * 2014-10-27 2019-11-06 Panasonic Intellectual Property Management Co., Ltd. Image formation system, image formation method, imaging element, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998030022A1 (fr) * 1996-12-26 1998-07-09 Sony Corporation Dispositif d'acquisition d'images a haute resolution et procede de capture d'images
JPH1164215A (ja) * 1997-05-28 1999-03-05 Micronas Intermetall Gmbh 測定装置
JPH1175099A (ja) * 1997-08-28 1999-03-16 Canon Electron Inc 撮像装置及び光学装置
JP2013509618A (ja) * 2009-10-28 2013-03-14 アレンティック マイクロサイエンス インコーポレイテッド 顕微撮像法
WO2014196202A1 (ja) * 2013-06-07 2014-12-11 パナソニックＩｐマネジメント株式会社 画像取得装置、画像取得方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3225975A4 *

Also Published As

Publication number Publication date
AU2015351876A1 (en) 2016-08-18
JP6004245B1 (ja) 2016-10-05
AU2015351876B2 (en) 2017-11-23
JPWO2016084310A1 (ja) 2017-04-27
CN105829867A (zh) 2016-08-03
EP3225975A4 (en) 2017-11-29
US10241315B2 (en) 2019-03-26
EP3225975A1 (en) 2017-10-04
US20160341947A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
JP6631886B2 (ja) 画像形成システム、画像形成方法、撮像素子、およびプログラム
JP6307770B2 (ja) 撮像素子
US20200310100A1 (en) Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
JP2024038437A (ja) 蛍光観察装置及び蛍光観察方法
US20190049710A1 (en) Image forming apparatus, image forming method, image forming system, and recording medium
TW201126624A (en) System and method for inspecting a wafer (2)
US11269171B2 (en) Spectrally-resolved scanning microscope
WO2014017092A1 (ja) 撮像システム
JP6004245B1 (ja) 画像取得装置、画像形成システムおよび画像形成方法
KR20190062439A (ko) 오브젝트 조명 및 이미징을 위한 디바이스, 시스템 및 방법
US20110249155A1 (en) Image pickup device
CN107923851A (zh) 观察辅助装置、信息处理方法以及程序
US20170146790A1 (en) Image acquisition device and image formation system
US10048485B2 (en) Image output device, image transmission device, image reception device, image output method, and non-transitory recording medium
JP7112994B2 (ja) 蛍光撮影装置
JP2019078866A (ja) 顕微鏡システム、観察方法、及び観察プログラム
WO2022209349A1 (ja) 観察装置用照明装置、観察装置及び観察システム
JP2004177732A (ja) 光学測定装置
JP6257294B2 (ja) 顕微鏡装置
CN111982865A (zh) 一种全玻片荧光超光谱快速获取方法和装置
RU2525152C2 (ru) Способ формирования изображения микрообъекта (варианты) и устройство для его осуществления (варианты)
JP2021036946A (ja) 皮膚検査装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016528915

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15864158

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015864158

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015864158

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015351876

Country of ref document: AU

Date of ref document: 20151105

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE