WO2009113647A1 - 顕微鏡システム - Google Patents

顕微鏡システム Download PDF

Info

Publication number
WO2009113647A1
WO2009113647A1 PCT/JP2009/054832 JP2009054832W WO2009113647A1 WO 2009113647 A1 WO2009113647 A1 WO 2009113647A1 JP 2009054832 W JP2009054832 W JP 2009054832W WO 2009113647 A1 WO2009113647 A1 WO 2009113647A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
light
objective lens
captured
Prior art date
Application number
PCT/JP2009/054832
Other languages
English (en)
French (fr)
Inventor
敬 川人
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2009113647A1 publication Critical patent/WO2009113647A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Definitions

  • the present invention relates to a microscope system, and more particularly to a microscope system that can capture a high-definition wide-field image.
  • Patent Document 1 has a problem that a plurality of captured images can be captured at a time, but cannot be directly employed in a microscope system.
  • a wide field of view can be imaged with high resolution, but the depth of focus becomes shallow, and the focused surface becomes a part of the effective field of view. In such a state, even if a device capable of obtaining a high-definition image over a wide field of view is provided, the performance cannot be utilized.
  • the present invention has been made in view of such a situation, and enables a high-definition, wide-field image to be captured.
  • the microscope system of the present invention is A stage (for example, the motorized XY stage 16 in FIG. 1) and an objective lens (for example, the objective lens in the lens barrel 12 in FIG. 1) on which the specimen is placed, and a microscope for observing the specimen (for example, In a microscope system configured to include the large microscope 1) of FIG. 1 (for example, the microscope system of FIG. 8),
  • the light beam collected by the objective lens is divided into a plurality of optical paths so that an image having the same field of view as the image obtained by the objective lens is obtained, and the light beam propagating through one of the plurality of optical paths is used.
  • the obtained image is formed on a plurality of image sensors (for example, CCD 61 11 to CCD 61 116 , CCD 61 21 to CCD 61 216 , CCD 61 31 to CCD 61 316 , CCD 61 41 to CCD 61 416 in FIG. 8), and a sample that is an image of the specimen
  • a plurality of imaging means for example, the first imaging element array 31 1 to the fourth imaging element array 31 4 in FIG.
  • Detection means for example, sample inclination information
  • Detection means provided in the vicinity of at least one of the image pickup surfaces of the plurality of image pickup means and detecting the inclination of the sample surface with respect to the optical axis of the objective lens (for example, sample inclination information)
  • Control means for tilting the stage and the objective lens relative to each other so that the specimen surface is perpendicular to the optical axis of the objective lens according to the detected inclination of the specimen surface (for example, FIG.
  • Connection means for example, image connection part 72 of Drawing 8 which connects a plurality of above-mentioned picked-up images picturized by each of a plurality of above-mentioned imaging means as said sample picture is provided.
  • the detection means detects focus information (for example, coarse motion AF information) necessary for focus position alignment (for example, the process of step S2 in FIG. 9 performed by the position detection light sensor 39 in FIG. 8), and the control The means controls the focus alignment based on the detected focus information (for example, the process of step S3 in FIG. 9 performed by the AF tilt control unit 52 in FIG. 8).
  • focus information for example, coarse motion AF information
  • the means controls the focus alignment based on the detected focus information (for example, the process of step S3 in FIG. 9 performed by the AF tilt control unit 52 in FIG. 8).
  • the detection means detects the inclination of the specimen surface and the focus information from the reflected light of the specimen cover glass or slide glass received by irradiating the specimen with light (for example, FIG. 8). 9 is performed by the position detection light sensor 39 of FIG. 9).
  • one imaging means for example, the first imaging element array 31 1 to the fourth imaging element array 31 4 in FIG. 2
  • one imaging means for example, the first imaging element array 31 1 in FIG. 2.
  • Other imaging means installed between the one imaging means and the objective lens and installed in a direction other than the optical axis direction of the objective lens for example, the second imaging element array 312 to the second imaging element array 312 to 2nd in FIG. 2).
  • 4 to the imaging element array 31 4) of the further optical path branching means for branching the optical path branching a light beam in a direction with the other imaging means from said objective lens (e.g., an optical path splitting prism 32 in FIG. 2) Prepare.
  • the detecting means receives the light propagating on the optical path divided by the first branch surface (for example, the partial reflection mirror 32C in FIG. 2) of the optical path branching means among the imaging surfaces of the plurality of imaging means.
  • the fourth imaging element array 31 4 in FIG. 2 is provided in the vicinity of the imaging surface, and by detecting the reflected light from the first branch surface, the inclination of the sample surface and the focus information are detected. Is detected.
  • the detection means includes Focus detection light emitting means for emitting light outside the wavelength range received by the imaging means (for example, the near-infrared LED 33 in FIG. 2); Line sensors that receive light emitted from the focus detection light emitting means and reflected from the specimen (for example, the position detection light sensor 39 1 and the position detection light sensor 39 2 in FIG. 3);
  • the outer peripheral portion of the first branch surface has a region (for example, near-infrared reflective films 37A and 37B in FIG. 2) that selectively reflects light from the focus detection light emitting means.
  • the one imaging unit forms an image that has passed through the optical path branching unit (for example, as viewed in FIG. 3A), and the other imaging unit is reflected once by each branch plane of the optical path branching unit.
  • An image is formed (for example, B view to D view in FIG. 3).
  • the plurality of imaging elements are arranged at predetermined intervals on each imaging surface of the plurality of imaging means so as to form a lattice shape, and pasted images are pasted from the divided images to be imaged.
  • the captured images having overlapping portions necessary for alignment are respectively captured (for example, view A in FIG. 4, view B in FIG. 5, view C in FIG. 6, view D in FIG. 7).
  • connection means removes an overlapping portion necessary for the pasting from the captured images captured by the plurality of image sensors and connects to another adjacent captured image (for example, by the image connection unit 72 in FIG. 8). Image connection processing to be performed).
  • a high-definition wide-field image can be taken.
  • FIG. 1 is a schematic cross-sectional view showing the overall configuration of a large microscope.
  • the large microscope 1 is a microscope that observes the specimen S by adjusting the distance between the objective lens and the stage on which the specimen S such as a cell is placed, for example.
  • the large microscope 1 includes an imaging unit 11, a lens barrel 12 holding an optical system such as an objective lens, a frame / housing unit 14, a light source unit 15, an electric XY stage 16, a Z-axis driving unit 17, and a transmission illumination unit. 18 is configured.
  • FIG. 2 which will be described later is a diagram showing the internal configuration of the imaging unit 11, the optical system of the lens barrel 12, and the transmission illumination unit 18 in the large microscope 1 having such a configuration. Further, since the AF unit is provided in the imaging unit 11, it is not shown in FIG. 1, but its detailed configuration will be described later with reference to FIG.
  • the imaging unit 11 has a plurality of imaging regions, and each imaging region is mounted with a plurality of imaging elements such as a CCD (Charge Coupled Device) and a CMOS (Complementary Metal Oxide Semiconductor).
  • a CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • An enlarged image of the specimen S formed by an optical system including an objective lens having a high NA and a wide field of view is captured in a wide field of view.
  • the number of imaging elements mounted on the imaging unit 11 is determined by the formation area of the image formed by the optical system including the objective lens.
  • the image pickup unit 11 has 8 ⁇ 8, 8 ⁇ 4, and XY directions (horizontal directions) in the drawing according to the image formation area by the optical system including the objective lens.
  • the image pickup unit 11 is provided with four image pickup element arrays each having 4 ⁇ 4 CCDs mounted in four image pickup areas.
  • the imaging unit 11 is provided with an AF unit.
  • the AF unit detects the distance of the objective lens in the Z direction with respect to the sample S.
  • the Z axis direction in the figure is utilized by using the Z axis drive unit 17 whose position can be adjusted so that the distance between the sample S and the imaging region of the imaging unit 11 is substantially conjugate with respect to the objective lens.
  • the vertical direction (optical axis direction) is adjusted to focus on the specimen S (the cover glass placed on the specimen S on the slide glass) placed on the electric XY stage 16.
  • the AF unit of the imaging unit 11 is provided with an optical system for position detection, thereby performing focus adjustment for coarse movement.
  • imaging unit 11 lens barrel 12 and AF unit are supported by a frame / housing unit 14.
  • the electric XY stage 16 is composed of a drive system, a sensor, etc. (not shown), and moves the placed specimen S in the XY direction.
  • the electric XY stage 16 is provided with piezos 16A and 16B and a piezo (not shown) that are arranged so as not to be aligned. By driving these three piezos, the specimen S placed on the electric XY stage 16 can be rolled (tilted). Note that the specimens S (preparations) are conveyed one by one to the electric XY stage 16 by a loader (not shown).
  • the transmitted illumination unit 18 illuminates the specimen S placed on the electric XY stage 16 with light from the light source unit 15 serving as a light source.
  • the surface of the specimen S (preparation) placed on the electric XY stage 16 is assumed to be a mirror surface.
  • the large microscope 1 is configured as described above.
  • the large microscope 1 includes a collector lens 22, a field stop 23, a field lens 24, a mirror 25, an aperture stop 26, a condenser lens 27, and an objective lens 28. And an imaging lens 29.
  • the collector lens 22, the field stop 23, the field lens 24, the mirror 25, the aperture stop 26, and the condenser lens 27 correspond to the transmission illumination unit 18 of FIG.
  • the system includes an objective lens 28 and an imaging lens 29.
  • the specimen S is placed on the electric XY stage 16 shown in FIG.
  • the illumination light from the light source unit 15 becomes a parallel light flux by the collector lens 22 and enters the field lens 24 through the field stop 23.
  • the illumination light incident on the field lens 24 is reflected by the mirror 25 and enters the aperture stop 26.
  • the aperture stop 26 is provided to adjust the numerical aperture of illumination light.
  • the illumination light reflected by the mirror 25 passes through the aperture stop 26 and then travels toward the sample S by the condenser lens 27 to illuminate the sample S placed on the electric XY stage 16.
  • the illumination light illuminates the specimen S, and the light from the specimen S is imaged on each imaging surface of the imaging device provided in each imaging area of the imaging unit 11 by the objective lens 28 and the imaging lens 29. Is done.
  • the first imaging element array 31 1 to 31 1 in which the light condensed by the imaging lens 29 by the optical path branching prism 32 is arranged in each imaging region. is branched toward the four imaging surface of the fourth imaging element array 31 4, it is received by each of the imaging plane.
  • each imaging region is set so that the optical distance (optical path length) from the partial reflection mirror 32C of the optical path branching prism 32 to each imaging region is the same. Further, in order to reduce the size of the device itself while keeping the optical distance to an expected value, the optical path after branching is made in the same transparent optical material as the prism member. Thereby, the geometric length of each optical path can be shortened.
  • the light incident on the imaging unit 11 is incident on the optical path branching prism 32, first, as shown by an arrow in FIG. 2, the light is incident on the partial reflection mirror 32C, and a part of the light is incident on the partial reflection mirror 32C. The light is reflected on the reflection surface, and the other light passes through the reflection surface of the partial reflection mirror 32C. The light reflected by the reflection surface of the partial reflection mirror 32C reaches the imaging surface of the fourth imaging element array 314. On the other hand, the light that has passed through the partial reflection mirror 32C enters the partial reflection mirror 32B.
  • a part of the light incident on the partial reflection mirror 32B is reflected by the reflection surface of the partial reflection mirror 32B, and the other light passes through the reflection surface of the partial reflection mirror 32B.
  • the light reflected by the reflection surface of the partial reflection mirror 32B reaches the imaging surface of the third imaging element array 313, while the light that has passed through the partial reflection mirror 32B enters the partial reflection mirror 32A.
  • a part of the light incident on the partial reflection mirror 32A is reflected by the reflection surface of the partial reflection mirror 32A, and the other light passes through the reflection surface of the partial reflection mirror 32A.
  • the image of the sample S by the objective lens 28 and the imaging lens 29 forms on each imaging surface.
  • the optical path splitting prism 32 light incident on the imaging unit 11, four as received by each of the imaging surface of the first imaging element array 31 first to fourth imaging element array 31 4 is branched into the optical path, each of the light branch is received by the first image pickup element column 31 1 through the fourth image element array 31 4.
  • the amount of light incident on the optical path branching prism 32 is 100 for convenience of explanation
  • the partial reflection mirror The light with the light amount 25 reflected by 32C reaches the imaging surface of the fourth imaging element array 314, and the remaining light with the light amount 75 enters the partial reflection mirror 32B.
  • the 25 light amount reflected by the partial reflection mirror 32B reaches the imaging surface of the third imaging element array 313 and the remaining light amount 50.
  • the light 25 reflected by the partial reflection mirror 32A reaches the imaging surface of the second imaging element array 312 and the remaining light 25 The light reaches the imaging surface of the first imaging element array 311.
  • the respective imaging surfaces of the first imaging element array 31 1 to the fourth imaging element array 31 4 are divided into four by the optical path branching prism 32 and have the same light quantity (the light incident on the optical path branching prism 32). (1/4 light amount) reaches.
  • a circle shown behind each imaging element array is an arrow view showing the arrangement of imaging elements corresponding to the imaging element array. That is, the arrow view (A view) from the direction of the arrow A in the figure represents the arrangement position of the first imaging element array 311 with the lower left oblique line, and the arrow view from the arrow B direction (B view). is the second sequence position of the imaging element array 31 2 expressed in horizontal stripes, arrow diagram in the direction of the arrow C (C vision) represents a third array position of the imaging element array 313 in the black arrows The arrow view (D view) from the direction of D represents the arrangement position of the fourth imaging element array 314 with a lattice.
  • a lower left oblique line (Hatched line), horizontal stripe, black, or lattice pattern.
  • the hatched position or equivalent position is imaged by the first imaging element array 31 1
  • black position or equivalent position is imaged at the third imaging element array 313
  • the grating is imaged in the fourth imaging element array 31 4
  • Each image sensor that constitutes each of the positions or equivalent positions is shown.
  • the first image sensor array 311 shown in FIG. 3A is arranged in the vertical direction and the horizontal direction so that the ranges that can be imaged by other image sensor arrays do not overlap.
  • 4 ⁇ 4 image sensors corresponding to the hatched squares arranged one by one at intervals are arranged.
  • the area surrounded by the thick frame in FIG. 4 that is wider than the hatched square area is imaged by the 4 ⁇ 4 imaging elements constituting the first imaging element array 311.
  • the imaging element of the 4 ⁇ 4 corresponding to black squares are arranged, indicated with D view of FIG 3 the fourth imaging element array 31 4, as shown in FIG. 7, the imaging element of the 4 ⁇ 4 corresponding to the square of the grating are arrangement, a region surrounded by a bold frame is captured, respectively.
  • each of the images picked up by the B-view to D-view image sensors is reflected by the respective partial reflection mirrors of the optical path branching prism 32, for example, it is surrounded by a thick frame at the upper left of the view A in FIG.
  • the squares correspond to the squares surrounded by the upper right thick frame in the views B to D in FIG.
  • the imaging elements of the imaging element arrays arranged on the plane conjugate with the sample S are positions where the captured image that is a part of the sample image can be captured, and the light incident on the optical path branching prism 32. 4 (25%) of the image is arranged on the imaging surface for receiving the respective images, and the areas indicated by the thick frames in FIGS. 4 to 7 are respectively imaged.
  • the captured images captured by these image sensors have an overlap necessary for pasting with adjacent captured images, and are therefore connected to other adjacent captured images, respectively.
  • one specimen image is obtained from the 8 ⁇ 8 captured image.
  • the image formed in the first image sensor array 31 1 and the image formed in the other second image sensor array 31 2 to the fourth image sensor array 31 4 have a mirror image relationship.
  • Each of the arrangement positions is set in consideration of whether or not the images formed on all the image sensor rows have a mirror image relationship.
  • the reflection surface of the optical path branching prism 32 is increased.
  • the image sensor rows may be increased, or conversely, the reflective surfaces may be reduced to reduce the image sensor rows.
  • imaging of a narrow imaging surface is performed without using an imaging device having an imaging surface that is wide enough to cover all imaging positions.
  • the imaging unit 11 includes a near infrared LED (LightLEDEmitting Diode) 33, a condenser lens 34, a slit 35, a collimator lens 36, a condenser lens 38, and position detection.
  • An autofocus optical system including an optical sensor 39 is provided.
  • the near-infrared LED 33 to the position detection light sensor 39 correspond to an AF unit (not shown) provided in the imaging unit 11 of FIG.
  • the autofocus optical system is provided in the vicinity of at least one of the imaging surface of the imaging surface of the first imaging element array 31 first to fourth imaging element array 31 4, it performs focus detection, and the like. That is, generally, the large microscope 1 can capture a wide field of view, but since the focal depth is shallow, if the sample S is inclined with respect to the optical axis of the objective lens 28, a part of the sample image is blurred. It is not suitable as a photomicrograph. Therefore, in the present embodiment, the autofocus optical system detects the inclination of the sample surface with respect to the optical axis of the objective lens 28, adjusts the inclination to be vertical, and further adjusts the focus of coarse movement. Do it.
  • Near-infrared LED 33 irradiates near-infrared light which is light (electromagnetic wave) of about 0.7 to 2.5 ⁇ m.
  • Near-infrared light from the near-infrared LED 33 enters the partial reflection mirror 32 ⁇ / b> C via the condenser lens 34, the slit 35, and the collimator lens 36.
  • Near infrared reflection films 37A and 37B which are films reflecting near infrared light, are deposited on a part of the partial reflection mirror 32C, and reflect near infrared light from the near infrared LED 33. That is, in the partial reflection mirror 32C, near-infrared light is reflected in the region where the near-infrared reflection films 37A and 37B are deposited, and in other regions, incident light is branched by reflection and transmission. become.
  • the near-infrared light reflected by the near-infrared reflecting film 37A is collected on the sample S via the imaging lens 29 and the objective lens 28. Then, the light is reflected on the surface of the cover glass or slide glass that sandwiches the sample S, and enters the imaging lens 29 through the objective lens 28.
  • the reflected light incident on the imaging lens 29 is reflected by the near-infrared reflective film 37B deposited on the partial reflection mirror 32C, and enters the position detection light sensor 39 via the condenser lens 38.
  • the position detection light sensor 39 receives reflected light incident through the condenser lens 38, and information for performing AF adjustment for coarse movement from the reflected light (hereinafter referred to as coarse movement AF information);
  • coarse movement AF information Information on the tilt of the sample surface of the sample S with respect to the optical axis of the objective lens 28 (hereinafter referred to as sample tilt information) is obtained.
  • the position detection light sensor 39 is a line sensor such as a line CCD having 1024 pixels, for example.
  • line sensor When the line sensor is used, coarse adjustment AF adjustment is performed based on the contrast difference of the light spot image from the near-infrared LED 33 obtained from the entire line sensor, and the near-infrared LED 33 received by the line sensor is adjusted. It is possible to determine the inclination of the sample surface with respect to the optical axis from the light spot position.
  • processing is simplified, and there is an advantage that AF adjustment can be performed at high speed in a short processing time.
  • a set of autofocus optical systems including the near-infrared LED 33 to the position detection light sensor 39 is illustrated, but actually corresponds to the view D in FIG. 3.
  • two sets of autofocus optical systems are provided: a near-infrared LED 33 1 and a position detection light sensor 39 1 , and a near-infrared LED 33 2 and a position detection light sensor 39 2 . That is, the inclination is detected in the XY directions by providing two sets of autofocus optical systems.
  • the sample surface is not inclined with respect to the optical axis by driving the piezo 16A, 16B or a piezo (not shown) and turning the electric XY stage 16. It becomes possible to be in a state.
  • the two sets of autofocus optical systems receive the fourth imaging element array 31 that receives light from the partial reflection mirror 32 ⁇ / b> C that is the first reflection surface of the light incident on the optical path branching prism 32. it is provided in the vicinity of the imaging surface of the 4, but for example, the third image pickup element array 31 3 etc., may be provided in the vicinity of the imaging surface of the other imaging element array.
  • the autofocus optical system since it becomes complicated when the reflection by the partial reflection mirror 32 ⁇ / b> A or the partial reflection mirror 32 ⁇ / b> B which is the rear reflection surface is taken into consideration, the autofocus optical system has a partial reflection which is the first reflection surface. It is preferable to provide in the vicinity of the imaging surface that receives light reflected by the mirror 32C.
  • one of the imaging surface either of the first imaging element array 31 first to fourth imaging element array 31 4 the autofocus optical system for performing focus detection of a plurality of locations It has.
  • the autofocus optical system is provided in the vicinity of the image sensor array on which the light divided by the first optical path branching surface is incident, the detection light efficiently reaches the sample S, and the sample S The passed detection light can be detected with sufficient intensity.
  • the microscope system is configured to include at least a microscope control unit 51, an AF tilt control unit 52, an image processing unit 53, and a stage driving unit 54 in addition to the large microscope 1.
  • a microscope control unit 51 an AF tilt control unit 52, an image processing unit 53, and a stage driving unit 54 in addition to the large microscope 1.
  • the large microscope 1 configuration only the first image pickup element column 31 1 through fourth imaging element array 31 4 and the position detection light sensor 39 Fig. Show.
  • the position detection light sensor 39 is the near-infrared light from the near-infrared LED 33 and is reflected from the reflected light from the surface of the cover glass or slide glass sandwiching the sample S, and the coarse motion AF information and the sample are detected. Tilt information is detected and supplied to the AF tilt controller 52.
  • the AF tilt control unit 52 is supplied with coarse AF information and sample tilt information from the position detection light sensor 39.
  • the AF tilt control unit 52 controls the Z-axis drive unit 17 based on the coarse movement AF information, and performs rough movement AF adjustment processing. Further, the AF tilt control unit 52 controls the driving of the piezos 16A and 16B or a piezo (not shown) based on the sample tilt information, and the electric XY stage is based on the point where the sample surface intersects the optical axis.
  • the sample S placed on 16 is beaten.
  • the AF tilt control unit 52 sequentially notifies the microscope control unit 51 of the status of the operation performed by itself.
  • the microscope control unit 51 is connected to and controls each part of the microscope system, such as a drive system and autofocus in the large microscope 1.
  • the microscope controller 51, the AF tilt controller 52, and the AF adjustment process of coarse when the end of the process inflame specimen S is notified from the image processing unit 53 first imaging element array 31 1 acquires a captured image captured by the fourth of each imaging element of the imaging element array 31 4, it obtains the contrast of the captured image. Then, the microscope control unit 51 controls the stage driving unit 54 based on the contrast of the captured image, and performs AF fine adjustment processing. By performing such AF fine adjustment processing, the focus roughly adjusted by the AF tilt control unit 52 can be adjusted more precisely.
  • First imaging element array 31 1 is composed of 16 pieces of the imaging elements of CCD 61 11 to CCD 61 116, and outputs an image signal captured by the CCD in the image processing unit 53. Note that the 16 image sensors of CCD 61 11 to CCD 61 116 correspond to 4 ⁇ 4 image sensors arranged in the view A of FIG.
  • the second image pickup element row 31 2 corresponds to an image pickup device disposed on a B view of FIG 5, is composed of 16 pieces of the imaging elements of CCD 61 21 to CCD 61 216
  • the third image pickup element row 31 3 corresponds to the image pickup device located on C viewed in FIG. 6
  • the fourth image element array 31 4 are disposed D view of FIG 7 It is composed of 16 image sensors CCD61 41 to CCD61 416 corresponding to the obtained image sensor.
  • Image signals captured by the CCDs constituting the second image sensor array 31 2 to the fourth image sensor array 31 4 are output to the image processing unit 53.
  • the image processing unit 71 1 to the image processing unit 71 4 respectively, the image signal from the first imaging element array 31 first to fourth imaging element array 31 4 are inputted.
  • the image processing units 71 1 to 71 4 perform predetermined image processing on the image signals input from the first imaging element array 31 1 to the fourth imaging element array 31 4 , respectively.
  • the captured images obtained by performing image processing are each input to the image connection unit 72.
  • the image interface 72 a captured image corresponding to the image signal captured by the first image pickup element array 31 first to fourth respective image pickup device located on the imaging element array 31 4 are respectively input.
  • Each of the 16 ⁇ 4 captured images captured for each imaging element array has an overlapping portion (margin) necessary for pasting with other captured images adjacent vertically and horizontally (FIGS. 4 to 4). Area surrounded by a thick frame in FIG. 7).
  • the image connection unit 72 determines a connection position necessary for connection of 16 ⁇ 4 captured images captured for each imaging element array, and further connects the captured images by removing margins. .
  • one sample image is obtained from 16 ⁇ 4 captured images.
  • the sample image is output and displayed on a display unit (not shown) in the subsequent stage, or is recorded on a recording unit (not shown).
  • the microscope system is configured.
  • step S1 the near infrared LED 33 irradiates near infrared light.
  • This near-infrared light is reflected by the near-infrared reflection film 37A deposited on the partial reflection mirror 32C via the condenser lens 34 to the collimator lens 36.
  • the near-infrared light reflected by the near-infrared reflecting film 37A is condensed on the sample S via the imaging lens 29 and the objective lens 28, and reflected on the surface of the cover glass or slide glass.
  • the reflected light is reflected by the near-infrared reflective film 37A deposited on the partial reflection mirror 32C through the imaging lens 29 through the objective lens 28, and the position detection light sensor 39 through the condenser lens 38. Is incident on.
  • step S2 the position detection light sensor 39 receives the reflected light incident from the condenser lens 38, which is near infrared light reflected from the surface of the cover glass or slide glass of the sample S.
  • the position detection light sensor 39 detects coarse movement AF information and sample tilt information from the received reflected light, and outputs them to the AF tilt control unit 52.
  • step S3 the AF tilt control unit 52 controls the driving of the Z-axis drive unit 17 based on the coarse movement AF information supplied from the position detection light sensor 39, and performs a coarse movement AF adjustment process. By performing this rough AF adjustment process, it is possible to focus on a rough area in advance.
  • step S4 the AF tilt control unit 52 controls the driving of the piezos 16A and 16B or a piezo (not shown) based on the sample tilt information supplied from the position detection light sensor 39, and the point where the sample surface intersects the optical axis.
  • the sample S placed on the electric XY stage 16 is rolled up with reference to the above. By rolling the specimen S, it is possible to make the specimen S not inclined with respect to the optical axis of the objective lens 28.
  • step S3 coarse AF adjustment processing
  • step S4 processing of sample S
  • processing of step S3 coarse AF adjustment processing
  • step S4 processing of sample S
  • the microscope control unit 51 performs an AF fine adjustment process in step S5. Specifically, the microscope control unit 51 acquires a captured image captured by each imaging element array from the image processing unit 53, controls the stage driving unit 54 based on the contrast of the acquired captured image, and performs AF. Perform fine adjustment processing. In such AF fine adjustment processing, the stage drive unit 54 controls the driving of the electric XY stage 16 or the Z-axis drive unit 17 to perform fine adjustment of the focus. When this AF fine adjustment process ends, the AF adjustment process of FIG. 9 ends.
  • the AF fine adjustment process is used to strictly use the contrast of the captured image.
  • the focus position is adjusted.
  • a high-definition wide-field image can be taken.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
  • This recording medium is distributed to provide a program to the user separately from the computer, such as a magnetic disk (including a flexible disk) on which the program is recorded, an optical disk (CD-ROM (Compact Disc-Read Only Memory) ), DVD (Digital Versatile Disc))), a magneto-optical disk, or a removable medium composed of a semiconductor memory, etc., and a program provided to the user in a state of being pre-installed in a computer. Consists of recorded hard disk drive, ROM (Read Only Memory), etc.
  • the program for executing the above-described series of processing is installed in a computer via a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. You may be made to do.
  • a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. You may be made to do.
  • the step of describing the program stored in the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of apparatuses.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本発明は、高精細な広視野の画像を撮像できるようにする顕微鏡システムに関する。 第1の撮像素子列311のCCD6111乃至CCD61116、第2の撮像素子列312のCCD6121乃至CCD61216、第3の撮像素子列313のCCD6131乃至CCD61316、第4の撮像素子列314のCCD6141乃至CCD61416は、対物レンズの同じ視野を得られるように分割された像をそれぞれ撮像する。位置検出光センサ39は、第4の撮像素子列314の撮像面の近傍に設けられ、標本面の対物レンズの光軸方向の傾きを検出し、AFチルト制御部52は、検出された標本面の傾きに応じて、標本面が光軸と垂直になるように、標本面が光軸に交わる点を基準に標本を煽る。本発明は、顕微鏡を有する顕微鏡システムに適用できる。

Description

顕微鏡システム
 本発明は、顕微鏡システムに関し、高精細な広視野の画像を撮像できるようにした顕微鏡システムに関する。
 近年、顕微鏡で観察している観察像を撮像し、画像として取り込むことが一般的に行われている。
 顕微鏡の観察像を撮像する場合、通常は、結像された像を1つの撮像素子で撮像するため、撮像素子1つ分の視野しか得ることができない。そのため、例えば病理標本や小動物等のような広い面積の対象を観察する場合には、標本を載せたステージを移動させながら撮像し、コンピュータのメモリ上で逐次撮像画像を重ねる手法を採用することとなる。
 かかる手法を採用した場合、病理標本等をバーチャルスライド化する際に、撮像画像を大量にかつ高速に取り込む必要が出てくるが、ステージ等のハードウェアを駆動しなければならず、結果として、広視野の標本を取り扱うには多くの処理時間を要する。
 また、結像された像を複数に分割し、互いのエリアの一部が重なるように配置された複数の撮像素子により撮像する撮像装置が開示されている(例えば、特許文献1参照)。
特開平6-141246号公報
 しかしながら、特許文献1に開示されている撮像装置においては、1度に複数の撮像画像を取り込むことができるものの、そのまま顕微鏡システムに採用できないという問題がある。
 特に、顕微鏡においては、広視野を高い分解能で撮像できる反面、焦点深度が浅くなり、焦点の合う面は有効視野内の一部となる。そして、このような状態であると、折角広い視野にわたって、高精細な画像を得ることができる装置を具備していても、その性能を生かすことができないこととなる。
 本発明はこのような状況に鑑みてなされたものであり、高精細な広視野の画像を撮像できるようにするものである。
 本発明の顕微鏡システムは、
 標本が載置されるステージ(例えば、図1の電動X-Yステージ16)と対物レンズ(例えば、図1の鏡筒12内の対物レンズ)を有し、前記標本を観察する顕微鏡(例えば、図1の大型顕微鏡1)を含むようにして構成される顕微鏡システム(例えば、図8の顕微鏡システム)において、
 前記対物レンズにより得られる像の視野と同じ視野の画像が得られるように前記対物レンズにより集光された光束を複数の光路に分割し、複数の光路のうちの1つの光路を伝搬する光束から得られる像を複数の撮像素子(例えば、図8のCCD6111乃至CCD61116、CCD6121乃至CCD61216、CCD6131乃至CCD61316、CCD6141乃至CCD61416)に結像させ、前記標本の画像である標本画像の一部となる撮像画像を撮像する複数の撮像手段(例えば、図8の第1の撮像素子列311乃至第4の撮像素子列314)と、
 前記複数の撮像手段の撮像面のうち、少なくともいずれか1つの撮像面の近傍に設けられ、標本面の前記対物レンズの光軸に対する傾き(例えば、標本傾き情報)を検出する検出手段(例えば、図8の位置検出光センサ39)と、
 検出された前記標本面の傾きに応じて、前記標本面が前記対物レンズの光軸に対し垂直となるように、前記ステージと前記対物レンズとを相対的に傾ける制御手段(例えば、図8のAFチルト制御部52)と、
 前記複数の撮像手段のそれぞれによって撮像された複数の前記撮像画像を、前記標本画像として接続する接続手段(例えば、図8の画像接続部72)と
 を備えることを特徴とする。
 前記検出手段は、焦点位置合わせに必要となる焦点情報(例えば、粗動AF情報)を検出し(例えば、図8の位置検出光センサ39により行われる図9のステップS2の処理)、 前記制御手段は、検出された前記焦点情報に基づいて、焦点位置合わせを制御する(例えば、図8のAFチルト制御部52により行われる図9のステップS3の処理)。
 前記検出手段は、前記標本に対し光を照射することで受光される、前記標本のカバーガラスまたはスライドグラスによる反射光から、前記標本面の傾きと、前記焦点情報を検出する(例えば、図8の位置検出光センサ39により行われる図9のステップS2の処理)。
 前記複数の撮像手段(例えば、図2の第1の撮像素子列311乃至第4の撮像素子列314)のうち、1つの撮像手段(例えば、図2の第1の撮像素子列311)は、前記対物レンズ(例えば、図2の対物レンズ28)の光軸方向に設置されており、
 前記1つの撮像手段と前記対物レンズとの間に設置され、前記対物レンズの光軸方向以外の方向に設置される他の撮像手段(例えば、図2の第2の撮像素子列312乃至第4の撮像素子列314)に対し、前記対物レンズからの光束を分岐して前記他の撮像手段のある方向に光路を分岐させる光路分岐手段(例えば、図2の光路分岐プリズム32)をさらに備える。
 前記検出手段は、前記複数の撮像手段の撮像面のうち、前記光路分岐手段における最初の分岐面(例えば、図2の部分反射ミラー32C)で分割された光路を伝搬する光を受光する撮像手段(例えば、図2の第4の撮像素子列314)の撮像面の近傍に設けられており、前記最初の分岐面による反射光を検出することで、前記標本面の傾きと、前記焦点情報を検出する。
 前記検出手段は、
  前記撮像手段で受光する波長範囲外の光を放射する焦点検出光放射手段(例えば、図2の近赤外LED33)と、
  前記焦点検出光放射手段から放射され、前記標本を反射した光を受光するラインセンサであり(例えば、図3の位置検出光センサ391および位置検出光センサ392)、
 前記最初の分岐面の外周部は、前記焦点検出光放射手段からの光を選択的に反射する領域(例えば、図2の近赤外反射膜37A、37B)を有している。
 前記1つの撮像手段は、前記光路分岐手段を通過した像を結像し(例えば、図3のA視)、前記他の撮像手段は、前記光路分岐手段の各分岐面によって1回反射された像を結像する(例えば、図3のB視乃至D視)。
 前記複数の撮像素子は、前記複数の撮像手段のそれぞれの撮像面上に格子状となるように所定の間隔で配置されており、結像する分割された像から、隣り合う撮像画像との貼り合せに必要な重なり部分を有する前記撮像画像をそれぞれ撮像する(例えば、図4のA視、図5のB視、図6のC視、図7のD視)。
 前記接続手段は、前記複数の撮像素子により撮像された前記撮像画像において、貼り合せに必要な重なり部分を除去し、隣接する他の撮像画像と接続する(例えば、図8の画像接続部72により行われる画像接続処理)。
 本発明によれば、高精細な広視野の画像を撮像できる。
大型顕微鏡の全体の構成を示す概略断面図である。 光学系と撮像系の構成を示す図である。 各撮像素子列の撮像面に結像する光を説明する図である。 A視の撮像素子の配列を示す図である。 B視の撮像素子の配列を示す図である。 C視の撮像素子の配列を示す図である。 D視の撮像素子の配列を示す図である。 顕微鏡システムの構成の例を示すブロック図である。 AF調整処理を説明するフローチャートである。
符号の説明
 1 大型顕微鏡, 11 撮像部, 12 鏡筒, 14 フレーム/ハウジング部, 15 光源部, 16 電動X-Yステージ, 16A,16B ピエゾ, 17 Z軸駆動部, 18 透過照明ユニット, 22 コレクタレンズ, 23 視野絞り, 24 フィールドレンズ, 25 ミラー, 26 開口絞り, 27 コンデンサレンズ, 28 対物レンズ, 29 結像レンズ, 311 第1の撮像素子列, 312 第2の撮像素子列, 313 第3の撮像素子列, 314 第4の撮像素子列, 32 光路分岐プリズム, 32A乃至32C 部分反射ミラー, 33 近赤外LED, 34 集光レンズ, 35 スリット, 36 コリメータレンズ, 37Aおよび37B 近赤外反射膜, 38 集光レンズ, 39 位置検出光センサ, 51 顕微鏡制御部, 52 AFチルト制御部, 53 画像処理部, 54 ステージ駆動部, 6111乃至61416 CCD, 711乃至714 画像処理部, 72 画像接続部
 以下、図面を参照しながら本発明の実施の形態について説明する。
 図1は、大型顕微鏡の全体の構成を示す概略断面図である。
 大型顕微鏡1は、例えば細胞等の標本Sが載置されるステージと対物レンズとの距離を調整して焦点を合わせて、標本Sを観察する顕微鏡である。
 大型顕微鏡1は、撮像部11、対物レンズ等の光学系が保持された鏡筒12、フレーム/ハウジング部14、光源部15、電動X-Yステージ16、Z軸駆動部17、および透過照明ユニット18を含むようにして構成される。
 なお、後述する図2は、かかる構成を有する大型顕微鏡1のうちの、撮像部11、鏡筒12の光学系、および透過照明ユニット18の内部構成を示す図となる。また、AFユニットは、撮像部11内に設けられているために、図1には図示していないが、その詳細な構成については図2を参照して後述する。
 撮像部11は、複数の撮像領域を有し、各撮像領域には、複数のCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を搭載し、鏡筒12に保持された高N.A、広視野の対物レンズを含む光学系により形成される標本Sの拡大像を広視野に撮像する。ここで、撮像部11に搭載される撮像素子の数は、対物レンズを含む光学系で形成される像の形成面積により決定される。詳細は後述するが、例えば、撮像部11には、対物レンズを含む光学系による像の形成面積に応じて、図中のX-Y方向(水平方向)に、8×8、8×4、4×4個等の撮像素子が格子状に複数の箇所に配置される。本実施の形態では、説明の都合上、撮像部11には、各4×4個のCCDが搭載された撮像素子列が4箇所の撮像領域にそれぞれ配置されているとして説明する。
 この撮像部11には、AFユニットが備えられている。
 AFユニットは、標本Sに対し、対物レンズのZ方向への距離を検出するものである。
この距離が対物レンズに対して、標本Sと撮像部11の撮像領域が略共役な関係となるように、位置調整が可能なZ軸駆動部17を利用して、図中のZ軸方向(垂直方向(光軸方向))を調整し、電動X-Yステージ16に載置された標本S(スライドグラス上の標本Sに被せられたカバーガラス)に焦点を合わせる。また、詳細については後述するが、撮像部11のAFユニットには位置検出用の光学系が設けられており、これにより粗動の焦点調整を行う。
 これらの撮像部11、鏡筒12、およびAFユニットは、フレーム/ハウジング部14により支えられる。
 電動X-Yステージ16は、図示せぬ駆動系やセンサ等から構成され、載置された標本SをX-Y方向に移動させる。また、電動X-Yステージ16には、一直線上に並ばないように配置された、ピエゾ16A,16Bと不図示のピエゾが配置される。これらの3つのピエゾを駆動することで、電動X-Yステージ16に載置された標本Sを煽る(傾ける)ことが可能となる。なお、標本S(プレパラート)は、図示しないローダによって、電動X-Yステージ16に1枚ずつ搬送される。
 透過照明ユニット18は、光源となる光源部15からの光により、電動X-Yステージ16上に載置された標本Sを照明する。
 なお、本実施の形態においては、電動X-Yステージ16上に載置される標本S(プレパラート)の表面は鏡面となっているものとして説明する。
 以上のようにして、大型顕微鏡1は構成される。
 次に、図2を参照して、かかる大型顕微鏡1の詳細な構成例について説明する。
 図2に示すように、大型顕微鏡1は、撮像部11および光源部15の他に、コレクタレンズ22、視野絞り23、フィールドレンズ24、ミラー25、開口絞り26、コンデンサレンズ27と、対物レンズ28および結像レンズ29から構成される。
 また、図2においては、コレクタレンズ22、視野絞り23、フィールドレンズ24、ミラー25、開口絞り26、およびコンデンサレンズ27は、図1の透過照明ユニット18に相当し、鏡筒12が保持する光学系は、対物レンズ28および結像レンズ29からなる。また、標本Sは、図1の電動X-Yステージ16上に載置される。
 以下、光路に沿って、光学系と撮像系の配置について説明する。
 光源部15からの照明光は、コレクタレンズ22により平行光束となり、視野絞り23を介してフィールドレンズ24に入射する。フィールドレンズ24に入射した照明光は、ミラー25により反射され、開口絞り26に入射する。開口絞り26は、照明光の開口数を調整するために設けられる。ミラー25により反射された照明光は、開口絞り26を通過した後に、コンデンサレンズ27により標本Sに向かい、電動X-Yステージ16上に載置された標本Sを照明する。
 そして、この照明光が標本Sを照明することにより、標本Sからの光は、対物レンズ28および結像レンズ29によって、撮像部11の各撮像領域に設けられる撮像素子の各撮像面で結像される。図2に示すように、撮像部11においては、光路分岐プリズム32によって、結像レンズ29で集光された光が、各撮像領域に撮像素子が配置された第1の撮像素子列311乃至第4の撮像素子列314の4つの撮像面に向けて分岐され、各撮像面のそれぞれで受光される。
 なお、光路分岐プリズム32の部分反射ミラー32Cから各撮像領域までの光学的な距離(光路長)は、いずれも同じになるように、各撮像領域の位置を設定している。また、その光学的な距離は所期の値にしつつ、装置自体を小型化するため、分岐後の光路はプリズムの部材と同じ透明な光学材料中を光路とした。これにより各光路の幾何学長を短くすることができる。
 具体的には、撮像部11に入射した光は、光路分岐プリズム32に入射すると、図2の矢印で表すように、まず、部分反射ミラー32Cに入射し、その一部が部分反射ミラー32Cの反射面において反射し、それ以外の光は部分反射ミラー32Cの反射面を通過する。部分反射ミラー32Cの反射面で反射した光は、第4の撮像素子列314の撮像面に到達する。一方、部分反射ミラー32Cを通過した光は、部分反射ミラー32Bに入射する。
 部分反射ミラー32Bに入射した光は、その一部が部分反射ミラー32Bの反射面において反射し、それ以外の光は部分反射ミラー32Bの反射面を通過する。部分反射ミラー32Bの反射面で反射した光は、第3の撮像素子列313の撮像面に到達し、一方、部分反射ミラー32Bを通過した光は、部分反射ミラー32Aに入射する。
 部分反射ミラー32Aに入射した光は、その一部が部分反射ミラー32Aの反射面において反射し、それ以外の光は部分反射ミラー32Aの反射面を通過する。部分反射ミラー32Aの反射面で反射した光は、第2の撮像素子列312の撮像面に到達し、一方、部分反射ミラー32Aを通過した光は、第1の撮像素子列311の撮像面に到達する。なお、結像レンズ29から、各撮像素子列31の撮像面まで同じ光路長を有しているので、各撮像面に、対物レンズ28および結像レンズ29による標本Sの像が結像する。
 このように、光路分岐プリズム32によって、撮像部11に入射された光が、第1の撮像素子列311乃至第4の撮像素子列314のそれぞれの撮像面で受光されるように4つの光路に分岐され、分岐されたそれぞれの光が、第1の撮像素子列311乃至第4の撮像素子列314によって受光される。
 例えば、図3に示すように、光路分岐プリズム32に入射する光の光量を説明便宜上、100であると仮定した場合、まず、部分反射ミラー32Cに入射する光量100の光のうち、部分反射ミラー32Cにより反射された光量25の光が、第4の撮像素子列314の撮像面に到達し、残りの光量75の光が部分反射ミラー32Bに入射する。
続いて、部分反射ミラー32Bに入射する光量75の光のうち、部分反射ミラー32Bにより反射された光量25の光が、第3の撮像素子列313の撮像面に到達し、残りの光量50の光が部分反射ミラー32Aに入射する。そして、部分反射ミラー32Aに入射する光量50の光のうち、部分反射ミラー32Aにより反射された光量25の光が、第2の撮像素子列312の撮像面に到達し、残りの光量25の光が第1の撮像素子列311の撮像面に到達する。
 つまり、第1の撮像素子列311乃至第4の撮像素子列314のそれぞれの撮像面においては、光路分岐プリズム32により4分割されて、同一の光量(光路分岐プリズム32に入射した光の1/4の光量)となる光が到達する。
 また、図3において、各撮像素子列の後方に示す円は、当該撮像素子列に対応する撮像素子の配置を示す矢視図である。すなわち、図中の矢印Aの方向からの矢視図(A視)は、第1の撮像素子列311の配列位置を左下斜線で表し、矢印Bの方向からの矢視図(B視)は、第2の撮像素子列312の配列位置を横縞で表し、矢印Cの方向からの矢視図(C視)は、第3の撮像素子列313の配列位置を黒色で表し、矢印Dの方向からの矢視図(D視)は、第4の撮像素子列314の配列位置を格子で表す。
 A視乃至D視においては、他の撮像領域に配置された撮像素子列が当該矢視方向から見たときにどの位置を撮像しているのと等価なのかわかるように、それぞれ、左下斜線(斜線)、横縞、黒色、格子のいずれかの模様が付してある。この4種類の模様の付された四角は、それぞれ、各撮像素子列に対応しており、斜線は第1の撮像素子列311で撮像される位置またはそれと等価な位置、横縞は第2の撮像素子列312で撮像される位置またはそれと等価な位置、黒色は第3の撮像素子列313で撮像される位置またはそれと等価な位置、格子は第4の撮像素子列314で撮像される位置またはそれと等価な位置のそれぞれを構成する各撮像素子を表している。
 実際には、図3のA視で示す第1の撮像素子列311は、図4に示すように、他の撮像素子列で撮像できる範囲が大きく重ならないように、縦方向と横方向のそれぞれに1つ間隔をあけて配列された斜線の四角に対応する4×4の撮像素子が配列される。なお、実際には、8×8の撮像素子により撮像された撮像画像を合成して標本Sの画像である標本画像を生成するためには、撮像画像の縦横の貼り合せのための部分が余分に必要となるので、斜線の四角の領域よりも広い、図4の太枠で囲っている領域が、第1の撮像素子列311を構成する4×4の撮像素子によりそれぞれ撮像される。
 同様に、図3のB視で示す第2の撮像素子列312には、図5に示すように、横縞の四角に対応する4×4の撮像素子が配列され、太枠で囲まれた領域が撮像される。また、図3のC視で示す第3の撮像素子列313には、図6に示すように、黒色の四角に対応する4×4の撮像素子が配列され、図3のD視で示す第4の撮像素子列314には、図7に示すように、格子の四角に対応する4×4の撮像素子が配置され、太枠で囲まれた領域がそれぞれ撮像される。但し、B視乃至D視の撮像素子で撮像される像のそれぞれは、光路分岐プリズム32の各部分反射ミラーによって反射しているために、例えば、図3のA視の左上の太枠で囲った四角は、図3のB視乃至D視においては右上の太枠で囲った四角に相当する。
 すなわち、標本Sに対し共役な面に配置される各撮像素子列の撮像素子は、それぞれ、標本画像の一部となる撮像画像を撮像可能な位置であって、光路分岐プリズム32に入射する光の1/4(25%)の光量となる像をそれぞれ受光する撮像面に配置され、それぞれ、図4乃至図7の太枠で示す領域を撮像する。そして、詳細については後述するが、それらの撮像素子により撮像された撮像画像は、隣り合う撮像画像との貼り合せに必要な重なりを持っているので、それぞれ、隣接する他の撮像画像と接続されることで、8×8の撮像画像から1枚の標本画像が得られる。
 ところで、本実施の形態では、第1の撮像素子列311にできる像と、他の第2の撮像素子列312乃至第4の撮像素子列314にできる像は、鏡像関係になるので、各々の配置位置は、全ての撮像素子列にできる像が鏡像関係にあるかないかを考慮して設定する。
 なお、本実施の形態では、第1の撮像素子列311乃至第4の撮像素子列314の4つの撮像素子列を配置する例について説明するが、光路分岐プリズム32の反射面を増やして、撮像素子列を増やしてもよいし、逆に、反射面を減らして、撮像素子列を減らしてもよい。
このように、光路を分岐して、同じ像が撮像できる撮像領域を複数できるようにする一方、結像位置を全てカバーする程広い撮像面を持つ撮像素子を用いずに、狭い撮像面の撮像素子を離散的に配置し、異なる撮像領域で大きく重複して標本Sの像を撮像できるように、各撮像領域の撮像素子の配置位置を決定することで、安価な撮像素子で広範囲高精細な像を取得することができる。
 図2に戻り、撮像部11には、上述した撮像系の他に、近赤外LED(Light Emitting Diode)33、集光レンズ34、スリット35、コリメータレンズ36、集光レンズ38、および位置検出光センサ39からなるオートフォーカス光学系が設けられる。なお、近赤外LED33乃至位置検出光センサ39は、図1の撮像部11に備えられたAFユニット(不図示)に相当する。
 このオートフォーカス光学系は、第1の撮像素子列311乃至第4の撮像素子列314の撮像面のうちの少なくともいずれか1つの撮像面の近傍に設けられ、合焦検出等を行う。
すなわち、一般的に大型顕微鏡1は、広い視野を撮像できるが、焦点深度が浅いため、標本Sが対物レンズ28の光軸に対して傾いていると、標本画像の一部がぼやけてしまい、顕微鏡写真としては適さないものとなる。そこで、本実施の形態においては、オートフォーカス光学系によって、標本面の対物レンズ28の光軸に対する傾きを検出して、その傾きが垂直になるように調整し、さらに、粗動の焦点調整を行うのである。
 以下、光路に沿って、オートフォーカス光学系の配置について説明する。
 近赤外LED33は、およそ0.7乃至2.5μmの光(電磁波)である近赤外光を照射する。近赤外LED33からの近赤外光は、集光レンズ34、スリット35、およびコリメータレンズ36を介して、部分反射ミラー32Cに入射する。部分反射ミラー32Cの一部には、近赤外光を反射する膜である近赤外反射膜37A,37Bが蒸着されており、近赤外LED33からの近赤外光を反射する。すなわち、部分反射ミラー32Cにおいては、近赤外反射膜37A,37Bの蒸着された領域では、近赤外光が反射され、それ以外の領域では、入射した光が反射と透過で分岐されることになる。
 したがって、近赤外反射膜37Aにより反射された近赤外光は、結像レンズ29および対物レンズ28を介して、標本Sに集光する。すると、その光は、標本Sを挟んでいるカバーガラスまたはスライドグラスの表面において反射し、対物レンズ28を介して結像レンズ29に入射する。
 結像レンズ29に入射した反射光は、部分反射ミラー32Cに蒸着された近赤外反射膜37Bによって反射され、集光レンズ38を介して、位置検出光センサ39に入射する。
位置検出光センサ39は、集光レンズ38を介して入射される反射光を受光し、その反射光から、粗動のAF調整を行うための情報(以下、粗動AF情報と称する)と、標本Sの標本面の対物レンズ28の光軸に対する傾きに関する情報(以下、標本傾き情報と称する)を求める。
 位置検出光センサ39は、例えば1024画素を有するラインCCD等のラインセンサである。ラインセンサを用いた場合には、ラインセンサ全体から求められる近赤外LED33からの光スポット像のコントラスト差によって、粗動のAF調整を行うとともに、ラインセンサで受光された近赤外LED33からの光のスポットポジションから標本面の光軸に対する傾きを求めることが可能となる。また、ラインセンサを用いると、処理が単純になるので、短い処理時間で、高速にAF調整を行うことができるといった利点もある。
 なお、図2の例には、説明の都合上、近赤外LED33乃至位置検出光センサ39からなる1組のオートフォーカス光学系を図示したが、実際には、図3のD視に対応する図7に示すように、近赤外LED331と位置検出光センサ391、および、近赤外LED332と位置検出光センサ392の2組のオートフォーカス光学系が設けられる。すなわち、2組のオートフォーカス光学系を設けることで、XY方向で傾きが検出される。これにより、標本面の光軸に対する傾きが求められるので、ピエゾ16A,16B又は不図示のピエゾを駆動して、電動X-Yステージ16を煽ることで、標本面が光軸に対し傾いていない状態にすることが可能となる。
 また、図3に示すように、2組のオートフォーカス光学系は、光路分岐プリズム32に入射した光の最初の反射面である部分反射ミラー32Cからの光を受光する第4の撮像素子列314の撮像面の近傍に設けられるが、例えば第3の撮像素子列313等、他の撮像素子列の撮像面の近傍に設けてもよい。但し、撮像部11の構成上、後方の反射面である部分反射ミラー32Aまたは部分反射ミラー32Bによる反射まで考慮するとなると煩雑になるため、かかるオートフォーカス光学系は、最初の反射面である部分反射ミラー32Cによる反射光を受光する撮像面の近傍に設けるのが好適である。
 このように、本実施の形態においては、第1の撮像素子列311乃至第4の撮像素子列314のいずれか一つの撮像面に、複数箇所の合焦検出を行うオートフォーカス光学系を具備している。また、最初の光路分岐面で分割された光が入射する撮像素子列の近傍に、かかるオートフォーカス光学系を有しているので、検出用の光が効率よく標本Sに届くとともに、標本Sを経た検出用の光を十分な強度で検出することが可能となる。
次に、図8を参照して、大型顕微鏡1を含むようにして構成される顕微鏡システムの構成の例について説明する。
 顕微鏡システムは、図8に示すように、大型顕微鏡1の他に、顕微鏡制御部51、AFチルト制御部52、画像処理部53、およびステージ駆動部54を少なくとも含むようにして構成される。なお、図8の例では、説明の都合上、上述した、大型顕微鏡1の構成のうち、第1の撮像素子列311乃至第4の撮像素子列314および位置検出光センサ39だけを図示している。
 順不同に説明すると、位置検出光センサ39は、近赤外LED33からの近赤外光であって、標本Sを挟んでいるカバーガラスまたはスライドグラスの表面による反射光から、粗動AF情報および標本傾き情報を検出し、AFチルト制御部52に供給する。
 AFチルト制御部52には、位置検出光センサ39から粗動AF情報および標本傾き情報が供給される。AFチルト制御部52は、粗動AF情報に基づいて、Z軸駆動部17を制御して、粗動のAF調整処理を行う。また、AFチルト制御部52は、標本傾き情報に基づいて、ピエゾ16A,16B又は不図示のピエゾの駆動を制御して、標本面が光軸に交わる点を基準にして、電動X-Yステージ16に載置された標本Sを煽る。
 また、AFチルト制御部52は、自分の行っている動作の状況を逐次、顕微鏡制御部51に対し通知する。
 顕微鏡制御部51は、例えば、大型顕微鏡1における駆動系やオートフォーカス等、顕微鏡システムの各部に接続され、これらを制御する。
 また、顕微鏡制御部51は、AFチルト制御部52から、粗動のAF調整処理と、標本Sを煽る処理の終了が通知された場合、画像処理部53から第1の撮像素子列311乃至第4の撮像素子列314の各撮像素子により撮像された撮像画像を取得し、撮像画像のコントラストを求める。そして、顕微鏡制御部51は、撮像画像のコントラストに基づいて、ステージ駆動部54を制御し、AF微調整処理を行う。かかるAF微調整処理を行うことで、AFチルト制御部52により大まかに合わされた焦点が、より精密に合わせられる。
第1の撮像素子列311は、CCD6111乃至CCD61116の16個の撮像素子から構成され、各CCDにより撮像された画像信号を画像処理部53に出力する。なお、CCD6111乃至CCD61116の16個の撮像素子は、図4のA視に配置された4×4の撮像素子に対応している。
 同様に、第2の撮像素子列312は、図5のB視に配置された撮像素子に対応する、CCD6121乃至CCD61216の16個の撮像素子から構成され、第3の撮像素子列313は、図6のC視に配置された撮像素子に対応する、CCD6131乃至CCD61316の16個の撮像素子から構成され、第4の撮像素子列314は、図7のD視に配置された撮像素子に対応する、CCD6141乃至CCD61416の16個の撮像素子から構成される。第2の撮像素子列312乃至第4の撮像素子列314を構成する各CCDにより撮像された画像信号は、画像処理部53に出力される。
 画像処理部53において、画像処理部711乃至画像処理部714には、それぞれ、第1の撮像素子列311乃至第4の撮像素子列314からの画像信号が入力される。画像処理部711乃至画像処理部714は、第1の撮像素子列311乃至第4の撮像素子列314から入力される画像信号に対し、それぞれ、所定の画像処理を施す。そして、画像処理を施すことで得られた撮像画像は、それぞれ、画像接続部72に入力される。
 すなわち、画像接続部72には、第1の撮像素子列311乃至第4の撮像素子列314に配置された各撮像素子によって撮像された画像信号に対応する撮像画像がそれぞれ入力される。この各撮像素子列ごとに撮像される16×4の撮像画像は、それぞれ、縦横に隣接する他の撮像画像との貼り合せに必要となる重なり部分(のりしろ)を有している(図4乃至図7の太枠で囲っている領域)。画像接続部72は、各撮像素子列ごとに撮像される16×4の撮像画像の接続に必要となる接続位置を決定し、さらに、のりしろの除去を行うことで、それらの撮像画像を接続する。これにより、16×4枚の撮像画像から1枚の標本画像が得られる。この標本画像は、例えば、後段の表示部(図示せず)に出力され表示されるか、あるいは、記録部(図示せず)に記録される。
 以上のようにして、顕微鏡システムは構成される。
 次に、図9のフローチャートを参照して、かかる顕微鏡システムによって行われる、AF調整処理について説明する。
 ステップS1において、近赤外LED33は、近赤外光を照射する。この近赤外光は、集光レンズ34乃至コリメータレンズ36を介して、部分反射ミラー32Cに蒸着されている近赤外反射膜37Aに反射される。そして、近赤外反射膜37Aにより反射された近赤外光は、結像レンズ29および対物レンズ28を介して、標本Sに集光し、カバーガラスまたはスライドグラスの表面で反射する。この反射光は、対物レンズ28を介して結像レンズ29を介して、部分反射ミラー32Cに蒸着された近赤外反射膜37Aによって反射され、集光レンズ38を介して、位置検出光センサ39に入射する。
 ステップS2において、位置検出光センサ39は、標本Sのカバーガラスまたはスライドグラスの表面で反射した近赤外光であって、集光レンズ38から入射してくる反射光を受光する。位置検出光センサ39は、受光した反射光から、粗動AF情報と標本傾き情報を検出し、AFチルト制御部52に出力する。
 ステップS3において、AFチルト制御部52は、位置検出光センサ39から供給される粗動AF情報に基づいて、Z軸駆動部17の駆動を制御し、粗動のAF調整処理を行う。この粗動のAF調整処理を行うことで、あらかじめ大まかなところまで、焦点を合わせることが可能となる。
 ステップS4において、AFチルト制御部52は、位置検出光センサ39から供給される標本傾き情報に基づいて、ピエゾ16A,16B又は不図示のピエゾの駆動を制御し、標本面が光軸と交わる点を基準にして、電動X-Yステージ16に載置された標本Sを煽る。標本Sを煽ることで、かかる標本Sを対物レンズ28の光軸に対し傾いていない状態にすることが可能となる。
 なお、ステップS3の処理(粗動のAF調整処理)と、ステップS4の処理(標本Sを煽る処理)との順序を逆にして、標本Sを煽る処理を行った後に、粗動のAF調整処理を行ってもよい。
 AFチルト制御部52による、粗動のAF調整処理と、標本Sを煽る処理が終了すると、ステップS5において、顕微鏡制御部51は、AF微調整処理を行う。具体的には、顕微鏡制御部51は、画像処理部53から、各撮像素子列により撮像された撮像画像を取得し、取得した撮像画像のコントラストに基づいて、ステージ駆動部54を制御し、AF微調整処理を行う。かかるAF微調整処理においては、ステージ駆動部54によって、電動X-Yステージ16またはZ軸駆動部17の駆動が制御されることで、焦点の微調整が行われる。このAF微調整処理が終了すると、図9のAF調整処理は終了する。
 このように、図9のAF調整処理においては、粗動のAF調整処理によって、あらかじめ大まかなところまで、焦点位置を合わせた後、AF微調整処理によって、撮像画像のコントラストを用いて、厳密に焦点位置を合わせている。
 その後、AF調整処理が終了すると、第1の撮像素子列311乃至第4の撮像素子列314によって撮像画像が撮像され、画像接続部72によって16×4枚の撮像画像から1枚の標本画像が生成される。これにより、かかる標本画像は、標本面が光軸に対し傾いていない状態で撮像された撮像画像が接続されたものとなるので、結果として、焦点深度の浅い大型顕微鏡1であっても、高精細な広視野の画像を撮像し、取得することが可能となる。
 以上のように、本発明によれば、高精細な広視野の画像を撮像できる。
 上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
 この記録媒体は、コンピュータとは別に、利用者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc))を含む)、光磁気ディスク、若しくは半導体メモリ等よりなるリムーバブルメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態で利用者に提供される、プログラムが記録されているハードディスクドライブやROM(Read Only Memory)等で構成される。
 また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
 なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
 また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
 さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

Claims (9)

  1.  標本が載置されるステージと対物レンズを有し、前記標本を観察する顕微鏡を含むようにして構成される顕微鏡システムにおいて、
     前記対物レンズにより得られる像の視野と同じ視野の画像が得られるように前記対物レンズにより集光された光束を複数の光路に分割し、複数の光路うちの1つの光路を伝搬する光束から得られる像を複数の撮像素子に結像させ、前記標本の画像である標本画像の一部となる撮像画像を撮像する複数の撮像手段と、
     前記複数の撮像手段の撮像面のうち、少なくともいずれか1つの撮像面の近傍に設けられ、標本面の前記対物レンズの光軸に対する傾きを検出する検出手段と、
     検出された前記標本面の傾きに応じて、前記標本面が前記対物レンズの光軸に対し垂直となるように、前記ステージと前記対物レンズとを相対的に傾ける制御手段と、
     前記複数の撮像手段のそれぞれによって撮像された複数の前記撮像画像を、前記標本画像として接続する接続手段と を備えることを特徴とする顕微鏡システム。
  2.  前記検出手段は、焦点位置合わせに必要となる焦点情報を検出し、
     前記制御手段は、検出された前記焦点情報に基づいて、焦点位置合わせを制御する
     ことを特徴とする請求項1に記載の顕微鏡システム。
  3.  前記検出手段は、前記標本に対し光を照射することで受光される、前記標本のカバーガラスまたはスライドグラスによる反射光から、前記標本面の傾きと、前記焦点情報を検出する
     ことを特徴とする請求項2に記載の顕微鏡システム。
  4.  前記複数の撮像手段のうち、1つの撮像手段は、前記対物レンズの光軸方向に設置されており、
     前記1つの撮像手段と前記対物レンズとの間に設置され、前記対物レンズの光軸方向以外の方向に設置される他の撮像手段に対し、前記対物レンズからの光束を分岐して前記他の撮像手段のある方向に光路を分岐させる光路分岐手段をさらに備える
     ことを特徴とする請求項3に記載の顕微鏡システム。
  5.  前記検出手段は、前記複数の撮像手段の撮像面のうち、前記光路分岐手段における最初の分岐面で分割された光路を伝搬する光を受光する撮像手段の撮像面の近傍に設けられており、前記最初の分岐面による反射光を検出することで、前記標本面の傾きと、前記焦点情報を検出する
     ことを特徴とする請求項4に記載の顕微鏡システム。
  6.  前記検出手段は、
      前記撮像手段で受光する波長範囲外の光を放射する焦点検出光放射手段と、
      前記焦点検出光放射手段から放射され、前記標本を反射した光を受光するラインセンサであり、
     前記最初の分岐面の外周部は、前記焦点検出光放射手段からの光を選択的に反射する領域を有している
     ことを特徴とする請求項5に記載の顕微鏡システム。
  7.  前記1つの撮像手段は、前記光路分岐手段を通過した像を結像し、
     前記他の撮像手段は、前記光路分岐手段の各分岐面によって1回反射された像を結像する
     ことを特徴とする請求項4に記載の顕微鏡システム。
  8.  前記複数の撮像素子は、前記複数の撮像手段のそれぞれの撮像面上に格子状となるように所定の間隔で配置されており、結像する分割された像から、隣り合う撮像画像との貼り合せに必要な重なり部分を有する前記撮像画像をそれぞれ撮像する
     ことを特徴とする請求項1に記載の顕微鏡システム。
  9.  前記接続手段は、前記複数の撮像素子により撮像された前記撮像画像において、貼り合せに必要な重なり部分を除去し、隣接する他の撮像画像と接続する
     ことを特徴とする請求項8に記載の顕微鏡システム。
PCT/JP2009/054832 2008-03-14 2009-03-13 顕微鏡システム WO2009113647A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-065559 2008-03-14
JP2008065559 2008-03-14

Publications (1)

Publication Number Publication Date
WO2009113647A1 true WO2009113647A1 (ja) 2009-09-17

Family

ID=41065308

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/054832 WO2009113647A1 (ja) 2008-03-14 2009-03-13 顕微鏡システム

Country Status (1)

Country Link
WO (1) WO2009113647A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011148636A1 (en) * 2010-05-27 2011-12-01 Canon Kabushiki Kaisha Image pickup apparatus
WO2013051147A1 (ja) * 2011-10-07 2013-04-11 キヤノン株式会社 画像取得装置の調整方法、画像取得装置および画像取得装置の製造方法
WO2013084345A1 (ja) * 2011-12-09 2013-06-13 キヤノン株式会社 画像取得装置および画像取得装置の調整方法
WO2013118489A1 (ja) * 2012-02-06 2013-08-15 パナソニック株式会社 光学素子及びそれを備えた撮像装置
JP2017182086A (ja) * 2011-10-25 2017-10-05 サンフォード−バーナム メディカル リサーチ インスティテュート 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003215459A (ja) * 2002-01-18 2003-07-30 Olympus Optical Co Ltd 顕微鏡画像撮影装置
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
JP2006292999A (ja) * 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003215459A (ja) * 2002-01-18 2003-07-30 Olympus Optical Co Ltd 顕微鏡画像撮影装置
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
JP2006292999A (ja) * 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011148636A1 (en) * 2010-05-27 2011-12-01 Canon Kabushiki Kaisha Image pickup apparatus
JP2011248123A (ja) * 2010-05-27 2011-12-08 Canon Inc 撮像装置
US9261691B2 (en) 2010-05-27 2016-02-16 Canon Kabushiki Kaisha Image pickup apparatus
WO2013051147A1 (ja) * 2011-10-07 2013-04-11 キヤノン株式会社 画像取得装置の調整方法、画像取得装置および画像取得装置の製造方法
JP2017182086A (ja) * 2011-10-25 2017-10-05 サンフォード−バーナム メディカル リサーチ インスティテュート 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法
WO2013084345A1 (ja) * 2011-12-09 2013-06-13 キヤノン株式会社 画像取得装置および画像取得装置の調整方法
WO2013118489A1 (ja) * 2012-02-06 2013-08-15 パナソニック株式会社 光学素子及びそれを備えた撮像装置
JP5525656B2 (ja) * 2012-02-06 2014-06-18 パナソニック株式会社 光学素子の製造方法
US9164200B2 (en) 2012-02-06 2015-10-20 Panasonic Intellectual Property Management Co., Ltd. Optical element and imaging apparatus including the same

Similar Documents

Publication Publication Date Title
US7702229B2 (en) Lens array assisted focus detection
JP5006062B2 (ja) バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP5897563B2 (ja) ライン走査式顕微鏡における同期用システム
US20100328445A1 (en) Microscope system
EP2749941A1 (en) Image capture device and iamge capture device system
JP5999121B2 (ja) 共焦点光スキャナ
US9122070B2 (en) Microscope device
JP5056871B2 (ja) 共焦点顕微鏡システム
US7312920B2 (en) Confocal microscope
WO2005085936A1 (en) An optical system for producing differently focused images
US9134523B2 (en) Predictive focusing for image scanning systems
WO2009113647A1 (ja) 顕微鏡システム
JP2010256530A (ja) 顕微鏡装置
US20180196237A1 (en) Image capturing apparatus and focusing method thereof
JP5848596B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP2006308336A (ja) 撮像システム
US20150156396A1 (en) Image capturing apparatus and focusing method thereof
JP5019279B2 (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
JP5981241B2 (ja) 顕微鏡撮像装置及び顕微鏡撮像方法
JP2006519408A5 (ja)
JP2012163910A (ja) 顕微鏡装置
WO2019123869A1 (ja) 画像取得装置及び画像取得方法
KR20190063027A (ko) 라인 스캐닝 방식의 공초점 현미경에서의 자동초점조절 방법 및 장치
JP2013174709A (ja) 顕微鏡装置およびバーチャル顕微鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09719281

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09719281

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP