WO2020071834A1 - 이미지 센서 모듈, 소형 디지털 현미경 및 소형 디지털 현미경 어레이 시스템, 실시간 3차원 디지털 현미경, 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템 - Google Patents

이미지 센서 모듈, 소형 디지털 현미경 및 소형 디지털 현미경 어레이 시스템, 실시간 3차원 디지털 현미경, 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템

Info

Publication number
WO2020071834A1
WO2020071834A1 PCT/KR2019/013001 KR2019013001W WO2020071834A1 WO 2020071834 A1 WO2020071834 A1 WO 2020071834A1 KR 2019013001 W KR2019013001 W KR 2019013001W WO 2020071834 A1 WO2020071834 A1 WO 2020071834A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
light
image
light source
image sensor
Prior art date
Application number
PCT/KR2019/013001
Other languages
English (en)
French (fr)
Inventor
이종묵
신희찬
Original Assignee
(주) 솔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180117950A external-priority patent/KR102032251B1/ko
Priority claimed from KR1020180117951A external-priority patent/KR102076736B1/ko
Priority claimed from KR1020180135394A external-priority patent/KR102259841B1/ko
Application filed by (주) 솔 filed Critical (주) 솔
Publication of WO2020071834A1 publication Critical patent/WO2020071834A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Definitions

  • the present invention relates to an image sensor module, a small digital microscope and a small digital microscope array system, a real-time three-dimensional digital microscope, a digital microscope and a digital microscope system in which a high magnification image is guided by a low magnification image.
  • a conventional digital microscope may include an objective lens, a camera module (CAMERA MODULE), a tube lens and an extension tube optically connecting the objective lens and the camera module.
  • CAMERA MODULE CAMERA MODULE
  • tube lens CAMERA MODULE
  • extension tube optically connecting the objective lens and the camera module.
  • the conventional digital microscope has a problem in that the manufacturing process is complicated and the defect rate is increased because the optical axes of various optical systems must be aligned, and there is a problem in that the length of the entire field is lengthened by various optical systems, thereby limiting the size of the product, and the manufacturing cost. There is a growing problem.
  • the image sensor includes a plurality of pixels, and each of the plurality of pixels is a micro lens array (MLA) and an RGB filter (a filter that selectively transmits at least one of RGB wavelength bands). And, it may include an imaging element (IMAGING ELEMENT).
  • IMAGING ELEMENT an imaging element
  • the angle of incidence (CRA, of the main light incident on a plurality of pixels in the center region b1 and the edge regions a1 and c1 of the image sensor by the light refraction effect of the tube lens and the extension tube) Chief Ray Angle) value is about 25 degrees different.
  • the micro lens shift value of each pixel is calculated (the distance from the center to the edge is uniform, but the micro lens shift value is smaller, that is, the distance between the micro lenses becomes narrower from the center to the edge),
  • the microlenses are intentionally shifted so as to deviate from the axis of the imaging element. It is also considering the design of such a micro lens shift that an optical system such as a tube lens and an extension tube is required in a conventional digital microscope.
  • Korean Patent Application Publication No. 10-2015-0043926 proposes a three-dimensional microscope that generates a three-dimensional image with binocular parallax by alternately blinking and controlling a plurality of light sources.
  • the 3D microscope includes a first light source 1a and a second light source 2a spaced apart from each other to form binocular parallax, and an image sensor 3a.
  • the image sensor 3a alternates to generate a left-eye image and a right-eye image.
  • the left-eye image and the right-eye image are alternated and reproduced rapidly (a period that the human eye cannot recognize), thereby obtaining a three-dimensional image that allows an observer to grasp the three-dimensional depth of the sample.
  • the 3D image reproduced in the 3D microscope gives fatigue to the observer's eyes, and the exposure time of the image sensor 3a is the blinking period and precision of the first light source 1a and the second light source 2a. There is a problem that is difficult to synchronize.
  • the frame rate of the image sensor 3a is divided and allocated to the left-eye image and the right-eye image, it is impossible to reproduce a three-dimensional image utilizing both frame rates and rapid movement of the specimen cannot be realized. have.
  • a conventional microscope includes a stage on which a sample is seated, an objective lens for determining the magnification of the imaged image, and imaging of the specimen with the user's eye. It consists of an optical lens that guides light, and an extension tube that optically connects the objective lens and the eyepiece.
  • a plurality of objective lenses having different magnifications are selected by rotation of a rotating plate, thereby generating a low magnification image and a high magnification image, respectively.
  • the low magnification objective lens must be switched to the high magnification objective lens for precise observation, and the characteristic region of the high magnification objective lens and the sample is optically aligned by moving the stage (x-axis, y-axis: position alignment; There was a hassle to do (z-axis: focus alignment).
  • the present invention for solving the above-described problems can provide an image sensor module, a microscope, and a microscope array system capable of simplifying the optical system to realize miniaturization and reducing blurring occurring in the peripheral portion of the captured image. .
  • the present invention provides a microscope capable of generating a three-dimensional image by not causing fatigue to an observer, without needing to synchronize the exposure time of the image sensor with the flashing cycle of the light source, and utilizing the full frame rate of the image sensor. can do.
  • the present invention can provide a microscope capable of generating a three-dimensional image of high resolution color.
  • the present invention is to simultaneously position the low magnification imaging module and the high magnification imaging module, to roughly observe the entire area of the sample with the low magnification image, and at the same time move the high magnification imaging module to the characteristic area of the sample, thereby locating and focusing the feature area. It is possible to provide a digital microscope and a digital microscope system that can solve the hassle.
  • An image sensor package for solving the above-described problem includes a mount to which an objective lens module for determining a magnification of a captured image is coupled; An image sensor module including a lens-free image sensor through which light transmitted through the objective lens module is incident; And an auto focusing lens module disposed between the objective lens module and the image sensor module, wherein a micro lens shift value of each pixel of the lens-free image sensor is a CRA (Chief Ray Angle) value of the objective lens module.
  • CRA Choef Ray Angle
  • the lens-free image sensor is incident on the light passing through the objective lens module and the auto-focusing lens module in turn, the auto-focusing lens module is one or more optical lenses aligned with respect to the optical axis It includes a drive unit for driving the above optical lens with respect to the optical axis.
  • An image sensor package for solving the above-described problem includes: a mount to which an objective lens module for determining a magnification of a captured image is coupled; An image sensor module including a lens-free image sensor through which light transmitted through the objective lens module is incident; And an auto focusing lens module disposed between the objective lens module and the image sensor module, wherein a CRA (Chief Ray Angle) value of each pixel of the lens free image sensor is 0 degrees, and the lens free image sensor is provided.
  • CRA Choef Ray Angle
  • the auto focusing lens module In the light incident through the objective lens module and the auto focusing lens module in sequence, the auto focusing lens module is driven to drive one or more optical lenses aligned with respect to the optical axis and the one or more optical lenses based on the optical axis. Includes units.
  • An image sensor package for solving the above-described problem includes: a mount to which an objective lens module for determining a magnification of a captured image is coupled; An image sensor module including a lens-free image sensor through which light transmitted through the objective lens module is incident; And an auto-focusing lens module disposed between the objective lens module and the image sensor module, and a CRA (Chief Ray Angle) value of a pixel located at the outermost side of each pixel of the lens-free image sensor is 5 degrees or less.
  • CRA Choef Ray Angle
  • the auto-focusing lens module includes one or more optical lenses and one or more optical lenses aligned with respect to an optical axis. It includes a drive unit for driving based on the optical axis.
  • a microscope for solving the above-described problem, an objective lens module for determining the magnification of the captured image;
  • An image sensor module including a lens-free image sensor through which light transmitted through the objective lens module is incident;
  • an auto focusing lens module disposed between the objective lens module and the image sensor module, wherein a micro lens shift value of each pixel of the lens-free image sensor is a CRA (Chief Ray Angle) value of the objective lens module.
  • CRA Choef Ray Angle
  • the lens-free image sensor is incident on the light passing through the objective lens module and the auto-focusing lens module in turn, the auto-focusing lens module is one or more optical lenses aligned with respect to the optical axis It includes a drive unit for driving the above optical lens with respect to the optical axis.
  • a microscope for solving the above-described problem, an objective lens module for determining the magnification of the captured image;
  • An image sensor module including a lens-free image sensor through which light transmitted through the objective lens module is incident;
  • an auto focusing lens module disposed between the objective lens module and the image sensor module, wherein a CRA (Chief Ray Angle) value of each pixel of the lens free image sensor is 0 degrees, and the lens free image sensor is provided.
  • the auto focusing lens module is driven to drive one or more optical lenses aligned with respect to the optical axis and the one or more optical lenses based on the optical axis. Includes units.
  • a microscope for solving the above-described problem, an objective lens module for determining the magnification of the captured image;
  • An image sensor module including a lens-free image sensor through which light transmitted through the objective lens module is incident;
  • an auto focusing lens module disposed between the objective lens module and the image sensor module, and a CRA (Chief Ray Angle) value of a pixel located at the outermost side of each pixel of the lens-free image sensor is 5 degrees or less.
  • the auto-focusing lens module includes one or more optical lenses and one or more optical lenses aligned with respect to an optical axis. It includes a drive unit for driving based on the optical axis.
  • CRA Choef Ray Angle
  • the lens-free image sensor is incident on the light passing through the objective lens module and the auto-focusing lens module in turn, the auto-focusing lens module is one or more optical lenses aligned with respect to the optical axis It includes a drive unit for driving the above optical lens with respect to the optical axis.
  • CRA Choef Ray Angle
  • the auto focusing lens module In the light incident through the objective lens module and the auto focusing lens module in sequence, the auto focusing lens module is driven to drive one or more optical lenses aligned with respect to the optical axis and the one or more optical lenses based on the optical axis. Includes units.
  • CRA Choef Ray Angle
  • the auto-focusing lens module includes one or more optical lenses and one or more optical lenses aligned with respect to an optical axis. It includes a drive unit for driving based on the optical axis.
  • the first light source for continuously emitting light in the first wavelength band and the first light source are arranged spaced apart from the second wavelength band
  • a second light source that continuously emits light
  • An image sensor to which the exit light of the first light source and the exit light of the second light source are irradiated
  • a filter positioned in an optical path between the first light source and the image sensor and an optical path between the second light source and the image sensor, wherein the area of the filter transmits light in the first wavelength band.
  • a first image and a second light source including one region and a second region through which light in the second wavelength band is transmitted, and generated by the emitted light in the first wavelength band of the first light source in one frame.
  • a 3D image in which a second image generated by the emitted light in the second wavelength band is synthesized is reproduced.
  • a first image and a first light source including a second region through which light is transmitted and a third region through which light in the third wavelength band is transmitted, and generated by outgoing light in the first wavelength band of the first light source.
  • a 3D image obtained by synthesizing a second image generated by the light emitted from the second wavelength band and a third image generated by the light emitted from the third wavelength band of the second light source is reproduced.
  • a digital microscope for solving the above-described problem, the stage on which the sample is seated; A low magnification imaging module that captures the sample to generate a low magnification image; A high magnification imaging module that generates the high magnification image by imaging the sample, and is located on the opposite side of the low magnification imaging module based on the sample; And a driving module that moves at least one of the sample, the stage, and the high magnification imaging module, and an imaging area of the high magnification imaging module is changed by driving the driving module.
  • a digital microscope system for solving the above-described problems, a digital microscope; A user device in which a low magnification image and a high magnification image are reproduced; And an electronic control module for controlling the digital microscope, wherein the digital microscope comprises: a stage on which a sample is placed; A low magnification imaging module that captures the sample to generate the low magnification image; A high magnification imaging module that generates the high magnification image by imaging the sample, and is located on the opposite side of the low magnification imaging module based on the sample; And a driving module for moving at least one of the sample, the stage, and the high magnification imaging module, and the imaging area of the high magnification imaging module is changed by driving the driving module, and the electronic control module is configured to capture the high magnification imaging.
  • the driving module is controlled so that the imaging area of the module corresponds to the area selected from the low magnification image.
  • the optical lens module eg, an extension tube, a tube lens, etc.
  • the magnification of the captured image of the sample can be enlarged at the same time
  • An image sensor module, a microscope and a microscope array system are provided that can simplify the optical system and realize miniaturization.
  • the cost can be reduced, the alignment of the optical axis is easy, and the simultaneous measurement (formation of a microscopic array) of a large-area sample is easy due to the miniaturized characteristics. Furthermore, in the present invention, blurring caused by aberrations of various optical systems may also be reduced.
  • a microscope capable of reproducing a three-dimensional image of high resolution color is provided by using a filter that emits and transmits light in a plurality of wavelength bands from a plurality of light sources spaced apart from each other.
  • the digital microscope and the digital microscope system simultaneously generate the low magnification image and the high magnification image, the high magnification image is guided by the low magnification image, thereby reducing the time required to locate the feature region.
  • FIG. 1 is a conceptual view showing a conventional microscope.
  • FIG. 2 is a conceptual view showing that main light enters into a central region and a peripheral region of a camera image sensor in a conventional microscope.
  • FIG 3 is a conceptual view showing a microscope of the present invention.
  • FIG. 4 and 5 is a conceptual diagram showing that the main light is incident to the central region and the peripheral region of the lens-free image sensor in the microscope of the present invention.
  • FIG. 6 is a conceptual view showing a first modification example and a second modification example of the microscope of the present invention.
  • FIG. 7 is a conceptual view showing observation and imaging of a large-area sample with a conventional microscope, and observation and imaging of a large-area sample with a microscope array system of the present invention.
  • FIG. 8 is a conceptual view showing a conventional three-dimensional microscope.
  • FIG. 9 is a conceptual view showing a three-dimensional microscope of the first embodiment of the present invention.
  • FIG. 10 is a conceptual view showing that the first light source and the second light source exit light pass through the filter in the three-dimensional microscope of the first embodiment of the present invention.
  • FIG. 11 is a conceptual diagram showing that the first image and the second image are generated by interpolation in the 3D microscope of the first embodiment of the present invention.
  • FIG. 12 is a conceptual diagram showing that a 3D image is reproduced in a 3D microscope according to a first embodiment of the present invention compared to a 3D image reproduced in a conventional microscope.
  • FIG. 13 is a conceptual diagram showing that a first unit light source and a second unit light source are arranged in a 3D microscope according to a first embodiment of the present invention.
  • FIG. 14 is a conceptual view showing that an auxiliary polarizing filter, a first optical element, and a second optical element are added in the 3D microscope of the first embodiment of the present invention.
  • 15 is a conceptual diagram showing a three-dimensional microscope in a second embodiment of the present invention.
  • 16 is a conceptual diagram showing that the first light source and the second light source exit light pass through the filter in the 3D microscope according to the second embodiment of the present invention.
  • 17 is a conceptual diagram showing that the first image and the second image are generated by interpolation in the 3D microscope of the second embodiment of the present invention.
  • FIG. 18 is a conceptual diagram illustrating that a third image is generated by interpolation in a 3D microscope in a second embodiment of the present invention.
  • 19 is a conceptual diagram showing that a 3D image is reproduced in a 3D microscope according to a second embodiment of the present invention.
  • 20 is a conceptual diagram showing a three-dimensional microscope in a third embodiment of the present invention.
  • 21 is a conceptual diagram showing that the light emitted from the first light source and the second light source passes through the filter in the 3D microscope of the third embodiment of the present invention.
  • FIG. 22 is a conceptual diagram showing that the first image and the second image are generated by interpolation in the 3D microscope of the third embodiment of the present invention.
  • 23 is a conceptual diagram showing that the third image and the fourth image are generated by interpolation in the 3D microscope of the third embodiment of the present invention.
  • 24 is a conceptual diagram showing that a 3D image is reproduced in a 3D microscope according to a third embodiment of the present invention.
  • 25 is a conceptual view showing a conventional microscope.
  • 26 is a conceptual view showing a digital microscope system of the present invention.
  • FIG. 27 is a conceptual diagram showing a digital microscope system of a modification of the present invention.
  • FIG. 29 is a conceptual diagram illustrating that light emitted from a light source is guided to a lens-free image sensor module after passing through a sample by a dichroic mirror.
  • 30 and 31 are conceptual diagrams illustrating that a high magnification image is guided by a low magnification image in the digital system of the present invention.
  • 32 is a conceptual diagram showing that a high magnification image and a low magnification image are simultaneously reproduced in the user device of the present invention.
  • the spatially relative terms “below”, “beneath”, “lower”, “above”, “upper”, etc., are as shown in the figure. It can be used to easily describe a correlation between a component and other components.
  • the spatially relative terms should be understood as terms including different directions of components in use or operation in addition to the directions shown in the drawings. For example, if a component shown in the drawing is flipped over, the component described as “below” or “beneath” the other component will be placed “above” the other component. You can.
  • the exemplary term “below” can include both the directions below and above. Components can also be oriented in different directions, and thus spatially relative terms can be interpreted according to orientation.
  • FIG 3 is a conceptual view showing a microscope of the present invention
  • Figures 4 and 5 is a conceptual view showing that the main light is incident to the central and peripheral areas of the lens-free image sensor in the microscope of the present invention
  • Figure 6 is a microscope of the present invention It is a conceptual diagram showing the first variant and the second variant of.
  • the microscope 11 of the present invention can be manufactured compactly by simplifying the optical system.
  • the microscope 11 of the present invention may include a light source 1, an objective lens module 10 and an image sensor module 20.
  • the objective lens module 10 and the image sensor module 20 may be separately manufactured (single piece production) and combined (see FIG. 3 (a)), and the objective lens module 10 and the image sensor module 20 may be integrated. It may be packaged (see Fig. 3 (b)). Meanwhile, the light source 1 may be packaged integrally with the objective lens module 10 and the image sensor module 20.
  • the microscope 11 of the present invention may further include a dichroic filter (40, replaceable with a half mirror) in addition to the "light source 1, the objective lens module 10, and the image sensor module 20". (See Figure 3 (c)).
  • the dichroic filter 40 will be described in detail in the second modification of the microscope of the present invention described later.
  • the light source 1, the objective lens module 10, the image sensor module 20 and the dichroic filter (40, can be replaced by a half mirror).
  • the objective lens module 10, the image sensor module 20, and the dichroic filter 40 may be packaged integrally.
  • the light source 1 may be packaged integrally with the objective lens module 1, the image sensor module 20, and the dichroic filter 40.
  • the objective lens module 10 and the image sensor module 20 can be packaged integrally. .
  • the objective lens module 10 may be a module that determines the magnification of the captured image. Therefore, the observer can observe the image accurately by enlarging the captured image of the sample.
  • the emitted light of the light source 1 may be irradiated to the specimen, the imaging light of the specimen may be irradiated to the objective lens module 10, and the light transmitted through the objective lens module 10 is transmitted to the image sensor module 20 Can be investigated.
  • the imaging light of the sample is converted according to the magnification of the objective lens module 10, and accordingly, the image sensor module 20 can generate an enlarged captured image than the actual sample.
  • the image sensor module 20 may be a module that converts imaging light of a sample that has passed through the objective lens module 10 into a captured image.
  • the image sensor module 20 may include a substrate 21 and a lens-free image sensor 22.
  • the lens-free image sensor 22 may be a portion to which imaging light of a sample that has passed through the objective lens module 10 is irradiated. Therefore, the lens-free image sensor 22 may also be referred to as an “imaging effective area”.
  • a plurality of pixels forming a unit of a frame of the captured image may be formed in the lens-free image sensor 22.
  • the region of the lens-free image sensor 22 may be divided into a central region b2 and an edge region a2 or c2 based on an optical axis. That is, the central area b2 of the lens-free image sensor 22 may be located at the center of the optical axis than the edge areas a2 and c2 of the lens-free image sensor 22.
  • each of the plurality of pixels (the plurality of pixels in the center region and the edge region) of the lens-free image sensor 22 is a micro lens and a filter (Filter) sequentially arranged along an incident optical path. ) And an imaging element.
  • the micro lenses of each of the plurality of pixels of the lens-free image sensor 22 may form a micro lens array (MLA).
  • the microlens of each of the plurality of pixels of the lens-free image sensor 22 may function to guide light so that light is irradiated to a corresponding imaging element.
  • the filter can transmit light in a specific wavelength band.
  • the filter may selectively transmit light in the red wavelength band, selectively transmit light in the green wavelength band, or selectively transmit light in the blue wavelength band (RGB Filter).
  • the imaging element of each of the plurality of pixels can convert the imaging light of the sample into an optical signal.
  • the image sensor module 20 is manufactured separately and when coupled to various types of objective lens modules 10, the mount 23 for coupling with the objective lens module 10 is further included. You can.
  • the image sensor module 20 can be detachably combined with the objective lens module 10, and the objective lens module 10 is fitted with a mount 23 of the image sensor module 20, or is engaged.
  • An engaging portion may be provided (see FIG. 3 (a)).
  • the lens-free image sensor 22 of the microscope 11 of the present invention should be designed differently from the image sensor of the conventional microscope.
  • a micro lens shift value of each pixel of the lens-free image sensor 22 may be designed to correspond to a value of a chief ray angle (CRA) of the objective lens module 10.
  • the micro lens shift value may be a size shifted from a reference point in the center of the center aligned with the imaging element, and the CRA value of the objective lens module 10 may be the injection angle of the main light passing through the objective lens module 10 You can. Since the transmitted light (emission light) of the objective lens module 10 is almost parallel light, the micro lens shift values may all be the same.
  • the CRA (Chief Ray Angle) values of each pixel may be all the same.
  • the CRA values of each pixel of the lens-free image sensor 22 may all be equal to 0 degrees (see FIG. 4). That is, the microlens of each pixel of the lens-free image sensor 22 may be designed to be aligned and arranged in the same axis as the imaging element of each pixel of the lens-free image sensor 22. In this case, the CRA value of each pixel of the lens-free image sensor 22 may be an angle of incidence of main light incident on each pixel of the lens-free image sensor 22.
  • the microscope 11 of the present invention is that the primary light incident angle value is changed by an additional optical system such as a tube lens and an extension tube in a conventional microscope, so that the micro lens shift value gradually decreases from the center region to the edge region.
  • the additional optical system may be omitted (LENS-FREE) to design the main light incident angles identically, and accordingly, all the micro lens shift values may be designed identically.
  • the CRA value of the pixel located at the outermost side of each pixel of the lens-free image sensor 22 is 5 degrees. (Degree) or less (see FIG. 5). Accordingly, the micro lens shift value may also be changed.
  • the pixels located at the outermost may be pixels located at the edge areas a2 and c2 of the lens-free image sensor 22.
  • the pixel located at the outermost may mean the pixel located at the edge of the edge regions a2 and c2 of the lens-free image sensor 22.
  • the microscope 11 of the present invention by designing the CRA value of the lens-free image sensor 22 to be the same as the CRA value of the objective lens module 10, that is, each of the lens-free image sensors 22
  • the micro-lens shift value of the pixel of to correspond to the CRA value of the objective lens module 10
  • additional optical systems do not need to be interposed between the objective lens module 10 and the image sensor module 20, thereby improving image performance and Can be optimized for optical properties.
  • FIG. 6 is a conceptual diagram showing a first modification (see FIG. 6 (a)) and a second modification (see FIG. 6 (b)) of the microscope of the present invention.
  • an auto focusing lens module 30 may be added.
  • the auto focusing lens module 30 may be a lens module for changing the focus of the entire lens optical system and focusing the imaging light transmitted through the objective lens 10 to the lens-free image sensor 22.
  • the auto focusing lens module 30 may include at least one optical lens 31 and a driving unit 32 that drives the at least one optical lens 31 in one direction or both directions based on an optical axis direction.
  • the driving unit 32 may be a stepping motor or a voice coil motor (VCM).
  • VCM voice coil motor
  • the driving unit 32 may be formed of a coil and a magnet, and by applying electromagnetic current to the coil, by electromagnetic interaction between the coil and the magnet, based on the optical axis. It can be driven.
  • the auto focusing lens module 30 when the auto focusing lens module 30 is added, light passing through the objective lens module 10 and the auto focusing lens module 30 may be incident on the imaging unit 21, and the objective lens module 10 ) And the image sensor module 20 and the auto focusing lens module 30 may be packaged integrally.
  • the dichroic filter 40 may be further added in the first modification.
  • the dichroic filter 40 may be an optical module for obtaining a “fluorescence captured image”.
  • the dichroic filter 40 may reflect or transmit light in a specific wavelength band.
  • the dichroic filter 40 may be replaced with a half mirror or an optical film that reflects or transmits light in a specific wavelength band.
  • the light source 1 may be a light emitting diode (LED) that emits light in a specific wavelength band.
  • the light source 1 may emit laser light in a blue wavelength band.
  • the dichroic filter 40 may be disposed between the objective lens module 10 and the auto focusing lens module 30.
  • the dichroic filter 40 may reflect light in the first wavelength band and transmit light in the second wavelength band.
  • the light source 1 may emit light in a first wavelength band.
  • the light of the first wavelength band emitted from the light source 1 is reflected by the dichroic filter 40, passes through the objective lens module 10, is converted into imaging light of the second wavelength band in the sample, and is again an objective
  • the lens-free image sensor 22 may be irradiated through the lens module 10, through the dichroic filter 40, and through the auto-focusing lens module 30.
  • a fluorescent material such as a contrast agent may be injected into the sample, and the light excited by the light source 1 passes through the dichroic filter 40 and is converted into emitted light in the sample contrast medium to dichroic filter. It can be reflected at (40). Meanwhile, according to an optical design change, excitation light may be reflected from the dichroic filter 40 and emitted light may pass through the dichroic filter 40.
  • Fig. 7 is a conceptual view showing observation and imaging of a large area sample with a conventional microscope (Fig. 7 (a)) and observation and imaging (Fig. 7 (b)) of a large area sample with the microscope array system of the present invention. to be.
  • the microscope array system 111 of the present invention may include a plurality of microscopes 11 arranged in a certain pattern (rule) to form an array.
  • the plurality of microscopes 11 may be integrally packaged and manufactured, or may be arranged individually to form an array system.
  • the conventional microscope has a problem that it is difficult to miniaturize because there are various optical systems such as an extension tube or an eyepiece module in addition to the objective lens module. As a result, there was an inconvenience in that a sample was moved to observe and image a large area sample, and a part of the sample had to be observed and imaged at a time.
  • the microscope 11 of the present invention can be miniaturized by omitting the optical system and has a structure suitable for forming an array. Therefore, in the present invention, it is possible to simultaneously observe and image all parts of a large-area specimen using the microscope array system 111.
  • FIG. 9 is a conceptual view showing the microscope of the first embodiment of the present invention
  • Figure 10 is a conceptual view showing that the first light source and the second light source of the light emitted from the microscope through the filter in the first embodiment of the present invention
  • Figure 11 Is a conceptual diagram showing that the first image and the second image are generated by the interpolation method in the microscope of the first embodiment of the present invention
  • FIG. 12 is a conventional microscope in which the 3D image is reproduced in the microscope of the first embodiment of the present invention.
  • 3D is a conceptual diagram compared to a 3D image being reproduced
  • FIG. 13 is a conceptual diagram showing that a first unit light source and a second unit light source are arranged in a microscope according to a first embodiment of the present invention, and FIG. It is a conceptual diagram showing that the auxiliary polarizing filter, the first optical element and the second optical element are added in the microscope of the first embodiment.
  • the microscope 12 of the first embodiment of the present invention may include a first light source 100, a second light source 200, a filter 300 and an image sensor 400.
  • Each of the first light source 100 and the second light source 200 may be one or a plurality of light emitting diodes (LEDs).
  • the first light source 100 and the second light source 200 are spaced apart from each other, and can emit light toward a sample at different points in time.
  • a microscope of the first embodiment of the present invention will be described with reference to the drawings. do.
  • FIG. 9 is a conceptual view showing the microscope of the first embodiment of the present invention
  • Figure 10 is a conceptual view showing that the first light source and the second light source of the light emitted from the microscope through the filter in the first embodiment of the present invention
  • Figure 11 Is a conceptual diagram showing that the first image and the second image are generated by the interpolation method in the microscope of the first embodiment of the present invention
  • FIG. 12 is a conventional microscope in which the 3D image is reproduced in the microscope of the first embodiment of the present invention.
  • 3D is a conceptual diagram compared to a 3D image being reproduced
  • FIG. 13 is a conceptual diagram showing that a first unit light source and a second unit light source are arranged in a microscope according to a first embodiment of the present invention
  • FIG. It is a conceptual diagram showing that the auxiliary polarizing filter, the first optical element and the second optical element are added in the microscope of the first embodiment.
  • the microscope 12 of the first embodiment of the present invention may include a first light source 100, a second light source 200, a filter 300 and an image sensor 400.
  • Each of the first light source 100 and the second light source 200 may be one or a plurality of light emitting diodes (LEDs).
  • the first light source 100 and the second light source 200 are spaced apart from each other, and can emit light toward a sample at different times.
  • the first light source 100 and the second light source 200 may be arranged to be spaced apart at a predetermined distance from both sides based on the central axis of the image sensor 400.
  • one of the first light source 100 and the second light source 200 may be disposed on the left side, and the other one may be disposed on the right side.
  • the first image (500, 1 st Image) and the second image (600, 2 nd Image) viewed from two different angles are generated by the first light source (100) and the second light source (200). It can be reproduced, and a three-dimensional image (Three-dimensional image) synthesized it.
  • the present invention is not limited thereto, and the 3D microscope 12 of the first embodiment of the present invention may include three or more light sources, and may generate an image of a specimen viewed from three or more different angles. It can also be synthesized to reproduce 3D images.
  • the emission light of the first light source 100 and the emission light of the second light source 200 may be selectively transmitted by the filter 300 after passing through the sample and irradiated to the image sensor 400.
  • the light emitted from the first light source 100 may generate the first image 500 from the image sensor 400, and the light emitted from the second light source 200 may be the second image 600 from the image sensor 400.
  • the first light source 100 and the second light source 200 may be selectively irradiated to the image sensor 400 by the filter 300.
  • the light emitted from the first light source 100 may pass through the first area 310 of the filter 300, and the light emitted from the second light source 200 may pass through the second area 320 of the filter 300. can do.
  • the first light source 100 and the second light source 200 may be filtered by various optical methods.
  • the first light source 100 and the second light source 200 may emit light of different wavelength bands (first wavelength band and second wavelength band), and the first wavelength of the first light source 100
  • the light in the band can pass through the first area 310 of the filter 300 and can be blocked in the second area 320 of the filter 300, and the light in the second wavelength band of the second light source 200
  • the silver may be blocked in the first region 310 of the filter 300 and may pass through the second region 320 of the filter 300.
  • the first light source 100 may emit light in the red wavelength band
  • the first area 310 of the filter 300 may be an area that selectively transmits only light in the red wavelength band
  • the second The light source 200 may emit light in the blue wavelength band
  • the second region 320 of the filter 300 may be an area that selectively transmits only light in the blue wavelength band.
  • first light source 100 and the second light source 200 may emit light having different polarization axes (first polarization axis and second polarization axis), and light having a first polarization axis of the first light source 100
  • the silver filter 300 may pass through the first region 310 of the filter 300 and may be blocked in the second region 320 of the filter 300, and has a second polarization axis of the second light source 200. 300 may be blocked in the first region 310 and may pass through the second region 320 of the filter 300.
  • the present invention is not limited thereto, and the 3D microscope 12 according to the first embodiment of the present invention may emit light from the first light source 100 and light emitted from the second light source 200 in various optical methods according to an optical design request. Can be selectively transmitted.
  • some of the emitted light of the first light source 100 may pass through the filter 300 and the rest may be blocked by the filter 300. This is also the case for the light emitted from the second light source 200.
  • the region 510 corresponding to the first region 310 of the filter 300 is determined according to the value of the light signal by the light emitted from the first light source 100. Can be created.
  • the region 520 corresponding to the second region 320 of the filter 300 in the first image 500 does not obtain an optical signal value by the light emitted from the first light source 100, so the filter 300 ) May be generated by interpolating an image of the region 510 corresponding to the first region 310 (see FIG. 11 (a)).
  • the region 620 corresponding to the second region 320 of the filter 300 in the second image 600 may be generated according to the light signal value by the light emitted from the second light source 200.
  • the region 610 corresponding to the first region 310 of the filter 300 does not obtain an optical signal value due to the light emitted from the second light source 200, so the filter 300 ) May be generated by interpolating an image of the region 620 corresponding to the second region 320 (see FIG. 11 (b)).
  • any method well known in the art to which the present invention pertains may be used as an interpolation method for estimating an image data value of an image region in which light of a specific wavelength band or light having a specific polarization axis is not irradiated. It is not limited to the examples.
  • the first light source 100 and the second light source 200 are each of a plurality of frames that are sequentially reproduced, the first image 500 and the second image 600 All of them are used so that light can be continuously emitted so that a 3D image in which the first image 500 and the second image 600 are synthesized can be reproduced.
  • the filter 300 may be located in the light path between the first light source 100 and the image sensor 400 and at the same time may be located in the light path between the second light source 200 and the image sensor 400. have. As described above, the filter 300 may perform a function of selectively transmitting the light emitted from the first light source 100 and the light emitted from the second light source 200.
  • the first region 310 of the filter 300 may include a plurality of first unit regions 311, and the second region 320 of the filter 300 may include a plurality of second unit regions 321. can do.
  • the plurality of first unit regions 311 and the plurality of second unit regions 321 may form a pattern and may be alternately arranged.
  • each of the plurality of first unit areas 311 and the plurality of second unit areas 321 are not overlapped with each other when viewed on a plane perpendicular to the central axis of the image sensor 400, and a plurality of grid points are vertical. It can be arranged alternately along the x-axis and a plurality of y-axis.
  • the present invention is not limited thereto, and the plurality of first unit areas 311 and the plurality of second unit areas 312 may be patterned in various optical methods according to the optical design request. .
  • the filter 300 is perpendicular to the central axis of the image sensor 400, and may be formed of a plurality of layers spaced apart or in contact with each other.
  • the filter 300 is perpendicular to the central axis of the image sensor 400 and may include a first filter (not shown) and a second filter (not shown) stacked and disposed.
  • the first region 310 of the filter 300 may be formed in the first filter
  • the second region 320 of the filter 300 may be formed in the second filter.
  • the present invention is not limited thereto, and the 3D microscope 12 of the first embodiment of the present invention may include a filter 300 having various optical structures according to an optical design request.
  • the filter 300 may be integrally formed (packaged in one piece) by being coupled to the imaging surface of the image sensor 400.
  • the filter 300 may be integrally formed by being coated on the imaging surface of the image sensor 400.
  • the sample may be arranged to substantially contact the filter 300.
  • the image sensor 400 may be irradiated with the emission light of the first light source 100 passing through the filter 300 and the emission light of the second light source 200 passing through the filter 300. Any sensor capable of converting the irradiated light into an image may be used as the image sensor 400.
  • the image sensor 400 may be a CMOS sensor, but is not limited thereto.
  • the image sensor 400 may generate the first image 500 by directly using or interpolating the light signal value of the light emitted from the first light source 100 in the image processor unit, and the second light source ( The second image 600 may be generated by directly using the light signal value of the emitted light 200 or by interpolating it.
  • the microscope 12 of the present invention a three-dimensional image in which the first image 500 and the second image 600 are synthesized may be reproduced.
  • FIG. 12 (a) is a conceptual diagram showing that a 3D image is reproduced in a conventional microscope
  • FIG. 12 (b) is a conceptual diagram showing that a 3D image is reproduced in a microscope 12 of the present invention.
  • both the first image 500 and the second image 600 are generated in one frame, and the observer Can recognize a 3D image in which the first image 500 and the second image 600 are synthesized from one frame. That is, in the three-dimensional microscope 12 of the first embodiment of the present invention, the first light source 100 and the second light source continuously emit light by the filter 300, and a plurality of frames of the image sensor 400 ( 1 st Frame, 2 nd Frame, 3 rd Frame, 4 th Frame) The first image 500 and the second image 600 generated from each are synthesized to reproduce the three-dimensional image in real time. You can.
  • the 3D microscope 12 of the first embodiment of the present invention it is possible to reproduce a three-dimensional image in real time by utilizing all the frame rates of the image sensor 400, and as a result, rapid movement of the sample. By implementing all of them, there is an advantage that can increase the precision and accuracy of observation.
  • the first light source 100 and the second light source 200 of the present invention may be symmetrically arranged with respect to the central axis of the image sensor 400 to form binocular parallax for a three-dimensional image.
  • the first light source 100 may include a plurality of first unit light sources 101, and the second light source 200 may be A plurality of second unit light sources 201 may be included.
  • some (one) of the plurality of first unit light sources 101 and one of the plurality of second unit light sources 201 that are arranged symmetrically with respect to the center axis of the image sensor 400 eg, one By grouping and controlling independently
  • a 3D image can be generated from various angles.
  • the plurality of first unit light sources 101 and the plurality of second unit light sources 201 may be arranged with various rules. 13 (a), one of the plurality of first unit light sources 101 and the plurality of second unit light sources 201 may be located on the right side, and the other one may be located on the left side.
  • the central axis of the first plurality of unit light source 101 has a first shaft (1 st Axis) and the image sensor 400 is perpendicular to the central axis of the image sensor 400 and the It may be arranged on the second axis (2 nd Axis) perpendicular to the first axis (1 st Axis), a plurality of second unit light source 201 is perpendicular to the central axis of the image sensor 400 and the second Arranged on the third axis (3 rd Axis) perpendicular to the axis (2 nd Axis) and the fourth axis (4 th Axis) perpendicular to the central axis of the image sensor 400 and perpendicular to the third axis (3 rd Axis) Can be.
  • the plurality of first unit light sources 101 may be arranged on some of a plurality of axes extending radially with respect to the central axis of the image sensor 400, and the plurality of second units The light source 201 may be arranged on the rest of a plurality of axes extending radially with respect to the central axis Axis of the image sensor 400.
  • the first light sources 100 are arranged substantially perpendicular to each other and may include first-first light sources 100-1 and 1-2-second light sources 100-2 that emit light of different wavelength bands.
  • the second light source 200 may be disposed perpendicular to each other and include a 2-1 light source 200-1 and a 2-2 light source 200-2 that emit light of different wavelength bands.
  • the auxiliary polarization filter 700 may improve the quality of the 3D image by transmitting only light having a specific polarization axis from the light emitted from the first light source 100 and the light emitted from the second light source 200.
  • the auxiliary polarization filter 700 is disposed in the optical path between the first light source 100 and the sample and the optical path between the second light source 200 and the sample, and the emitted light of the first light source 100 And only the output light having a specific polarization axis from the output light of the second light source 200.
  • the quality of the image is improved by the auxiliary polarization filter 700, but the amount of light irradiated to the image sensor 400 is reduced, thereby compensating for the problem.
  • the 3D microscope 12 of the first embodiment of the present invention comprises a first light source 100 by means of a 1-1 light source 100-1 and a 1-2 light source 100-2. ), And the light amount of the second light source 200 is doubled by the 2-1 light source 200-1 and the 2-2 light source 200-2, and the first optical element 800 ) And the second optical element 900.
  • the first optical element 800 may be disposed in an optical path between the first light source 100 and the auxiliary polarization filter 700, and the second optical element 900 may be disposed in the second light source 200 and the auxiliary polarization filter. It can be disposed in the optical path between 700.
  • the first-first light source 100-1 may be transmitted to the first optical element 800 and irradiated to the auxiliary polarization filter 700, and the first-second light source 100-2 may be the first optical element 800. ), And may be irradiated to the auxiliary polarization filter 700 along the optical path of the 1-1 light source 100-1.
  • the 2-1 light source 200-1 may be transmitted to the second optical element 900 and irradiated to the auxiliary polarization filter 700, and the 2-2 light source 200-2 may be the second optical. Reflected from the device 900 may be irradiated to the auxiliary polarization filter 700 along the optical path of the 2-1 light source 200-1.
  • the first optical element 800 and the second optical element 900 may be “half mirrors” that transmit light in a specific wavelength band and reflect light in a specific wavelength band, but are not limited thereto.
  • the first optical element 800 and the second optical element 900 may be “dichroic filters”.
  • the first optical element 800 and the second optical element 900 when used as a non-transmissive fluorescent or reflective microscope, the first optical element 800 and the second optical element 900, as shown in Figure 14, the sample (Sample) and the image sensor 400 Can be arranged between.
  • the first light source 100 and the second light source 200 are also arranged between the sample and the image sensor 400.
  • the first light source 100 and the second light source 200 are respectively disposed perpendicular to the axis formed by the sample and the image sensor 400.
  • the first optical element 800 and the second optical element 900 are utilized to change the path of the emitted light from the light sources 100 and 200 and to inject the emitted light into the sample.
  • At least one optical lens in the optical path between the first light source 100 and the filter 300 and the optical path between the second light source 200 and the filter 300 Lens module consisting of (Lens module) may be disposed. This is to focus the emission light of the first light source 100 and the emission light of the second light source 200 into the effective areas of the filter 300 and the image sensor 400.
  • FIG. 15 is a conceptual view showing a three-dimensional microscope of a second embodiment of the present invention
  • FIG. 16 is a conceptual view showing that the first light source and the second light source exit light pass through the filter in the three-dimensional microscope of the second embodiment of the present invention
  • 17 is a conceptual diagram showing that the first image and the second image are generated by interpolation in the three-dimensional microscope of the second embodiment of the present invention
  • FIG. 18 is a third in the three-dimensional microscope of the second embodiment of the present invention.
  • It is a conceptual diagram showing that an image is generated by interpolation
  • FIG. 19 is a conceptual diagram showing that a 3D image is reproduced in the 3D microscope of the second embodiment of the present invention.
  • the 3D microscope 13 of the second embodiment of the present invention may include a first light source 1100, a second light source 1200, a filter 1300, and an image sensor 1400. .
  • Each of the first light source 1100 and the second light source 1200 may be one or a plurality of light emitting diodes (LEDs).
  • the first light source 1100 and the second light source 1200 are spaced apart from each other, and can emit light toward a sample at different times.
  • the first light source 1100 and the second light source 1200 may be arranged to be spaced apart at a predetermined distance from both sides based on the central axis of the image sensor 1400.
  • one of the first light source 1100 and the second light source 1200 may be disposed on the left side, and the other one may be disposed on the right side.
  • a first image 1500 and a second image 1600 looking at a sample at the same angle may be generated by the first light source 1100, and a sample at one angle by the second light source 1200 ( Sample), a third image 1700 may be generated. Furthermore, a three-dimensional image obtained by synthesizing the first image 1500, the second image 1600, and the third image 1700 may be reproduced.
  • the first light source 1100 may alternately emit light in the first wavelength band and light in the second wavelength band.
  • light in the first wavelength band of the first light source 1100 may be light in the red wavelength band
  • light in the second wavelength band of the first light source 1100 may be light in the blue wavelength band, but is not limited thereto. no.
  • the second light source 1200 may continuously emit light in the third wavelength band.
  • the light in the third wavelength band of the second light source 1200 is of a different wavelength band from both the light in the first wavelength band of the first light source 1100 and the light in the second wavelength band of the first light source 1100. It can be light.
  • light in the third wavelength band of the second light source 1200 may be light in the green wavelength band, but is not limited thereto.
  • the first wavelength band, the second wavelength band, and the third wavelength band may be selected as three color wavelength bands for colorization. That is, as described above, light in the first wavelength band may be selected as light in the red wavelength band, light in the second wavelength band may be selected as light in the blue wavelength band, and light in the third wavelength band may be selected as the green wavelength band. , But is not limited thereto.
  • the image sensor 1400 may be irradiated.
  • the emission light of the first wavelength band of the first light source 1100 may generate the first image 1500 from the image sensor 1400, and the emission light of the second wavelength band of the first light source 1100 may be an image sensor.
  • the second image 1600 may be generated at 1400, and the third image 1700 may be generated by the image sensor 1400 for the emission light of the third wavelength band of the second light source 1200.
  • the first light source 1100 and the second light source 1200 may be selectively irradiated to the image sensor 1400 by the filter 1300.
  • the emission light of the first wavelength band of the first light source 1100 may pass through the first area 1310 of the filter 1300 and the second area 1320 and the third area 1330 of the filter 1300.
  • the first light source 1100 of the second wavelength band of the emission light can pass through the second area 1320 of the filter 1300 and the first area 1310 of the filter 1300
  • the third region 1330 may be blocked, and the emission light of the third wavelength band of the second light source 1200 may pass through the third region 1330 of the filter 1300 and the first region of the filter 1300 It may be blocked at 1310 and the second region 1320.
  • the first light source 1100 may alternately emit light in the red wavelength band and blue wavelength band, and the first region 1310 of the filter 1300 selectively selects light in the red wavelength band.
  • the first region 1310 of the filter 1300 may be a region that transmits and the second region 1320 of the filter 1300 may be a region that selectively transmits light in a blue wavelength band, it is not limited thereto.
  • the second light source 1200 may continuously emit light in the green wavelength band
  • the third area 1330 of the filter 1300 may be an area that selectively transmits light in the green wavelength band. It is not limited.
  • the area 1510 corresponding to the first area 1310 of the filter 1300 is emitted from the first wavelength band of the first light source 1100. It can be generated according to the value of the optical signal by light.
  • the region 1520 corresponding to the second region 1320 and the region 1530 corresponding to the third region 1330 of the filter 1300 are the first light source 1100. Since the optical signal value is not obtained by the emitted light in the one wavelength band, the image of the region 1510 corresponding to the first region 1310 of the filter 1300 may be generated by interpolating.
  • the region 1620 corresponding to the second region 1320 of the filter 1300 is the second wavelength band of the first light source 1100. It may be generated according to the value of the light signal by the emitted light.
  • the area 1610 corresponding to the first area 1310 of the filter 1300 and the area 1630 corresponding to the third area 1330 are the first light source 1100. Since an optical signal value is not obtained by the emitted light in the 2-wavelength band, an image of the region 1620 corresponding to the second region 1320 of the filter 1300 may be generated by interpolating.
  • the region 1630 corresponding to the third region 1330 of the filter 1300 is the emission light of the third wavelength band of the second light source 1200. It can be generated according to the value of the optical signal.
  • the region 1710 corresponding to the first region 1310 and the region 1720 corresponding to the second region 1320 of the filter 1300 are the third wavelength of the second light source 1200. Since an optical signal value is not obtained by the emitted light of the band, it may be generated by interpolating the image of the region 1630 corresponding to the third region 1330 of the filter 1300.
  • any method well known in the art to which the present invention pertains may be used as an interpolation method for estimating light in a specific wavelength band, and is not limited to a specific embodiment.
  • the first light source 1100 alternates and emits light
  • the second light source 1200 continuously emits light
  • the first image 1500 and A high-resolution color three-dimensional image in which the second image 1600 and the third image 1700 are synthesized may be reproduced.
  • the first light source 1100 includes a 1-1 light source module (eg, LED) for emitting light in a first wavelength band and a 1-2 light source module for emitting light in a second wavelength band. It may be configured to include a plurality of light source modules, the plurality of light source modules may be arranged spaced apart from each other at a predetermined interval. In this case, the emission of the first wavelength band of the 1-1 light source module and the 1-2 light source module may be performed so that the first image 1500 and the second image 1600 have the same view.
  • a light guide element 1110 guiding at least one of the emitted light in the two wavelength band may be added.
  • the light guide element 1110 in the first light source 1100 composed of a plurality of (two or more) light source modules, the first image 1500 and the second image 1600 by the separation distance between the plurality of light source modules
  • the entire image pickup surface of the image sensor 1400 can be utilized by the light guide element 1110, and data loss of the image sensor 1400 can be prevented.
  • the optical guide element 1110 may be any optical element well known in the art.
  • the light guide element 1110 may be an optical element including a pin hole structure, but is not limited thereto.
  • the filter 1300 may be located in the light path between the first light source 1100 and the image sensor 1400 and at the same time in the light path between the second light source 1200 and the image sensor 1400. have. As described above, the filter 1300 selectively transmits the light emitted from the first wavelength band and the second wavelength band of the first light source 1100 and the light emitted from the third wavelength band of the second light source 1200. You can do
  • the first area 1310 of the filter 1300 may include a plurality of first unit areas 1311, and the second area 1320 of the filter 1300 may include a plurality of second unit areas 1321.
  • the third area 1330 of the filter 1300 may include a plurality of third unit areas 1331.
  • the plurality of first unit areas 1311, the plurality of second unit areas 1321, and the plurality of third unit areas 1331 may be arranged to form a constant pattern.
  • each of the plurality of first unit areas 1311 and the plurality of second unit areas 1321 and the plurality of third unit areas 1331 may be viewed on a plane perpendicular to the central axis of the image sensor 1400. At this time, they do not overlap each other, and grid points may be arranged along a plurality of vertical x-axes and a plurality of y-axes.
  • a plurality of first unit areas 1311 and a plurality of third unit areas 1331 may be alternately arranged on some of the x-axes, and a plurality of remaining x-axes among the plurality of x-axes may be arranged.
  • the second unit region 1321 and the plurality of third unit regions 1331 may be alternately arranged, and among the plurality of x-axis, some of the x-axis and the plurality of x-axes to which the first unit region 1311 belongs.
  • the rest of the plurality of second unit regions 1321 belonging to the axis may be alternately arranged along the x-axis in the y-axis direction.
  • the ratio of the number of the plurality of first unit areas 1311 to the number of the plurality of second unit areas 1321 and the number of the plurality of third unit areas 1331 may be 1: 1: 2. That is, the number of the plurality of third unit regions 1331 may be twice as many as the number of the remaining unit regions.
  • This pattern reflects the Bayer pattern in pixels of commonly used image sensors (the number of green pixels is large depending on human visual characteristics). Therefore, the 3D microscope 13 of the second embodiment of the present invention has the advantage that it can be manufactured using a commonly used image sensor.
  • the present invention is not limited thereto, and the 3D microscope 13 of the second embodiment of the present invention may include a filter 1300 having various optical structures according to an optical design request.
  • the filter 1300 may be integrally formed (packaged in one piece) by being coupled to the imaging surface of the image sensor 1400.
  • the filter 1300 may be integrally formed by being coated on the imaging surface of the image sensor 1400.
  • the sample may be disposed to substantially contact the filter 1300.
  • the image sensor 1400 includes an emission light of a first wavelength band of the first light source 1100 transmitted through the filter 1300 and an emission light of a second wavelength band of the first light source 1100 and a second light source 1200.
  • the emitted light in the third wavelength band may be irradiated.
  • An arbitrary sensor capable of converting the irradiated light into an image may be used as the image sensor 1400.
  • the CMS sensor may be used as the image sensor 1400, but is not limited thereto.
  • the image sensor 1400 may generate the first image 1500 by directly using or interpolating the light signal value of the light emitted from the first wavelength band of the first light source 1100 in the image processor unit.
  • a second image 1600 may be generated by directly using or interpolating the light signal value of the emission light of the second wavelength band of the first light source 1100, and emission of the third wavelength band of the second light source 1200
  • the third image 1700 may be generated by directly using the optical signal value of light or by interpolating it.
  • a three-dimensional image in which the first image 1500, the second image 1600, and the third image 1700 are synthesized can be reproduced.
  • the first image (1500, 1 st Image) and the second image (1600, 2 nd Image) and the third image (1700, 3 rd Image) for color realization All of them are generated, and the observer can recognize in real time a three-dimensional image of a high resolution color in which the first image 1500 and the second image 1600 and the third image 1700 are synthesized.
  • the first image 1500 and the third image 1700 of the R (Red) -G (Green) pair in the image sensor 1400 And B (Blue) -G (Green) Pairs may be alternately generated.
  • the R (Red) -G (Green) Pair image and the B (Blue) -G (Green) Pair image of two frames are staged. Synthesized to create 3D images continuously (first and second frames (1 st frame, 2 nd frame) synthesis, second and third frames (2 nd frame, 3 rd frame) synthesis, third and fourth By synthesizing a frame (2 nd frame, 3 rd frame), it is possible to utilize a full frame of the image sensor 1300 and simultaneously reproduce a 3D image in which high resolution color is implemented.
  • the synthesis method of the first image 1500 and the second image 1600 and the third image 1700 of the three-dimensional microscope 13 of the second embodiment of the present invention is not limited to the above-described synthesis method, Any synthetic method well known in the art to which the present invention pertains can be used.
  • a high-resolution color three-dimensional image can be reproduced in real time, and as a result, both the rapid motion and color of the sample are realized to increase the precision and accuracy of observation.
  • first light source 1100 and the second light source 1200 of the second embodiment of the present invention as well as the first light source 100 and the second light source 200 of the first embodiment of the present invention, the image sensor 1400
  • a plurality of first unit light sources (not shown) and a plurality of second unit light sources (not shown) may be arranged symmetrically with respect to the central axis of and to reproduce a three-dimensional image at various angles according to the viewer's choice. It can contain.
  • the arrangement of the plurality of first unit light sources and the plurality of second light sources in the second embodiment of the present invention includes a plurality of first unit light sources 101 and a plurality of second unit light sources 201 in the first embodiment of the present invention. ) Can be applied by analogy.
  • an auxiliary polarizing filter (not shown), a first optical element (not shown), and a second An optical element (not shown) can be added.
  • the structure, arrangement and optical characteristics of the auxiliary polarizing filter of the 3D microscope 13 of the second embodiment of the present invention, the first optical element and the second optical element, and the like, the 3D microscope of the first embodiment of the present invention ( The structure, arrangement and optical characteristics of the auxiliary polarizing filter 700 of 12), the first optical element 800 and the second optical element 900 may be inferred.
  • At least one light path between the first light source 1100 and the filter 1300 and the second light source 1200 and the filter 1300 A lens module made of an optical lens may be disposed. This is to focus the light emitted from the first light source 1100 and the light emitted from the second light source 1200 into the effective areas of the filter 1300 and the image sensor 1400.
  • FIG. 20 is a conceptual view showing a 3D microscope of a third embodiment of the present invention
  • FIG. 21 is a conceptual view showing that the light emitted from the first light source and the second light source passes through the filter in the 3D microscope of the third embodiment of the present invention
  • 22 is a conceptual diagram showing that the first image and the second image are generated by interpolation in the three-dimensional microscope of the third embodiment of the present invention
  • FIG. 23 is a third in the three-dimensional microscope of the third embodiment of the present invention.
  • a conceptual diagram showing that an image and a fourth image are generated by interpolation
  • FIG. 24 is a conceptual diagram showing that a 3D image is reproduced in a 3D microscope according to a third embodiment of the present invention.
  • the 3D microscope 14 of the third embodiment of the present invention may include a first light source 2100, a second light source 2200, a filter 2300, and an image sensor 2400. .
  • Each of the first light source 2100 and the second light source 2200 may be one or a plurality of light emitting diodes (LEDs).
  • the first light source 2100 and the second light source 2200 are spaced apart from each other, and can emit light toward a sample at different times.
  • the first light source 2100 and the second light source 2200 may be arranged to be spaced apart at a predetermined distance from both sides based on the central axis of the image sensor 1400.
  • one of the first light source 2100 and the second light source 2200 may be disposed on the left side, and the other one may be disposed on the right side.
  • a first image (2500, 1 st Image) and a second image (2600, 2 nd Image) looking at a sample from the same angle may be generated by the first light source 2100, and the second light source 2200
  • a third image (2700, 3 rd Image) and a fourth image (2800, 4 th Image) looking at the specimen from the same angle may be generated.
  • a first image generated by the emission light of the first wavelength band of the first light source and ii) a second image or the second image generated by emission light of the second wavelength band of the first light source At least one of a third image generated by the light emitted from the second wavelength band of the light source and iii) a three-dimensional image obtained by combining a fourth image generated by the light emitted from the third wavelength band of the second light source ( Three-dimensional image) can be reproduced.
  • the first light source 2100 may alternately emit light in the first wavelength band and light in the second wavelength band
  • the second light source 2200 may control the light in the second wavelength band. It is possible to alternately emit light in the 3 wavelength band.
  • the first wavelength band, the second wavelength band, and the third wavelength band may be selected as three color wavelength bands for colorization. That is, the light in the first wavelength band may be light in the red wavelength band, the light in the second wavelength band may be light in the green wavelength band, and the light in the third wavelength band may be light in the blue wavelength band, but is not limited thereto. It is not.
  • the alternating period of the first light source 2100 and the alternating period of the second light source 2200 may be synchronized. That is, the light of the first wavelength band of the first light source 2100 and the light of the second wavelength band of the second light source 2200 may be emitted substantially simultaneously, and the second wavelength band of the first light source 2100 may be emitted. Light and light in the third wavelength band of the second light source 2200 may be emitted substantially simultaneously.
  • first light source 2100 and the second light source 2200 may alternately emit light in a plurality of wavelength bands, and the alternating cycles of the first light source 2100 and the second light source 2200 may be synchronized with each other.
  • the first and second light sources 2100 and 2200 may have the same wavelength bands among the plurality of wavelength bands emitted from each other.
  • the emitted light of the same wavelength band of the first light source 2100 and the second light source 2200 is emitted at a mutual time, so that the first light source 2100 and the second light source 2200 are the same wavelength at the same time. It may not emit the light emitted from the band.
  • the emission light of the first light source 2100 and the emission light of the second light source 2200 may be selectively transmitted by the filter 2300 after passing through the sample, and may be irradiated to the image sensor 2400.
  • the emission light of the first wavelength band of the first light source 2100 may generate the first image 2500 from the image sensor 2400, and the emission light of the second wavelength band of the first light source 2100 is an image sensor At (2400), the second image (2600) may be generated, and the emission light of the second wavelength band of the second light source (2200) may generate a third image (2700) at the image sensor (2400).
  • the emission light of the third wavelength band of the second light source 2200 may generate the fourth image 2800 from the image sensor 2400.
  • the first light source 2100 and the second light source 2200 may be selectively irradiated to the image sensor 2400 by the filter 2300.
  • the emission light of the first wavelength band of the first light source 2100 may pass through the first area 2310 of the filter 2300 and may be transmitted from the second area 2320 and the third area 2330 of the filter 2300.
  • the first light source 2100 and the second light source 2200 of the second wavelength band of the emitted light can pass through the second area 2320 of the filter 2300 and the first of the filter 2300 It may be blocked in the region 2310 and the third region 2330, and the emitted light of the third wavelength band of the second light source 2200 may pass through the third region 2330 of the filter 2300 and the filter ( 2300), the first region 2310 and the second region 2320 may be blocked.
  • the first light source 2100 may alternately emit light in the red wavelength band and the green wavelength band, and the first area 2310 of the filter 2300 selectively transmits light in the red wavelength band.
  • the second region 2320 of the filter 2300 may be a region that selectively transmits light in a green wavelength band, but is not limited thereto.
  • the second light source 2200 may alternately emit light in the green wavelength band and light in the blue wavelength band, and the second region 2320 of the filter 2300 selectively transmits light in the green wavelength band.
  • the region and the third region 2330 of the filter 2300 may be a region that selectively transmits light in a blue wavelength band, but is not limited thereto.
  • the area 2510 corresponding to the first area 2310 of the filter 2300 is emitted from the first wavelength band of the first light source 2100. It can be generated according to the value of the optical signal by light.
  • the region 2520 corresponding to the second region 2320 and the region 2530 corresponding to the third region 2330 of the filter 2300 are the first light source 2100. Since an optical signal value due to the emitted light in the one wavelength band is not obtained, the image of the region 2510 corresponding to the first region 2310 of the filter 2300 may be generated by interpolating.
  • the region 2620 corresponding to the second region 2320 of the filter 2300 is the second wavelength band of the second light source 2100. It may be generated according to the value of the light signal by the emitted light.
  • a region 2610 corresponding to the first region 2310 and a region 2630 corresponding to the third region 2330 of the filter 2300 are the first light source 2100. Since the optical signal value due to the emitted light in the 2-wavelength band is not obtained, the image of the region 2620 corresponding to the second region 2320 of the filter 2300 may be generated by interpolating.
  • the region 2720 corresponding to the second region 2320 of the filter 2300 is the second wavelength band of the second light source 2200. It may be generated according to the value of the light signal by the emitted light.
  • the area 2710 corresponding to the first area 2310 and the area 2730 corresponding to the third area 2330 of the filter 2300 are the second light source 2200. Since an optical signal value due to the emitted light in the 2-wavelength band is not obtained, the image of the region 2720 corresponding to the second region 2320 of the filter 2300 may be generated by interpolating.
  • the region 2830 corresponding to the third region 2330 of the filter 2300 is the third wavelength band of the second light source 2200. It may be generated according to the value of the light signal by the emitted light.
  • a region 2810 corresponding to the first region 2310 of the filter 2300 and a region 2820 corresponding to the second region 2320 of the filter 2300 are second light sources. Since the optical signal value due to the emitted light in the third wavelength band of 2200 is not obtained, it can be generated by interpolating the image of the region 2830 corresponding to the third region 2330 of the filter 2300. have.
  • any method well known in the art to which the present invention pertains may be used as an interpolation method for estimating light in a specific wavelength band, and is not limited to a specific embodiment.
  • the first light source 2100 and the second light source 2200 alternately emit light, i) a first image (2500, 1 st Image) and ii) at least one of a second image (2600, 2 nd Image) or a third image (2700, 3 rd Image) and iii) a three-dimensional image composed of a fourth image (2800, 4 th Image) ) Can be played.
  • the first light source 2100 includes a 1-1 light source module (eg, LED) for emitting light in a first wavelength band and a 1-2 light source module for emitting light in a second wavelength band. It may be configured to include a plurality of light source modules, the second light source 2200 is a 2-1 light source module for emitting light in the second wavelength band and a 2-2 light source module for emitting light in the third wavelength band. It may be configured to include a plurality of light source modules including. The plurality of light source modules may be spaced apart from each other at predetermined intervals.
  • a 1-1 light source module eg, LED
  • the second light source 2200 is a 2-1 light source module for emitting light in the second wavelength band and a 2-2 light source module for emitting light in the third wavelength band. It may be configured to include a plurality of light source modules including. The plurality of light source modules may be spaced apart from each other at predetermined intervals.
  • the first light 2500 and the second image 2600 may have the same view, so that the first light band of the first wavelength band and the first light band of the first and second light source modules are removed.
  • a first light guide element 2110 for guiding at least one of the emitted light in the 2 wavelength band may be added.
  • the emission light of the second wavelength band of the 2-1 light source module and the second-2 light source module are removed.
  • a second light guide element 2210 that guides at least one of the emitted light in the 3 wavelength band may be added.
  • the first light guide element 2110 and the second light guide element 2210 are a plurality of light source modules in a first light source 2100 and a second light source 2200 composed of a plurality of (two or more) light source modules.
  • the first light source 2100 is used to prevent the viewpoints of the first image 2500 and the second image 2600 from being changed and the viewpoints of the third image 2700 and the fourth image 2800 to be different according to the separation distance between them.
  • the entire imaging surface of the image sensor 2400 can be utilized, thereby preventing data loss of the image sensor 2400 from being lost. have.
  • first light guide element 2110 and the second light guide element 2210 may be optical elements including a pin hole structure, but are not limited thereto.
  • the filter 2300 may be located in the light path between the first light source 2100 and the image sensor 2400 and at the same time may be located in the light path between the second light source 2200 and the image sensor 2400. have. As described above, the filter 2300 includes the first light source 2100, the first wavelength band exit light, the first light source 2100 and the second light source 2200, the second wavelength band emission light, and the second The function of selectively transmitting the emitted light in the third wavelength band of the light source 2200 may be performed.
  • the first area 2310 of the filter 2300 may include a plurality of first unit areas 2311, and the second area 2320 of the filter 2300 may include a plurality of second unit areas 2321.
  • the third area 2330 of the filter 2300 may include a plurality of third unit areas 2331.
  • the plurality of first unit areas 2311, the plurality of second unit areas 2321, and the plurality of third unit areas 2331 may be arranged to form a constant pattern.
  • each of the plurality of first unit areas 2311 and the plurality of second unit areas 2321 and the plurality of third unit areas 2321 are viewed on a plane perpendicular to the central axis of the image sensor 2400. At this time, they do not overlap each other, and grid points may be arranged along a plurality of vertical x-axes and a plurality of y-axes.
  • a plurality of first unit regions 2311 and a plurality of second unit regions 2321 may be alternately arranged on some of the x-axis, and a plurality of the remaining x-axis may be arranged on the remaining x-axis.
  • the second unit region 2321 and the plurality of third unit regions 2331 may be alternately arranged, and among the plurality of x-axis, some of the x-axis and the plurality of x-axis to which the plurality of first-unit regions 2311 belong.
  • the rest of the plurality of third unit regions 2331 belonging to the axis may be alternately arranged along the x-axis in the y-axis direction.
  • the present invention is not limited thereto, and the 3D microscope 14 of the third embodiment of the present invention may include a filter 2300 having various optical structures according to an optical design request.
  • the filter 2300 may be integrally formed (packaged in one piece) by being coupled to an imaging surface of the image sensor 2400.
  • the filter 2300 may be integrally formed by being coated on the imaging surface of the image sensor 2400.
  • the sample may be disposed to substantially contact the filter 1300.
  • the image sensor 2400 includes an emission light of a first wavelength band of the first light source 2100 transmitted through the filter 2300 and an emission light of a second wavelength band of the first light source 2100 and a second light source 2200.
  • the emission light of the second wavelength band and the emission light of the third wavelength band of the second light source 2200 may be irradiated.
  • Any sensor capable of converting the irradiated light into an image may be used as the image sensor 2400.
  • the image sensor 2400 may be a CMS sensor, but is not limited thereto.
  • the image sensor 2400 may generate the first image 2500 by directly using or interpolating the light signal value of the light emitted from the first wavelength band of the first light source 2100 in the image processor unit.
  • a second image 2600 may be generated by directly using or interpolating the light signal value of the emission light of the second wavelength band of the first light source 1100, and emission of the second wavelength band of the second light source 2200
  • the third image 2700 may be generated by directly using or interpolating the optical signal value of the light, and directly using or interpolating the optical signal value of the emitted light in the third wavelength band of the second light source 2200 to interpolate the fourth image (2800).
  • both the first image 2500 and the second image 2600, the third image 2700 and the fourth image 2800 for color realization are generated,
  • the observer may recognize a high-resolution color three-dimensional image in which i) at least one of the first image 2500 and ii) the second image 2600 or the third image 2700 and iii) the fourth image 2800 is synthesized. You can.
  • the first image 2500 and the third image 2700 of the R (Red) -G (Green) pair in the image sensor 2400 are provided.
  • G (Green) -B (Blue) Pairs, the second image 2600 and the fourth image 2800 may be alternately generated.
  • the R (Red) -G (Green) Pair image and the G (Green) -B (Blue) Pair image of two frames are staged.
  • the full frame of the image sensor 2300 is utilized and at the same time high resolution It is possible to reproduce 3D images with color in real time.
  • the synthesis method of the first image 2500 and the second image 2600 and the third image 2700 of the three-dimensional microscope 14 of the third embodiment of the present invention is not limited to the above-described synthesis method, Any synthetic method well known in the art to which the present invention pertains can be used.
  • a high-resolution color 3D image can be reproduced in real time, and as a result, both the rapid motion and the color of the sample are realized, so that the precision and accuracy of observation can be realized. There is an advantage to increase.
  • first light source 2100 and the second light source 2200 of the third embodiment of the present invention are similar to the first light source 100 and the second light source 200 of the first embodiment of the present invention.
  • a plurality of first unit light sources (not shown) and a plurality of second unit light sources (not shown) may be arranged symmetrically with respect to the central axis of and to reproduce a three-dimensional image at various angles according to the viewer's choice. It can contain.
  • the arrangement of the plurality of first unit light sources and the plurality of second light sources in the third embodiment of the present invention includes a plurality of first unit light sources 101 and a plurality of second unit light sources 201 in the first embodiment of the present invention. ) Can be applied by analogy.
  • an auxiliary polarizing filter (not shown), a first optical element (not shown), and a second An optical element (not shown) can be added.
  • the structure, arrangement, and optical characteristics of the auxiliary polarizing filter of the 3D microscope 14 of the third embodiment of the present invention, the first optical element and the second optical element, and the like, of the 3D microscope of the first embodiment of the present invention may be inferred.
  • At least one light path between the first light source 2100 and the filter 2300 and the second light source 2200 and the filter 2300 A lens module made of an optical lens may be disposed. This is to focus the light emitted from the first light source 2100 and the light emitted from the second light source 2200 into the effective areas of the filter 2300 and the image sensor 2400.
  • FIG. 26 is a conceptual diagram showing a digital microscope system of the present invention
  • FIG. 27 is a conceptual diagram showing a digital microscope system of a modification of the present invention
  • FIG. 28 is a conceptual diagram showing a digital microscope system of another modification of the present invention
  • 29 is a conceptual diagram showing that light emitted from a light source is guided to a lens-free image sensor module after passing through a sample by a dichroic mirror
  • FIGS. 30 and 31 are high magnification images using the digital microscope system of the present invention.
  • It is a conceptual diagram showing that being guided by a low magnification image
  • FIG. 32 is a conceptual diagram showing that a high magnification image and a low magnification image are simultaneously reproduced in the user device of the present invention.
  • the low magnification image 2 and the high magnification image 3 are simultaneously generated from the sample S, and the high magnification image 3 is guided by the low magnification image 2 to accurately observe. It can be performed easily and quickly (that is, the user can be guided through a feature region to be observed from a low magnification image to a high magnification image).
  • the digital microscope system 1111 of the present invention may include a digital microscope 15, an electronic control module 16 and a user equipment 17.
  • the digital microscope 15 of the present invention may be a device that simultaneously generates a low magnification image (2) and a high magnification image (3) for a sample (S) (that is, by simultaneously photographing a sample to generate a low magnification image and a high magnification image).
  • the sample S may be covered with a slide glass and a cover glass and seated on the stage 130.
  • the digital microscope 15 of the present invention may include a low magnification imaging module 110, a high magnification imaging module 120, a stage 130, and a driving module (not shown).
  • the digital microscope 15 of the present invention may further include a light source (not shown, light source) for irradiating light to the sample (S).
  • the light irradiated from the light source to the sample S is converted into imaging light, and may be obtained by the low magnification imaging module 110 and the high magnification imaging module 120.
  • the light source may output laser light and a contrast agent may be injected into the sample S.
  • the excitation light output from the light source is converted from the sample S treated with the contrast agent to emission light, so that the low magnification imaging module 110 and the high magnification imaging module 120 can generate a fluorescence image ( Fluorescence microscopy implementation).
  • the light source may be disposed in a ring type along the outer surface of the objective lens.
  • the light source disposed in the low magnification imaging module 110 can output the imaging light of the high magnification imaging module 120 (high magnification light source), and the light source disposed in the high magnification imaging module 120 is a low magnification imaging module 110 ) Can output imaging light (light source for low magnification).
  • the objective lens and the lens-free image sensor module may be disposed adjacent to the objective.
  • a dichroic mirror may be disposed between the lens and the lens-free image sensor module.
  • the objective lens, the lens-free image sensor module, and the dichroic mirror may be packaged integrally.
  • the emitted light of the light source may be reflected (or transmitted) from the dichroic mirror and irradiated to the sample S via the objective lens, and the light passing through the sample S may pass through the objective lens and the dichroic mirror. It may be transmitted (or reflected) to be irradiated to the lens-free image sensor module (see FIG. 29).
  • the light emitted from the light source may be excitation light (laser light), and the light passing through the sample S may be light emitted by the contrast-treated sample.
  • a filter for example, an excitation light filter
  • the sample S A filter eg, an emission light filter
  • the filter may be a filter (BPF) that selectively transmits a specific wavelength band.
  • the lens-free image sensor module and the sample include a transparent surface light source (a transparent, light-emitting illumination film) disposed at a predetermined angle around the substrate of the lens-free image sensor module. It may be disposed between (S).
  • the low magnification imaging module 110 may capture the sample S to generate a low magnification image 2
  • the high magnification imaging module 120 may capture the sample S to generate a high magnification image 3.
  • the low magnification imaging module 110 has a wide imaging area (wide viewing angle) and can generate a low magnification image 2 for the entire area of the sample S, and the high magnification imaging module 120 has a narrow imaging area ( The field of view is narrow) A high magnification image 3 for the feature region among the regions of the sample S may be generated.
  • the imaging area of the low magnification imaging module 110 may include all areas of the sample S, and may mean an area reproduced by the user device 17 as the low magnification image 2.
  • the imaging area of the high magnification imaging module 120 includes a feature area (a region in which a feature point is found) among the areas of the sample S, and means an area reproduced by the high magnification image 3 on the user device 17. You can.
  • the user can observe the blood in the low magnification image 2 as a whole, and in the high magnification image 3, the characteristic region of the blood (eg, a feature point is found, and thus is accurate The area requiring observation) can be observed in cell units (red blood cells, white blood cells, etc.).
  • the characteristic region of the blood eg, a feature point is found, and thus is accurate The area requiring observation
  • cell units red blood cells, white blood cells, etc.
  • the imaging area of the low magnification imaging module 110 may include at least a portion of the imaging area of the high magnification imaging module 120, and at least a portion of the area of the high magnification image 3 may be a region of a part of the low magnification image 2 It may be an area enlarged with this high magnification.
  • the low magnification image 2 and the high magnification image 3 may have various forms, such as an electronic signal, image information, and an image recognized by the naked eye, according to an image processing step.
  • the low magnification image 2 and the high magnification image 3 may exist in the form of an electronic signal generated by converting the imaging light of the sample S in the low magnification imaging module 110 and the high magnification imaging module 120. Thereafter, the low magnification image 2 and the high magnification image 3 are image-processed to be reproduced by the user device 17 in the electronic control module 16, and may exist in the form of image information. Thereafter, the low magnification image 2 and the high magnification image 3 may be reproduced in the form of an image recognized by the naked eye on the user device 17.
  • the low magnification imaging module 110 may be arranged on one side based on the sample S, and the high magnification imaging module 120 may be arranged on the other side. That is, the high magnification imaging module 120 may be located on the opposite side of the low magnification imaging module 110 based on the sample S.
  • the optical axis of the low magnification imaging module 110 and the optical axis of the high magnification imaging module 120 may be arranged based on the z axis.
  • the low magnification imaging module 110 may be located on the lower side and the high magnification imaging module 120 may be located on the upper side.
  • the present invention is not limited thereto, and the high magnification imaging module 120 may be located at the lower side and the low magnification imaging module 110 may be located at the upper side.
  • the low magnification imaging module 110 and the high magnification imaging module 120 are the same sample S
  • a low magnification image 2 and a high magnification image 3 can be generated simultaneously.
  • each of the low magnification imaging module 110 and the high magnification imaging module 120 may be a lens-free image sensor module mounted with an object lens or a camera module.
  • both the low magnification imaging module 110 and the high magnification imaging module 120 may be a “lens free image sensor module mounted with an objective lens”.
  • the low magnification imaging module 110 may be a “camera module” and the high magnification imaging module 120 may be a “lens free lens mounted with an objective lens. Image sensor ".
  • the objective lens and the lens-free image sensor module may be connected by connectors as separate optical components, or may be packaged integrally as a single optical component.
  • the "lens-free image sensor module” may be composed of a substrate (PCB, Printed circuit board) and an image sensor mounted on the substrate (image sensor), and is equipped with an objective lens for determining the magnification of the captured image other than the optical Lenses (eg, eyepieces, tube lenses, etc.) may be omitted.
  • the digital microscope 15 of the present invention has an advantage in that the overall length (z-axis length) is minimized and can be manufactured in a compact manner.
  • the "camera module” may consist of a lens holder, a lens array disposed on the lens holder, a substrate, and an image sensor mounted on the substrate while light transmitted through the lens array is irradiated.
  • the lens array of the camera module other optical lenses may be omitted in addition to the objective lens that determines the magnification of the captured image.
  • the camera module like the lens-free image sensor module, can minimize the length of the digital microscope 15 of the present invention.
  • the embodiment of the digital microscope 15 of the present invention is not limited to the above-described embodiment.
  • the low magnification imaging module 110 may be a “lens free image sensor module” in which various optical lenses including an objective lens are omitted. .
  • the low magnification imaging module 110 may be disposed between the sample S and the stage 130. As a result, the low magnification imaging module 110 is close to the sample S (contacting the slide glass or the cover glass) and the sample S, so that the objective lens can be generated even though the low magnification image 2 is omitted. have.
  • the stage 130 may be a portion where the sample S is seated.
  • a preparat in which the sample S is covered with a slide glass and a cover glass may be seated on the stage 130.
  • a hole for providing an optical path of the imaging light of the sample S may be formed in a portion where the sample S is seated in the stage 130.
  • the driving module may be a module that moves at least one of the sample S, the high magnification imaging module 120, and the stage 130 based on at least one of the x-axis, y-axis, and z-axis.
  • the x-axis, y-axis, and z-axis may be axes constituting a microscope coordinate system formed based on a space in which the sample S is present.
  • the imaging area of the high magnification imaging module 120 may be changed by “driving the x-axis and y-axis of the driving module”. Therefore, it is possible to change the feature region to be precisely observed with the high magnification image 3 among the regions of the sample S by "driving the x and y axes of the driving module".
  • the driving module may change the imaging area of the high magnification imaging module 120 by moving the high magnification imaging module 120 based on the x-axis and y-axis.
  • the present invention is not limited thereto, and the driving module exhibits substantially the same effect as moving the sample stage 130 by moving the sample S (eg, implemented by moving the preparat) or moving the stage 130. You can.
  • the driving module moves only the high-magnification imaging module 120 based on the x-axis and y-axis
  • the imaging area of the low-magnification imaging module 110 is fixed without being changed (ie, the effect that the low-magnification image is not changed)
  • the focal length of the high-magnification imaging module 120 may be changed by “driving the z-axis of the driving module”. Accordingly, a focusing step of the high magnification imaging module 120 may be determined by “driving the z-axis of the driving module”.
  • the digital microscope 15 of the present invention has the advantage that the focal length of the high magnification imaging module 120 is maintained at the initial setting. That is, in the digital microscope 15 of the present invention, the focal length is not changed at the initial setting by switching of the objective lens having various magnifications like the conventional microscope. Therefore, the digital microscope 15 of the present invention has an advantage of being easy to focus.
  • the digital microscope 15 of the present invention may be driven by a lead screw type or a ball screw type.
  • the electronic control module 16 transmits and receives the digital microscope 15, receives the low magnification image 2 and the high magnification image 3 from the digital microscope 15, performs analysis, and controls the digital microscope 15 It can be a module.
  • the user device 17 may be a device that transmits and receives the electronic control module 16 and reproduces the low magnification image 2 and the high magnification image 3.
  • the user device 17 may include one or more of a telecommunication device such as a smart phone, a tablet, a PDA, a laptop, and a remote controller, but is not limited thereto.
  • a telecommunication device such as a smart phone, a tablet, a PDA, a laptop, and a remote controller, but is not limited thereto.
  • the low magnification image 2 and the high magnification image 3 are simultaneously reproduced, as shown in FIG. 32 (a), the low magnification image 2 is reproduced as the main screen while the high magnification image 3 is reproduced as a sub screen.
  • the high magnification image 3 may be reproduced on the main screen while the low magnification image 2 may be reproduced on the sub screen.
  • the digital microscope system 1111 of the present invention can analyze by comparing the low magnification image 2 and the high magnification image 3 with standard data stored in a database using artificial intelligence (AI).
  • AI artificial intelligence
  • artificial intelligence for comparative analysis may be programmed in the electronic control module 16.
  • the digital microscope system 1111 of the present invention can diagnose cancer cells by analyzing a low magnification image 2 and a high magnification image 3.
  • the high magnification image 3 can be used to more precisely analyze the feature point (cancer cell) (high magnification image after low magnification image analysis) analysis).
  • the low magnification image (2) analyzes the surrounding area of the feature points (cancer cells) derived from the high magnification image (3) to characterize the features (suspect cancer cells) Area) can be further discovered (high magnification image analysis followed by low magnification image analysis).
  • the user can select an area to be observed from the low magnification image 2 to the high magnification image 3 through the user device 17.
  • the user may observe the low magnification image 2 through the user device 17 and then, with a high magnification image 3, for a specific area where a feature point or a problem occurs.
  • the digital microscope system 1111 of the present invention since the low magnification image 2 and the high magnification image 3 are simultaneously generated, the high magnification image 3 can be guided by the low magnification image 2.
  • FIGS. 30 and 31 are conceptual diagrams showing that a specific area is selected from the low magnification image 2 of the user device 17, and FIGS. 30 and 31 (b) are low magnification images (2) on the user device 17. ) Is a conceptual diagram showing that the selected area is reproduced.
  • the user may select a specific area in the low magnification image 2 using a touch screen method.
  • the user device 17 may transmit a control signal according to the user's selection to the electronic control module 16, and the electronic control module 16 controls the digital microscope 15 according to the control signal of the user device 17 can do.
  • the electronic control module 16 may control the driving module of the digital microscope 15 so that the imaging area of the high magnification imaging module 110 corresponds to the area 140 selected in the low magnification image 2.
  • the electronic control module 16 forms a microscopic coordinate system based on a space in which the sample S exists in an image coordinate system formed based on the low magnification image 2. system, and match the region 150 that matches the region 140 selected in the high magnification image pickup filed of the high magnification imaging module 110 and the low magnification image 2 in the sample S. have.
  • the electronic control module 16 moves the sample S, the stage 130, and at least one of the high magnification imaging module 120 based on the x-axis and the y-axis in the microscope coordinate system, so that the imaging area of the high magnification imaging module 110 (High magnification image pickup filed) and the sample S may match the portion 150 matching the region 140 selected in the low magnification image 2. That is, by matching the image coordinate system on the low magnification image 2 with the microscope coordinate system on the space where the sample S is present, the sample 140 existing on the microscope coordinate system matches the region 140 selected on the low magnification image 2.
  • the portion 150 can be derived.
  • At least one of the sample S, the stage 130, and the high-magnification imaging module 120 is moved to match the selected region 140 of the sample S with the high-magnification imaging region, so that the low-magnification image 2 is obtained.
  • a high magnification image 3 guided can be obtained.
  • FIG. 30 by moving at least one of the sample S and the stage 130 in the microscope coordinate system based on the x-axis and the y-axis, a selection region 140 of the sample S and a high magnification imaging module 120 ) Or by moving the high magnification imaging module 120 in the microscope coordinate system based on the x-axis and y-axis in the microscope coordinate system, as shown in FIG. 31, the selected area 140 of the sample S and the high-magnification imaging module 120 ).
  • the user can be guided by the low magnification image 2 to reproduce the high magnification image 3 for the characteristic region of the sample S.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

본 발명은 이미지 센서 모듈, 소형 디지털 현미경 및 소형 디지털 현미경 어레이 시스템, 실시간 3차원 디지털 현미경, 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템에 관한 것이다. 상기 이미지 센서 모듈은 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈이 결합되는 마운트; 상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하고, 상기 렌즈 프리 이미지 센서의 각각의 픽셀의 마이크로 렌즈 시프트 값은 상기 대물 렌즈 모듈의 CRA(Chief Ray Angle) 값에 상응하여 설계된 것을 특징으로 한다.

Description

이미지 센서 모듈, 소형 디지털 현미경 및 소형 디지털 현미경 어레이 시스템, 실시간 3차원 디지털 현미경, 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템
본 발명은 이미지 센서 모듈, 소형 디지털 현미경 및 소형 디지털 현미경 어레이 시스템, 실시간 3차원 디지털 현미경, 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템에 관한 것이다.
종래의 디지털 현미경은 도 1에서 나타내는 바와 같이, 대물 렌즈와, 카메라 모듈(CAMERA MODULE)과, 대물 렌즈와 카메라 모듈을 광학적으로 연결하는 튜브 렌즈와 확장 튜브를 포함할 수 있다.
그러나 종래의 디지털 현미경은 다양한 광학계의 광축을 정렬해야 하기 때문에 제조 공정이 복잡해지고 불량률이 증가하는 문제가 있고, 다양한 광학계에 의해 전장 길이가 길어져 제품의 소형화에 한계가 있는 문제가 있고, 제조 원가가 많이 증가하는 문제가 있다.
나아가 종래의 광학 디지털 현미경(공개특허공보 특1999-0045860호, 1999.06.25. 참조)에서는 다양한 광학계에 의해 수차가 크게 발생하여 촬상 이미지의 주변 부분(이미지 센서의 가장자리 영역에서 촬상되는 부분)에 블러현상(Blur phenomenon)이 발생하는 문제가 있다.
한편, 도 2에서 나타내는 바와 같이, 이미지 센서는 복수의 픽셀을 포함하고, 복수의 픽셀 각각은 마이크로 렌즈(MLA, Micro Lens Array)와 RGB 필터(RGB 파장 대역 중 적어도 하나를 선택적으로 투과시키는 필터)와, 촬상 소자(IMAGING ELEMENT)를 포함할 수 있다. 이 경우, 종래의 디지털 현미경에서는 튜브 렌즈와 확장 튜브에 의한 광 굴절 효과에 의해, 이미지 센서의 중심 영역(b1)과 가장자리 영역(a1, c1)에서 복수의 픽셀에 입사되는 주광선의 입사각(CRA, Chief Ray Angle) 값이 25도 정도 차이가 난다.
그리고 이를 해결하기 위하여 각각의 픽셀의 마이크로 렌즈 시프트 값이 계산(중심에서 가장자리로 갈수록 픽셀의 이격거리는 균일하지만 마이크로 렌즈 시프트 값은 작아짐, 즉 마이크로 렌즈 사이의 간격은 중심에서 가장자리로 갈수록 좁아짐)되며, 이 경우, 마이크로 렌즈는 의도적으로 촬상 소자의 축과 어긋나도록 이동 배치된다. 종래의 디지털 현미경에서 튜브 렌즈와 확장 튜브 등의 광학계가 필수적으로 요구되는 것도 이러한 마이크로 렌즈 시프트의 설계를 고려한 것이다.
또한, 시료의 염색된 특정 부분을 정확하게 확인하기 위해서는 1차적으로 저배율의 넓은 면적 이미지를 이용하고 이후에 2차적으로 고배율의 좁은 면적 이미지를 추가적으로 이용하는 과정을 거치고 있다. 이 때문에, 저배율 이미지와 고배율 이미지를 획득하기 위해서 여러 배율의 렌즈들을 가지는 광학 현미경이 요구되는 실정이며, 부분 확대된 시료 이미지를 추가적으로 획득해야 하는 번거로움이 존재하였다.
그리고, 기존 광학 현미경은 시료와 센서부가 소정 간격 이격되어 있어, 미세한 시료의 매질 차이를 정확하게 영상으로 파악하는 것이 불가능하였다.
또한, 대한민국 공개특허공보 제10-2015-0043926호는 복수의 광원을 상호 교번시켜 점멸 제어함으로써 양안 시차가 형성된 3차원 이미지를 생성하는 3차원 현미경을 제안하고 있다.
상기 3차원 현미경은 도 8에서 나타내는 바와 같이, 양안 시차를 형성하도록 상호 이격되는 제1광원(1a)과 제2광원(2a)과, 이미지 센서(3a)를 포함한다.
제어 모듈에서 제1광원(1a)과 제2광원(2a)을 상호 교번시켜 점멸(On/Off) 제어하면, 이미지 센서(3a)에서 교번하며 좌안 이미지와 우안 이미지를 생성한다. 그 결과, 좌안 이미지와 우안 이미지가 빠르게 교번하며 재생(인간의 눈이 인지할 수 없는 주기)됨으로써, 관찰자가 검체의 3차원 깊이를 파악할 수 있는 3차원 이미지를 획득할 수 있다.
그러나 상기 3차원 현미경에서 재생되는 3차원 이미지는 관찰자의 눈에 피로감을 주며, 이미지 센서(3a)의 노출(Exposure) 시간을 제1광원(1a)과 제2광원(2a)의 점멸 주기와 정밀하게 동기화시키기 어려운 문제점이 있다.
나아가 이미지 센서(3a)의 프레임 레이트(Frame rate)를 좌안 이미지와 우안 이미지에 분할하여 할당하기 때문에, 프레임 레이트를 모두 활용한 3차원 이미지를 재생할 수 없고, 검체의 빠른 움직임이 구현되지 못하는 문제점이 있다.
그리고, 종래의 현미경은 도 25에서 나타내는 바와 같이, 검체(Sample)가 안착되는 재물대(Stage)와, 촬상된 이미지의 배율을 결정하는 대물 렌즈(Object lens))와, 사용자의 눈으로 검체의 이미징광을 가이드하는 접안 렌즈(Ocular lens)와, 대물 렌즈와 접안 렌즈를 광학적으로 연결하는 튜브 렌즈(Extention tube)로 이뤄졌다.
또한, 종래의 현미경은 상호 다른 배율을 가진 복수의 대물 렌즈가 회전판(Rotating plate)의 회전에 의해 선택되어, 저배율 이미지와 고배율 이미지를 각각 생성하였다.
따라서 종래의 현미경(공개실용신안공보 제20-2018-0000430호, 2018.02.14. 참조)에서는 사용자가 샘플의 특징 영역(특징점이 발견되어 정밀 관찰이 필요한 영역)을 관찰하기 위해서, 저배율 대물 렌즈로 전체 이미지에서 특징 영역의 대략적인 위치를 파악(저배율 이미지)한 후, 고배율 대물 렌즈로 특징 영역의 위치를 다시 찾아 정밀 관찰(고배율 이미지)을 수행하였다.
그 결과, 종래의 현미경에서는 정밀 관찰을 위해 저배율 대물 렌즈를 고배율 대물 렌즈로 스위칭해야 하며, 재물대를 이동시켜 고배율 대물 렌즈와 샘플의 특징 영역을 광학적으로 얼라인(x축, y축: 위치 정렬; z축: 초점 정렬)해야하는 번거로움이 존재하였다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 광학계를 단순화시켜 소형화를 실현할 수 있고 촬상 이미지의 주변 부분에 발생하는 블러현상을 감소시킬 수 있는 이미지 센서 모듈, 현미경 및 현미경 어레이 시스템을 제공할 수 있다.
또한, 본 발명은 관찰자에게 피로감을 주지 않으며, 이미지 센서의 노출 시간을 광원의 점멸 주기에 동기화시킬 필요가 없으며, 이미지 센서의 풀 프레임 레이트를 모두 활용하여 3차원 이미지를 생성할 수 있는 현미경을 제공할 수 있다.
또한, 본 발명은 고해상도 컬러의 3차원 이미지를 생성할 수 있는 현미경을 제공할 수 있다.
그리고, 본 발명은 저배율 촬상 모듈과 고배율 촬상 모듈을 동시에 배치하여, 저배율 이미지로 샘플의 전체 영역을 대략적으로 관찰하는 동시에 샘플의 특징 영역으로 고배율 촬상 모듈을 이동시킴으로써, 특징 영역의 위치 파악 및 초점 맞춤의 번거로움을 해결할 수 있는 디지털 현미경과 디지털 현미경 시스템을 제공할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 이미지 센서 패키지는, 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈이 결합되는 마운트; 상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및 상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고, 상기 렌즈 프리 이미지 센서의 각각의 픽셀의 마이크로 렌즈 시프트 값은 상기 대물 렌즈 모듈의 CRA(Chief Ray Angle) 값에 상응하여 설계되며, 상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고, 상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함한다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 이미지 센서 패키지는, 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈이 결합되는 마운트; 상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및 상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고, 상기 렌즈 프리 이미지 센서의 각각의 픽셀의 CRA(Chief Ray Angle) 값은 0도이며, 상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고, 상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함한다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 이미지 센서 패키지는, 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈이 결합되는 마운트; 상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및 상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고, 상기 렌즈 프리 이미지 센서의 각각의 픽셀에서 최외곽에 위치한 픽셀의 CRA(Chief Ray Angle) 값은 5도 이하이며, 상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고, 상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함한다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 현미경은, 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈; 상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및 상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고, 상기 렌즈 프리 이미지 센서의 각각의 픽셀의 마이크로 렌즈 시프트 값은 상기 대물 렌즈 모듈의 CRA(Chief Ray Angle) 값에 상응하여 설계되며, 상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고, 상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함한다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 현미경은, 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈; 상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및 상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고, 상기 렌즈 프리 이미지 센서의 각각의 픽셀의 CRA(Chief Ray Angle) 값은 0도이며, 상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고, 상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함한다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 현미경은, 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈; 상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및 상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고, 상기 렌즈 프리 이미지 센서의 각각의 픽셀에서 최외곽에 위치한 픽셀의 CRA(Chief Ray Angle) 값은 5도 이하이며, 상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고, 상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함한다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 현미경 어레이 시스템은, 복수의 현미경을 포함하고, 상기 복수의 현미경 각각은, 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈; 상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및 상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고, 상기 렌즈 프리 이미지 센서의 각각의 픽셀의 마이크로 렌즈 시프트 값은 상기 대물 렌즈 모듈의 CRA(Chief Ray Angle) 값에 상응하여 설계되며, 상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고, 상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함한다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 현미경 어레이 시스템은, 복수의 현미경을 포함하고, 상기 복수의 현미경 각각은, 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈; 상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및 상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고, 상기 렌즈 프리 이미지 센서의 각각의 픽셀의 CRA(Chief Ray Angle) 값은 0도이며, 상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고, 상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함한다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 현미경 어레이 시스템은, 복수의 현미경을 포함하고, 상기 복수의 현미경 각각은, 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈; 상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및 상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고, 상기 렌즈 프리 이미지 센서의 각각의 픽셀에서 최외곽에 위치한 픽셀의 CRA(Chief Ray Angle) 값은 5도 이하이며, 상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고, 상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함한다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 3차원 현미경은, 제1파장 대역의 광을 연속적으로 출사하는 제1광원과 상기 제1광원과 이격되어 배치되고 제2파장 대역의 광을 연속적으로 출사하는 제2광원; 상기 제1광원의 출사광과 상기 제2광원의 출사광이 조사되는 이미지 센서; 및 상기 제1광원과 상기 이미지 센서 사이의 광 경로와 상기 제2광원과 상기 이미지 센서 사이의 광 경로에 위치하는 필터를 포함하고, 상기 필터의 영역은 상기 제1파장 대역의 광이 투과하는 제1영역과, 상기 제2파장 대역의 광이 투과하는 제2영역을 포함하고, 하나의 프레임에서 상기 제1광원의 상기 제1파장 대역의 출사광에 의해 생성되는 제1이미지와 상기 제2광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제2이미지가 합성된 3차원 이미지가 재생된다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 3차원 현미경은, 제1광원과 상기 제1광원과 이격되어 배치되는 제2광원; 상기 제1광원의 출사광과 상기 제2광원의 출사광이 조사되는 이미지 센서; 및 상기 제1광원과 상기 이미지 센서 사이의 광 경로와 상기 제2광원과 상기 이미지 센서 사이의 광 경로에 위치하는 필터를 포함하고, 상기 제1광원은 제1파장 대역의 광과 제2파장 대역의 광을 교번하며 출사하고, 상기 제2광원은 제3파장 대역의 광을 연속적으로 출사하고, 상기 필터의 영역은 상기 제1파장 대역의 광이 투과하는 제1영역과 상기 제2파장 대역의 광이 투과하는 제2영역과 상기 제3파장 대역의 광이 투과하는 제3영역을 포함하고, 상기 제1광원의 상기 제1파장 대역의 출사광에 의해 생성되는 제1이미지와 상기 제1광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제2이미지와 상기 제2광원의 상기 제3파장 대역의 출사광에 의해 생성되는 제3이미지가 합성된 3차원 이미지가 재생된다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 3차원 현미경은, 제1광원과 상기 제1광원과 이격되어 배치되는 제2광원; 상기 제1광원의 출사광과 상기 제2광원의 출사광이 조사되는 이미지 센서; 및 상기 제1광원과 상기 이미지 센서 사이의 광 경로와 상기 제2광원과 상기 이미지 센서 사이의 광 경로에 위치하는 필터를 포함하고, 상기 제1광원은 제1파장 대역의 광과 제2파장 대역의 광을 교번하며 출사하고, 상기 제2광원은 상기 제2파장 대역의 광과 제3파장 대역의 광을 교번하며 출사하고, 상기 필터의 영역은 상기 제1파장 대역의 광이 투과하는 제1영역과 상기 제2파장 대역의 광이 투과하는 제2영역과 상기 제3파장 대역의 광이 투과하는 제3영역을 포함하고, i) 상기 제1광원의 상기 제1파장 대역의 출사광에 의해 생성되는 제1이미지와 ii) 상기 제1광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제2이미지 또는 상기 제2광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제3이미지 중 적어도 하나와 iii) 상기 제2광원의 상기 제3파장 대역의 출사광에 의해 생성되는 제4이미지가 합성된 3차원 이미지가 재생된다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 디지털 현미경은, 샘플이 안착되는 재물대; 상기 샘플을 촬상하여 저배율 이미지를 생성하는 저배율 촬상 모듈; 상기 샘플을 촬상하여 고배율 이미지를 생성하고, 상기 샘플을 기준으로 상기 저배율 촬상 모듈의 반대편에 위치하는 고배율 촬상 모듈; 및 상기 샘플과 상기 재물대와 상기 고배율 촬상 모듈 중 적어도 하나를 이동시키는 구동 모듈을 포함하고, 상기 구동 모듈의 구동에 의해 상기 고배율 촬상 모듈의 촬상 영역이 변경된다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 디지털 현미경 시스템은, 디지털 현미경; 저배율 이미지와 고배율 이미지가 재생되는 사용자 기기; 및 상기 디지털 현미경을 제어하는 전자 제어 모듈을 포함하고, 상기 디지털 현미경은, 샘플이 안착되는 재물대; 상기 샘플을 촬상하여 상기 저배율 이미지를 생성하는 저배율 촬상 모듈; 상기 샘플을 촬상하여 상기 고배율 이미지를 생성하고, 상기 샘플을 기준으로 상기 저배율 촬상 모듈의 반대편에 위치하는 고배율 촬상 모듈; 및 상기 샘플과 상기 재물대와 상기 고배율 촬상 모듈 중 적어도 하나를 이동시키는 구동 모듈을 포함하고, 상기 구동 모듈의 구동에 의해 상기 고배율 촬상 모듈의 촬상 영역이 변경되고, 상기 전자 제어 모듈은, 상기 고배율 촬상 모듈의 촬상 영역이 상기 저배율 이미지에서 선택된 영역과 대응되도록, 상기 구동 모듈을 제어한다.
상기와 같은 본 발명에 따르면, 대물 렌즈 모듈을 제외한 나머지 광학 렌즈 모듈(일 예로, 확장 튜브, 튜브 렌즈, 등)을 생략(LENS-FREE)하여, 검체의 촬상 이미지의 배율을 확대할 수 있는 동시에 광학계를 단순화시켜 소형화를 실현할 수 있는 이미지 센서 모듈, 현미경과 현미경 어레이 시스템이 제공된다.
따라서, 본 발명에서는 원가를 줄일 수 있고, 광축의 맞춤도 용이하며, 소형화된 특징에 의해 대면적 검체의 동시 측정(현미경 어레이 형성)이 용이하다. 나아가 본 발명에서는 다양한 광학계의 수차에 의해 발생하는 블러현상도 감소될 수 있다.
또한, 상기와 같은 본 발명에 따르면, 상호 이격된 복수의 광원에서 출사된 광을 선택적으로 투과시키는 필터를 이용하여, 이미지 센서와 광원 간의 동기화가 불필요하고 프레임 레이트의 손실 없이 3차원 이미지를 재생할 수 있는 현미경이 제공된다.
또한, 상기와 같은 본 발명에 따르면, 상호 이격된 복수의 광원에서 복수의 파장 대역의 광을 출사하고 이를 투과시키는 필터를 이용하여, 고해상도 컬러의 3차원 이미지를 재생할 수 있는 현미경이 제공된다.
또한, 상기와 같은 본 발명에 따르면, 디지털 현미경과 디지털 현미경 시스템에서는 저배율 이미지와 고배율 이미지를 동시에 생성하므로, 고배율 이미지가 저배율 이미지에 의해 가이드됨으로써, 특징 영역의 위치 파악에 따른 시간을 줄일 수 있다.
또한, 상기와 같은 본 발명에 따르면, 디지털 현미경과 디지털 현미경 시스템에서는 원하는 특징점을 데이터베이스에서 찾고 분석을 수행하는데 소요되는 시간을 줄일 수 있는 장점이 있다.
그리고, 상기와 같은 본 발명에 따르면, 디지털 현미경과 디지털 현미경 시스템에서는 저배율 촬상 모듈과 고배율 촬상 모듈의 초점 거리가 초기 설정에서 유지되기 때문에 초점을 맞추기가 용이하다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 현미경을 나타낸 개념도이다.
도 2는 종래의 현미경에서 카메라 이미지 센서의 중심 영역과 주변 영역으로 주광선이 입사되는 것을 나타낸 개념도이다.
도 3은 본 발명의 현미경을 나타낸 개념도이다.
도 4와 도 5는 본 발명의 현미경에서 렌즈 프리 이미지 센서의 중심 영역과 주변 영역으로 주광선이 입사되는 것을 나타낸 개념도이다.
도 6은 본 발명의 현미경의 제1변형례와 제2변형례를 나타낸 개념도이다.
도 7은 종래의 현미경으로 대면적 검체를 관찰 및 촬상하는 것과, 본 발명의 현미경 어레이 시스템으로 대면적 검체를 관찰 및 촬상하는 것을 나타낸 개념도이다.
도 8은 종래의 3차원 현미경을 나타낸 개념도이다.
도 9는 본 발명의 제1실시예의 3차원 현미경을 나타낸 개념도이다.
도 10은 본 발명의 제1실시예의 3차원 현미경에서 제1광원과 제2광원의 출사광이 필터를 투과하는 것을 나타낸 개념도이다.
도 11은 본 발명의 제1실시예의 3차원 현미경에서 제1이미지와 제2이미지가 보간법에 의해 생성되는 것을 나타낸 개념도이다.
도 12는 본 발명의 제1실시예의 3차원 현미경에서 3차원 이미지가 재생되는 것을 종래의 현미경에서 3차원 이미지가 재생되는 것과 비교하여 나타낸 개념도이다.
도 13은 본 발명의 제1실시예의 3차원 현미경에서 제1단위 광원과 제2단위 광원이 배열되는 것을 나타낸 개념도이다.
도 14는 본 발명의 제1실시예의 3차원 현미경에서 보조 편광 필터와 제1광학 소자와 제2광학 소자가 추가된 것을 나타낸 개념도이다.
도 15는 본 발명의 제2실시예의 3차원 현미경을 나타낸 개념도이다.
도 16은 본 발명의 제2실시예의 3차원 현미경에서 제1광원과 제2광원의 출사광이 필터를 투과하는 것을 나타낸 개념도이다.
도 17은 본 발명의 제2실시예의 3차원 현미경에서 제1이미지와 제2이미지가 보간법에 의해 생성되는 것을 나타낸 개념도이다.
도 18은 본 발명의 제2실시예의 3차원 현미경에서 제3이미지가 보간법에 의해 생성되는 것을 나타낸 개념도이다.
도 19는 본 발명의 제2실시예의 3차원 현미경에서 3차원 이미지가 재생되는 것을 나타낸 개념도이다.
도 20은 본 발명의 제3실시예의 3차원 현미경을 나타낸 개념도이다.
도 21은 본 발명의 제3실시예의 3차원 현미경에서 제1광원과 제2광원의 출사광이 필터를 투과하는 것을 나타낸 개념도이다.
도 22는 본 발명의 제3실시예의 3차원 현미경에서 제1이미지와 제2이미지가 보간법에 의해 생성되는 것을 나타낸 개념도이다.
도 23은 본 발명의 제3실시예의 3차원 현미경에서 제3이미지와 제4이미지가 보간법에 의해 생성되는 것을 나타낸 개념도이다.
도 24는 본 발명의 제3실시예의 3차원 현미경에서 3차원 이미지가 재생되는 것을 나타낸 개념도이다.
도 25는 종래의 현미경을 나타낸 개념도이다.
도 26은 본 발명의 디지털 현미경 시스템을 나타낸 개념도이다.
도 27은 본 발명의 변형례의 디지털 현미경 시스템을 나타낸 개념도이다.
도 28은 본 발명의 다른 변형례의 디지털 현미경 시스템을 나타낸 개념도이다.
도 29는 광원에서 출사된 광이 다이크로익 미러에 의해 샘플을 경유한 후 렌즈 프리 이미지 센서 모듈로 가이드되는 것을 나타낸 개념도이다.
도 30 및 도 31은 본 발명의 디지털 시스템에서 고배율 이미지가 저배율 이미지에 의해 가이드되는 것을 나타낸 개념도이다.
도 32는 본 발명의 사용자 기기에서 고배율 이미지와 저배율 이미지가 동시에 재생되는 것을 나타낸 개념도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "위(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하, 도면을 참조하여 본 발명의 현미경(11)을 설명한다.
도 3은 본 발명의 현미경을 나타낸 개념도이고, 도 4와 도 5는 본 발명의 현미경에서 렌즈 프리 이미지 센서의 중심 영역과 주변 영역으로 주광선이 입사되는 것을 나타낸 개념도이고, 도 6은 본 발명의 현미경의 제1변형례와 제2변형례를 나타낸 개념도이다.
본 발명의 현미경(11)은 광학계가 단순화되어 소형으로 제작될 수 있다. 이를 위해, 본 발명의 현미경(11)은 광원(1)과 대물 렌즈 모듈(10)과 이미지 센서 모듈(20)을 포함할 수 있다.
대물 렌즈 모듈(10)과 이미지 센서 모듈(20)은 별도로 제작(단품 제작)되어 결합될 수도 있고(도 3(a) 참조), 대물 렌즈 모듈(10)과 이미지 센서 모듈(20)은 일체로 패키징될 수도 있다(도 3(b) 참조). 한편, 광원(1)도 대물 렌즈 모듈(10)과 이미지 센서 모듈(20)과 함께 일체로 패키징될 수 있다.
나아가 본 발명의 현미경(11)은 "광원(1)과 대물 렌즈 모듈(10)과 이미지 센서 모듈(20)" 외에 다이크로익 필터(40, 하프 미러로 대체 가능)를 추가로 포함할 수 있다(도 3(c) 참조). 다이크로익 필터(40)에 대한 설명은 후술하는 본 발명의 현미경의 제2변형례에서 자세히 설명하도록 한다.
본 발명의 현미경(11)에서는 제2변형례와 달리 오토 포커싱 렌즈 모듈(30)이 생략된 상태에서, 광원(1), 대물 렌즈 모듈(10), 이미지 센서 모듈(20) 및 다이크로익 필터(40, 하프 미러로 대체 가능)로 이루어질 수 있다.
이 경우, 대물 렌즈 모듈(10), 이미지 센서 모듈(20) 및 다이크로익 필터(40)는 일체로 패키징될 수 있다. 한편, 광원(1)도 대물 렌즈 모듈(1), 이미지 센서 모듈(20) 및 다이크로익 필터(40)와 함께 일체로 패키징될 수 있다.
본 발명의 현미경(11)에서는 종래의 현미경과 달리, 튜브 렌즈 및 확장 렌즈 등이 생략(LENS-FREE)되었기 때문에, 대물 렌즈 모듈(10)과 이미지 센서 모듈(20)을 일체로 패키징할 수 있다.
대물 렌즈 모듈(10)은 촬상 이미지의 배율을 결정하는 모듈일 수 있다. 따라서 관찰자는 검체(Sample)의 촬상 이미지를 확대하여 정밀하게 관찰할 수 있다. 광원(1)의 출사광은 검체로 조사될 수 있고, 검체의 이미징 광은 대물 렌즈 모듈(10)로 조사될 수 있고, 대물 렌즈 모듈(10)을 투과한 광은 이미지 센서 모듈(20)로 조사될 수 있다. 검체의 이미징 광은 대물 렌즈 모듈(10)의 배율에 맞추어 변환되며, 이에 따라, 이미지 센서 모듈(20)에서는 실제 검체보다 확대된 촬상 이미지를 생성할 수 있다.
이미지 센서 모듈(20)은 대물 렌즈 모듈(10)을 투과한 검체의 이미징 광을 촬상 이미지로 변환하는 모듈일 수 있다. 이미지 센서 모듈(20)은 기판(21)과 렌즈 프리 이미지 센서(22)를 포함할 수 있다.
렌즈 프리 이미지 센서(22)는 대물 렌즈 모듈(10)을 투과한 검체의 이미징 광이 조사되는 부분일 수 있다. 따라서 렌즈 프리 이미지 센서(22)는 "촬상 유효 영역"으로도 호칭될 수 있다.
렌즈 프리 이미지 센서(22)에는 촬상 이미지의 프레임의 단위를 형성하는 복수의 픽셀(Pixel)이 형성될 수 있다. 또한, 렌즈 프리 이미지 센서(22)의 영역은 광축(Optical axis)를 기준으로 중심 영역(b2)과 가장자리 영역(a2, c2)으로 구분될 수 있다. 즉, 렌즈 프리 이미지 센서(22)의 중심 영역(b2)은 렌즈 프리 이미지 센서(22)의 가장자리 영역(a2, c2)보다 광축을 기준으로 중심에 위치할 수 있다.
한편, 렌즈 프리 이미지 센서(22)의 복수의 픽셀(중심 영역과 가장자리 영역의 복수의 픽셀) 각각은 입사되는 광 경로(Optical Path)를 따라 순차적으로 배열되는 마이크로 렌즈(Micro lens)와 필터(Filter)와 촬상 소자(Imaging element)를 포함할 수 있다. 이 경우, 렌즈 프리 이미지 센서(22)의 복수의 픽셀 각각의 마이크로 렌즈는 마이크로 렌즈 어레이(MLA, Micro Lens Array)를 형성할 수 있다. 렌즈 프리 이미지 센서(22)의 복수의 픽셀 각각의 마이크로 렌즈는 대응되는 촬상 소자로 광이 조사되도록 광을 가이드하는 기능을 수행할 수 있다. 필터는 특정 파장 대역의 광을 투과시킬 수 있다. 일 예로, 필터는 적색 파장 대역의 광을 선택적으로 투과시키거나, 녹색 파장 대역의 광을 선택적으로 투과시키거나, 청색 파장 대역의 광을 선택적으로 투과시킬 수 있다(RGB Filter). 복수의 픽셀 각각의 촬상 소자는 검체의 이미징광을 광 신호로 변환할 수 있다.
한편, 상술한 바와 같이, 이미지 센서 모듈(20)은 별도로 제작되어 다양한 종류의 대물 렌즈 모듈(10)에 결합되는 경우, 대물 렌즈 모듈(10)과 결합되기 위한 마운트(23)를 추가로 포함할 수 있다. 이 경우, 이미지 센서 모듈(20)은 대물 렌즈 모듈(10)과 분리가 가능하게 결합할 수 있고, 대물 렌즈 모듈(10)에는 이미지 센서 모듈(20)의 마운트(23)와 형합하거나 치합 등을 하는 결합부가 마련될 수 있다(도 3(a) 참조).
본 발명의 현미경(11)에서는 튜브 렌즈와 확장 튜브 등이 생략된 것을 특징으로 한다. 그 결과, 본 발명의 현미경(11)의 렌즈 프리 이미지 센서(22)는 종래의 현미경의 이미지 센서와 다르게 설계되어야 한다.
일 예로, 렌즈 프리 이미지 센서(22)의 각각의 픽셀의 마이크로 렌즈 시프트 값을 대물 렌즈 모듈(10)의 CRA(Chief Ray Angle) 값에 상응하게 설계할 수 있다. 이 경우, 마이크로 렌즈 시프트 값은 촬상 소자와 얼라인되는 정중앙의 기준 위치로부터 이동한 크기일 수 있고, 대물 렌즈 모듈(10)의 CRA 값은 대물 렌즈 모듈(10)을 투과한 주광선의 사출 각도일 수 있다. 대물 렌즈 모듈(10)의 투과광(사출광)은 거의 평행광에 가깝기 때문에 마이크로 렌즈 시프트 값은 모두 동일할 수 있다.
또한, 본 발명의 현미경(11)의 렌즈 프리 이미지 센서(22)에서는 각각의 픽셀의 CRA(Chief Ray Angle) 값은 모두 동일할 수 있다. 나아가 렌즈 프리 이미지 센서(22)의 각각의 픽셀의 CRA 값은 모두 동일하게 0도(Degree)일 수 있다(도 4 참조). 즉, 렌즈 프리 이미지 센서(22)의 각각의 픽셀의 마이크로 렌즈는 렌즈 프리 이미지 센서(22)의 각각의 픽셀의 촬상 소자와 동일한 축으로 얼라인(Align, 정렬)되어 배치되도록 설계될 수 있다. 이 경우, 렌즈 프리 이미지 센서(22)의 각각의 픽셀의 CRA 값은 렌즈 프리 이미지 센서(22)의 각각의 픽셀에 입사하는 주광선의 입사 각도일 수 있다.
상술한 바에 따르면, 본 발명의 현미경(11)은 종래의 현미경에서 튜브 렌즈와 확장 튜브 등의 추가적인 광학계에 의해, 주광선 입사각 값이 달라져 마이크로 렌즈 시프트 값이 중심 영역에서 가장자리 영역으로 갈수록 점점 작아지는 것과 달리, 추가적인 광학계를 생략(LENS-FREE)하여 주광선 입사각을 모두 동일하게 설계할 수 있고 이에 따라 마이크로 렌즈 시프트 값도 모두 동일하게 설계될 수 있다.
한편, 다양한 광학 설계적 요청(일 예로, 대물 렌즈 모듈의 투과광이 평행광에 가깝지 않은 경우)에 따라, 렌즈 프리 이미지 센서(22)의 각각의 픽셀에서 최외곽에 위치한 픽셀의 CRA 값은 5도(Degree) 이하일 수도 있다(도 5 참조). 이에 따라, 마이크로 렌즈 시프트 값도 달라질 수 있다.
이 경우, 최외곽에 위치한 픽셀은 렌즈 프리 이미지 센서(22)의 가장자리 영역(a2, c2)에 위치한 픽셀일 수 있다. 또한, 최외곽에 위치한 픽셀은 렌즈 프리 이미지 센서(22)의 가장자리 영역(a2, c2)에서 가장 가장자리에 위치한 픽셀을 의미할 수도 있다.
상술한 바에 따르면, 본 발명의 현미경(11)에서는 렌즈 프리 이미지 센서(22)의 CRA 값을 대물 렌즈 모듈(10)의 CRA 값과 동일하게끔 설계함으로써, 즉, 렌즈 프리 이미지 센서(22)의 각각의 픽셀의 마이크로 렌즈 시프트 값을 대물 렌즈 모듈(10)의 CRA 값에 상응하도록 설계함으로써, 추가적인 광학계가 대물 렌즈 모듈(10)과 이미지 센서 모듈(20) 사이에 개재될 필요가 없어, 이미지 성능과 광 특성에 최적화될 수 있다.
이하, 도면을 참조하여 본 발명의 현미경(11)의 변형례를 설명한다. 도 6은 본 발명의 현미경의 제1변형례(도 6(a) 참조)와 제2변형례(도 6(b) 참조)를 나타낸 개념도이다.
본 발명의 현미경(11)의 제1변형례에서는 오토 포커싱 렌즈 모듈(30)이 추가될 수 있다. 오토 포커싱 렌즈 모듈(30)은 전체 렌즈 광학계의 초점을 가변시켜, 대물 렌즈(10)을 투과한 이미징 광을 렌즈 프리 이미지 센서(22)에 포커싱시키기 위한 렌즈 모듈일 수 있다.
오토 포커싱 렌즈 모듈(30)은 적어도 하나의 광학 렌즈(31)와 적어도 하나의 광학 렌즈(31)를 광축 방향을 기준으로 일방향 또는 양방향으로 구동시키는 구동 유닛(32)을 포함할 수 있다. 이 경우, 구동 유닛(32)은 스테핑 모터(Stepping motor)이거나 보이스 코일 모터(VCM, Voice Coil Motor)일 수 있다. 구동 유닛(32)으로 보이스 코일 모터가 이용되는 경우, 구동 유닛(32)은 코일과 마그네트로 이루어질 수 있으며, 코일에 전류를 인가하여 코일과 마그네트 사이의 전자기적 상호 작용에 의해, 광축을 기준으로 구동할 수 있다.
한편, 오토 포커싱 렌즈 모듈(30)이 추가된 경우, 촬상부(21)에는 대물 렌즈 모듈(10)과 오토 포커싱 렌즈 모듈(30)을 차례로 투과한 광이 입사될 수 있으며, 대물 렌즈 모듈(10)과 이미지 센서 모듈(20)과 오토 포커싱 렌즈 모듈(30)은 일체로 패키징될 수 있다.
본 발명의 현미경(11)의 제2변형례에서는 제1변형례에서 다이크로익 필터(40)가 더 추가될 수 있다. 다이크로익 필터(40)는 "형광 촬상 이미지"를 획득하기 위한 광학 모듈일 수 있다.
이를 위해, 다이크로익 필터(40)는 특정 파장 대역의 광을 반사시키거나 투과시킬 수 있다. 한편, 다이크로익 필터(40)는 특정 파장 대역의 광을 반사시키거나 투과시키는 하프 미러나 광학 필름 등으로 대체될 수도 있다. 이 경우, 광원(1)은 특정 파장 대역의 광을 출사하는 LED(Light Emitting Diode)일 수 있다. 일 예로, 광원(1)은 청색 파장 대역의 레이저 광을 출사할 수 있다.
다이크로익 필터(40)는 대물 렌즈 모듈(10)과 오토 포커싱 렌즈 모듈(30)의 사이에 배치될 수 있다. 다이크로익 필터(40)는 제1파장 대역의 광을 반사시킬 수 있고, 제2파장 대역의 광을 투과시킬 수 있다. 광원(1)은 제1파장 대역의 광을 출사할 수 있다. 광원(1)에서 출사된 제1파장 대역의 광은 다이크로익 필터(40)에서 반사되고, 대물 렌즈 모듈(10)을 투과하고, 검체에서 제2파장 대역의 이미징 광으로 변환되고, 다시 대물 렌즈 모듈(10)을 투과하고, 다이크로익 필터(40)를 투과하고 오토 포커싱 렌즈 모듈(30)을 투과하여 렌즈 프리 이미지 센서(22)에 조사될 수 있다.
이 경우, 검체에는 조영제 등의 형광 물질이 주입될 수 있으며, 광원(1)에서 여기된 광은 다이크로익 필터(40)를 투과한 후, 검체의 조영제에서 방출광으로 변환되어 다이크로익 필터(40)에서 반사될 수 있다. 한편, 광학적 설계 변경에 따라, 여기광이 다이크로익 필터(40)에서 반사되고 방출광이 다이크로익 필터(40)를 투과할 수도 있다.
이하, 도면을 참조하여 본 발명의 현미경 어레이 시스템(111)을 설명한다. 도 7은 종래의 현미경으로 대면적 검체를 관찰 및 촬상하는 것(도 7(a))과, 본 발명의 현미경 어레이 시스템으로 대면적 검체를 관찰 및 촬상(도 7(b))하는 것을 나타낸 개념도이다.
본 발명의 현미경 어레이 시스템(111)은 일정한 패턴(규칙)으로 배열되어 어레이를 형성하는 복수의 현미경(11)을 포함할 수 있다. 이 경우, 복수의 현미경(11)은 일체로 패키징되어 제작될 수도 있고, 개별 제작으로 배열되어 어레이 시스템을 형성할 수도 있다.
도 7(a)에서 나타내는 바와 같이, 종래의 현미경은 대물 렌즈 모듈 외에 확장 튜브나 접안 렌즈 모듈과 같은 다양한 광학계가 존재하여 소형화가 어려운 문제점이 있었다. 그 결과, 대면적의 검체(Sample)를 관찰 및 촬상하기 위해 검체를 이동시키며 검체의 일부분을 일시에 관찰 및 촬상해야하는 불편함이 존재하였다.
그러나 도 7(b)에서 나타내는 바와 같이, 본 발명의 현미경(11)은 광학계의 생략에 의해 소형화가 가능하며 어레이를 형성하기에 적합한 구조를 가진다. 따라서 본 발명에서는 현미경 어레이 시스템(111)을 이용하여 대면적의 검체의 모든 부분을 동시에 관찰 및 촬상할 수 있는 장점이 있다.
이하, 도면을 참조하여 본 발명의 제1실시예의 현미경을 설명한다. 도 9는 본 발명의 제1실시예의 현미경을 나타낸 개념도이고, 도 10은 본 발명의 제1실시예의 현미경에서 제1광원과 제2광원의 출사광이 필터를 투과하는 것을 나타낸 개념도이고, 도 11은 본 발명의 제1실시예의 현미경에서 제1이미지와 제2이미지가 보간법에 의해 생성되는 것을 나타낸 개념도이고, 도 12는 본 발명의 제1실시예의 현미경에서 3차원 이미지가 재생되는 것을 종래의 현미경에서 3차원 이미지가 재생되는 것과 비교하여 나타낸 개념도이고, 도 13은 본 발명의 제1실시예의 현미경에서 제1단위 광원과 제2단위 광원이 배열되는 것을 나타낸 개념도이고, 도 14는 본 발명의 제1실시예의 현미경에서 보조 편광 필터와 제1광학 소자와 제2광학 소자가 추가된 것을 나타낸 개념도이다.
도 9에서 나타내는 바와 같이, 본 발명의 제1실시예의 현미경(12)은 제1광원(100), 제2광원(200), 필터(300) 및 이미지 센서(400)를 포함할 수 있다.
제1광원(100)과 제2광원(200) 각각은 1개 또는 복수의 LED(Light Emitting Diode)일 수 있다. 제1광원(100)과 제2광원(200)은 상호 이격되어, 상호 다른 시점에서 검체(Sample)를 향하여 광을 출사할 수 있이하, 도면을 참조하여 본 발명의 제1실시예의 현미경을 설명한다.
도 9는 본 발명의 제1실시예의 현미경을 나타낸 개념도이고, 도 10은 본 발명의 제1실시예의 현미경에서 제1광원과 제2광원의 출사광이 필터를 투과하는 것을 나타낸 개념도이고, 도 11은 본 발명의 제1실시예의 현미경에서 제1이미지와 제2이미지가 보간법에 의해 생성되는 것을 나타낸 개념도이고, 도 12는 본 발명의 제1실시예의 현미경에서 3차원 이미지가 재생되는 것을 종래의 현미경에서 3차원 이미지가 재생되는 것과 비교하여 나타낸 개념도이고, 도 13은 본 발명의 제1실시예의 현미경에서 제1단위 광원과 제2단위 광원이 배열되는 것을 나타낸 개념도이고, 도 14는 본 발명의 제1실시예의 현미경에서 보조 편광 필터와 제1광학 소자와 제2광학 소자가 추가된 것을 나타낸 개념도이다.
도 9에서 나타내는 바와 같이, 본 발명의 제1실시예의 현미경(12)은 제1광원(100), 제2광원(200), 필터(300) 및 이미지 센서(400)를 포함할 수 있다.
제1광원(100)과 제2광원(200) 각각은 1개 또는 복수의 LED(Light Emitting Diode)일 수 있다. 제1광원(100)과 제2광원(200)은 상호 이격되어, 상호 다른 시점에서 검체(Sample)를 향하여 광을 출사할 수 있다.
제1광원(100)과 제2광원(200)은 이미지 센서(400)의 중심축을 기준으로 양 측으로 소정의 거리로 이격되도록 배치될 수 있다. 이 경우, 제1광원(100)과 제2광원(200) 중 하나는 좌측에 배치될 수 있고, 나머지 하나는 우측에 배치될 수 있다.
따라서 제1광원(100)과 제2광원(200)에 의해, 상호 다른 2개의 각도에서 검체를 바라본 제1이미지(500, 1st Image)와 제2이미지(600, 2nd Image)가 생성될 수 있고, 이를 합성한 3차원 이미지(Three-dimensional image)가 재생될 수 있다.
다만, 이에 한정되는 것은 아니고, 본 발명의 제1실시예의 3차원 현미경(12)은 3개 이상의 광원을 포함할 수도 있고, 상호 다른 3개 이상의 각도에서 검체를 바라본 이미지를 생성할 수 있고, 이를 합성하여 3차원 이미지를 재생할 수도 있다.
제1광원(100)의 출사광과 제2광원(200)의 출사광은 검체를 경유한 후, 필터(300)에서 선택적으로 투과되어, 이미지 센서(400)에 조사될 수 있다. 제1광원(100)의 출사광은 이미지 센서(400)에서 제1이미지(500)를 생성할 수 있고, 제2광원(200)의 출사광은 이미지 센서(400)에서 제2이미지(600)를 생성할 수 있다.
도 10에서 나타내는 바와 같이, 제1광원(100)과 제2광원(200)은 필터(300)에 의해 선택적으로 이미지 센서(400)에 조사될 수 있다. 제1광원(100)의 출사광은 필터(300)의 제1영역(310)을 투과할 수 있고, 제2광원(200)의 출사광은 필터(300)의 제2영역(320)을 투과할 수 있다. 이 경우, 제1광원(100)과 제2광원(200)은 다양한 광학적 방법에 의해 필터링될 수 있다.
일 예로, 제1광원(100)과 제2광원(200)은 상호 다른 파장 대역(제1파장 대역 및 제2파장 대역)의 광을 출사할 수 있고, 제1광원(100)의 제1파장 대역의 광은 필터(300)의 제1영역(310)을 투과할 수 있고 필터(300)의 제2영역(320)에서 차단될 수 있고, 제2광원(200)의 제2파장 대역의 광은 필터(300)의 제1영역(310)에서 차단될 수 있고 필터(300)의 제2영역(320)을 투과할 수 있다. 예를 들어, 제1광원(100)은 적색 파장 대역의 광을 출사할 수 있고 필터(300)의 제1영역(310)은 적색 파장 대역의 광만을 선택적으로 투과시키는 영역일 수 있고, 제2광원(200)은 청색 파장 대역의 광을 출사할 수 있고 필터(300)의 제2영역(320)은 청색 파장 대역의 광만을 선택적으로 투과시키는 영역일 수 있다.
또한, 제1광원(100)과 제2광원(200)은 상호 다른 편광축(제1편광축 및 제2편광축)을 가지는 광을 출사할 수 있고, 제1광원(100)의 제1편광축을 가지는 광은 필터(300)의 제1영역(310)을 투과할 수 있고 필터(300)의 제2영역(320)에서 차단될 수 있고, 제2광원(200)의 제2편광축을 가지는 광은 필터(300)의 제1영역(310)에서 차단될 수 있고 필터(300)의 제2영역(320)을 투과할 수 있다.
다만, 이에 한정되는 것은 아니고, 본 발명의 제1실시예의 3차원 현미경(12)은 광학적 설계 요청에 따라 다양한 광학적 방법으로 제1광원(100)의 출사광과 제2광원(200)의 출사광을 선택적으로 투과시킬 수 있다.
상술한 바에 따르면, 제1광원(100)의 출사광 중 일부는 필터(300)를 투과할 수 있고, 나머지는 필터(300)에 의해 차단될 수 있다. 이는, 제2광원(200)의 출사광의 경우에도 마찬가지이다.
따라서 도 11에서 나타내는 바와 같이, 제1이미지(500)에서 필터(300)의 제1영역(310)과 대응되는 영역(510)은 제1광원(100)의 출사광에 의한 광 신호 값에 따라 생성될 수 있다. 한편, 제1이미지(500)에서 필터(300)의 제2영역(320)과 대응되는 영역(520)은 제1광원(100)의 출사광에 의해 광 신호 값이 얻어지지 않으므로, 필터(300)의 제1영역(310)에 대응되는 영역(510)의 이미지를 보간(Interpolation)하여 생성될 수 있다(도 11(a) 참조).
이와 마찬가지로, 제2이미지(600)에서 필터(300)의 제2영역(320)과 대응되는 영역(620)은 제2광원(200)의 출사광에 의한 광 신호 값에 따라 생성될 수 있다. 한편, 제2이미지(600)에서 필터(300)의 제1영역(310)과 대응되는 영역(610)은 제2광원(200)의 출사광에 의한 광 신호 값이 얻어지지 않으므로, 필터(300)의 제2영역(320)에 대응되는 영역(620)의 이미지를 보간(Interpolation)하여 생성될 수 있다(도 11(b) 참조).
상술한 바와 같이, 특정 파장 대역의 광 또는 특정 편광축을 가지는 광이 조사되지 않은 이미지 영역의 이미지 데이터 값을 추정하기 위한 보간법은 본 발명이 속하는 기술분야에서 잘 알려진 임의의 방법이 사용될 수 있으며, 특정 실시예에 제한되지 않는다.
한편, 본 발명의 제1실시예의 현미경(12)에서는 제1광원(100)과 제2광원(200)은 순차적으로 재생되는 복수의 프레임 각각에 제1이미지(500)와 제2이미지(600)가 모두 사용되어 제1이미지(500)와 제2이미지(600)가 합성된 3차원 이미지가 재생될 수 있도록, 연속적으로 광을 출사할 수 있다.
필터(300)는 제1광원(100)과 이미지 센서(400)의 사이의 광 경로에 위치할 수 있고 이와 동시에 제2광원(200)과 이미지 센서(400)의 사이의 광 경로에 위치할 수 있다. 상술한 바와 같이, 필터(300)는 제1광원(100)의 출사광과 제2광원(200)의 출사광을 선택적으로 투과시키는 기능을 수행할 수 있다.
필터(300)의 제1영역(310)은 복수의 제1단위 영역(311)을 포함할 수 있고, 필터(300)의 제2영역(320)은 복수의 제2단위 영역(321)을 포함할 수 있다. 복수의 제1단위 영역(311)과 복수의 제2단위 영역(321)은 패턴을 형성하며 상호 교번하며 배열될 수 있다.
이와 같이, 복수의 제1단위 영역(311) 각각과 복수의 제2단위 영역(321) 각각을 상호 이웃하게 배치함으로써, 일방에 대응되는 이미지 영역의 보간 시 이웃(근접)하는 타방에 대응되는 이미지 영역을 이용하여 실제 이미지와의 갭을 줄일 수 있다.
일 예로, 복수의 제1단위 영역(311) 각각과 복수의 제2단위 영역(321) 각각은 이미지 센서(400)의 중심축과 수직한 평면 상에서 보았을 때, 상호 오버랩되지 않으며 격자점이 수직한 복수의 x축과 복수의 y축을 따라 상호 교번하며 배열될 수 있다.
다만, 이에 한정되는 것은 아니고, 본 발명의 현미경(12)은 광학적 설계 요청에 따라 다양한 광학적 방법으로 복수의 제1단위 영역(311)과 복수의 제2단위 영역(312)이 패터닝될 수 있*.
한편, 필터(300)는 이미지 센서(400)의 중심축과 수직하며, 상호 이격되거나 접촉되는 복수의 층으로 형성될 수 있다. 일 예로, 필터(300)는 이미지 센서(400)의 중심축과 수직하며, 적층되어 배치된 제1필터(미도시)와 제2필터(미도시)를 포함할 수 있다. 이 경우, 제1필터에는 필터(300)의 제1영역(310)이 형성될 수 있고, 제2필터에는 필터(300)의 제2영역(320)이 형성될 수 있다.
다만, 이에 한정되는 것은 아니고, 본 발명의 제1실시예의 3차원 현미경(12)은 광학적 설계 요청에 따라 다양한 광학적 구조를 가지는 필터(300)를 포함할 수 있다.
한편, 필터(300)는 이미지 센서(400)의 촬상면에 결합되어 일체로 형성(일체로 패키징)될 수도 있다. 이 경우, 필터(300)는 이미지 센서(400)의 촬상면에 코팅되어 일체로 형성될 수 있다. 또한, 도 9에서 도시된 바와 다르게, 검체는 필터(300)와 실질적으로 접하도록 배치될 수도 있다.
이미지 센서(400)에는 필터(300)을 투과한 제1광원(100)의 출사광과 필터(300)를 투과한 제2광원(200)의 출사광이 조사될 수 있다. 이미지 센서(400)에는 조사된 광을 이미지로 변환할 수 있는 임의의 센서가 사용될 수 있다. 일 예로, 이미지 센서(400)는 CMOS 센서가 사용될 수 있으나, 이에 제한되는 것은 아니다.
이미지 센서(400)는 이미지 처리 유닛(Image processor unit)에서 제1광원(100)의 출사광의 광 신호 값을 직접 이용하거나 이를 보간하여 제1이미지(500)를 생성할 수 있고, 제2광원(200)의 출사광의 광 신호 값을 직접 이용하거나 이를 보간하여 제2이미지(600)를 생성할 수 있다. 본 발명의 현미경(12)에서는 제1이미지(500)와 제2이미지(600)가 합성된 3차원 이미지(Three-dimensional image)가 재생될 수 있다.
이하, 도 12를 참조하여, 본 발명의 제1실시예의 3차원 현미경(12)에서 3차원 이미지가 재생되는 것을, 종래의 현미경에서 3차원 이미지가 재생되는 것과 비교하여 설명한다. 도 12(a)는 종래의 현미경에서 3차원 이미지가 재생되는 것을 나타낸 개념도이고, 도 12(b)는 본 발명의 현미경(12)에서 3차원 이미지가 재생되는 것을 나타낸 개념도이다.
도 12(a)에서 나타내는 바와 같이, 종래의 현미경에서는 하나의 프레임에 우안 이미지(Right image)와 좌안 이미지(Left image) 중 하나만이 생성되어, 관찰자는 두 개의 프레임으로부터 한 개의 3차원 이미지(Three-dimensional image)를 인식할 수 있다. 즉, 종래의 현미경에서는 프레임 레이트의 손실이 발생하여, 검체의 빠른 움직임을 구현할 수 없고 관찰의 정밀성과 정확성이 낮아지는 문제가 있다.
이에 반해, 도 12(b)에서 나타내는 바와 같이, 본 발명의 제1실시예의 3차원 현미경(12)에서는 하나의 프레임에 제1이미지(500)와 제2이미지(600)가 모두 생성되어, 관찰자는 하나의 프레임으로부터 제1이미지(500)와 제2이미지(600)가 합성된 한 개의 3차원 이미지를 인식할 수 있다. 즉, 본 발명의 제1실시예의 3차원 현미경(12)에서는 필터(300)에 의해 제1광원(100)과 제2광원이 연속적으로 광을 출사하여, 이미지 센서(400)의 복수의 프레임(1st Frame, 2nd Frame, 3rd Frame, 4th Frame) 각각에서 생성되는 제1이미지(500)와 제2이미지(600)를 합성하여 3차원 이미지(Three-dimensional image)를 실시간으로 재생될 수 있다.
따라서 본 발명의 제1실시예의 3차원 현미경(12)에서는 이미지 센서(400)의 프레임 레이트를 모두 활용하여 3차원 이미지(Three-dimensional image)를 실시간으로 재생할 수 있고, 그 결과, 검체의 빠른 움직임도 모두 구현하여 관찰의 정밀성과 정확성을 높일 수 있는 장점이 있다.
이하, 도 13을 참조하여, 본 발명의 제1광원(100)과 제2광원(200)의 배열에 대해 설명한다. 본 발명의 제1광원(100)과 제2광원(200)은 3차원 이미지를 위한 양안 시차를 형성하기 위해, 이미지 센서(400)의 중심축을 기준으로 대칭으로 배치될 수 있다.
나아가 본 발명에서는 관찰자의 취사 선택에 따라 다양한 각도에서 3차원 이미지를 재생하기 위해, 제1광원(100)은 복수의 제1단위 광원(101)을 포함할 수 있고, 제2광원(200)은 복수의 제2단위 광원(201)을 포함할 수 있다. 이 경우, 이미지 센서(400)의 중심축을 기준으로 상호 대칭으로 배치되는 복수의 제1단위 광원(101) 중 일부(한 개)와 복수의 제2단위 광원(201) 중 일부(일 예로, 한 개)를 그룹핑하여 독립적으로 제어함으로써, 다양한 각도에서 3차원 이미지를 생성할 수 있다.
이를 위해, 복수의 제1단위 광원(101)과 복수의 제2단위 광원(201)은 다양한 규칙을 가지고 배열될 수 있다. 도 13(a)를 참조하면, 복수의 제1단위 광원(101)과 복수의 제2단위 광원(201) 중 하나는 우측에 위치할 수 있고, 나머지 하나는 좌측에 위치할 수 있다. 또한, 도 13(b)를 참조하면, 복수의 제1단위 광원(101)은 이미지 센서(400)의 중심축과 수직한 제1축(1st Axis)과 이미지 센서(400)의 중심축과 수직하고 제1축(1st Axis)과 수직한 제2축(2nd Axis)에 배열될 수 있고, 복수의 제2단위 광원(201)은 이미지 센서(400)의 중심축과 수직하고 제2축(2nd Axis)과 수직한 제3축(3rd Axis)과 이미지 센서(400)의 중심축과 수직하고 제3축(3rd Axis)과 수직한 제4축(4th Axis)에 배열될 수 있다. 나아가 도 13(c)를 참조하면, 복수의 제1단위 광원(101)은 이미지 센서(400)의 중심축을 기준으로 방사상으로 연장되는 복수의 축 중 일부에 배열될 수 있고, 복수의 제2단위 광원(201)은 이미지 센서(400)의 중심축(Axis)을 기준으로 방사상(Radial)으로 연장되는 복수의 축 중 나머지에 배열될 수 있다.
이하, 도 14를 참조하여, 본 발명의 제1실시예의 3차원 현미경(12)에 보조 편광 필터(700)와 제1광학 소자(800)와 제2광학 소자(900)가 추가된 경우를 설명한다. 이 경우, 제1광원(100)은 대략적으로 상호 수직하게 배치되고 다른 파장 대역의 광을 출사하는 제1-1광원(100-1)과 제1-2광원(100-2)을 포함할 수 있고, 제2광원(200)은 상호 수직하게 배치되고 다른 파장 대역의 광을 출사하는 제2-1광원(200-1)과 제2-2광원(200-2)을 포함할 수 있다.
보조 편광 필터(700)는 제1광원(100)의 출사광과 제2광원(200)의 출사광에서 특정 편광축을 가진 광만을 투과시켜 3차원 이미지의 품질을 향상시킬 수 있다. 이를 위해, 보조 편광 필터(700)는 제1광원(100)과 검체의 사이의 광 경로와, 제2광원(200)과 검체의 사이의 광 경로에 배치되어 제1광원(100)의 출사광과 제2광원(200)의 출사광에서 특정 편광축을 가지는 출사광만을 필터링할 수 있다. 한편, 보조 편광 필터(700)에 의해 이미지의 품질은 향상되지만, 이미지 센서(400)에 조사되는 광량이 감소되어 이를 보상하는 방안이 문제된다.
상술한 문제점을 해결하기 위해, 본 발명의 제1실시예의 3차원 현미경(12)은 제1-1광원(100-1)과 제1-2광원(100-2)에 의해 제1광원(100)의 광량을 2배로 늘리고, 제2-1광원(200-1)과 제2-2광원(200-2)에 의해 제2광원(200)의 광량을 2배로 늘리고, 제1광학 소자(800)와 제2광학 소자(900)를 추가적으로 포함하는 것을 특징으로 한다.
제1광학 소자(800)는 제1광원(100)과 보조 편광 필터(700)의 사이의 광 경로에 배치될 수 있고, 제2광학 소자(900)는 제2광원(200)과 보조 편광 필터(700)의 사이의 광 경로에 배치될 수 있다.
제1-1광원(100-1)은 제1광학 소자(800)를 투과하여 보조 편광 필터(700)에 조사될 수 있고, 제1-2광원(100-2)은 제1광학 소자(800)에서 반사되어 제1-1광원(100-1)의 광 경로를 따라 보조 편광 필터(700)에 조사될 수 있다.
이와 마찬가지로, 제2-1광원(200-1)은 제2광학 소자(900)를 투과하여 보조 편광 필터(700)에 조사될 수 있고, 제2-2광원(200-2)은 제2광학 소자(900)에서 반사되어 제2-1광원(200-1)의 광 경로를 따라 보조 편광 필터(700)에 조사될 수 있다.
따라서 제1광학 소자(800)와 제2광학 소자(900)는 특정 파장 대역의 광을 투과시키고 특정 파장 대역의 광을 반사시키는 "하프 미러(Half mirror)"일 수 있지만, 이에 한정되는 것은 아니다. 제1광학 소자(800)와 제2광학 소자(900)는 "다이크로익 필터(Dichroic filter)"일 수도 있다.
상술한 바에 따르면, 동일한 광 경로 면적에 대비하여 광량을 2배로 증가시킬 수 있는 동시에, 보조 편광 필터(700)에 의해 감소되는 광량을 보상할 수 있다.
한편, 투과식이 아닌 형광식 또는 반사식 현미경으로 사용될 경우, 제1광학 소자(800)와 제2광학 소자(900)는, 도 14에 도시된 바와 다르게, 검체(Sample)와 이미지 센서(400)의 사이에 배열될 수 있다. 이 경우, 제1광원(100)과 제2광원(200)도 검체와 이미지 센서(400)의 사이에 배열된다. 제1광원(100)과 제2광원(200)은 각각 검체와 이미지 센서(400)가 이루는 축에 수직하게 배치된다. 제1광학 소자(800)와 제2광학 소자(900)는 광원(100, 200)으로부터의 출사광의 경로를 변경하고 상기 출사광을 검체로 입사시키기 위하여 활용된다.
본 발명의 제1실시예의 3차원 현미경(12)에서는 제1광원(100)과 필터(300) 사이의 광 경로와 제2광원(200)과 필터(300) 사이의 광 경로에 하나 이상의 광학 렌즈로 이루어진 렌즈 모듈(Lens module)이 배치될 수 있다. 제1광원(100)의 출사광과 제2광원(200)의 출사광을 필터(300) 및 이미지 센서(400)의 유효 영역에 포커싱시키기 위함이다.
이하, 도면을 참조하여 본 발명의 제2실시예의 3차원 현미경(13)을 설명한다. 도 15는 본 발명의 제2실시예의 3차원 현미경을 나타낸 개념도이고, 도 16은 본 발명의 제2실시예의 3차원 현미경에서 제1광원과 제2광원의 출사광이 필터를 투과하는 것을 나타낸 개념도이고, 도 17은 본 발명의 제2실시예의 3차원 현미경에서 제1이미지와 제2이미지가 보간법에 의해 생성되는 것을 나타낸 개념도이고, 도 18은 본 발명의 제2실시예의 3차원 현미경에서 제3이미지가 보간법에 의해 생성되는 것을 나타낸 개념도이고, 도 19는 본 발명의 제2실시예의 3차원 현미경에서 3차원 이미지가 재생되는 것을 나타낸 개념도이다.
도 15에서 나타내는 바와 같이, 본 발명의 제2실시예의 3차원 현미경(13)은 제1광원(1100), 제2광원(1200), 필터(1300) 및 이미지 센서(1400)를 포함할 수 있다.
제1광원(1100)과 제2광원(1200) 각각은 1개 또는 복수의 LED(Light Emitting Diode)일 수 있다. 제1광원(1100)과 제2광원(1200)은 상호 이격되어, 상호 다른 시점에서 검체(Sample)를 향하여 광을 출사할 수 있다.
제1광원(1100)과 제2광원(1200)은 이미지 센서(1400)의 중심축을 기준으로 양 측으로 소정의 거리로 이격되도록 배치될 수 있다. 이 경우, 제1광원(1100)과 제2광원(1200) 중 하나는 좌측에 배치될 수 있고, 나머지 하나는 우측에 배치될 수 있다.
제1광원(1100)에 의해 동일한 각도에서 검체(Sample)를 바라본 제1이미지(1500)와 제2이미지(1600)가 생성될 수 있고, 제2광원(1200)에 의해 하나의 각도에서 검체(Sample)를 바라본 제3이미지(1700)가 생성될 수 있다. 나아가 제1이미지(1500)와 제2 이미지(1600)와 제3이미지(1700)를 합성한 3차원 이미지(Three-dimensional image)가 재생될 수 있다.
이를 위해, 제1광원(1100)은 제1파장 대역의 광과 제2파장 대역의 광을 교번하며 출사할 수 있다. 일 예로, 제1광원(1100)의 제1파장 대역의 광은 적색 파장 대역의 광일 수 있고 제1광원(1100)의 제2파장 대역의 광은 청색 파장 대역의 광일 수 있으나, 이에 한정되는 것은 아니다.
제2광원(1200)은 제3파장 대역의 광을 연속적으로 출사할 수 있다. 이 경우, 제2광원(1200)의 제3파장 대역의 광은 제1광원(1100)의 제1파장 대역의 광 및 제1광원(1100)의 제2파장 대역의 광 모두와 다른 파장 대역의 광일 수 있다. 일 예로, 제2광원(1200)의 제3파장 대역의 광은 녹색 파장 대역의 광일 수 있으나, 이에 한정되는 것은 아니다.
일 예로, 상기 제1파장 대역, 상기 제2파장 대역, 상기 제3파장 대역은 컬러화를 위한 세가지 색상의 파장 대역으로 선택될 수 있다. 즉, 상술한 바와 같이, 제1파장 대역의 광은 적색 파장 대역의 광으로, 제2파장 대역의 광은 청색 파장 대역의 광으로, 제3파장 대역의 광은 녹색 파장 대역으로 선택될 수 있으나, 이에 한정되는 것은 아니다.
제1광원(1100)의 출사광과 제2광원(1200)의 출사광은 검체를 경유한 후, 필터(1300)에서 선택적으로 투과되어, 이미지 센서(1400)에 조사될 수 있다. 제1광원(1100)의 제1파장 대역의 출사광은 이미지 센서(1400)에서 제1이미지(1500)를 생성할 수 있고, 제1광원(1100)의 제2파장 대역의 출사광은 이미지 센서(1400)에서 제2이미지(1600)를 생성할 수 있고, 제2광원(1200)의 제3파장 대역의 출사광은 이미지 센서(1400)에서 제3이미지(1700)를 생성할 수 있다.
도 16에서 나타내는 바와 같이, 제1광원(1100)과 제2광원(1200)은 필터(1300)에 의해 선택적으로 이미지 센서(1400)에 조사될 수 있다. 제1광원(1100)의 제1파장 대역의 출사광은 필터(1300)의 제1영역(1310)을 투과할 수 있고, 필터(1300)의 제2영역(1320)과 제3영역(1330)에서 차단될 수 있고, 제1광원(1100)의 제2파장 대역의 출사광은 필터(1300)의 제2영역(1320)을 투과할 수 있고 필터(1300)의 제1영역(1310)과 제3영역(1330)에서 차단될 수 있고, 제2광원(1200)의 제3파장 대역의 출사광은 필터(1300)의 제3영역(1330)을 투과할 수 있고 필터(1300)의 제1영역(1310)과 제2영역(1320)에서 차단될 수 있다.
일 예로, 제1광원(1100)은 적색 파장 대역과 청색 파장 대역의 광을 교번(Alternating)하여 출사할 수 있고, 필터(1300)의 제1영역(1310)은 적색 파장 대역의 광을 선택적으로 투과시키는 영역일 수 있고 필터(1300)의 제2영역(1320)은 청색 파장 대역의 광을 선택적으로 투과시키는 영역일 수 있지만, 이에 한정되는 것은 아니다.
또한, 제2광원(1200)은 녹색 파장 대역의 광을 연속적으로 출사할 수 있고, 필터(1300)의 제3영역(1330)은 녹색 파장 대역의 광을 선택적으로 투과시키는 영역일 수 있지만, 이에 한정되는 것은 아니다.
따라서 도 17(a)에서 나타내는 바와 같이, 제1이미지(1500)에서 필터(1300)의 제1영역(1310)과 대응되는 영역(1510)은 제1광원(1100)의 제1파장 대역의 출사광에 의한 광 신호 값에 따라 생성될 수 있다. 한편, 제1이미지(1500)에서 필터(1300)의 제2영역(1320)과 대응되는 영역(1520) 및 제3영역(1330)과 대응되는 영역(1530)은 제1광원(1100)의 제1파장 대역의 출사광에 의해 광 신호 값이 얻어지지 않으므로, 필터(1300)의 제1영역(1310)에 대응되는 영역(1510)의 이미지를 보간(Interpolation)하여 생성될 수 있다.
이와 마찬가지로, 도 17(b)에서 나타내는 바와 같이, 제2이미지(1600)에서 필터(1300)의 제2영역(1320)과 대응되는 영역(1620)은 제1광원(1100)의 제2파장 대역의 출사광에 의한 광 신호 값에 따라 생성될 수 있다. 한편, 제2이미지(1600)에서 필터(1300)의 제1영역(1310)과 대응되는 영역(1610) 및 제3영역(1330)과 대응되는 영역(1630)은 제1광원(1100)의 제2파장 대역의 출사광에 의해 광 신호 값이 얻어지지 않으므로, 필터(1300)의 제2영역(1320)에 대응되는 영역(1620)의 이미지를 보간(Interpolation)하여 생성될 수 있다.
이와 마찬가지로, 도 18에서 나타내는 바와 같이, 제3이미지(1700)에서 필터(1300)의 제3영역(1330)과 대응되는 영역(1630)은 제2광원(1200)의 제3파장 대역의 출사광에 의한 광 신호 값에 따라 생성될 수 있다. 제3이미지(1700)에서 필터(1300)의 제1영역(1310)과 대응되는 영역(1710) 및 제2영역(1320)과 대응되는 영역(1720)은 제2광원(1200)의 제3파장 대역의 출사광에 의해 광 신호 값이 얻어지지 않음으로, 필터(1300)의 제3영역(1330)에 대응되는 영역(1630)의 이미지를 보간(Interpolation)하여 생성될 수 있다.
상술한 바와 같이, 특정 파장 대역의 광을 추정하기 위한 보간법은 본 발명이 속하는 기술분야에서 잘 알려진 임의의 방법이 사용될 수 있으며, 특정 실시예에 제한되지 않는다.
한편, 본 발명의 제2실시예의 3차원 현미경(13)에서는 제1광원(1100)은 교번하며 광을 출사하고 제2광원(1200)은 연속적으로 광을 출사하여, 제1이미지(1500)와 제2이미지(1600)와 제3이미지(1700)가 합성된 고해상도 컬러의 3차원 이미지(Three-dimensional image)가 재생될 수 있다.
한편, 제1광원(1100)은 제1파장 대역의 광을 출사하는 제1-1광원모듈(예를 들어, LED)과 제2파장 대역의 광을 출사하는 제1-2광원모듈을 포함하는 복수의 광원모듈을 포함하여 구성될 수 있으며, 복수의 광원모듈은 소정의 간격으로 서로 이격되어 배치될 수 있다. 이 경우, 제1이미지(1500)와 제2이미지(1600)가 동일한 시점(View)을 가질 수 있도록, 제1-1광원모듈의 제1파장 대역의 출사광과 제1-2광원모듈의 제2파장 대역의 출사광 중 적어도 하나를 가이드하는 광 가이드 소자(1110)가 추가될 수 있다.
즉, 광 가이드 소자(1110)는 복수(2개 이상)의 광원모듈로 구성된 제1광원(1100)에서, 복수의 광원모듈 간의 이격 거리에 의해 제1이미지(1500)와 제2이미지(1600)의 시점이 달라지는 것을 방지하기 위해, 제1광원(1100)의 복수의 광원모듈 각각의 광 경로나 이미지 센서(1400)의 촬상면에 조사되는 영역을 정렬시키는 기능을 수행할 수 있다. 또한, 광 가이드 소자(1110)에 의해, 이미지 센서(1400)의 촬상면의 전체를 활용할 수 있어, 이미지 센서(1400)의 데이터가 손실되는 것을 방지할 수 있다.
광 가이드 소자(1110)에는 본 발명이 속하는 기술분야에서 잘 알려진 임의의 광학 소자가 사용될 수 있다. 일 예로, 광 가이드 소자(1110)는 핀홀(Pin hole) 구조를 포함하는 광학 소자일 수 있지만, 이에 한정되는 것은 아니다.
필터(1300)는 제1광원(1100)과 이미지 센서(1400)의 사이의 광 경로에 위치할 수 있고 이와 동시에 제2광원(1200)과 이미지 센서(1400)의 사이의 광 경로에 위치할 수 있다. 상술한 바와 같이, 필터(1300)는 제1광원(1100)의 제1파장 대역 및 제2파장 대역의 출사광과 제2광원(1200)의 제3파장 대역의 출사광을 선택적으로 투과시키는 기능을 수행할 수 있다.
필터(1300)의 제1영역(1310)은 복수의 제1단위 영역(1311)을 포함할 수 있고, 필터(1300)의 제2영역(1320)은 복수의 제2단위 영역(1321)을 포함할 수 있고, 필터(1300)의 제3영역(1330)은 복수의 제3단위 영역(1331)을 포함할 수 있다. 복수의 제1단위 영역(1311)과 복수의 제2단위 영역(1321)과 복수의 제3단위 영역(1331)은 일정한 패턴을 형성하며 배열될 수 있다.
일 예로, 복수의 제1단위 영역(1311) 각각과 복수의 제2단위 영역(1321) 각각과 복수의 제3단위 영역(1331) 각각은 이미지 센서(1400)의 중심축과 수직한 평면 상에서 보았을 때, 상호 오버랩되지 않으며 격자점이 수직한 복수의 x축과 복수의 y축을 따라 배열될 수 있다.
일 예로, 복수의 x축 중 일부 x축에는 복수의 제1단위 영역(1311)과 복수의 제3단위 영역(1331)이 상호 교번하며 배열될 수 있고, 복수의 x축 중 나머지 x축에는 복수의 제2단위 영역(1321)과 복수의 제3단위 영역(1331)이 상호 교번하며 배열될 수 있고, 복수의 x축 중 복수의 제1단위 영역(1311)이 속한 일부 x축과 복수의 x축 중 복수의 제2단위 영역(1321)이 속한 나머지는 x축은 y축 방향으로 상호 교번하며 배열될 수 있다.
그 결과, 복수의 제1단위 영역(1311)의 개수와 복수의 제2단위 영역(1321)의 개수와 복수의 제3단위 영역(1331)의 개수의 비는 1:1:2일 수 있다. 즉, 복수의 제3단위 영역(1331)의 개수는 나머지 단위 영역 각각의 개수보다 2배 더 많을 수 있다. 이러한 패턴은 일반적으로 사용되는 이미지 센서의 픽셀에서의 베이어 패턴(Bayer pattern)을 반영한 것이다(인간의 시각적 특성에 따라 Green 픽셀의 개수가 많음). 따라서 본 발명의 제2실시예의 3차원 현미경(13)은 일반적으로 사용되는 이미지 센서를 이용하여 제작할 수 있는 장점이 있다.
다만, 이에 한정되는 것은 아니고, 본 발명의 제2실시예의 3차원 현미경(13)은 광학적 설계 요청에 따라 다양한 광학적 구조를 가지는 필터(1300)를 포함할 수 있다.
한편, 필터(1300)는 이미지 센서(1400)의 촬상면에 결합되어 일체로 형성(일체로 패키징)될 수 있다. 이 경우, 필터(1300)는 이미지 센서(1400)의 촬상면에 코팅되어 일체로 형성될 수 있다. 또한, 도 15에서 도시된 바와 다르게, 검체는 필터(1300)와 실질적으로 접하도록 배치될 수도 있다.
이미지 센서(1400)에는 필터(1300)를 투과한 제1광원(1100)의 제1파장 대역의 출사광과 제1광원(1100)의 제2파장 대역의 출사광과 제2광원(1200)의 제3파장 대역의 출사광이 조사될 수 있다. 이미지 센서(1400)에는 조사된 광을 이미지로 변환할 수 있는 임의의 센서가 사용될 수 있다. 일 예로, 이미지 센서(1400)는 CMS 센서가 사용될 수 있으나, 이에 제한되는 것은 아니다.
이미지 센서(1400)는 이미지 처리 유닛(Image processor unit)에서 제1광원(1100)의 제1파장 대역의 출사광의 광 신호 값을 직접 이용하거나 이를 보간하여 제1이미지(1500)를 생성할 수 있고, 제1광원(1100)의 제2파장 대역의 출사광의 광 신호 값을 직접 이용하거나 이를 보간하여 제2이미지(1600)를 생성할 수 있고, 제2광원(1200)의 제3파장 대역의 출사광의 광 신호 값을 직접 이용하거나 이를 보간하여 제3이미지(1700)를 생성할 수 있다. 제2실시예의 3차원 현미경(13)에서는 제1이미지(1500)와 제2 이미지(1600)와 제3이미지(1700)가 합성된 3차원 이미지(Three-dimensional image)가 재생될 수 있다.
이하, 도 19를 참조하여, 본 발명의 제2실시예의 3차원 현미경(13)에서 3차원 이미지가 재생되는 것을 설명한다.
본 발명의 제2실시예의 3차원 현미경(13)에서는 컬러 구현을 위한 제1이미지(1500, 1st Image)와 제2이미지(1600, 2nd Image)와 제3이미지(1700, 3rd Image)가 모두 생성되어, 관찰자는 제1이미지(1500)와 제2이미지(1600)와 제3이미지(1700)가 합성된 고해상도 컬러의 3차원 이미지(Three-dimensional image)를 실시간으로 인식할 수 있다.
일 예로, 본 발명의 제2실시예의 3차원 현미경(13)에서는 이미지 센서(1400)에서 R(Red)-G(Green) 페어(Pair)의 제1이미지(1500)와 제3이미지(1700)와 B(Blue)-G(Green) 페어(Pair)의 제2이미지(1600)와 제3이미지(1700)를 교번하며 반복적으로 생성할 수 있다.
따라서 본 발명의 제2실시예의 3차원 현미경(13)에서는 2개의 프레임의 R(Red)-G(Green) 페어(Pair) 이미지와 B(Blue)-G(Green) 페어(Pair) 이미지를 단계적으로 합성하여 3차원 이미지를 연속적으로 생성(제1 및 제2프레임(1st Frame, 2nd Frame) 합성, 제2 및 제3프레임(2nd Frame, 3rd Frame) 합성, 제3 및 제4프레임(2nd Frame, 3rd Frame) 합성)함으로써, 이미지 센서(1300)의 풀프레임을 활용하는 동시에 고해상도 컬러가 구현된 3차원 이미지를 실시간으로 재생할 수 있다.
다만, 본 발명의 제2실시예의 3차원 현미경(13)의 제1이미지(1500)와 제2이미지(1600)와 제3이미지(1700)의 합성 방법이 상술한 합성 방법으로 한정되는 것은 아니고, 본 발명이 속하는 기술분야에서 잘 알려진 임의의 합성 방법이 사용될 수 있다.
상술한 바에 따르면, 본 발명의 제2실시예의 현미경(13)에서는 고해상도 컬러의 3차원 이미지를 실시간으로 재생할 수 있고, 그 결과, 검체의 빠른 움짐임과 색감을 모두 구현하여 관찰의 정밀성과 정확성을 높일 수 있는 장점이 있다.
한편, 본 발명의 제2실시예의 제1광원(1100)과 제2광원(1200)도 본 발명의 제1실시예의 제1광원(100)과 제2광원(200)과 마찬가지로 이미지 센서(1400)의 중심축을 기준으로 대칭으로 배치될 수 있으며, 관찰자의 취사 선택에 따라 다양한 각도에서 3차원 이미지를 재생하기 위해 복수의 제1단위 광원(미도시)과 복수의 제2단위 광원(미도시)을 포함할 수 있다.
이 경우, 본 발명의 제2실시예의 복수의 제1단위 광원과 복수의 제2광원의 배열에는 본 발명의 제1실시예의 복수의 제1단위 광원(101)과 복수의 제2단위 광원(201)의 배열이 유추 적용될 수 있다.
나아가 본 발명의 제2실시예의 3차원 현미경(13)에도 본 발명의 제1실시예의 3차원 현미경(12)과 같이, 보조 편광 필터(미도시)와 제1광학 소자(미도시)와 제2광학 소자(미도시)가 추가될 수 있다.
이 경우, 본 발명의 제2실시예의 3차원 현미경(13)의 보조 편광 필터와 제1광학 소자와 제2광학 소자의 구조, 배치 및 광학적 특성 등에는 본 발명의 제1실시예의 3차원 현미경(12)의 보조 편광 필터(700)와 제1광학 소자(800)와 제2광학 소자(900)의 구조, 배치 및 광학적 특성 등이 유추 적용될 수 있다.
한편, 본 발명의 제2실시예의 3차원 현미경(13)에서는 제1광원(1100)과 필터(1300) 사이의 광 경로와 제2광원(1200)과 필터(1300) 사이의 광 경로에 하나 이상의 광학 렌즈로 이루어진 렌즈 모듈(Lens module)이 배치될 수 있다. 제1광원(1100)의 출사광과 제2광원(1200)의 출사광을 필터(1300) 및 이미지 센서(1400)의 유효 영역에 포커싱시키기 위함이다.
이하, 도면을 참조하여 본 발명의 제3실시예의 3차원 현미경(14)을 설명한다.
도 20은 본 발명의 제3실시예의 3차원 현미경을 나타낸 개념도이고, 도 21은 본 발명의 제3실시예의 3차원 현미경에서 제1광원과 제2광원의 출사광이 필터를 투과하는 것을 나타낸 개념도이고, 도 22는 본 발명의 제3실시예의 3차원 현미경에서 제1이미지와 제2이미지가 보간법에 의해 생성되는 것을 나타낸 개념도이고, 도 23은 본 발명의 제3실시예의 3차원 현미경에서 제3이미지와 제4이미지가 보간법에 의해 생성되는 것을 나타낸 개념도이고, 도 24는 본 발명의 제3실시예의 3차원 현미경에서 3차원 이미지가 재생되는 것을 나타낸 개념도이다.
도 20에서 나타내는 바와 같이, 본 발명의 제3실시예의 3차원 현미경(14)은 제1광원(2100), 제2광원(2200), 필터(2300) 및 이미지 센서(2400)를 포함할 수 있다.
제1광원(2100)과 제2광원(2200) 각각은 1개 또는 복수의 LED(Light Emitting Diode)일 수 있다. 제1광원(2100)과 제2광원(2200)은 상호 이격되어, 상호 다른 시점에서 검체(Sample)를 향하여 광을 출사할 수 있다.
제1광원(2100)과 제2광원(2200)은 이미지 센서(1400)의 중심축을 기준으로 양 측으로 소정의 거리로 이격되도록 배치될 수 있다. 이 경우, 제1광원(2100)과 제2광원(2200) 중 하나는 좌측에 배치될 수 있고, 나머지 하나는 우측에 배치될 수 있다.
제1광원(2100)에 의해 동일한 각도에서 검체(Sample)를 바라본 제1이미지(2500, 1st Image)와 제2이미지(2600, 2nd Image)가 생성될 수 있고, 제2광원(2200)에 의해 동일한 각도에서 검체를 바라본 제3이미지(2700, 3rd Image)와 제4이미지(2800, 4th Image)가 생성될 수 있다.
나아가 i) 상기 제1광원의 상기 제1파장 대역의 출사광에 의해 생성되는 제1이미지와 ii) 상기 제1광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제2이미지 또는 상기 제2광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제3이미지 중 적어도 하나와 iii) 상기 제2광원의 상기 제3파장 대역의 출사광에 의해 생성되는 제4이미지를 합성한 3차원 이미지(Three-dimensional image)가 재생될 수 있다.
이를 위해, 제1광원(2100)은 제1파장 대역의 광과 제2파장 대역의 광을 교번(Alternating)하며 출사할 수 있고, 제2광원(2200)은 상기 제2파장 대역의 광과 제3파장 대역의 광을 교번하며 출사할 수 있다.
일 예로, 상기 제1파장 대역, 상기 제2파장 대역, 상기 제3파장 대역은 컬러화를 위한 세가지 색상의 파장 대역으로 선택될 수 있다. 즉, 제1파장 대역의 광은 적색 파장 대역의 광일 수 있고, 제2파장 대역의 광은 녹색 파장 대역의 광일 수 있고, 제3파장 대역의 광은 청색 파장 대역의 광일 수 있으나, 이에 한정되는 것은 아니다.
제1광원(2100)의 교번 주기와 제2광원(2200)의 교번 주기는 동기화될 수 있다. 즉, 제1광원(2100)의 제1파장 대역의 광과 제2광원(2200)의 제2파장 대역의 광은 실질적으로 동시에 출사될 수 있고, 제1광원(2100)의 제2파장 대역의 광과 제2광원(2200)의 제3파장 대역의 광은 실질적으로 동시에 출사될 수 있다.
즉, 제1광원(2100)과 제2광원(2200)은 복수의 파장 대역의 광을 교번하며 출사할 수 있고, 제1광원(2100)과 제2광원(2200)의 교번 주기는 상호 동기화될 수 있고, 제1광원(2100)과 제2광원(2200)이 출사하는 복수의 파장 대역 중에서 상호 동일한 파장 대역이 존재할 수 있다.
나아가 제1광원(2100)과 제2광원(2200)의 동일한 파장 대역의 출사광은 상호 이시(異時)에 출사되어, 제1광원(2100)과 제2광원(2200)이 모두 동시에 동일한 파장 대역의 출사광을 출사하지 않을 수 있다.
제1광원(2100)의 출사광과 제2광원(2200)의 출사광은 검체를 경유한 후, 필터(2300)에서 선택적으로 투과되어, 이미지 센서(2400)에 조사될 수 있다. 제1광원(2100)의 제1파장 대역의 출사광은 이미지 센서(2400)에서 제1이미지(2500)를 생성할 수 있고, 제1광원(2100)의 제2파장 대역의 출사광은 이미지 센서(2400)에서 제2이미지(2600)를 생성할 수 있고, 제2광원(2200)의 제2파장 대역의 출사광은 이미지 센서(2400)에서 제3이미지(2700)를 생성할 수 있고, 제2광원(2200)의 제3파장 대역의 출사광은 이미지 센서(2400)에서 제4이미지(2800)를 생성할 수 있다.
도 21에서 나타내는 바와 같이, 제1광원(2100)과 제2광원(2200)은 필터(2300)에 의해 선택적으로 이미지 센서(2400)에 조사될 수 있다. 제1광원(2100)의 제1파장 대역의 출사광은 필터(2300)의 제1영역(2310)을 투과할 수 있고 필터(2300)의 제2영역(2320)과 제3영역(2330)에서 차단될 수 있고, 제1광원(2100)과 제2광원(2200)의 제2파장 대역의 출사광은 필터(2300)의 제2영역(2320)을 투과할 수 있고 필터(2300)의 제1영역(2310)과 제3영역(2330)에서 차단될 수 있고, 제2광원(2200)의 제3파장 대역의 출사광은 필터(2300)의 제3영역(2330)을 투과할 수 있고 필터(2300)의 제1영역(2310)과 제2영역(2320)에서 차단될 수 있다.
일 예로, 제1광원(2100)은 적색 파장 대역과 녹색 파장 대역의 광을 교번하여 출사할 수 있고, 필터(2300)의 제1영역(2310)은 적색 파장 대역의 광을 선택적으로 투과시키는 영역일 수 있고 필터(2300)의 제2영역(2320)은 녹색 파장 대역의 광을 선택적으로 투과시키는 영역일 수 있지만, 이에 한정되는 것은 아니다.
또한, 제2광원(2200)은 녹색 파장 대역의 광과 청색 파장 대역의 광을 교번하여 출사할 수 있고, 필터(2300)의 제2영역(2320)은 녹색 파장 대역의 광을 선택적으로 투과시키는 영역일 수 있고 필터(2300)의 제3영역(2330)은 청색 파장 대역의 광을 선택적으로 투과시키는 영역일 수 있지만, 이에 한정되는 것은 아니다.
따라서 도 22(a)에서 나타내는 바와 같이, 제1이미지(2500)에서 필터(2300)의 제1영역(2310)과 대응되는 영역(2510)은 제1광원(2100)의 제1파장 대역의 출사광에 의한 광 신호 값에 따라 생성될 수 있다. 한편, 제1이미지(2500)에서 필터(2300)의 제2영역(2320)과 대응되는 영역(2520)과 제3영역(2330)과 대응되는 영역(2530)은 제1광원(2100)의 제1파장 대역의 출사광에 의한 광 신호 값이 얻어지지 않으므로, 필터(2300)의 제1영역(2310)에 대응되는 영역(2510)의 이미지를 보간(Interpolation)하여 생성될 수 있다.
이와 마찬가지로, 도 22(b)에서 나타내는 바와 같이, 제2이미지(2600)에서 필터(2300)의 제2영역(2320)과 대응되는 영역(2620)은 제2광원(2100)의 제2파장 대역의 출사광에 의한 광 신호 값에 따라 생성될 수 있다.
한편, 제2이미지(2600)에서 필터(2300)의 제1영역(2310)과 대응되는 영역(2610)과 제3영역(2330)과 대응되는 영역(2630)은 제1광원(2100)의 제2파장 대역의 출사광에 의한 광 신호 값이 얻어지지 않으므로, 필터(2300)의 제2영역(2320)에 대응되는 영역(2620)의 이미지를 보간(Interpolation)하여 생성될 수 있다.
이와 마찬가지로, 도 23(a)에서 나타내는 바와 같이, 제3이미지(2700)에서 필터(2300)의 제2영역(2320)과 대응되는 영역(2720)은 제2광원(2200)의 제2파장 대역의 출사광에 의한 광 신호 값에 따라 생성될 수 있다.
한편, 제3이미지(2700)에서 필터(2300)의 제1영역(2310)과 대응되는 영역(2710)과 제3영역(2330)과 대응되는 영역(2730)은 제2광원(2200)의 제2파장 대역의 출사광에 의한 광 신호 값이 얻어지지 않으므로, 필터(2300)의 제2영역(2320)에 대응되는 영역(2720)의 이미지를 보간(Interpolation)하여 생성될 수 있다.
이와 마찬가지로, 도 23(b)에서 나타내는 바와 같이, 제4이미지(2800)에서 필터(2300)의 제3영역(2330)과 대응되는 영역(2830)은 제2광원(2200)의 제3파장 대역의 출사광에 의한 광 신호 값에 따라 생성될 수 있다. 한편, 제4이미지(2800)에서 필터(2300)의 제1영역(2310)과 대응되는 영역(2810)과 필터(2300)의 제2영역(2320)과 대응되는 영역(2820)은 제2광원(2200)의 제3파장 대역의 출사광에 의한 광 신호 값이 얻어지지 않으므로, 필터(2300)의 제3영역(2330)에 대응되는 영역(2830)의 이미지를 보간(Interpolation)하여 생성될 수 있다.
상술한 바와 같이, 특정 파장 대역의 광을 추정하기 위한 보간법은 본 발명이 속하는 기술분야에서 잘 알려진 임의의 방법이 사용될 수 있으며, 특정 실시예에 제한되지 않는다.
한편, 본 발명의 제3실시예의 3차원 현미경(14)에서는 제1광원(2100)과 제2광원(2200)은 교번하며 광을 출사하여, i) 제1이미지(2500, 1st Image)와 ii) 제2 이미지(2600, 2nd Image) 또는 제3이미지(2700, 3rd Image) 중 적어도 하나와 iii) 제4이미지(2800, 4th Image)가 합성된 3차원 이미지(Three-dimensional image)가 재생될 수 있다.
한편, 제1광원(2100)은 제1파장 대역의 광을 출사하는 제1-1광원모듈(예를 들어, LED)와 제2파장 대역의 광을 출사하는 제1-2광원모듈을 포함하는 복수의 광원모듈을 포함하여 구성될 수 있으며, 제2광원(2200)은 제2파장 대역의 광을 출사하는 제2-1광원모듈과 제3파장 대역의 광을 출사하는 제2-2광원모듈을 포함하는 복수의 광원모듈을 포함하여 구성될 수 있다. 복수의 광원모듈은 소정의 간격으로 서로 이격되어 배치될 수 있다.
이 경우, 제1이미지(2500)와 제2이미지(2600)가 동일한 시점(View)을 가질 수 있도록, 제1-1광원모듈의 제1파장 대역의 출사광과 제1-2광원모듈의 제2파장 대역의 출사광 중 적어도 하나를 가이드하는 제1광 가이드 소자(2110)가 추가될 수 있다.
이와 마찬가지로, 제3이미지(2700)와 제4이미지(2800)가 동일한 시점(View)을 가질 수 있도록, 제2-1광원모듈의 제2파장 대역의 출사광과 제2-2광원모듈의 제3파장 대역의 출사광 중 적어도 하나를 가이드하는 제2광 가이드 소자(2210)가 추가될 수 있다.
즉, 제1광 가이드 소자(2110)와 제2광 가이드 소자(2210)는 복수(2개 이상)의 광원모듈로 구성된 제1광원(2100)과 제2광원(2200)에서, 복수의 광원모듈 간의 이격 거리에 의해 제1이미지(2500)와 제2이미지(2600)의 시점이 달라지고 제3이미지(2700)와 제4이미지(2800)의 시점이 달라지는 것을 방지하기 위해, 제1광원(2100)의 복수의 광원모듈 각각의 광 경로나 이미지 센서(2400)의 촬상면에 조사되는 영역을 정렬시키는 기능과 제2광원(2200)의 복수의 광원모듈 각각의 광 경로나 이미지 센서(2400)의 촬상면에 조사되는 영역을 정렬시키는 기능을 수행할 수 있다. 또한, 제1광 가이드 소자(2110)와 제2광 가이드 소자(2210)에 의해, 이미지 센서(2400)의 촬상면의 전체를 활용할 수 있어, 이미지 센서(2400)의 데이터가 손실되는 것을 방지할 수 있다.
제1광 가이드 소자(2110)와 제2광 가이드 소자(2210)에는 본 발명이 속하는 기술분야에서 잘 알려진 임의의 광학 소자가 사용될 수 있다. 일 예로, 제1광 가이드 소자(2110)와 제2광 가이드 소자(2210)는 핀홀(Pin hole) 구조를 포함하는 광학 소자일 수 있지만, 이에 한정되는 것은 아니다.
필터(2300)는 제1광원(2100)과 이미지 센서(2400)의 사이의 광 경로에 위치할 수 있고 이와 동시에 제2광원(2200)과 이미지 센서(2400)의 사이의 광 경로에 위치할 수 있다. 상술한 바와 같이, 필터(2300)는 제1광원(2100)의 제1파장 대역의 출사광, 제1광원(2100)과 제2광원(2200)의 제2파장 대역의 출사광, 및 제2광원(2200)의 제3파장 대역의 출사광을 선택적으로 투과시키는 기능을 수행할 수 있다.
필터(2300)의 제1영역(2310)은 복수의 제1단위 영역(2311)을 포함할 수 있고, 필터(2300)의 제2영역(2320)은 복수의 제2단위 영역(2321)을 포함할 수 있고, 필터(2300)의 제3영역(2330)은 복수의 제3단위 영역(2331)을 포함할 수 있다. 복수의 제1단위 영역(2311)과 복수의 제2단위 영역(2321)과 복수의 제3단위 영역(2331)은 일정한 패턴을 형성하며 배열될 수 있다.
일 예로, 복수의 제1단위 영역(2311) 각각과 복수의 제2단위 영역(2321) 각각과 복수의 제3단위 영역(2341) 각각은 이미지 센서(2400)의 중심축과 수직한 평면 상에서 보았을 때, 상호 오버랩되지 않으며 격자점이 수직한 복수의 x축과 복수의 y축을 따라 배열될 수 있다.
일 예로, 복수의 x축 중 일부 x축에는 복수의 제1단위 영역(2311)과 복수의 제2단위 영역(2321)이 상호 교번하며 배열될 수 있고, 복수의 x축 중 나머지 x축에는 복수의 제2단위 영역(2321)과 복수의 제3단위 영역(2331)이 상호 교번하며 배열될 수 있고, 복수의 x축 중 복수의 제1단위 영역(2311)이 속한 일부 x축과 복수의 x축 중 복수의 제3단위 영역(2331)이 속한 나머지는 x축은 y축 방향으로 상호 교번하며 배열될 수 있다.
다만, 이에 한정되는 것은 아니고, 본 발명의 제3실시예의 3차원 현미경(14)은 광학적 설계 요청에 따라 다양한 광학적 구조를 가지는 필터(2300)를 포함할 수 있다.
한편, 필터(2300)는 이미지 센서(2400)의 촬상면에 결합되어 일체로 형성(일체로 패키징)될 수 있다. 이 경우, 필터(2300)는 이미지 센서(2400)의 촬상면에 코팅되어 일체로 형성될 수 있다. 또한, 도 20에서 도시된 바와 다르게, 검체는 필터(1300)와 실질적으로 접하도록 배치될 수도 있다.
이미지 센서(2400)에는 필터(2300)를 투과한 제1광원(2100)의 제1파장 대역의 출사광과 제1광원(2100)의 제2파장 대역의 출사광과 제2광원(2200)의 제2파장 대역의 출사광과 제2광원(2200)의 제3파장 대역의 출사광이 조사될 수 있다. 이미지 센서(2400)에는 조사된 광을 이미지로 변환할 수 있는 임의의 센서가 사용될 수 있다. 일 예로, 이미지 센서(2400)는 CMS 센서가 사용될 수 있으나, 이에 제한되는 것은 아니다.
이미지 센서(2400)는 이미지 처리 유닛(Image processor unit)에서 제1광원(2100)의 제1파장 대역의 출사광의 광 신호 값을 직접 이용하거나 이를 보간하여 제1이미지(2500)를 생성할 수 있고, 제1광원(1100)의 제2파장 대역의 출사광의 광 신호 값을 직접 이용하거나 이를 보간하여 제2이미지(2600)를 생성할 수 있고, 제2광원(2200)의 제2파장 대역의 출사광의 광 신호 값을 직접 이용하거나 이를 보간하여 제3이미지(2700)를 생성할 수 있고, 제2광원(2200)의 제3파장 대역의 출사광의 광 신호 값을 직접 이용하거나 이를 보간하여 제4이미지(2800)를 생성할 수 있다. 본 발명의 제3실시예의 3차원 현미경(14)에서는 i) 제1이미지(2500)와 ii) 제2이미지(2600) 또는 제3이미지(2700) 중 적어도 하나와 iii) 제4이미지(2800)가 합성된 3차원 이미지가 재생될 수 있다.
이하, 도 24를 참조하여, 본 발명의 제3실시예의 3차원 현미경(14)에서 3차원 이미지가 재생되는 것을 설명한다.
본 발명의 제3실시예의 3차원 현미경(14)에서는 컬러 구현을 위한 제1이미지(2500)와 제2이미지(2600)와 제3 이미지(2700)와 제4이미지(2800)가 모두 생성되어, 관찰자는 i) 제1이미지(2500)와 ii) 제2이미지(2600) 또는 제3이미지(2700) 중 적어도 하나와 iii) 제4이미지(2800)가 합성된 고해상도 컬러의 3차원 이미지를 인식할 수 있다.
일 예로, 본 발명의 제3실시예의 3차원 현미경(14)에서는 이미지 센서(2400)에서 R(Red)-G(Green) 페어(Pair)의 제1이미지(2500)와 제3이미지(2700)와 G(Green)-B(Blue) 페어(Pair)의 제2이미지(2600)와 제4이미지(2800)를 교번하며 반복적으로 생성할 수 있다.
따라서 본 발명의 제3실시예의 3차원 현미경(14)에서는 2개의 프레임의 R(Red)-G(Green) 페어(Pair) 이미지와 G(Green)-B(Blue) 페어(Pair) 이미지를 단계적으로 합성하여 3차원 이미지를 연속적으로 생성(제1 및 제2프레임 합성, 제2 및 제3프레임 합성, 제3 및 제4프레임 합성)함으로써, 이미지 센서(2300)의 풀프레임을 활용하는 동시에 고해상도 컬러가 구현된 3차원 이미지를 실시간으로 재생할 수 있다.
다만, 본 발명의 제3실시예의 3차원 현미경(14)의 제1이미지(2500)와 제2이미지(2600)와 제3이미지(2700)의 합성 방법이 상술한 합성 방법으로 한정되는 것은 아니고, 본 발명이 속하는 기술분야에서 잘 알려진 임의의 합성 방법이 사용될 수 있다.
상술한 바에 따르면, 본 발명의 제3실시예의 3차원 현미경(14)에서는 고해상도 컬러의 3차원 이미지를 실시간으로 재생할 수 있고, 그 결과, 검체의 빠른 움짐임과 색감을 모두 구현하여 관찰의 정밀성과 정확성을 높일 수 있는 장점이 있다.
한편, 본 발명의 제3실시예의 제1광원(2100)과 제2광원(2200)도 본 발명의 제1실시예의 제1광원(100)과 제2광원(200)과 마찬가지로 이미지 센서(2400)의 중심축을 기준으로 대칭으로 배치될 수 있으며, 관찰자의 취사 선택에 따라 다양한 각도에서 3차원 이미지를 재생하기 위해 복수의 제1단위 광원(미도시)과 복수의 제2단위 광원(미도시)을 포함할 수 있다.
이 경우, 본 발명의 제3실시예의 복수의 제1단위 광원과 복수의 제2광원의 배열에는 본 발명의 제1실시예의 복수의 제1단위 광원(101)과 복수의 제2단위 광원(201)의 배열이 유추 적용될 수 있다.
나아가 본 발명의 제3실시예의 3차원 현미경(14)에도 본 발명의 제1실시예의 3차원 현미경(12)과 같이, 보조 편광 필터(미도시)와 제1광학 소자(미도시)와 제2광학 소자(미도시)가 추가될 수 있다.
이 경우, 본 발명의 제3실시예의 3차원 현미경(14)의 보조 편광 필터와 제1광학 소자와 제2광학 소자의 구조, 배치 및 광학적 특성 등에는 본 발명의 제1실시예의 3차원 현미경(12)의 보조 편광 필터(700)와 제1광학 소자(800)와 제2광학 소자(900)의 구조, 배치 및 광학적 특성 등이 유추 적용될 수 있다.
한편, 본 발명의 제3실시예의 3차원 현미경(14)에서는 제1광원(2100)과 필터(2300) 사이의 광 경로와 제2광원(2200)과 필터(2300) 사이의 광 경로에 하나 이상의 광학 렌즈로 이루어진 렌즈 모듈(Lens module)이 배치될 수 있다. 제1광원(2100)의 출사광과 제2광원(2200)의 출사광을 필터(2300) 및 이미지 센서(2400)의 유효 영역에 포커싱시키기 위함이다.
이하, 도면을 참조하여, 본 발명의 디지털 현미경 시스템(1111)을 설명한다. 도 26은 본 발명의 디지털 현미경 시스템을 나타낸 개념도이고, 도 27은 본 발명의 변형례의 디지털 현미경 시스템을 나타낸 개념도이고, 도 28은 본 발명의 다른 변형례의 디지털 현미경 시스템을 나타낸 개념도이고, 도 29는 광원에서 출사된 광이 다이크로익 미러에 의해 샘플을 경유한 후 렌즈 프리 이미지 센서 모듈로 가이드되는 것을 나타낸 개념도이고, 도 30 및 도 31은 본 발명의 디지털 현미경 시스템을 이용하여 고배율 이미지가 저배율 이미지에 의해 가이드되는 것을 나타낸 개념도이고, 도 32는 본 발명의 사용자 기기에서 고배율 이미지와 저배율 이미지가 동시에 재생되는 것을 나타낸 개념도이다.
본 발명의 디지털 현미경 시스템(1111)에서는 샘플(S)로부터 저배율 이미지(2)와 고배율 이미지(3)를 동시에 생성하며, 고배율 이미지(3)가 저배율 이미지(2)에 의해 가이드되어, 정밀 관찰을 쉽고 빠르게 수행할 수 있다(즉, 사용자는 저배율 이미지로부터 고배율 이미지로 관찰할 특징 영역을 가이드받을 수 있다).
본 발명의 디지털 현미경 시스템(1111)은 디지털 현미경(15), 전자 제어 모듈(16) 및 사용자 기기(17)를 포함할 수 있다.
본 발명의 디지털 현미경(15)은 샘플(S)에 대한 저배율 이미지(2)와 고배율 이미지(3)를 동시에 생성하는 기기일 수 있다(즉, 샘플을 동시에 촬상하여 저배율 이미지와 고배율 이미지를 생성). 한편, 샘플(S)은 슬라이드 글라스(Slide glass)와 커버 글라스(Cover glass)에 덮여, 재물대(130)에 안착될 수 있다.
이를 위해, 본 발명의 디지털 현미경(15)은 저배율 촬상 모듈(110), 고배율 촬상 모듈(120), 재물대(130) 및 구동 모듈(미도시)을 포함할 수 있다. 한편, 본 발명의 디지털 현미경(15)은 샘플(S)에 광을 조사하는 광원(미도시, Light source)을 더 포함할 수 있다.
광원에서 샘플(S)로 조사된 광은 이미징광으로 전환되어, 저배율 촬상 모듈(110)과 고배율 촬상 모듈(120)에 의해 획득될 수 있다. 일 예로, 광원은 레이저광을 출력할 수 있고 샘플(S)에는 조영제가 주입될 수 있다. 광원에서 출력된 여기광(Excitation)은 조영제로 처리된 샘플(S)에서 방출광(Emission)으로 전환되어, 저배율 촬상 모듈(110)과 고배율 촬상 모듈(120)에서 형광 이미지를 생성할 수 있다(형광 현미경 구현).
특히, 광원은 저배율 촬상 모듈(110)과 고배율 촬상 모듈(120)이 "대물 렌즈가 마운트된 렌즈 프리 이미지 센서 모듈"인 경우, 대물 렌즈의 외측면을 따라 링 타입으로 배치될 수 있다. 이 경우, 저배율 촬상 모듈(110)에 배치된 광원은 고배율 촬상 모듈(120)의 이미징광을 출력할 수 있고(고배율용 광원), 고배율 촬상 모듈(120)에 배치된 광원은 저배율 촬상 모듈(110)의 이미징광을 출력할 수 있다(저배율용 광원).
또한, 광원은 저배율 촬상 모듈(110)과 고배율 촬상 모듈(120)이 "대물 렌즈가 마운트된 렌즈 프리 이미지 센서 모듈"인 경우, 대물 렌즈와 렌즈 프리 이미지 센서 모듈과 이웃하게 배치될 수 있고, 대물 렌즈와 렌즈 프리 이미지 센서 모듈 사이에는 다이크로익 미러(Dichroic mirror)가 배치될 수 있다. 이 경우, 대물 렌즈와 렌즈 프리 이미지 센서 모듈과 다이크로익 미러는 일체로 패키징될 수 있다.
광원의 출사광은 다이크로익 미러에서 반사(또는 투과)되어 대물 렌즈를 경유하여 샘플(S)에 조사될 수 있고, 샘플(S)을 경유한 광은 대물 렌즈를 경유하고 다이크로익 미러를 투과(또는 반사)하여 렌즈 프리 이미지 센서 모듈에 조사될 수 있다(도 29 참조). 이 경우, 광원의 출사광은 여기광(레이저광)일 수 있고, 샘플(S)을 경유한 광은 조영제 처리된 샘플에 의한 방출광일 수 있다.
또한, 노이즈를 제거하기 위해, 다이크로익 미러에서 광원의 출사광이 입사되는 면에는 광원의 출사광을 선택적으로 투과시키는 필터(일 예로, 여기광 필터)가 배치될 수 있고, 샘플(S)을 경유한 광이 투과되는 면에는 샘플(S)을 경유한 광을 선택적으로 투과시키는 필터(일 예로, 방출광 필터)가 배치될 수 있다. 이 경우, 필터는 특정 파장 대역을 선택적으로 투과시키는 필터(BPF; Band pass filter)일 수 있다.
또한, 저배율 촬상 모듈(110)이 샘플(S)과 재물대(130)의 사이에 배치되는 "렌즈 프리 이미지 센서 모듈"인 경우, 고배율용 광원이 저배율 촬상 모듈(110)에 조사되어 노이즈를 발생시키는 것을 방지하기 위해, 고배율용 광원은 렌즈 프리 이미지 센서 모듈의 기판의 주변에 소정 각도로 경사지게 배치되거나, 투명 면광원(투명하면서도 빛이 전면으로 나오는 조명필름)을 포함하여 렌즈 프리 이미지 센서 모듈과 샘플(S)의 사이에 배치될 수 있다.
저배율 촬상 모듈(110)은 샘플(S)을 촬상하여 저배율 이미지(2)를 생성할 수 있고, 고배율 촬상 모듈(120)은 샘플(S)을 촬상하여 고배율 이미지(3)를 생성할 수 있다.
저배율 촬상 모듈(110)은 촬상 영역이 넓으며(화각이 넓음) 샘플(S)의 영역 전반에 대한 저배율 이미지(2)를 생성할 수 있고, 고배율 촬상 모듈(120)은 촬상 영역이 좁으며(화각이 좁음) 샘플(S)의 영역 중 특징 영역에 대한 고배율 이미지(3)를 생성할 수 있다.
저배율 촬상 모듈(110)의 촬상 영역은 샘플(S)의 영역 전부를 포함하며, 사용자 기기(17)에서 저배율 이미지(2)로 재생되는 영역을 의미할 수 있다. 또한, 고배율 촬상 모듈(120)의 촬상 영역은 샘플(S)의 영역 중 특징 영역(특징점이 발견된 영역)을 포함하며, 사용자 기기(17)에서 고배율 이미지(3)로 재생되는 영역을 의미할 수 있다.
일 예로, 샘플(S)이 인간의 혈액인 경우, 사용자는 저배율 이미지(2)에서 혈액을 전반적으로 관찰할 수 있고, 고배율 이미지(3)에서 혈액의 특징 영역(일 예로, 특징점이 발견되어 정밀 관찰이 필요한 영역)을 세포 단위(적혈구, 백혈구 등)로 관찰할 수 있다.
즉, 저배율 촬상 모듈(110)의 촬상 영역은 고배율 촬상 모듈(120)의 촬상 영역의 적어도 일부를 포함할 수 있고, 고배율 이미지(3)의 적어도 일부의 영역은 저배율 이미지(2)의 일부의 영역이 고배율로 확대된 영역일 수 있다.
한편, 저배율 이미지(2)와 고배율 이미지(3)는 이미지 처리 단계에 따라, 전자 신호, 이미지 정보 및 육안으로 인식되는 이미지 등 다양한 형태를 가질 수 있다.
일 예로, 저배율 이미지(2)와 고배율 이미지(3)는 저배율 촬상 모듈(110)과 고배율 촬상 모듈(120)에서 샘플(S)의 이미징광이 변환되어 생성되는 전자 신호 형태로 존재할 수 있다. 그 후, 저배율 이미지(2)와 고배율 이미지(3)는 전자 제어 모듈(16)에서 사용자 기기(17)에서 재생되도록 이미지 처리되어, 이미지 정보 형태로 존재할 수 있다. 그 후, 저배율 이미지(2)와 고배율 이미지(3)는 사용자 기기(17)에서 육안으로 인식되는 이미지 형태로 재생될 수 있다.
본 발명의 디지털 현미경(15)에서는 샘플(S)을 기준으로 일측에 저배율 촬상 모듈(110)이 배치될 수 있고 타측에 고배율 촬상 모듈(120)이 배치될 수 있다. 즉, 고배율 촬상 모듈(120)은 샘플(S)을 기준으로 저배율 촬상 모듈(110)의 반대편에 위치할 수 있다.
나아가 저배율 촬상 모듈(110)의 광축(Optical axis)과 고배율 촬상 모듈(120)의 광축은 z축을 기준으로 배열될 수 있다. 이 경우, 저배율 촬상 모듈(110)은 하측에 위치하고 고배율 촬상 모듈(120)은 상측에 위치할 수 있다. 이에 한정되는 것은 아니고, 고배율 촬상 모듈(120)이 하측에 위치하고 저배율 촬상 모듈(110)이 상측에 위치할 수도 있다.
상술한 저배율 촬상 모듈(110)과 고배율 촬상 모듈(120)의 위치 및 배열에 의해, 본 발명의 디지털 현미경(15)에서는 저배율 촬상 모듈(110)과 고배율 촬상 모듈(120)이 동일한 샘플(S)을 동시에 촬상하여 저배율 이미지(2)와 고배율 이미지(3)를 동시에 생성할 수 있다.
한편, 저배율 촬상 모듈(110)과 고배율 촬상 모듈(120)에는 다양한 광학 모듈이 사용될 수 있다. 저배율 촬상 모듈(110)과 고배율 촬상 모듈(120) 각각은 대물 렌즈(Object lens)가 마운트된 렌즈 프리 이미지 센서 모듈(Lens-free image sensor module)이거나 카메라 모듈(Camera module)일 수 있다.
일 예로, 도 26에서 나타내는 바와 같이, 본 발명의 디지털 현미경(15)에서는 저배율 촬상 모듈(110)과 고배율 촬상 모듈(120) 모두가 "대물 렌즈가 마운트된 렌즈 프리 이미지 센서 모듈"일 수 있다.
또한, 도 27에서 나타내는 바와 같이, 본 발명의 변형례의 디지털 현미경(15)에서는 저배율 촬상 모듈(110)이 "카메라 모듈"일 수 있고 고배율 촬상 모듈(120)이 "대물 렌즈가 마운트된 렌즈 프리 이미지 센서"일 수 있다.
이 경우, 대물 렌즈와 렌즈 프리 이미지 센서 모듈은 별개의 광학 부품으로 커넥터에 의해 연결될 수도 있고, 단일의 광학 부품으로 일체로 패키징(Packaging)될 수도 있다.
또한, "렌즈 프리 이미지 센서 모듈"은 기판(PCB, Printed circuit board)과 기판에 실장되는 이미지 센서(Image sensor)로 이루어질 수 있으며, 촬상 이미지의 배율을 결정하는 대물 렌즈가 마운트된 것 외에 다른 광학 렌즈(일 예로, 접안 렌즈, 튜브 렌즈 등)가 생략될 수 있다. 그 결과, 본 발명의 디지털 현미경(15)은 전장 길이(z축 길이)가 최소화되어 소형 제작될 수 있는 장점이 있다.
또한, "카메라 모듈"은 렌즈 홀더와, 렌즈 홀더에 배치되는 렌즈 어레이와, 기판과, 렌즈 어레이를 투과한 광이 조사되며 기판에 실장되는 이미지 센서로 이루어질 수 있다. 카메라 모듈의 렌즈 어레이는 촬상 이미지의 배율을 결정하는 대물 렌즈 외에 다른 광학 렌즈가 생략될 수 있다. 그 결과, 카메라 모듈은 렌즈 프리 이미지 센서 모듈과 마찬가지로 본 발명의 디지털 현미경(15)의 전장 길이를 최소화할 수 있다.
다만, 본 발명의 디지털 현미경(15)의 실시예가 상술한 실시예로 한정되는 것은 아니다.
일 예로, 도 28에서 나타내는 바와 같이, 본 발명의 다른 변형례의 디지털 현미경(15)에서는 저배율 촬상 모듈(110)이 대물 렌즈를 포함한 다양한 광학 렌즈가 생략된 "렌즈 프리 이미지 센서 모듈"일 수 있다.
이 경우, 저배율 촬상 모듈(110)은 샘플(S)과 재물대(130)의 사이에 배치될 수 있다. 그 결과, 저배율 촬상 모듈(110)은 샘플(S)과 인접하여(슬라이드 글라스나 커버 글라스와 접촉) 샘플(S)을 접사하므로, 대물 렌즈가 생략되었음에도 불구하고 저배율 이미지(2)를 생성할 수 있다.
재물대(130)는 샘플(S)이 안착되는 부분일 수 있다. 좀 더 상세히, 재물대(130)에는 샘플(S)이 슬라이드 글라스와 커버 글라스로 덮인 프레파라트(Preparat)가 안착될 수 있다. 재물대(130)에서 샘플(S)이 안착되는 부분에는 샘플(S)의 이미징광의 광 경로를 제공하기 위한 홀(Hole)이 형성될 수 있다.
구동 모듈(미도시)은 샘플(S)과 고배율 촬상 모듈(120)과 재물대(130) 중 적어도 하나를 x축과 y축과 z축 중 적어도 하나의 축을 기준으로 이동시키는 모듈일 수 있다. 이 경우, x축과 y축과 z축은 샘플(S)이 실재하는 공간을 기준으로 형성된 현미경 좌표계를 구성하는 축일 수 있다.
"구동 모듈의 x축과 y축 구동"에 의해 고배율 촬상 모듈(120)의 촬상 영역이 변경될 수 있다. 따라서 "구동 모듈의 x축과 y축 구동"에 의해 샘플(S)의 영역 중 고배율 이미지(3)로 정밀하게 관찰하고자 하는 특징 영역을 변경할 수 있다. 일 예로, 구동 모듈은 고배율 촬상 모듈(120)을 x축과 y축을 기준으로 이동시켜 고배율 촬상 모듈(120)의 촬상 영역을 변경할 수 있다. 다만, 이에 한정되는 것은 아니고, 구동 모듈은 샘플(S)을 이동(일 예로, 프레파라트를 이동시킴으로써 구현)시키거나 재물대(130)를 이동시켜 실질적으로 재물대(130)를 이동시키는 것과 동일한 효과를 나타낼 수 있다. 한편, 구동 모듈이 고배율 촬상 모듈(120)만을 x축과 y축을 기준으로 이동시키는 경우, 저배율 촬상 모듈(110)의 촬상 영역은 변경되지 않고 고정되는 효과(즉, 저배율 이미지가 변경되지 않는 효과)를 나타낼 수 있다.
"구동 모듈의 z축 구동"에 의해 고배율 촬상 모듈(120)의 초점 거리가 변경될 수 있다. 따라서 "구동 모듈의 z축 구동"에 의해 고배율 촬상 모듈(120)의 포커싱 스텝(Focusing step)이 결정될 수 있다.
한편, 본 발명의 디지털 현미경(15)은 고배율 촬상 모듈(120)의 초점 거리가 초기 설정에서 유지되는 장점을 가진다. 즉, 본 발명의 디지털 현미경(15)은 종래의 현미경과 같이 다양한 배율을 가지는 대물 렌즈의 스위칭(Swiching)에 의해 초점 거리가 초기 설정에서 변경되지 않는다. 따라서 본 발명의 디지털 현미경(15)에서는 초점을 맞추기가 용이한 장점이 있다.
한편, 구동 모듈에는 다양한 종류의 구동 기기가 이용될 수 있다. 일 예로, 본 발명의 디지털 현미경(15)은 리드 스크류 방식(Lead screw type)이나 볼 스크류 방식(Ball screw type)으로 구동될 수 있다.
전자 제어 모듈(16)은 디지털 현미경(15)과 송신 및 수신하고, 디지털 현미경(15)으로부터 저배율 이미지(2)와 고배율 이미지(3)를 전달받아 분석을 수행하며, 디지털 현미경(15)을 제어하는 모듈일 수 있다.
사용자 기기(17)는 전자 제어 모듈(16)과 송신 및 수신하며, 저배율 이미지(2)와 고배율 이미지(3)가 재생되는 기기일 수 있다.
사용자 기기(17)는 스마트폰, 태블릿, PDA, 랩톱 등과 같은 전기 통신 장치, 리모트 콘트롤러 중 하나 이상을 포함할 수 있으나, 이에 제한되는 것은 아니다.
사용자 기기(17)의 디스플레이 패널에서는 사용자의 선택에 따라, 도 30 및 도 31에서 나타내는 바와 같이 저배율 이미지(2)와 고배율 이미지(3) 중 하나만 재생될 수도 있고, 도 32에서 나타내는 바와 같이 저배율 이미지(2)와 고배율 이미지(3)가 동시에 재생될 수도 있다.
나아가 저배율 이미지(2)와 고배율 이미지(3)가 동시에 재생되는 경우, 도 32(a)에서 나타내는 바와 같이 저배율 이미지(2)가 메인 화면으로 재생되는 동시에 고배율 이미지(3)가 서브 화면으로 재생될 수도 있고, 도 32(b)에서 나타내는 바와 같이 고배율 이미지(3)가 메인 화면으로 재생되는 동시에 저배율 이미지(2)가 서브 화면으로 재생될 수도 있다.
본 발명의 디지털 현미경 시스템(1111)은 인공지능(AI, Artificial intelligence)을 이용하여 저배율 이미지(2)와 고배율 이미지(3)를 데이터베이스에 저장된 표준 데이터와 비교하여 분석할 수 있다. 이 경우, 전자 제어 모듈(16)에는 비교 분석을 위한 인공지능이 프로그래밍되어 있을 수 있다.
일 예로, 본 발명의 디지털 현미경 시스템(1111)은 저배율 이미지(2)와 고배율 이미지(3)를 분석하여 암세포를 진단할 수 있다.
이 경우, 저배율 이미지(2)를 표준 데이터와 비교하여 특징점(암세포 의심 영역)을 도출한 후, 고배율 이미지(3)로 특징점(암세포)을 더욱 정밀하게 분석할 수 있다(저배율 이미지 분석 후 고배율 이미지 분석).
또한, 고배율 이미지(3)를 표준 데이터와 비교하여 특징점(암세포)을 도출한 후, 저배율 이미지(2)로 고배율 이미지(3)에서 도출된 특징점(암세포)의 주변 영역을 분석하여 특징점(암세포 의심 영역)을 추가로 발견할 수 있다(고배율 이미지 분석 후 저배율 이미지 분석).
나아가 사용자는 사용자 기기(17)를 통해 저배율 이미지(2)에서 고배율 이미지(3)로 관찰할 영역을 선택할 수 있다. 일 예로, 사용자는 사용자 기기(17)를 통해 저배율 이미지(2)를 관찰하다가 특징점이나 문제점이 발생한 특정 영역에 대해, 고배율 이미지(3)로 관찰할 수 있다.
즉, 본 발명의 디지털 현미경 시스템(1111)에서는 저배율 이미지(2)와 고배율 이미지(3)가 동시에 생성되기 때문에, 저배율 이미지(2)에 의해 고배율 이미지(3)가 가이드될 수 있다.
이하, 도 30과 도 31을 참조하여, 고배율 이미지(3)가 저배율 이미지(2)에 의해 가이드되는 것을 설명한다. 도 30과 도 31(a)은 사용자 기기(17)의 저배율 이미지(2)에서 특정 영역이 선택되는 것을 나타낸 개념도이고, 도 30과 도 31(b)는 사용자 기기(17)에서 저배율 이미지(2)에서 선택된 영역이 재생되는 것을 나타낸 개념도이다.
사용자는 일 예로, 터치 스크린 방식으로 저배율 이미지(2)에서 특정 영역을 선택할 수 있다. 사용자 기기(17)는 사용자의 선택에 따른 콘트롤 신호를 전자 제어 모듈(16)로 송신할 수 있고, 전자 제어 모듈(16)은 사용자 기기(17)의 콘트롤 신호에 따라 디지털 현미경(15)을 제어할 수 있다.
이 경우, 전자 제어 모듈(16)은 고배율 촬상 모듈(110)의 촬상 영역이 저배율 이미지(2)에서 선택된 영역(140)과 대응되도록, 디지털 현미경(15)의 구동 모듈을 제어할 수 있다.
이를 구현하기 위한 일 예로, 전자 제어 모듈(16)은 저배율 이미지(2)를 기준으로 형성한 이미지 좌표계(Image coordinate system)를 샘플(S)이 실재하는 공간을 기준으로 형성한 현미경 좌표계(Microscope coordinate system)와 매칭시키고, 고배율 촬상 모듈(110)의 촬상 영역(High magnification image pickup filed)과 샘플(S)에서 저배율 이미지(2)에서 선택된 영역(140)과 매칭되는 부분(150)을 일치시킬 수 있다.
전자 제어 모듈(16)은 샘플(S)과 재물대(130)와 고배율 촬상 모듈(120) 중 적어도 하나를 현미경 좌표계에서 x축과 y축을 기준으로 이동시킴으로써, 고배율 촬상 모듈(110)의 촬상 영역(High magnification image pickup filed)과 샘플(S)에서 저배율 이미지(2)에서 선택된 영역(140)과 매칭되는 부분(150)을 일치시킬 수 있다. 즉, 저배율 이미지(2) 상의 이미지 좌표계를 샘플(S)이 실재하는 공간 상의 현미경 좌표계와 매칭시킴으로써, 현미경 좌표계에 실재하는 샘플(S)에서 저배율 이미지(2)에서 선택된 영역(140)과 매칭되는 부분(150)을 도출할 수 있다.
그 후, 샘플(S), 재물대(130) 및 고배율 촬상 모듈(120) 중 적어도 하나를 이동시켜, 샘플(S)의 선택 영역(140)과 고배율 촬상 영역을 일치시킴으로써, 저배율 이미지(2)에 의해서 가이드된 고배율 이미지(3)를 얻을 수 있다. 일 예로, 도 30에서 나타내는 바와 같이 샘플(S) 및 재물대(130) 중 적어도 하나를 현미경 좌표계에서 x축과 y축을 기준으로 이동시킴으로써 샘플(S)의 선택 영역(140)과 고배율 촬상 모듈(120)의 촬상 영역을 일치시키거나, 도 31에서 나타내는 바와 같이 고배율 촬상 모듈(120)을 현미경 좌표계에서 x축과 y축을 기준으로 이동시킴으로써 샘플(S)의 선택 영역(140)과 고배율 촬상 모듈(120)의 촬상 영역을 일치시킬 수 있다.
상술한 바에 따르면, 본 발명의 디지털 현미경 시스템(1111)에서 사용자는 저배율 이미지(2)에 의해 가이드되어 샘플(S)의 특징 영역에 대한 고배율 이미지(3)를 재생할 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (45)

  1. 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈이 결합되는 마운트;
    상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고,
    상기 렌즈 프리 이미지 센서의 각각의 픽셀의 마이크로 렌즈 시프트 값은 상기 대물 렌즈 모듈의 CRA(Chief Ray Angle) 값에 상응하여 설계되며,
    상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고,
    상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함하는 이미지 센서 패키지.
  2. 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈이 결합되는 마운트;
    상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고,
    상기 렌즈 프리 이미지 센서의 각각의 픽셀의 CRA(Chief Ray Angle) 값은 0도이며,
    상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고,
    상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함하는 이미지 센서 패키지.
  3. 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈이 결합되는 마운트;
    상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고,
    상기 렌즈 프리 이미지 센서의 각각의 픽셀에서 최외곽에 위치한 픽셀의 CRA(Chief Ray Angle) 값은 5도 이하이며,
    상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고,
    상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함하는 이미지 센서 패키지.
  4. 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈;
    상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고,
    상기 렌즈 프리 이미지 센서의 각각의 픽셀의 마이크로 렌즈 시프트 값은 상기 대물 렌즈 모듈의 CRA(Chief Ray Angle) 값에 상응하여 설계되며,
    상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고,
    상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함하는 현미경.
  5. 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈;
    상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고,
    상기 렌즈 프리 이미지 센서의 각각의 픽셀의 CRA(Chief Ray Angle) 값은 0도이며,
    상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고,
    상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함하는 현미경.
  6. 촬상 이미지의 배율을 결정하는 대물 렌즈 모듈;
    상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고,
    상기 렌즈 프리 이미지 센서의 각각의 픽셀에서 최외곽에 위치한 픽셀의 CRA(Chief Ray Angle) 값은 5도 이하이며,
    상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고,
    상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함하는 현미경.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈은 일체로 패키징되는 현미경.
  8. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 현미경은 상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 다이크로익 필터를 더 포함하는 현미경.
  9. 제8항에 있어서,
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈과 상기 다이크로익 필터는 일체로 패키징되는 현미경.
  10. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 현미경은 상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 하프 미러를 더 포함하는 현미경.
  11. 제10항에 있어서,
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈과 상기 하프 미러는 일체로 패키징되는 현미경.
  12. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈과 상기 이미지 센서 모듈은 일체로 패키징되는 현미경.
  13. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈의 사이에 배치되는 다이크로익 필터를 더 포함하는 현미경.
  14. 제13항에 있어서,
    상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈과 상기 이미지 센서와 상기 다이크로익 필터는 일체로 패키징되는 현미경.
  15. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈의 사이에 배치되는 하프 미러를 더 포함하는 현미경.
  16. 제15항에 있어서,
    상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈과 상기 이미지 센서와 상기 하프 미러는 일체로 패키징되는 현미경.
  17. 복수의 현미경을 포함하고,
    상기 복수의 현미경 각각은,
    촬상 이미지의 배율을 결정하는 대물 렌즈 모듈;
    상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고,
    상기 렌즈 프리 이미지 센서의 각각의 픽셀의 마이크로 렌즈 시프트 값은 상기 대물 렌즈 모듈의 CRA(Chief Ray Angle) 값에 상응하여 설계되며,
    상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고,
    상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함하는, 현미경 어레이 시스템.
  18. 복수의 현미경을 포함하고,
    상기 복수의 현미경 각각은,
    촬상 이미지의 배율을 결정하는 대물 렌즈 모듈;
    상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고,
    상기 렌즈 프리 이미지 센서의 각각의 픽셀의 CRA(Chief Ray Angle) 값은 0도이며,
    상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고,
    상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함하는, 현미경 어레이 시스템.
  19. 복수의 현미경을 포함하고,
    상기 복수의 현미경 각각은,
    촬상 이미지의 배율을 결정하는 대물 렌즈 모듈;
    상기 대물 렌즈 모듈을 투과한 광이 입사되는 렌즈 프리 이미지 센서를 포함하는 이미지 센서 모듈; 및
    상기 대물 렌즈 모듈과 상기 이미지 센서 모듈의 사이에 배치되는 오토 포커싱 렌즈 모듈을 포함하고,
    상기 렌즈 프리 이미지 센서의 각각의 픽셀에서 최외곽에 위치한 픽셀의 CRA(Chief Ray Angle) 값은 5도 이하이며,
    상기 렌즈 프리 이미지 센서에는 상기 대물 렌즈 모듈과 상기 오토 포커싱 렌즈 모듈을 차례로 투과한 광이 입사되고,
    상기 오토 포커싱 렌즈 모듈은 광축을 기준으로 정렬되는 하나 이상의 광학 렌즈와 상기 하나 이상의 광학 렌즈를 광축을 기준으로 구동시키는 구동 유닛을 포함하는, 현미경 어레이 시스템.
  20. 제1파장 대역의 광을 연속적으로 출사하는 제1광원과 상기 제1광원과 이격되어 배치되고 제2파장 대역의 광을 연속적으로 출사하는 제2광원;
    상기 제1광원의 출사광과 상기 제2광원의 출사광이 조사되는 이미지 센서; 및
    상기 제1광원과 상기 이미지 센서 사이의 광 경로와 상기 제2광원과 상기 이미지 센서 사이의 광 경로에 위치하는 필터를 포함하고,
    상기 필터의 영역은 상기 제1파장 대역의 광이 투과하는 제1영역과, 상기 제2파장 대역의 광이 투과하는 제2영역을 포함하고,
    하나의 프레임에서 상기 제1광원의 상기 제1파장 대역의 출사광에 의해 생성되는 제1이미지와 상기 제2광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제2이미지가 합성된 3차원 이미지가 재생되는 현미경.
  21. 제20항에 있어서,
    상기 제1이미지에서 상기 필터의 제2영역과 대응되는 부분의 이미지는 상기 필터의 제1영역에 대응되는 부분의 이미지를 보간하여 생성되고, 상기 제2이미지에서 상기 필터의 제1영역과 대응되는 부분의 이미지는 상기 필터의 제2영역과 대응되는 부분의 이미지를 보간하여 생성되는 현미경.
  22. 제20항에 있어서,
    상기 필터의 제1영역은 복수의 제1단위 영역을 포함하고, 상기 필터의 제2영역은 복수의 제2단위 영역을 포함하고,
    상기 복수의 제1단위 영역 각각과 상기 복수의 제2단위 영역 각각은 상기 이미지 센서의 중심축과 수직한 평면 상에서 보았을 때, 상호 오버랩되지 않으며 상호 교번하며 배열되는 현미경.
  23. 제20항에 있어서,
    상기 제1광원과 상기 제2광원과 상기 필터 사이의 광 경로에 배치되는 렌즈 모듈을 더 포함하는 현미경.
  24. 제20항에 있어서,
    상기 제1광원과 상기 제2광원과 상기 필터 사이의 광 경로에 배치되는 하프 미러 또는 다이크로익 필터를 더 포함하는 현미경.
  25. 제20항에 있어서,
    상기 제1광원과 상기 제2광원은 상호 다른 편광축을 가지는 광을 출사하고, 상기 필터의 제1영역은 상기 제1광원의 편광축을 가지는 광을 투과시키고, 상기 필터의 제2영역은 상기 제2광원의 편광축을 가지는 광을 투과시키는 현미경.
  26. 제20항에 있어서,
    상기 제1광원은 복수의 제1단위 광원을 포함하고, 상기 제2광원은 복수의 제2단위 광원을 포함하고, 상기 복수의 제1단위 광원과 상기 복수의 제2단위 광원은 상기 이미지 센서의 중심축을 기준으로 대칭으로 배치되는 현미경.
  27. 제26항에 있어서,
    상기 복수의 제1단위 광원과 상기 복수의 제2단위 광원 중 하나는 우측에 위치하고, 나머지 하나는 좌측에 위치하는 현미경.
  28. 제26항에 있어서,
    상기 복수의 제1단위 광원은 상기 이미지 센서의 중심축과 수직한 제1축과 상기 이미지 센서의 중심축과 수직하고 상기 제1축과 수직한 제2축에 배열되고, 상기 복수의 제2단위 광원은 상기 이미지 센서의 중심축과 수직하고 상기 제2축과 수직한 제3축과 상기 이미지 센서의 중심축과 수직하고 상기 제3축과 수직한 제4축을 따라 배열되는 현미경.
  29. 제20항에 있어서,
    상기 복수의 제1단위 광원과 상기 복수의 제2단위 광원 중 하나는 상기 이미지 센서의 중심축을 기준으로 방사상으로 연장되는 복수의 축 중 일부에 배열되고, 나머지 하나는 상기 이미지 센서의 중심축을 기준으로 방사상으로 연장되는 복수의 축 중 나머지에 배열되는 현미경.
  30. 제1광원과 상기 제1광원과 이격되어 배치되는 제2광원;
    상기 제1광원의 출사광과 상기 제2광원의 출사광이 조사되는 이미지 센서; 및
    상기 제1광원과 상기 이미지 센서 사이의 광 경로와 상기 제2광원과 상기 이미지 센서 사이의 광 경로에 위치하는 필터를 포함하고,
    상기 제1광원은 제1파장 대역의 광과 제2파장 대역의 광을 교번하며 출사하고, 상기 제2광원은 제3파장 대역의 광을 연속적으로 출사하고,
    상기 필터의 영역은 상기 제1파장 대역의 광이 투과하는 제1영역과 상기 제2파장 대역의 광이 투과하는 제2영역과 상기 제3파장 대역의 광이 투과하는 제3영역을 포함하고,
    상기 제1광원의 상기 제1파장 대역의 출사광에 의해 생성되는 제1이미지와 상기 제1광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제2이미지와 상기 제2광원의 상기 제3파장 대역의 출사광에 의해 생성되는 제3이미지가 합성된 3차원 이미지가 재생되는 현미경.
  31. 제30항에 있어서,
    상기 제1파장 대역, 상기 제2파장 대역, 상기 제3파장 대역은 컬러화를 위한 세가지 색상의 파장 대역이고, 상기 현미경은 상기 제1이미지와 상기 제2이미지와 상기 제3이미지가 합성된 컬러의 3차원 이미지가 재생되는 현미경.
  32. 제30항에 있어서,
    상기 제1광원은 상기 제1파장 대역의 광을 출사하는 제1-1광원모듈과 상기 제2파장 대역의 광을 출사하는 제1-2광원모듈을 포함하고,
    상기 현미경은 상기 제1이미지와 상기 제2이미지가 동일한 시점을 가지도록, 상기 제1-1광원모듈의 제1파장 대역의 출사광과 상기 제1-2광원모듈의 제2파장 대역의 출사광 중 적어도 하나를 가이드하는 광 가이드 소자를 더 포함하는 현미경.
  33. 제1광원과 상기 제1광원과 이격되어 배치되는 제2광원;
    상기 제1광원의 출사광과 상기 제2광원의 출사광이 조사되는 이미지 센서; 및
    상기 제1광원과 상기 이미지 센서 사이의 광 경로와 상기 제2광원과 상기 이미지 센서 사이의 광 경로에 위치하는 필터를 포함하고,
    상기 제1광원은 제1파장 대역의 광과 제2파장 대역의 광을 교번하며 출사하고, 상기 제2광원은 상기 제2파장 대역의 광과 제3파장 대역의 광을 교번하며 출사하고,
    상기 필터의 영역은 상기 제1파장 대역의 광이 투과하는 제1영역과 상기 제2파장 대역의 광이 투과하는 제2영역과 상기 제3파장 대역의 광이 투과하는 제3영역을 포함하고,
    i) 상기 제1광원의 상기 제1파장 대역의 출사광에 의해 생성되는 제1이미지와 ii) 상기 제1광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제2이미지 또는 상기 제2광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제3이미지 중 적어도 하나와 iii) 상기 제2광원의 상기 제3파장 대역의 출사광에 의해 생성되는 제4이미지가 합성된 3차원 이미지가 재생되는 현미경.
  34. 제33항에 있어서,
    상기 제1파장 대역, 상기 제2파장 대역, 상기 제3파장 대역은 컬러화를 위한 세가지 색상의 파장 대역이고, 상기 현미경은 i) 상기 제1광원의 상기 제1파장 대역의 출사광에 의해 생성되는 제1이미지와 ii) 상기 제1광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제2이미지 또는 상기 제2광원의 상기 제2파장 대역의 출사광에 의해 생성되는 제3이미지 중 적어도 하나와 iii) 상기 제2광원의 상기 제3파장 대역의 출사광에 의해 생성되는 제4이미지가 합성된 컬러의 3차원 이미지가 재생되는 현미경.
  35. 제33항에 있어서,
    상기 제1광원은 상기 제1파장 대역의 광을 출사하는 제1-1광원모듈과 상기 제2파장 대역의 광을 출사하는 제1-2광원모듈을 포함하고,
    상기 제2광원은 상기 제2파장 대역의 광을 출사하는 제2-1광원모듈과 상기 제3파장 대역의 광을 출사하는 제2-2광원모듈을 포함하고,
    상기 현미경은,
    상기 제1이미지와 상기 제2이미지가 동일한 시점을 가지도록, 상기 제1-1광원모듈의 제1파장 대역의 출사광과 상기 제1-2광원모듈의 제2파장 대역의 출사광 중 적어도 하나를 가이드하는 제1광 가이드 소자; 및
    상기 제3이미지와 상기 제4이미지가 동일한 시점을 가지도록, 상기 제2-1광원모듈의 제2파장 대역의 출사광과 상기 제2-2광원모듈의 제3파장 대역의 출사광 중 적어도 하나를 가이드하는 제1광 가이드 소자를 더 포함하는 현미경.
  36. 샘플이 안착되는 재물대;
    상기 샘플을 촬상하여 저배율 이미지를 생성하는 저배율 촬상 모듈;
    상기 샘플을 촬상하여 고배율 이미지를 생성하고, 상기 샘플을 기준으로 상기 저배율 촬상 모듈의 반대편에 위치하는 고배율 촬상 모듈; 및
    상기 샘플과 상기 재물대와 상기 고배율 촬상 모듈 중 적어도 하나를 이동시키는 구동 모듈을 포함하고,
    상기 구동 모듈의 구동에 의해 상기 고배율 촬상 모듈의 촬상 영역이 변경되는 디지털 현미경.
  37. 제36항에 있어서,
    상기 구동 모듈은 상기 샘플과 상기 재물대와 상기 고배율 촬상 모듈 중 적어도 하나를 x축과 y축을 기준으로 이동시키는 디지털 현미경.
  38. 제36항에 있어서,
    상기 저배율 촬상 모듈의 광축과 상기 고배율 촬상 모듈의 광축은 z축을 기준으로 배열되는 디지털 현미경.
  39. 제38항에 있어서,
    상기 구동 모듈은 상기 샘플과 상기 재물대와 상기 고배율 촬상 모듈 중 적어도 하나를 x축과 y축과 z축을 기준으로 이동시키고,
    상기 고배율 촬상 모듈의 촬상 영역은 상기 구동 모듈의 x축 구동과 y축 구동에 의해 변경되고, 상기 고배율 촬상 모듈의 초점 거리는 상기 구동 모듈의 z축 구동에 의해 변경되는 디지털 현미경.
  40. 제36항에 있어서,
    상기 저배율 촬상 모듈과 상기 고배율 촬상 모듈 각각은 대물 렌즈가 마운트된 렌즈 프리 이미지 센서 모듈이거나 카메라 모듈인 디지털 현미경.
  41. 제36항에 있어서,
    상기 저배율 촬상 모듈은 상기 샘플과 상기 재물대의 사이에 배치되는 렌즈 프리 이미지 센서 모듈인 디지털 현미경.
  42. 디지털 현미경;
    저배율 이미지와 고배율 이미지가 재생되는 사용자 기기; 및
    상기 디지털 현미경을 제어하는 전자 제어 모듈을 포함하고,
    상기 디지털 현미경은,
    샘플이 안착되는 재물대;
    상기 샘플을 촬상하여 상기 저배율 이미지를 생성하는 저배율 촬상 모듈;
    상기 샘플을 촬상하여 상기 고배율 이미지를 생성하고, 상기 샘플을 기준으로 상기 저배율 촬상 모듈의 반대편에 위치하는 고배율 촬상 모듈; 및
    상기 샘플과 상기 재물대와 상기 고배율 촬상 모듈 중 적어도 하나를 이동시키는 구동 모듈을 포함하고,
    상기 구동 모듈의 구동에 의해 상기 고배율 촬상 모듈의 촬상 영역이 변경되고,
    상기 전자 제어 모듈은,
    상기 고배율 촬상 모듈의 촬상 영역이 상기 저배율 이미지에서 선택된 영역과 대응되도록, 상기 구동 모듈을 제어하는 디지털 현미경 시스템.
  43. 제42항에 있어서,
    상기 전자 제어 모듈은 상기 저배율 이미지를 기준으로 형성한 이미지 좌표계를 상기 샘플이 실재하는 공간을 기준으로 형성한 현미경 좌표계와 매칭시키고, 상기 고배율 촬상 모듈의 촬상 영역과 상기 샘플에서 상기 저배율 이미지에서 선택된 영역과 매칭되는 부분을 일치시키는 디지털 현미경 시스템.
  44. 제43항에 있어서,
    상기 전자 제어 모듈은 상기 샘플과 상기 재물대와 상기 고배율 촬상 모듈 중 적어도 하나를 상기 현미경 좌표계에서 x축과 y축을 기준으로 이동시킴으로써, 상기 고배율 촬상 모듈의 촬상 영역과 상기 샘플에서 상기 저배율 이미지에서 선택된 영역과 매칭되는 부분을 일치시키는 디지털 현미경 시스템.
  45. 제42항에 있어서,
    상기 전자 제어 모듈은 저배율 이미지와 고배율 이미지 중 적어도 하나를 데이터베이스의 표준 데이터와 비교하여 분석하는 디지털 현미경 시스템.
PCT/KR2019/013001 2018-10-04 2019-10-04 이미지 센서 모듈, 소형 디지털 현미경 및 소형 디지털 현미경 어레이 시스템, 실시간 3차원 디지털 현미경, 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템 WO2020071834A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020180117950A KR102032251B1 (ko) 2018-10-04 2018-10-04 이미지 센서 모듈, 소형 디지털 현미경 및 소형 디지털 현미경 어레이 시스템
KR1020180117951A KR102076736B1 (ko) 2018-10-04 2018-10-04 실시간 3차원 디지털 현미경
KR10-2018-0117950 2018-10-04
KR10-2018-0117951 2018-10-04
KR1020180135394A KR102259841B1 (ko) 2018-11-06 2018-11-06 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템
KR10-2018-0135394 2018-11-06

Publications (1)

Publication Number Publication Date
WO2020071834A1 true WO2020071834A1 (ko) 2020-04-09

Family

ID=70055639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013001 WO2020071834A1 (ko) 2018-10-04 2019-10-04 이미지 센서 모듈, 소형 디지털 현미경 및 소형 디지털 현미경 어레이 시스템, 실시간 3차원 디지털 현미경, 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템

Country Status (1)

Country Link
WO (1) WO2020071834A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117018A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd 画像表示装置
KR20060080353A (ko) * 2005-01-05 2006-07-10 한국과학기술원 렌즈 없는 칩위의 광학 현미경 및 이를 이용한 영상 획득시스템
KR20110029057A (ko) * 2009-09-14 2011-03-22 이제선 영상촬영장치
KR20180016125A (ko) * 2016-08-05 2018-02-14 (주) 솔 광센서 모듈
WO2018060619A1 (fr) * 2016-09-30 2018-04-05 Commissariat à l'énergie atomique et aux énergies alternatives Dispositif d'observation d'un échantillon et procédé d'observation d'un échantillon
KR20180063778A (ko) * 2016-12-02 2018-06-12 삼성전자주식회사 3차원 깊이 센서

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117018A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd 画像表示装置
KR20060080353A (ko) * 2005-01-05 2006-07-10 한국과학기술원 렌즈 없는 칩위의 광학 현미경 및 이를 이용한 영상 획득시스템
KR20110029057A (ko) * 2009-09-14 2011-03-22 이제선 영상촬영장치
KR20180016125A (ko) * 2016-08-05 2018-02-14 (주) 솔 광센서 모듈
WO2018060619A1 (fr) * 2016-09-30 2018-04-05 Commissariat à l'énergie atomique et aux énergies alternatives Dispositif d'observation d'un échantillon et procédé d'observation d'un échantillon
KR20180063778A (ko) * 2016-12-02 2018-06-12 삼성전자주식회사 3차원 깊이 센서

Similar Documents

Publication Publication Date Title
WO2019164298A1 (ko) 카메라 모듈
WO2019225978A1 (en) Camera and terminal including the same
WO2019117652A1 (en) Prism apparatus, and camera apparatus including the same
WO2019216676A1 (ko) 카메라 모듈 및 이의 동작 방법
WO2020060235A1 (ko) 카메라 장치
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2021242079A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치
WO2021215752A1 (ko) 광학 장치 및 이를 구비하는 카메라 장치와 전자기기
WO2020071834A1 (ko) 이미지 센서 모듈, 소형 디지털 현미경 및 소형 디지털 현미경 어레이 시스템, 실시간 3차원 디지털 현미경, 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템
WO2021034002A1 (ko) 다중 광도 영상 획득 장치 및 방법
WO2016017885A1 (en) Screen and laser display apparatus using the same
WO2019225928A1 (ko) 카메라, 및 이를 구비하는 단말기
WO2023018076A1 (ko) 렌즈 구동장치 및 이를 포함하는 카메라 장치
WO2021187773A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치
WO2017217800A1 (en) Mems scanner package and scanning projector including the same
WO2021010640A1 (ko) 카메라 액추에이터 및 이를 포함하는 카메라 모듈
WO2019194621A1 (ko) 카메라 장치의 캘리브레이션 방법
WO2019190159A1 (en) Prism apparatus, and camera apparatus including the same
WO2021225358A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치
WO2022235109A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치
WO2018164538A1 (ko) 스캐너
WO2022220617A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치 및 광학 기기
WO2023018213A1 (ko) 렌즈 구동 장치 및 이를 포함하는 카메라 모듈
WO2023018143A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치
WO2024080830A1 (ko) 카메라 모듈 및 이를 포함하는 전자장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869693

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18/08/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19869693

Country of ref document: EP

Kind code of ref document: A1