WO2012128367A1 - 光干渉断層観察装置、画像間の相対位置決定方法および画像間の相対位置決定プログラム - Google Patents

光干渉断層観察装置、画像間の相対位置決定方法および画像間の相対位置決定プログラム Download PDF

Info

Publication number
WO2012128367A1
WO2012128367A1 PCT/JP2012/057615 JP2012057615W WO2012128367A1 WO 2012128367 A1 WO2012128367 A1 WO 2012128367A1 JP 2012057615 W JP2012057615 W JP 2012057615W WO 2012128367 A1 WO2012128367 A1 WO 2012128367A1
Authority
WO
WIPO (PCT)
Prior art keywords
tomographic image
light
unit
coherence tomography
image
Prior art date
Application number
PCT/JP2012/057615
Other languages
English (en)
French (fr)
Inventor
武志 川野
中山 繁
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to EP12760540.0A priority Critical patent/EP2690425B1/en
Priority to JP2013506043A priority patent/JP5527478B2/ja
Publication of WO2012128367A1 publication Critical patent/WO2012128367A1/ja
Priority to US14/031,729 priority patent/US8953172B2/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/0209Low-coherence interferometers
    • G01B9/02091Tomographic interferometers, e.g. based on optical coherence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02041Interferometers characterised by particular imaging or detection techniques
    • G01B9/02044Imaging in the frequency domain, e.g. by using a spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02083Interferometers characterised by particular signal processing and presentation
    • G01B9/02087Combining two or more images of the same region
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4795Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1785Three dimensional
    • G01N2021/1787Tomographic, i.e. computerised reconstruction from projective measurements

Definitions

  • aspects of the present invention relate to an optical coherence tomography observation apparatus, a relative position determination method between images, and a relative position determination program between images.
  • Optical coherence tomography (OCT) using low-coherence light has features such as resolution in the depth direction on the order of ⁇ m and observation range in the depth direction on the order of mm. This is a promising technique to observe (Non-Patent Document 1).
  • Time domain OCT splits a light beam into signal light and reference light, and generates interference light by causing the signal light scattered from the cell to interfere with the reference light reflected from the reference mirror.
  • the coherence of the light beam used for the light source is low, only the signal light from a specific depth scattered from the cell interferes with the reference light. Therefore, by changing the optical path length of the reference light, the interfering intracellular depth can be changed, and the three-dimensional structure of the cell can be observed.
  • SD-OCT spectrum domain type OCT
  • the observation range in the depth direction is limited by the spectral resolution of the spectrometer and the focal depth of the objective lens.
  • the observation range in the depth direction determined by the spectral resolution of the spectroscope is the same as the observation range in the depth direction determined by the focal depth of the objective lens.
  • the focal depth of the objective lens must be increased accordingly.
  • NA numerical aperture
  • Non-patent Document 3 when it is desired to widen the observation range in the depth direction while maintaining the lateral resolution, a plurality of tomographic images (hereinafter referred to as OCT images) having a narrow observation range in the depth direction are acquired in the depth direction, A technique of connecting them is generally employed (Non-patent Document 3).
  • OCT images with a narrow observation range in the depth direction are acquired at equal intervals in the depth direction, and these are simply joined together. If it is possible, an OCT image with a wide observation range in the depth direction can be easily formed.
  • the stage or the optical system holding the biological sample can be moved accurately at equal intervals in the depth direction. Further, it is assumed that there is no positional deviation in the lateral direction.
  • the optical coherence tomography observation apparatus can move the position of the stage or optical system holding the biological sample accurately at equal intervals in the depth direction, and can move the position in the lateral direction without any deviation. It is difficult. In the first place, when the accuracy of position control of the stage or the optical system is insufficient as compared with the resolution of the optical system, there is a problem that the optical coherence tomography observation apparatus cannot move the stage or the optical system accurately.
  • an aspect of the present invention provides a technique that makes it possible to generate a tomographic image with a wide observation range from a tomographic image with a narrow observation range.
  • An optical coherence tomography observation apparatus includes a branching unit that branches incident light into reference light and illumination light, an illumination optical system that illuminates an observation object with the illumination light, and the illumination light.
  • An observation optical system for observing and imaging light from the observation object obtained by illuminating, a combining means for causing the reference light and the measurement light to interfere, and interference obtained by interference by the combining means
  • An optical coherence tomography observation apparatus including a light detection unit that detects light, wherein at least one of the illumination optical system and the observation optical system includes a light control unit that changes a plurality of numerical apertures.
  • An image generation unit that generates a second tomographic image of the object to be observed based on second interference light detected by the light detection unit in a fixed state, and the first tomogram generated by the image generation unit
  • a detection unit that detects a relative position of the second tomographic image generated by the image generation unit with respect to an image and having the highest correlation of the second tomographic image with respect to the first tomographic image; It is characterized by providing.
  • a relative position determination method between images performed by an optical coherence tomography observation apparatus including a light detection unit that detects interference light and a light control unit that changes a plurality of numerical apertures.
  • the first tomographic image of the object to be observed is obtained based on the first interference light detected by the light detection unit in a state where the light control unit sets the first numerical aperture.
  • Generated and second light of the object to be observed based on the second interference light detected by the light detection unit in a state where the light control means is set to a second numerical aperture different from the first numerical aperture.
  • a program for determining a relative position between images includes a storage unit that stores information indicating a first tomographic image indicating a tomographic image and information indicating a second tomographic image.
  • the computer reads information indicating the first tomographic image and information indicating the second tomographic image from the storage unit, and is a relative position of the second tomographic image with respect to the first tomographic image,
  • a program for determining a relative position between images for executing a detection step of detecting a relative position where the correlation between the second tomographic image and the first tomographic image is highest.
  • a tomographic image having a wide observation range can be generated from a tomographic image having a narrow observation range even when the stage or the optical system cannot be accurately moved.
  • An observation range of the first tomographic image acquired using the low NA first objective lens and an observation range of the second tomographic image acquired using the high NA second objective lens are shown. It is a figure. It is the figure in which the distance by which a stage is moved whenever the 2nd tomographic image is acquired at the time of low-definition mode is shown. It is the figure in which the distance by which a stage is moved whenever a 2nd tomographic image is acquired in the high definition mode is shown. It is the figure by which an example of one cross section which looked at two tomographic images which overlapped from the side was shown.
  • FIG. 1 is a functional block diagram of an optical coherence tomography observation apparatus 1 according to the first embodiment.
  • the optical coherence tomography observation apparatus 1 includes a broadband light source (light source) 5, an interference optical system 10, an objective lens unit 16, a stage 18, a spectrometer 21, a photodetector (light detection unit) 22, and a control unit. 30, an input unit 41, a stage drive unit 44, a revolver drive unit 45 (light control means, switching unit, selection unit), and a display unit 47.
  • a biological sample is grown in a medium in a petri dish (not shown), and the petri dish is fixed on the stage 18.
  • the biological sample spreads in the x, y, and z directions, and the optical coherence tomography observation apparatus 1 captures a tomographic image in the z direction that is the depth direction of the biological sample.
  • the interference optical system 10 includes a condensing lens 11, a beam splitter 12, a reference mirror 13, a galvano mirror 15, an objective lens unit 16, and a mirror 19.
  • the interference optical system 10 functions as an illumination optical system that illuminates the object to be observed with illumination light, and an observation optical system that forms an image by observing light from the object to be obtained that is obtained by illuminating the illumination light. It has the function of.
  • the objective lens unit 16 includes a first objective lens 16_1, a second objective lens 16_2, and a revolver 16_3.
  • the first objective lens 16_1 and the second objective lens 16_2 are attached to the revolver 16_3.
  • the revolver 16_3 is rotatable, and the revolver 16_3 rotates to switch between the first objective lens 16_1 and the second objective lens 16_2.
  • control unit 30 includes an A / D conversion unit 31, an image generation unit 32, a storage unit 33, a detection unit 40, a pixel value calculation unit 36, a synthesis unit 46, a mirror control unit 37, an objective, and the like.
  • a lens switching unit 38 (light control means), a distance interval changing unit 42, and a stage control unit 43 are provided.
  • the detection unit 40 includes a correlation calculation unit 34 and a relative position calculation unit 35.
  • FIG. 2 shows the observation range of the first tomographic image acquired using the low NA first objective lens 16_1 and the second tomographic image acquired using the high NA second objective lens 16_2. It is the figure by which the observation range was shown.
  • FIG. 2A is a diagram showing an observation range of the first tomographic image acquired using the first objective lens 16_1 having a low NA (that is, a wide observation range).
  • the first cell 84, the second cell 85, and the third cell 86 are grown in the medium 82 of the petri dish 81.
  • the first cell 84, the second cell 85, and the third cell 86 are drawn as circles, squares, and triangles, respectively, so that each cell can be distinguished.
  • the first cell 84, the second cell 85, and the third cell 86 may be the same type of cell.
  • the observation range 83a of the first tomographic image is a range including all the three cells.
  • FIG. 2B is a diagram showing the observation range of the second tomographic image acquired using the second objective lens 16_2 having a high NA (that is, the observation range is narrow).
  • the biological sample in FIG. 2B is exactly the same as the biological sample in FIG. That is, the first cell 84, the second cell 85, and the third cell 86, which are the same biological samples as those in FIG. 2A, are grown in the same petri dish 81 and the medium 82 as in FIG. It is shown that.
  • the observation range 83b of the second tomographic image is narrower than the observation range 83a of the first tomographic image, and here, it is shown that the range includes only the first cell. Therefore, as indicated by an arrow in FIG. 2, the observation range 83b of the second tomographic image corresponds to a range including the first cell 84 in the observation range 83a of the first tomographic image.
  • the optical coherence tomography observation apparatus 1 acquires a first tomographic image using the first objective lens 16_1.
  • the optical coherence tomography observation apparatus 1 uses the second objective lens 16_2 having a higher NA than the first objective lens 16_1 to acquire the second tomographic image so that the second tomographic images partially overlap each other. .
  • the optical coherence tomography observation apparatus 1 is a relative position of the second tomographic image with respect to the first tomographic image, and the relative correlation between the second tomographic image with respect to the first tomographic image is highest. Detect position.
  • the broadband light source 5 emits broadband light to the condenser lens 11 of the interference optical system 10.
  • the broadband light is, for example, light having a center wavelength of 800 nm and a full width at half maximum of 200 nm, and has a short coherent length.
  • the broadband light source (light source) 5 for example, a super luminescence diode or the like is used.
  • the condensing lens 11 condenses the light emitted from the broadband light source 5 to a predetermined light width, and guides the condensed light to the beam splitter 12.
  • the beam splitter 12 functions as a branching means for separating the emitted light into illumination light for irradiating the object to be observed and reference light for irradiating the reference mirror 13, and by irradiating the observation object with the illumination light. It has a function as a light combining means for generating interference light by combining the obtained light from the observed object with the reflected reference light.
  • the beam splitter 12 divides the collimated light into reference light and illumination light, and guides them to the reference mirror 13 and the galvanometer mirror 15, respectively. That is, the beam splitter 12 separates the light emitted from the broadband light source 5 into illumination light and reference light for irradiating the object to be observed.
  • the reference mirror 13 reflects the reference light incident from the beam splitter 12 and guides the reflected reference light back to the beam splitter 12.
  • the galvanometer mirror 15 is located at the exit pupil position of the objective lens used for photographing among the first objective lens 16_1 or the second objective lens 16_2.
  • the galvanometer mirror 15 reflects the illumination light guided by the beam splitter 12 and guides it to the objective lens unit 16.
  • the mirror control unit 37 controls the direction of the galvanometer mirror 15 in order to scan the illumination light in a horizontal direction that is a direction perpendicular to the depth direction of the biological sample.
  • the galvanometer mirror 15 changes its direction under the control of the mirror controller 37. Thereby, the galvanometer mirror 15 can scan illumination light in a horizontal direction (xy plane).
  • the galvanometer mirror 15 descans the illumination light reflected (including scattered) from the biological sample, and guides the light obtained by the descanning to the beam splitter 12.
  • the objective lens unit 16 includes a first objective lens 16_1, a second objective lens 16_2, and a revolver 16_3.
  • the NA of the second objective lens 16_2 is larger than that of the first objective lens 16_1.
  • the magnifications of the first objective lens 16_1 and the second objective lens 16_2 are the same.
  • the magnifications of the first objective lens 16_1 and the second objective lens 16_2 are the same.
  • the magnification is not limited to this, and may be different.
  • the objective lens switching unit 38 outputs to the revolver driving unit 45 a switching signal for instructing which objective lens to switch between the first objective lens 16_1 and the second objective lens 16_2. Based on the switching signal output from the objective lens switching unit 38, the revolver driving unit 45 supplies a revolver driving signal for driving the revolver 16_3 to the revolver 16_3.
  • the revolver 16_3 rotates the revolver 16_3 itself based on the revolver driving signal supplied from the revolver driving unit 45, and switches the objective lens between the first objective lens 16_1 and the second objective lens 16_2.
  • the first objective lens 16_1 or the second objective lens 16_2 collects illumination light on the biological sample 17 on the stage 18.
  • illumination light hereinafter referred to as signal light
  • signal light reflected (including scattered) by the biological sample 17 is incident on the first objective lens 16_1 or the second objective lens 16_2.
  • the incident signal light is guided back to the beam splitter 12 via the galvanometer mirror 15.
  • the beam splitter 12 combines the signal light returned via the galvano mirror 15 and the reference light reflected by the reference mirror 13.
  • the beam splitter 12 guides the interference light obtained by the synthesis to the spectroscope 21 via the mirror 19.
  • the spectroscope 21 spectrally decomposes the incident interference light reflected by the mirror 19 and supplies the spectrally resolved interference light to the photodetector 22.
  • the photodetector 22 detects the spectrally resolved interference light and supplies a signal indicating the luminance of the detected interference light to the A / D conversion unit 31.
  • the photodetector 22 is, for example, a CCD image sensor.
  • the A / D conversion unit 31 converts a signal indicating the luminance of the interference light supplied from the photodetector 22 into a digital signal, and supplies the converted digital signal to the image generation unit 32.
  • the image generation unit 32 performs inverse Fourier transform on the digital signal supplied from the A / D conversion unit 31 and is a condensing point in the xy plane including the biological sample 17 and has a depth corresponding to the depth of focus in the z direction. Obtain tomographic information.
  • OCT image three-dimensional tomographic image
  • the control unit 30 irradiates the biological sample, which is the object to be observed, with the first illumination light condensed by the first objective lens 16_1, and causes the image generation unit 32 to show a tomographic object to be observed. Get an image.
  • the control unit 30 irradiates the object to be observed with the second illumination light condensed by the second objective lens 16_2, and causes the image generation unit 32 to display a second tomographic image indicating the tomographic object. Get it.
  • the objective lens has a narrower observation range as NA increases.
  • the image generation unit 32 can acquire the first tomographic image and the second tomographic image whose observation range in the depth direction is narrower than the first tomographic image.
  • the image generation unit 32 causes the storage unit 33 to store the first tomographic image data and the second tomographic image data. Further, the control unit 30 reads the first tomographic image data from the storage unit 33 and causes the display unit 47 to display the first tomographic image data.
  • the input unit 41 receives input of information indicating the definition s indicating whether to acquire the OCT image with low definition or high definition.
  • the input unit 41 outputs information indicating the received definition s to the distance interval changing unit 42.
  • the distance interval changing unit 42 is based on information indicating the definition s (for example, information indicating the high-definition mode and information indicating the low-definition mode), and the relative position between the biological sample that is the object to be observed and the interference optical system 10.
  • the distance interval at the time of changing the optical relative position is changed.
  • the distance interval changing unit 42 narrows the distance interval so that the area where the second tomographic images overlap is wider in the high definition mode than in the low definition mode. Even within the depth of focus, the closer to the focal position of the illumination light, the higher the lateral resolution can be obtained. Therefore, a high-definition tomographic image can be obtained in the high-definition mode than in the low-definition mode.
  • the distance interval changing unit 42 sets the distance interval for moving the stage every time the second tomographic image is acquired, as the illumination light Set the depth of focus.
  • the distance interval changing unit 42 changes the distance interval to half the depth of focus of the illumination light. Further, the distance for moving the observation range in the z direction may be arbitrarily changed.
  • FIG. 3A and FIG. 3B are diagrams showing the distance by which the stage is moved each time the second tomographic image is acquired in the low-definition mode and in the high-definition mode.
  • FIG. 3A shows the illumination light intensity distribution 51 indicating the depth of focus in the depth direction (z direction) when a second tomographic image is acquired in the low-definition mode, and the next second tomographic image.
  • the intensity distribution 52 of the illumination light indicating the depth of focus in the depth direction (z direction) after the stage is moved is shown.
  • the resolution of the acquired image becomes the best at the peak of the intensity distribution 51 (or intensity distribution 52) of the illumination light indicating the depth of focus, and becomes worse as the distance from the peak increases.
  • a range in the z direction that can be observed with one illumination is an intensity distribution 51 or an intensity distribution 52 indicating the depth of focus.
  • the stage is moved by the focal depth every time the second tomographic image is acquired, and the range in which the intensity distribution 51 and the intensity distribution 52 indicating the focal depth in the figure overlap in the z direction is between the second tomographic images. It becomes the area where.
  • FIG. 3B shows the illumination light intensity distribution 53 indicating the depth of focus (z direction) when a second tomographic image is acquired in the high-definition mode, and the next second tomographic image.
  • the intensity distribution 54 of illumination light indicating the depth of focus in the depth direction (z direction) after the stage is moved is shown.
  • the distance at which the observation ranges overlap in the depth direction is half the focal depth.
  • the stage is moved by a half value of this depth of focus.
  • the distance interval changing unit 42 outputs information indicating the distance interval when changing the changed optical relative position to the stage control unit 43.
  • the stage control unit 43 supplies a control signal for instructing to move the stage by the distance interval supplied from the distance interval changing unit 42 to the stage driving unit 44.
  • the stage drive unit 44 changes the position of the stage 18 based on the control signal input from the stage control unit 43.
  • the stage 18 is moved with respect to the objective lens unit 16.
  • the present invention is not limited to this, and the objective lens unit 16 may be moved while maintaining a relative positional relationship with respect to the interference optical system 10. Good. That is, the optical relative position changing unit (for example, the stage driving unit 44) may change the relative position between the biological sample that is the object to be observed and the interference optical system 10.
  • the objective lens switching unit 38 outputs a switching signal that instructs the revolver driving unit 45 to switch the objective lens, and changes the objective lens that collects the illumination light from the first objective lens 16_1 to the second objective lens 16_2. .
  • the control unit 30 controls the image generation unit 32 to acquire the second tomographic image every time the position of the stage 18 is changed by the control of the stage control unit 43. To do. That is, the control unit 30 controls the image generation unit 32 to acquire the second tomographic image every time the optical relative position between the object to be observed and the interference optical system is changed.
  • the correlation calculation unit 34 reads the first tomographic image data and the second tomographic image data from the storage unit 33 and moves the first tomographic image relative to the first tomographic image each time the relative position of the second tomographic image is moved. The correlation in the region where the tomographic image and the second tomographic image overlap is calculated.
  • the correlation calculation unit 34 calculates a correlation coefficient R in a region where the first tomographic image and the second tomographic image overlap according to the following equation (1).
  • I (i, j, and k are the x-coordinate, y-coordinate, and z-coordinate in the captured tomographic image, respectively.
  • I (i, j, k) is the luminance value of the second tomographic image (OCT image with a narrow observation range) in the overlapped region
  • T (i, j, k) is the first value in the overlapped region. It is a luminance value of a tomographic image (an OCT image with a wide observation range).
  • I (bar) is an average value of the luminance values I (i, j, k) of the second tomographic image in the overlapped area, and is represented by the following expression (2).
  • T (bar) will be described in the same manner as I (bar), and T (bar) represents the luminance value T (i, j, k) of the first tomographic image in the overlapped area. It is an average value and is represented by the following formula (3).
  • the correlation calculation unit 34 outputs information indicating the calculated correlation coefficient R at each relative position to the relative position calculation unit 35. In this case, the closer R is to 1, the higher the correlation between I and T. Thereby, the correlation calculation unit 34 can determine the position where the second tomographic image is most similar to the first tomographic image.
  • the control unit 30 calculates the luminance value and the correlation coefficient R.
  • the position of the second tomographic image may be determined by calculating correlation between other measurement values and cell shapes. That is, the position of the second tomographic image may be determined so that the cell object in the first tomographic image and the cell object in the second tomographic image overlap.
  • the control part 30 may map not only using the correlation coefficient R but using template matching.
  • the relative position calculation unit 35 determines the relative position of the second tomographic image with respect to the first tomographic image based on the correlation calculated by the correlation calculation unit 34. Specifically, for example, the relative position calculation unit 35 has a correlation coefficient R that has the highest correlation coefficient R in substantially the same range among the correlation coefficients R at each relative position input from the correlation calculation unit 34. The position in the horizontal direction relative to the position in the general depth direction is extracted, and the position in the horizontal direction relative to the extracted position in the relative depth direction is set as the relative position of the second tomographic image. The relative position calculation unit 35 outputs information indicating the relative position of the second tomographic image to the pixel value calculation unit 36 together with information indicating the luminance value of each second tomographic image.
  • the relative position calculation unit 35 tilts or rotates the pixel position of the second tomographic image (high-resolution image), respectively, according to environmental factors such as temperature, so that the relative position of the second tomographic image in the first tomographic image is relative.
  • the position may be determined. This is suitable when the stage tilts or the stage rotates when drift occurs.
  • the control unit 30 applies autofocus (AF), detects a stage drift due to temperature (temperature drift) by a sensor, and uses the value of the temperature drift to use the second tomographic image in the first tomographic image.
  • the relative position of may be determined.
  • the pixel value calculation unit 36 For the image area where the second tomographic images overlap, the pixel value calculation unit 36 at each target position in the area where the two second tomographic images overlap, the target position and the reference in each tomographic image. The shortest position interval between each point (for example, the center point in the tomographic image) is calculated. Then, the pixel value calculation unit 36 assigns a weight to the measurement value when the two second tomographic images at the target position are obtained so that the weight becomes larger as the calculated shortest position interval is smaller. By multiplying, a composite measurement value at the target position is calculated.
  • FIG. 4 is a diagram illustrating an example of an xz cross section of two overlapping tomographic images.
  • one section 61 of the second tomographic image and one section 61b of the second tomographic image overlap each other, and an overlapping region 63 is shown.
  • Point 62b is shown.
  • the position interval from the target position 64 to the first center point 62 is Da, and the position interval from the target position 64 to the second center point 62b is Db.
  • the pixel value calculation unit 36 Assuming that the luminance value Ya of the target position 64 in one cross section 61 of the second tomographic image is the luminance value Yb of the target position 64 in one cross section 61b of the second tomographic image, the pixel value calculation unit 36, for example, The luminance value Y at the target position is calculated as a combined measurement value according to the equation (4).
  • the pixel value calculation unit 36 outputs information indicating the combined measurement value of each target position in the region where the calculated second tomographic images overlap each other to the combining unit 46.
  • the combining unit 46 combines the first tomographic image and the second combined image based on the relative position detected by the detecting unit 40. More specifically, the synthesizing unit 46 based on the relative position detected by the detecting unit 40 and the synthesized measurement value calculated by the pixel value calculating unit 36, the first tomographic image and the second tomographic image. And synthesize.
  • the synthesis unit 46 uses each pixel value as it is as the pixel value at that position.
  • the synthesis unit 46 sets the synthesized measurement value supplied from the pixel value calculation unit 36 as the pixel value at that position.
  • the synthesizing unit 46 generates a synthesized tomographic image obtained by synthesizing the first tomographic image and the second tomographic image.
  • the combining unit 46 stores the generated combined tomographic image in the storage unit 33.
  • the control unit 30 causes the display unit 47 to display data of the combined tomographic image combined by the combining unit 46. This is an example in which a measured value closer to the center of the focal point is reflected in the tomographic image.
  • FIG. 5 is a flowchart showing a processing flow of the optical coherence tomography observation apparatus 1 in the first embodiment.
  • the control unit 30 controls to acquire a first tomographic image with the first objective lens 16_1 having a small NA (step S101).
  • the objective lens switching unit 38 of the control unit 30 controls to switch to the second objective lens 16_2 having a large NA (step S102).
  • the stage controller 43 of the controller 30 controls to move the stage to a position where the shallowest position (which may be an arbitrary position) of the first tomographic image can be imaged (step S103).
  • the control unit 30 performs control to acquire a second tomographic image (step S104).
  • the control unit 30 determines whether or not the high-definition mode is set (step S106). In the case of the high-definition mode (YES in step S106), the stage control unit 43 controls the stage so as to approach the second objective lens 16_2 by the focal depth (step S107), and obtains the next second tomographic image (step S104). Return to processing.) On the other hand, when not in the high-definition mode (NO in step S106), the stage control unit 43 controls the stage to approach the second objective lens 16_2 by half the focal depth (step S108), and returns to the process of step S104.
  • step S105 when the tomographic images are acquired at all the depths included in the first tomographic image (YES in step S105), the relative position calculation unit 35 performs the first processing flow shown in FIG.
  • the position of the second tomographic image in the tomographic image is calculated (step S109).
  • the pixel value calculation unit 36 calculates the pixel value of the region where the second tomographic images overlap (step S110).
  • the synthesizing unit 46 synthesizes the first tomographic image and the second tomographic image (step S111). Above, the process of this flowchart is complete
  • FIG. 6 is a flowchart showing the flow of processing of the control unit 30 in step S109 of FIG.
  • the correlation calculating unit 34 calculates a correlation coefficient R between the second tomographic image and an image region having a capacity corresponding to the second tomographic image including the pixel at the shallowest position in the first tomographic image (Ste S201).
  • the correlation calculation unit 34 shifts the center coordinates of the second tomographic image with respect to the first tomographic image by one pixel in the depth direction (step S202).
  • the correlation calculation unit 34 is a first tomographic image corresponding to the position of the second tomographic image, and has a phase between the second tomographic image and an image area having a capacity corresponding to the second tomographic image.
  • the relation number R is calculated (step S203).
  • the correlation calculation unit 34 determines whether or not the correlation coefficient R has been calculated at all depths of the first tomographic image that can be collated with the second tomographic image (step S204).
  • the correlation calculating unit 34 returns to the process of step S202.
  • the relative position calculation unit 35 selects the center coordinate having the highest correlation. Extraction is performed and the center coordinate of the second tomographic image is set as the extracted center coordinate as the position of the second tomographic image in the first tomographic image (step S205).
  • the relative position calculation unit 35 determines whether it has been determined which position in the first tomographic image all the second tomographic images should be assigned (step S206). If it has not been decided which position in the first tomographic image all the second tomographic images are assigned (NO in step S206), the control unit 30 selects the next second tomographic image (step S207). ) Return to step S201. On the other hand, when it is determined which position in the first tomographic image all the second tomographic images are to be assigned (YES in step S206), the relative position calculation unit 35 ends the process. Above, the process of this flowchart is complete
  • the control unit 30 acquires the first tomographic image using the first objective lens 16_1. And the control part 30 acquires a 2nd tomographic image using the 2nd objective lens 16_2 of higher NA than the 1st objective lens 16_1 so that a part of 2nd tomographic images may overlap. Then, after acquiring the second tomographic image, the control unit 30 calculates a correlation coefficient R between the second tomographic image and the first tomographic image, and based on the correlation coefficient R, the second tomographic image is calculated. It is determined to which position in the first tomographic image the image is assigned.
  • the control unit 30 joins the second tomographic image having a high lateral resolution and a narrow observation range in the depth direction, thereby connecting the depth direction.
  • a high-definition tomographic image with a wide observation range can be acquired.
  • the control unit 30 takes a wider area where the second tomographic images overlap each other, so that a higher-definition tomographic image is obtained. An image can be obtained.
  • control unit 30 sets the moving distance of the stage 18 every time the second tomographic image is acquired to be equal to or less than the focal depth of the second objective lens 16_2, and overlaps the second tomographic images.
  • the present invention is not limited to this, and the moving distance of the stage 18 may be a distance corresponding to the focal depth.
  • the image quality (such as sharpness) is slightly worse at the position deviating from the focal position than at the focal position even though it is within the focal depth.
  • the measurement time can be shortened.
  • the optical coherence tomography observation apparatus 1 acquires a first tomographic image with a wide observation range using a low NA first objective lens, and a first observation lens with a narrow observation range using a high NA second objective lens. Two tomographic images were acquired. Then, the optical coherence tomography observation apparatus 1 determines which position in the first tomographic image the second tomographic image is assigned to, and connects the second tomographic images so that the observation range in the depth direction is wide and High-definition tomographic images were acquired.
  • the optical coherence tomography observation apparatus 1b includes a diaphragm unit 14 (light control unit, switching unit, and selection unit) that throttles illumination light, and the diaphragm unit 14 acquires a first tomographic image.
  • the beam diameter of the illumination light is reduced more than the beam diameter of the illumination light when the second tomographic image is acquired. In this way, the light flux of the first illumination light only needs to be narrower than the light flux of the second illumination light.
  • the optical coherence tomography observation apparatus 1b can open the aperture without changing the objective lens, so that the second tomography has a higher lateral resolution and a narrower observation range in the depth direction than the first tomographic image. Since an image can be acquired, it is possible to acquire a high-definition tomographic image having a wide observation range in the depth direction by connecting the second tomographic images.
  • FIG. 7 is a block diagram of an optical coherence tomography observation apparatus 1b according to the second embodiment. Elements common to those in FIG. 1 are denoted by the same reference numerals, and a specific description thereof is omitted.
  • the configuration of the optical coherence tomography observation apparatus 1b in FIG. 7 is different from the configuration of the optical coherence tomography observation apparatus 1 in FIG. 1 in that the interference optical system 10 is changed to the interference optical system 10b and Is added, the control unit 30 is changed to the control unit 30b, and an aperture control unit 39 (light control means, switching unit, selection unit) is added to the control unit 30b.
  • the interference optical system 10 is changed to the interference optical system 10b and Is added
  • the control unit 30 is changed to the control unit 30b
  • an aperture control unit 39 light control means, switching unit, selection unit
  • the diaphragm unit 14 is located between the beam splitter 12 and the galvanometer mirror 15.
  • the stop unit 14 stops the illumination light guided from the beam splitter 12 under the control of the stop control unit 39 and guides the reduced illumination light to the galvanometer mirror 15.
  • the galvanometer mirror 15 guides the narrowed illumination light to the first objective lens 16_1, and the first objective lens 16_1 condenses the narrowed illumination light on a biological sample that is an object to be observed.
  • the position of the diaphragm unit 14 is preferably closer to the pupil exit position of the objective lens, that is, the position of the galvanometer mirror 15.
  • the diaphragm unit 14 is located between the beam splitter 12 and the galvanometer mirror 15, but is not limited thereto, and is located between the galvanometer mirror 15 and the biological sample 17 that is an object to be observed. May be.
  • the control unit 30b causes the aperture control unit 39 to control the aperture to a predetermined aperture when acquiring the first tomographic image having a narrow observation range in the depth direction.
  • the control unit 30b causes the aperture control unit 39 to control the aperture to be opened more than when the first tomographic image is acquired.
  • FIG. 8 is a flowchart showing a processing flow of the optical coherence tomography observation apparatus 1b in the second embodiment.
  • the control unit 30b acquires a first tomographic image with a predetermined aperture (step S301).
  • the aperture control unit 39b controls the aperture of the aperture unit 14 so as to be opened from a predetermined aperture from which the first tomographic image is acquired (step S302). Since the processing from step S303 to step S311 is the same as the processing from step S103 to step S111 in FIG. 5, the description thereof is omitted. Above, the process of this flowchart is complete
  • the optical coherence tomography observation apparatus 1b is more effective than the first tomographic image by opening the aperture as compared with the case of acquiring the first tomographic image without changing the objective lens. Since a second tomographic image with a high lateral resolution and a narrow observation range in the depth direction can be acquired, a high-resolution tomographic image can be acquired by connecting the second tomographic images.
  • the control unit (30, 30b) acquires the first tomographic image at a predetermined frame interval, and when the change in luminance distribution between frames exceeds a predetermined range, You may control to acquire a tomographic image. In all the embodiments, the control unit (30, 30b) acquires the first tomographic image at a predetermined frame interval, and when the change in the luminance distribution between frames exceeds a predetermined range, the luminance distribution Control may be performed so that the second tomographic image is acquired for an image region in which the change in the value exceeds a predetermined range.
  • FIG. 9 shows a case where the first tomographic image is acquired at a predetermined frame interval, and when the change in luminance distribution between frames exceeds a predetermined threshold, the change in the luminance distribution exceeds the predetermined threshold.
  • the vertical axis represents the observation range in the depth direction
  • the horizontal axis represents time.
  • an observation range 71 of the first tomographic image, a range 72 in which the change in luminance distribution between frames exceeds a predetermined range, and an observation range 73 of four second tomographic images are shown. .
  • the control unit (30, 30b) compares the luminance values of the tomographic image at the current time and the tomographic image at the immediately preceding time, and determines whether or not the change in luminance distribution between frames exceeds a predetermined range. In FIG. 9, for example, since the change in the luminance distribution between frames does not exceed a predetermined range at time t1 and time t2, the control unit (30, 30b) has the first fault with a narrow observation range in the depth direction. Get only images.
  • control unit (30, 30b) performs a stage in a range 72 where the change in luminance distribution exceeds a predetermined range. Control is performed so that four second tomographic images are acquired each time 18 is moved.
  • the optical coherence tomography observation apparatus (1, 1b) in all the embodiments has been described using a Fourier domain optical coherence tomography observation apparatus.
  • the present invention is not limited to this, and the same method can be applied to a time domain optical coherence tomography observation apparatus.
  • the optical coherence tomography observation apparatus (1, 1b) has a matching range in the reference first tomographic image (OCT image) when there are a plurality of portions having the highest correlation coefficient R.
  • the matching position may be extracted by narrowing down to a predetermined range in the first tomographic image.
  • a biological sample is used as a subject to be imaged.
  • control unit (30, 30b) moves the galvanometer mirror 15 to acquire a second tomographic image at a certain depth of the object to be observed, and then moves the stage 18 in the depth direction. Each time it is moved, the second tomographic image is repeatedly acquired.
  • the present invention is not limited to this.
  • the control unit (30, 30b) acquires the second tomographic image at a certain one-dimensional point without moving the galvanometer mirror 15, and then moves the stage 18 in the depth direction. Each time it is moved, the second tomographic image may be repeated to obtain a plurality of second tomographic images at one point in a certain two dimension. In that case, the control unit (30, 30b) moves the galvanometer mirror 15 after acquiring all the second tomographic images at one point on a certain two-dimension, and thus tomographic images of other two-dimensional points. You may make it acquire similarly about. In all embodiments, every time a second tomographic image is acquired, a correlation with the first tomographic image may be obtained to determine the relative position.
  • the optical coherence tomography apparatus (1, 1b) acquires two first tomographic images at a predetermined time interval using the first objective lens, and acquires the two acquired tomographic images. Based on the images, a static region having no change may be extracted from the two tomographic images, and only the extracted static regions may be correlated. Thereby, the control unit (30, 30b) can reduce the amount of calculation processing, and can shorten the time for acquiring the high-resolution tomographic image connecting the second tomographic images.
  • the optical coherence tomography observation apparatus (1, 1b) of the embodiment of the present invention acquires a stained image of cells stained with a fluorescent dye using the first objective lens, and is stained with the fluorescent dye from the stained image.
  • the second tomographic image may be acquired with the second objective lens (high NA objective lens) only for the extracted cell image region.
  • the control unit (30, 30b) can reduce the amount of calculation processing, and can shorten the time for acquiring the high-resolution tomographic image connecting the second tomographic images.
  • the correlation calculation unit 34 in all the embodiments includes, in all image regions in the first tomographic image, an image region having a capacity corresponding to the second tomographic image and the image region of the first tomographic image; Although the correlation coefficient R with the second tomographic image is calculated, the present invention is not limited to this.
  • the correlation calculation unit 34 may extract a first representative region from the first tomographic image and obtain a correlation between the luminance value of the pixel in the first representative region and the luminance value of the second tomographic image.
  • the correlation calculation unit 34 can reduce the number of times of correlation, the calculation processing amount can be reduced, and the time for acquiring the high-resolution tomographic image connecting the second tomographic images can be shortened.
  • control unit (30, 30b) extracts a characteristic region corresponding to the luminance distribution of the first tomographic image from the first tomographic image, and the second characteristic is applied only to the extracted characteristic region. You may control to acquire a tomographic image. Specifically, for example, the control unit (30, 30b) calculates a luminance change at predetermined pixel intervals from the first tomographic image, and extracts an image region where the calculated luminance change exceeds a predetermined threshold. The second tomographic image may be controlled to be acquired for the extracted image region.
  • the first tomographic images are generated at predetermined time intervals, and the control unit (30, 30b) extracts a specific region having a substantially constant measurement value from the plurality of first tomographic images, and detects the detection unit 40.
  • the control unit (30, 30b) extracts a specific region having a substantially constant measurement value from the plurality of first tomographic images, and detects the detection unit 40.
  • only a specific region may be a target for calculating the correlation.
  • control unit (30, 30b) extracts an image area in which the luminance value of the first tomographic image exceeds a predetermined threshold, and performs control to acquire a second tomographic image for the extracted image area. You may do it. Further, the control unit (30, 30b) may extract the edge from the first tomographic image, and control to acquire the second tomographic image for the image region surrounded by the extracted edge. Good.
  • control unit (30, 30b) extracts a characteristic area corresponding to the luminance distribution of the first tomographic image, and acquires the second tomographic image only for the extracted characteristic area. Therefore, a high-resolution second tomographic image can be acquired only for an image region where a subject (for example, a cell) to be imaged exists.
  • control unit (30, 30b) can reduce the amount of calculation processing, and can shorten the time for acquiring a high-resolution tomographic image connecting the second tomographic images.
  • control unit (30, 30b) may control to acquire the first tomographic image at a predetermined time interval (frame interval) and acquire the second tomographic image at a predetermined time. Thereby, when it is known in advance that some change occurs at a predetermined time, the control unit (30, 30b) acquires the second tomographic image having a higher resolution only at the predetermined time. It is possible to reduce the amount of calculation processing compared to acquiring the second tomographic image at the time. Further, since the control unit (30, 30b) does not acquire the second tomographic image at a time when high resolution is not required, the control unit (30, 30b) stores the second tomographic image in the storage unit 33 rather than acquiring the second tomographic image at all times. The amount of second tomographic image data stored can be reduced.
  • the second bundle of illumination light from which the second tomographic image is obtained is the same bundle as the bundle of first illumination light from which the first tomographic image is obtained. That is, the observation range in the depth direction of the first tomographic image and the second tomographic image is the same.
  • the second illuminating light beam irradiates a region substantially the same as the first illuminating light (although it cannot irradiate the completely same region due to temperature drift or the like, but substantially the same region). It is.
  • the distance interval changing unit 42 changes the distance interval when changing the optical relative position so that the first tomographic image and the second tomographic image overlap each other.
  • control unit (30, 30b), the correlation calculation unit 34 of the control unit (30, 30b) takes a correlation in a region where the first tomographic image and the second tomographic image overlap, and the control unit (30, 30b) 30b) may connect the first tomographic image and the second tomographic image based on the correlation.
  • the beam splitter 12 has been described as an example in which the light separating unit and the light combining unit are integrally configured.
  • the present invention is not limited to this.
  • the light separating unit and the light combining unit may be configured separately using a polarizing element.
  • the reflection type optical coherence tomography observation apparatus has been described.
  • the present invention may be applied to a transmission type optical coherence tomography observation apparatus.
  • the light control means of the optical coherence tomography observation apparatus (1, 1b) forms illumination light having a plurality of numerical apertures.
  • the present invention is not limited to this, and as a modification, the light control unit may form interference light having a plurality of numerical apertures.
  • the interference optical system (10, 10b) of the optical coherence tomography observation apparatus (1, 1b) is provided with a condensing lens between the beam splitter 12 and the light detector 22, and the condensing lens and the light detector 22 A small opening is provided between them.
  • the condensing lens condenses the interference light combined by the beam splitter 12 on the photodetector 22.
  • the small aperture has a variable diameter aperture at a position conjugate with the condensing point of the first objective lens or the second objective lens. The small aperture guides only the light having the size of the aperture out of the interference light collected by the condenser lens to the photodetector 22.
  • the interference optical system (10, 10b) further provided with a condenser lens and a small aperture is close to an optical coherence microscope (OCM) using a confocal effect.
  • OCM optical coherence microscope
  • the optical coherence tomography observation apparatus (1, 1b) in the above-described embodiment corresponds to a state where the NA of the condenser lens is reduced and the small opening is enlarged (in this state, the observation range in the z direction is wide and low). Lateral resolution).
  • the interference optical system (10, 10b) functions as an illumination optical system that illuminates the object to be observed with illumination light and the object obtained by illuminating the illumination light. It has a function as an observation optical system that forms an image by observing light from an observation object.
  • the illumination optical system has a wide observation range in the z direction and a low lateral resolution.
  • the control unit (30, 30b) switches the observation optical system by controlling the size of the aperture of the small aperture as a function of light control means. Specifically, the light control means makes the observation in the z direction from the observation optical system having a wide observation range in the z direction and a low lateral resolution by making the size of the small opening smaller than a predetermined size. Switch to an observation optical system with a narrow range and high lateral resolution.
  • the optical coherence tomography observation apparatus displays the first tomographic image having a wide observation range in the z direction and a low lateral resolution, and the second tomographic image having a narrow observation range in the z direction and a high lateral resolution.
  • the aperture of the illumination system and the aperture of the detection system are made common without being separately provided, but the present modification can also be applied to this normal OCM system.
  • the illumination optical system and the observation optical system are configured by a common optical system, a condensing lens is not provided, and the light control means has a numerical aperture for the illumination light and the interference light.
  • the objective lens switching unit 38 of the control unit 30 switches between the first objective lens 16_1 and the second objective lens 16_2, or the aperture control unit 39 of the control unit 30b switches the aperture.
  • the numerical aperture is an angle formed by an effective aperture of a light beam formed by the optical system with respect to a condensing point of the optical system.
  • control unit (30, 30b) When acquiring a tomographic image with a wide observation range in the z direction and low lateral resolution, the control unit (30, 30b) decreases the numerical aperture of the illumination light and increases the aperture of the small aperture. On the other hand, when acquiring a tomographic image with a narrow observation range in the z direction and high lateral resolution, the control unit (30, 30b) increases the numerical aperture of the illumination light and decreases the aperture of the small aperture.
  • the optical coherence tomography observation apparatus when the illumination optical system and the observation optical system are configured as independent optical systems, the optical coherence tomography observation apparatus according to the modification condenses the interference light on the photodetector 22. And a second condenser lens that has a numerical aperture larger than the numerical aperture of the first condenser lens and condenses the interference light on the photodetector 22.
  • the light control means reduces the NA of the objective lens of the illumination system and changes the numerical aperture of the illumination light.
  • the control unit (30, 30b) When acquiring a tomographic image with a wide observation range in the z direction and low lateral resolution, the control unit (30, 30b) has an aperture larger than the numerical apertures of the first condenser lens and the first condenser lens. By switching between the second condensing lens having the number, the numerical aperture of the interference light in the observation optical system is decreased and the aperture of the small aperture is increased. On the other hand, when acquiring a tomographic image with a narrow observation range in the z direction and high lateral resolution, the control unit (30, 30b) switches between the first condenser lens and the second condenser lens. The numerical aperture of the interference light in the observation optical system is increased, and the aperture of the small aperture is reduced.
  • the numerical aperture of illumination light in the illumination optical system or interference in the observation optical system it is desirable to satisfy the numerical aperture of the spectrometer with the light numerical aperture being reduced.
  • at least one of the illumination optical system and the observation optical system is provided with a diaphragm means for reducing the beam diameter of illumination light or light from the object to be observed.
  • a program for executing each process of the control unit (30, 30b) of the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. By doing so, you may perform the various process mentioned above which concerns on a control part (30, 30b).
  • the “computer system” referred to here may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
  • the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic) in a computer system which becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc. that hold a program for a certain period of time.
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement
  • Optical coherence tomography observation device 5 Broadband light source (light source) 10, 10b Interference optical system 12 Beam splitter 13 Reference mirror 15 Galvano mirror 16_1 First objective lens 16_2 Second objective lens 21 Spectroscope 22 Photodetector (photodetector) 30, 30b Control unit 32 Image generation unit 33 Storage unit 34 Correlation calculation unit 35 Relative position calculation unit 36 Pixel value calculation unit 39 Aperture control unit 40 Detection unit 42 Distance interval change unit 46 Composition unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

 被観察物に第1の照明光を照射して、前記画像生成部に前記被観察物の断層を示す第1の断層画像を生成させ、前記被観察物に第2の照明光を照射して、前記画像生成部に前記被観察物の断層を示す第2の断層画像を生成させる制御部(30)と、第1の断層画像に対する前記第2の断層画像の相対位置であって、第1の断層画像に対する第2の断層画像の相関が最も高くなる相対位置を検出する検出部(40)と、を備える。

Description

光干渉断層観察装置、画像間の相対位置決定方法および画像間の相対位置決定プログラム
 本発明の態様は、光干渉断層観察装置、画像間の相対位置決定方法および画像間の相対位置決定プログラムに関する。
 本願は、2011年3月24日に出願された日本国特願2011-066744号に基づき優先権を主張し、その内容をここに援用する。
 従来の細胞培養では、2次元的に成長した細胞を観察し、その性質を評価することが一般的であった。しかしながら細胞の本来的な性質を発現させるためには細胞を3次元的に成長させることの重要性が近年明らかになりつつある。
 このような背景の下、細胞の三次元構造を観察する手法に対する期待が高まっている。
 低コヒーレンス光を利用した光干渉断層撮影法(OCT:Optical Coherence tomography)はμmオーダーの深さ方向の分解能とmmオーダーの深さ方向の観察範囲という特長を備えており、細胞の三次元構造を観察する有望な技術である(非特許文献1)。
 OCTは1990年代より研究開発が進み、大きく分けて、タイムドメイン方式とフーリエドメイン方式の二種類のOCTが提案されている。
 タイムドメイン方式のOCTは光ビームを信号光と参照光とに分割し、細胞から散乱された信号光と参照ミラーから反射された参照光とを干渉させて干渉光を生成する。この時、光源に用いられる光ビームのコヒーレンス性が低いため、細胞から散乱された特定の深さからの信号光のみが参照光と干渉する。したがって、参照光の光路長を変えることによって、干渉する細胞内の深さを変えることができ、細胞の三次元構造を観察することが出来る。
 しかしながら、タイムドメイン方式のOCTは参照ミラーを光軸方向に動かすことにより深さ方向の情報を取得しているため、測定時間が長く、現在はほとんど採用されていない。それに対してフーリエドメイン方式のOCTは深さ方向の情報を一括で取得出来るので、その測定時間の短さから現在主流の方式となっている(非特許文献2)。
 ここでは、フーリエドメイン方式のOCTの一種である、スペクトルドメイン方式のOCT(SD-OCT)を例に挙げて説明する。SD-OCTでは深さ方向の観察範囲は分光器のスペクトル分解能と対物レンズの焦点深度の制約を受ける。
 例えば、分光器のスペクトル分解能により決まる深さ方向の観察範囲と対物レンズの焦点深度により決まる深さ方向の観察範囲が同じであると仮定する。スペクトル分解能を上げ、深さ方向の観察範囲を広くした場合、それに伴い対物レンズの焦点深度も深くする必要がある。対物レンズの焦点深度を深くするには、対物レンズの開口数(NA:Numerical Aperture)を小さくする必要があるが、水平方向の分解能である横分解能は対物レンズのNAに反比例するため、NAを小さくすると必然的に水平方向の分解能である横分解能が低下する。
 逆に、スペクトル分解能が下がり深さ方向の観察範囲が狭くなった場合、焦点深度の浅い、NAの大きな対物レンズを使用して、高い横分解能での観察が可能になる。つまり、深さ方向の観察範囲と横分解能はトレードオフの関係にある。
 以上の関係より、横分解能を保ったまま深さ方向の観察範囲を広くしたい場合、深さ方向の観察範囲が狭い断層画像(以下、OCT画像と称する)を深さ方向に複数枚取得し、それらをつなぎ合わせるという手法が一般的に採用されている(非特許文献3)。
D.huang, EA Swanson, cP Lin, JS Schuman, WG Stinson, W Chang, MR Hee, t Flotte, K Gragory, CA Puliafito and et. al, "Optical coherence tomography" Science Vol.254, No.5035, 1178-1181, 1991 Y.Yasuno, J.Sugisaka, Y.Sando, Y.Nakamura, S.Makita, M.Itohand T.Yatagai, "Non-iteractive numerical method for laterally superresolving Fourier domain optical coherence tomography" Optical Express Vol.14, Iss.3, 1006-1020, 2006 W.Drexler, U.Morgner, F.X.Kartner, S.A.Boppart, X.D.Li, E.P.Ippen, and J.G.Fujimoto, "In vivo ultrahigh-resolution optical coherence tomography"OPTICS LETTERS Vol.24, No.17, 1221-1223, 1999
 従来の光干渉断層観察装置が複数枚のOCT画像を深さ方向につなぎ合わせる場合、深さ方向の観察範囲が狭いOCT画像を深さ方向に等間隔で取得し、それらを単純につなぎ合わせることが出来れば深さ方向の観察範囲の広いOCT画像を容易に形成する事が出来る。このプロセスを実行するためには、生体試料を保持しているステージもしくは光学系を深さ方向に正確に等間隔にその位置を移動出来る事が前提となっている。また、横方向に関しても位置のずれがない事が前提となっている。
 しかしながら、光干渉断層観察装置が、生体試料を保持しているステージもしくは光学系を深さ方向に正確に等間隔にその位置を移動させること、および横方向に関しても位置のずれがなく移動させることは困難である。
 また、そもそもステージもしくは光学系の位置制御の精度が光学系の分解能に比べて不十分な場合、光干渉断層観察装置はステージもしくは光学系を正確に移動させることができないという問題がある。
 そこで本発明の態様は、観察範囲が狭い断層画像から、観察範囲が広い断層画像を生成することを可能とする技術を提供する。
 本発明の一態様である光干渉断層観察装置は、入射した光を参照光と照明光とに分岐する分岐手段と、前記照明光で被観察物を照明する照明光学系と、前記照明光を照明したことで得られる前記被観察物からの光を観察して結像する観察光学系と、前記参照光と前記測定光とを干渉させる合成手段と、前記合成手段による干渉により得られた干渉光を検出する光検出部とを備える光干渉断層観察装置であって、前記照明光学系および前記観察光学系の少なくともどちらか一方の光学系は、複数の開口数を変更する光制御手段を備え、前記光制御手段が第1の開口数に設定した状態で前記光検出部により検出された第1の干渉光に基づいて前記被観察物の第1の断層画像を生成し、前記光制御手段が前記第1の開口数と異なる第2の開口数に設定した状態で前記光検出部により検出された第2の干渉光に基づいて前記被観察物の第2の断層画像を生成する画像生成部と前記画像生成部で生成された前記第1の断層画像に対する前記画像生成部で生成された前記第2の断層画像の相対位置であって、前記第1の断層画像に対する前記第2の断層画像の相関が最も高くなる相対位置を検出する検出部と、を備えることを特徴とする。
 本発明の一態様である画像間の相対位置決定方法は、干渉光を検出する光検出部と、複数の開口数を変更する光制御手段とを備える光干渉断層観察装置が実行する画像間の相対位置決定方法であって、前記光制御手段が第1の開口数に設定した状態で前記光検出部により検出された第1の干渉光に基づいて前記被観察物の第1の断層画像を生成し、前記光制御手段が前記第1の開口数と異なる第2の開口数に設定した状態で前記光検出部により検出された第2の干渉光に基づいて前記被観察物の第2の断層画像を生成する画像生成手順と、前記第1の断層画像に対する前記第2の断層画像の相対位置であって、前記第1の断層画像に対する前記第2の断層画像の相関が最も高くなる相対位置を検出する検出手順と、を有することを特徴とする。
 本発明の一態様である画像間の相対位置決定プログラムは、被観察物の断層を示す第1の断層画像を示す情報と第2の断層画像を示す情報とが記憶されている記憶部を備えるコンピュータに、前記第1の断層画像を示す情報と前記第2の断層画像を示す情報とを前記記憶部から読み出し、前記第1の断層画像に対する前記第2の断層画像の相対位置であって、前記第1の断層画像に対する前記第2の断層画像の相関が最も高くなる相対位置を検出する検出ステップを実行させるための画像間の相対位置決定プログラムである。
 本発明の態様によれば、ステージもしくは光学系を正確に移動させることができない場合でも、観察範囲が狭い断層画像から、観察範囲が広い断層画像を生成することができる。
第1の実施形態における光干渉断層観察装置の機能ブロック図である。 低NAの第1の対物レンズを用いて取得された第1の断層画像の観察範囲と、高NAの第2の対物レンズを用いて取得された第2の断層画像の観察範囲とが示された図である。 低精細モード時において、第2の断層画像を取得する毎にステージが動かされる距離が示された図である。 高精細モード時において、第2の断層画像を取得する毎にステージが動かされる距離が示された図である。 重なっている2つの断層画像を横から見た一断面の一例が示された図である。 第1の実施形態における光干渉断層観察装置の処理の流れを示したフローチャートである。 図5のステップS109における制御部の処理の流れを示したフローチャートである。 第2の実施形態における光干渉断層観察装置のブロック構成図である。 第2の実施形態における光干渉断層観察装置の処理の流れを示したフローチャートである。 輝度分布の変化が所定の閾値を超えた画像領域に対して第2の断層画像を取得する例を示した図である。
 以下、本発明の実施形態について、図面を参照して詳細に説明する。本発明の実施形態では、ここではフーリエドメイン方式のOCTの中でも、スペクトルドメイン方式のOCT(SD-OCT)を例に挙げて説明する。
 図1は、第1の実施形態における光干渉断層観察装置1の機能ブロック図である。光干渉断層観察装置1は、広帯域光源(光源)5と、干渉光学系10と、対物レンズユニット16と、ステージ18と、分光器21と、光検出器(光検出部)22と、制御部30と、入力部41と、ステージ駆動部44と、リボルバー駆動部45(光制御手段、切替部、選択部)と、表示部47とを備える。
 ここで、断層画像を取得する対象となる被観察物の一例として、生体試料が不図示のシャーレ中の培地で生育されており、前記シャーレがステージ18の上に固定されている。
生体試料は、x、y、z方向に広がっていて、光干渉断層観察装置1は、生体試料の深さ方向であるz方向の断層画像を撮影する。
 また、干渉光学系10は、集光レンズ11と、ビームスプリッター12と、参照ミラー13と、ガルバノミラー15と、対物レンズユニット16と、ミラー19とを備える。
 干渉光学系10は、照明光で被観察物を照明する照明光学系としての機能と、前記照明光を照明したことで得られる被観察物からの光を観察して結像する観察光学系としての機能を有する。
 対物レンズユニット16は、第1の対物レンズ16_1と、第2の対物レンズ16_2と、リボルバー16_3とを備える。第1の対物レンズ16_1と第2の対物レンズ16_2は、リボルバー16_3に取り付けられている。リボルバー16_3は回転可能であって、リボルバー16_3は回転することによって、第1の対物レンズ16_1と第2の対物レンズ16_2を切り替える。
 また、制御部30は、A/D変換部31と、画像生成部32と、記憶部33と、検出部40と、画素値算出部36と、合成部46と、ミラー制御部37と、対物レンズ切替部38(光制御手段)と、距離間隔変更部42と、ステージ制御部43とを備える。ここで、検出部40は、相関算出部34と、相対位置算出部35とを備える。
 図2を用いて、本実施形態における光干渉断層観察装置1の概要について説明する。図2は、低NAの第1の対物レンズ16_1を用いて取得された第1の断層画像の観察範囲と、高NAの第2の対物レンズ16_2を用いて取得された第2の断層画像の観察範囲とが示された図である。
 図2(a)は、低NA(すなわち観察範囲の広い)の第1の対物レンズ16_1を用いて取得された第1の断層画像の観察範囲が示された図である。同図において、シャーレ81の培地82の中で、第1の細胞84と第2の細胞85と第3の細胞86とが生育されていることが示されている。図面上で、各細胞を区別できるように、第1の細胞84、第2の細胞85、第3の細胞86は、それぞれ丸、四角、三角で描かれている。また、第1の細胞84、第2の細胞85、第3の細胞86は同一種類の細胞であっても良い。また、第1の断層画像の観察範囲83aは、上記3つの細胞すべてを含む範囲であることが示されている。
 図2(b)は、高NA(すなわち観察範囲の狭い)の第2の対物レンズ16_2を用いて取得された第2の断層画像の観察範囲が示された図である。図2(b)における生体試料は、図2(a)の生体試料と全く同じである。すなわち、図2(a)と同じシャーレ81と培地82の中で、図2(a)と同じ生体試料である第1の細胞84と第2の細胞85と第3の細胞86とが生育されていることが示されている。但し、第2の断層画像の観察範囲83bは、第1の断層画像の観察範囲83aよりも狭く、ここでは、第1の細胞のみを含む範囲であることが示されている。そのため、図2中の矢印で示されているように、第2の断層画像の観察範囲83bは、第1の断層画像の観察範囲83aのうち第1の細胞84を含む範囲に相当する。
 光干渉断層観察装置1は、第1の対物レンズ16_1を用いて第1の断層画像を取得する。光干渉断層観察装置1は、第1の対物レンズ16_1よりも高NAの第2の対物レンズ16_2を用いて、第2の断層画像同士の一部が重なるように第2の断層画像を取得する。そして、光干渉断層観察装置1は、前記第1の断層画像に対する前記第2の断層画像の相対位置であって、前記第1の断層画像に対する前記第2の断層画像の相関が最も高くなる相対位置を検出する。
 広帯域光源5は、広帯域の光を、干渉光学系10の集光レンズ11に出射する。ここで、広帯域の光とは、例えば、中心波長が800nmで、半値全幅が200nmの光であり、コヒーレント長が短い。広帯域光源(光源)5としては、例えば、スーパールミネッセンスダイオード等が用いられる。
 集光レンズ11は、広帯域光源5から出射された光を所定の光の幅に集光し、集光した光をビームスプリッター12に導く。
 ビームスプリッター12は、出射された光を被観察物に照射する照明光と参照ミラー13に照射する参照光とに分離する分岐手段としての機能と、照明光を観察被観察物に照射したことで得られる、前記被観察物からの光を反射された参照光と合成させることにより干渉光を生成する光合成手段としての機能とを有する。
 光分離部としての機能として、ビームスプリッター12は、コリメートされた光を参照光と照明光に分割し、それぞれ参照ミラー13とガルバノミラー15に導く。すなわち、ビームスプリッター12は、広帯域光源5から出射された光を被観察物に照射する照明光と参照光とに分離する。
 参照ミラー13は、ビームスプリッター12から入射された参照光を反射し、反射した参照光をビームスプリッター12に返すよう導く。
 ガルバノミラー15は、第1の対物レンズ16_1または第2の対物レンズ16_2のうち撮影に使用される対物レンズの射出瞳位置に位置している。ガルバノミラー15は、ビームスプリッター12により導かれた照明光を反射し、対物レンズユニット16へ導く。
 ミラー制御部37は、照明光を生体試料の深さ方向に垂直な方向である水平方向に走査するために、ガルバノミラー15の向きを制御する。
 ガルバノミラー15は、ミラー制御部37の制御により、その向きを変更する。これにより、ガルバノミラー15は、水平方向(xy平面)に照明光をスキャンすることができる。また、ガルバノミラー15は生体試料から反射(散乱も含む)された照明光をデスキャンし、デスキャンすることにより得られた光をビームスプリッター12へ導く。
 対物レンズユニット16は、第1の対物レンズ16_1と、第2の対物レンズ16_2と、リボルバー16_3とを備える。第2の対物レンズ16_2のNAは、第1の対物レンズ16_1よりも大きい。また、簡単のため第1の対物レンズ16_1と第2の対物レンズ16_2との倍率は同じとする。
 なお、本実施形態では、第1の対物レンズ16_1と第2の対物レンズ16_2との倍率を同じにしたが、これに限らず異なっていても良い。
 対物レンズ切替部38は、リボルバー駆動部45に、対物レンズを第1の対物レンズ16_1と第2の対物レンズ16_2とのうちいずれの対物レンズに切り替えるか指示する切替信号を出力する。リボルバー駆動部45は、対物レンズ切替部38から出力された切替信号に基づき、リボルバー16_3を駆動するリボルバー駆動信号をリボルバー16_3に供給する。
 リボルバー16_3は、リボルバー駆動部45から供給されたリボルバー駆動信号に基づいてリボルバー16_3自身を回転させて、第1の対物レンズ16_1と第2の対物レンズ16_2との間で、対物レンズを切り替える。
 第1の対物レンズ16_1または第2の対物レンズ16_2は、ステージ18上の生体試料17に照明光を集光させる。また、第1の対物レンズ16_1または第2の対物レンズ16_2には、生体試料17によって反射(散乱も含む)された照明光(以下、信号光と称する)が入射する。この入射した信号光を、ガルバノミラー15を経由して、ビームスプリッター12へ戻すよう導く。
 光合成部としての機能として、ビームスプリッター12は、ガルバノミラー15を経由して戻ってきた信号光と、参照ミラー13により反射された参照光とを合成する。ビームスプリッター12はその合成により得られた干渉光を、ミラー19を経由して分光器21へ導く。
 分光器21は、ミラー19により反射されて入射された干渉光をスペクトル分解し、スペクトル分解された干渉光を、光検出器22に供給する。
 光検出器22は、そのスペクトル分解された干渉光を検出し、検出した干渉光の輝度を示す信号をA/D変換部31に供給する。光検出器22は、例えば、CCDイメージセンサである。
 A/D変換部31は、光検出器22から供給された干渉光の輝度を示す信号をデジタル信号に変換し、変換したデジタル信号を画像生成部32に供給する。
 画像生成部32は、A/D変換部31から供給されたデジタル信号を逆フーリエ変換し、生体試料17を含むxy平面内の集光点であってz方向に焦点深度分の深さがある断層像の情報を得る。ミラー制御部37によりガルバノミラー15によって信号光が生体試料上で走査することにより、画像生成部32は3次元の断層画像(OCT画像)を取得する。すなわち、画像生成部32は、光検出器22により検出された光に基づいて、被観察物の断層を示す3次元画像を取得する。そして、画像生成部32は、OCT画像のデータを記憶部33に記憶する。
 制御部30は、被観察物である生体試料に第1の対物レンズ16_1により集光された第1の照明光を照射して、画像生成部32に被観察物の断層を示す第1の断層画像を取得させる。また、制御部30は、被観察物に第2の対物レンズ16_2により集光された第2の照明光を照射して、画像生成部32に被観察物の断層を示す第2の断層画像を取得させる。
 ここで、一般に、焦点深度はNAの2乗に反比例するので、対物レンズはNAが大きいほど観察範囲が狭い。これにより、画像生成部32は、第1の断層画像と、深さ方向の観察範囲が第1の断層画像より狭い第2の断層画像とを取得することができる。
 画像生成部32は、第1の断層画像のデータと第2の断層画像のデータとを記憶部33に記憶させる。また、制御部30は、記憶部33から第1の断層画像のデータを読み出し、第1の断層画像のデータを表示部47に表示させる。
 入力部41は、OCT画像を低精細で取得するか高精細で取得するかを指示する精細度sを指示する情報の入力を受け付ける。入力部41は、受け付けた精細度sを示す情報を距離間隔変更部42に出力する。
 距離間隔変更部42は、精細度sを示す情報(例えば、高精細モードを示す情報、低精細モードを示す情報)に基づいて、被観察物である生体試料と干渉光学系10との相対位置である光学相対位置を変更する際の距離間隔を変更する。また、距離間隔変更部42は、高精細モード時には、低精細モード時よりも、第2の断層画像同士が重なる領域を広くとるように前記距離間隔を狭める。焦点深度内であっても照明光の焦点位置に近いほど横分解能の高い画像を得られるので、高精細モード時には、低精細モード時よりも高精細な断層画像を得ることができる。
 具体的には、例えば、精細度sを示す情報が低精細モードを示す情報の場合、距離間隔変更部42は、第2の断層画像を取得する毎にステージを動かす距離間隔を、照明光の焦点深度にする。一方、例えば、精細度sを示す情報が高精細モードを示す情報の場合、距離間隔変更部42は、距離間隔を照明光の焦点深度の半分に変更する。また、観察範囲をz方向に移動する距離は任意に変更してもよい。
 上記の処理を、図3A及び図3Bを用いて説明する。図3A及び図3Bは、低精細モード時と、高精細モード時とにおいて、第2の断層画像を取得する毎にステージが動かされる距離が示された図である。図3Aには、低精細モード時において、ある第2の断層画像が取得されたときの深さ方向(z方向)の焦点深度を示す照明光の強度分布51と、次の第2の断層画像を取得するために、ステージが動かされた後の深さ方向(z方向)の焦点深度を示す照明光の強度分布52とが示されている。取得される画像の解像度は、焦点深度を示す照明光の強度分布51(又は強度分布52)のピークにおいて最も良くなり、ピークから離れるほど悪くなる。
 一回の照明で観察可能なz方向の範囲を、焦点深度を示す強度分布51または強度分布52とする。その場合、第2の断層画像の取得をする毎に焦点深度だけステージが動かされ、図中の焦点深度を示す強度分布51と強度分布52とがz方向で重なる範囲が第2の断層画像同士の重なる領域となる。
 図3Bには、高精細モード時において、ある第2の断層画像が取得されたときの深さ方向(z方向)の焦点深度を示す照明光の強度分布53と、次の第2の断層画像を取得するために、ステージが動かされた後の深さ方向(z方向)の焦点深度を示す照明光の強度分布54とが示されている。
 この場合において、深さ方向に観察範囲が重なる距離は、焦点深度の半値である。第2の断層画像を取得する毎にこの焦点深度の半値だけステージが動かされる。
 図1に戻って、距離間隔変更部42は、変更した光学相対位置を変更する際の距離間隔を示す情報をステージ制御部43に出力する。
 ステージ制御部43は、距離間隔変更部42から供給された距離間隔だけステージを動かすよう指令する制御信号をステージ駆動部44に供給する。
 ステージ駆動部44は、ステージ制御部43から入力された制御信号に基づいて、ステージ18の位置を変更する。
 なお、本実施形態では、ステージ18を対物レンズユニット16に対して動かしたが、これに限らず、対物レンズユニット16を干渉光学系10に対して相対的な位置関係を保ったまま動かしてもよい。
 すなわち、光学相対位置変更部(一例としては、ステージ駆動部44)は、被観察物である生体試料と干渉光学系10との相対位置を変更すればよい。
 対物レンズ切替部38は、リボルバー駆動部45に対物レンズの切替を指示する切替信号を出力し、照明光を集光する対物レンズを第1の対物レンズ16_1から第2の対物レンズ16_2に変更させる。
 第2の対物レンズ16_2に変更された後に、制御部30は、ステージ制御部43の制御によりステージ18の位置が変更される毎に、画像生成部32が第2の断層画像を取得するよう制御する。すなわち制御部30は、被観察物と干渉光学系との光学相対位置が変更される毎に、画像生成部32が第2の断層画像を取得するよう制御する。
 相関算出部34は、記憶部33から第1の断層画像のデータと第2の断層画像のデータを読み出し、第1の断層画像に対する第2の断層画像の相対位置を移動する毎に、第1の断層画像と第2の断層画像が重なった領域における相関を算出する。
 具体的には、例えば、相関算出部34は、以下の式(1)に従って、第1の断層画像と第2の断層画像が重なった領域における相関係数Rを算出する。
Figure JPOXMLDOC01-appb-M000001
 ここで、i、j、kはそれぞれ撮影された断層画像におけるx座標、y座標、z座標である。I(i,j,k)は前記重なった領域における第2の断層画像(観察範囲が狭いOCT画像)の輝度値であり、T(i,j,k)は前記重なった領域における第1の断層画像(観察範囲が広いOCT画像)の輝度値である。ここで、以下の式(2)の表記において、記号「I」の上に記号「-」が付けられたものをI(バー)と略して説明する。I(バー)は、前記重なった領域における第2の断層画像の輝度値I(i,j,k)の平均値であり、以下の式(2)で表される。
Figure JPOXMLDOC01-appb-M000002
 また、T(バー)についてもI(バー)と同様に略して説明することとし、T(バー)は、前記重なった領域における第1の断層画像の輝度値T(i,j,k)の平均値であり、以下の式(3)で表される。
Figure JPOXMLDOC01-appb-M000003
 相関算出部34は、算出した各相対位置における相関係数Rを示す情報を相対位置算出部35に出力する。この場合は、Rが1に近いほどIとTの相関が高いことになる。これにより、相関算出部34は、第2の断層画像が第1の断層画像と最も似ている位置を決定することができる。
 なお、本実施形態では、制御部30は、輝度値と相関係数Rを算出した。しかし、これに限らず、他の測定値や細胞の形状の相関を算出して、第2の断層画像の位置を決定してもよい。すなわち、第1の断層画像内の細胞オブジェクトと第2の断層画像内の細胞オブジェクトとが重なりあるように第2の断層画像の位置を決定してもよい。
 また、制御部30は、相関係数Rに限らず、テンプレートマッチングを用いてマッピングしてもよい。
 相対位置算出部35は、相関算出部34により算出された相関に基づいて、第1の断層画像に対する第2の断層画像の相対位置を決定する。具体的には、例えば、相対位置算出部35は、相関算出部34から入力された各相対位置における相関係数Rのうち、x、yはほぼ同じ範囲で最も相関係数Rが高くなる相対的な深さ方向の位置と相対的な水平方向の位置を抽出し、抽出した相対的な深さ方向の位置と相対的な水平方向の位置を第2の断層画像の相対位置にする。相対位置算出部35は、第2の断層画像の相対位置を示す情報を各第2の断層画像の輝度値を示す情報とともに画素値算出部36に出力する。
 なお、相対位置算出部35は、温度などの環境因子で、それぞれ第2の断層画像(高解像度画像)の画素位置をチルトまたは回転させて、第1の断層画像における第2の断層画像の相対位置を決定してもよい。ドリフトが起こったときに、ステージが傾いたり、ステージが回転したりした場合に好適である。
 なお、制御部30は、オートフォーカス(AF)を掛けて、温度によるステージのドリフト(温度ドリフト)をセンサにより検出し、温度ドリフトの値を用いて、第1の断層画像における第2の断層画像の相対位置を決定してもよい。
 第2の断層画像同士が重なっている画像領域については、画素値算出部36は、2つの第2の断層画像が重なる領域にある各対象位置において、前記対象位置と、それぞれの断層画像における基準点(例えば、断層画像における中心点)との最短位置間隔をそれぞれ算出する。そして、画素値算出部36は、前記対象位置における前記2つの第2の断層画像が得られた際の測定値に対して、それぞれ算出した最短位置間隔が小さいほど重みが大きくなるような重みを掛けることにより、前記対象位置における合成測定値を算出する。
 上記処理について、図4の例を用いて説明する。図4は、重なっている2つの断層画像のxz断面の一例が示された図である。同図において、第2の断層画像の一断面61と、第2の断層画像の一断面61bとが重なっており、重なり領域63が示されている。
 また、第2の断層画像の一断面61における深さ方向(z方向)の第1の中心点62と、第2の断層画像の一断面61bにおける深さ方向(z方向)の第2の中心点62bとが示されている。
 対象位置64から第1の中心点62までの位置間隔はDaであり、対象位置64から第2の中心点62bまでの位置間隔はDbである。
 第2の断層画像の一断面61における対象位置64の輝度値Yaとし、第2の断層画像の一断面61bにおける対象位置64の輝度値Ybとすると、例えば、画素値算出部36は、以下の式(4)に従って、対象位置の輝度値Yを合成測定値として算出する。
 Y=(Ya×Db+Yb×Da)/(Da+Db)   (4)
 画素値算出部36は、算出した第2の断層画像が互いに重なる領域にある各対象位置の合成測定値を示す情報を合成部46に出力する。
 合成部46は、検出部40により検出された相対位置に基づいて、第1の断層画像と第2の合成画像とを合成する。より詳細には、合成部46は、検出部40により検出された相対位置と、画素値算出部36により算出された合成測定値に基づいて、前記第1の断層画像と前記第2の断層画像とを合成する。
 具体的には、例えば、合成部46は、第2の断層画像同士が重なっていない画像領域については、各画素値をそのままその位置における画素値とする。一方、合成部46は、第2の断層画像同士が重なっている画像領域については、画素値算出部36により供給された合成測定値をその位置における画素値とする。これにより、合成部46は、第1の断層画像と第2の断層画像とを合成した合成断層画像を生成する。合成部46は、生成した合成断層画像の記憶部33に記憶させる。また、制御部30は、合成部46により合成された合成断層画像のデータを表示部47に表示させる。これは、集光点の中心により近い測定値を断層画像に反映させる一例である。
 図5は、第1の実施形態における光干渉断層観察装置1の処理の流れを示したフローチャートである。まず、制御部30は、NAの小さい第1の対物レンズ16_1で第1の断層画像を取得するよう制御する(ステップS101)。次に、制御部30の対物レンズ切替部38は、NAの大きい第2の対物レンズ16_2に切り替えるよう制御する(ステップS102)。
 次に、制御部30のステージ制御部43は、第1の断層画像の最も浅い位置(任意の位置でも良い)を撮像できる位置にステージを移動するよう制御する(ステップS103)。次に、制御部30は、第2の断層画像を取得するよう制御する(ステップS104)。
次に、ステージの移動距離の合計が第1の断層画像の観察範囲に等しいか否か判定する(ステップS105)。つまり、第2の断層画像が第1の断層画像の全てのz方向の画像を取得したかどうかを判断する。
 第1の断層画像に含まれる全ての深さで断層画像を取得していない場合(ステップS105 NO)、制御部30は、高精細モードか否か判定する(ステップS106)。高精細モードの場合(ステップS106 YES)、ステージ制御部43は、ステージを焦点深度だけ第2の対物レンズ16_2に近づけるよう制御し(ステップS107)、次の第2の断層画像を得る(ステップS104の処理に戻る)。一方、高精細モードでない場合(ステップS106 NO)、ステージ制御部43は、ステージを焦点深度の半分だけ第2の対物レンズ16_2に近づけるよう制御し(ステップS108)、ステップS104の処理に戻る。
 ステップS105において、第1の断層画像に含まれる全ての深さで断層画像を取得した場合(ステップS105 YES)、相対位置算出部35は、後述する図6に示す処理の流れで、第1の断層画像における第2の断層画像の位置を算出する(ステップS109)。次に、画素値算出部36は、第2の断層画像同士が重なる領域の画素値を算出する(ステップS110)。次に、合成部46は、第1の断層画像と第2の断層画像とを合成する(ステップS111)。以上で、本フローチャートの処理を終了する。
 図6は、図5のステップS109における制御部30の処理の流れを示したフローチャートである。まず、相関算出部34は、第1の断層画像における最も浅い位置の画素を含む第2の断層画像に相当する容量の画像領域と、第2の断層画像との相関係数Rを算出する(ステップS201)。次に、相関算出部34は、第1の断層画像に対する第2の断層画像の中心座標を深さ方向に1画素ずらす(ステップS202)。
 次に、相関算出部34は、第2の断層画像の位置に相当する第1の断層画像であって、第2の断層画像に相当する容量の画像領域と、第2の断層画像との相関係数Rを算出する(ステップS203)。次に、相関算出部34は、第2の断層画像が照合しうる第1の断層画像の全ての深さにおいて相関係数Rを算出したか否か判定する(ステップS204)。
 第2の断層画像が照合しうる第1の断層画像の全ての深さにおいて相関係数Rを算出していない場合(ステップS204 NO)、相関算出部34は、ステップS202の処理に戻る。一方、第2の断層画像が照合しうる第1の断層画像の全ての深さにおいて相関係数Rを算出した場合(ステップS204 YES)、相対位置算出部35は、相関が最も高い中心座標を抽出し、第1の断層画像内の第2の断層画像の位置として、第2の断層画像の中心座標をその抽出した中心座標にする(ステップS205)。
 次に、相対位置算出部35は、すべての第2の断層画像を第1の断層画像内のどの位置に割り当てるか決定したか否か判定する(ステップS206)。すべての第2の断層画像を第1の断層画像内のどの位置に割り当てるか決定していない場合(ステップS206 NO)、制御部30は、次の第2の断層画像を選択して(ステップS207)ステップS201の処理に戻る。一方、すべての第2の断層画像を第1の断層画像内のどの位置に割り当てるか決定した場合(ステップS206 YES)、相対位置算出部35は、その処理を終了する。以上で、本フローチャートの処理を終了する。
 以上、制御部30は、第1の対物レンズ16_1を用いて第1の断層画像を取得する。
 そして、制御部30は、第1の対物レンズ16_1よりも高NAの第2の対物レンズ16_2を用いて、第2の断層画像同士の一部が重なるように第2の断層画像を取得する。そして、制御部30は、第2の断層画像取得後に、第2の断層画像と第1の断層画像との間で相関係数Rを算出し、相関係数Rに基づいて、第2の断層画像を第1の断層画像内のどの位置に割り当てるか決定する。
 これにより、制御部30は、ステージもしくは光学系を正確に移動させることができない場合でも、横分解能が高く深さ方向の観察範囲が狭い第2の断層画像を繋ぎ合わせることにより、深さ方向の観察範囲が広く、かつ高精細な断層画像を取得することができる。
 更に、照明光の焦点位置に近いほど横分解能が高い画像が得られるので、高精細モード時には、制御部30は、第2の断層画像同士が重なる領域を広く取ることで、更に高精細な断層画像を得ることができる。
 なお、本実施形態では、制御部30は、第2の断層画像を取得する毎のステージ18の移動距離を第2の対物レンズ16_2の焦点深度以下にして、第2の断層画像同士の重なりを生じさせた。しかし、これに限らず、ステージ18の移動距離を焦点深度に相当する距離にしてもよい。この場合、焦点位置から外れた位置では焦点深度内とはいえ焦点位置よりも画質(鮮明度など)が若干悪くなる。しかし、第2の断層画像の取得枚数は少なくてすむので、測定時間が短くすることができる。
 <第2の実施形態>
 続いて、第2の実施形態について説明する。第1の実施形態の光干渉断層観察装置1は、低NAの第1の対物レンズで観察範囲の広い第1の断層画像を取得し、高NAの第2の対物レンズで観察範囲の狭い第2の断層画像を取得した。そして、光干渉断層観察装置1は、第2の断層画像を第1の断層画像内のどの位置に割り当てるか決定し、第2の断層画像を繋ぎ合わせて、深さ方向の観察範囲が広くかつ高精細な断層画像を取得した。
 第2の実施形態における光干渉断層観察装置1bは、照明光を絞る絞り部14(光制御手段、切替部、選択部)を備え、絞り部14は、第1の断層画像が取得される際の照明光の光束径を、第2の断層画像が取得される際の照明光の光束径よりも絞る。このように、第1の照明光の光束は、第2の照明光の光束よりも絞られていればよい。
 これにより、光干渉断層観察装置1bは対物レンズを変更しなくても、絞りを開けることにより、第1の断層画像よりも、横分解能が高くかつ深さ方向の観察範囲が狭い第2の断層画像を取得することができるので、第2の断層画像を繋いで深さ方向の観察範囲が広くかつ高精細な断層画像を取得することができる。
 図7は、第2の実施形態における光干渉断層観察装置1bのブロック構成図である。なお、図1と共通する要素には同一の符号を付し、その具体的な説明を省略する。
 図7の光干渉断層観察装置1bの構成は、図1の光干渉断層観察装置1の構成に対して、干渉光学系10が干渉光学系10bに変更されて、干渉光学系10bに絞り部14が追加され、制御部30が制御部30bに変更されて、制御部30bに絞り制御部39(光制御手段、切替部、選択部)が追加されたものになっている。
 絞り部14は、ビームスプリッター12とガルバノミラー15との間に位置する。絞り部14は、絞り制御部39の制御によりビームスプリッター12から導かれた照明光を絞り、絞られた照明光をガルバノミラー15に導く。ガルバノミラー15は、絞られた照明光を第1の対物レンズ16_1に導き、第1の対物レンズ16_1は、絞られた照明光を被観察物である生体試料に集光させる。
 絞り部14の位置は、対物レンズの瞳出瞳位置すなわちガルバノミラー15の位置に近いほうが好ましい。なお、本実施形態では、絞り部14は、ビームスプリッター12とガルバノミラー15との間に位置したが、これに限らず、ガルバノミラー15と被観察物である生体試料17との間に位置してもよい。
 制御部30bは、深さ方向の観察範囲が狭い第1の断層画像を取得する際に、絞り制御部39に絞りを所定の絞りにするよう制御させる。また、制御部30bは、深さ方向の観察範囲が広い第2の断層画像を取得する際に、絞り制御部39に絞りを第1の断層画像を取得した際よりも開けるよう制御させる。
 図8は、第2の実施形態における光干渉断層観察装置1bの処理の流れを示したフローチャートである。まず、制御部30bは、所定の絞りで第1の断層画像を取得する(ステップS301)。絞り制御部39bは、絞り部14の絞りを第1の断層画像が取得された所定の絞りより開けるように制御する(ステップS302)。
 ステップS303からステップS311までの処理は、図5のステップS103からステップS111までの処理と同一であるので、その説明を省略する。以上で、本フローチャートの処理を終了する。
 以上、第2の実施形態における光干渉断層観察装置1bは、対物レンズを変更しなくても、第1の断層画像を取得する場合よりも絞りを開けることにより、第1の断層画像よりも、横分解能が高く深さ方向の観察範囲が狭い第2の断層画像を取得することができるので、第2の断層画像を繋いで高解像度の断層画像を取得することができる。
 なお、全ての実施形態において、制御部(30、30b)は、第1の断層画像を所定のフレーム間隔で取得し、フレーム間の輝度分布の変化が所定の範囲を超えた場合、第2の断層画像を取得するよう制御してもよい。
 また、全ての実施形態において、制御部(30、30b)は、第1の断層画像を所定のフレーム間隔で取得し、フレーム間の輝度分布の変化が所定の範囲を超えた場合、前記輝度分布の変化が所定の範囲を超えた画像領域に対して前記第2の断層画像を取得するよう制御してもよい。
 上記処理を、図9を用いて説明する。図9は、第1の断層画像を所定のフレーム間隔で取得し、フレーム間の輝度分布の変化が所定の閾値を超えた場合、前記輝度分布の変化が所定の閾値を超えた画像領域に対して第2の断層画像を取得する例を示した図である。同図において、縦軸は深さ方向の観察範囲、横軸は時刻である。同図において、第1の断層画像の観察範囲71と、フレーム間の輝度分布の変化が所定の範囲を超えた範囲72と、4つの第2の断層画像の観察範囲73とが示されている。
 制御部(30、30b)は、現在の時刻の断層画像とその直前の時刻の断層画像の各輝度値を比較し、フレーム間の輝度分布の変化が所定の範囲を超えたか否か判定する。
 図9では、例えば、時刻t1と時刻t2ではフレーム間の輝度分布の変化が所定の範囲を超えていないので、制御部(30、30b)は、深さ方向の観察範囲が狭い第1の断層画像のみ取得する。
 一方、時刻t3では、例えば、フレーム間の輝度分布の変化が所定の範囲を超えたので、制御部(30、30b)は、前記輝度分布の変化が所定の範囲を超えた範囲72において、ステージ18を移動させる毎に第2の断層画像を4つ取得するよう制御する。
 なお、全ての実施形態における光干渉断層観察装置(1、1b)では、フーリエドメイン方式の光干渉断層観察装置を用いて説明した。しかし、これに限らず、タイムドメイン方式の光干渉断層観察装置でも同じ手法が適用できる。
 また、全ての実施形態において、光干渉断層観察装置(1、1b)は、相関係数Rが最も高い箇所が複数存在する場合は、参照用の第1の断層画像(OCT画像)におけるマッチング範囲を、第1の断層画像のうちの所定の範囲に絞ることにより、マッチング位置を抽出してもよい。
 全ての実施形態において、撮影対象として生体試料を用いたが、これに限らず、撮影対象となる被観察物は透明な散乱体であればよい。
 なお、全ての実施形態において、制御部(30、30b)は、ガルバノミラー15を動かして、被観察物のある深さにおける第2の断層画像を取得し、その後にステージ18を深さ方向に移動させる毎に、第2の断層画像を取得することを繰り返したが、これに限ったものではない。
 また、全ての実施形態において、制御部(30、30b)は、ガルバノミラー15を動かさずに、ある2次元上の1点で第2の断層画像を取得し、その後にステージ18を深さ方向に移動させる毎に、第2の断層画像を取得することを繰り返して、ある2次元上の1点における第2の断層画像を複数枚取得してもよい。その場合、制御部(30、30b)は、ある2次元上の1点における第2の断層画像を全て取得し終わった後に、ガルバノミラー15を動かして、他の2次元上の点の断層画像についても同様に取得するようにしてもよい。
 また、全ての実施形態において、第2の断層画像を取得する毎に第1の断層画像との相関を求め、相対位置を決定しても良い。
 なお、本発明の実施形態の光干渉断層観察装置(1、1b)は、第1の対物レンズを用いて所定の時間間隔で第1の断層画像を2枚取得し、取得した2枚の断層画像に基づき、2枚の断層画像で変化のない静止領域を抽出し、抽出した静止領域についてのみ相関をとってもよい。これにより、制御部(30、30b)は、計算処理量を少なくでき、第2の断層画像を繋げた高解像度断層画像を取得する時間を短縮することができる。
 なお、本発明の実施形態の光干渉断層観察装置(1、1b)は、蛍光色素で染色された細胞の染色画像を第1の対物レンズを用いて取得し、染色画像から蛍光色素で染色された細胞の画像領域を抽出し、抽出された細胞の画像領域についてのみ、第2の対物レンズ(高NAの対物レンズ)で第2の断層画像を取得するようにしてもよい。これにより、制御部(30、30b)は、計算処理量を少なくでき、第2の断層画像を繋げた高解像度断層画像を取得する時間を短縮することができる。
 なお、全ての実施形態における相関算出部34は、第1の断層画像における全ての画像領域で、第1の断層画像の画像領域であって第2の断層画像に相当する容量の画像領域と、第2の断層画像との相関係数Rを算出したが、これに限ったものではない。
 相関算出部34は、第1の断層画像から第1の代表領域を抽出し、前記第1の代表領域の画素の輝度値と第2の断層画像の輝度値との相関を取ってもよい。
 これにより、相関算出部34は、相関をとる回数を減らすことができるので、計算処理量を少なくでき、第2の断層画像を繋げた高解像度断層画像を取得する時間を短縮することができる。
 また、制御部(30、30b)は、第1の断層画像から第1の断層画像の輝度分布に応じた特徴的な領域を抽出し、抽出された特徴的な領域に対してのみ第2の断層画像を取得するよう制御してもよい。
 具体的には、例えば、制御部(30、30b)は、第1の断層画像から所定の画素間隔毎に輝度変化を算出し、算出された輝度変化が所定の閾値を越える画像領域を抽出し、抽出された画像領域に対して第2の断層画像を取得するよう制御するようにしてもよい。
 また、第1の断層画像は所定の時間間隔で生成されており、制御部(30、30b)は、複数の第1の断層画像から測定値が略一定の特定領域を抽出し、検出部40に、特定領域のみを相関を算出する対象とさせてもよい。
 また、制御部(30、30b)は、第1の断層画像の輝度値が所定の閾値を超える画像領域を抽出し、抽出された画像領域に対して第2の断層画像を取得するよう制御するようにしてもよい。
 また、制御部(30、30b)は、第1の断層画像からエッジを抽出し、抽出されたエッジで囲まれた画像領域に対して第2の断層画像を取得するよう制御するようにしてもよい。
 これにより、制御部(30、30b)は、第1の断層画像の輝度分布に応じた特徴的な領域を抽出し、抽出された特徴的な領域に対してのみ第2の断層画像を取得するので、撮像したい被写体(例えば、細胞)が存在する画像領域についてのみ、高解像度の第2の断層画像を取得することができる。また、制御部(30、30b)は、計算処理量を少なくでき、第2の断層画像を繋げた高解像度断層画像を取得する時間を短縮することができる。
 また、制御部(30、30b)は、第1の断層画像を所定の時間間隔(フレーム間隔)で取得し、所定の時刻に第2の断層画像を取得するよう制御してもよい。
 これにより、予め何かしらの変化が所定の時刻に起こることが分かっている場合に、制御部(30、30b)は、所定の時刻においてのみ解像度のより高い第2の断層画像を取得するので、全ての時刻で第2の断層画像を取得するよりも計算処理量を少なくできる。
 また、制御部(30、30b)は、高解像度を必要としない時刻には、第2の断層画像を取得しないので、全ての時刻で第2の断層画像を取得するよりも、記憶部33に記憶される第2の断層画像データの量を少なくすることができる。
 また、第2の断層画像が得られた第2の照明光の束は、第1の断層画像が得られた第1の照明光の束と同じ束である場合を想定する。すなわち、第1の断層画像と第2の断層画像との深さ方向の観察範囲は同じである。ここで、第2の照明光は、前記第1の照明光とは略同一の領域(温度ドリフト等により完全に同一の領域に照射することはできないが、ほぼ同一の領域)に照射される光束である。
 その場合に、距離間隔変更部42は、第1の断層画像と第2の断層画像とが重なるように、光学相対位置を変更する際の距離間隔を変更する。そして、制御部(30、30b)は、制御部(30、30b)の相関算出部34は、第1の断層画像と第2の断層画像とが重なる領域で相関をとり、制御部(30、30b)はその相関に基づき第1の断層画像と第2の断層画像とを繋げてもよい。
 また、全ての実施形態において、光分離部と光合成部とを一体的に構成する例としてビームスプリッター12を説明した。しかし、これに限らず、例えば、偏光素子を用いて、光分離部と光合成部とを分離的に構成してもよい。
 また、全ての実施形態において、反射型の光干渉断層観察装置について説明したが、本発明を透過型の光干渉断層観察装置にも適用しても良い。
 <変形例>
 全ての実施形態において、光干渉断層観察装置(1、1b)の光制御手段は、複数の開口数の照明光を形成するようにした。しかし、これに限らず、変形例として光制御手段は、複数の開口数の干渉光を形成してもよい。その場合、光干渉断層観察装置(1、1b)の干渉光学系(10、10b)は、ビームスプリッター12と光検出器22の間に集光レンズを設け、集光レンズと光検出器22の間に小開口部を設けられている。
 集光レンズ(光制御手段、切替部、選択部)は、ビームスプリッター12により合成された干渉光を光検出器22に集光する。
 小開口部(光制御手段、切替部、選択部)は、前記第1の対物レンズまたは前記第2の対物レンズの集光点と共役な位置に径可変の開口を有する。小開口部は、集光レンズにより集光された干渉光の内、開口の大きさの光だけを光検出器22に導く。
 これにより、集光レンズと小開口部を更に設置した干渉光学系(10、10b)は、共焦点効果も利用したOptical Coherence Microscopy(OCM)に近くなる。
 上述した実施形態における光干渉断層観察装置(1、1b)は、集光レンズのNAを小さくし、小開口部を大きくした状態に相当する(この状態では、z方向の観察範囲が広く、低横分解能である)。
 一方、変形例における光干渉断層観察装置において、干渉光学系(10,10b)は、照明光で被観察物を照明する照明光学系としての機能と、前記照明光を照明したことで得られる被観察物からの光を観察して結像する観察光学系としての機能を有する。照明光学系は、z方向の観察範囲が広くかつ低横分解能である。
 制御部(30、30b)は、光制御手段としての機能として、小開口部の開口の大きさを制御することにより、観察光学系を切り替える。具体的には、光制御手段は、小開口部の開口の大きさを所定の大きさよりも小さくすることにより、z方向の観察範囲が広くかつ低横分解能の観察光学系から、z方向の観察範囲が狭くかつ高横分解能の観察光学系に切り替える。
 これにより、変形例における光干渉断層観察装置は、z方向の観察範囲が広くかつ低横分解能の第1の断層画像と、z方向の観察範囲が狭くかつ高横分解能の第2の断層画像を得ることができる。
 なお、通常のOCMでは、照明系の開口と検出系の開口を別々にしないで共通にしているが、この通常のOCMの系に対しても本変形例を適用可能である。
 また、変形例の光干渉断層観察装置において、照明光学系と観察光学系とを共通の光学系で構成する場合、集光レンズを設けず、光制御手段は、照明光と干渉光の開口数を変更する。
 具体的には、制御部30の対物レンズ切替部38は、第1の対物レンズ16_1と第2の対物レンズ16_2とを切り替えるか、あるいは、制御部の30bの絞り制御部39は、絞りを切り替えることにより、照明光と干渉光の開口数を共に変更する。ここで、開口数とは、光学系の集光点に対して光学系が形成する光束の有効口径がなす角度である。
 z方向の観察範囲が広くかつ低横分解能で断層画像を取得する場合には、制御部(30、30b)は、照明光の開口数を小さくし、小開口部の開口を大きくする。
 一方、z方向の観察範囲が狭くかつ高横分解能で断層画像を取得する場合には、制御部(30、30b)は、照明光の開口数を大きくし、小開口部の開口を小さくする。
 また、変形例の光干渉断層観察装置において、照明光学系と観察光学系とを独立の光学系で構成する場合、変形例の光干渉断層観察装置は、干渉光を光検出器22に集光する第1の集光レンズと、第1の集光レンズの開口数よりも大きい開口数を有し、干渉光を光検出器22に集光する第2の集光レンズとを備える。また、光制御手段は、照明系の対物レンズのNAを小さくし、照明光の開口数を変更する。
 z方向の観察範囲が広く&低横分解能で断層画像を取得する場合には、制御部(30、30b)は、第1の集光レンズと第1の集光レンズの開口数よりも大きい開口数を有する第2の集光レンズとを切り替えることにより、観察光学系における干渉光の開口数を小さくし、かつ小開口部の開口を大きくする。
 一方、z方向の観察範囲が狭くかつ高横分解能で断層画像を取得する場合には、制御部(30、30b)は、第1の集光レンズと第2の集光レンズとを切り替えることにより、観察光学系における干渉光の開口数を大きくし、かつ小開口部の開口を小さくする。
 ただし、上記の変形例の光干渉断層観察装置において、z方向の観察範囲が広くかつ低横分解能で断層画像を取得する場合には、照明光学系における照明光の開口数または観察光学系における干渉光の開口数を小さくした状態で、分光器の開口数を満たすのが望ましい。
 上記事柄をまとめると、照明光学系または観察光学系の少なくとも一方は、照明光または被観察物からの光の光束径を絞る絞り手段を備えているといえる。
 また、本実施形態の制御部(30、30b)の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、前記記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部(30、30b)に係る上述した種々の処理を行ってもよい。
 なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
  さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
 以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1、1b 光干渉断層観察装置
5 広帯域光源(光源)
10、10b 干渉光学系
12 ビームスプリッター
13 参照ミラー
15 ガルバノミラー
16_1 第1の対物レンズ
16_2 第2の対物レンズ
21 分光器
22 光検出器(光検出部)
30、30b 制御部
32 画像生成部
33 記憶部
34 相関算出部
35 相対位置算出部
36 画素値算出部
39 絞り制御部
40 検出部
42 距離間隔変更部
46 合成部

Claims (21)

  1.  入射した光を参照光と照明光とに分岐する分岐手段と、
     前記照明光で被観察物を照明する照明光学系と、
     前記照明光を照明したことで得られる前記被観察物からの光を観察して結像する観察光学系と、
     前記参照光と前記測定光とを干渉させる合成手段と、
     前記合成手段による干渉により得られた干渉光を検出する光検出部とを備える光干渉断層観察装置であって、
     前記照明光学系および前記観察光学系の少なくともどちらか一方の光学系は、複数の開口数を変更する光制御手段を備え、
     前記光制御手段が第1の開口数に設定した状態で前記光検出部により検出された第1の干渉光に基づいて前記被観察物の第1の断層画像を生成し、前記光制御手段が前記第1の開口数と異なる第2の開口数に設定した状態で前記光検出部により検出された第2の干渉光に基づいて前記被観察物の第2の断層画像を生成する画像生成部と
     前記画像生成部で生成された前記第1の断層画像に対する前記画像生成部で生成された前記第2の断層画像の相対位置であって、前記第1の断層画像に対する前記第2の断層画像の相関が最も高くなる相対位置を検出する検出部と、
     を備えることを特徴とする光干渉断層観察装置。
  2.  前記照明光学系は、前記光制御手段を備え、
     前記光制御手段は、前記複数の開口数の照明光を形成することを特徴とする請求項1の記載の光干渉断層観察装置。
  3.  前記観察光学系は、前記光制御手段を備え、
     前記光制御手段は、前記複数の開口数の干渉光を形成することを特徴とする請求項1または請求項2に記載の光干渉断層観察装置。
  4.  前記照明光を前記被観察物に集光する対物レンズと、
     前記対物レンズの集光点と共役な位置に径可変の開口を有する開口部と、
     を備えることを特徴とする請求項3に記載の光干渉断層観察装置。
  5.  前記照明光学系または前記観察光学系の少なくとも一方は、前記照明光または前記被観察物からの光の光束径を絞る絞り手段を備えることを特徴とする請求項1から請求項4に記載のいずれか1項に光干渉断層観察装置。
  6.  前記照明光を前記被観察物に集光する第1の対物レンズと、
     前記第1の対物レンズの開口数よりも大きい開口数を有し、前記照明光を被観察物に集光する第2の対物レンズと、
     を備えることを特徴とする請求項1から請求項5のいずれか1項に記載の光干渉断層観察装置。
  7.  前記被観察物からの光を結像するための第1の集光レンズと、
     前記第1の集光レンズの開口数よりも大きい開口数を有し、前記被観察物からの光を結像するための第2の集光レンズと、
     を備えることを特徴とする請求項1から請求項6のいずれか1項に記載の光干渉断層観察装置。
  8.  前記第1の対物レンズと前記第1の集光レンズとが同一であり、
     前記第2の対物レンズと前記第2の集光レンズとが同一であることを特徴とする請求項7に記載の光干渉断層観察装置。
  9.  前記検出部により検出された相対位置に基づいて、前記第1の断層画像と前記第2の断層画像とを合成する合成部を備えることを特徴とする請求項1から請求項8のいずれか1項に記載の光干渉断層観察装置。
  10.  第2の断層画像が深さ方向に複数生成されており、
     2つの前記第2の断層画像が互いに重なる領域にある各対象位置において、前記対象位置とそれぞれの断層画像における基準点との間隔とに基づいて、前記対象位置における前記2つの第2の断層画像が得られた際の測定値に対して重みを掛けることにより、前記対象位置における合成測定値を算出する画素値算出部を備え、
     前記合成部は、前記検出部により検出された相対位置と、前記画素値算出部により算出された合成測定値に基づいて、前記第1の断層画像と前記第2の断層画像とを合成することを特徴とする請求項9に記載の光干渉断層観察装置。
  11.  前記検出部は、前記第1の断層画像から第1の代表領域を抽出し、前記第1の代表領域の測定値と第2の測定値との相関を取ることを特徴とする請求項1から請求項10のいずれか1項に記載の光干渉断層観察装置。
  12.  前記制御部は、前記第1の断層画像から前記第1の断層画像の測定値の分布に応じた特徴的な領域を抽出し、前記抽出された特徴的な領域に対して第2の断層画像を生成するよう前記画像生成部を制御することを特徴とする請求項1から請求項11のいずれか1項に記載の光干渉断層観察装置。
  13.  前記制御部は、前記第1の断層画像から所定の位置間隔毎に測定値の変化を算出し、前記算出された測定値の変化が所定の閾値を越える画像領域を前記特徴的な領域として抽出し、前記抽出された特徴的な領域に対して前記第2の断層画像を生成するよう制御することを特徴とする請求項12に記載の光干渉断層観察装置。
  14.  前記制御部は、前記第1の断層画像を所定の時間間隔で生成し、フレーム間の測定値の分布の変化が所定の閾値を超えた場合、前記第2の断層画像を生成するよう制御することを特徴とする請求項1から請求項13のいずれか1項に記載の光干渉断層観察装置。
  15.  前記制御部は、前記第1の断層画像を所定のフレーム間隔で生成し、所定の時刻に第2の断層画像を生成するよう制御することを特徴とする請求項1から請求項14のいずれか1項に記載の光干渉断層観察装置。
  16.  前記第1の断層画像は所定の時間間隔で生成されており、
     前記制御部は、複数の前記第1の断層画像から測定値が略一定の特定領域を抽出し、前記検出部に、前記特定領域のみを相関を算出する対象とさせることを特徴とする請求項1から請求項15のいずれか1項に記載の光干渉断層観察装置。
  17.  前記被観察物と前記干渉光学系との光学相対位置を変更する前記光学相対位置変更部と、
     自装置の外部から供給された精細度を示す情報に基づいて、前記光学相対位置を変更する際の距離間隔を変更する距離間隔変更部と、
     を備え、
     前記制御部は、前記光学相対位置が変更される毎に前記画像生成部が第2の断層画像を生成するよう制御することを特徴とする請求項1から請求項16のいずれか1項に記載の光干渉断層観察装置。
  18.  前記被観察物と前記干渉光学系との光学相対位置を変更する前記光学相対位置変更部と、
     前記第1の断層画像と第2の断層画像とが重なるように、前記光学相対位置を変更する際の距離間隔を変更する距離間隔変更部と、
     を備え、
     前記第2の照明光は、前記第1の照明光とは略同一の領域に照射される光束であり、
     前記検出部は、第1の断層画像と第2の断層画像とが重なる領域で相関をとることを特徴とする請求項1に記載の光干渉断層観察装置。
  19.  前記検出部は、前記第1の断層画像に対する前記第2の断層画像の相対位置が移動する毎に、第1の断層画像と第2の断層画像が重なった領域における相関を算出する相関算出部と、前記算出された相関に基づいて、第1の断層画像に対する第2の断層画像の相対位置を決定する相対位置算出部と、を備えることを特徴とする請求項1から請求項18のいずれか1項に記載の光干渉断層観察装置。
  20.  干渉光を検出する光検出部と、複数の開口数を変更する光制御手段とを備える光干渉断層観察装置が実行する画像間の相対位置決定方法であって、
     前記光制御手段が第1の開口数に設定した状態で前記光検出部により検出された第1の干渉光に基づいて前記被観察物の第1の断層画像を生成し、前記光制御手段が前記第1の開口数と異なる第2の開口数に設定した状態で前記光検出部により検出された第2の干渉光に基づいて前記被観察物の第2の断層画像を生成する画像生成手順と、
     前記第1の断層画像に対する前記第2の断層画像の相対位置であって、前記第1の断層画像に対する前記第2の断層画像の相関が最も高くなる相対位置を検出する検出手順と、
     を有することを特徴とする画像間の相対位置決定方法。
  21.  被観察物の断層を示す第1の断層画像を示す情報と第2の断層画像を示す情報とが記憶されている記憶部を備えるコンピュータに、
     前記第1の断層画像を示す情報と前記第2の断層画像を示す情報とを前記記憶部から読み出し、前記第1の断層画像に対する前記第2の断層画像の相対位置であって、前記第1の断層画像に対する前記第2の断層画像の相関が最も高くなる相対位置を検出する検出ステップを実行させるための画像間の相対位置決定プログラム。
PCT/JP2012/057615 2011-03-24 2012-03-23 光干渉断層観察装置、画像間の相対位置決定方法および画像間の相対位置決定プログラム WO2012128367A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12760540.0A EP2690425B1 (en) 2011-03-24 2012-03-23 Optical coherence tomography observation device, method for determining relative position between images, and program for determining relative position between images
JP2013506043A JP5527478B2 (ja) 2011-03-24 2012-03-23 光干渉断層観察装置、画像間の相対位置決定方法および画像間の相対位置決定プログラム
US14/031,729 US8953172B2 (en) 2011-03-24 2013-09-19 Optical coherence tomography observation apparatus, method for determining relative position of images, and program for determining relative position of images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-066744 2011-03-24
JP2011066744 2011-03-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/031,729 Continuation US8953172B2 (en) 2011-03-24 2013-09-19 Optical coherence tomography observation apparatus, method for determining relative position of images, and program for determining relative position of images

Publications (1)

Publication Number Publication Date
WO2012128367A1 true WO2012128367A1 (ja) 2012-09-27

Family

ID=46879504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057615 WO2012128367A1 (ja) 2011-03-24 2012-03-23 光干渉断層観察装置、画像間の相対位置決定方法および画像間の相対位置決定プログラム

Country Status (4)

Country Link
US (1) US8953172B2 (ja)
EP (1) EP2690425B1 (ja)
JP (1) JP5527478B2 (ja)
WO (1) WO2012128367A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017109983A1 (ja) * 2015-12-25 2017-06-29 オリンパス株式会社 微弱発光試料の解析方法及び解析システム
EP3291177A1 (en) 2016-09-01 2018-03-07 SCREEN Holdings Co., Ltd. Image processing apparatus and image processing method
JP2018189395A (ja) * 2017-04-28 2018-11-29 株式会社Screenホールディングス 試料容器およびこれを用いる撮像方法
WO2019181073A1 (ja) * 2018-03-23 2019-09-26 株式会社Screenホールディングス 光干渉断層撮像装置および光干渉断層撮像方法
WO2020226082A1 (ja) * 2019-05-08 2020-11-12 株式会社トプコン 眼科装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9835436B2 (en) 2013-11-01 2017-12-05 Tomey Corporation Wavelength encoded multi-beam optical coherence tomography
US9200888B2 (en) * 2013-11-01 2015-12-01 Tomey Corporation Multi-channel optical coherence tomography
JP7241550B2 (ja) * 2019-01-22 2023-03-17 本田技研工業株式会社 案内装置、案内方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003503135A (ja) * 1999-07-02 2003-01-28 ハイパーメッド イメイジング インコーポレイテッド イメージング装置および試料分析方法
JP2007272117A (ja) * 2006-03-31 2007-10-18 Seiko Precision Inc 顕微鏡、顕微鏡の制御方法、及び顕微鏡の制御プログラム
JP2009510531A (ja) * 2005-09-29 2009-03-12 ザ ジェネラル ホスピタル コーポレイション 1以上の生物学的構造体のマルチモダリティ顕微鏡画像生成を実行する装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4786027B2 (ja) * 2000-12-08 2011-10-05 オリンパス株式会社 光学系及び光学装置
EP1651109A1 (en) * 2003-07-31 2006-05-03 Koninklijke Philips Electronics N.V. Method and apparatus for determining a property of a fluid which flows through a biological tubular structure with variable numerical aperture
FR2893504B1 (fr) 2005-11-18 2009-05-15 Limousine D Applic Biolog Dite Procede d'obtention d'un principe actif exhausteur de la resistance mecanique cutanee, principe actif et compositions
EP2096990A1 (en) * 2006-12-22 2009-09-09 Koninklijke Philips Electronics N.V. An imaging system with two imaging modalities
JP5448353B2 (ja) 2007-05-02 2014-03-19 キヤノン株式会社 光干渉断層計を用いた画像形成方法、及び光干渉断層装置
JP5587902B2 (ja) 2008-11-25 2014-09-10 ブルースター・シリコーンズ・フランス・エスアエス グアニジン構造を有する化合物及びそのオルガノポリシロキサン重縮合触媒としての使用
JP2010259492A (ja) * 2009-04-30 2010-11-18 Topcon Corp 眼底観察装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003503135A (ja) * 1999-07-02 2003-01-28 ハイパーメッド イメイジング インコーポレイテッド イメージング装置および試料分析方法
JP2009510531A (ja) * 2005-09-29 2009-03-12 ザ ジェネラル ホスピタル コーポレイション 1以上の生物学的構造体のマルチモダリティ顕微鏡画像生成を実行する装置及び方法
JP2007272117A (ja) * 2006-03-31 2007-10-18 Seiko Precision Inc 顕微鏡、顕微鏡の制御方法、及び顕微鏡の制御プログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ABDULHALIM I ET AL.: "Multiple interference and spatial frequencies' effect on the application of frequency-domain optical coherence tomography to thin films' metrology", MEASUREMENT SCIENCE AND TECHNOLOGY, vol. 20, no. 1, January 2009 (2009-01-01), pages 015108-1 - 015108-11, XP020152536 *
D.HUANG; EA SWANSON; CP LIN; JS SCHUMAN; WG STINSON; W CHANG; MR HEE; T FLOTTE; K GRAGORY; CA PULIAFITO: "Optical coherence tomography", SCIENCE, vol. 254, no. 5035, 1991, pages 1178 - 1181
W.DREXLER; U.MORGNER; F.X.KARTNER; S.A.BOPPART; X.D.LI; E.P.IPPEN; J.G.FUJIMOTO: "In vivo ultrahigh-resolution optical coherence tomography", OPTICS LETTERS, vol. 24, no. 17, 1999, pages 1221 - 1223
YYASUNO; J.SUGISAKA; YSANDO; YNAKAMURA; S.MAKITA; M.ITOH; T.YATAGAI: "Non-iteractive numerical method for laterally superresolving Fourier domain optical coherence tomography", OPTICAL EXPRESS, vol. 14, no. 3, 2006, pages 1006 - 1020

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017109983A1 (ja) * 2015-12-25 2017-06-29 オリンパス株式会社 微弱発光試料の解析方法及び解析システム
JPWO2017109983A1 (ja) * 2015-12-25 2018-10-18 オリンパス株式会社 微弱発光試料の解析方法及び解析システム
EP3291177A1 (en) 2016-09-01 2018-03-07 SCREEN Holdings Co., Ltd. Image processing apparatus and image processing method
JP2018036171A (ja) * 2016-09-01 2018-03-08 株式会社Screenホールディングス 画像処理装置および画像処理方法
US10548480B2 (en) 2016-09-01 2020-02-04 SCREEN Holdings Co., Ltd. Optical coherence tomographic imaging based image processing apparatus and image processing method for imaging object at a plurality of times at different focus positions
JP2018189395A (ja) * 2017-04-28 2018-11-29 株式会社Screenホールディングス 試料容器およびこれを用いる撮像方法
WO2019181073A1 (ja) * 2018-03-23 2019-09-26 株式会社Screenホールディングス 光干渉断層撮像装置および光干渉断層撮像方法
JP2019168312A (ja) * 2018-03-23 2019-10-03 株式会社Screenホールディングス 光干渉断層撮像装置および光干渉断層撮像方法
JP7113637B2 (ja) 2018-03-23 2022-08-05 株式会社Screenホールディングス 光干渉断層撮像装置および光干渉断層撮像方法
US11525665B2 (en) 2018-03-23 2022-12-13 SCREEN Holdings Co., Ltd. Optical coherence tomographic apparatus and optical coherence tomographic method performing spectrum conversion based on single gaussian distribution curve
WO2020226082A1 (ja) * 2019-05-08 2020-11-12 株式会社トプコン 眼科装置
JP7491531B2 (ja) 2019-05-08 2024-05-28 株式会社トプコン 眼科装置

Also Published As

Publication number Publication date
EP2690425A1 (en) 2014-01-29
US8953172B2 (en) 2015-02-10
EP2690425B1 (en) 2018-08-08
US20140016136A1 (en) 2014-01-16
JPWO2012128367A1 (ja) 2014-07-24
JP5527478B2 (ja) 2014-06-18
EP2690425A4 (en) 2015-03-11

Similar Documents

Publication Publication Date Title
JP5527478B2 (ja) 光干渉断層観察装置、画像間の相対位置決定方法および画像間の相対位置決定プログラム
JP5982405B2 (ja) オートフォーカス装置を有する顕微鏡及び顕微鏡でのオートフォーカス方法
JP6460364B2 (ja) 軸外し反射位相顕微鏡システムおよび軸外し位相顕微鏡のための方法
JP6378931B2 (ja) 顕微鏡装置及び画像取得方法
US9243888B2 (en) Image mapped optical coherence tomography
US9696686B2 (en) Method and device for focussing a microscope automatically
JP4922823B2 (ja) 3次元形状測定装置
JP6762810B2 (ja) 画像処理装置および画像処理方法
WO2019097587A1 (ja) 定量位相画像生成方法、定量位相画像生成装置およびプログラム
JP2012008055A (ja) 画像解析方法および画像解析装置
WO2011046211A1 (ja) 画像解析方法および画像解析装置
WO2019181073A1 (ja) 光干渉断層撮像装置および光干渉断層撮像方法
JP6595618B2 (ja) 広視野顕微鏡を用いて試料の空間分解された高さ情報を確定するための方法および広視野顕微鏡
JP6363477B2 (ja) 3次元形状測定装置
JP7339447B2 (ja) ライン走査マイクロスコピー用の装置および方法
US10082653B1 (en) Systems and methods for performing quantitative phase-contrast confocal microscopy
Kim et al. Spectrally encoded slit confocal microscopy using a wavelength-swept laser
JP2022052328A (ja) 細胞シートの厚さ評価方法
JP6702851B2 (ja) 撮像装置および撮像方法
WO2022044471A1 (ja) 撮像システム
Vakili et al. Line-scanning confocal microscope utilizing high brightness led
Xue et al. Determining the optimal imaging position in tomographic interference microscopy
JP2015049169A (ja) 光断層画像取得装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12760540

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013506043

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012760540

Country of ref document: EP