WO2016092940A1 - 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム - Google Patents

情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム Download PDF

Info

Publication number
WO2016092940A1
WO2016092940A1 PCT/JP2015/077855 JP2015077855W WO2016092940A1 WO 2016092940 A1 WO2016092940 A1 WO 2016092940A1 JP 2015077855 W JP2015077855 W JP 2015077855W WO 2016092940 A1 WO2016092940 A1 WO 2016092940A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
luminance value
measured
fluorescent
unit
Prior art date
Application number
PCT/JP2015/077855
Other languages
English (en)
French (fr)
Inventor
木島　公一朗
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15866785.7A priority Critical patent/EP3232181B1/en
Priority to US15/529,790 priority patent/US10190982B2/en
Publication of WO2016092940A1 publication Critical patent/WO2016092940A1/ja
Priority to US16/218,764 priority patent/US10753871B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00172—Optical arrangements with means for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/58—Photometry, e.g. photographic exposure meter using luminescence generated by light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present disclosure relates to an information processing apparatus, an image acquisition system, an information processing method, an image information acquisition method, and a program.
  • Patent Document 1 As a laser confocal microscope (microscope endoscope) system using an image guide fiber composed of a plurality of optical fiber strands, for example, the one shown in Patent Document 1 below has been proposed.
  • a microscopic endoscope system proposed in Patent Document 1 transmits fluorescence generated by exciting an observation target with one photon through an image guide fiber, and observes the generated fluorescence.
  • Non-Patent Document 1 the surface position and the in-focus position of an observation target are specified by applying an image recognition technique to a fluorescence image obtained with a FOV (Field Of View) type fluorescence microscope. A method is disclosed.
  • FOV Field Of View
  • Non-Patent Document 1 is a technique for applying image recognition processing to a fluorescent image obtained with a specific fluorescent microscope. Therefore, the method disclosed in Non-Patent Document 1 is applied to an object in which the size of the bright spot in the fluorescence image is unknown, such as a multiphoton fluorescence image obtained with a multiphoton fluorescence microscope. It is extremely difficult.
  • an information processing apparatus in view of the above circumstances, an information processing apparatus, an image acquisition system, an information processing method, and image information that can more easily specify the position of the surface of the object to be measured for an arbitrary fluorescent image.
  • the acquisition method and program are proposed.
  • the fluorescence image is configured for the fluorescence image corresponding to each thickness position based on a plurality of fluorescence images captured while changing the position in the thickness direction of the measurement object.
  • the luminance values to be arranged are rearranged in order from the highest luminance value, the luminance values located in a predetermined order are extracted from the highest luminance value, and the extracted luminance value is focused on the fluorescent image at the thickness position.
  • the representative luminance value specifying unit as a representative luminance value and the representative luminance value in each of the fluorescent images, the thickness position corresponding to the fluorescent image that gives the maximum representative luminance value is determined on the object to be measured.
  • an information processing apparatus including a surface position specifying unit that sets a position corresponding to the surface.
  • the object to be measured is imaged by irradiating the object to be measured with excitation light and imaging fluorescence generated in the object to be measured while changing the position in the thickness direction of the object to be measured.
  • An image pickup unit that generates a plurality of image data related to fluorescence of each of the thicknesses, and by performing data processing on each of the plurality of image data generated by the image pickup unit while controlling the image pickup unit,
  • a calculation processing unit that generates a plurality of fluorescence images corresponding to the imaging unit, wherein the imaging unit generates excitation light for generating fluorescence by exciting the object to be measured with two or more photons.
  • a light source optical system for guiding light to an object and a plurality of multimode optical fiber strands are bundled, and the excitation light incident on one end by the light source optical system is transmitted to the object to be measured.
  • an image guide fiber for transmitting an image of the object to be measured, which is imaged to the other end by the fluorescence generated in the object to be measured, to the one end, and the image guide fiber The image of the object to be measured transmitted to the one end of the optical fiber is scanned at a scanning pitch narrower than the core size of the plurality of optical fiber strands, and light corresponding to each of the optical fiber strands is scanned.
  • An imaging optical system that captures at least a part of the corresponding region of the fiber strand so as to be included in a plurality of images and generates a plurality of image data of the device under test, and the arithmetic processing unit includes the light For each of a plurality of pixels constituting the corresponding region of the fiber strand, a selection unit that selects, as a representative pixel value of the pixel, a pixel value having the maximum luminance among the plurality of image data, and a selected before Using a representative pixel value, a captured image of the object to be measured is reconstructed, a captured image reconstruction unit that generates the fluorescence image, and a plurality of images captured while changing the position in the thickness direction of the object to be measured Based on the fluorescence image, when the brightness values constituting the fluorescence image are rearranged in order from the highest brightness value for the fluorescence images corresponding to the respective thickness positions, the brightness positioned in a predetermined order from the highest brightness value Extracting a value, using the
  • the fluorescence image corresponding to each thickness position is obtained.
  • the luminance value located in a predetermined order is extracted from the highest luminance value, and the representative luminance of the fluorescent image focusing on the extracted luminance value
  • the thickness position corresponding to the fluorescent image giving the maximum representative luminance value is a position corresponding to the surface of the object to be measured. And an information processing method is provided.
  • excitation light for generating fluorescence by exciting the object to be measured with two or more photons is guided to the object to be measured, and a multimode optical fiber A plurality of image guide fibers bundled together, while transmitting the excitation light incident on one end of the image guide fiber to the object to be measured, while changing the position in the thickness direction of the object to be measured, Transmitting the image of the object to be measured, which is imaged to the other end by the fluorescence generated in the object to be measured, to the one end, and the one end of the image guide fiber
  • the image of the object to be measured transmitted to is scanned at a scanning pitch narrower than the core size of the plurality of optical fiber strands, and the optical fiber strand corresponding regions corresponding to the respective optical fiber strands are scanned.
  • the computer is configured to measure the fluorescence image corresponding to each thickness position based on a plurality of fluorescence images captured while changing the position in the thickness direction of the measurement object.
  • the luminance values constituting the fluorescent image are rearranged in order from the highest luminance value, the luminance value located in a predetermined order is extracted from the highest luminance value, and the extracted fluorescent value is focused on the fluorescent image
  • a representative luminance value specifying function as a representative luminance value, and the thickness position corresponding to the fluorescent image that gives the maximum representative luminance value by using the representative luminance value in each of the fluorescent images;
  • a program for realizing a surface position specifying function for setting a position corresponding to the surface of the image is provided.
  • the representative luminance value of the fluorescent image corresponding to each thickness position is specified, and the maximum representative luminance is obtained.
  • the thickness position corresponding to the fluorescence image giving the value is the position corresponding to the surface of the object to be measured.
  • the position of the surface of the object to be measured can be more easily specified for an arbitrary fluorescent image.
  • FIG. 3 is a block diagram illustrating an example of a configuration of an information processing device according to a first embodiment of the present disclosure.
  • FIG. It is the block diagram which showed an example of the structure of the image information calculation part which concerns on the same embodiment.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus and an arithmetic processing unit according to an embodiment of the present disclosure.
  • the user compares each bright spot with a position where the contrast of the bright spot is high or where the outline of the bright spot is clear, and the focus is on the position closest to the objective lens among these bright spots. After selecting the bright spot, the surface position of the cell is specified.
  • the surface position can be specified without being an expert.
  • the object to be measured is not constant in shape, such as cells, and has various thicknesses, the surface position cannot be specified unless the three-dimensional structure of the object to be measured can be imagined.
  • the specification of the position depends on the skill level of the user. Therefore, there is a demand for a method that can easily specify the surface position of an object to be measured in a fluorescent image regardless of the skill level of the user.
  • Patent Document 1 In order to specify the surface position of the object to be measured in the fluorescent image, it is conceivable to apply an image recognition technique as described in Non-Patent Document 1, for example.
  • the technique of Patent Document 1 is a technique that can be applied to a fluorescent image obtained with a specific fluorescence microscope, and it is difficult to use this technique.
  • an autofocus technique for detecting the position of a slide glass such a technique cannot be applied in an environment where there is no slide glass, such as in vivo living body observation.
  • the present inventor has focused on using some information that can be obtained from the fluorescence image in order to specify the surface position regardless of the fluorescence microscope to be used and the fluorescence excitation process.
  • One of the possible information is the average luminance value of the fluorescent image.
  • FIG. 1 is an explanatory diagram for explaining a fluorescent image
  • FIG. 2 is a graph for explaining a fluorescent image.
  • the brighter the brightness of a bright spot is, the brighter the brighter the brighter the brighter the fluorescent image is, the closer the surface is to the surface.
  • the brightness of the bright spot becomes darker.
  • the fluorescent image tends to become generally brighter at an observation position where focus is not achieved.
  • the number of bright spots often varies depending on the observation position in the thickness direction (depth direction) of the object to be measured.
  • FIG. 2 is a plot of changes in the average luminance value of each fluorescence image when the fluorescence generated from a certain cell is observed from the deep side of the cell toward the surface side at intervals of 5 ⁇ m.
  • the horizontal axis is a number (image number) associated with the fluorescent images sequentially taken from the deep side
  • the vertical axis is the average luminance value.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the information processing apparatus according to the present embodiment.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the image information calculation unit included in the information processing apparatus according to the present embodiment.
  • FIG. 5 to 9 are explanatory diagrams for explaining image information calculation processing according to the present embodiment.
  • the information processing apparatus 10 acquires a fluorescence image of a measurement object captured by the imaging unit 20, and uses the fluorescence image to generate an image related to a fluorescence image including at least the position of the surface of the measurement object. It is an apparatus for calculating information.
  • the information processing apparatus 10 may be an information processing apparatus such as various computers and servers provided outside the imaging unit 20, or may be a CPU (Central Processing Unit), ROM ( An arithmetic chip including a read only memory (RAM), a RAM (random access memory), or the like may be used.
  • CPU Central Processing Unit
  • ROM An arithmetic chip including a read only memory (RAM), a RAM (random access memory), or the like may be used.
  • the object to be measured is not particularly limited as long as it emits fluorescence, and may be an inanimate object such as fluorescent beads or an organism such as various cells.
  • the fluorescence emitted from the object to be measured may be emitted by the object to be measured itself, or may be emitted by various fluorescent dyes added to the object to be measured.
  • the excitation process of the fluorescence is not particularly limited, and may be fluorescence generated from a fluorescent material excited in a one-photon process, or excited in a multiphoton process such as a two-photon process. Fluorescence generated from a fluorescent material may be used.
  • the imaging unit 20 that captures the fluorescence image irradiates the object to be measured with excitation light having a predetermined wavelength and detects the fluorescence generated from the object to be measured, thereby generating image data relating to the generated fluorescence. Is a unit. As long as the imaging unit 20 can capture a fluorescence image while changing the position in the thickness direction of the object to be measured, any apparatus such as various fluorescent microscopes can be used.
  • the information processing apparatus 10 mainly includes a data acquisition unit 101, an image information calculation unit 103, a display control unit 105, and a storage unit 107, as shown in FIG.
  • the data acquisition unit 101 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the data acquisition unit 101 acquires from the imaging unit 20 image data of a plurality of fluorescent images generated by the imaging unit 20 and having different thickness directions of the measurement object.
  • the image data of the plurality of fluorescent images acquired by the data acquisition unit 101 is transmitted to the image information calculation unit 103 described later.
  • the data acquisition unit 101 may associate time information related to the date and time when the image data is acquired with the acquired image data of a plurality of fluorescent images, and store it in the storage unit 107 described later as history information. .
  • the image information calculation unit 103 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the image information calculation unit 103 uses at least a plurality of fluorescent images transmitted from the data acquisition unit 101 and having different thickness directions of the object to be measured, and includes at least information on a position corresponding to the surface of the object to be measured. Is calculated. Further, the image information calculation unit 103 can also calculate information regarding the scattering coefficient of the object to be measured as the image information. When calculating the image information as described above, the image information calculation unit 103 outputs information about the calculated image information to the display control unit 105.
  • the image information related to the fluorescence image of the object S to be measured is output to the display unit (not shown) of the information processing apparatus 10 and various computers that can communicate with the information processing apparatus 10.
  • the image information calculation unit 103 may output the obtained image information to various recording media, various computers, or the like, or may output the information to a paper medium using an output device such as a printer. Good. Further, the image information calculation unit 103 may store the image information related to the fluorescence image of the measurement object S as history information in the storage unit 107 or the like in association with time information related to the date and time when the information is calculated.
  • the display control unit 105 is realized by, for example, a CPU, a ROM, a RAM, an output device, and the like.
  • the information processing apparatus 10 includes various processing results including image information regarding the surface position of the measurement object S, the scattering coefficient of the measurement object S, and the like transmitted from the image information calculation unit 103. Display control when displaying on an output device such as a display or an output device provided outside the information processing apparatus 10 is performed. Thereby, the user of the information processing apparatus 10 can grasp the various processing results related to the measured object S on the spot.
  • the storage unit 107 is realized by, for example, a RAM or a storage device included in the information processing apparatus 10 according to the present embodiment.
  • various parameters, intermediate progress of processing, and various databases and programs that need to be saved when the information processing apparatus 10 according to the present embodiment performs some processing are appropriately stored. To be recorded.
  • the storage unit 107 can be freely read / written by the data acquisition unit 101, the image information calculation unit 103, the display control unit 105, and the like.
  • the image information calculation unit 103 includes a representative luminance value specifying unit 111, a surface position specifying unit 113, a scattering coefficient calculating unit 115, and a result output unit 117. Prepare.
  • the representative luminance value specifying unit 111 is realized by, for example, a CPU, a ROM, a RAM, and the like. Based on a plurality of fluorescent images captured while changing the position in the thickness direction of the measurement object S, the representative luminance value specifying unit 111 maximizes the luminance value constituting the fluorescent image with respect to the fluorescent images corresponding to the respective thickness positions. A process of sorting in order from the luminance value (sort process) is performed. Thereafter, the representative luminance value specifying unit 111 extracts luminance values located in a predetermined order from the highest luminance value, and sets the extracted luminance value as the representative luminance value of the fluorescent image at the focused thickness position.
  • FIG. 5 shows the fluorescence from eGFP generated from the object to be measured S (specifically, eGFP-RFP-expressing cancer tissue cell: MKN45 (human gastric cancer epithelial cell) made in a mouse individual) in the depth direction.
  • S specifically, eGFP-RFP-expressing cancer tissue cell: MKN45 (human gastric cancer epithelial cell) made in a mouse individual
  • MKN45 human gastric cancer epithelial cell
  • the luminance values of all the pixels constituting one fluorescent image are sorted in order from the highest luminance value to the lowest luminance value, and the change of the highest luminance value in each fluorescent image
  • a curve shown as “Maximum” in FIG. 5 is obtained.
  • a plot of the luminance values in the top 1% of the highest luminance values is plotted as “99%” in FIG. It is a curve described.
  • the image information calculation unit 103 considers that “the brightest and focused fluorescent image” is a fluorescent image corresponding to the surface of the object S to be measured.
  • the probability that a bright spot exists in the fluorescent image is almost equal, when the brightness values of all the pixels are sorted in order from the highest brightness value in the fluorescent image, similar bright spots are observed. Can be considered.
  • FIG. 5 when plotting the change of the luminance value accompanying the change of the thickness position, if the state of the curve changes exponentially, the above preconditions are almost satisfied. It can be judged. Therefore, as shown in FIG.
  • the change of the luminance value in a specific order is plotted in the fluorescence images having different depth directions, and the plot of the order in which the state of the change of the luminance value is exponential is specified. If the position where the luminance value becomes the largest can be specified based on such a plot, the position of the surface of the object S to be measured can be determined.
  • the representative luminance value specifying unit 111 treats the luminance value of the top 1% in the plot shown in FIG. 5 (that is, the luminance value of the “99%” plot in FIG. 5) as the representative luminance value. Thus, it is possible to specify the position of the surface of the object S to be measured.
  • the order of the luminance value from the highest order may be selected as appropriate according to the density of the bright spots of the fluorescent image of interest, etc. It is preferable that the order is included in the upper 0.5% to 5% of the total number of pixels constituting the fluorescent image. When the order is less than 0.5%, various electric noises may be superimposed on the luminance value as shown in the “Maximum” plot in FIG. 5, which is not preferable. Further, if the rank is in excess of 5%, the luminance value is likely to increase monotonously as shown in the plot of “90%” in FIG. 5, which is not preferable.
  • the representative luminance value specifying unit 111 extracts, as the representative luminance value, the luminance value located in a predetermined order with respect to the highest luminance value in each fluorescent image.
  • the representative luminance value specifying unit 111 outputs information on the representative luminance value extracted as described above to the surface position specifying unit 113 and the scattering coefficient calculating unit 115 described later.
  • the surface position specifying unit 113 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the surface position specifying unit 113 specifies a position corresponding to the surface of the measurement object S based on the representative luminance value of each fluorescent image extracted by the representative luminance value specifying unit 111.
  • the surface position specifying unit 113 corresponds the thickness position corresponding to the fluorescent image giving the maximum representative luminance value among the representative luminance values in each fluorescent image to the surface of the object S to be measured. It is a position to do.
  • the plot of the luminance value indicated as “99%” in the drawing is a plot representing the change in the representative luminance value.
  • the position of the surface of the object S is specified.
  • the surface position specifying unit 113 outputs information on the surface position of the measurement object S specified in this way to a scattering coefficient calculation unit 115 and a result output unit 117 described later.
  • the scattering coefficient calculation unit 115 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the scattering coefficient calculation unit 115 calculates the scattering coefficient of the object to be measured from the degree of change in the representative luminance value along the thickness direction using the representative luminance value in each fluorescent image.
  • the luminance value of the rank extracted as the representative luminance value changes exponentially as the position in the thickness direction changes. Therefore, by paying attention to the change in the representative luminance value along the thickness direction, the scattering coefficient of the DUT S can be obtained from the degree of the change.
  • the scattering coefficient calculation unit 115 is based on the representative luminance values of the fluorescent image corresponding to the deep part rather than the position corresponding to the surface of the object S to be measured at three thickness positions located at equal intervals. The scattering coefficient is calculated using the representative luminance value.
  • the scattering coefficient calculation processing in the scattering coefficient calculation unit 115 will be specifically described with reference to FIG.
  • the fluorescence image is an image of fluorescence when the object to be measured S is excited with N photons (N is an integer of 1 or more), and as shown schematically in FIG.
  • the background luminance value is BG
  • the following two formulas 101 and 103 are established from the definition of the scattering coefficient R S.
  • the unit of the scattering coefficient R S is [1 / mm].
  • N is a known parameter that is determined according to the fluorescence microscope used when capturing the fluorescence image
  • dx is a known parameter that is set when three representative luminance values are extracted.
  • a 1 to A 3 are representative luminance values that can be obtained from the fluorescence image. Therefore, by using Expression 105, the scattering coefficient R S of the object S to be measured can be calculated from the representative luminance value.
  • FIG. 7 to FIG. 9 are scattering coefficients R S of a certain measurement object S calculated based on the above equation 105 using a fluorescent image captured using a two-photon fluorescence microscope. Such a fluorescent image is the same as the fluorescent image used when creating FIG.
  • FIG. 7 shows the calculation result of the scattering coefficient R S when dx is 10 ⁇ m
  • FIG. 8 shows the calculation result of the scattering coefficient R S when dx is 25 ⁇ m
  • the position corresponding to the surface is number # 43, and therefore, the data S after number # 43 does not include the object S to be measured, so the measurement of the scattering coefficient R S is performed.
  • the representative luminance value is a value whose luminance value changes exponentially, but among them, a position indicating a state of change as close to an exponential function as possible (in other words, the luminance value). It is better to pay attention to the position where the change of the sharpness is. Focusing on the plot of “99%” in FIG. 6, it can be seen that the brightness values change sharply at the positions of image numbers # 20 to # 40. Therefore, the scattering coefficient calculation unit 115 calculates a value with as little unevenness as possible at the position where the luminance value is steeply changed among the scattering coefficients R S calculated based on the equation 105. Let scattering coefficient R S.
  • the scattering coefficient calculation unit 115 calculates the scattering coefficient R S of the measurement object S of interest as 5 (1 / mm).
  • the scattering coefficient calculation unit 115 outputs information related to the scattering coefficient R S of the object to be measured S thus calculated to the result output unit 117 described later.
  • the result output unit 117 is realized by, for example, a CPU, a ROM, a RAM, an output device, a communication device, and the like.
  • the result output unit 117 outputs information on the position of the surface of the measurement object S specified by the surface position specification unit 113 and information on the scattering coefficient R S of the measurement object S calculated by the scattering coefficient calculation unit 115. To do.
  • each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • a computer program for realizing each function of the information processing apparatus according to the present embodiment as described above can be produced and installed in a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • FIG. 10 is a flowchart illustrating an example of the flow of the information processing method according to the present embodiment.
  • the data acquisition unit 101 acquires a plurality of fluorescent images obtained from different thickness positions of the DUT (step S101).
  • the data acquisition unit 101 outputs information about the acquired plurality of fluorescent images to the representative luminance value specifying unit 111 of the image information calculation unit 103.
  • the representative luminance value specifying unit 111 uses the plurality of fluorescent images output from the data acquisition unit 101 to extract representative luminance values from the respective fluorescent images (step S103). Thereafter, the representative luminance value specifying unit 111 outputs information regarding the extracted representative luminance value to the surface position specifying unit 113 and the scattering coefficient calculating unit 115.
  • the surface position specifying unit 113 specifies a position that gives the maximum representative luminance value based on the extracted representative luminance value as a position corresponding to the surface of the DUT (step S105).
  • the surface position specifying unit 113 outputs information related to the specified position of the surface of the measured object S to the scattering coefficient calculating unit 115 and the result output unit 117.
  • the scattering coefficient calculation unit 115 calculates the scattering coefficient R S using the above formula 105 based on the extracted representative luminance value (step S107).
  • the scattering coefficient calculation unit 115 outputs information on the calculated scattering coefficient R S to the result output unit 117.
  • the result output unit 117 outputs information on the surface position specified by the surface position specifying unit 113 and information on the scattering coefficient calculated by the scattering coefficient calculating unit 115 to the outside (step S109). Thereby, the user of the information processing apparatus 10 can grasp the image information related to the fluorescent image of the object S to be measured.
  • the information processing apparatus 10 and the information processing method according to the present embodiment it is possible to provide a method for specifying a surface position that does not depend on visual observation (in other words, does not depend on a user's technique). It becomes possible.
  • the information processing apparatus 10 and the information processing method according to the present embodiment it is possible to calculate the scattering coefficient R S of the measurement object S. If the scattering coefficient R S of the object to be measured S is known, it is possible to estimate the intensity (power) required to acquire the fluorescence image, and thus obtain important information for appropriately acquiring the fluorescence image. Is possible.
  • the scattering coefficient may be related to a state such as cell fibrosis
  • the measurement of the scattering coefficient may be an index for evaluating the function of the organ.
  • information can be acquired by observation from one side of the measurement object S, and the measurement object S has a thickness of about several tens of microns. If so, the scattering coefficient R S can be calculated. Therefore, in the information processing apparatus 10 and the information processing method according to the present embodiment, information can be acquired even in an organ having a high porosity of a tissue such as a lung, and a small amount of tissue collected from an organ such as a liver. Can get information.
  • a cancer tissue has a scattering coefficient or an absorption coefficient that is about 15% lower than that of a normal tissue. From the fluorescence image by the information processing apparatus 10 and the information processing method according to the present embodiment. If the scattering coefficient of the tissue can be calculated, there is a great merit in the determination of the excision position and the intraoperative diagnosis of cells in digestive surgery. Similar benefits also contribute to the discovery of cancer cells in respiratory medicine, respiratory surgery and urology. Thus, the information processing apparatus 10 and the information processing method according to the present embodiment provide useful information even in the medical field.
  • a fluorescence image is acquired using an image guide fiber composed of a plurality of optical fiber strands.
  • the present inventor has separately studied a method for detecting fluorescence generated by the multiphoton excitation process.
  • the waveguide of the excitation light by the image guide fiber is preferably single mode (more specifically, the 0th mode), and multimode light
  • the optical fiber strand constituting the image guide fiber is a single mode optical fiber strand.
  • the difference in refractive index between the core and the clad of the optical fiber in order to reduce crosstalk between adjacent optical fiber strands when using a single mode optical fiber strand, it is necessary to reduce the difference in refractive index between the core and the clad of the optical fiber.
  • reducing the refractive index difference between the core and the cladding means increasing the oozing of the electric field strength distribution to the cladding. Accordingly, in order to reduce crosstalk between adjacent optical fiber strands, it is important to widen the distance between adjacent optical fiber strands.
  • the resolution of the image guide fiber depends on the arrangement interval of the optical fiber strands, and the smaller the arrangement interval of the optical fiber strands, the higher the obtained resolution. Therefore, when a single mode optical fiber is used and the interval between the optical fibers is widened, the optical fiber is scanned to obtain the same resolution as that of a normal image guide fiber. While a further mechanism is required, it is difficult to reduce the diameter.
  • NA numerical aperture
  • the present inventor is an image acquisition system capable of stably acquiring a multiphoton excitation fluorescence image even when an image guide fiber made of a multimode optical fiber is used. , Earnestly examined.
  • By selecting a high fluorescence value it is possible to acquire data of excitation light that has reached the sample side end surface in a single mode, and an image acquisition system according to the second embodiment of the present disclosure as described below is completed. It was.
  • FIG. 11 is an explanatory diagram schematically showing the configuration of the image acquisition system according to the present embodiment.
  • the image acquisition system 30 irradiates an object to be measured, which is an observation target, with excitation light having a predetermined wavelength, generates fluorescence from the object to be measured by a multiphoton excitation process, and performs an object based on the fluorescence.
  • This is a system that acquires a captured image of an imaging body and calculates image information as described in the first embodiment based on the obtained captured image.
  • the image acquisition system 30 includes an imaging unit 40 and an arithmetic processing unit 50.
  • the imaging unit 40 is a unit that generates image data relating to the generated fluorescence by irradiating the object to be measured with excitation light having a predetermined wavelength and detecting the fluorescence generated by the multiphoton excitation process. Image data generated by the imaging unit 40 is output to the arithmetic processing unit 50. The detailed configuration of the imaging unit 40 will be described in detail below.
  • the arithmetic processing unit 50 comprehensively controls the imaging processing of the object to be measured by the imaging unit 40 and performs arithmetic processing to be described later on the image data generated by the imaging unit 40 to obtain a captured image of the object to be measured. It is a unit that generates and calculates image information.
  • the arithmetic processing unit 50 may be an information processing device such as various computers or servers provided outside the imaging unit 40, or may be an arithmetic unit including a CPU, ROM, RAM, and the like mounted on the imaging unit 40. A chip may be used.
  • FIG. 12 is an explanatory diagram schematically illustrating an example of the configuration of the imaging unit according to the present embodiment.
  • 13A to 13D are explanatory diagrams schematically showing an example of a light source provided in the imaging unit according to the present embodiment.
  • FIG. 14 is an explanatory view schematically showing the structure of an image guide fiber included in the imaging unit according to the present embodiment.
  • FIG. 15A to FIG. 15D are explanatory views for explaining mode excitation when light is collected on the end face of the multimode optical waveguide.
  • FIG. 16B are explanatory diagrams schematically showing a scanning method of the image guide fiber in the imaging unit according to the present embodiment.
  • FIG. 17 is an explanatory diagram schematically illustrating a specific example of the imaging unit according to the present embodiment.
  • 18A and 18B are explanatory diagrams for explaining an end unit of the image guide fiber according to the present embodiment.
  • the imaging unit 40 included in the image acquisition system 30 according to the present embodiment mainly includes a light source optical system 401, an image guide fiber 403, and an imaging optical system 405, as shown in FIG.
  • the light source optical system 401 guides excitation light having a predetermined wavelength for generating fluorescence by exciting the object to be measured S with two or more photons (that is, exciting with multiple photons) to the object to be measured S. It is an optical system.
  • the light source optical system 401 includes a laser light source that emits excitation light having a predetermined wavelength, optical elements such as various lenses, various mirrors, and various filters that guide the excitation light emitted from the light source to the measurement object S. Consists of
  • the detailed arrangement of various optical elements in the light source optical system 401 is not particularly limited, and a known optical system can be employed.
  • the laser light source included in the light source optical system 401 is not particularly limited, and various light sources such as various semiconductor lasers, solid-state lasers, and gas lasers can be used. By using a light source using various semiconductor lasers as the laser light source, the image acquisition system 30 can be further downsized.
  • a light source using a semiconductor laser that can be used as a laser light source unit included in the light source optical system 401 for example, a semiconductor laser as shown in FIGS. 13A to 13D and a wavelength conversion unit that converts the wavelength of the semiconductor laser light are used.
  • a light source can be used.
  • FIG. 13A schematically shows a main oscillator 411 composed of a semiconductor laser and a resonator, which is an example of a semiconductor laser that can be used in a laser light source unit.
  • a main oscillator 411 provided as a laser light source unit includes a semiconductor laser unit 412 capable of emitting laser light having a predetermined wavelength (for example, wavelength 405 nm), and a resonator unit for amplifying the laser light emitted from the semiconductor laser unit 412. 413.
  • FIG. 13B schematically shows a master oscillator output amplifier (MOPA) 414 composed of a master oscillator and an optical amplifier, which is an example of a semiconductor laser that can be used in a laser light source unit. is there.
  • MOPA master oscillator output amplifier
  • an optical amplifier 415 for further amplifying the emitted laser light is provided after the main oscillator 411 shown in FIG. 13A.
  • the optical amplifier 415 for example, a semiconductor optical amplifier (SOA) or the like can be preferably used.
  • SOA semiconductor optical amplifier
  • FIG. 13C schematically shows a light source having a MOPA 414 and a wavelength conversion unit, which is an example of a semiconductor laser that can be used in the laser light source unit.
  • a wavelength conversion unit 416 for converting the wavelength of the laser light whose intensity has been amplified is provided after the optical amplifier 415 shown in FIG. 13B.
  • the wavelength converter 416 for example, an optical parametric oscillator (Optical Parametric Oscillator: OPO) using various nonlinear crystals can be suitably used.
  • a beam shape correction unit 417 for correcting the beam shape of the laser light is provided between the MOPA 414 and the wavelength conversion unit 416, and the wavelength conversion efficiency in the wavelength conversion unit 416 is further improved. Also good.
  • the wavelength of the excitation light emitted from the laser light source is not particularly limited, and a wavelength suitable for exciting the phosphor contained in the measurement object S may be appropriately selected.
  • the laser used as the light source may be a CW (Continuous Wave) laser or a pulsed laser.
  • the image guide fiber 403 is a bundle of a plurality of multimode optical fiber strands 421, as schematically shown in FIG.
  • Each of the optical fiber strands 421 is formed of a core 423 capable of guiding not only 0th-order mode light but also higher-order mode light, and a clad 425 provided so as to cover the core 423. ing.
  • Each of the optical fiber strands 421 is arranged to have a hexagonal fine structure as much as possible, as schematically shown in FIG.
  • the separation distance d between the adjacent optical fiber strands 421 may be appropriately set according to the required image resolution, and may be set to a value such as 3.5 ⁇ m, for example. Further, the diameter d ′ of the core 423 may be set as appropriate, for example, a value such as 3 ⁇ m.
  • the image guide fiber 403 transmits excitation light incident on one end (for example, end A in FIG. 12) by the light source optical system 401 to the object S to be measured, and also by fluorescence generated in the object S to be measured.
  • An image of the object S to be measured that is focused on the other end (for example, end B in FIG. 12) is transmitted to the other end (for example, end A in FIG. 12).
  • the imaging optical system 405 uses the size of the core 423 of the plurality of optical fiber strands 421 (see FIG. 12) for the image of the object S to be measured transmitted to the end of the image guide fiber 403 (for example, the end A in FIG. 12). 14 at a scanning pitch narrower than the core diameter d ′). At this time, the imaging optical system 405 performs imaging so that at least a part of the corresponding region of the optical fiber corresponding to each optical fiber 421 is included in a plurality of images, and image data of the object S to be measured. Generate multiple.
  • the imaging optical system 405 includes various detectors that detect an image of the measurement object S transmitted through the image guide fiber 403 (that is, a fluorescence signal corresponding to the generated fluorescence), and the measurement object to the detector. It comprises optical elements such as various lenses, various mirrors, and various filters that guide the S image (fluorescence signal).
  • the detailed arrangement of various optical elements in the imaging optical system 405 is not particularly limited, and a known optical system can be employed.
  • the detector provided in the imaging optical system 405 a known one can be used as long as it can convert information on the intensity of fluorescence into an electrical signal.
  • detectors include various detectors such as a CCD (Charge-Coupled Device) and a photomultiplier tube (PMT).
  • At least one of the light source optical system 401 and the imaging optical system 405 shown in FIG. 12 is provided with a mechanism for scanning the end face of the image guide fiber 403 as described in detail below.
  • a scanning mechanism is not particularly limited, and for example, a known mechanism such as a galvanometer mirror can be used.
  • a multimode optical waveguide multimode optical fiber
  • an optical fiber is used in which a 0th-order mode as shown in FIG. 15A and a first-order mode (higher-order mode) as shown in FIG. 15B are guided.
  • each mode has orthogonality.
  • the external perturbation for example, when the optical waveguide is scratched, the zero-order mode propagates through the optical waveguide (optical fiber) in the zero-order mode and the first-order mode also propagates in the primary mode. Propagates the waveguide.
  • the electric field distribution of the condensed spot is the 0th order shown in FIG. 15A. Since it substantially coincides with the electric field distribution of the mode, the zero-order mode is excited inside the fiber. Further, since the sign of the electric field strength distribution shown in FIG. 15B is different at the center, the integrated value of the electric field strength distribution shown in FIG. 15C and the electric field strength distribution of the first-order mode shown in FIG. It becomes zero and the primary mode is not excited.
  • FIG. 15D when the condensing spot is shifted from the center of the core, the superposition integral of the electric field intensity distribution shown in FIG.
  • the first-order mode is excited at a certain rate, and the proportion of excitation of the zero-order mode is reduced accordingly. Therefore, as shown in FIG. 15C, when the zero-order mode is predominantly excited at the incident end face, the zero-order mode is excited at the incident end face, and the waveguide mode of the optical waveguide is orthogonal. The light is guided in the optical fiber as it is in the 0th order mode to the emission end.
  • the present inventor has obtained the knowledge that if the single mode (0th order mode) is excited at the incident end face of the image guide fiber, there is a case where the specimen side end face may reach the sample side end face in a single mode.
  • the inventors have come up with a method for scanning the end face of the image guide fiber 403 as schematically shown in FIG. 16B.
  • the imaging unit 40 scans the end face of the image guide fiber 403 (for example, the end face of the end A in FIG. 12) at a scan pitch narrower than the core size of the plurality of optical fiber strands.
  • FIG. 16A shows an example in which scanning is performed in a direction parallel to the scanning direction of the end face of the image guide fiber 403 at a pitch p narrower than the core size d ′ of the optical fiber strand 421.
  • the position of the axis representing the scanning direction is set in advance according to the diameter of the image guide fiber 403 to be used, the core diameter d ′ of the optical fiber strand 421, and the like.
  • the end face of the image guide fiber 403 is imaged at the position of the black circle in FIG. 16A.
  • the imaging interval in the direction parallel to the scanning direction is controlled by the arithmetic processing unit 50 based on the scanning pitch p, but the imaging interval in the direction orthogonal to the scanning direction is determined by the image guide fiber 403. Control is performed based on the distance d between adjacent optical fiber strands 421.
  • the entire object to be measured S is imaged once by the control described above. That is, in the scanning method shown in FIG. 16A, the frequency of image data generated by imaging (data restoration frequency) is higher than the number of optical fiber strands 421.
  • FIG. 16B shows an example in which scanning is performed at a pitch p narrower than the core size d ′ of the optical fiber strand 421 in a direction orthogonal to the scanning direction of the end face of the image guide fiber 403. Yes.
  • the position of the axis representing the scanning direction is set in advance according to the diameter of the image guide fiber 403 to be used, the core diameter d ′ of the optical fiber strand 421, and the like.
  • the end face of the image guide fiber 403 is imaged at the position of the black circle in FIG. 16B.
  • the imaging interval in the direction parallel to the scanning direction is controlled by the arithmetic processing unit 50 based on the interval d between the adjacent optical fiber strands 421 of the image guide fiber 403 and is orthogonal to the scanning direction.
  • the imaging interval is controlled based on the scanning pitch p.
  • the whole object to be measured S is imaged a plurality of times (for example, five times in the example of FIG. 16B) by the control described above. That is, in the scanning method shown in FIG. 16B, the data restoration frequency in one scanning corresponds to the number of optical fiber strands 421, and the reference position (scanning start position) in each scanning process is the optical fiber element. It changes at a pitch p narrower than the arrangement pitch of the lines 421.
  • imaging in the above description means that the excitation light guided by the light source optical system 401 forms an image at each black circle position in FIGS. 16A and 16B, and the image guide fiber 403 at the black circle position. This means that an image (fluorescent image) transmitted to the end face of the camera is taken.
  • optical fiber corresponding region At least a part of a region corresponding to each optical fiber strand 421 (hereinafter also referred to as “optical fiber corresponding region”) is included in a plurality of images. An image is taken so as to be contained.
  • the excitation light is irradiated on the entire core in a plurality of image data generated by the imaging process.
  • the image data in the situation is included.
  • the fundamental wave (0th-order mode) is excited in the core of the image guide fiber 403, so that there may be a case where the fundamental wave reaches the sample side end face with a fundamental wave.
  • the imaging unit 40 may perform the imaging process only once, or in order to further increase the probability, the imaging unit 40 performs multiple imaging at each imaging position. Processing may be performed.
  • a scanning method in which FIGS. 16A and 16B are combined that is, a method of scanning at the scanning pitch p in each of the scanning direction and the direction orthogonal to the scanning direction. It goes without saying that may be adopted.
  • the specific size of the scanning pitch p shown in FIGS. 16A and 16B may be appropriately set according to the core diameter d ′ of the optical fiber strand 421, but is about 1/10 or less of the core diameter d ′. It is preferable to do.
  • the scanning pitch p is set to 1/10 or less of the core diameter d ′ (for example, when the core diameter d ′ is 3 ⁇ m, the scanning pitch p is set to 0.3 ⁇ m or less).
  • a luminance of 86% or more with respect to the maximum luminance excited by the strand 421 can be obtained.
  • the scanning pitch p by setting the scanning pitch p to 1/12 or less of the core diameter d ′, it is possible to obtain a luminance of 90% or more with respect to the maximum luminance excited by the optical fiber strand 421.
  • FIGS. 16A and 16B are merely examples, and are not limited to the examples shown in FIGS. 16A and 16B.
  • the excitation light calculated from the light source as shown in FIGS. 13A to 13D is guided to the XY-galvanometer mirror XY-gal via the lens L and the mirror M, and the light is applied.
  • the imaging position on the image guide fiber 403 is controlled by the galvanometer mirror.
  • the excitation light that has passed through the galvanometer mirror is guided to the objective lens Obj via the relay lens RL, the mirror M, and the dichroic mirror DM.
  • one end of the image guide fiber 403 as described above is disposed at the focal position f of the objective lens Obj.
  • Fluorescence is generated from the measured object S by the excitation light guided to the measured object S through the image guide fiber 403 and the end unit 431.
  • the generated fluorescence is guided to the photomultiplier tube as a detector through the end unit 431, the image guide fiber 403, the objective lens Obj, the dichroic mirror DM, the lens L, the notch filter F, and the like.
  • the imaging unit 40 it is important to acquire a fluorescence image while changing the position of the measurement object S in the thickness direction (in other words, changing the focal position).
  • the focal position as shown in FIG. 18A, in the end unit 431, the lens 433 disposed at the tip of the optical fiber strand 421 is moved, or the entire end unit 431 is moved.
  • the coupling surface of the lens 433 it is conceivable to move the coupling surface of the lens 433.
  • an optical component 435 for a simple hologram for example, a spatial light modulator (SLM) as disclosed in Non-Patent Document 2 and Non-Patent Document 3 or the Non-Patent Document 4 is disclosed. Such as quadratically dispersed grating.
  • SLM spatial light modulator
  • Such as quadratically dispersed grating By providing these optical components 435 to realize imaging planes extending to different depths, fluorescence from different thickness positions can be acquired in a short time without providing a drive mechanism.
  • the optical component 435 as shown in FIG. 18B when the optical component 435 as shown in FIG. 18B is used, the amount of information regarding fluorescence at each thickness position is smaller than when the end unit 431 as shown in FIG. 18A is used. Therefore, when the end unit 431 as shown in FIG. 18B is used, the image guide fiber 403 having as many pixels as possible is used, or the image guide fiber 403 itself is rotated and an image is acquired again. By doing so, it is preferable to increase the amount of information regarding fluorescence at each thickness position. Note that when the image guide fiber 403 itself is rotated, it is not necessary to provide a driving mechanism in the end unit 431 itself, and the thickness direction differs depending on the rotation of the image guide fiber 403.
  • FIG. 19 is a block diagram schematically showing a configuration of an arithmetic processing unit provided in the image acquisition system according to the present embodiment.
  • FIG. 20 is a block diagram illustrating an example of the configuration of the data processing unit according to the present embodiment.
  • 21 to 23 are explanatory diagrams for explaining representative pixel value selection processing in the arithmetic processing unit according to the present embodiment.
  • the arithmetic processing unit 50 controls the operation of the imaging unit 40, and performs predetermined arithmetic processing on the image data generated by the imaging unit 40, whereby each thickness of the object S to be measured. It is a unit that generates a plurality of fluorescent images corresponding to positions.
  • the arithmetic processing unit 50 includes an imaging unit control unit 501, a data acquisition unit 503, a data processing unit 505, a display control unit 507, and a storage unit 509. Prepare for.
  • the imaging unit control unit 501 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the imaging unit control unit 501 generally performs various operations in the imaging unit 40 by transmitting and receiving various control signals to and from the light source, optical element, scanning mechanism, and the like that configure the imaging unit 40 according to the present embodiment. To oversee. As a result, the light source included in the imaging unit 40 emits excitation light at a predetermined timing, or the end face of the image guide fiber 403 is scanned according to the scanning method as described above. Further, the light source, the optical element, the scanning mechanism, and the like constituting the imaging unit 40 can also perform various controls in cooperation with each other via the imaging unit control unit 501.
  • control information for example, information related to the imaging position
  • various control information used when the imaging unit control unit 501 controls the imaging unit 40 is output to the data acquisition unit 503, the data processing unit 505, and the like as necessary. These are used as appropriate for various processes in these processing units.
  • the imaging unit control unit 501 uses the information regarding the scattering coefficient of the measurement object S calculated by the data processing unit 505 described later, and the excitation light irradiated to the measurement object S.
  • the power may be controlled.
  • the data acquisition unit 503 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the data acquisition unit 503 acquires a plurality of image data generated by the imaging unit 40 according to the scanning method as described above from the imaging unit 40.
  • the plurality of image data acquired by the data acquisition unit 503 is transmitted to the data processing unit 505 described later.
  • the data acquisition unit 503 may associate time information related to the date and time when the image data is acquired with the acquired plurality of image data, and store it in the storage unit 509 described later as history information.
  • the data processing unit 505 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the data processing unit 505 generates and obtains a fluorescence image of the measurement object S by performing various data processing on the plurality of captured images captured by the imaging unit 40 transmitted from the data acquisition unit 503.
  • the surface position and scattering coefficient of the measurement object S are specified by further using the obtained fluorescence image.
  • the data processing unit 505 calculates various types of information as described above, the data processing unit 505 outputs the generated fluorescent image and information about the calculated image information to the display control unit 507.
  • the fluorescent image itself of the object S to be measured and the image information related to the fluorescent image are displayed on the display unit (not shown) of the arithmetic processing unit 50 or various computers that can communicate with the arithmetic processing unit 50. Will be output.
  • the data processing unit 505 may output the obtained fluorescent image and image information to various recording media, various computers, and the like, or output them to a paper medium using an output device such as a printer. May be. Further, the data processing unit 505 may store the fluorescence image of the measurement object S and the image information related to the fluorescence image in the storage unit 509 and the like as history information in association with time information related to the date and time when the information is calculated. .
  • the display control unit 507 is realized by, for example, a CPU, a ROM, a RAM, an output device, and the like.
  • the display control unit 507 displays various processing results transmitted from the data processing unit 505 including information about the fluorescence image of the measurement object S, the surface position of the measurement object S, the scattering coefficient of the measurement object S, and the like. Display control is performed when displaying on an output device such as a display provided in the arithmetic processing unit 50, an output device provided outside the arithmetic processing unit 50, or the like. Thereby, the user of the image acquisition system 30 can grasp various processing results related to the measurement object S on the spot.
  • the storage unit 509 is realized by, for example, a RAM or a storage device provided in the arithmetic processing unit 50 according to the present embodiment.
  • the storage unit 509 stores various parameters, intermediate progress of processing, and various databases and programs that need to be saved when the arithmetic processing unit 50 according to the present embodiment performs some processing. To be recorded.
  • the storage unit 509 can be freely read / written by the imaging unit control unit 501, the data acquisition unit 503, the data processing unit 505, the display control unit 507, and the like.
  • the data processing unit 505 includes a selection unit 511, a captured image reconstruction unit 513, a representative luminance value identification unit 515, a surface position identification unit 517, and a scattering coefficient calculation. A unit 519 and a result output unit 521.
  • the selection unit 511 is realized by, for example, a CPU, a ROM, a RAM, and the like. For each of a plurality of pixels constituting the corresponding region of the optical fiber, the selection unit 511 determines a pixel value that has the maximum luminance among the plurality of image data transmitted from the data acquisition unit 503 as a representative pixel value of the pixel. Choose as.
  • the representative pixel value selection processing performed by the selection unit 511 will be specifically described with reference to FIGS.
  • the image guide fiber 403 is a bundle of a plurality of optical fiber strands 421, as schematically shown in FIG. 21, the interval (arrangement pitch) d between adjacent optical fiber strands or the optical fiber strands.
  • an optical fiber strand corresponding region which is a region corresponding to one optical fiber strand 421, can be virtually defined.
  • the selection unit 511 treats an optical fiber strand corresponding region defined for each optical fiber strand 421 as a selection target region in a representative pixel value selection process as described in detail below.
  • the scanning method as shown in FIGS. 16A and 16B is realized in the imaging unit 40, so that, as schematically shown in FIG. 22, the detector provided in the imaging optical system 405 in a certain selection target region.
  • the imaging field of view moves with time.
  • the lower the order of the guided mode of light in the optical fiber the higher the generated fluorescence luminance.
  • the imaging target region of the imaging target at that time is located at the center with respect to the core, the generated fluorescence luminance increases. Therefore, by acquiring images multiple times and selecting the highest fluorescence value, it is possible to selectively acquire information on the fluorescence generated through the multiphoton excitation process by the excitation light that has reached the sample side end surface in the 0th-order mode. Can do.
  • the selection unit 511 specifies the highest luminance value for each pixel constituting the selection target region with reference to the luminance value at the corresponding position of the plurality of image data including the pixel of interest.
  • the selection unit 511 uses the specified maximum luminance value as the representative pixel value of the target pixel. For example, as schematically shown in FIG. 23, when N pieces of image data 1 to N exist for a certain pixel of interest, the N pieces of image data are searched across and the maximum luminance value L MAX is given.
  • the image data is used as the image data of the pixel of interest.
  • the image data k is used as image data that gives the representative pixel value of the pixel of interest.
  • the selection unit 511 performs the representative pixel value selection process as described above for all the selection target regions (that is, all the optical fiber corresponding regions).
  • the selection unit 511 since it is considered that the image data giving the maximum brightness value is superimposed with noise accompanying the brightness value, the selection unit 511 has a brightness close to the maximum brightness value instead of the image data giving the maximum brightness value. Image data giving a value may be selected.
  • the selection unit 511 searches across a plurality of generated image data and selects image data giving the highest luminance value.
  • the following method is used.
  • the selection unit 511 may specify a specific value of the maximum luminance value. That is, the selection unit 511 may identify the maximum luminance value by performing filter processing that compares the data of surrounding pixels and selects the maximum luminance value in the corresponding region of the optical fiber.
  • filter processing for example, an ordinary filter for an area of 10 pixels ⁇ 10 pixels can be cited.
  • the selection unit 511 selects a representative pixel value by the above method, the selection unit 511 outputs information regarding the selected representative pixel value to the captured image reconstruction unit 513.
  • the captured image reconstruction unit 513 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the captured image reconstruction unit 513 reconstructs the captured image of the imaging target S using the selected representative pixel value. Thereby, the fluorescence image of the to-be-measured object S showing the state of the fluorescence generated through the multiphoton excitation process can be generated.
  • the captured image reconstruction unit 513 may cause a blur filter typified by a Gaussian filter to act on the generated fluorescent image of the object S to be measured. Thereby, it is possible to obtain a fluorescent image in which the selected representative pixel values are connected more smoothly.
  • the captured image reconstruction unit 513 may perform known post-processing other than the above on the generated fluorescent image.
  • the captured image reconstruction unit 513 outputs the fluorescence image generated as described above to the representative luminance value specifying unit 515 and the result output unit 521.
  • the representative luminance value specifying unit 515, the surface position specifying unit 517, and the scattering coefficient calculating unit 519 are respectively a representative luminance value specifying unit 111 and a surface position specifying unit 113 included in the information processing apparatus 10 according to the first embodiment of the present disclosure.
  • the scattering coefficient calculation unit 115 since it has the same configuration as the scattering coefficient calculation unit 115 and has the same effect, detailed description thereof will be omitted below.
  • the result output unit 521 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the result output unit 521 is calculated by the fluorescence image generated by the captured image reconstruction unit 513, information on the position of the surface of the measurement object S specified by the surface position specifying unit 517, or calculated by the scattering coefficient calculation unit 519. Information on the scattering coefficient R S of the object S to be measured is output.
  • each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • a computer program for realizing each function of the arithmetic processing unit according to the present embodiment as described above can be produced and mounted on a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • FIG. 24 is a block diagram for explaining a hardware configuration of the information processing apparatus 10 and the arithmetic processing unit 50 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 and the arithmetic processing unit 50 mainly include a CPU 901, a ROM 903, and a RAM 905.
  • the arithmetic processing unit 50 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, and a connection port 923. And a communication device 925.
  • the CPU 901 functions as an arithmetic processing device and a control device, and in accordance with various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927, the entire operation in the information processing device 10 and the arithmetic processing unit 50 or one of them. Control part.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is an operation means operated by the user such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever. Further, the input device 915 may be, for example, remote control means (so-called remote controller) using infrared rays or other radio waves, or a mobile phone or PDA corresponding to the operation of the information processing device 10 or the arithmetic processing unit 50.
  • the external connection device 929 such as the above may be used.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901, for example.
  • a user of the information processing apparatus 10 and the arithmetic processing unit 50 operates the input device 915 to input various data or instruct a processing operation to the information processing apparatus 10 or the arithmetic processing unit 50. Can do.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and display devices such as lamps, audio output devices such as speakers and headphones, printer devices, mobile phones, and facsimiles.
  • the output device 917 outputs results obtained by various processes performed by the information processing apparatus 10 and the arithmetic processing unit 50, for example. Specifically, the display device displays results obtained by various processes performed by the information processing apparatus 10 and the arithmetic processing unit 50 as text or images.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10 and the arithmetic processing unit 50.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901 and various data, and acoustic signal data and image signal data acquired from the outside.
  • the drive 921 is a reader / writer for a recording medium, and is built in or externally attached to the information processing apparatus 10 or the arithmetic processing unit 50.
  • the drive 921 reads information recorded on a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
  • the drive 921 can write a record on a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray (registered trademark) medium, or the like.
  • the removable recording medium 927 may be a compact flash (registered trademark) (CompactFlash: CF), a flash memory, or an SD memory card (Secure Digital memory card). Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • CompactFlash CompactFlash: CF
  • flash memory a flash memory
  • SD memory card Secure Digital memory card
  • the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 10 and the arithmetic processing unit 50.
  • Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, an HDMI (High-Definition Multimedia Interface) port, and the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 is, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the communication network 931 connected to the communication device 925 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. .
  • the luminance value constituting the fluorescence image for the fluorescence image corresponding to each thickness position are sorted in order from the highest luminance value, the luminance value located in a predetermined order is extracted from the highest luminance value, and the representative luminance value of the fluorescent image at the thickness position where the extracted luminance value is focused
  • a representative luminance value specifying unit, and A surface position specifying unit that uses the representative luminance value in each of the fluorescent images and sets the thickness position corresponding to the fluorescent image that gives the maximum representative luminance value as a position corresponding to the surface of the object to be measured
  • An information processing apparatus comprising: (2)
  • the predetermined rank is a rank included in the upper 0.5% to 5% of the total number of pixels constituting one fluorescent image on the basis of the highest luminance value.
  • a scattering coefficient calculation unit is further provided that calculates the scattering coefficient of the object to be measured from the degree of change in the representative luminance value along the thickness direction using the representative luminance value in each of the fluorescent images.
  • the scattering coefficient calculation unit is based on the representative luminance values of the fluorescent image corresponding to a deeper part than the position corresponding to the surface of the object to be measured, at the three thickness positions located at equal intervals.
  • the fluorescence image is an image of fluorescence when the object to be measured is excited with N photons (N is an integer of 1 or more).
  • the imaging unit is A light source optical system for guiding excitation light for generating fluorescence by exciting the object to be measured with two or more photons to the object to be measured; A plurality of multi-mode optical fiber strands are bundled, and the excitation light incident on one end by the light source optical system is transmitted to the device under test, and the light generated at the device under test is generated.
  • An image guide fiber that transmits an image of the object to be measured, which is imaged to the other end by fluorescence, to the one end; The image of the object to be measured transmitted to the one end of the image guide fiber is scanned at a scanning pitch narrower than the core size of the plurality of optical fiber strands, and each of the optical fiber strands is scanned.
  • An imaging optical system that captures at least a part of the corresponding region of the optical fiber corresponding to the above and includes a plurality of image data of the object to be measured; and Have The arithmetic processing unit is: For each of the plurality of pixels constituting the optical fiber corresponding region, a selection unit that selects a pixel value that has the maximum luminance among the plurality of image data as a representative pixel value of the pixel; Using the selected representative pixel value, a captured image reconstruction unit that reconstructs a captured image of the object to be measured and generates the fluorescence image; Based on the plurality of fluorescent images taken while changing the position in the thickness direction of the object to be measured, for the fluorescent images corresponding to the thickness positions, the luminance values constituting the fluorescent image are arranged in order from the highest luminance value.
  • a luminance value located in a predetermined order is extracted from the highest luminance value, and the representative luminance value specifying unit is used as the representative luminance value of the fluorescent image at the thickness position where the extracted luminance value is focused
  • a surface position specifying unit that uses the representative luminance value in each of the fluorescent images and sets the thickness position corresponding to the fluorescent image that gives the maximum representative luminance value as a position corresponding to the surface of the object to be measured;
  • An image acquisition system An image acquisition system.
  • a hologram optical component capable of simultaneously acquiring fluorescence from different thickness positions in the object to be measured is provided at an end of the image guide fiber on the object side to be measured. Image acquisition system.
  • the luminance value constituting the fluorescent image for the fluorescent image corresponding to each thickness position are sorted in order from the highest luminance value, a luminance value located in a predetermined order is extracted from the highest luminance value, and the extracted luminance value is set as a representative luminance value of the fluorescent image to which attention is paid. , Using the representative luminance value in each of the fluorescent images, and setting the thickness position corresponding to the fluorescent image that gives the maximum representative luminance value as a position corresponding to the surface of the object to be measured; Including an information processing method.
  • Imaging so that at least a part of the corresponding region of the optical fiber corresponding to 1 is included in a plurality of images, and generating a plurality of image data of the object to be measured, For each of a plurality of pixels constituting the region corresponding to the optical fiber, selecting a pixel value having the maximum luminance among the plurality of image data as a representative pixel value of the pixel; Reconstructing a captured image of the measurement object using the selected representative pixel value, and generating a fluorescence image; Based on the plurality of fluorescent images taken while changing the position in the thickness direction of the object to be measured, for the fluorescent images corresponding to the thickness positions, the luminance values constituting the fluorescent image are arranged in order from the highest luminance value.
  • a representative luminance value specifying function that extracts a luminance value located in a predetermined order from the highest luminance value and rearranges the extracted luminance value as a representative luminance value of the fluorescent image when focusing
  • a surface position specifying function that uses the representative luminance value in each of the fluorescent images and sets the thickness position corresponding to the fluorescent image that gives the maximum representative luminance value as a position corresponding to the surface of the object to be measured;

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Endoscopes (AREA)

Abstract

【課題】より簡便に被測定物の表面の位置を特定することが可能な、情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラムを提案する。 【解決手段】本発明に係る情報処理装置は、被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、を備える。

Description

情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
　本開示は、情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラムに関する。
　複数の光ファイバ素線からなるイメージガイドファイバを用いたレーザコンフォーカル顕微鏡（顕微内視鏡）システムとして、例えば、以下の特許文献１に示したようなものが提案されている。例えば特許文献１に提案されている顕微内視鏡システムは、観察対象を１光子で励起させることで発生する蛍光をイメージガイドファイバにより伝達し、発生した蛍光を観察するものである。
　上記のような蛍光観察システムにより撮像された撮像画像（すなわち、蛍光画像）を観察する際に、観察対象の表面位置や合焦位置がどこであるかを特定することが重要となる。そこで、以下の非特許文献１では、ＦＯＶ（Ｆｉｅｌｄ　Ｏｆ　Ｖｉｅｗ）タイプの蛍光顕微鏡で得られた蛍光画像に対して画像認識技術を適用することで、観察対象の表面位置や合焦位置を特定する方法が開示されている。
特表２００７－５３０１９７号公報
Ｋ．Ｋｉｓｈｉｍａ，"Ｓｉｍｐｌｅ　ｗａｙ　ｏｆ　ｐｉｎｐｏｉｎｔｉｎｇ　ｔｈｅ　ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ　ｐｏｓｉｔｉｏｎ　ｏｆ　ｂｉｏｍａｒｋｅｒｓ　ｉｎ　ｆｌｕｏｒｅｓｃｅｎｃｅ　ｍｉｃｒｏｓｃｏｐｙ　ｕｓｉｎｇ　ａ　ｔｈｒｏｕｇｈ－ｆｏｃｕｓ　ｅｘｐｏｓｕｒｅ　ｍｅｔｈｏｄ"，ＡＰＰＬＩＥＤ　ＯＰＴＩＣＳ，２０１１，Ｖｏｌ．５０，Ｎｏ．２５，ｐ．４９８９． Ｊ．Ｒｏｓｅｎ　ａｎｄ　Ｇ．Ｂｒｏｏｋｅｒ，"Ｎｏｎ－ｓｃａｎｎｉｎｇ　ｍｏｔｉｏｎｌｅｓｓ　ｆｌｕｏｒｅｓｃｅｎｃｅ　ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ　ｈｏｌｏｇｒａｐｈｉｃ　ｍｉｃｒｏｓｃｏｐｙ"，Ｎａｔ．Ｐｈｏｔｏｎｉｃｓ　２，１９０－１９５（２００８）． Ｃ．Ｍａｕｒｅｒ，Ｓ．Ｋｈａｎ，Ｓ．Ｆａｓｓｌ，Ｓ．Ｂｅｒｎｅｔ，ａｎｄ　Ｍ．Ｒｉｔｓｃｈ－Ｍａｒｔｅ，"Ｄｅｐｔｈ　ｏｆ　ｆｉｅｌｄ　ｍｕｌｔｉｐｌｅｘｉｎｇ　ｉｎ　ｍｉｃｒｏｓｃｏｐｙ"，Ｏｐｔ．Ｅｘｐｒｅｓｓ　１８，３０２３－３０３３（２０１０）． Ｐ．Ａ．Ｄａｌｇａｒｎｏ，Ｈ．Ｉ．Ｃ．Ｄａｌｇａｒｎｏ，Ａ．Ｐｕｔｏｕｄ，Ｒ．Ｌａｍｂｅｒｔ，Ｌ．Ｐａｔｅｒｓｏｎ，Ｄ．Ｃ．Ｌｏｇａｎ，Ｄ．Ｐ．Ｔｏｗｅｒｓ，Ｒ．Ｊ．Ｗａｒｂｕｒｔｏｎ，ａｎｄ　Ａ．Ｈ．Ｇｒｅｅｎａｗａｙ，"Ｍｕｌｔｉｐｌａｎｅ　ｉｍａｇｉｎｇ　ａｎｄ　ｔｈｒｅｅ　ｄｉｍｅｎｓｉｏｎａｌ　ｎａｎｏｓｃａｌｅ　ｐａｒｔｉｃｌｅ　ｔｒａｃｋｉｎｇ　ｉｎ　ｂｉｏｌｏｇｉｃａｌ　ｍｉｃｒｏｓｃｏｐｙ"，Ｏｐｔ．Ｅｘｐｒｅｓｓ　１８，８７７－８８３（２０１０）．
　ここで、上記非特許文献１に開示されている方法は、特定の蛍光顕微鏡で得られた蛍光画像に対して画像認識処理を適用する技術である。そのため、多光子蛍光顕微鏡で得られた多光子蛍光画像のように、蛍光画像中における輝点の大きさが不明な対象物に対して、上記非特許文献１で開示されている方法を適用することは、極めて困難である。
　そのため、蛍光を発生させる際の励起過程や蛍光測定に用いる蛍光顕微鏡の種類に依らず、より簡便に被測定物の表面位置を特定可能な方法が希求されていた。
　そこで、本開示では、上記事情に鑑みて、任意の蛍光画像について、より簡便に被測定物の表面の位置を特定することが可能な、情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラムを提案する。
　本開示によれば、被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、を備える、情報処理装置が提供される。
　また、本開示によれば、被測定物に対して励起光を照射し、当該被測定物の厚み方向の位置を変えながら前記被測定物で発生した蛍光を撮像することで、前記被測定物の蛍光に関する複数の画像データを生成する撮像ユニットと、前記撮像ユニットを制御しつつ、前記撮像ユニットで生成された前記複数の画像データのそれぞれに対してデータ処理を行うことで、それぞれの厚み位置に対応する複数の蛍光画像を生成する演算処理ユニットと、を備え、前記撮像ユニットは、前記被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、前記被測定物へと導光する光源光学系と、マルチモードの光ファイバ素線が複数束ねられたものであり、前記光源光学系により一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送するイメージガイドファイバと、前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成する撮像光学系と、を有し、前記演算処理ユニットは、前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する選択部と、選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、前記蛍光画像を生成する撮像画像再構成部と、前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、を有する画像取得システムが提供される。
　また、本開示によれば、被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とすることと、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、を含む情報処理方法が提供される。
　また、本開示によれば、被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、当該被測定物へと導光することと、マルチモードの光ファイバ素線が複数束ねられたイメージガイドファイバにより、当該イメージガイドファイバの一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物の厚み方向の位置を変えながら、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送することと、前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成することと、前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択することと、選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、前記蛍光画像を生成することと、前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とすることと、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、を含む画像情報取得方法が提供される。
　また、本開示によれば、コンピュータに、被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とする代表輝度値特定機能と、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定機能と、を実現させるためのプログラムが提供される。
　本開示によれば、被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像を利用して、それぞれの厚み位置に対応する蛍光画像の代表輝度値が特定され、最大の代表輝度値を与える蛍光画像に対応している厚み位置が、被測定物の表面に対応する位置とされる。
　以上説明したように本開示によれば、任意の蛍光画像について、より簡便に被測定物の表面の位置を特定することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
蛍光画像について説明するための説明図である。 蛍光画像について説明するためのグラフ図である。 本開示の第１の実施形態に係る情報処理装置の構成の一例を示したブロック図である。 同実施形態に係る画像情報算出部の構成の一例を示したブロック図である。 同実施形態に係る画像情報算出処理を説明するための説明図である。 同実施形態に係る画像情報算出処理を説明するための説明図である。 同実施形態に係る画像情報算出処理を説明するための説明図である。 同実施形態に係る画像情報算出処理を説明するための説明図である。 同実施形態に係る画像情報算出処理を説明するための説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の第２の実施形態に係る画像取得システムの構成の一例を示したブロック図である。 同実施形態に係る撮像ユニットの構成の一例を模式的に示した説明図である。 同実施形態に係る撮像ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る撮像ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る撮像ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る撮像ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る撮像ユニットが備えるイメージガイドファイバの構造を模式的に示した説明図である。 マルチモード光導波路の端面に光を集光した場合におけるモード励起について説明するための説明図である。 マルチモード光導波路の端面に光を集光した場合におけるモード励起について説明するための説明図である。 マルチモード光導波路の端面に光を集光した場合におけるモード励起について説明するための説明図である。 マルチモード光導波路の端面に光を集光した場合におけるモード励起について説明するための説明図である。 同実施形態に係る撮像ユニットにおけるイメージガイドファイバの走査方法を模式的に示した説明図である。 同実施形態に係る撮像ユニットにおけるイメージガイドファイバの走査方法を模式的に示した説明図である。 同実施形態に係る撮像ユニットの一具体例を模式的に示した説明図である。 同実施形態に係るイメージガイドファイバの端部ユニットについて説明するための説明図である。 同実施形態に係るイメージガイドファイバの端部ユニットについて説明するための説明図である。 同実施形態に係る演算処理ユニットの構成の一例を示したブロック図である。 同実施形態に係るデータ処理部の構成の一例を示したブロック図である。 同実施形態に係るデータ処理部における代表画素値の選択処理を説明するための説明図である。 同実施形態に係るデータ処理部における代表画素値の選択処理を説明するための説明図である。 同実施形態に係るデータ処理部における代表画素値の選択処理を説明するための説明図である。 本開示の実施形態に係る情報処理装置及び演算処理ユニットのハードウェア構成の一例を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．蛍光画像について
　２．第１の実施形態（情報処理装置）
　３．第２の実施形態（画像取得システム）
（蛍光画像について）
　本開示の実施形態に係る情報処理装置及び画像取得システムについて説明するに先立ち、本開示で着目する蛍光画像について、簡単に説明する。
　近年、内視鏡技術の発達に伴い、内視鏡下で手術を行ったり、術中診断を行ったりすることが行われるようになってきた。ここで、着目する細胞が正常細胞であるか、がん細胞であるかを判断する等の場合には、着目する臓器に所定の蛍光色素を注入した上で、内視鏡に接続された蛍光顕微鏡により、臓器の蛍光画像を観察することが行われる。
　ここで、上記のようなｉｎ　ｖｉｖｏ生体観察だけでなく、３次元培養された細胞の観察など、３次元の構造をもった試料（被測定物）を蛍光顕微鏡で観察する場合、明視野観察時と比較して、どの位置が表面であるかの判断が容易ではない。
　蛍光画像では、画像中に観察されるどの輝点が表面に近い位置（対物レンズに近い位置）に存在しているかが不明である。そのため、ユーザは、輝点のコントラストが高い位置、又は、輝点の輪郭がはっきりしている位置を各輝点で比較して、これら輝点の中で最も対物レンズに近い位置に焦点がある輝点を選択した後、細胞の表面位置を特定することとなる。
　被測定物が、径が一様で、かつ、焦点深度よりも小さい状態にある蛍光ビーズ等である場合には、熟練者でなくとも表面位置の特定は可能である。しかしながら、細胞などのように形状が一定でなく、様々な厚みを有するものが被測定物である場合には、被測定物の３次元構造を想像できなければ表面位置の特定ができないため、表面位置の特定は、ユーザの熟練度に依存してしまう。そのため、蛍光画像において、ユーザの熟練度に依らず、被測定物の表面位置を簡便に特定可能な方法が希求されている。
　蛍光画像において、被測定物の表面位置を特定するために、例えば上記の非特許文献１のように、画像認識技術を適用することが考えられる。しかしながら、上記のように、被特許文献１の技術は、特定の蛍光顕微鏡で得られた蛍光画像に対して適用可能な技術であり、かかる技術を利用することは困難を伴う。また、スライドガラスの位置を検出するオートフォーカス技術を利用することも考えられるが、ｉｎ　ｖｉｖｏ生体観察のようにスライドガラスの存在しない環境下では、かかる技術を適用することはできない。
　そこで、本発明者は、用いる蛍光顕微鏡や蛍光の励起過程に依らずに表面位置を特定するために、蛍光画像から得ることが可能な何らかの情報を利用することに着目した。このような情報として考えられるものの一つに、蛍光画像の平均輝度値がある。
　図１は、蛍光画像について説明するための説明図であり、図２は、蛍光画像について説明するためのグラフ図である。
　図１に模式的に示したように、蛍光画像では、一般的に、表面に近い側を観察した蛍光画像ほど、輝点の明るさは明るくなり、表面から遠くなるにつれて、蛍光が透過すべき厚みが長くなることで、輝点の明るさは暗くなっていく。また、蛍光画像において、ピントがあっていない観察位置では、蛍光画像が全体的に明るくなる傾向にある。加えて、図１に模式的に示したように、輝点の個数は、被測定物の厚み方向（深さ方向）の観察位置によって異なることが多い。
　図２は、ある細胞から発生した蛍光を、細胞の深部側から５μｍ間隔で表面側へと向かって観察した場合における、各蛍光画像の平均輝度値の変化の様子をプロットしたものである。図２において、横軸は、深部側から順に撮像された蛍光画像に紐づけられた番号（画像ナンバー）であり、縦軸は、平均輝度値である。
　図２から明らかなように、蛍光画像の輝度値から得られる情報の一つとして、着目している蛍光画像での平均輝度値を採用した場合、被測定物の表面側へと向かうにつれて平均輝度値も増加していく。そのため、平均輝度値に着目した場合には、被測定物の表面位置を特定することはできない。
　本発明者は、上記のような知見をもとに更に鋭意検討を行った結果、蛍光画像の平均輝度値ではなく、輝度値の分布そのものに着目することに想到し、以下で詳述するような本開示の実施形態に係る情報処理装置及び画像取得システムを完成するに至った。
（第１の実施形態）
　以下では、まず、図３～図９を参照しながら、本開示の第１の実施形態に係る情報処理装置について、詳細に説明する。図３は、本実施形態に係る情報処理装置の構成の一例を示したブロック図であり、図４は、本実施形態に係る情報処理装置が備える画像情報算出部の構成の一例を示したブロック図である。図５～図９は、本実施形態に係る画像情報算出処理を説明するための説明図である。
＜情報処理装置の全体構成＞
　まず、図３を参照しながら、本実施形態に係る情報処理装置１０の全体構成について説明する。
　本実施形態に係る情報処理装置１０は、撮像ユニット２０により撮像された被測定物の蛍光画像を取得し、かかる蛍光画像を利用して、被測定物の表面の位置を少なくとも含む蛍光画像に関する画像情報を算出する装置である。
　この情報処理装置１０は、撮像ユニット２０の外部に設けられた各種のコンピュータやサーバ等といった情報処理装置であってもよいし、撮像ユニット２０に実装されているＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等からなる演算チップであってもよい。
　ここで、被測定物については、蛍光を発するものであれば特に限定されるものではなく、蛍光ビーズのような無生物であってもよいし、各種の細胞のような生物であってもよい。また、被測定物から発せられる蛍光は、被測定物そのものが発するものであってもよいし、被測定物に添加された各種の蛍光色素が発するものであってもよい。更に、かかる蛍光の励起過程についても特に限定されるものではなく、１光子過程で励起された蛍光物質から発生した蛍光であってもよいし、例えば２光子過程のような多光子過程で励起された蛍光物質から発生した蛍光であってもよい。
　また、かかる蛍光画像を撮像する撮像ユニット２０は、被測定物に対して所定波長の励起光を照射し、被測定物から発生した蛍光を検出することで、発生した蛍光に関する画像データを生成するユニットである。かかる撮像ユニット２０は、被測定物の厚み方向の位置を変えながら蛍光画像を撮像可能なものであれば、各種の蛍光顕微鏡等のような任意の装置を利用することが可能である。
　本実施形態に係る情報処理装置１０は、図３に示したように、データ取得部１０１と、画像情報算出部１０３と、表示制御部１０５と、記憶部１０７と、を主に備える。
　データ取得部１０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。データ取得部１０１は、撮像ユニット２０が生成した、被測定物の厚み方向が互いに異なる複数の蛍光画像の画像データを、撮像ユニット２０から取得する。データ取得部１０１が取得した複数の蛍光画像の画像データは、後述する画像情報算出部１０３へと伝送される。また、データ取得部１０１は、取得した複数の蛍光画像の画像データに対して、当該画像データを取得した日時等に関する時刻情報を関連付けて、履歴情報として後述する記憶部１０７に格納してもよい。
　画像情報算出部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画像情報算出部１０３は、データ取得部１０１から伝送された、被測定物の厚み方向が互いに異なる複数の蛍光画像を利用して、被測定物の表面に対応する位置に関する情報を少なくとも含む画像情報を算出する。また、画像情報算出部１０３は、かかる画像情報として、被測定物の散乱係数に関する情報を算出することも可能である。画像情報算出部１０３は、上記のような画像情報を算出すると、算出した画像情報に関する情報を、表示制御部１０５に出力する。これにより、被測定物Ｓの蛍光画像に関する画像情報が、情報処理装置１０や情報処理装置１０と相互に通信が可能な各種コンピュータ等が有する表示部（図示せず。）に出力されることとなる。また、画像情報算出部１０３は、得られた画像情報を、各種の記録媒体や各種のコンピュータ等に出力してもよいし、プリンタ等の出力装置を利用して紙媒体等に出力してもよい。また、画像情報算出部１０３は、被測定物Ｓの蛍光画像に関する画像情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部１０７等に履歴情報として格納してもよい。
　なお、かかる画像情報算出部１０３の詳細な構成については、以下で詳述する。
　表示制御部１０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置等により実現される。表示制御部１０５は、画像情報算出部１０３から伝送された、被測定物Ｓの表面位置や、被測定物Ｓの散乱係数等に関する画像情報を含む各種の処理結果を、情報処理装置１０が備えるディスプレイ等の出力装置や情報処理装置１０の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、情報処理装置１０のユーザは、被測定物Ｓに関する各種の処理結果を、その場で把握することが可能となる。
　記憶部１０７は、例えば本実施形態に係る情報処理装置１０が備えるＲＡＭやストレージ装置等により実現される。記憶部１０７には、本実施形態に係る情報処理装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部１０７は、データ取得部１０１、画像情報算出部１０３、表示制御部１０５等が、自由にデータのリード／ライト処理を行うことが可能である。
［画像情報算出部１０３の構成について］
　続いて、図４～図９を参照しながら、本実施形態に係る情報処理装置１０が備える画像情報算出部１０３の詳細な構成について、具体的に説明する。
　本実施形態に係る画像情報算出部１０３は、例えば図４に示したように、代表輝度値特定部１１１と、表面位置特定部１１３と、散乱係数算出部１１５と、結果出力部１１７と、を備える。
　代表輝度値特定部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。代表輝度値特定部１１１は、被測定物Ｓの厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する蛍光画像について、蛍光画像を構成する輝度値を最高輝度値から順に並べ変える処理（ソート処理）を実施する。その後、代表輝度値特定部１１１は、最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した輝度値を、着目している厚み位置の蛍光画像の代表輝度値とする。
　図５は、被測定物Ｓ（具体的には、マウス個体に作った、ｅＧＦＰ－ＲＦＰ発現がん組織細胞：ＭＫＮ４５（ヒト胃がん上皮細胞））から発生したｅＧＦＰからの蛍光を、深さ方向に５μｍずつ変化させながら撮像した蛍光画像を利用して、輝度値のソート処理を行った結果を示している。図５において、横軸は、深部側から順に撮像された蛍光画像に紐づけられた番号（画像ナンバー、＃１～＃６０）であり、番号が大きいほど表面側であることを示している。また、縦軸は、輝度値である。
　複数の蛍光画像のそれぞれについて、１枚の蛍光画像を構成している全ての画素の輝度値を最高輝度値から最低輝度値へと順にソートした上で、各蛍光画像における最高輝度値の変化の様子をプロットすると、図５における「Ｍａｘｉｍｕｍ」と記載した曲線のようになる。同様に、最高輝度値から数えて上位１％の順位（例えば、蛍光画像が１００万画素のデータであるとすると、上位１００００番目）の輝度値をプロットしたものが、図５における「９９％」と記載した曲線である。図５では、以下同様にして、上位５％の順位（図中の「９５％」）、上位１０％（図中の「９０％」）、上記２０％（図中の「８０％」）、３０％（図中の「７０％」）、４０％（図中の「６０％」）、５０％（図中の「５０％」）、９０％（図中の「１０％」）、最小画素値（図中の「ｍｉｎｉｍｕｍ」）の変化の様子をプロットしている。
　ここで、本実施形態に係る画像情報算出部１０３では、「一番明るく、かつ、合焦状態にある蛍光画像」が、被測定物Ｓの表面に対応する蛍光画像であると考えている。ここで、蛍光画像の中で輝点の存在する確率がほぼ等しければ、蛍光画像において全ての画素の輝度値を最高輝度値から順番にソートした際に、同じような輝点を観察しているとみなすことができる。図５に示したように、厚み位置の変化に伴う輝度値の変化をプロットした際に、曲線の様子が指数関数的に変化していれば、上記のような前提条件がほぼ満たされていると判断することができる。従って、図５に示したように、深さ方向の異なる蛍光画像において特定の順位における輝度値の変化をプロットして、輝度値の変化の様子が指数関数的になる順位のプロットを特定し、かかるプロットに基づいて、輝度値が一番大きくなる位置を特定することができれば、被測定物Ｓの表面の位置を決定することができる。
　図５において、「Ｍａｘｉｍｕｍ」に対応する輝度値の様子を見てみると、ナンバー＃１～ナンバー＃３０では、輝度値の変化が一様ではなく、いくつものピークが出来ている。これは、蛍光画像を生成する際に用いられたレーザや撮像素子等に起因する電気的なノイズが重畳しているものと考えられる。また、ナンバー＃３５以降では、輝度値が飽和してしまっている。
　また、図５において、順位が上位１％の輝度値の変化の様子（「９９％」のプロット）をみると、ナンバー＃１～ナンバー＃４０に向かって、ほぼ指数関数的な輝度値の変化の様子が見て取れる。また、順位が上位５％の輝度値の変化の様子（９５％）のプロット）をみると、ナンバー＃１～ナンバー＃４０に向かって、一様な変化は示しているものの、「９９％」のプロットのように、指数関数的な輝度値の変化は示していない。また、順位が上位１０％以上の輝度値の変化の様子では、ナンバー＃１からナンバー＃６０に向かって単調に増加しているだけであり、表面位置の特定に利用することはできない。
　従って、代表輝度値特定部１１１は、図５に示したプロットの中では、順位が上位１％の輝度値（すなわち、図５における「９９％」のプロットの輝度値）を代表輝度値として扱うことで、着目している被測定物Ｓの表面の位置を特定することができる。
　ここで、上位から何番目の順位の輝度値に着目するかについては、着目する蛍光画像の輝点の密度等に応じて適宜選択すればよいが、例えば、最高輝度値を基準として、一枚の蛍光画像を構成する全画素数の上位０．５％～５％の範囲内に含まれる順位とすることが好ましい。０．５％未満の順位である場合には、図５における「Ｍａｘｉｍｕｍ」のプロットのように、各種の電気的なノイズが輝度値に重畳している可能性があり、好ましくない。また、５％超過の順位である場合には、図５における「９０％」のプロットのように、輝度値が単調に増加していく可能性が高くなるため、好ましくない。
　代表輝度値特定部１１１は、上記のように、それぞれの蛍光画像において、最高輝度値を基準として所定の順位に位置する輝度値を、代表輝度値として抽出する。
　代表輝度値特定部１１１は、以上のようにして抽出した代表輝度値に関する情報を、後述する表面位置特定部１１３及び散乱係数算出部１１５に出力する。
　表面位置特定部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。表面位置特定部１１３は、代表輝度値特定部１１１によって抽出された各蛍光画像の代表輝度値に基づいて、被測定物Ｓの表面に対応する位置を特定する。具体的には、表面位置特定部１１３は、各蛍光画像における代表輝度値のうち、最大の代表輝度値を与える蛍光画像に対応する厚み位置を、着目している被測定物Ｓの表面に対応する位置とする。
　例えば図５に示した例では、図中で「９９％」と示した輝度値のプロットが代表輝度値の変化の様子を表わしたプロットとなるが、表面位置特定部１１３は、かかる代表輝度値の変化の様子を表わしたプロットのうち、最大の輝度値を与える位置である、ナンバー＃４３の位置（すなわち、測定開始位置から５μｍ×４３＝２１５μｍ上方の位置）を、着目している被測定物Ｓの表面の位置として特定する。
　表面位置特定部１１３は、このようにして特定した被測定物Ｓの表面位置に関する情報を、後述する散乱係数算出部１１５及び結果出力部１１７に出力する。
　散乱係数算出部１１５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。散乱係数算出部１１５は、それぞれの蛍光画像における代表輝度値を利用し、厚み方向に沿った代表輝度値の変化の度合いから、被測定物の散乱係数を算出する。
　前述のように、代表輝度値として抽出される順位の輝度値は、厚み方向の位置が変化するに伴い、指数関数的に変化していくものである。従って、厚み方向に沿った代表輝度値の変化に着目することで、その変化の度合いから被測定物Ｓの散乱係数を求めることができる。
　より詳細には、散乱係数算出部１１５は、被測定物Ｓの表面に対応する位置よりも深部に対応する蛍光画像の代表輝度値に基づき、等間隔に位置している３つの厚み位置での代表輝度値を利用して、散乱係数を算出する。以下、図６を参照しながら、散乱係数算出部１１５における散乱係数の算出処理について、具体的に説明する。
　いま、蛍光画像が、被測定物ＳをＮ光子（Ｎは、１以上の整数。）で励起した際の蛍光を撮像したものであるとし、図６に模式的に示したように、厚み位置ｘｉ（ｉ＝１，２，３）における代表輝度値をＡｉ（ｉ＝１，２，３）と表わし、隣り合う２つの厚み位置の間隔をｄｘと表わし、被測定物Ｓの散乱係数をＲＳと表わすとする。図５に示した代表輝度値のプロットにおいて、バックグラウンドの輝度値をＢＧとすると、散乱係数ＲＳの定義から、以下の２つの式１０１、１０３が成立する。
Figure JPOXMLDOC01-appb-M000002
　ここで、上記式１０１及び式１０３を連立して、バックグラウンドＢＧを消去すると、以下の式１０５を得ることができる。ここで、下記の式１０５において、散乱係数ＲＳの単位は、［１／ｍｍ］である。
Figure JPOXMLDOC01-appb-M000003
　ここで、上記式１０５において、Ｎは、蛍光画像を撮像する際に利用した蛍光顕微鏡に応じて決まる既知のパラメータであり、ｄｘは、３つの代表輝度値を抽出する際に設定される既知のパラメータであり、Ａ１～Ａ３は、蛍光画像から得ることができる代表輝度値である。従って、式１０５を用いることで、代表輝度値から被測定物Ｓの散乱係数ＲＳを算出することができる。
　図７～図９は、２光子蛍光顕微鏡を用いて撮像された蛍光画像を利用して、上記式１０５に基づき算出した、ある被測定物Ｓの散乱係数ＲＳである。なお、かかる蛍光画像は、図５を作成する際に利用した蛍光画像と同一のものである。ここで、図７は、ｄｘを１０μｍとした場合の散乱係数ＲＳの算出結果であり、図８は、ｄｘを２５μｍとした場合の散乱係数ＲＳの算出結果であり、図９は、ｄｘを３５μｍとした場合の散乱係数ＲＳの算出結果である。
　ここで、図５からも明らかなように、表面に対応する位置はナンバー＃４３であるため、ナンバー＃４３以降のデータには被測定物Ｓが存在していないため、散乱係数ＲＳの測定に用いる意味はない。また、代表輝度値は、輝度値の変化の様子が指数関数的に推移しているものであるが、その中でも、なるべく指数関数に近い変化の様子を示している位置（換言すれば、輝度値の変化が急峻な位置）に着目した方が良い。図６の「９９％」のプロットに着目すると、輝度値が急峻に変化しているのは、画像ナンバー＃２０～＃４０の位置であることがわかる。従って、散乱係数算出部１１５は、式１０５に基づいて算出した散乱係数ＲＳのうち、輝度値が急峻に変化している位置におけるなるべく凹凸の少ない値を、着目している被測定物Ｓの散乱係数ＲＳとする。
　図７～図９に示した結果では、ナンバー＃２０～＃４０の位置において、いずれも約５（１／ｍｍ）となっている。従って、散乱係数算出部１１５は、着目している被測定物Ｓの散乱係数ＲＳを、５（１／ｍｍ）と算出する。
　散乱係数算出部１１５は、このようにして算出した被測定物Ｓの散乱係数ＲＳに関する情報を、後述する結果出力部１１７に出力する。
　結果出力部１１７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。結果出力部１１７は、表面位置特定部１１３により特定された被測定物Ｓの表面の位置に関する情報や、散乱係数算出部１１５によって算出された被測定物Ｓの散乱係数ＲＳに関する情報を、出力する。
　以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
＜情報処理方法の流れについて＞
　次に、図１０を参照しながら、本実施形態に係る情報処理装置１０で実施される情報処理方法の流れの一例について、簡単に説明する。図１０は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
　本実施形態に係る情報処理装置１０では、まず、データ取得部１０１が、被測定物Ｓの異なる厚み位置から得られた複数の蛍光画像を取得する（ステップＳ１０１）。データ取得部１０１は、取得した複数の蛍光画像に関する情報を、画像情報算出部１０３の代表輝度値特定部１１１に出力する。
　代表輝度値特定部１１１は、データ取得部１０１から出力された複数の蛍光画像を利用して、それぞれの蛍光画像から代表輝度値を抽出する（ステップＳ１０３）。その後、代表輝度値特定部１１１は、抽出した代表輝度値に関する情報を、表面位置特定部１１３及び散乱係数算出部１１５に出力する。
　表面位置特定部１１３は、抽出された代表輝度値に基づき、最大の代表輝度値を与える位置を、被測定物Ｓの表面に対応する位置として特定する（ステップＳ１０５）。表面位置特定部１１３は、特定した被測定物Ｓの表面の位置に関する情報を、散乱係数算出部１１５及び結果出力部１１７に出力する。
　また、散乱係数算出部１１５は、抽出された代表輝度値に基づいて、上記式１０５を利用して散乱係数ＲＳを算出する（ステップＳ１０７）。散乱係数算出部１１５は、算出した散乱係数ＲＳに関する情報を、結果出力部１１７に出力する。
　結果出力部１１７は、表面位置特定部１１３によって特定された表面位置に関する情報や、散乱係数算出部１１５によって算出された散乱係数に関する情報を、外部に出力する（ステップＳ１０９）。これにより、情報処理装置１０のユーザは、被測定物Ｓの蛍光画像に関する画像情報を把握することが可能となる。
　以上、図１０を参照しながら、本実施形態に係る情報処理方法の流れの一例を簡単に説明した。
　以上説明したように、本実施形態に係る情報処理装置１０及び情報処理方法によれば、目視観察に依存しない（換言すれば、ユーザの技術に依存しない）表面位置の特定方法を提供することが可能となる。
　また、本実施形態に係る情報処理装置１０及び情報処理方法を用いて、蛍光画像を直接解析することで、被測定物Ｓの散乱係数ＲＳを算出することが可能となる。被測定物Ｓの散乱係数ＲＳがわかれば、蛍光画像を取得する際に要する強度（パワー）を推測することが可能となるため、蛍光画像を適切に取得するための重要な情報を得ることが可能となる。
　更に、散乱係数は、細胞の線維化などの状態と関連性がある可能性があるため、散乱係数の測定は、臓器の機能を評価する指標になる可能性がある。本実施形態に係る情報処理装置１０及び情報処理方法では、被測定物Ｓの一方の側からの観察で情報を取得することが可能であり、また、被測定物Ｓが数１０ミクロン程度の厚さを有していれば、散乱係数ＲＳを算出することが可能となる。従って、本実施形態に係る情報処理装置１０及び情報処理方法では、肺など組織の空孔率が高い臓器においても、情報の取得が可能であるとともに、肝臓などの臓器から採取した僅かな組織から、情報を取得することができる。
　肝臓がん等の消化器系のがんの手術において、どの程度のマージンをもってがん組織を切除するかは、手術時に医師が臓器の炎症・硬化の度合いを把握し、硬化が少ないようであれば余裕をもったマージンを確保してがん組織が十分に切除できるように切除をし、硬化があるようであればマージンを少なくして多くの臓器組織を残すようにしている。手術が開腹手術である場合には、医師が手で臓器を触ったり、肉眼で見たりすることにより、患者の臓器の炎症・硬化の度合いを把握していた。しかしながら、近年の内視鏡手術の進展により、低侵襲である内視鏡手術が多く利用されるようになってきている。ここで、肝臓の硬度を経皮的に超音波で診断する方法（エラストグラフィ）も存在するが、エラストグラフィは高価であるため、消化器外科の手術室にて使用することは一般的でない。したがって、内視鏡下手術において、患者の肝臓の炎症・硬化の度合いの把握は、カメラを介して色で判断を行う手法のみである場合が一般的となっている。そのため、従来の回復手術に比較して、患者の肝機能の情報の正確性が低くなっているため、硬化が進んでいるのにマージンを多く切除してしまうなどの危険性が高くなっている。
　ここで、がん組織は、正常な組織と比べて散乱係数や吸収係数が１５％程度低くなるという報告がなされており、本実施形態に係る情報処理装置１０及び情報処理方法によって、蛍光画像から組織の散乱係数が算出できるようになると、消化器外科において、切除位置の決定や細胞の術中診断に大きなメリットがある。また、同様のメリットは、呼吸器内科・呼吸器外科や泌尿器科におけるがん細胞の発見にも寄与する。このように、本実施形態に係る情報処理装置１０及び情報処理方法は、医療分野においても有用な情報を与えるものとなる。
（第２の実施形態）
　次に、本開示の第２の実施形態として、被測定物の蛍光画像を撮像する撮像機能と、上記第１の実施形態で説明した、被測定物の表面位置及び散乱強度を含む画像情報の算出機能と、を兼ね備えた画像取得システムについて、図１１～図２３を参照しながら詳細に説明する。
　以下で詳述するように、本実施形態に係る画像取得システムでは、複数の光ファイバ素線から構成されるイメージガイドファイバを利用して、蛍光画像の取得を行っている。かかるイメージガイドファイバの利用に際して、本発明者は、多光子励起過程によって発生した蛍光を検出するための方法について、別途の検討を行った。その結果、多光子励起過程による蛍光の輝度を大きくするためには、イメージガイドファイバによる励起光の導波はシングルモード（より詳細には、０次モード）であることが好ましく、マルチモードの光ファイバ素線から構成されるイメージガイドファイバをそのまま利用するだけでは、蛍光輝度の低下や蛍光輝度のばらつきが生じてしまい、多光子励起過程を利用した蛍光の画像を取得することはできないという知見を得ている。
　ここで、イメージガイドファイバを用いて多光子励起過程による蛍光を測定する場合に、イメージガイドファイバを構成する光ファイバ素線をシングルモードの光ファイバ素線とすることも考えられる。この場合、シングルモードの光ファイバ素線を用いる場合において隣り合う光ファイバ素線とのクロストークを減少させるためには、光ファイバのコアとクラッドの屈折率差を少なくすることが必要となる。しかしながら、コアとクラッドの屈折率差を小さくするということは、クラッドへの電界強度分布のしみだしを大きくすることを意味する。従って、隣り合う光ファイバ素線とのクロストークを減少させるためには、隣り合う光ファイバ素線との間隔を広くすることが重要となる。
　イメージガイドファイバの分解能は、光ファイバ素線の配置間隔に依存し、光ファイバ素線の配置間隔が小さいほど、得られる分解能は高くなる。従って、シングルモードの光ファイバ素線を利用し、光ファイバ素線の間隔を広げた場合には、通常のイメージガイドファイバと同程度の分解能の解像度を得るためには光ファイバをスキャンするなどの更なる機構が必要となる一方で、細径化を行うことが困難となる。
　更には、光ファイバのコアとクラッドの屈折率差を少なくすることは、光ファイバ素線の開口数（ＮＡ）を低めることとなるため、多光子励起過程による蛍光の信号を効率良く取得するためには、ダブルクラッドファイバを用いるなどの工夫が重要となる。
　本発明者は、上記のような知見に基づいて、マルチモードの光ファイバ素線からなるイメージガイドファイバを用いた場合であっても安定的に多光子励起蛍光画像を取得可能な画像取得システムについて、鋭意検討を行った。その結果、（１）イメージガイドファイバの入射端面でシングルモードが励起されれば、確率的に試料側端面にシングルモードで到達する場合も存在すること、（２）複数回画像取得を行い、最も高い蛍光値を選択することにより、試料側端面にシングルモードで到達した励起光のデータを取得できること、に想到し、以下で説明するような本開示の第２実施形態に係る画像取得システムを完成したのである。
＜画像取得システムについて＞
［画像取得システムの全体構成］
　まず、図１１を参照しながら、上記のような知見をもとに完成された、本開示の第２の実施形態に係る画像取得システム３０の全体構成について説明する。図１１は、本実施形態に係る画像取得システムの構成を模式的に示した説明図である。
　本実施形態に係る画像取得システム３０は、観察対象である被測定物に対して所定波長の励起光を照射し、被測定物から多光子励起過程による蛍光を発生させて、かかる蛍光に基づく被撮像体の撮像画像を取得し、得られた撮像画像に基づいて、第１の実施形態で説明したような画像情報を算出するシステムである。この画像取得システム３０は、図１１に示したように、撮像ユニット４０と、演算処理ユニット５０と、を備える。
　撮像ユニット４０は、被測定物に対して所定波長の励起光を照射し、多光子励起過程によって発生した蛍光を検出することで、発生した蛍光に関する画像データを生成するユニットである。撮像ユニット４０によって生成された画像データは、演算処理ユニット５０へと出力される。かかる撮像ユニット４０の詳細な構成については、以下で詳述する。
　演算処理ユニット５０は、撮像ユニット４０による被測定物の撮像処理を統括的に制御するとともに、撮像ユニット４０によって生成された画像データに対して後述する演算処理を施し、被測定物の撮像画像を生成するとともに画像情報を算出するユニットである。
　この演算処理ユニット５０は、撮像ユニット４０の外部に設けられた各種のコンピュータやサーバ等といった情報処理装置であってもよいし、撮像ユニット４０に実装されているＣＰＵ、ＲＯＭ、ＲＡＭ等からなる演算チップであってもよい。
　かかる演算処理ユニット５０の詳細な構成については、以下で詳述する。
［撮像ユニット４０の構成］
　次に、図１２～図１８Ｂを参照しながら、本実施形態に係る撮像ユニット４０の詳細な構成について説明する。
　図１２は、本実施形態に係る撮像ユニットの構成の一例を模式的に示した説明図である。図１３Ａ～図１３Ｄは、本実施形態に係る撮像ユニットが備える光源の一例を模式的に示した説明図である。図１４は、本実施形態に係る撮像ユニットが備えるイメージガイドファイバの構造を模式的に示した説明図である。図１５Ａ～図１５Ｄは、マルチモード光導波路の端面に光を集光した場合におけるモード励起について説明するための説明図である。図１６Ａ及び図１６Ｂは、本実施形態に係る撮像ユニットにおけるイメージガイドファイバの走査方法を模式的に示した説明図である。図１７は、本実施形態に係る撮像ユニットの一具体例を模式的に示した説明図である。図１８Ａ及び図１８Ｂは、本実施形態に係るイメージガイドファイバの端部ユニットについて説明するための説明図である。
　本実施形態に係る画像取得システム３０が備える撮像ユニット４０は、図１２に示したように、光源光学系４０１と、イメージガイドファイバ４０３と、撮像光学系４０５と、を主に備える。
　光源光学系４０１は、被測定物Ｓを２以上の光子で励起する（すなわち、多光子で励起する）ことで蛍光を発生させるための所定波長の励起光を、被測定物Ｓへと導光する光学系である。この光源光学系４０１は、所定波長の励起光を射出するレーザ光源と、光源から射出された励起光を被測定物Ｓまで導光する、各種レンズ、各種ミラー、各種フィルタ等の光学素子と、から構成される。
　光源光学系４０１における各種光学素子の詳細な配置については、特に限定されるものではなく、公知の光学系を採用することが可能である。
　また、光源光学系４０１が有するレーザ光源についても、特に限定されるものではなく、各種の半導体レーザや固体レーザやガスレーザ等のように、様々な光源を利用することが可能である。レーザ光源として各種の半導体レーザを用いた光源を用いることで、画像取得システム３０をより小型化することが可能となる。
　光源光学系４０１が有するレーザ光源部として利用可能な半導体レーザを用いた光源としては、例えば図１３Ａ～図１３Ｄに示したような半導体レーザ及び半導体レーザの光を波長変換する波長変換部を用いた光源を用いることが可能である。
　図１３Ａは、レーザ光源部に利用可能な半導体レーザの一例である、半導体レーザと共振器とから構成される主発振器４１１を模式的に示したものである。レーザ光源部として設けられる主発振器４１１は、所定波長（例えば、波長４０５ｎｍ）のレーザ光を射出可能な半導体レーザユニット４１２と、半導体レーザユニット４１２から射出されたレーザ光を増幅させるための共振器部４１３と、から構成されている。
　図１３Ｂは、レーザ光源部に利用可能な半導体レーザの一例である、主発振器と光増幅器とから構成される主発振器出力増幅器（Ｍａｓｔｅｒ　Ｏｓｃｉｌｌａｔｏｒ　Ｐｏｗｅｒ　Ａｍｐｌｉｆｉｅｒ：ＭＯＰＡ）４１４を、模式的に示したものである。かかる光源では、図１３Ａに示した主発振器４１１の後段に、射出されたレーザ光を更に増幅させるための光増幅器４１５が設けられている。光増幅器４１５としては、例えば、半導体光増幅器（Ｓｅｍｉｃｏｎｄｕｃｔｏｒ　Ｏｐｉｃａｌ　Ａｍｐｌｉｆｉｅｒ：ＳＯＡ）等を好適に用いることができる。
　図１３Ｃは、レーザ光源部に利用可能な半導体レーザの一例である、ＭＯＰＡ４１４と波長変換部とを有する光源を、模式的に示したものである。かかる光源では、図１３Ｂに示した光増幅器４１５の後段に、強度が増幅されたレーザ光の波長を変換するための波長変換部４１６が設けられている。波長変換部４１６としては、例えば、各種の非線形結晶を用いた光パラメトリック発振器（Ｏｐｔｉｃａｌ　Ｐａｒａｍｅｔｒｉｃ　Ｏｓｃｉｌａｔｏｒ:ＯＰＯ）等を好適に用いることができる。また、ＭＯＰＡ４１４と波長変換部４１６の間に、図１３Ｄに示したように、レーザ光のビーム形状を補正するビーム形状補正部４１７を設けて、波長変換部４１６における波長変換効率を更に向上させてもよい。
　また、レーザ光源から射出される励起光の波長は、特に限定されるものではなく、被測定物Ｓに含まれている蛍光体を励起するために適した波長を適宜選択すればよい。更に、光源として用いられるレーザは、ＣＷ（Ｃｏｎｔｉｎｕｏｕｓ　Ｗａｖｅ）レーザであってもよいし、パルスレーザであってもよい。
　イメージガイドファイバ４０３は、図１４に模式的に示したように、マルチモードの光ファイバ素線４２１が複数束ねられたものである。それぞれの光ファイバ素線４２１は、０次モードの光のみならず、より高次のモードの光も導波可能なコア４２３と、コア４２３を覆うように設けられたクラッド４２５と、から形成されている。それぞれの光ファイバ素線４２１は、図１４に模式的に示したように、なるべく六方細密構造となるように配設されている。隣り合う光ファイバ素線４２１の離隔距離ｄは、求める画像解像度に応じて適宜設定すればよく、例えば３．５μｍなどのような値にすればよい。また、コア４２３の直径ｄ’についても適宜設定すればよく、例えば３μｍなどのような値にすればよい。
　このイメージガイドファイバ４０３は、光源光学系４０１により一方の端部（例えば図１２における端部Ａ）に入射した励起光を被測定物Ｓへと伝送するとともに、被測定物Ｓで発生した蛍光によって他方の端部（例えば図１２における端部Ｂ）へと結像している被測定物Ｓの像を、もう一方の端部（例えば図１２における端部Ａ）へと伝送する。
　撮像光学系４０５は、イメージガイドファイバ４０３の端部（例えば図１２における端部Ａ）へと伝送された被測定物Ｓの像を、複数の光ファイバ素線４２１のコア４２３の大きさ（図１４におけるコア径ｄ’）よりも狭い走査ピッチで走査する。この際、撮像光学系４０５は、それぞれの光ファイバ素線４２１に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像を行い、被測定物Ｓの画像データを複数生成する。
　かかる撮像光学系４０５は、イメージガイドファイバ４０３により伝送された被測定物Ｓの像（すなわち、発生した蛍光に対応する蛍光信号）を検出する各種の検出器と、この検出器へと被測定物Ｓの像（蛍光信号）を導光する、各種レンズ、各種ミラー、各種フィルタ等の光学素子と、から構成される。
　撮像光学系４０５における各種光学素子の詳細な配置については、特に限定されるものではなく、公知の光学系を採用することが可能である。
　撮像光学系４０５に設けられる検出器ついても、蛍光の強度に関する情報を電気的な信号へと変換することが可能なものであれば、公知のものを利用することが可能である。かかる検出器として、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）や、光電子増倍管（ＰｈｏｔｏＭｕｌｔｉｐｌｉｅｒ　Ｔｕｂｅ：ＰＭＴ）等といった各種の検出器を挙げることができる。
　また、図１２に示した光源光学系４０１又は撮像光学系４０５の少なくとも何れか一方には、以下で詳述するようなイメージガイドファイバ４０３の端面を走査するための機構が設けられている。このような走査機構については特に限定するものではなく、例えばガルバノミラー等の公知の機構を利用することが可能である。
　以上、図１２～図１４を参照しながら、本実施形態に係る撮像ユニット４０の構成について、詳細に説明した。
［イメージガイドファイバの走査方法］
　次に、図１５Ａ～図１６Ｂを参照しながら、撮像光学系４０５によるイメージガイドファイバ４０３の端面の走査方法について、詳細に説明する。
　まず、図１５Ａ～図１５Ｄを参照しながら、イメージガイドに使用されているマルチモード光導波路の端面に光を集光した場合におけるモード励起について、説明する。
　マルチモード光導波路（マルチモード光ファイバ）において、図１５Ａに示すような０次モードと図１５Ｂに示すような１次モード（高次モード）とが導波するような光ファイバが用いられている場合であっても、それぞれのモードには直交性がある。そのため、例えば光導波路に傷がある場合などの外部からの摂動が加わらない限り、０次モードはそのまま０次モードで光導波路（光ファイバ）を伝搬し、１次モードもそのまま１次モードで光導波路を伝搬する。
　次に、ファイバ端面に外部から光が結合（レンズにより光ファイバー端面に集光）されている場合におけるファイバ内部の導波モードの結合の様子を、図１５Ｃ及び図１５Ｄを参照しながら説明する。ファイバ内部にどの導波モードが励起されるかついては、集光スポットの電界強度分布と、導波モードの電界強度分布と、の重畳積分により決定される。
　図１５Ｃに示すように、集光されたスポットがコアの中心に一致し、スポットの大きさがほぼコアの大きさに近い場合には、集光スポットの電界分布が図１５Ａに示した０次モードの電界分布とほぼ一致しているため、ファイバ内部には０次モードが励起される。また、図１５Ｂに示した電界強度分布は中心でその符号が異なっているため、図１５Ｃに示した電界強度分布と図１５Ｂに示した１次モードの電界強度分布とは、その積分値がほぼゼロとなり、１次モードは励起されないこととなる。一方、図１５Ｄに示すように、集光スポットがコアの中心からシフトしている場合には、図１５Ｄに示した電界強度分布と図１５Ｂに示した１次モードとの重畳積分がゼロとはならないため、ある程度の割合で１次モードが励起されることとなり、その分、０次モードの励起される割合が減ることとなる。従って、図１５Ｃに示すように、入射端面で０次モードが支配的に励起されると入射端面で０次モードが励起され、光導波路の導波モードは直交性を有していることから、光は、光ファイバ内をそのまま０次モードで出射端まで導波することとなる。
　本発明者は、イメージガイドファイバの入射端面でシングルモード（０次モード）が励起されれば、確率的に試料側端面にシングルモードで到達する場合も存在するとの知見を得て、図１６Ａ及び図１６Ｂに模式的に示したようなイメージガイドファイバ４０３の端面の走査方法に想到した。
　すなわち、本実施形態に係る撮像ユニット４０は、イメージガイドファイバ４０３の端面（例えば図１２における端部Ａの端面）を、複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査する。
　例えば図１６Ａでは、イメージガイドファイバ４０３の端面の走査方向に対して平行な方向に、光ファイバ素線４２１のコアの大きさｄ’よりも狭いピッチｐで走査していく例を示している。かかる場合、使用するイメージガイドファイバ４０３の直径や光ファイバ素線４２１のコア径ｄ’等に応じて、走査方向を表わす軸（走査軸）の位置が予め設定されており、演算処理ユニット５０の制御のもとで、図１６Ａ中の黒丸の位置で、イメージガイドファイバ４０３の端面が撮像されていく。この際、走査方向に対して平行な方向の撮像間隔は、走査ピッチｐに基づいて演算処理ユニット５０により制御されるが、走査方向に対して直交する方向の撮像間隔は、イメージガイドファイバ４０３の隣り合う光ファイバ素線４２１の間隔ｄに基づいて制御される。図１６Ａに示した走査方法では、以上説明したような制御により、被測定物Ｓの全体が１回撮像される。すなわち、図１６Ａに示した走査方法では、撮像により生成される画像データの頻度（データ復元頻度）が、光ファイバ素線４２１の数よりも高頻度となる。
　また、例えば図１６Ｂでは、イメージガイドファイバ４０３の端面の走査方向に対して直交する方向に、光ファイバ素線４２１のコアの大きさｄ’よりも狭いピッチｐで走査していく例を示している。かかる場合、使用するイメージガイドファイバ４０３の直径や光ファイバ素線４２１のコア径ｄ’等に応じて、走査方向を表わす軸（走査軸）の位置が予め設定されており、演算処理ユニット５０の制御のもとで、図１６Ｂ中の黒丸の位置で、イメージガイドファイバ４０３の端面が撮像されていく。この際、走査方向に対して平行な方向の撮像間隔は、イメージガイドファイバ４０３の隣り合う光ファイバ素線４２１の間隔ｄに基づいて演算処理ユニット５０により制御され、走査方向に対して直交する方向の撮像間隔は、走査ピッチｐに基づいて制御される。図１６Ｂに示した走査方法では、以上説明したような制御により、被測定物Ｓの全体が複数回（図１６Ｂの例では、例えば５回）撮像される。すなわち、図１６Ｂに示した走査方法では、１回の走査におけるデータの復元頻度は光ファイバ素線４２１の数に対応しており、それぞれの走査処理における基準位置（走査開始位置）が光ファイバ素線４２１の配置ピッチよりも狭いピッチｐで変化していく。
　なお、上記説明における「撮像」とは、図１６Ａ及び図１６Ｂ中のそれぞれの黒丸の位置で、光源光学系４０１により導光された励起光が結像するとともに、黒丸の位置においてイメージガイドファイバ４０３の端面に伝送されている像（蛍光像）を撮像することを意味している。
　以上説明したような走査方法が実現されることで、それぞれの光ファイバ素線４２１に該当する領域（以下、「光ファイバ素線該当領域」とも称する。）の少なくとも一部が、複数の画像に含有されるように撮像されることとなる。
　図１６Ａ及び図１６Ｂに示したようにイメージガイドファイバ４０３の端面を走査することで、撮像処理によって生成される複数の画像データの中に、励起光がコア全体に対して照射されているような状況となっている場合の画像データが含まれることとなる。かかる状況では、イメージガイドファイバ４０３のコアにおいて基本波（０次モード）が励起されるため、確率的に試料側端面に基本波で到達する場合も生じることとなる。
　なお、図１６Ａ及び図１６Ｂに示したような各撮像位置において、撮像ユニット４０は、１回だけ撮像処理を行ってもよいし、上記確率をより高めるために、各撮像位置において複数回の撮像処理を行ってもよい。
　また、本実施形態に係る撮像ユニット４０では、図１６Ａ及び図１６Ｂを組み合わせたような走査方法（すなわち、走査方向及び走査方向に対して直交する方向のそれぞれについて、走査ピッチｐで走査する方法）を採用してもよいことは言うまでもない。
　図１６Ａ及び図１６Ｂに示した走査ピッチｐの具体的な大きさは、光ファイバ素線４２１のコア径ｄ’に応じて適宜設定すればよいが、コア径ｄ’の１／１０以下程度とすることが好ましい。本発明者による検討の結果、走査ピッチｐをコア径ｄ’の１／１０以下とする（例えばコア径ｄ’が３μｍの場合、走査ピッチｐを０．３μｍ以下とする）ことで、光ファイバ素線４２１に励起される最大輝度に対して８６％以上の輝度を得ることができる。また、走査ピッチｐをコア径ｄ’の１／１２以下とすることで、光ファイバ素線４２１に励起される最大輝度に対して９０％以上の輝度を得ることができる。
　なお、図１６Ａ及び図１６Ｂに示した走査方向及び撮像位置や図１６Ｂに示した走査回数はあくまでも一例であり、図１６Ａ及び図１６Ｂに示した例に限定されるものではない。
　以上、図１６Ａ及び図１６Ｂを参照しながら、本実施形態に係るイメージガイドファイバ４０３の端面の走査方法の一例について、具体的に説明した。
［撮像ユニット４０の具体例］
　続いて、図１７～図１８Ｂを参照しながら、本実施形態に係る撮像ユニット４０の具体例を簡単に説明する。
　図１７に示したように、例えば図１３Ａ～図１３Ｄに示したような光源から算出された励起光は、レンズＬやミラーＭを介して、ＸＹ－ガルバノミラーＸＹ－ｇａｌまで導光され、かかるガルバノミラーにより、イメージガイドファイバ４０３への結像位置が制御される。ガルバノミラーを経た励起光は、リレーレンズＲＬ、ミラーＭ、ダイクロイックミラーＤＭを経て、対物レンズＯｂｊへと導光される。ここで、対物レンズＯｂｊの焦点位置ｆに、上記のようなイメージガイドファイバ４０３の一方の端部が配設される。
　イメージガイドファイバ４０３のもう一方の端部には、以下で説明する端部ユニット４３１を設けることが好ましい。これにより、厚み方向の位置が異なる被測定物Ｓの蛍光画像を、容易に得ることが可能となる。イメージガイドファイバ４０３及び端部ユニット４３１を経て被測定物Ｓへと導光された励起光により、被測定物Ｓから蛍光が発生する。発生した蛍光は、端部ユニット４３１、イメージガイドファイバ４０３、対物レンズＯｂｊ、ダイクロイックミラーＤＭ、レンズＬ、ノッチフィルタＦ等を経て、検出器である光電子倍増管等へと導光される。
　ここで、本実施形態に係る撮像ユニット４０では、被測定物Ｓの厚み方向の位置を変えながら（換言すれば、焦点位置を変えながら）蛍光画像を取得することが重要となる。ここで、焦点位置の変化方法としては、図１８Ａに示したように、端部ユニット４３１において、光ファイバ素線４２１の先端に配設したレンズ４３３を動かしたり、端部ユニット４３１の全体を動かしたりして、レンズ４３３の結合面を動かすことが考えられる。これにより、観察位置が深さ方向に異なる蛍光画像を取得することが可能となる。
　しかしながら、レンズ４３３を動かすという方法では、端部ユニット４３１に駆動機構（図示せず。）を設けることが求められるが、駆動機構自体の細径化が容易ではないため、端部ユニット４３１の細径化が困難になる場合がある。また、端部ユニット４３１の全体を動かす方法では、端部ユニット４３１を所定間隔で移動させることが容易ではないため、第１の実施形態で説明したような散乱係数の算出において、誤差が生じる可能性がある。
　そこで、本実施形態に係る撮像ユニット４０では、図１８Ｂに示したように、光ファイバ素線４２１と、レンズ４３３と、の間に、被測定物Ｓにおける異なる厚み位置からの蛍光を同時に取得可能なホログラム用の光学部品４３５を設けることが好ましい。かかる光学部品４３５としては、例えば、上記非特許文献２及び非特許文献３に開示されているような空間光変調器（Ｓｐａｔｉａｌ　Ｌｉｇｈｔ　Ｍｏｄｕｌａｔｏｒ：ＳＬＭ）や、上記非特許文献４に開示されているようなＱｕａｄｒａｔｉｃａｌｌｙ　ｄｉｓｔｏｒｔｅｄ　ｇｒａｔｉｎｇ等を挙げることができる。これらの光学部品４３５を設けることで、異なる深さに及ぶ結像面を実現するようにすると、駆動機構を設けることなく、異なる厚み位置からの蛍光を短時間で取得することができる。
　なお、図１８Ｂに示したような光学部品４３５を用いる場合、それぞれの厚み位置での蛍光に関する情報量は、図１８Ａに示したような端部ユニット４３１を用いる場合と比べて少なくなる。従って、図１８Ｂに示したような端部ユニット４３１を用いる場合には、なるべく画素数の多いイメージガイドファイバ４０３等を用いたり、イメージガイドファイバ４０３自体を回転させた上で再度画像を取得したりすることで、それぞれの厚み位置での蛍光に関する情報量を増やすことが好ましい。なお、イメージガイドファイバ４０３自体を回転させる場合には、端部ユニット４３１自体に駆動機構を設ける必要はなく、イメージガイドファイバ４０３の回転に応じて、厚み位置の異なる方向も回転することとなる。
［演算処理ユニット５０の全体構成］
　次に、図１９～図２３を参照しながら、本実施形態に係る画像取得システム３０が備える演算処理ユニット５０の構成について、詳細に説明する。
　図１９は、本実施形態に係る画像取得システムが備える演算処理ユニットの構成を模式的に示したブロック図である。図２０は、本実施形態に係るデータ処理部の構成の一例を示したブロック図である。図２１～図２３は、本実施形態に係る演算処理ユニットにおける代表画素値の選択処理を説明するための説明図である。
　本実施形態に係る演算処理ユニット５０は、撮像ユニット４０の動作を制御するとともに、撮像ユニット４０により生成された画像データに対して所定の演算処理を行うことで、被測定物Ｓのそれぞれの厚み位置に対応する複数の蛍光画像を生成するユニットである。
　この演算処理ユニット５０は、図１９に模式的に示したように、撮像ユニット制御部５０１と、データ取得部５０３と、データ処理部５０５と、表示制御部５０７と、記憶部５０９と、を主に備える。
　撮像ユニット制御部５０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。撮像ユニット制御部５０１は、本実施形態に係る撮像ユニット４０を構成する光源、光学素子、走査機構等との間で各種の制御信号を送受信することにより、撮像ユニット４０における各種の動作を全般的に統括する。これにより、撮像ユニット４０が備える光源が所定のタイミングで励起光を射出したり、イメージガイドファイバ４０３の端面が上記のような走査方法に即して走査されたりする。また、撮像ユニット４０を構成する光源、光学素子、走査機構等は、この撮像ユニット制御部５０１を介して、互いに連携しながら各種の制御を行うことも可能である。また、撮像ユニット制御部５０１が撮像ユニット４０を制御する際に利用する各種の制御情報（例えば、撮像位置に関する情報等）は、データ取得部５０３やデータ処理部５０５等に必要に応じて出力され、これらの処理部における各種の処理に適宜利用される。
　更に、本実施形態に係る撮像ユニット制御部５０１は、後述するデータ処理部５０５で算出される被測定物Ｓの散乱係数に関する情報を利用して、被測定物Ｓへと照射される励起光のパワーを制御してもよい。
　データ取得部５０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。データ取得部５０３は、撮像ユニット４０が上記のような走査方法に即して生成した複数の画像データを、撮像ユニット４０から取得する。データ取得部５０３が取得した複数の画像データは、後述するデータ処理部５０５へと伝送される。また、データ取得部５０３は、取得した複数の画像データに対して、当該画像データを取得した日時等に関する時刻情報を関連付けて、履歴情報として後述する記憶部５０９に格納してもよい。
　データ処理部５０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。データ処理部５０５は、データ取得部５０３から伝送された、撮像ユニット４０によって撮像された複数の撮像画像に対して各種のデータ処理を行うことで、被測定物Ｓの蛍光画像を生成し、得られた蛍光画像を更に利用して、被測定物Ｓの表面位置や散乱係数を特定する。データ処理部５０５は、上記のような各種の情報を算出すると、生成した蛍光画像や、算出した画像情報に関する情報を、表示制御部５０７に出力する。これにより、被測定物Ｓの蛍光画像そのものや、蛍光画像に関する画像情報が、演算処理ユニット５０や演算処理ユニット５０と相互に通信が可能な各種コンピュータ等が有する表示部（図示せず。）に出力されることとなる。また、データ処理部５０５は、得られた蛍光画像や画像情報を、各種の記録媒体や各種のコンピュータ等に出力してもよいし、プリンタ等の出力装置を利用して紙媒体等に出力してもよい。また、データ処理部５０５は、被測定物Ｓの蛍光画像や蛍光画像に関する画像情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部５０９等に履歴情報として格納してもよい。
　なお、かかるデータ処理部５０５の詳細な構成については、以下で詳述する。
　表示制御部５０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置等により実現される。表示制御部５０７は、データ処理部５０５から伝送された、被測定物Ｓの蛍光画像や、被測定物Ｓの表面位置や、被測定物Ｓの散乱係数等に関する情報を含む各種の処理結果を、演算処理ユニット５０が備えるディスプレイ等の出力装置や演算処理ユニット５０の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、画像取得システム３０のユーザは、被測定物Ｓに関する各種の処理結果を、その場で把握することが可能となる。
　記憶部５０９は、例えば本実施形態に係る演算処理ユニット５０が備えるＲＡＭやストレージ装置等により実現される。記憶部５０９には、本実施形態に係る演算処理ユニット５０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部５０９は、撮像ユニット制御部５０１、データ取得部５０３、データ処理部５０５、表示制御部５０７等が、自由にデータのリード／ライト処理を行うことが可能である。
［データ処理部５０５の構成について］
　続いて、図２０～図２３を参照しながら、本実施形態に係る演算処理ユニット５０が備えるデータ処理部５０５の構成について、詳細に説明する。
　本実施形態に係るデータ処理部５０５は、図２０に示したように、選択部５１１と、撮像画像再構成部５１３と、代表輝度値特定部５１５と、表面位置特定部５１７と、散乱係数算出部５１９と、結果出力部５２１と、を備える。
　選択部５１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。選択部５１１は、光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、データ取得部５０３から伝送された複数の画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する。以下、選択部５１１により実施される代表画素値の選択処理について、図２１～図２３を参照しながら具体的に説明する。
　イメージガイドファイバ４０３は、複数の光ファイバ素線４２１が束ねられたものであるため、図２１に模式的に示したように、隣り合う光ファイバ素線の間隔（配置ピッチ）ｄや光ファイバ素線４２１のコア径ｄ’に基づいて、１本の光ファイバ素線４２１に該当する領域である光ファイバ素線該当領域を仮想的に規定することができる。本実施形態に係る選択部５１１は、各光ファイバ素線４２１に対して規定される光ファイバ素線該当領域を、以下で詳述するような代表画素値の選択処理における選択対象領域として取り扱う。
　図１６Ａ及び図１６Ｂに示したような走査方法が撮像ユニット４０において実現されることで、図２２に模式的に示したように、ある選択対象領域において撮像光学系４０５に設けられた検出器の撮像視野は、時間経過に応じて移動していく。
　ここで、２光子励起過程を含む多光子励起過程では、光ファイバ素線中での光の導波モードが低次であるほど、発生する蛍光輝度は大きくなる。また、その時点における被撮像体の撮像対象領域がコアに対して中心に位置するほど、発生する蛍光輝度は大きくなる。従って、複数回画像取得を行い、最も高い蛍光値を選択することにより、試料側端面に０次モードで到達した励起光による多光子励起過程を経て発生した蛍光の情報を選択的に取得することができる。ここで、最も高い蛍光値は、図２２において時刻Ｔ＝ｔＭＡＸに該当するような位置を撮像した画像データで与えられると考えられる。
　そこで、選択部５１１は、選択対象領域を構成する各画素について、着目している画素を含む複数の画像データの該当位置での輝度値を参照し、最も高い輝度値を特定する。その上で、選択部５１１は、特定した最高輝度値を、着目画素の代表画素値として利用する。例えば図２３に模式的に示したように、ある着目画素に対してＮ個の画像データ１～Ｎが存在した場合、Ｎ個の画像データを横断的に探索し、最高輝度値ＬＭＡＸを与える画像データを、着目画素の画像データとして利用する。図２３の場合には、画像データｋが、着目画素の代表画素値を与える画像データとして利用されることとなる。
　選択部５１１は、以上のような代表画素値の選択処理を、全ての選択対象領域（すなわち、全ての光ファイバ素線該当領域）に対して実施する。
　ここで、最大輝度値を与える画像データは、その輝度値に伴うノイズが重畳しているとも考えられるため、選択部５１１は、最高輝度値を与える画像データの代わりに、最高輝度値に近い輝度値を与える画像データを、選択してもよい。
　なお、以上の説明では、選択部５１１が、複数生成された画像データを横断的に探索して、最高輝度値を与える画像データを選択する場合について説明したが、以下のような方法を用いることでも、最高輝度値の具体的な値を特定することが可能である。すなわち、選択部５１１は、周辺画素のデータを比較し、光ファイバ素線該当領域での最大輝度値を選択するようなフィルタ処理を施すことで、最高輝度値を特定してもよい。このようなフィルタ処理の一例として、例えば１０画素×１０画素の領域に対するオーディナリフィルタ（ｏｒｄｉｎａｒｙ　ｆｉｌｔｅｒ）等を挙げることができる。フィルタ処理を利用することで、より高速かつ簡便に、着目している画素における最高輝度値を探索することが可能となる。
　選択部５１１は、以上のような方法により代表画素値を選択すると、選択した代表画素値に関する情報を、撮像画像再構成部５１３に出力する。
　撮像画像再構成部５１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。撮像画像再構成部５１３は、選択された代表画素値を利用して、被撮像体Ｓの撮像画像を再構成する。これにより、多光子励起過程を経て発生した蛍光の様子を表わした被測定物Ｓの蛍光画像を生成することができる。
　なお、撮像画像再構成部５１３は、生成した被測定物Ｓの蛍光画像に対して、ガウシアン・フィルタに代表されるブラーフィルタ（ｂｌｕｒ　ｆｉｌｔｅｒ）を作用させてもよい。これにより、選択された代表画素値がより滑らかに接続された蛍光画像を得ることが可能となる。
　また、撮像画像再構成部５１３は、生成した蛍光画像に対して、上記以外の公知の後処理を実施してもよい。
　撮像画像再構成部５１３は、以上のようにして生成した蛍光画像を、代表輝度値特定部５１５及び結果出力部５２１に出力する。
　代表輝度値特定部５１５、表面位置特定部５１７及び散乱係数算出部５１９は、それぞれ、本開示の第１の実施形態に係る情報処理装置１０が備える代表輝度値特定部１１１、表面位置特定部１１３及び散乱係数算出部１１５と同様の構成を有し、同様の効果を奏するものであるため、以下では詳細な説明は省略する。
　結果出力部５２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。結果出力部５２１は、撮像画像再構成部５１３によって生成された蛍光画像や、表面位置特定部５１７により特定された被測定物Ｓの表面の位置に関する情報や、散乱係数算出部５１９によって算出された被測定物Ｓの散乱係数ＲＳに関する情報を、出力する。
　以上、本実施形態に係る演算処理ユニット５０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
　なお、上述のような本実施形態に係る演算処理ユニットの各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
（ハードウェア構成について）
　次に、図２４を参照しながら、本開示の実施形態に係る情報処理装置１０及び演算処理ユニット５０のハードウェア構成について、詳細に説明する。図２４は、本開示の実施形態に係る情報処理装置１０及び演算処理ユニット５０のハードウェア構成を説明するためのブロック図である。
　情報処理装置１０及び演算処理ユニット５０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、演算処理ユニット５０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０や演算処理ユニット５０内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０や演算処理ユニット５０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置１０及び演算処理ユニット５０のユーザは、この入力装置９１５を操作することにより、情報処理装置１０や演算処理ユニット５０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、情報処理装置１０や演算処理ユニット５０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０や演算処理ユニット５０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
　ストレージ装置９１９は、情報処理装置１０及び演算処理ユニット５０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納する。
　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置１０や演算処理ユニット５０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）または電子機器等であってもよい。
　接続ポート９２３は、機器を情報処理装置１０及び演算処理ユニット５０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０や演算処理ユニット５０は、外部接続機器９２９から直接音響信号データや画像信号データを取得したり、外部接続機器９２９に音響信号データや画像信号データを提供したりする。
　通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
　以上、本開示の実施形態に係る情報処理装置１０及び演算処理ユニット５０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、
　それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、
を備える、情報処理装置。
（２）前記所定の順位は、最高輝度値を基準として、一枚の前記蛍光画像を構成する全画素数の上位０．５％～５％の範囲内に含まれる順位である、（１）に記載の情報処理装置。
（３）それぞれの前記蛍光画像における前記代表輝度値を利用し、前記厚み方向に沿った前記代表輝度値の変化の度合いから前記被測定物の散乱係数を算出する、散乱係数算出部を更に備える、（１）又は（２）に記載の情報処理装置。
（４）前記散乱係数算出部は、前記被測定物の表面に対応する位置よりも深部に対応する前記蛍光画像の前記代表輝度値に基づき、等間隔に位置している３つの前記厚み位置での前記代表輝度値を利用して、前記散乱係数を算出する、（３）に記載の情報処理装置。
（５）前記蛍光画像が、前記被測定物をＮ光子（Ｎは、１以上の整数。）で励起した際の蛍光を撮像したものであり、
　厚み位置ｘｉ（ｉ＝１，２，３）における前記代表輝度値をＡｉ（ｉ＝１，２，３）と表わし、隣り合う２つの前記厚み位置の間隔をｄｘと表わした際に、
　前記散乱係数算出部は、以下の式１に基づいて、散乱係数Ｓを算出する、（４）に記載の情報処理装置。
（６）被測定物に対して励起光を照射し、当該被測定物の厚み方向の位置を変えながら前記被測定物で発生した蛍光を撮像することで、前記被測定物の蛍光に関する複数の画像データを生成する撮像ユニットと、
　前記撮像ユニットを制御しつつ、前記撮像ユニットで生成された前記複数の画像データのそれぞれに対してデータ処理を行うことで、それぞれの厚み位置に対応する複数の蛍光画像を生成する演算処理ユニットと、
を備え、
　前記撮像ユニットは、
　前記被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、前記被測定物へと導光する光源光学系と、
　マルチモードの光ファイバ素線が複数束ねられたものであり、前記光源光学系により一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送するイメージガイドファイバと、
　前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成する撮像光学系と、
を有し、
　前記演算処理ユニットは、
　前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する選択部と、
　選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、前記蛍光画像を生成する撮像画像再構成部と、
　前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、
　それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、
を有する、画像取得システム。
（７）前記イメージガイドファイバにおける前記被測定物側の端部には、前記被測定物における異なる厚み位置からの蛍光を同時に取得可能なホログラム用の光学部品が設けられる、（６）に記載の画像取得システム。
（８）被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とすることと、
　それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、
を含む、情報処理方法。
（９）被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、当該被測定物へと導光することと、
　マルチモードの光ファイバ素線が複数束ねられたイメージガイドファイバにより、当該イメージガイドファイバの一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物の厚み方向の位置を変えながら、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送することと、
　前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成することと、
　前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択することと、
　選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、蛍光画像を生成することと、
　前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とすることと、
　それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、
を含む、画像情報取得方法。
（１０）コンピュータに、
　被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とする代表輝度値特定機能と、
　それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定機能と、
を実現させるためのプログラム。
Figure JPOXMLDOC01-appb-M000004
　　１０　　情報処理装置
　　２０，４０　　撮像ユニット
　　３０　　画像取得システム
　　５０　　演算処理ユニット
　１０１，５０３　　データ取得部
　１０３　　画像情報算出部
　１０５，５０７　　表示制御部
　１０７，５０９　　記憶部
　１１１，５１５　　代表輝度値特定部
　１１３，５１７　　表面位置特定部
　１１５，５１９　　散乱係数算出部
　１１７，５２１　　結果出力部
　４０１　　光源光学系
　４０３　　イメージガイドファイバ
　４０５　　撮像光学系
　４２１　　光ファイバ素線
　４２３　　コア
　４２５　　クラッド
　５０１　　撮像ユニット制御部
　５０５　　データ処理部
　５１１　　選択部
　５１３　　撮像画像再構成部
 

Claims (10)

  1. 　被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、
    　それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、
    を備える、情報処理装置。
  2. 　前記所定の順位は、最高輝度値を基準として、一枚の前記蛍光画像を構成する全画素数の上位０．５％～５％の範囲内に含まれる順位である、請求項１に記載の情報処理装置。
  3. 　それぞれの前記蛍光画像における前記代表輝度値を利用し、前記厚み方向に沿った前記代表輝度値の変化の度合いから前記被測定物の散乱係数を算出する、散乱係数算出部を更に備える、請求項１に記載の情報処理装置。
  4. 　前記散乱係数算出部は、前記被測定物の表面に対応する位置よりも深部に対応する前記蛍光画像の前記代表輝度値に基づき、等間隔に位置している３つの前記厚み位置での前記代表輝度値を利用して、前記散乱係数を算出する、請求項３に記載の情報処理装置。
  5. 　前記蛍光画像が、前記被測定物をＮ光子（Ｎは、１以上の整数。）で励起した際の蛍光を撮像したものであり、
    　厚み位置ｘｉ（ｉ＝１，２，３）における前記代表輝度値をＡｉ（ｉ＝１，２，３）と表わし、隣り合う２つの前記厚み位置の間隔をｄｘと表わした際に、
    　前記散乱係数算出部は、以下の式１に基づいて、散乱係数ＲＳを算出する、請求項４に記載の情報処理装置。
    Figure JPOXMLDOC01-appb-M000001
  6. 　被測定物に対して励起光を照射し、当該被測定物の厚み方向の位置を変えながら前記被測定物で発生した蛍光を撮像することで、前記被測定物の蛍光に関する複数の画像データを生成する撮像ユニットと、
    　前記撮像ユニットを制御しつつ、前記撮像ユニットで生成された前記複数の画像データのそれぞれに対してデータ処理を行うことで、それぞれの厚み位置に対応する複数の蛍光画像を生成する演算処理ユニットと、
    を備え、
    　前記撮像ユニットは、
    　前記被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、前記被測定物へと導光する光源光学系と、
    　マルチモードの光ファイバ素線が複数束ねられたものであり、前記光源光学系により一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送するイメージガイドファイバと、
    　前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成する撮像光学系と、
    を有し、
    　前記演算処理ユニットは、
    　前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する選択部と、
    　選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、前記蛍光画像を生成する撮像画像再構成部と、
    　前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、
    　それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、
    を有する、画像取得システム。
  7. 　前記イメージガイドファイバにおける前記被測定物側の端部には、前記被測定物における異なる厚み位置からの蛍光を同時に取得可能なホログラム用の光学部品が設けられる、請求項６に記載の画像取得システム。
  8. 　被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とすることと、
    　それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、
    を含む、情報処理方法。
  9. 　被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、当該被測定物へと導光することと、
    　マルチモードの光ファイバ素線が複数束ねられたイメージガイドファイバにより、当該イメージガイドファイバの一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物の厚み方向の位置を変えながら、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送することと、
    　前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成することと、
    　前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択することと、
    　選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、蛍光画像を生成することと、
    　前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とすることと、
    　それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、
    を含む、画像情報取得方法。
  10. 　コンピュータに、
    　被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とする代表輝度値特定機能と、
    　それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定機能と、
    を実現させるためのプログラム。
     
PCT/JP2015/077855 2014-12-08 2015-09-30 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム WO2016092940A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15866785.7A EP3232181B1 (en) 2014-12-08 2015-09-30 Information processing device, information acquisition system, information processing method, image information acquisition method, and program
US15/529,790 US10190982B2 (en) 2014-12-08 2015-09-30 Information processing device, image acquisition system, information processing method, image information acquisition method, and program
US16/218,764 US10753871B2 (en) 2014-12-08 2018-12-13 Information processing device, image acquisition system, information processing method, and image information acquisition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-248009 2014-12-08
JP2014248009A JP2016109579A (ja) 2014-12-08 2014-12-08 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/529,790 A-371-Of-International US10190982B2 (en) 2014-12-08 2015-09-30 Information processing device, image acquisition system, information processing method, image information acquisition method, and program
US16/218,764 Continuation US10753871B2 (en) 2014-12-08 2018-12-13 Information processing device, image acquisition system, information processing method, and image information acquisition method

Publications (1)

Publication Number Publication Date
WO2016092940A1 true WO2016092940A1 (ja) 2016-06-16

Family

ID=56107135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/077855 WO2016092940A1 (ja) 2014-12-08 2015-09-30 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム

Country Status (4)

Country Link
US (2) US10190982B2 (ja)
EP (1) EP3232181B1 (ja)
JP (1) JP2016109579A (ja)
WO (1) WO2016092940A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016109579A (ja) * 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
EP3165153A1 (en) * 2015-11-05 2017-05-10 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts System for fluorescence aided surgery
CN107621463B (zh) * 2017-10-16 2024-03-22 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置
JP6986452B2 (ja) * 2018-01-04 2021-12-22 浜松ホトニクス株式会社 蛍光測定装置および蛍光測定方法
WO2020003429A1 (ja) 2018-06-28 2020-01-02 オリンパス株式会社 光走査装置及び撮像装置
JP7158220B2 (ja) * 2018-09-11 2022-10-21 浜松ホトニクス株式会社 測定装置および測定方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04138127A (ja) * 1990-09-28 1992-05-12 Olympus Optical Co Ltd 内視鏡網目画像軽減装置
JPH05128251A (ja) * 1991-11-01 1993-05-25 Fukuda Denshi Co Ltd 実時間内視画像処理方式
JPH11108615A (ja) * 1997-10-01 1999-04-23 Asahi Glass Co Ltd 鏡面材料並びに透光性材料の表面位置検出方法及び装置
US20030184730A1 (en) * 2002-01-23 2003-10-02 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
JP2009160386A (ja) * 2007-12-10 2009-07-23 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
JP2010284369A (ja) * 2009-06-12 2010-12-24 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
JP2012203048A (ja) * 2011-03-23 2012-10-22 Olympus Corp 顕微鏡
JP2013011527A (ja) * 2011-06-29 2013-01-17 Olympus Corp 蛍光顕微鏡システムおよび蛍光物質の定量方法
JP2013525838A (ja) * 2010-04-19 2013-06-20 ウィテック ウイッセンシャフトリッヒエ インストルメンテ ウント テヒノロジー ゲーエムベーハー 試料表面を結像する装置
JP2013544551A (ja) * 2010-10-14 2013-12-19 コーニンクレッカ フィリップス エヌ ヴェ 物体の特性を決定する特性決定装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1351048A4 (en) * 2000-12-14 2007-02-28 Olympus Corp FLUOROMETRIC ANALYZER AND FLUOROMETRIC ANALYSIS
JP5293468B2 (ja) * 2009-07-10 2013-09-18 ソニー株式会社 蛍光像取得装置、蛍光像取得方法及び蛍光像取得プログラム
JP2013058956A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム
DE102013208927A1 (de) * 2013-05-14 2014-11-20 Carl Zeiss Microscopy Gmbh Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie
JP2016109579A (ja) * 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04138127A (ja) * 1990-09-28 1992-05-12 Olympus Optical Co Ltd 内視鏡網目画像軽減装置
JPH05128251A (ja) * 1991-11-01 1993-05-25 Fukuda Denshi Co Ltd 実時間内視画像処理方式
JPH11108615A (ja) * 1997-10-01 1999-04-23 Asahi Glass Co Ltd 鏡面材料並びに透光性材料の表面位置検出方法及び装置
US20030184730A1 (en) * 2002-01-23 2003-10-02 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
JP2009160386A (ja) * 2007-12-10 2009-07-23 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
JP2010284369A (ja) * 2009-06-12 2010-12-24 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
JP2013525838A (ja) * 2010-04-19 2013-06-20 ウィテック ウイッセンシャフトリッヒエ インストルメンテ ウント テヒノロジー ゲーエムベーハー 試料表面を結像する装置
JP2013544551A (ja) * 2010-10-14 2013-12-19 コーニンクレッカ フィリップス エヌ ヴェ 物体の特性を決定する特性決定装置
JP2012203048A (ja) * 2011-03-23 2012-10-22 Olympus Corp 顕微鏡
JP2013011527A (ja) * 2011-06-29 2013-01-17 Olympus Corp 蛍光顕微鏡システムおよび蛍光物質の定量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3232181A4 *

Also Published As

Publication number Publication date
US20170315056A1 (en) 2017-11-02
US20190113454A1 (en) 2019-04-18
EP3232181A4 (en) 2018-08-08
EP3232181A1 (en) 2017-10-18
EP3232181B1 (en) 2020-09-02
US10753871B2 (en) 2020-08-25
US10190982B2 (en) 2019-01-29
JP2016109579A (ja) 2016-06-20

Similar Documents

Publication Publication Date Title
US10753871B2 (en) Information processing device, image acquisition system, information processing method, and image information acquisition method
US10768402B2 (en) Microscopy of a tissue sample using structured illumination
Shapey et al. Intraoperative multispectral and hyperspectral label‐free imaging: A systematic review of in vivo clinical studies
Gorpas et al. Autofluorescence lifetime augmented reality as a means for real-time robotic surgery guidance in human patients
JP6046325B2 (ja) 漸次的に解像度を増加させて１以上の生物学的サンプルの観察及び分析のための方法及びその方法のための装置
JP7217893B2 (ja) 光学組織像の分析及び遠隔読影のためのシステム及び方法
Wang et al. High-resolution rapid diagnostic imaging of whole prostate biopsies using video-rate fluorescence structured illumination microscopy
JP6116561B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
US9867525B2 (en) High sensitivity temporal focusing widefield multiphoton endoscope capable of deep imaging
Schlichenmeyer et al. Video-rate structured illumination microscopy for high-throughput imaging of large tissue areas
JP5185151B2 (ja) 顕微鏡観察システム
Coda et al. State of the art in advanced endoscopic imaging for the detection and evaluation of dysplasia and early cancer of the gastrointestinal tract
US11803951B2 (en) High resolution microendoscope employing differential structured illumination and method of using same
JP5940288B2 (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
Lochocki et al. Epi-fluorescence imaging of the human brain through a multimode fiber
Roldán-Varona et al. Selective plane illumination optical endomicroscopy with polymer imaging fibers
Rangrez et al. Fluorescence In vivo endomicroscopy: high-resolution, 3-dimensional confocal laser endomicroscopy (Part 1)
Bae et al. Feasibility studies of multimodal nonlinear endoscopy using multicore fiber bundles for remote scanning from tissue sections to bulk organs
Browning et al. Illuminating the optical properties of an LED-based spectral light source for hyperspectral endoscopy
WO2015182269A1 (ja) 画像取得装置及び画像取得方法
Thrapp Computational Optical Sectioning in Fibre Bundle Endomicroscopy
Zhao Light Sheet Microscopy for Imaging Cellular Features of Unstained Tissue
Ma Advancements of pulse sampling time-resolved fluorescence spectroscopy techniques for clinical applications
Kincade 1. Home OPTOELECTRONIC APPLICATIONS: IN VIVO IMAGING: Microendoscopy takes a practical turn Feb. 1, 2008 Improvements in microlenses, laser sources, and—most important—communication between engineers and clinicians are yielding real-world in vivo imaging tools.
HULAND et al. CLINICAL ENDOSCOPY/MULTIPHOTON IMAGING/FIBER OPTICS: Multiphoton endoscopy for clinical applications Sept. 26, 2013 Multiphoton microscopy is a label-free technique valuable for its ability to image unprocessed biological tissues at high resolution and in real time. Multiphoton endoscopy (MPE) promises to make the approach viable for clinical application, improving outcomes for both doctors and patients by enabling real-time margin assessment during tumor resection, among other uses.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15866785

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015866785

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15529790

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE