WO2023162586A1 - 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 - Google Patents

走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2023162586A1
WO2023162586A1 PCT/JP2023/002961 JP2023002961W WO2023162586A1 WO 2023162586 A1 WO2023162586 A1 WO 2023162586A1 JP 2023002961 W JP2023002961 W JP 2023002961W WO 2023162586 A1 WO2023162586 A1 WO 2023162586A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
strip
data
image set
Prior art date
Application number
PCT/JP2023/002961
Other languages
English (en)
French (fr)
Inventor
嘉晃 安野
修一 巻田
達夫 山口
神之介 東
Original Assignee
国立大学法人 筑波大学
株式会社トプコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 筑波大学, 株式会社トプコン filed Critical 国立大学法人 筑波大学
Publication of WO2023162586A1 publication Critical patent/WO2023162586A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated

Definitions

  • the present disclosure relates to a scanning imaging apparatus, an information processing apparatus, a scanning imaging apparatus control method, an information processing apparatus control method, an information processing method, a program, and a recording medium.
  • Scanning imaging is a technique that sequentially irradiates a beam at multiple locations on a sample, collects data, and constructs an image of the sample from the collected data.
  • Scanning imaging methods include, for example, a spot-type scanning method using a spot-shaped beam as a projected image on a sample, a line-type scanning method using a line-shaped beam as a projected image, and an area-shaped projected image. There is also an area-type scanning method using a beam of .
  • An example of a spot type scanning method is Fourier domain type optical coherence tomography (OCT; optical coherence tomography), an example of a line type scanning method is a line scan camera, and an example of an area type scanning method is There is a full-field type OCT.
  • OCT is known as an example of a scanning imaging modality that uses light.
  • OCT is a technique capable of imaging a light scattering medium with a resolution of micrometer level or less, and is applied to medical imaging, non-destructive inspection, and the like.
  • OCT is a technology based on low coherence interferometry.
  • probe light measurement light
  • Scanning imaging using light (electromagnetic waves) in a wavelength band other than near-infrared light, ultrasonic waves, or radiation is also known.
  • Patent Documents 1 to 4 See Non-Patent Documents 1 and 2).
  • a Lissajous scan is a scan performed according to a two-dimensional pattern generated as a Lissajous curve obtained by synthesizing two mutually orthogonal simple harmonic motions.
  • the measurement beam is rapidly scanned in multiple loops (multiple cycles that intersect each other) of a certain size, so the difference in data acquisition time from one cycle is virtually negligible. can do.
  • alignment between cycles can be performed by referring to the intersection area of different cycles, it is possible to correct motion artifacts caused by sample motion. Focusing on such characteristics of the Lissajous scan, the field of ophthalmology is trying to deal with motion artifacts caused by eye movements.
  • Non-Patent Document 1 the data set collected by the Lissajous scan is divided into a plurality of sub-volumes in which relatively large movements do not intervene, and an en face projection image is constructed for each sub-volume. do. Such front projection images are called strips. Registration between these strips yields an image corrected for motion artifacts.
  • One object of the present invention is to reduce errors in motion artifact correction.
  • An example embodiment scanning imaging apparatus is a scanning imaging apparatus that uses optical scanning to image a sample, wherein the optical scanning redundantly collects data of the sample to obtain a data set.
  • a data set acquisition unit an image set generation unit that generates an image set based on the data set; an image selection unit that selects a plurality of images from the image set; and an image alignment unit for performing relative alignment of the image set by applying a translation to the image set.
  • the image alignment unit generates a plurality of relative position information of the image set by applying the plurality of registrations to the image set, and performs the relative position adjustment based on the plurality of relative position information. It may be configured as follows.
  • the image position adjustment unit determines relative position information of the image set by applying recursive registration to the image set using one of the plurality of images as an initial reference image in each of the plurality of registrations. may be configured to generate
  • the image position adjustment section may be configured to determine an adjustment amount for the relative position adjustment based on the plurality of pieces of relative position information.
  • the image selector may be configured to select the plurality of images from the image set based on the time axis of the optical scanning.
  • the image selection unit divides the image set into a plurality of subsets corresponding to a plurality of intervals on the time axis, and selects an image from each of the plurality of subsets, thereby selecting the plurality of images from the image set.
  • the image selector may be configured to select the plurality of images from the image set based on the coverage area of the optical scanning.
  • the image selection unit divides the image set into a plurality of subsets corresponding to a plurality of sub-areas of the application area, and selects an image from each of the plurality of subsets to obtain the plurality of images from the image set.
  • the image selector may be configured to select an image from each of the plurality of subsets based on image size.
  • the image selection unit may be configured to select, from each of the plurality of subsets, an image of maximum size in the subset.
  • the image selection unit performs ordering based on an image size on the images included in each of the plurality of subsets, and from each of the plurality of subsets, images in the subset in the order given by the ordering. It may be configured to select an image based on.
  • the image selection unit determines success or failure of registration based on a first image selected from a first subset of the plurality of subsets. may be configured to select a second image from said first subset based on the order given by said ordering.
  • the image selection unit is configured to order the images included in the image set based on image sizes, and select the plurality of images from the image set based on the order given to the images by the ordering. It can be.
  • the image selection unit determines success or failure of registration based on one of the plurality of images selected from the image set. It may be configured to newly select an image different from any of the plurality of images from the image set based on the order given by the ordering.
  • the scanning imaging apparatus of the embodiment may further include a motion information generator that generates motion information representing motion of the sample when the optical scanning is applied to the sample, wherein the image selector comprises: It may be arranged to select the plurality of images from the image set based on the motion information.
  • the image selector is configured to calculate a value of a predetermined motion parameter from the motion information, evaluate the value, and select the plurality of images from the image set based on the result of the evaluation. good.
  • the motion parameter may include at least one of magnitude and frequency of motion, and the image selector compares the value of the motion parameter with a predetermined threshold, and determines a period corresponding to the value equal to or greater than the threshold.
  • the data set acquisition unit may include a deflector capable of deflecting the light for the optical scanning in a first direction and a second direction different from each other, and the change in the deflection direction in the first direction is performed in a first cycle. While repeating, the change in the deflection direction in the second direction may be repeated at a second period different from the first period.
  • An information processing apparatus includes a data set receiving unit that receives a data set obtained by redundantly collecting data from a sample by optical scanning, and an image set that generates an image set based on the data set. a generator, an image selector that selects a plurality of images from the image set, and performs relative positioning of the image set by applying a plurality of registrations to the image set, each of which is relative to the plurality of images. and an image position adjuster.
  • An information processing apparatus includes an image set reception unit that receives an image set generated based on a data set obtained by redundantly collecting data from a sample by optical scanning; and an image alignment unit for performing relative alignment of the image set by applying a plurality of registrations to the image set, each of which is based on the plurality of images.
  • a method of controlling a scanning imaging device of an exemplary embodiment is a method of controlling a scanning imaging device including a processor and a scanner for optical scanning, wherein the scanner redundantly acquires data of the sample. to obtain a data set; causing the processor to generate an image set based on the data set; causing the processor to select a plurality of images from the image set; Relative alignment of the image set is performed by applying a plurality of registrations to the image set.
  • a control method for an information processing device is a method for controlling an information processing device including a processor, wherein the processor stores a data set obtained by redundantly collecting data from a sample by optical scanning. and causing the processor to generate an image set based on the data set, causing the processor to select a plurality of images from the image set, and causing the processor to generate a plurality of images each based on the plurality of images. Relative alignment of the image sets is performed by applying a registration to the image sets.
  • a control method for an information processing device is a method for controlling an information processing device including a processor, wherein the processor stores a data set obtained by redundantly collecting data from a sample by optical scanning. and causing the processor to select a plurality of images from the image set, and causing the processor to apply a plurality of registrations to the image set, each relative to the plurality of images. causing the relative positioning of the image sets to be performed.
  • An information processing method of an exemplary embodiment processes a data set acquired by redundantly collecting data of a sample by optical scanning, and generating an image set based on the data set. and performing a relative alignment of the image set by selecting a plurality of images from the image set and applying a plurality of registrations to the image set, each with respect to the plurality of images.
  • a program of an exemplary embodiment is a program that causes a computer to execute any method of the present embodiment.
  • a recording medium of an exemplary embodiment is a computer-readable non-transitory recording medium on which any program of this embodiment is recorded.
  • errors in motion artifact correction can be reduced.
  • FIG. 1 is a schematic diagram representing an example configuration of a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 1 is a schematic diagram representing an example configuration of a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 1 is a schematic diagram representing an example configuration of a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 1 is a schematic diagram representing an example configuration of a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 1 is a schematic diagram representing an example configuration of a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 1 is a schematic diagram representing an example configuration of a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 1 is a schematic diagram representing an example configuration of a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 1 is a schematic diagram representing an example configuration of a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. FIG. 4 is a schematic diagram illustrating an example of a Lissajous scan pattern performed by a scanning imaging device (ophthalmic examination device) according to an exemplary aspect of an embodiment
  • FIG. 4 is a schematic diagram illustrating an example of an initial reference image selection process performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a schematic diagram illustrating an example of an initial reference image selection process performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a schematic diagram illustrating an example of an initial reference image selection process performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a schematic diagram illustrating an example of an initial reference image selection process performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a schematic diagram illustrating an example of an initial reference image selection process performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a schematic diagram illustrating an example of adjustment amount calculation processing performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a schematic diagram illustrating an example of adjustment amount calculation processing performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a schematic diagram illustrating an example of adjustment amount calculation processing performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a schematic diagram illustrating an example of adjustment amount calculation processing performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a schematic diagram illustrating an example of adjustment amount calculation processing performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a schematic diagram illustrating an example of adjustment amount calculation processing performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • 4 is a schematic diagram illustrating an example of adjustment amount calculation processing performed by a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • 4 is a flow chart representing an example of the operation of a scanning imaging device (ophthalmic examination device) in accordance with an exemplary aspect of an embodiment
  • 4 is a flow chart representing an example of the operation of a scanning imaging device (ophthalmic examination device) in accordance with an exemplary aspect of an embodiment
  • 4 is a flow chart representing an example of the operation of a scanning imaging device (ophthalmic examination device) in accordance with an exemplary aspect of an embodiment
  • 4 is a flow chart representing an example of the operation of a scanning imaging device (ophthalmic examination device) in accordance with an exemplary aspect of an embodiment
  • FIG. 4 is a diagram for explaining an example of the operation of a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a diagram for explaining an example of the operation of a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • FIG. 4 is a diagram for explaining an example of the operation of a scanning imaging apparatus (ophthalmic examination apparatus) according to an exemplary aspect of an embodiment
  • 1 is a schematic diagram illustrating an example of a configuration of an information processing device according to an exemplary aspect of an embodiment
  • FIG. 1 is a schematic diagram illustrating an example of a configuration of an information processing device according to an exemplary aspect of an embodiment
  • FIG. 1 is a schematic diagram illustrating an example of a configuration of an information processing device according to an exemplary aspect of an embodiment
  • exemplary aspects described in the present disclosure primarily provide applications in the field of ophthalmology
  • embodiments are not limited to these aspects.
  • some exemplary embodiments may find applications in clinical departments other than ophthalmology, in medical methods such as diagnostic methods, and in fields outside the medical field (biology, non-destructive testing, etc.).
  • Applications such as applications to any field where scanning imaging is used or where scanning imaging may be used can be provided.
  • a scanning imaging apparatus is an apparatus used for examination in the field of ophthalmology (referred to as an ophthalmic examination apparatus), and utilizes Fourier-domain OCT (especially swept-source OCT) to obtain images of a living eye. It is configured to be able to measure and image the fundus of the eye.
  • the type of OCT that can be employed in embodiments is not limited to swept-source OCT, and may be spectral domain OCT or time domain OCT, for example.
  • the scanning imaging apparatus uses a spot-type scanning technique, other types of scanning techniques (e.g., line-type scanning technique, area-type scanning technique) are used. It will be appreciated by those skilled in the art that any of the aspects of the present disclosure are applicable to scanning imaging devices that use .
  • a scanning imaging apparatus may be capable of utilizing scanning imaging modalities other than OCT.
  • Some exemplary aspects can employ any optical scanning imaging modality, such as SLO.
  • scanning imaging modalities applicable to some exemplary aspects may not be optical scanning imaging modalities, for example, scanning imaging modalities that utilize electromagnetic waves other than light, scanning that utilizes ultrasound waves. It may be a type imaging modality or the like.
  • ophthalmic examination devices may process data acquired with other imaging modalities. It's okay.
  • This "other imaging modality" can be any ophthalmic imaging modality such as, for example, a fundus camera, a slit lamp microscope, an ophthalmic surgical microscope.
  • An ophthalmic examination apparatus may have capabilities for imaging modalities other than OCT and SLO.
  • the ophthalmologic examination apparatus may have a stereo alignment function using two or more anterior eye cameras disclosed in Japanese Patent Application Laid-Open No. 2013-248376. Stereo alignment is a function of specifying the three-dimensional position of the subject's eye from analysis of two or more anterior segment images respectively obtained by two or more anterior segment cameras, and aligning the optical system.
  • scanning imaging is primarily applied to the fundus in the ophthalmic applications described in the exemplary embodiments below, the application of scanning imaging is not limited to the fundus, and can be applied to any part of the eye, such as the anterior segment or the vitreous. It may be a part. Configurations and functions according to some exemplary aspects can be applied to measurement and imaging of body parts (tissues) other than the eye, and non-biological objects (for example, objects with movement). Alternatively, it can be applied to measurement and imaging of that portion.
  • the industrial fields of application of some exemplary embodiments are not limited to ophthalmology-related fields, but may include medical-related fields, veterinary-related fields, biological-related fields, and more generally topical exercise and /or may include fields related to any object (sample) with global motion.
  • Industrial applications of some example aspects may include those related to non-moving objects.
  • an object that moves or deforms under the influence of surrounding objects or the environment may be used as the object.
  • scanning imaging according to the present disclosure aims at improving motion artifact correction, a typical object in the present disclosure may be an object with active motion or an object with passive motion. Alternatively, it may be an object comprising an object with active motion and/or an object with passive motion.
  • one purpose of scanning imaging according to the present disclosure is to improve motion artifact correction.
  • the data (volume) acquired by the Lissajous scan is divided into multiple segments (multiple sub-volumes) of a size that allows negligible effects of object motion, and these segments to be the first reference image (sometimes called initial reference image, initial reference image, initial reference strip, initial reference segment, etc.), and use this single initial reference image as the starting point (first (reference image in the processing of .
  • the successively formed reference images are represented by sequentially registering and merging other segments against a single selected initial reference image. Expand the range.
  • This method assumes the case where the selection of the initial reference image adversely affects the quality of the final image. For example, according to the inventors' study, when a sufficiently appropriate initial selection image is not selected, segments with large registration errors are merged as they are, and are clearly represented in the final image as discontinuous structures. There was a time when I was lost.
  • the technology according to the present disclosure divides data collected from an object by scanning into a plurality of segments, obtains a plurality of initial reference images from the plurality of segments, and uses each initial reference image as a starting point. It is configured to perform recursive segment-to-segment misregistration estimation.
  • the technique according to the present disclosure in general, divides the collected data into multiple segments, selects multiple images from the multiple segments, and generates multiple images based on the multiple images, respectively. It is configured to perform relative alignment of multiple segments by applying a registration (and merging process) to the multiple segments. Motion artifacts may still remain even with such techniques of the present disclosure, but this residual error can be corrected by detailed motion artifact correction that can be performed at a later stage.
  • a plausible displacement amount can be obtained from a plurality of displacement estimators obtained from a plurality of registrations.
  • the method of selecting multiple initial reference images may be arbitrary, but this disclosure provides several examples thereof.
  • non-limiting initial reference image selection methods include a method of selecting an initial reference image from each of a plurality of intervals obtained by temporally segmenting the collected data, and a method of spatially dividing the collected data into A method for selecting an initial reference image from each of a plurality of segmented regions is described in this disclosure.
  • the scanning imaging apparatus of this embodiment is an apparatus that performs imaging (image measurement, optical measurement) of an object (sample) using optical scanning.
  • the scanning imaging apparatus of this embodiment is configured to redundantly collect sample data by optical scanning to obtain a data set.
  • This redundant data collection is a data collection mode in which data is collected more than once from a particular portion of the sample. In this embodiment, data is collected more than once from each of the multiple locations on the sample.
  • the scanning imaging apparatus of this embodiment is configured to generate an image set based on the data set acquired by redundant data acquisition.
  • This image set includes multiple images with positional redundancy, and may include, for example, multiple strips or multiple sub-volumes as described below.
  • the scanning imaging apparatus of this embodiment is configured to select a plurality of images from the generated image set.
  • Each of the plurality of images selected here corresponds to the aforementioned initial reference image.
  • the number of multiple initial reference images selected from the image set may be arbitrary. For example, only some of the multiple images included in the image set may be designated as the initial reference images, or may be designated as initial reference images.
  • each initial reference image is used as a starting point for recursive registration executed in subsequent processing (processing described below combining recursively executed registration and recursively executed merging processing). be done. That is, each initial reference image is used as a reference image in the first of the recursive registrations.
  • the scanning imaging apparatus of this embodiment applies a plurality of registrations to the image set, each of which is based on a plurality of selected images (a plurality of initial reference images). configured to perform relative positioning;
  • An ophthalmologic examination apparatus 1 shown in FIG. 1 is one exemplary aspect of a scanning imaging apparatus according to an embodiment.
  • the ophthalmologic examination apparatus 1 includes a fundus camera unit 2 , an OCT unit 100 and an arithmetic control unit 200 .
  • the retinal camera unit 2 is provided with a group of elements (optical elements, mechanisms, etc.) for photographing the subject's eye E from the front.
  • the OCT unit 100 is provided with part of a group of elements (optical elements, mechanisms, etc.) for applying an OCT scan to the eye E to be examined. At least part of the rest of the elements for OCT scanning are provided in the fundus camera unit 2 .
  • the arithmetic control unit 200 includes one or more processors that perform various arithmetic operations and controls.
  • the ophthalmologic examination apparatus 1 may include an element for supporting the subject's face and an element for switching the region to which the OCT scan is applied. Examples of the former element include a chin rest and a forehead rest. An example of the latter element is the lens unit used to switch the OCT scan application site from the fundus to the anterior segment.
  • Circuitry or processing circuitry includes general purpose processors, special purpose processors, integrated circuits, CPUs (Central Processing Units), GPUs (Graphics Processing Units), ASICs ( Application Specific Integrated Circuit), programmable logic devices (e.g. SPLD (Simple Programmable Logic Device), CPLD (Complex Programmable Logic Device), FPGA (Field Programmable Gate Array), conventional circuit configurations, and any combination thereof)
  • a processor may be regarded as processing circuitry or circuitry, including transistors and/or other circuitry.
  • circuitry, units, means, or like terms may be used to perform the functions disclosed.
  • hardware that implements or is programmed to perform the functions disclosed, which may be any hardware described in this disclosure, or that is described in this disclosure known hardware programmed and/or configured to perform the functions described, where the hardware is a processor that can be regarded as a type of circuitry, circuitry, units, means, or like terms is a combination of hardware and software, where the software is used to configure the hardware and/or processor.
  • the fundus camera unit 2 is provided with an optical system for photographing the fundus Ef of the eye E to be examined.
  • the acquired image of the fundus oculi Ef (called a fundus image, fundus photograph, etc.) is a front image such as an observed image or a photographed image. Observation images are obtained, for example, by moving image shooting using near-infrared light, and are used for alignment, focusing, tracking, and the like.
  • the captured image is a still image using flash light in the visible range or the infrared range, for example.
  • the retinal camera unit 2 includes an illumination optical system 10 and an imaging optical system 30.
  • the illumination optical system 10 irradiates the eye E to be inspected with illumination light.
  • the imaging optical system 30 detects return light of illumination light from the eye E to be examined.
  • the measurement light from the OCT unit 100 is guided to the subject's eye E through the optical path in the retinal camera unit 2, and its return light is guided to the OCT unit 100 through the same optical path.
  • the light (observation illumination light) output from the observation light source 11 of the illumination optical system 10 is reflected by the concave mirror 12, passes through the condenser lens 13, passes through the visible cut filter 14, and becomes near-infrared light. Furthermore, the observation illumination light is once converged near the photographing light source 15 , reflected by the mirror 16 , and passed through the relay lens system 17 , the relay lens 18 , the diaphragm 19 and the relay lens system 20 .
  • the observation illumination light is reflected by the periphery of the perforated mirror 21 (area around the perforation), passes through the dichroic mirror 46, is refracted by the objective lens 22, and illuminates the eye E (fundus oculi Ef). do.
  • the return light of the observation illumination light from the subject's eye E is refracted by the objective lens 22, passes through the dichroic mirror 46, passes through the hole formed in the central region of the apertured mirror 21, and passes through the dichroic mirror 55. , through a focusing lens 31 and reflected by a mirror 32 . Further, this return light passes through the half mirror 33A, is reflected by the dichroic mirror 33, and is imaged on the light receiving surface of the image sensor 35 by the imaging lens . The image sensor 35 detects returned light at a predetermined frame rate.
  • the focus (focal position) of the imaging optical system 30 is adjusted so as to match the fundus oculi Ef or the anterior segment of the eye.
  • the light (imaging illumination light) output from the imaging light source 15 irradiates the fundus oculi Ef through the same path as the observation illumination light.
  • the return light of the imaging illumination light from the subject's eye E is guided to the dichroic mirror 33 through the same path as the return light of the observation illumination light, passes through the dichroic mirror 33 , is reflected by the mirror 36 , is reflected by the imaging lens 37 .
  • An image is formed on the light receiving surface of the image sensor 38 .
  • a liquid crystal display (LCD) 39 displays a fixation target (fixation target image).
  • a part of the light beam output from the LCD 39 is reflected by the half mirror 33 A, reflected by the mirror 32 , passes through the focusing lens 31 and the dichroic mirror 55 , and passes through the aperture of the apertured mirror 21 .
  • the luminous flux that has passed through the aperture of the perforated mirror 21 is transmitted through the dichroic mirror 46, refracted by the objective lens 22, and projected onto the fundus oculi Ef.
  • the direction fixing direction, fixation position
  • a display device such as an LCD, for example, a light emitting element array or a combination of light emitting elements and a mechanism for moving them may be used.
  • the alignment optical system 50 generates an alignment index used for alignment of the optical system with respect to the eye E to be examined.
  • Alignment light output from a light-emitting diode (LED) 51 passes through an aperture 52, an aperture 53, and a relay lens 54, is reflected by a dichroic mirror 55, passes through the aperture of the perforated mirror 21, and passes through the dichroic mirror 46. It is transmitted and projected onto the subject's eye E via the objective lens 22 .
  • Return light of the alignment light from the subject's eye E (such as corneal reflected light) is guided to the image sensor 35 through the same path as return light of the observation illumination light.
  • Manual alignment or automatic alignment can be performed based on the received light image (alignment index image).
  • the alignment index image of this example consists of two bright spot images whose positions change depending on the alignment state.
  • the two bright spot images are displaced integrally in the xy direction.
  • the relative position between the subject's eye E and the optical system changes in the z direction (the direction represented by the z coordinate)
  • the relative position (distance) between the two bright spot images changes.
  • the distance between the subject's eye E and the optical system in the z direction matches the predetermined working distance, the two bright spot images overlap.
  • two bright point images are presented within or near a predetermined alignment target.
  • the distance between the eye to be examined E and the optical system in the z direction matches the working distance, and the position of the eye to be examined E and the position of the optical system in the xy direction match, the two bright spot images are superimposed for alignment.
  • the target Presented within the target.
  • the data processing unit 230 detects the positions of the two bright spot images, and the main control unit 211 controls the moving mechanism 150, which will be described later, based on the positional relationship between the two bright spot images and the alignment target. .
  • the main control unit 211 causes the display unit 241 to display two luminescent spot images together with the observed image of the eye E, and the user operates the operation unit 242 while referring to the two displayed luminescent spot images. to operate the moving mechanism 150 .
  • the focus optical system 60 generates a split index used for focus adjustment of the eye E to be examined.
  • the focus optical system 60 is moved along the optical path of the illumination optical system 10 (illumination optical path) in conjunction with the movement of the imaging focusing lens 31 along the optical path of the imaging optical system 30 (imaging optical path).
  • the reflecting bar 67 is inserted into and removed from the illumination optical path. When performing focus adjustment, the reflecting surface of the reflecting bar 67 is arranged at an angle in the illumination optical path.
  • Focus light output from the LED 61 passes through a relay lens 62, is split into two light beams by a split index plate 63, passes through a two-hole diaphragm 64, is reflected by a mirror 65, and is reflected by a condenser lens 66 onto a reflecting rod 67. is once imaged on the reflective surface of , and then reflected. Further, the focused light passes through the relay lens 20 , is reflected by the perforated mirror 21 , passes through the dichroic mirror 46 , and is projected onto the subject's eye E via the objective lens 22 . The return light (such as fundus reflected light) of the focus light from the subject's eye E is guided to the image sensor 35 through the same path as the return light of the alignment light. Manual focusing and autofocusing can be performed based on the received light image (split index image).
  • Diopter correction lenses 70 and 71 can be selectively inserted into the imaging optical path between the perforated mirror 21 and the dichroic mirror 55 .
  • the dioptric correction lens 70 is a plus lens (convex lens) for correcting high hyperopia.
  • the dioptric correction lens 71 is a minus lens (concave lens) for correcting strong myopia.
  • the dichroic mirror 46 synthesizes the fundus imaging optical path and the OCT optical path (measurement arm).
  • the dichroic mirror 46 reflects light in the wavelength band used for OCT and transmits light for photographing the fundus.
  • the measurement arm is provided with a collimator lens unit 40, a retroreflector 41, a dispersion compensation member 42, an OCT focusing lens 43, an optical scanner 44, and a relay lens 45 in order from the OCT unit 100 side.
  • the retroreflector 41 is movable in the direction of the arrow shown in FIG. 1, thereby changing the length of the measuring arm.
  • the change in measurement arm length is used, for example, for optical path length correction according to the axial length of the eye, adjustment of the interference state, and the like.
  • the dispersion compensating member 42 works together with the dispersion compensating member 113 (described later) arranged on the reference arm to match the dispersion characteristics of the measurement light LS and the reference light LR.
  • the OCT focusing lens 43 is moved along the measuring arm to focus the measuring arm. Movement of the imaging focusing lens 31, movement of the focusing optical system 60, and movement of the OCT focusing lens 43 can be controlled in a coordinated manner.
  • the optical scanner 44 is substantially arranged at a position optically conjugate with the pupil of the eye E to be examined.
  • a light scanner 44 deflects the measuring light LS guided by the measuring arm.
  • the optical scanner 44 is, for example, a galvanometer scanner capable of two-dimensional scanning, including a galvanometer mirror for scanning in the x direction and a galvanometer mirror for scanning in the y direction.
  • the OCT unit 100 is provided with an optical system for applying swept-source OCT.
  • This optical system includes interference optics.
  • This interference optical system divides light from a wavelength tunable light source (wavelength swept light source) into measurement light and reference light, and returns light of the measurement light guided to the subject's eye E by the measurement arm and guided by the reference arm.
  • the interference light is generated by superimposing the reference light and the reference light, and the interference light is detected.
  • Data (detection signal) obtained by the interference optical system is a signal representing the spectrum of the interference light and is sent to the arithmetic control unit 200 .
  • the light source unit 101 includes, for example, a near-infrared tunable laser that changes the emission wavelength at high speed at least in the near-infrared wavelength band.
  • Light L0 output from the light source unit 101 is guided to the polarization controller 103 through the optical fiber 102, and the polarization state is adjusted. Further, the light L0 is guided by the optical fiber 104 to the fiber coupler 105 and split into the measurement light LS and the reference light LR.
  • the optical path of the measurement light LS is called the measurement arm, and the optical path of the reference light LR is called the reference arm.
  • the reference light LR is guided to the collimator 111 by the optical fiber 110, converted into a parallel beam, passed through the optical path length correction member 112 and the dispersion compensation member 113, and guided to the retroreflector 114.
  • the optical path length correction member 112 acts to match the optical path length of the reference light LR and the optical path length of the measurement light LS.
  • the dispersion compensation member 113 works together with the dispersion compensation member 42 arranged on the measurement arm to match the dispersion characteristics between the reference light LR and the measurement light LS.
  • the retroreflector 114 is movable along the optical path of the reference beam LR incident on it, thereby changing the length of the reference arm. A change in the reference arm length is used, for example, for optical path length correction according to the axial length of the eye, adjustment of the interference state, and the like.
  • the reference light LR that has passed through the retroreflector 114 passes through the dispersion compensating member 113 and the optical path length correcting member 112 , is converted by the collimator 116 from a parallel beam into a focused beam, and enters the optical fiber 117 .
  • the reference light LR incident on the optical fiber 117 is guided to the polarization controller 118 to have its polarization state adjusted, guided to the attenuator 120 through the optical fiber 119 to have its light amount adjusted, and passed through the optical fiber 121 to the fiber coupler 122. be guided.
  • the measurement light LS generated by the fiber coupler 105 is guided by the optical fiber 127 and converted into a parallel light beam by the collimator lens unit 40. and the relay lens 45, reflected by the dichroic mirror 46, refracted by the objective lens 22, and projected onto the eye E to be examined.
  • the measurement light LS is scattered and reflected at various depth positions of the eye E to be examined.
  • the return light of the measurement light LS from the subject's eye E travels in the opposite direction along the same path as the forward path, is guided to the fiber coupler 105 , and reaches the fiber coupler 122 via the optical fiber 128 .
  • the fiber coupler 122 superimposes the measurement light LS input via the optical fiber 128 and the reference light LR input via the optical fiber 121 to generate interference light.
  • the fiber coupler 122 splits the generated interference light at a predetermined splitting ratio (for example, 1:1) to generate a pair of interference lights LC.
  • a pair of interference lights LC are guided to detector 125 through optical fibers 123 and 124, respectively.
  • the detector 125 includes, for example, a balanced photodiode.
  • a balanced photodiode has a pair of photodetectors that respectively detect a pair of interference lights LC, and outputs a difference between a pair of detection results obtained by these.
  • Detector 125 sends this output (detection signal) to data acquisition system (DAS) 130 .
  • DAS data acquisition system
  • a clock KC is supplied from the light source unit 101 to the data collection system 130 .
  • the clock KC is generated in the light source unit 101 in synchronization with the output timing of each wavelength swept within a predetermined wavelength range by the wavelength tunable light source.
  • the light source unit 101 for example, splits the light L0 of each output wavelength to generate two split lights, optically delays one of these split lights, combines these split lights, and produces the resulting combined light.
  • a clock KC is generated based on the detection result.
  • the data acquisition system 130 samples the detection signal input from the detector 125 based on the clock KC. Data acquisition system 130 sends the results of this sampling to arithmetic and control unit 200 .
  • both an element for changing the measurement arm length eg retroreflector 41
  • an element for changing the reference arm length eg retroreflector 114 or reference mirror
  • the elements for changing the difference between the measurement arm length and the reference arm length are not limited to these exemplary elements, and any element that can realize the function of changing the arm length (optical member, mechanism, etc.).
  • the control section 210, the image data constructing section 220, and the data processing section 230 are provided in the arithmetic control unit 200, for example.
  • the ophthalmic examination apparatus 1 may include a communication device for data communication with an external device.
  • the ophthalmic examination apparatus 1 may include a drive device (reader/writer) for reading data from a recording medium and writing data to the recording medium.
  • Control unit 210 executes various controls.
  • Control unit 210 includes main control unit 211 and storage unit 212 . Further, as shown in FIG. 4A, in this embodiment, the main controller 211 includes a scanning controller 2111 and the storage 212 stores a scanning protocol 2121 .
  • the main control unit 211 includes a processor and controls each element of the ophthalmologic examination apparatus 1 (including the elements shown in FIGS. 1 to 4X).
  • the main control unit 211 is implemented by cooperation between hardware including a processor and control software.
  • a scanning control unit 2111 controls OCT scanning for a scanning area having a predetermined shape and a predetermined size.
  • the shooting focus driving unit 31A moves the shooting focusing lens 31 placed on the shooting optical path and the focus optical system 60 placed on the illumination optical path.
  • a retroreflector (RR) drive unit 41A moves the retroreflector 41 provided on the measurement arm under the control of the main control unit 211 .
  • the OCT focus drive section 43A moves the OCT focus lens 43 arranged on the measurement arm under the control of the main control section 211 .
  • a retroreflector (RR) driver 114A moves the retroreflector 114 placed on the reference arm under the control of the main controller 211 .
  • Each driving section includes an actuator such as a pulse motor that operates under the control of the main control section 211 .
  • the optical scanner 44 operates under the control of the main controller 211 (scanning controller 2111).
  • the moving mechanism 150 is typically configured to move the retinal camera unit 2 three-dimensionally.
  • a moving mechanism 150 includes, for example, an x stage configured to be movable in ⁇ x directions (horizontal direction), an x moving mechanism configured to move the x stage, and ⁇ y directions (vertical direction).
  • a y-stage configured to be movable to , a y-moving mechanism configured to move the y-stage, a z-stage configured to be movable in ⁇ z directions (depth direction), and a z-stage configured to move and a z-movement mechanism configured to:
  • Each of the x-moving mechanism, the y-moving mechanism, and the z-moving mechanism includes actuators such as pulse motors that operate under the control of the main controller 211 .
  • the storage unit 212 stores various data.
  • Data stored in the storage unit 212 include an OCT image, a fundus image, eye information, control information, and the like.
  • the eye information to be examined includes subject information such as a patient ID and name, left/right eye identification information, electronic medical record information, and the like.
  • Control information is information about specific control.
  • the control information of this embodiment includes a scanning protocol 2121 .
  • the scanning protocol 2121 is an agreement regarding the content of control for OCT scanning for a scanning area of a predetermined shape and size, and includes a set of various control parameters (scanning control parameters).
  • the scanning protocol 2121 includes protocols for each scanning mode.
  • the scanning protocol 2121 of this embodiment includes at least a Lissajous scan protocol, and may further include, for example, a B scan (line scan) protocol, a cross scan protocol, a radial scan protocol, a raster scan protocol, and the like. good.
  • the scanning control parameters of this embodiment include at least parameters indicating the content of control over the optical scanner 44 .
  • This parameter includes, for example, a parameter indicating a scan pattern, a parameter indicating a scan speed, a parameter indicating a scan interval, and the like.
  • the scan pattern indicates the shape of the scanning path, examples of which include a Lissajous pattern, line pattern, cross pattern, radial pattern, and raster pattern.
  • the scan speed is defined, for example, as the A-scan repetition rate.
  • the scan interval is defined, for example, as the interval between adjacent A-scans, that is, as the array interval of scan points.
  • the "Lissajous scan” of this embodiment obtains an ordered pair of two simple harmonic motions that are orthogonal to each other. Not only the “narrowly defined” Lissajous scan along the path of the pattern drawn by the locus of points (Lissajous pattern, Lissajous figure, Lissajous curve, Lissajous function, Bowditch curve), but also the "broadly defined” Lissajous scan following a predetermined two-dimensional pattern containing a series of cycles ” may be a Lissajous scan.
  • the optical scanner 44 of this embodiment includes, for example, a first galvanomirror that deflects the measurement light LS in the x direction and a second galvanomirror that deflects the measurement light LS in the y direction.
  • the Lissajous scan controls the first galvanomirror so that the change in the deflection direction along the x direction is repeated in a first cycle
  • the second galvanometer mirror is controlled so that the change in the deflection direction along the y direction is repeated in a second cycle. It is realized by controlling the galvanomirror.
  • the first period and the second period are different from each other.
  • the Lissajous scan of this embodiment includes not only a narrowly defined Lissajous pattern scan obtained from a combination of two sine waves, but also a pattern scan obtained by adding a specific term (for example, an odd-order polynomial) to a sine wave.
  • a pattern scan based on a triangular wave may be used.
  • Cycle generally means an object consisting of multiple sampling points with a certain length.
  • the cycle of this embodiment may be, for example, a closed curve or a nearly closed curve (substantially closed curve, substantially closed curve). In other words, the cycles of this embodiment may coincide or nearly coincide in their starting and ending points.
  • scanning protocol 2121 is set based on the Lissajous function.
  • x is the horizontal axis of the two-dimensional coordinate system in which the Lissajous curve is defined
  • y is the vertical axis
  • t i is the acquisition point of the i-th A line in the Lissajous scan
  • A is The scanning range (amplitude)
  • f A is the A-line acquisition rate (scanning speed, A-scan repetition rate)
  • n is the number of A-lines in each cycle in the x direction (horizontal axis direction).
  • Non-Patent Document 1 (or Non-Patent Document 2).
  • Image construction techniques and motion artifact correction techniques can be implemented.
  • the case of applying the method described in Non-Patent Document 1 will be mainly described, but the image construction method and motion artifact correction method that can be employed in this embodiment are not limited to this.
  • control information stored in the storage unit 212 is not limited to the above example.
  • control information may include information (focus control parameters) for performing focus control.
  • a focus control parameter is a parameter that indicates the content of control for the OCT focus driving section 43A.
  • Examples of focus control parameters include a parameter indicating the focus position of the measurement arm, a parameter indicating the movement speed of the focus position, a parameter indicating the movement acceleration of the focus position, and the like.
  • a parameter indicating the focal position is, for example, a parameter indicating the position of the OCT focusing lens 43 .
  • the parameter indicating the moving speed of the focal position is, for example, a parameter indicating the moving speed of the OCT focusing lens 43 .
  • a parameter indicating the movement acceleration of the focal position is, for example, a parameter indicating the movement acceleration of the OCT focusing lens 43 .
  • the moving speed may or may not be constant. The same applies to movement acceleration.
  • Focus control parameters enable focus adjustment according to the shape of the fundus oculi Ef (typically, a concave shape with a deep central portion and a shallow peripheral portion) and aberration distribution.
  • Focus control is performed in conjunction with, for example, scanning control (repeated control of Lissajous scan). This results in a high quality image with motion artifacts corrected and in focus over the entire scan range.
  • a scanning control unit 2111 controls at least the optical scanner 44 based on a scanning protocol 2121 .
  • the scanning controller 2111 may further control the light source unit 101 in conjunction with controlling the optical scanner 44 based on the scanning protocol 2121 .
  • the scanning control unit 2111 is implemented by cooperation between hardware including a processor and scanning control software including a scanning protocol 2121 .
  • the image data constructing unit 220 includes a processor, and constructs OCT image data of the fundus oculi Ef based on the signal (sampling data) input from the data acquisition system 130 .
  • This OCT image data construction includes denoising (noise reduction), filtering, fast Fourier transform (FFT), etc., as well as conventional Fourier domain OCT (Swept source OCT).
  • the image data constructing section 220 constructs OCT image data by executing known processing corresponding to the OCT type.
  • the image data constructing unit 220 is configured to at least execute a process of constructing image data (A-scan image data) corresponding to each scanning point (each A-line) from sampling data.
  • the image data constructed by the image data constructing unit 220 may be data before being imaged.
  • the signal profile reflection profile, scattering profile.
  • the Lissajous scan is applied to the fundus oculi Ef in this embodiment.
  • the image data construction unit 220 together with the data processing unit 230, applies the image construction method and the motion data set disclosed in Non-Patent Document 1, for example, to a data set obtained through collection by the Lissajous scan and sampling by the data collection system 130.
  • Three-dimensional image data of the fundus oculi Ef can be constructed by applying the artifact correction technique.
  • the image data construction unit 220 and/or the data processing unit 230 can apply rendering to the three-dimensional image data to form a display image.
  • Examples of applicable rendering methods include volume rendering, surface rendering, maximum intensity projection (MIP), minimum intensity projection (MinIP), multiplanar reconstruction (MPR), and the like.
  • the image data constructing unit 220 and/or the data processing unit 230 can construct an OCT front image (en face OCT image) based on the 3D image data.
  • the image data construction unit 220 and/or the data processing unit 230 can construct projection data by projecting three-dimensional image data in the z direction (A line direction, optical axis direction, depth direction).
  • the image data constructing unit 220 and/or the data processing unit 230 can construct a shadowgram by projecting partial three-dimensional image data, which is part of the three-dimensional image data, in the z direction.
  • This partial 3D image data may be set using any segmentation technique, for example. Segmentation is the process of identifying subregions in an image. In this example, segmentation can be performed to identify image regions corresponding to one or more tissues (parts) of the fundus oculi Ef.
  • the segmentation of the embodiment is not limited to shadowgram construction processing, and any known technique such as threshold processing, edge detection, filtering, machine learning (eg, semantic segmentation) can be used.
  • the ophthalmologic examination apparatus 1 may be capable of executing OCT-Angiography.
  • OCT angiography is an imaging technique that constructs an image in which blood vessels are emphasized (see, for example, Non-Patent Document 2, JP-T-2015-515894, etc.).
  • the fundus tissue (structure) does not change in a short period of time, but the blood flow inside blood vessels changes in a short period of time.
  • OCT angiography an image is generated by emphasizing a portion (blood flow signal) where such temporal changes exist.
  • OCT angiography is also called OCT motion contrast imaging.
  • An image acquired by OCT angiography is called an angiogram, angiogram, motion contrast image, or the like.
  • the ophthalmologic examination apparatus 1 When OCT angiography can be performed, the ophthalmologic examination apparatus 1 repeatedly scans the same region of the fundus oculi Ef a predetermined number of times. For example, the ophthalmologic examination apparatus 1 repeatedly executes the above-described scanning control (repeated control of Lissajous scan) a predetermined number of times. Thereby, a plurality of three-dimensional data (time-series three-dimensional data sets) are collected by the data collection system 130 from the application area of the Lissajous scan. Image data builder 220 and/or data processor 230 can build a motion contrast image from this 3D data set.
  • This motion contrast image is an angiographic image in which temporal changes in interference signals caused by blood flow in the fundus oculi Ef are emphasized.
  • This angiographic image is three-dimensional angiographic image data representing the three-dimensional distribution of blood vessels in the fundus oculi Ef.
  • the image data constructing unit 220 and/or the data processing unit 230 can construct arbitrary two-dimensional angiographic image data and/or arbitrary pseudo three-dimensional angiographic image data from this three-dimensional angiographic image data. is.
  • the image data constructing unit 220 and/or the data processing unit 230 applies multi-planar reconstruction to the 3D angiographic image data to construct 2D angiographic image data representing an arbitrary cross section of the fundus oculi Ef. be able to.
  • the image data constructing unit 220 and/or the data processing unit 230 can construct front angiographic image data of the fundus oculi Ef by applying projection imaging or shadowgramming to the three-dimensional angiographic image data. .
  • the image data construction unit 220 and/or the data processing unit 230 constructs multiple strips from the data collected by the data collection system 130 .
  • the image data constructing unit 220 and/or the data processing unit 230 converts the volume (three-dimensional data) acquired by the Lissajous scan into a plurality of sub-volumes in which relatively large movements do not intervene. , and construct an en face projection image of each subvolume.
  • This front projection image is the strip.
  • Motion artifacts (in the xy direction) can be corrected by applying a registration and merging process to the strips thus obtained. As will be described later, in this example the registration and merging processes are performed by the data processing unit 230 .
  • the image data construction unit 220 is realized by cooperation between hardware including a processor and image construction software. Note that in some exemplary aspects, the image data constructing section 220 and the data processing section 230 may be configured integrally.
  • the data processing unit 230 includes a processor and applies various data processing to the image of the eye E to be examined.
  • the data processing unit 230 is implemented by cooperation of hardware including a processor and data processing software. Each functional element included in the data processing unit 230 is the same.
  • the data processing executed by the data processing unit 230 is not limited to the processing of the image of the subject's eye E, and may be arbitrary data processing.
  • the data processing section 230 of this embodiment includes an image selection section 225 and an image data processing section 231 .
  • the data processing unit 230 may be configured to perform registration between two images acquired for the fundus oculi Ef.
  • the data processing unit 230 is configured to perform registration between the three-dimensional image data acquired by OCT and the front image acquired by the fundus camera unit 2 .
  • the data processor 230 is also configured to perform registration between two OCT images acquired by OCT.
  • the data processing unit 230 is also configured to perform registration between the two frontal images acquired by the retinal camera unit 2 . Further, the registration may be applied to the analysis result of the OCT image or the analysis result of the front image.
  • These registrations can be performed by known techniques, including feature point extraction and affine transformation, for example.
  • the data processing unit 230 is configured to process the dataset obtained using the Lissajous scan. As previously mentioned, the image data construction unit 220 (and/or the data processing unit 230) constructs strips from data collected, for example, by a Lissajous scan. The data processor 230 is configured to apply a registration and merging process to these strips to construct an image corrected for motion artifacts.
  • the Lissajous scan collects sample data redundantly, so any two strips have intersecting regions (common region, overlapping region, overlapping region).
  • the data processor 230 may be configured to perform strip-to-strip registration using strip-to-strip overlap.
  • the data processing unit 230 first orders the plurality of strips constructed by the image data construction unit 220 according to their size (area, etc.) (first to N-th strips), and the first strip, which is the largest strip. can be designated as the initial reference strip.
  • An initial reference strip is an example of an initial reference image.
  • the data processing unit 230 performs registration of the second strip using the first strip as a reference, and merges (synthesizes) the first strip and the second strip.
  • the data processing unit 230 performs registration of the third strip using the resulting merge strip as a reference strip, and merges this merge strip with the third strip.
  • one feature of the present embodiment is to execute a plurality of recursive registrations (and merging processes) based on a plurality of initial reference images. It achieves one advantage of quality improvement.
  • the ophthalmologic examination apparatus 1 of this embodiment performs redundant data acquisition by Lissajous scanning, and generates an image set based on the data set acquired thereby.
  • this image set includes a plurality of strips generated by the image data construction unit 220 (or data processing unit 230). As mentioned above, multiple strips have positional redundancy. That is, any two strips (any strip pair) have positional redundancy at their intersection region.
  • the image selection unit 225 selects two or more strips from the plurality of generated strips. Each selected strip is used as a registration reference for relative alignment of the image set (strips). In this embodiment, each selected strip is used as an initial reference strip in recursive registration. That is, each selected strip is used as a reference image in the first of the iterative registrations in the recursive registration.
  • a plurality of recursive registrations are performed using a plurality of initial reference strips selected by the image selection unit 225, respectively. It should be noted that the prior art performs a single iteration of recursive registration using a single initial reference strip.
  • initial reference image selection processing executed by the image selection unit 225 will be described below. Note that the processing performed by the image selection unit 225 is not limited to these examples, and may be any processing that can be applied to select a plurality of initial reference images from an image set having redundancy. .
  • the image selection unit 225 capable of executing the processing of this example selects a plurality of initial reference images (a plurality of initial reference strips) from an image set (a plurality of strips) based on the time axis of optical scanning (Lissajous scanning). configured to
  • the optical scanning of this embodiment sequentially scans a plurality of trajectories, and the plurality of trajectories can be regarded as being arranged in time series. Further, a plurality of images ( image set) can be viewed as arranged in time series.
  • the Lissajous scan is a scan mode in which a plurality of cycles are sequentially scanned, and the plurality of cycles can be regarded as being arranged in time series. can be viewed as being arranged in series.
  • equations (9) and (10) in Non-Patent Document 1 a typical Lissajous scan is parametrized by a time parameter. The same is true for general optical scanning.
  • the first example relates to initial reference image selection based on the time axis of such optical scanning.
  • a coordinate axis t in FIG. 6 represents a time axis.
  • K sections A1, A2, . . . , AK are set on the time axis t in chronological order.
  • K is an integer of 2 or more.
  • the left end point TS of the temporally first section A1 corresponds to the scan start time
  • the right end point TE of the temporally last section AK corresponds to the scan end time.
  • the image group (strip group) constructed from the data sets collected during the period corresponding to the interval A1 is denoted by B1 n1
  • the image group constructed from the data sets collected during the period corresponding to the interval A2 (strip group ) is denoted by the symbol B2 n2
  • the image group (strip group) constructed from the data set acquired during the period corresponding to the interval AK is denoted by the symbol BK nK .
  • the lengths of the K sections A1, A2, . . . , AK may or may not be equal. In other words, the period from the scan start time TS to the scan end time TE may or may not be divided into sections of the same length. Also, N1, N2, . . . , NK may or may not be equal.
  • the image selection unit 225 of this example first selects an image set consisting of N strips B1 1 to BK NK obtained by Lissajous scanning as K strips corresponding to K sections A1 to AK on the optical scanning time axis t. subsets (N1 strips B1 1 to B1 N1 ; N2 strips B2 1 to B2 N2 ; . . . NK strips BK 1 to BK NK ).
  • the image selection unit 225 of this example selects strips from each of the K subsets. Note that strips may be selected from all of the K subsets, or no strips may be selected from any of the K subsets. Also, any number of strips may be selected from one subset. Also, the same number of strips may or may not be selected from each of the K subsets. In any case, the image selection unit 225 of this example selects two or more strips from among the N strips arranged in time series and divided into K subsets. Each strip selected is used as an initial reference image.
  • the image selector 225 of this example may be configured to select a strip from each of the K subsets based on the size of the strip (image size, eg area). That is, strip selection criteria may include image size.
  • the image selection unit 225 of this example may be configured to select from each of the K subsets the largest size strip in that subset (the strip with the largest image size in that subset). Note that only the largest sized strip in the subset may be selected, or two or more strips including the largest sized strip may be selected.
  • the image selection unit 225 of this example may be configured to order all or part of the plurality of strips included in each of the K subsets based on the image size. For example, the image selection unit 225 of this example performs a process of obtaining the image size of each strip, a process of comparing the obtained image sizes, and a process of assigning an order to a plurality of strips based on the result of this image size comparison. including.
  • the image selector 225 of the present example may be further configured to select strips from each of the K subsets based on the order in which the plurality of strips in the subset are ordered. This allows one or more strips to be selected from the subset according to an ordering according to image size.
  • the image selector 225 in this example is configured to select another strip from the same subset based on the result of the registration performed using the strip selected from the subset as the initial reference image. It's okay.
  • the image selection unit 225 of this example selects one strip (first image) from one of the K subsets based on the order given to the multiple strips in this subset. be able to.
  • the image selector 225 of this example can determine the success or failure of this registration. If this registration is determined to be successful, the registration based on this subset is determined to be complete. On the other hand, if this registration is determined to be unsuccessful, the image selector 225 of this example selects another strip (second image ) can be selected.
  • the image selection unit 225 capable of executing the processing of this example selects a plurality of initial reference images (plurality of initial reference strips) from the image set (plurality of strips) based on the application area of optical scanning (Lissajous scanning). configured to In contrast to the first example in which the image set is temporally divided, this example can be said to be a spatial division of the image set.
  • symbol C indicates the application area of the Lissajous scan (for example, the scan area shown in FIG. 5).
  • four sub-areas C1, C2, C3, and C4 are formed by dividing the application area C into two equal parts in the x direction (horizontal direction) and in the y direction (vertical direction). ing.
  • the image selection unit 225 of this example divides the image set (plurality of strips) obtained by Lissajous scanning into four subsets corresponding to four sub-areas C1 to C4.
  • the subset corresponding to sub-area C1 includes the image in sub-area C1 (eg, part of the strip (partial strip)). The same applies to the subsets corresponding to each of subareas C2-C4.
  • the image selection unit 225 of this example selects an image (eg, a partial strip) from each of the four subsets corresponding to the four sub-areas C1-C4, thereby selecting a plurality of images from the image set (a plurality of strips). Select an image (eg, multiple partial strips). Each selected partial strip is used as an initial reference image.
  • an image eg, a partial strip
  • the image selector 225 of this example may be configured to select a partial strip from each of the four subsets based on the size of the partial strip (image size, eg area). That is, the selection criteria for partial strips may include image size.
  • the image selection unit 225 of this example may be configured to select, from each of the four subsets, the maximum size partial strip in the subset (the partial strip with the largest image size in the subset). Only the largest size partial strip in the subset may be selected, or two or more partial strips including the largest size partial strip may be selected.
  • the image selection unit 225 of this example may be configured to order all or part of the plurality of partial strips included in each of the four subsets based on the image size.
  • the image selection unit 225 of this example includes processing for obtaining the image size of each partial strip, processing for comparing the obtained image sizes, and assigning an order to a plurality of partial strips based on the result of this image size comparison. including processing.
  • the image selector 225 of this example may be further configured to select a partial strip from each of the four subsets based on the order given to the plurality of partial strips in that subset. This allows one or more partial strips to be selected from the subset according to an ordering according to image size.
  • the image selector 225 in this example may be configured to select another partial strip from the same subset based on the result of the registration performed with the partial strip selected from the subset as the initial reference image. For example, the image selection unit 225 in this example selects one partial strip (first image) from one of the four subsets based on the order given to the multiple partial strips in this subset. can do. After the registration based on the selected partial strip is performed, the image selector 225 of this example can determine the success or failure of this registration. If this registration is determined to be successful, the registration based on this subset is determined to be complete. On the other hand, if this registration is determined to be unsuccessful, the image selector 225 of this example selects another partial strip (first 2 images) can be selected.
  • the Lissajous scan application area C is divided into four sub-areas C1 to C4 having the same shape and size, but the manner in which the application area is divided is not limited to this.
  • the number of sub-areas formed by dividing the application area may be any number of two or more.
  • two or more sub-areas formed by dividing the application area may have different shapes and/or different sizes.
  • the division manner of the application area is not limited to grid-like division as in the specific example of FIG. 7, but may be arbitrary division manner such as radial division or concentric division. Also, the manner of dividing the application area is not limited to geometrical manners such as lattice division, radial division, and concentric circle division.
  • the coverage area can be divided based on the objects rendered in the coverage area. For example, when a first object and a second object are rendered in the application area, the application area is divided into two or more subareas including a subarea containing the image of the first object and a subarea containing the second object. be able to. In the case of Lissajous scanning of the fundus oculi Ef, the application area of this Lissajous scanning can be divided into two or more sub-areas including a sub-area containing the image of the optic disc and a sub-area containing the macula.
  • a distribution of importance can be assigned to at least a portion of the coverage area, and the coverage area can be divided into two or more sub-areas based on the distribution of importance.
  • the application area can be divided into two or more sub-areas including a sub-area including a highly important portion and other sub-areas.
  • the image of the optic papilla, the image of the macula, the image of the lesion, and the like can be designated as portions of high importance.
  • FIGS. 8A and 8B are applications to the scan mode (called convolutional Lissajous scan) disclosed in Japanese Patent Application Laid-Open No. 2021-40854.
  • Convolutional Lissajous scan is a scan mode that combines standard Lissajous scan as shown in FIG. 5 and movement of its application area (application area shift) (see FIG. 8A). Although the application area shift is performed along a circular trajectory in the example of FIG. 8A, the trajectory is not limited to this and may be arbitrary. Convolutional Lissajous scan enables both motion artifact correction and wide-angle shooting (expansion of applicable area).
  • D indicates the application area of the convolutional Lissajous scan.
  • three sub-areas D1, D2, and D3 are formed by dividing the application area D into three equal angular directions defined around its center.
  • the image selection unit 225 of this example divides the image set (plurality of strips) obtained by Lissajous scanning into three subsets corresponding to three sub-areas D1 to D3.
  • the subset corresponding to sub-area D1 contains the image (eg partial strip) in sub-area D1.
  • the same is true for subsets corresponding to sub-areas D2 and D3, respectively.
  • the image selector 225 in this example selects an image (eg, a partial strip) from each of the three subsets corresponding to the three sub-areas D1-D3, thereby selecting a plurality of images from the image set (a plurality of strips). Select an image (eg, multiple partial strips). Each selected partial strip is used as an initial reference image.
  • an image eg, a partial strip
  • the image selector 225 of this example may be configured to select a partial strip from each of the three subsets based on the size of the partial strip (image size, eg area). That is, the selection criteria for partial strips may include image size.
  • the image selection unit 225 of this example may be configured to select, from each of the three subsets, the largest size partial strip in that subset (the partial strip with the largest image size in that subset). Only the largest size partial strip in the subset may be selected, or two or more partial strips including the largest size partial strip may be selected.
  • the image selection unit 225 of this example may be configured, for each of the three subsets, to order all or part of the plurality of partial strips included in the subset based on the image size.
  • the image selection unit 225 of this example includes processing for obtaining the image size of each partial strip, processing for comparing the obtained image sizes, and assigning an order to a plurality of partial strips based on the result of this image size comparison. including processing.
  • the image selector 225 in this example may be further configured to select partial strips from each of the three subsets based on the order given to the plurality of partial strips in the subset. This allows one or more partial strips to be selected from the subset according to an ordering according to image size.
  • the image selector 225 in this example may be configured to select another partial strip from the same subset based on the result of the registration performed with the partial strip selected from the subset as the initial reference image. For example, the image selection unit 225 in this example selects one partial strip (first image) from one of the three subsets based on the order given to the multiple partial strips in this subset. can do. After the registration based on the selected partial strip is performed, the image selector 225 of this example can determine the success or failure of this registration. If this registration is determined to be successful, the registration based on this subset is determined to be complete. On the other hand, if this registration is determined to be unsuccessful, the image selector 225 of this example selects another partial strip (first 2 images) can be selected.
  • the Lissajous scan application area D is equally angularly divided into three to form three sub-areas D1 to D3.
  • the division mode is not limited to this.
  • the image selection unit 225 capable of executing the processing of this example selects all images or only some of the images included in the image set (plurality of strips) obtained by optical scanning (Lissajous scanning) based on the image size.
  • An ordering is configured to select a plurality of initial reference images (a plurality of initial reference strips) from the image set based on the order that the ordering imparts to the images.
  • This example selects a plurality of initial reference images from the entire image set, instead of dividing the image set as in the first and second examples.
  • the image selection unit 225 excludes one or more images that satisfy a predetermined condition from the image set acquired by optical scanning, and selects a plurality of initial reference images from the remaining image set. may be configured to select the This condition may be, for example, a condition regarding each image (image quality, signal quality, etc.) or a condition regarding the relationship between images (image correlation, positional deviation, difference in image quality, difference in signal quality, etc.).
  • the image selection unit 225 in this example selects this image based on the result of the registration performed with reference to one of the plurality of initial reference images selected from the image set based on the image size reference order. It may be configured to select another initial reference image from the set (an image different from any of the plurality of previously selected initial reference images). For example, the image selector 225 in this example first performs an image size-based ordering on the image set (plurality of strips), and then selects a plurality of initial reference strips (initial reference strips) from this image set based on the given order. strip group). After the registration based on one of the initial reference strips of the group of initial reference strips is performed, the image selector 225 of this example can determine the success or failure of this registration.
  • the initial fiducial strip is determined to be adequate.
  • the registration is determined to be unsuccessful, then the initial fiducial strip is determined to be inappropriate and the image selector 225 of the present example selects the initial fiducial strip based on the order applied to the image set. A new strip is selected from this image set that is different from any of the multiple images contained in the strip group. This allows the unsuitable strips of the initially selected initial group of reference strips to be replaced with new strips, ultimately resulting in an initial group of reference strips consisting only of suitable strips for motion artifact correction. be able to.
  • a fourth example of initial reference image selection processing will be described.
  • the selection of the initial reference image is made with reference to the motion of the sample when optical scanning is applied.
  • the motion of this sample is the motion that causes or can lead to motion artifacts.
  • eye movement, head movement, body movement, and the like are included in the movement of a sample (eye E to be examined).
  • the process of this example can be executed as a pre-process for any of the processes of the first to third examples.
  • the ophthalmologic examination apparatus 1 capable of executing the processing of this example includes a motion information generation unit that generates motion information representing the motion of the subject's eye E when optical scanning is applied to the sample.
  • the motion information generator may have any configuration, and may include, for example, any of the configurations described below. It should be noted that the following exemplary configurations are for eye movements, but for other samples
  • a first configuration example of the motion information generation unit detects motion of the subject's eye E from an OCT angiography signal (OCTA signal, motion contrast signal).
  • OCT angiography signal OCT angiography signal
  • OCTA signal motion contrast signal
  • Non-Patent Document 2 in OCT angiography using Lissajous scan, detecting eye movement from OCT angiography signals, and data affected by eye movement (repeated scan cycle data, repeat-cycle-set ) is discarded.
  • the ophthalmologic examination apparatus 1 performs a Lissajous scan for OCT angiography by means of the retinal camera unit 2, the OCT unit 100, and the control unit 210, for example, and sets a data set.
  • the data set is processed by the image data construction unit 220 and the data processing unit 230 to generate an OCT angiography signal
  • the image selection unit 225 detects eye movements from the OCT angiography signal
  • the image selection unit 225 may be configured to exclude from candidates for initial reference strips strips in the vicinity of the period or location near the point in time when an eye movement satisfying a predetermined condition is detected.
  • This condition may be arbitrary, but may be, for example, a condition that the magnitude of eye movement is greater than or equal to a predetermined threshold and/or a condition that the frequency of occurrence of eye movement is greater than or equal to a predetermined threshold.
  • a second configuration example of the motion information generation unit detects the motion of the subject's eye E from data other than the OCT signal.
  • Data that can be used for motion detection in this configuration example include an observation image acquired by the retinal camera unit 2, an anterior segment image acquired by an anterior segment camera disclosed in Japanese Patent Application Laid-Open No. 2013-248376, and the like.
  • repeated scanning for OCT angiography which is required in the first configuration example, is unnecessary.
  • the ophthalmologic examination apparatus 1 acquires an image of the subject's eye E using, for example, the retinal camera unit 2 or an anterior eye camera (not shown), and the data processing unit 230 (for example, an image
  • the selection unit 225 detects eye movement from this image, and strips in the vicinity of the period or position near the time when the image selection unit 225 detects the eye movement that satisfies a predetermined condition are excluded from the initial reference strip candidates. It may be configured as This condition may be arbitrary, but may be, for example, a condition that the magnitude of eye movement is greater than or equal to a predetermined threshold and/or a condition that the frequency of occurrence of eye movement is greater than or equal to a predetermined threshold.
  • the image selection unit 225 A plurality of initial reference images may be selected from the image set (strips) based on the motion information generated by the motion information generator.
  • the image selection unit 225 performs a process of calculating a value of a predetermined motion parameter from the motion information generated by the motion information generation unit, a process of evaluating the calculated value, and an image set based on the result of this evaluation. and selecting a plurality of initial reference images from (a plurality of strips).
  • the motion parameter used for evaluating motion information may include at least one of the magnitude of eye movement and the frequency of occurrence of eye movement.
  • the image selector 225 can compare the calculated values for such motion parameters to predetermined thresholds. When it is determined that the value of the motion parameter is equal to or greater than the threshold, the image selection unit 225 specifies a period corresponding to the value of the motion parameter, and selects an image based on the data acquired by the Lissajous scan during the specified period. A (strip) can be identified and a plurality of initial reference images can be selected from a subset where one or more of the identified images are excluded from the image set.
  • the period corresponding to the value of the motion parameter is, for example, a period of a predetermined length including the point in time when an eye movement of a magnitude greater than or equal to a threshold occurs, and/or an eye movement of a frequency greater than or equal to a threshold occurs. It may be a period of predetermined length including hours.
  • an eye movement detection function such as tracking can be combined with the initial reference image selection.
  • data near where eye movement occurs can be excluded from registration.
  • images (strips) in the vicinity of eye movements such as saccades can be excluded from initial reference image candidates.
  • images (strips) in the vicinity of frequent eye movements such as saccades can be excluded from initial reference image candidates.
  • initial reference image selection processes refer to image sizes
  • the information (parameters) referred to in initial reference image selection is not limited to image sizes.
  • the embodiment applies ordering based on an arbitrary image quality evaluation index to an image set (strips), or applies ordering based on an arbitrary feature quantity of images (strips) to an image set (strips).
  • an aspect of applying ordering based on an index combining an arbitrary image quality evaluation index and an arbitrary image feature quantity to an image set (a plurality of strips), an arbitrary image quality evaluation index and / or an arbitrary image It includes a mode of applying an ordering based on an index that combines a feature value and an image size to an image set (a plurality of strips), and a mode of applying ordering based on other indices to an image set (a plurality of strips). good.
  • ⁇ Image data processing unit 231 The configuration and background of the image data processing unit 231 will be described.
  • Recursive registration for motion artifact correction utilizes a cross-correlation function to determine the relative position between a reference strip and other strips, but since strips have arbitrary shapes, each strip is A correlation operation between strips is performed using a mask for handling an image of a specific shape (for example, a square shape) (see Appendix A of Non-Patent Document 1).
  • the strip is an intensity image with a predetermined gradation
  • the mask image is a binary image.
  • the effect of the mask may be ignored and the correct correlation coefficient may not be obtained.
  • this problem occurs due to the effects of rounding errors due to the small number of significant digits. appears prominently.
  • the image data processing unit 231 includes the elements shown in FIG. It should be noted that the configuration for performing relative alignment of image sets based on a plurality of initial reference images is not limited to the configuration shown in FIG. Any configuration capable of performing relative position adjustment may be used.
  • the image data processing unit 231 processes image data constructed by the image data construction unit 220 .
  • the image data processing unit 231 includes a mask image generation unit 2311, a range adjustment unit 2312, a composite image generation unit 2313, a cross-correlation function calculation unit 2314, a correlation coefficient calculation unit 2315, It includes an xy shift amount calculation unit 2316, a registration unit 2317, a merge processing unit 2318, a z shift amount calculation unit 232, a shift amount recording unit 233, an adjustment amount calculation unit 234, and an image data correction unit 235. I'm in.
  • the image data processing unit 231 designates one of two arbitrary strips as a reference strip, and designates the other strip (target strip; registering strip) for this reference strip. configured to register.
  • the mask image generator 2311 generates a reference mask image corresponding to the reference strip and a target mask image corresponding to the target strip. Some non-limiting examples of mask images are described below.
  • the contour shape of the mask image is, for example, a rectangle, typically a square.
  • the shape of the reference mask image and the shape of the target mask image may be the same.
  • the size of the reference mask image and the size of the target mask image may be the same.
  • the range of pixel values of the mask image is set, for example, to be included in the closed interval [0, 1].
  • the mask image may be a binary image with pixel values of 0 or 1.
  • the mask image is a binary image in which pixels in the region corresponding to the domain of the strip have a value of 1 and other pixels have a value of 0.
  • the pixel values of the exemplary mask image have a value of 1 in the image area of the corresponding strip and a value of 0 in other areas, as shown in equation (20) of [1].
  • the range adjustment unit 2312 adjusts the pixel value range of the reference strip and the pixel value range of the target strip based on the pixel value range of the reference mask image and the pixel value range of the target mask image. configured to Typically, the range adjuster 2312 adjusts the range of pixel values of the reference strip and the range of pixel values of the target strip so as to reduce the difference between the range of pixel values of the strip and the range of pixel values of the mask image. Adjust the range.
  • the range adjustment unit 2312 relatively adjusts the pixel value range of the reference strip, the pixel value range of the target strip, and the pixel value range of the mask image.
  • the range adjuster 2312 adjusts the range of pixel values for the reference strip and the pixel values for the target strip, as opposed to the reference mask image applied to the reference strip and the target mask image applied to the target strip. , the range of pixel values of the reference mask image, and the range of pixel values of the target strip are relatively adjusted.
  • the range adjuster 2312 adjusts the pixel value range of the reference strip and the pixel value range of the reference mask image so that the range of pixel values of the reference strip and the pixel value of the reference mask image are reduced, and and adjusting the range of pixel values of the target strip and the range of pixel values of the target mask image relatively so as to reduce the range of pixel values of the target strip and the range of pixel values of the target mask image. be done.
  • the range adjustment unit 2312 adjusts the pixel value range of the strip and the pixel value range of the mask image so that the pixel value range of one of the strip and mask image matches the pixel value range of the other.
  • the range adjustment unit 2312 adjusts the pixel value range of the reference strip and the pixel value range of the reference mask image so that the pixel value range of the reference strip and the pixel value range of the reference mask image match.
  • relatively adjusting the range of pixel values of the target strip and the range of pixel values of the target mask image so that the range of pixel values of the target strip and the range of pixel values of the target mask image match.
  • the range adjuster 2312 is configured to normalize the range of pixel values of the strip according to the range of pixel values of the mask image.
  • this normalization normalization
  • the range adjuster 2312 divides the value of each pixel in the strip by the maximum pixel value in this strip.
  • the range adjuster 2312 first compares the values of all pixels in the strip to identify the maximum value (maximum pixel value) and divides the value of each pixel in the strip by the maximum pixel value.
  • the range of pixel values of the strip matches the same closed interval [0,1] as the range of pixel values of the mask image.
  • the range adjustment unit 2312 divides the value of each pixel of the strip by the maximum value of the pixel value range of the strip.
  • the range of pixel values of the strip is set in advance, and the range adjustment unit 2312 divides the value of each pixel of the strip by the upper limit value (maximum value) of this range.
  • the range of pixel values of the strip is also matched to the same closed interval [0,1] as the range of pixel values of the mask image.
  • the processing performed by the range adjustment unit 2312 can reduce the difference between the absolute value of the pixel value of the strip and the absolute value of the pixel value of the mask. Therefore, it becomes possible to accurately calculate the correlation coefficient. In particular, even when single-precision floating-point type (float type) arithmetic is employed, it is possible to eliminate (reduce) the influence of rounding errors due to the small number of significant digits.
  • the composite image generation unit 2313 For the strip and mask image to which the pixel value range adjustment by the range adjustment unit 2312 is applied, the composite image generation unit 2313 generates two composite images by combining the mask image with each of the reference strip and the target strip. Typically, the composite image generation unit 2313 generates a reference composite image by combining the reference mask image with the reference strip, and generates the target composite image by combining the target mask image with the target strip.
  • the process of synthesizing the strip and the mask image may be performed in the same manner as in Non-Patent Document 1.
  • adjustment is performed to reduce the difference between the range of pixel values of the strip and the range of pixel values of the mask image.
  • the pixel value ranges of the reference and target strips are normalized to match the pixel value ranges of the reference and target mask images.
  • the composite image generation unit 2313 is configured to embed strips with normalized pixel value ranges into an image of the same size and shape as the mask image. you can
  • the composite image generation unit 2313 generates a composite image of the embedded image of the strip and the mask image.
  • This composite image corresponds to "f'(r) mf (r)" (page 1800, second line, etc.) in Non-Patent Document 1, but as described above, the value of the embedded image of the strip is It is different from that of equation (19).
  • a cross-correlation function calculator 2314 obtains a plurality of cross-correlation functions based on the two composite images generated by the composite image generator 2313 . Calculation of the cross-correlation function is performed in the same manner as in Non-Patent Document 1. For example, the cross-correlation function calculator 2314 calculates the formula ( 33), six cross-correlation functions (image cross-correlation) are calculated.
  • the correlation coefficient calculator 2315 calculates correlation coefficients based on the plurality of cross-correlation functions calculated by the cross-correlation function calculator 2314 . This calculation follows Equation (33) of Non-Patent Document 1.
  • the xy shift amount calculator 2316 calculates the shift amount in the xy direction (lateral direction, horizontal direction) between the reference strip and the target strip based on the correlation coefficient calculated by the correlation coefficient calculator 2315 .
  • the computation for calculating the xy-direction shift amount includes, for example, computation corresponding to "rough lateral motion correction" (page 1787) of Non-Patent Document 1.
  • the xy shift amount calculator 2316 is configured to estimate the xy direction shift amount by obtaining the maximum value of the cross-correlation function.
  • the xy shift amount calculation unit 2316 uses the "fine lateral motion correction (page 1789).
  • the xy direction shift amount data obtained by the xy shift amount calculation unit 2316 is sent to the shift amount recording unit 233 and recorded together with predetermined information (incidental information).
  • incidental information include an identifier of xy-direction shift amount data, a correlation coefficient corresponding to the xy-direction shift amount, and the like.
  • the identifier of the xy-direction shift amount data may include, for example, any of the following: time represented by the time axis of optical scanning (Lissajous scan) (see, for example, FIG. 6); number based on cycle ordering ( number based on scan order (scan number); number based on strip ordering (strip number); number based on subvolume ordering (subvolume number); position expressed in xy coordinate system (pixel position , scan position, etc.). All these pieces of information are equivalent. In other words, it is possible to transform one information into the other for any two of these information.
  • the identifier of the xy-direction shift amount data may include an identifier common to a plurality of xy-direction shift amount data (common identifier). For example, for each of a plurality of initial reference strips designated by the image selection unit 225, a common identifier for a plurality of xy direction shift amount data sequentially obtained in the recursive registration executed based on the initial reference strip. can be given. With this common identifier, it is possible to identify and process a plurality of xy-direction shift amount data corresponding to each initial reference strip (that is, a plurality of xy-direction shift amount data corresponding to each recursive registration). become.
  • the common identifier may be provided as information separate from the identifier (individual identifier) of each xy-direction shift amount data, or the common identifier and the individual identifier may be formed as integrated information.
  • the registration unit 2317 performs registration in the lateral direction based on the lateral shift amount (xy direction shift amount) calculated by the xy shift amount calculation unit 2316 .
  • this registration includes processing corresponding to "rough lateral motion correction" (page 1787) of Non-Patent Document 1.
  • the registration unit 2317 can perform registration between the reference strip and the target strip so as to cancel the lateral shift amount calculated by the xy shift amount calculation unit 2316 .
  • the registration unit 2317 performs "fine lateral motion correction" of Non-Patent Document 1 ( 1789) can eliminate small lateral motion artifacts between the reference and target strips.
  • a merge processing unit 2318 constructs a merged image of the reference strip and the target strip whose relative positions have been adjusted by the registration unit 2317 . This process is also executed in the same manner as the method described in Non-Patent Document 1.
  • the image data processing unit 231 sequentially executes the above-described series of processes according to the ordering of the multiple strips constructed by the image data construction unit 220 according to their sizes.
  • a merged image corrected for motion artifacts in the lateral direction is obtained from the plurality of strips constructed by the image data construction unit 220 .
  • This merged image is typically an image representing the entire range to which the Lissajous scan is applied.
  • the multiple strips are multiple front projection images based on multiple sub-volumes obtained by dividing the volume (three-dimensional data) acquired by the Lissajous scan.
  • the merged image constructed from the strips by the image data processor 231 provides a plurality of laterally aligned sub-volumes (and their merged images).
  • the registration and merge processing in the depth direction perpendicular to the lateral direction are performed by the z-shift amount calculation unit 232 and the image data correction unit 235 (described later).
  • the z-shift amount calculator 232 calculates the z-direction (A line direction, optical axis direction, depth direction) is calculated.
  • the image data processing unit 231 performs position adjustment in the xy direction (lateral direction, horizontal direction), and then the z shift amount calculation unit 232 and the image data correction unit 235 perform position adjustment in the z direction. It is configured. That is, the z-shift amount calculation unit 232 of this example is configured to calculate the shift amount in the z-direction using data obtained by the image data processing unit 231 (eg, xy-direction shift amount data, merged image). It is configured.
  • a pair of sub-volumes may be two sub-volumes corresponding to a reference strip and a target strip considered in the xy-direction shift amount calculation, and these sub-volumes are referred to as a reference sub-volume and a target sub-volume, respectively.
  • the reference sub-volume and the target sub-volume are aligned in the xy direction based on the result of the xy registration between the corresponding reference strip and target strip. Also, as mentioned above, any two strips in a Lissajous scan overlap (intersect) at four locations, and therefore any two sub-volumes also overlap (intersect) at four locations.
  • the z-shift amount calculation unit 232 first identifies an intersection area (common area) between the reference sub-volume and the target sub-volume whose positions have been adjusted in the xy direction. Each intersection area is three-dimensional image data.
  • the z-shift amount calculation unit 232 sets a cross section in the specified intersection area.
  • This cross section is, for example, a plane bounded by an arbitrary axis (eg, x-axis, y-axis, or an axis oblique to both the x-axis and y-axis) and the z-axis in the xy-plane.
  • the cross section is not limited to a flat surface, and may be a curved surface or the like.
  • the z-shift amount calculation unit 232 constructs an image of the set cross-section from the reference sub-volume, and constructs an image of the same cross-section from the target sub-volume.
  • a cross-sectional image constructed from the reference sub-volume is called a reference cross-sectional image
  • a cross-sectional image constructed from the target sub-volume is called a target cross-sectional image.
  • the reference cross-sectional image and the target cross-sectional image are images representing the same cross-section in the intersection region between the reference sub-volume and the target sub-volume for which xy-direction registration has been performed.
  • the z-shift amount calculation unit 232 analyzes the reference cross-sectional image to specify an image of a predetermined portion of the subject's eye E, and analyzes the target cross-sectional image to specify an image of the same portion.
  • This site may be any site, for example, the surface of the fundus oculi Ef (retina surface, inner limiting membrane, boundary between retina and vitreous body). Further, when an artificial object is implanted in the subject's eye E, the image of this artificial object may be specified. Analysis to identify images of a given site may include, for example, segmentation.
  • the z-shift amount calculator 232 obtains the z-coordinate of the image of the predetermined site (reference image) identified from the reference cross-sectional image, and the image of the predetermined site (target image) identified from the target cross-sectional image. Find the z-coordinate.
  • an image of a given site consists of a plurality of pixels, and the z-coordinates of these pixels are not constant.
  • the global shape of the retinal surface is a convex curved shape in the +z direction
  • the local images are at least partially inclined with respect to the z-axis.
  • the z-shift amount calculator 232 can obtain the z-coordinate of the image of the predetermined site based on at least one pixel in the pixel group that forms the image of the predetermined site. For example, a z-coordinate statistic can be determined from this group of pixels, and this statistic can be adopted for the z-coordinate of the image. This statistic can be any representative value (summary statistic), examples of which include maximum, minimum, mean, median, mode, and quantiles. On the other hand, when the image of the predetermined portion consists of a single pixel, the z-coordinate of this pixel can be used as the z-coordinate of the predetermined portion.
  • the z-shift amount calculator 232 obtains the difference (z-direction shift amount) between the z-coordinate of the reference image and the z-coordinate of the target image.
  • processing control can be performed such that correction processing by the image data corrector 235 is performed when the amount of z-direction shift exceeds a threshold.
  • This threshold is, for example, zero or a positive value, and may be a preset fixed value or a variable value.
  • two-dimensional image data is constructed from three-dimensional image data (sub-volume) to obtain the z-direction shift amount.
  • the z-direction shift amount may be obtained from the three-dimensional image data without construction.
  • processing similar to that performed on the pair of reference and target cross-sectional images can be performed on the pair of reference and target sub-volumes.
  • two-dimensional image data (cross-sectional image) is constructed from three-dimensional image data (sub-volume), and an image of a predetermined site is specified from this two-dimensional image data to obtain the z-direction shift amount.
  • an image of the predetermined region may be identified from the 3D image data, and 2D image data of the image of the predetermined region may be constructed to determine the z-direction shift amount.
  • the z-shift amount calculation unit 232 calculates the z-direction shift amount between the reference sub-volume and the target sub-volume based on the correlation coefficient calculated based on the pair of the reference sub-volume and the target sub-volume. may be configured. A method of obtaining correlation coefficients between sub-volumes may be the same as the correlation coefficient calculation method executed by the correlation coefficient calculation unit 2315, for example.
  • the method for calculating the z-direction shift amount is not limited to the methods exemplified above, and may be any method applicable to the pair of the reference sub-volume and target sub-volume. Any method applicable to different pairs of objects may be used.
  • An example of an object that differs from a sub-volume is a rendered image of the sub-volume (an image that has dimensions in the z-direction, such as an image projected in the x- or y-direction).
  • the z-direction shift amount data obtained by the z-shift amount calculation unit 232 is sent to the shift amount recording unit 233 and recorded together with predetermined information (incidental information).
  • predetermined information include an identifier of z-direction shift amount data, and a value or amount (for example, a correlation coefficient) obtained during the calculation for calculating the z-direction shift amount.
  • the unique identifier for the z-direction shift amount data may include any of the following: Time represented by the time axis of optical scanning (Lissajous scan) (for example, FIG. 6 number based on cycle ordering (cycle number); number based on scan order (scan number); number based on strip ordering (strip number); number based on subvolume ordering (subvolume number); A position expressed in an xy coordinate system (pixel position, scanning position, etc.). Further, similarly to the identifier of the xy-direction shift amount data, the identifier of the z-direction shift amount data may include an identifier common to a plurality of z-direction shift amount data (common identifier).
  • the shift amount recording unit 233 records the xy direction shift amount data obtained by the xy shift amount calculation unit 2316 and accompanying information.
  • the supplementary information of this embodiment includes the identifiers of the xy direction shift amount data (for example, individual identifiers and common identifiers).
  • the shift amount recording unit 233 includes, for example, a storage device and a processor that writes data to and reads data from the storage device.
  • the xy shift amount calculation unit 2316 of this embodiment generates xy direction shift amount data for each pair of the reference strip and the target strip.
  • the shift amount recorder 233 collects and records the xy direction shift amount data corresponding to all pairs of reference strips and target strips. Also, in some exemplary aspects, the shift amount recording unit 233 collects and records the xy direction shift amount data corresponding to some pairs of all the pairs of the reference strip and the target strip.
  • the shift amount recording unit 233 records the z-direction shift amount data obtained by the z-shift amount calculation unit 232 and accompanying information.
  • the supplementary information of the present embodiment includes the aforementioned identifiers of the z-direction shift amount data (for example, individual identifiers and common identifiers).
  • the shift amount recording unit 233 collects and records z-direction shift amount data corresponding to all pairs of reference sub-volumes and target sub-volumes. Also, in some exemplary aspects, the shift amount recording unit 233 collects and records z-direction shift amount data corresponding to some of all pairs of the reference sub-volume and the target sub-volume.
  • the adjustment amount calculator 234 is configured to calculate an adjustment amount for relative position adjustment of the image set based on the data recorded by the shift amount recorder 233 .
  • the adjustment amount calculation unit 234 calculates adjustment amounts for relative position adjustment of the plurality of strips based on the xy direction shift amount data recorded by the shift amount recording unit 233 . It is assumed that the xy-direction shift amount data recorded by the shift amount recording unit 233 is attached with the aforementioned individual identifier and common identifier. Each common identifier represents a set of xy-direction shift data (xy-direction shift data set) obtained from one initial reference strip (that is, one recursive registration), and each individual identifier represents It represents the position (for example, temporal position or spatial position) of each xy direction shift amount data.
  • One xy-direction shift amount data set is information (relative position information) representing relative positions between a plurality of strips included in the image set, and relative It is substantially the same as location information.
  • this embodiment differs from the conventional method in that a plurality of pieces of relative position information are obtained by executing a plurality of recursive registrations using a plurality of initial reference images.
  • the adjustment amount calculation unit 234 calculates the adjustment amount for relative position adjustment of a plurality of strips included in the image set based on such a plurality of pieces of relative position information. is different from the conventional method in
  • any method may be used to calculate the adjustment amount for adjusting the relative positions of the multiple images included in the image set. Some non-limiting examples thereof are described below. In these examples, the method of calculating the adjustment amount for relative position adjustment in the lateral direction (xy direction) will be described, but the adjustment amount for relative position adjustment in the axial direction (z direction) is calculated in a similar manner. It will be understood by those skilled in the art that it can be calculated by
  • FIG. 9 An example of processing for calculating an adjustment amount for relative position adjustment in the lateral direction will be described with reference to FIGS. 9A to 9D and FIG.
  • the initial reference image selection method of FIG. 6 (initial reference image selection based on the time axis of optical scanning) is applied. can be executed.
  • Both the upper time axis t and the lower time axis of FIG. 9A are time axes of optical scanning (Lissajous scan) performed in this example.
  • Reference F denotes an image set (strips) acquired using Lissajous scanning.
  • three intervals T1, T2, and T3 are set in chronological order with respect to the time axis t of the Lissajous scan.
  • the image (strip) selected by the image selection unit 225 from the image group (strip group) corresponding to the interval T1 is denoted by reference symbol R1, and the image selected by the image selection unit 225 from the image group (strip group) corresponding to the interval T2.
  • An image (strip) is denoted by R2, and an image (strip) selected by the image selection unit 225 from the image group (strip group) corresponding to the section T3 is denoted by R3.
  • the three strips R1, R2 and R3 are each used as initial reference images (initial reference strips) for recursive registration performed three times.
  • Reference t1 indicates the time corresponding to the first initial reference strip R1
  • reference t2 indicates the time corresponding to the second initial reference strip R2
  • reference t3 indicates the time corresponding to the third initial reference strip R3. .
  • the coordinate system in the lower part of FIG. 9A is spanned by the time axis t of the Lissajous scan and the coordinate axis ⁇ X indicating the displacement amount (shift amount) in the lateral direction.
  • the lateral direction shift amount ⁇ X in FIG. 9A may be a vector quantity or a scalar quantity.
  • FIG. 9A shows three graphs G1, G2, and G3 expressed in such a coordinate system (t, ⁇ X).
  • the first graph G1 shows the xy-direction shift amount (xy-direction shift amount data set, relative position information) of each strip obtained by the first recursive registration executed starting from the first initial reference strip R1. represents.
  • the second graph G2 shows the xy-direction shift amount (xy-direction shift amount data set, relative position information) of each strip obtained by the second recursive registration executed starting from the second initial reference strip R2. represents.
  • a third graph G3 shows the xy-direction shift amount (xy-direction shift amount data set, relative position information) of each strip obtained by the third recursive registration executed starting from the third initial reference strip R3. represents.
  • the data described above are input from the shift amount recording unit 233 to the adjustment amount calculation unit 234 .
  • the adjustment amount calculation unit 234 of this example first performs a process of aligning the xy direction shift amounts ⁇ X of the three graphs G1 to G3 so that the xy direction shift amounts indicated by the three graphs G1 to G3 can be compared. Execute.
  • i indicates the strip index based on the individual identifier described above
  • FIG. 9B shows a mode of processing for aligning the first graph G1 and the second graph G2.
  • the adjustment amount calculation unit 234 first calculates the difference (difference vector, vector difference ). Furthermore, the adjustment amount calculator 234 moves the second graph G2 in the ⁇ X-axis direction by the calculated difference. This alignment process translates the second graph G2 in the ⁇ X-axis direction so as to cancel the difference between the first graph G1 and the second graph G2 at time t2.
  • a second graph G2 aligned with respect to the first graph G1 is denoted by G2'.
  • FIG. 9C shows a mode of processing for aligning the second graph G2' aligned with respect to the first graph G1 and the third graph G3.
  • the adjustment amount calculation unit 234 first calculates the difference (difference vector, vector difference). Furthermore, the adjustment amount calculator 234 moves the third graph G3 in the ⁇ X-axis direction by the calculated difference. This alignment process translates the third graph G3 in the ⁇ X-axis direction so as to cancel the difference between the second graph G2′ and the third graph G3 at time t3.
  • a third graph G3 aligned with respect to the second graph G2' is denoted by G3'.
  • the sorting process for making a plurality of graphs comparable is not limited to the above example, and may be arbitrary. For example, one graph out of a plurality of graphs may be combined with all other graphs. Alternatively, the algorithm may be configured to compare a plurality of graphs without performing alignment processing.
  • the adjustment amount calculation unit 234 of this example calculates the difference between the xy-direction shift amount of this i-th strip and the xy-direction shift amount of another i-th strip for an arbitrary i-th strip.
  • the initial reference strip with the smallest sum of the geometric distances is selected as the optimal initial reference strip, and the xy-direction shift obtained by recursive registration based on this optimal initial reference strip is the i-th strip. It may be configured to specify the amount of shift in the xy direction.
  • the adjustment amount calculator 234 of this example calculates the geometric distance between the other two xy-direction shift amount vectors out of the three xy-direction shift amount vectors calculated for the i-th strip. , and the selected xy-direction shift vector may be adopted as the optimum xy-direction shift vector for the i-th strip.
  • ⁇ X′ i ⁇ X′ i (R′ i)
  • R ′ i argmin Rj [ ⁇ Rj ⁇ Rk ⁇ X′ i (Rk) ⁇ X′ i (Rj) ⁇ 2 ].
  • the sum ⁇ is computed over Rk other than Rj (Rj ⁇ Rk)
  • the minimum point set argmin argument of the minimum
  • ⁇ X' i (Rk) - ⁇ X' i (Rj) corresponds to a vector indicating the amount of misalignment in the xy direction between two i-th strips.
  • the adjustment amount in the lateral direction (xy direction)
  • the adjustment amount in the axial direction (z direction) can also be calculated in the same manner.
  • the optimum shift amount is determined independently for each strip here, it is also possible to determine the optimum shift amount using information on strips positioned close to each other temporally or spatially. For example, in the calculation for the i-th strip, it is possible to use information about the i-1-th strip and information about the i+1-th strip.
  • the process of this example performs multiple iterations of recursive registration using multiple initial reference images, and uses the multiple shift amount data obtained by these recursive registrations to determine the optimum value for each strip. Select the amount of shift.
  • This differs from the conventional approach of performing one recursive registration using a single initial reference image.
  • the alignment processing and the optimal initial reference image selection processing in this example are novel techniques unique to this embodiment that are not available in conventional methods.
  • the image data correction unit 235 is configured to perform relative position adjustment of the multiple images included in the image set based at least on the adjustment amount obtained by the adjustment amount calculation unit 234 .
  • the image data correction unit 235 in the aspect shown in FIG. 4C adjusts the relative positions of the plurality of strips included in the image set in the lateral direction (xy direction) in the lateral direction of each strip obtained by the adjustment amount calculation unit 234. , and relative position adjustment in the axial direction (z direction) of the plurality of sub-volumes corresponding to the plurality of strips is performed based on the adjustment amount (xy direction shift amount) of each It is executed based on the z-direction shift amount of the sub-volume.
  • the image data correction unit 235 calculates the relative position adjustment in the lateral direction of a plurality of strips included in the image set as the adjustment amount Based on the adjustment amount in the lateral direction of each strip calculated by the calculation unit 234, relative position adjustment in the axial direction of the plurality of sub-volumes corresponding to the plurality of strips is calculated by the adjustment amount calculation unit 234. It can be performed based on the amount of axial adjustment of each sub-volume.
  • the image data correction unit 235 Similar to the registration unit 2317 that performs registration based on the xy-direction shift amount, the image data correction unit 235 adjusts the reference sub-volume so as to cancel out the corresponding z-direction shift amount obtained by the z-shift amount calculation unit 232. and the target subvolume.
  • the image data corrector 235 is controlled to perform registration between the reference sub-volume and the target sub-volume only if the corresponding amount of z-shift exceeds a threshold. you can
  • the image set obtained as a result of the position adjustment by the image data correction unit 235 is a sub-volume group in which registration (relative position adjustment) has been performed in all of the x, y, and z directions, that is, a three-dimensional registration.
  • the data processing unit 230 obtains a volume to which the three-dimensional registration has been applied by recombining the sub-volume group obtained by the three-dimensional registration.
  • a dataset to which three-dimensional registration has been applied can be used for arbitrary processing (image processing, post-processing, analysis, evaluation, visualization, rendering, etc.). This makes it possible to perform desired processing using a three-dimensional data set in which motion artifacts have been corrected with higher accuracy and precision than in the past.
  • Non-Patent Document 1 uses "axial motion correction (rough axial motion correction and/or fine axial motion correction)" in Non-Patent Document 1 to remove motion artifacts in the z direction. (pages 1789-1790).
  • User interface 240 includes display unit 241 and operation unit 242 .
  • Display unit 241 includes display device 3 .
  • the operation unit 242 includes various operation devices and input devices.
  • the user interface 240 may include a device, such as a touch panel, that combines a display function and an operation function. It is also possible to construct embodiments that do not include at least a portion of user interface 240 .
  • the display device may be an external device connected to the ophthalmologic examination apparatus 1 .
  • the data reception unit 250 acquires data from an external device.
  • This external device may be, for example, a computer, storage device, recording medium, information system (eg, hospital information system, electronic medical record system, image archiving system), or the like.
  • the external device may be, for example, a device directly connected to the ophthalmologic examination apparatus 1, a device connected to the ophthalmologic examination apparatus 1 via a local area network (LAN), or a device connected to the ophthalmologic examination apparatus 1 via a wide area network (WAN). It may be a device connected to the device 1 or the like.
  • LAN local area network
  • WAN wide area network
  • the data reception unit 250 may include, for example, a communication interface, a drive device, and the like. Data reception unit 250 may also include a scanner for reading data recorded on paper sheets. The data reception unit 250 may also include an input device for the user to input data. The input device may be a keyboard, pen tablet, or the like.
  • This operational example selects multiple initial reference images from an image set generated based on redundant data acquisition and uses these initial reference images to perform relative alignment of the image sets through multiple registrations.
  • the redundant data acquisition is a Lissajous scan
  • the image set is a series of strips (strips)
  • the initial reference image is the initial reference strip.
  • step S1 the same preparatory operations as before, such as patient ID input, scan mode setting (Lissajous scan designation), fixation target presentation, alignment, focus adjustment, and OCT optical path length adjustment, are performed.
  • scan mode setting Lisajous scan designation
  • fixation target presentation alignment
  • focus adjustment focus adjustment
  • OCT optical path length adjustment OCT optical path length adjustment
  • the scan control unit 2111 Upon receiving a predetermined scan start trigger signal, the scan control unit 2111 starts applying an OCT scan (Lissajous scan) to the subject's eye E (fundus oculi Ef).
  • the scanning start trigger signal is generated, for example, in response to completion of a predetermined preparatory operation (alignment, focus adjustment, OCT optical path length adjustment, etc.), or when a scanning start instruction operation is performed using the operation unit 242. generated in response to
  • the scanning control unit 2111 applies the Lissajous scan to the fundus oculi Ef by controlling the optical scanner 44 and the OCT unit 100 based on the scanning protocol 2121 (protocol corresponding to the Lissajous scan).
  • a data set (volume) collected by the Lissajous scan is sent to the image data constructing unit 220 .
  • the image data construction unit 220 divides the volume acquired in step S1 into a series of sub-volumes. Each sub-volume is assumed to be unaffected by the movement of the eye E to be examined.
  • the image data constructing unit 220 constructs a front projection image (strip) of each sub-volume obtained in step S2. This builds up a series of strips (image sets) from the series of sub-volumes generated in step S2. A series of strips are sent to the data processing section 230 .
  • Image selector 225 selects a plurality of initial reference strips from the series of strips constructed in step S3. This process is performed using any of the initial reference image selection methods previously described.
  • Image data processor 231 applies a plurality of recursive registrations to the series of strips, each with reference to the plurality of initial reference strips selected in step S4. Recursive registration based on one initial reference strip produces one set of xy shift amount data (relative position information) for a series of strips. By performing recursive registration based on each of the multiple initial reference strips, multiple sets of xy shift amount data (multiple relative position information) are generated for the series of strips.
  • the image data processing unit 231 calculates an adjustment amount for a series of strip relative position adjustments (motion artifact correction, especially motion artifact correction in the xy direction) based on the plurality of pieces of relative position information generated in step S5. . This process is executed using one of the relative position adjustment amount calculation methods described above.
  • the image data processing unit 231 executes a series of relative position adjustments of the strips based on the adjustment amount calculated in step S6. In this step, relative position adjustment in the lateral direction (xy direction) is performed. In this step, a process similar to "fine lateral motion correction" in Non-Patent Document 1 may be further executed.
  • the image data processing unit 231 performs relative position adjustment of a series of sub-volumes generated in step S2.
  • This relative position adjustment includes relative position adjustment in the lateral direction (xy direction) and relative position adjustment in the axial direction (z direction).
  • the lateral relative position adjustment utilizes the results of the series of strip relative position adjustments performed in step S7.
  • the relative position adjustment in the axial direction (z direction) may be a process corresponding to "axial motion correction (rough axial motion correction and/or fine axial motion correction)" in Non-Patent Document 1.
  • This operation example provides one example of the processing of steps S4 to S7 of the first operation example.
  • the process of step S11 of this operation example is executed following the process of step S3 of the first operation example, and the process of step S8 of the first operation example is executed after the process of step S20 of this operation example. be.
  • the image selector 225 selects an initial reference strip from each of the K strip groups generated in step S11.
  • one initial reference strip is selected from each strip group, but two or more initial reference strips may be selected from any strip group, or There is no need to select an initial reference strip.
  • the image data processing unit 231 starts a plurality of registrations based on the plurality of initial reference strips selected in step S12.
  • the index k is attached in arbitrary order to the initial fiducial strips.
  • the index k may be ordered according to the time axis (see FIGS. 9A-9D), or according to the size of the strip, or according to other information. They may be attached in order.
  • At least two of the K registrations based on the K initial reference strips may be performed at least partially in parallel.
  • at least part of the execution time of the first registration and at least part of the execution time of the second registration are temporally
  • the first registration and the second registration can be performed in parallel so as to overlap each other.
  • step 14 the image data processing unit 231 (mask image generation unit 2311, range adjustment unit 2312, composite image generation unit 2313, cross-correlation function calculation unit 2314, correlation coefficient calculation unit 2315, xy A shift amount calculation unit 2316, a registration unit 2317, and a merge processing unit 2318) execute recursive registration with reference to the k-th initial reference strip.
  • the xy direction shift amount data calculated by the xy shift amount calculation unit 2316 at each stage of the iterative processing in the recursive registration with the k-th initial reference strip as a reference is sent to the shift amount recording unit 233 together with the incidental information. Recorded.
  • This incidental information includes, for example, an identifier corresponding to the k-th initial reference strip (the aforementioned common identifier) and an identifier of its xy-direction shift amount data (the aforementioned individual identifier).
  • This individual identifier may be, for example, the identifier of the target strip (or an identifier compatible with the target strip identifier) in the registration at the stage at which the xy direction shift amount data was acquired.
  • step S14 By repeatedly executing the processing of steps S14 to S16 until it is determined as "Yes” in step S14, a plurality of recursive registrations are executed with reference to each of the K initial reference strips selected in step S12. , K pieces of xy-direction shift amount data sets (K pieces of relative position information) are obtained and recorded in the shift amount recording unit 233 .
  • Each element of each xy-direction shift amount data set (each xy-direction shift amount data) includes a common identifier corresponding to the initial reference strip in the recursive registration that generated the xy-direction shift amount data set, and an individual An identifier is attached.
  • each of the K sets of xy-direction shift amount data (K pieces of relative position information) includes the xy-direction shift amount data of each strip in a series of strips.
  • the shift amount recording unit 233 records K shift amount data in the xy direction for each strip constructed in step S3.
  • the adjustment amount calculator 234 determines the optimum xy-direction shift amount for each strip in the series of strips based on the set of K pieces of xy-direction shift amount data aligned in step S17.
  • the adjustment amount calculator 234 For example, for each strip in a series of strips, the adjustment amount calculator 234 first extracts the xy-direction shift amount data corresponding to that strip from each of the K sets of xy-direction shift amount data sets. Next, the adjustment amount calculator 234 selects the optimum xy-direction shift amount of the strip from among the extracted K pieces of xy-direction shift amount data in the same manner as the processing described with reference to FIG. do. This gives the optimum amount of xy shift for all strips in the series. Note that the method of selecting the optimum one from the K pieces of xy-direction shift amount data is not limited to this.
  • the process of determining the optimum xy-direction shift amount for each strip is not limited to the process of selecting the optimum one from K pieces of xy-direction shift amount data.
  • a statistic obtained by applying a predetermined statistical operation to K pieces of xy-direction shift amount data or an amount calculated from this statistic may be adopted as the optimum xy-direction shift amount of the strip. .
  • xy shift data corresponding to one or more other strips located temporally or spatially nearby to the strip (neighboring strips) can be utilized. For example, by applying a predetermined operation (statistical operation, curve fitting, etc.) to (the xy-direction shift amount data of the strip and) the xy-direction shift amount data of neighboring strips, the optimum xy-direction shift amount of the strip can be determined.
  • the image data corrector 235 performs relative position adjustment of the series of strips based on the optimum xy-direction shift amounts determined in step S18 for each of the series of strips.
  • This relative position adjustment is a relative position adjustment in the lateral direction (xy direction), and is performed by moving each strip by a vector corresponding to its optimum xy direction shift amount.
  • processing corresponding to "rough lateral motion correction" in Non-Patent Document 1 is executed based on the optimum xy direction shift amount determined in step S18.
  • the image data correction unit 235 can further perform relative position adjustment in the lateral direction more precise than the relative position adjustment in the lateral direction in step S19.
  • the precise relative position adjustment in this step may be a process corresponding to "fine lateral motion correction" in Non-Patent Document 1.
  • step S20 When step S20 is completed, step S8 in FIG. 11 is executed, and the processing according to this operation example ends (end).
  • a given initial reference strip is any of the first to Nth strips.
  • the given initial reference strip is the first strip and the initial target strip is the second strip. Note that if the given initial reference strip is not the first strip, then the given initial reference strip is set as the initial reference strip and the first strip is set as the initial target strip.
  • the given initial reference strip is set as the initial reference strip and the first strip is set as the initial target strip.
  • the reference strip and target strip correspond to arbitrary shaped images f(r) and g(r) in Appendix A of Non-Patent Document 1, respectively.
  • the mask image generator 2311 generates a mask image (reference mask image) corresponding to the reference strip and a mask image (target mask image) corresponding to the target strip.
  • the mask image generator 2311 creates a mask image corresponding to the first strip, which is the initial reference strip, and a mask image corresponding to the second strip. to generate
  • the data processing unit 230 sets the first mask image corresponding to the first strip as the initial reference mask image and sets the second mask image corresponding to the second strip as the initial target mask image.
  • the reference mask image and the target mask image correspond to rectangular shaped binary image masks m f (r) and m g (r) in Appendix A of Non-Patent Document 1, respectively.
  • the range adjustment unit 2312 normalizes the reference strip and target strip set in step S31 in the manner described above. Strip normalization is performed according to the range of pixel values in the mask image. In this stage (first registration in recursive registration), range adjuster 2312 applies normalization to the first strip (reference strip) and the second strip (target strip). Note that the process executed by the range adjustment unit 2312 is not limited to normalization, and may be any of the above-described range adjustment processes or similar processes.
  • each mask image in this example is assumed to be a binary image in which the pixel values within the region corresponding to the domain of the corresponding strip are set to 1 and the values of other pixels are set to 0.
  • the range adjuster 2312 divides the value of each pixel in the strip by the maximum pixel value in this strip, or divides the value of each pixel in the strip by the maximum pixel value range (gradation range) of this strip. Normalize this strip by dividing by the value.
  • the data processing unit 230 embeds the strip whose pixel value range has been normalized into an image of the same size and shape as the corresponding mask image.
  • the embedded image of the normalized first strip f(r) is an image similar to the rectangular shaped image f'(r) in Appendix A of Non-Patent Document 1, but the first strip
  • ) is normalized to 1 or less. This embedded image is similarly denoted by f'(r).
  • the embedded image of the normalized second strip g(r) is an image similar to the rectangular image g'(r), but within the image area of the second strip g(r). is normalized to 1 or less. This embedded image is similarly denoted by g'(r).
  • the composite image generation unit 2313 generates a composite image of the normalized embedded strip image and the corresponding mask image.
  • the composite image generator 2313 generates the normalized embedded image of the first strip (initial reference strip) and the first mask image (reference mask image), and generate a composite image of the embedded image of the normalized second strip (initial target strip) and the second mask image (target mask image).
  • the former composite image is called a reference composite image, and the latter is called a target composite image.
  • the reference synthetic image and the target synthetic image are the combination of two rectangular shaped images f′ (r) m f (r) and g in Appendix A of Non-Patent Document 1, respectively. '(r)m g (r).
  • ) of the range in the image area of the first strip f(r) is 1 or less
  • the image of the second strip g(r) The absolute value of the range within the area (
  • Image 311 in FIG. 14A is an example of the embedding image f′(r) of the normalized first strip f(r), and image 321 is an example of the first mask image. Combining these two images 311 and 321 yields the reference composite image f′(r)m f (r).
  • image 312 in FIG. 14B is an example embedding image g'(r) of the normalized second strip g(r), and image 322 is an example second mask image. Combining these two images 312 and 322 yields the reference composite image g′(r)m g (r).
  • the cross-correlation function calculator 2314 calculates a plurality of cross-correlation functions based on the reference composite image and the target composite image generated in step S34.
  • the cross-correlation function calculation unit 2314 calculates six cross-correlation functions included in Equation (33) of Non-Patent Document 1 based on the reference composite image and the target composite image generated in step S34. .
  • the correlation coefficient calculator 2315 calculates correlation coefficients based on the multiple cross-correlation functions calculated in step S35.
  • the correlation coefficient calculator 2315 calculates the correlation coefficient ( ⁇ (r′)) from the multiple cross-correlation functions calculated in step S35 according to Equation (33) of Non-Patent Document 1.
  • the shift amount recording unit 233 can record the correlation coefficient ( ⁇ (r')) calculated in step S36 as supplementary information of the xy direction shift amount calculated in the next step S38.
  • this incidental information includes the identifier (common identifier, individual identifier) of the xy direction shift amount data.
  • the xy shift amount calculation unit 2316 calculates the difference between the first strip (initial reference strip) f(r) and the second strip (initial target strip) g(r). Calculate the xy direction shift amount between.
  • the relative xy direction shift amount between the reference strip f(r) and the target strip g(r) ( ⁇ x, ⁇ y) is obtained.
  • the registration unit 2317 performs relative position adjustment between the reference strip and the target strip based on the xy direction shift amount calculated in step S38.
  • This relative position adjustment is a relative position adjustment in the lateral direction (xy direction) (rough lateral motion correction).
  • a relative alignment between the first strip f(r) and the second strip g(r) is performed.
  • the registration unit 2317 may apply arbitrary xy-direction registration, such as the aforementioned "fine lateral motion correction", to the reference strip and target strip.
  • the merge processing unit 2318 constructs a merged image of the reference strip and the target strip whose relative positions have been adjusted in step S40.
  • Image 330 in FIG. 14C shows an example of a merged image of the first strip f(r) and the second strip g(r).
  • f′(r) mf (r), g′(r) mg (r), mf (r), mg (r), (f′(r) mf (r)) 2 , and (g′(r)m g (r)) 2 by setting the imaginary part of each to 0, leaving only the real part.
  • step S35 of FIG. 13A the six cross-correlation functions shown in step S35 of FIG. 13A are derived.
  • IFFT inverse fast Fourier transform
  • the relative shift amount ( ⁇ x, ⁇ y) between the reference strip f(r) and the target strip g(r) is calculated. Registration and merging between the reference strip f(r) and the target strip g(r) are performed based on the shift amount.
  • a merged image of all N strips is obtained. Also, the xy-direction shift amounts ( ⁇ x, ⁇ y) obtained for each strip pair can be stored together with (that is, associated with) time information.
  • step S41 When N is 3 or more, if a merged image of the first strip and the second strip is created in step S41 (S42: No), the process returns to step S31.
  • a second step S31 (second registration step S31 in recursive registration), the merged image of the first strip and the second strip is set as a new reference strip, and the third is set as the new target strip.
  • steps S32 to S41 based on the new reference strip and new target strip, xy direction shift amount data and correlation coefficients between the new reference strip and new target strip are generated and recorded. Together, a merged image of the new reference strip and the new target strip is obtained.
  • This new merged image is the merged image of the first through third strips.
  • step S42 When the processing of all the series of strips obtained in step S3 is completed (S42: Yes), the process moves to recursive registration based on the next initial reference strip (step S16 in FIG. 12).
  • ⁇ Modification> A modification of the ophthalmologic examination apparatus 1 according to the embodiment described above will be described.
  • the exemplary embodiments described above refer to image size to select a plurality of initial reference images from an image set constructed from datasets acquired with redundant data acquisition, primarily using Lissajous scans.
  • An initial reference strip of maximum area is selected from each of the subsets of strips (series of strips) obtained by the method, and multiple registrations are performed using correlation coefficients between the strips.
  • motion artifact correction can be performed by discarding data (A-lines, cycles, strips, etc.) with small correlation coefficients with respect to the initial reference image.
  • the amount of data discarded due to low correlation depends on the selection of the initial reference image. That is, recursive registration starting from one initial reference image discards a relatively large amount of data, while recursive registration starting from another initial reference image discards a relatively small amount of data. There is In particular, if an initial reference image having a large size is used, the amount of discarded data may not always be reduced.
  • This modified example is based on the knowledge found by the inventors, and selects an initial reference image so as to reduce the amount of discarded data. More specifically, in this modified example, the discarded data amount is evaluated in descending order of the size of the image (for example, it is determined whether or not the discarded data amount is less than a predetermined threshold value), so that the size of the image is increased as much as possible. In addition, an image that reduces the amount of discarded data as much as possible is selected as the initial reference image.
  • the processing according to this modified example includes, for example, the following multiple steps.
  • this example divides a series of strips into a plurality of strip groups, similar to the operation example of FIG.
  • each strip group is ordered in descending order of size (area). These multiple strips will be called the first strip, the second strip, . . . according to the order given in this ordering.
  • the present example performs recursive registration ("rough lateral motion correction" in Non-Patent Document 1) with reference to the first strip, and calculates the usage of A-lines in the resulting image. .
  • the A-line usage rate is, for example, the number of A-lines used to construct the image (in other words, the number of A-lines included in the image, or in other words the number of A-lines not discarded in the recursive registration process). lines) divided by the number of A-lines in the original volume.
  • the A-line usage rate is equal to the quotient of the number of A-lines having a correlation coefficient value equal to or greater than a predetermined threshold divided by the total number of A-lines. Therefore, when recording the correlation coefficients as in the operation examples of FIGS. 13A and 13B, the A-line usage rate can be calculated based on the plurality of correlation coefficients recorded in the recursive registration. .
  • the index used for evaluation is not limited to the A-line usage rate, but a value equivalent to the A-line usage rate (for example, the A-line non-use rate), the cycle usage rate or non-use rate, the strip usage rate or non-use rate It may be a usage rate or the like.
  • This example designates the first strip as the initial reference strip to be selected from this group of strips if the A-line usage rate in the first strip is greater than or equal to a predetermined threshold. On the other hand, if the A-line utilization in the first strip is less than the predetermined threshold, then the example transitions to processing the second, next largest strip.
  • this example applies the same processing to the second strip as the processing of the first strip.
  • the A-line usage rate of at least some strips in the strip group may be calculated, and the strip with the highest A-line usage rate may be designated as the initial reference strip.
  • the strip with the highest A-line usage rate may be designated as the initial reference strip.
  • one or more strips having a size equal to or larger than a predetermined threshold are extracted from the strip group, and the strip having the largest A-line usage rate among the extracted one or more strips is designated as the initial reference strip.
  • the ophthalmologic examination apparatus 1 is a scanning imaging apparatus that performs imaging of a sample using optical scanning, and its functional elements include a data set acquisition section, an image set generation section, an image selection section, and an image position adjustment section. including.
  • the data set acquisition unit is configured to acquire data sets by redundantly collecting sample data by optical scanning.
  • the dataset acquisition section may include the optical scanner 44, the OCT unit 100, and the control section 210, and the optical scanning may be Lissajous scanning, but these are non-limiting examples.
  • the image set generator is configured to generate an image set based on the dataset acquired by the dataset acquirer.
  • the generated image set is a plurality of images with positional redundancy.
  • the image set generator may include the image data construction unit 220, and the image set may be a plurality of strips (a series of strips) or a plurality of sub-volumes (a series of sub-volumes). is a non-limiting example.
  • the image selection unit selects a plurality of images from the image set generated by the image set generation unit.
  • the selected images are used as initial reference images.
  • the image selector may include the image selector 225, and the plurality of images selected from the image set may be the plurality of initial reference strips, but these are non-limiting examples.
  • the image justification amount is such that a relative justification of the image set is performed by applying a plurality of registrations to the image set, each relative to a plurality of images selected from the image set by the image selector. It is configured.
  • the image position adjustment unit may include the image data processing unit 231, and the registration may be recursive registration using correlation coefficients, but these are non-limiting examples.
  • the conventional technique performs registration using only a single initial reference image, and thus the selection of the initial reference image may adversely affect the quality of the final image. According to embodiments, this problem can be overcome by performing multiple registrations using multiple initial reference images to reduce errors in motion artifact correction and improve motion artifact correction. becomes possible.
  • the ophthalmologic examination apparatus 1 further has the following non-limiting features (non-limiting functions, non-limiting configuration, etc.). A person skilled in the art can understand that these non-limiting features contribute to further improvement of motion artifact correction, and that actions and effects are produced according to each of the non-limiting features. Will. Note that the features of the ophthalmologic examination apparatus 1 according to this embodiment are not limited to the following items.
  • the image alignment unit may be configured to apply multiple registrations to the image set generated by the image set generation unit to generate multiple pieces of relative position information for the image set.
  • the relative position information is information representing the relative positional relationship between multiple images included in this image set. Further, the image alignment unit may be configured to perform relative alignment of the image set based on the generated plurality of relative position information.
  • the image position adjustment unit applies recursive registration to the image set by using one of the plurality of images selected by the image selection unit as an initial reference image in each of the plurality of registrations to obtain the image set.
  • the image position adjustment unit may be configured to determine an adjustment amount for relative position adjustment of the image set based on multiple pieces of relative position information generated by multiple registrations.
  • This adjustment amount may be, for example, a likely positional deviation amount (optimum positional correction amount) of each image included in this image set.
  • the image selection unit may be configured to select a plurality of images from the image set generated by the image set generation unit based on the time axis of optical scanning performed by the data set acquisition unit.
  • the image selection unit may be configured to divide the image set generated by the image set generation unit into a plurality of subsets corresponding to a plurality of temporal intervals of the optical scanning performed by the data set acquisition unit. Further, the image selector may be configured to select a plurality of images from this set of images by selecting an image from each of the plurality of resulting subsets.
  • the image selection unit may be configured to select a plurality of images from the image set generated by the image set generation unit based on the application area of the optical scanning performed by the data set acquisition unit.
  • the image selection unit is configured to divide the image set generated by the image set generation unit into a plurality of subsets corresponding to a plurality of sub-areas of the coverage area of the optical scanning performed by the data set acquisition unit. good. Further, the image selector may be configured to select a plurality of images from this set of images by selecting an image from each of the plurality of resulting subsets.
  • the image selection unit may be configured to select an image from each of the plurality of subsets based on image size.
  • the image selection unit may be configured to select, from each of the plurality of subsets, the image of the maximum size in that subset.
  • the image selection unit is configured to order images included in each of the plurality of subsets (partial images or all images included in the subset) based on image size. good. Further, the image selector may be configured to select an image from each of the plurality of subsets based on the ordering assigned to the images in the subset.
  • the image selection unit may be configured to determine success or failure of registration based on a first image selected from a first subset of the plurality of subsets. Further, the image selection unit selects the images in the first subset from the first subset based on the order given by the ordering when it is determined that the registration based on the first image is unsuccessful. It may be configured to select two images. Here, the second image is an image different from the first image.
  • the image selection unit may be configured to order the images included in the image set (partially or all of the images included in the image set) based on the image size. Further, the image selector may be configured to select a plurality of images from the image set based on the order given to the images by the ordering.
  • the image selection unit may be configured to determine the success or failure of registration based on one of the plurality of images selected from the image set. Further, the image selector selects the image from the image set based on the order given by the ordering to the images in the image set when it is determined that the registration based on the one image is unsuccessful. It may be configured to newly select an image different from any of the plurality of images.
  • the ophthalmologic examination apparatus 1 may further include a motion information generator.
  • the motion information generator is configured to generate motion information representative of the motion of the sample as the optical scanning is applied to the sample by the data set acquirer.
  • the motion information generator may include the data processor 230, may include the retinal camera unit 2, and/or may include the anterior eye camera, but these are not limiting. This is a typical example.
  • the image selector may be configured to select a plurality of images from the image set based on the motion information generated by the motion information generator.
  • the image selector calculates values of predetermined motion parameters from the motion information generated by the motion information generator, evaluates the calculated values, and selects a plurality of images from the image set based on the evaluation results. It may be configured as follows.
  • the motion parameter whose value is calculated by the image selection unit may include at least one of motion magnitude and frequency. Further, the image selector compares the value of the motion parameter with a predetermined threshold and selects a plurality of images from a subset excluding from the image set images based on data collected during periods corresponding to values equal to or greater than the threshold.
  • the period corresponding to the value equal to or greater than the threshold value may be a period around the time when the movement having magnitude or frequency equal to or greater than the threshold occurs, but this is a non-limiting example.
  • the data set acquisition unit may include a deflector capable of deflecting light for optical scanning in first and second directions different from each other.
  • this deflector is the optical scanner 44, but this is a non-limiting example.
  • the data set acquisition unit repeats a change in the deflection direction in the first direction in a first cycle, while changing the deflection direction in the second direction.
  • the change may be configured to repeat at a second period different from the first period.
  • ⁇ Second embodiment> A second embodiment will be described.
  • a scanning imaging apparatus configured to perform optical scanning has been described, but in the present embodiment, data sets collected by optical scanning are received from the outside and processed.
  • the information processing apparatus that has been developed will be described.
  • the information processing apparatus of this embodiment may be configured as part of a scanning imaging apparatus, but such a configuration is substantially the same as that of the first embodiment. are excluded from the following description.
  • the information processing apparatus of the present embodiment is the scanning type according to the first embodiment, except that it does not have a functional element that performs optical scanning (the data set acquisition unit in the first to sixth embodiments). It may have the same configuration as an imaging device (ophthalmic examination device).
  • Any items described in the first embodiment can be combined with the information processing apparatus of the present embodiment.
  • the information processing device produces actions and effects according to the combined items.
  • FIG. 15 shows an exemplary configuration of the information processing apparatus of this embodiment.
  • the information processing apparatus 400 of this aspect includes a reception unit 401 , an image set generation unit 402 , an image selection unit 403 and an image position adjustment unit 404 .
  • the reception unit 401 receives a dataset obtained by redundantly collecting data from a sample by optical scanning (dataset reception unit). That is, the reception unit 401 receives a data set acquired from a sample by a scanning imaging apparatus capable of optical scanning such as a Lissajous scan.
  • the reception unit 401 has a function of acquiring data from an external device.
  • This external device may be, for example, a computer, storage device, recording medium, information system (eg, hospital information system, electronic medical record system, image archiving system), or the like.
  • the external device may be, for example, a device directly connected to the information processing device 400, a device connected to the information processing device 400 via a local area network (LAN), or a device that processes information via a wide area network (WAN). It may be a device connected to the device 400 or the like.
  • the reception unit 401 may include, for example, a communication interface for performing data communication via a communication line and/or a drive device for reading data from a recording medium.
  • the image set generation unit 402 is configured to generate an image set based on the data set received by the reception unit 401 .
  • the image set generation unit 402 may have the same configuration as the image set generation unit (image data construction unit 220) of the first embodiment.
  • the image selection unit 403 is configured to select a plurality of images from the image set generated by the image set generation unit 402.
  • the image selection unit 403 may have the same configuration as the image selection unit 225 of the first embodiment.
  • the image position adjustment unit 404 applies a plurality of registrations based on the plurality of images selected by the image selection unit 403 to the image set generated by the image set generation unit 402, thereby adjusting the image set. configured to perform relative positioning;
  • the image position adjustment unit 404 may have the same configuration as the image position adjustment unit (image data processing unit 231) of the first embodiment.
  • FIG. 16 shows another exemplary configuration of the information processing apparatus of this embodiment.
  • An information processing apparatus 500 of this aspect includes a reception unit 501 , an image selection unit 502 , and an image position adjustment unit 503 .
  • the reception unit 501 receives an image set generated based on a data set obtained by redundantly collecting data from a sample by optical scanning (image set reception unit). That is, the receiving unit 501 receives an image set constructed from a data set acquired from a sample by a scanning imaging apparatus capable of optical scanning, such as a Lissajous scan.
  • the reception unit 501 may have the same configuration as the reception unit 401 described above.
  • the image selection unit 502 is configured to select a plurality of images from the image set accepted by the acceptance unit 501 .
  • the image selection unit 502 may have the same configuration as the image selection unit 225 of the first embodiment.
  • the image position adjustment unit 503 applies a plurality of registrations based on the plurality of images selected by the image selection unit 502 to the image set received by the reception unit 501, thereby determining the relative position of this image set. Configured to perform reconciliation.
  • the image position adjustment unit 503 may have the same configuration as the image position adjustment unit (image data processing unit 231) of the first embodiment.
  • Embodiments according to the present disclosure are not limited to the first and second embodiments and modifications thereof.
  • the first and second embodiments provide embodiments related to various methods, embodiments related to various programs, embodiments related to various recording media, and the like.
  • the first embodiment described above provides an embodiment of a method for controlling a scanning imaging device.
  • This embodiment is a method of controlling a scanning imaging device that includes a processor and a scanner that performs optical scanning.
  • This scanner may be the data set acquisition unit of the first embodiment, and this processor may be the control unit 210, the image data construction unit 220, and the data processing unit 230 of the first embodiment.
  • the control method of the scanning imaging apparatus may include the following four steps.
  • the control of the first step causes the scanner to redundantly collect data of the sample to acquire the data set.
  • Control of the second step causes the processor to generate an image set based on the data set acquired in the first step.
  • Control of the third step causes the processor to select a plurality of images from the image set generated in the second step.
  • the control of the fourth step causes the processor to apply a plurality of registrations, each of which is based on the plurality of images selected in the third step, to the image set generated in the second step, thereby transforming this image set.
  • Any items described in the first or second embodiment can be combined with the control method of the scanning imaging apparatus according to this embodiment.
  • the control method of the scanning imaging device has actions and effects according to the combined items.
  • the second embodiment described above provides an embodiment of a method for controlling an information processing device.
  • This embodiment is a method of controlling an information processing apparatus including a processor.
  • This processor may be the control unit 210, the image data construction unit 220, and the data processing unit 230 of the first embodiment.
  • the control method for the information processing apparatus may include the following four steps.
  • the control of the first step causes the processor to accept a data set acquired by redundantly collecting data from the sample by optical scanning.
  • Control of the second step causes the processor to generate an image set based on the data set received in the first step.
  • Control of the third step causes the processor to select a plurality of images from the image set generated in the second step.
  • the control of the fourth step causes the processor to apply a plurality of registrations, each of which is based on the plurality of images selected in the third step, to the image set generated in the second step, thereby transforming this image set.
  • Any items described in the first or second embodiment can be combined with the control method for the information processing apparatus according to the present embodiment.
  • the control method for the information processing apparatus produces actions and effects according to the combined items.
  • the second embodiment described above provides another embodiment of the method for controlling the information processing device.
  • This embodiment is a method of controlling an information processing apparatus including a processor.
  • This processor may be the control unit 210 and the data processing unit 230 of the first embodiment.
  • the control method for the information processing apparatus may include the following three steps.
  • the control of the first step causes the processor to accept a set of images generated based on data sets acquired by redundantly acquiring data from the sample by optical scanning.
  • Control of the second step causes the processor to select a plurality of images from the set of images received in the first step.
  • the control of the third step comprises causing the processor to apply a plurality of registrations, each of which is based on the plurality of images selected in the second step, to the image set received in the first step, thereby transforming this image set.
  • Any items described in the first or second embodiment can be combined with the control method for the information processing apparatus according to the present embodiment.
  • the control method for the information processing apparatus produces actions and effects according to the combined items.
  • the first and second embodiments provide embodiments of methods for processing information.
  • the information processing method is a method of processing a data set obtained by redundantly collecting sample data by optical scanning, and may include the following three steps.
  • the first step is to generate an image set based on this data set.
  • the second step selects a plurality of images from the image set generated in the first step.
  • a third step performs relative alignment of the image set generated in the first step by applying a plurality of registrations, each relative to the plurality of images selected in the second step, to the image set generated in the first step. do.
  • Any items described in the first or second embodiment can be combined with the information processing method according to this embodiment.
  • the information processing method produces actions and effects according to the combined items.
  • the present disclosure provides a program that causes a computer to execute the method according to the embodiment.
  • Some exemplary embodiments provide a program that causes a computer to execute a method of controlling a scanning imaging device.
  • Some exemplary embodiments provide a program that causes a computer to execute a control method for an information processing device.
  • Some exemplary embodiments provide a program that causes a computer to execute an information processing method.
  • the present disclosure provides a computer-readable non-transitory recording medium on which the program according to the embodiment is recorded.
  • Some exemplary embodiments provide a computer-readable non-transitory recording medium recording a program that causes a computer to execute a method of controlling a scanning imaging apparatus.
  • Some exemplary embodiments provide a computer-readable non-transitory recording medium recording a program for causing a computer to execute a control method for an information processing device.
  • Some exemplary embodiments provide a computer-readable non-transitory recording medium recording a program for causing a computer to execute an information processing method.
  • Non-transitory recording media of embodiments may be in any form, including magnetic disks, optical disks, magneto-optical disks, semiconductor memories, and the like.
  • ophthalmic examination apparatus retinal camera unit 100 OCT unit 210 control unit 220 image data construction unit 225 image selection unit 230 data processing unit 231 image data processing unit 233 shift amount recording unit 234 adjustment amount calculation unit 235 image data correction unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

実施形態の眼科検査装置1は、光走査を用いてサンプルのイメージングを行う走査型イメージング装置である。眼科検査装置1は、光スキャナ44、OCTユニット100、及び制御部210を用いた光走査によりサンプルのデータを冗長的に収集してデータセットを取得する。画像データ構築部220は、取得されたデータセットに基づいて画像セットを生成する。画像選択部225は、生成された画像セットから複数の画像を選択する。画像データ処理部231は、選択された複数の画像をそれぞれ基準とした複数のレジストレーションをこの画像セットに適用することによって、この画像セットの相対位置調整を実行する。

Description

走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体
 本開示は、走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体に関する。
 イメージング技術の1つに走査型イメージングがある。走査型イメージングとは、サンプルの複数の箇所に順次にビームを照射してデータを収集し、収集されたデータからサンプルの像を構築する技術である。
 走査型イメージングの手法には、例えば、サンプル上における投影像がスポット状のビームを用いるスポット型の走査手法、投影像がライン状のビームを用いるライン型の走査手法、及び、投影像がエリア状のビームを用いるエリア型の走査手法などがある。スポット型の走査手法の例としてフーリエドメイン型の光コヒーレンストモグラフィ(OCT;光干渉断層撮影法)があり、ライン型の走査手法の例としてラインスキャンカメラがあり、エリア型の走査手法の例としてフルフィールド型のOCTがある。
 光を利用した走査型イメージングモダリティの例としてOCTが知られている。OCTは、光散乱媒質をマイクロメートルレベル又はそれ以下の分解能で画像化することが可能な技術であり、医用イメージングや非破壊検査などに応用されている。
 OCTは、低コヒーレンス干渉法に基づく技術である。医用イメージングでは、深達性や侵襲性を考慮し、近赤外領域のプローブ光(測定光)が利用されている。なお、近赤外光以外の波長帯の光(電磁波)や超音波や放射線を利用した走査型イメージングも知られている。
 OCTの応用が最も進んでいる分野として眼科分野があり、フーリエドメインOCT機能を搭載した製品がクリニックにまで普及している。眼科画像診断では、2次元的なイメージングだけでなく、3次元的なイメージング・構造解析・機能解析なども実用化されており、診断の強力なツールとして広く利用されるに至っている。また、眼科分野では、走査型レーザー検眼鏡(SLO)、ラインスキャンカメラ、フルフィールドOCTなど、フーリエドメインOCT以外の走査型イメージングも利用されている。
 OCTやSLOで利用される走査モードには様々なものがあるが、モーションアーティファクト補正などを目的とした所謂「リサジュー(Lissajous)スキャン」が近年注目を集めている(例えば、特許文献1~4、非特許文献1及び2を参照)。
 リサジュースキャンは、互いに直交する2つの単振動を合成して得られるリサジュー曲線として生成される2次元パターンにしたがって実行されるスキャンである。リサジュースキャンでは、或る程度の大きさを持つ複数のループ(互いに交差する複数のサイクル)を描くように測定光を高速走査するため、1つのサイクルからのデータ取得時間の差を実質的に無視することができる。また、異なるサイクルの交差領域を参照してサイクル間の位置合わせを行えるため、サンプルの動きに起因するモーションアーティファクトを補正することが可能である。このようなリサジュースキャンの特徴に着目し、眼科分野では眼球運動に起因するモーションアーティファクトへの対処を図っている。
 非特許文献1に記載された技術においては、リサジュースキャンで収集されたデータセットを比較的大きな動きが介在しない複数のサブボリュームに分割し、各サブボリュームの正面プロジェクション画像(en face projection)を構築する。このような正面プロジェクション画像はストリップと呼ばれる。これらストリップの間のレジストレーションを行うことでモーションアーティファクトが補正された画像が得られる。
特開2016-17915号公報 特開2018-68578号公報 特開2018-140004号公報 特開2018-140049号公報
Yiwei Chen, Young-Joo Hong, Shuichi Makita, and Yoshiaki Yasuno, "Three-dimensional eye motion correction by Lissajous scan optical coherence tomography", Biomedical Optics EXPRESS, Vol. 8, No. 3, 1 Mar 2017, PP. 1783-1802 Yiwei Chen, Young-Joo Hong, Shuichi Makita, and Yoshiaki Yasuno, "Eye-motion-corrected optical coherence tomography angiography using Lissajous scanning", Biomedical Optics EXPRESS, Vol. 9, No. 3, 1 Mar 2018, PP. 1111-1129
 この発明の1つの目的は、モーションアーティファクト補正の誤差の低減を図ることにある。
 例示的な実施形態の走査型イメージング装置は、光走査を用いてサンプルのイメージングを行う走査型イメージング装置であって、前記光走査により前記サンプルのデータを冗長的に収集してデータセットを取得するデータセット取得部と、前記データセットに基づいて画像セットを生成する画像セット生成部と、前記画像セットから複数の画像を選択する画像選択部と、前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用することによって前記画像セットの相対位置調整を実行する画像位置調整部とを含んでいる。
 前記画像位置調整部は、前記複数のレジストレーションを前記画像セットに適用することによって前記画像セットの複数の相対位置情報を生成し、前記複数の相対位置情報に基づいて前記相対位置調整を実行するように構成されていてよい。前記画像位置調整部は、前記複数のレジストレーションのそれぞれにおいて、前記複数の画像の1つを初期基準画像として前記画像セットに再帰的なレジストレーションを適用することによって前記画像セットの相対位置情報を生成するように構成されていてよい。前記画像位置調整部は、前記複数の相対位置情報に基づいて前記相対位置調整のための調整量を決定するように構成されていてよい。前記画像選択部は、前記光走査の時間軸に基づいて前記画像セットから前記複数の画像を選択するように構成されていてよい。前記画像選択部は、前記画像セットを前記時間軸の複数の区間に対応する複数のサブセットに分割し、前記複数のサブセットのそれぞれから画像を選択することによって、前記画像セットから前記複数の画像を選択するように構成されていてよい。前記画像選択部は、前記光走査の適用エリアに基づいて前記画像セットから前記複数の画像を選択するように構成されていてよい。前記画像選択部は、前記画像セットを前記適用エリアの複数のサブエリアに対応する複数のサブセットに分割し、前記複数のサブセットのそれぞれから画像を選択することによって、前記画像セットから前記複数の画像を選択するように構成されていてよい。前記画像選択部は、画像サイズに基づいて前記複数のサブセットのそれぞれから画像を選択するように構成されていてよい。前記画像選択部は、前記複数のサブセットのそれぞれから、当該サブセットにおける最大サイズの画像を選択するように構成されていてよい。前記画像選択部は、前記複数のサブセットのそれぞれに含まれる画像に対して画像サイズに基づく順序付けを行い、前記複数のサブセットのそれぞれから、当該サブセットにおける画像に対して前記順序付けにより付された順序に基づいて画像を選択するように構成されていてよい。前記画像選択部は、前記複数のサブセットのうちの第1サブセットから選択された第1画像を基準としたレジストレーションの成否を判定し、失敗と判定された場合、前記第1サブセットにおける画像に対して前記順序付けにより付された順序に基づいて前記第1サブセットから第2画像を選択するように構成されていてよい。前記画像選択部は、前記画像セットに含まれる画像に対して画像サイズに基づく順序付けを行い、前記順序付けにより画像に付された順序に基づいて前記画像セットから前記複数の画像を選択するように構成されていてよい。前記画像選択部は、前記画像セットから選択された前記複数の画像のうちの一の画像を基準としたレジストレーションの成否を判定し、失敗と判定された場合、前記画像セットにおける画像に対して前記順序付けにより付された順序に基づいて前記画像セットから前記複数の画像のいずれとも異なる画像を新たに選択するように構成されていてよい。実施形態の走査型イメージング装置は、前記光走査が前記サンプルに適用されているときの前記サンプルの運動を表す運動情報を生成する運動情報生成部を更に含んでいてよく、前記画像選択部は、前記運動情報に基づいて前記画像セットから前記複数の画像を選択するように構成されていてよい。前記画像選択部は、前記運動情報から所定の運動パラメータの値を算出し、前記値を評価し、前記評価の結果に基づいて前記画像セットから前記複数の画像を選択するように構成されていてよい。前記運動パラメータは、運動の大きさ及び頻度の少なくとも一方を含んでいてよく、前記画像選択部は、前記運動パラメータの前記値を所定の閾値と比較し、前記閾値以上の前記値に対応する期間に収集されたデータに基づく画像を前記画像セットから除外したサブセットから前記複数の画像を選択するように構成されていてよい。前記データセット取得部は、前記光走査のための光を互いに異なる第1方向及び第2方向に偏向可能な偏向器を含んでいてよく、前記第1方向における偏向方向の変化を第1周期で繰り返しつつ、前記第2方向における偏向方向の変化を前記第1周期と異なる第2周期で繰り返すように構成されていてよい。
 例示的な実施形態の情報処理装置は、光走査によりサンプルからデータを冗長的に収集して取得されたデータセットを受け付けるデータセット受付部と、前記データセットに基づいて画像セットを生成する画像セット生成部と、前記画像セットから複数の画像を選択する画像選択部と、前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用することによって前記画像セットの相対位置調整を実行する画像位置調整部とを含んでいる。
 例示的な実施形態の情報処理装置は、光走査によりサンプルからデータを冗長的に収集して取得されたデータセットに基づいて生成された画像セットを受け付ける画像セット受付部と、前記画像セットから複数の画像を選択する画像選択部と、前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用することによって前記画像セットの相対位置調整を実行する画像位置調整部とを含んでいる。
 例示的な実施形態の走査型イメージング装置の制御方法は、プロセッサと光走査を行うスキャナとを含む走査型イメージング装置を制御する方法であって、前記スキャナに、前記サンプルのデータを冗長的に収集させてデータセットを取得させ、前記プロセッサに、前記データセットに基づいて画像セットを生成させ、前記プロセッサに、前記画像セットから複数の画像を選択させ、前記プロセッサに、前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用させることによって前記画像セットの相対位置調整を実行させる。
 例示的な実施形態の情報処理装置の制御方法は、プロセッサを含む情報処理装置を制御する方法であって、前記プロセッサに、光走査によりサンプルからデータを冗長的に収集して取得されたデータセットを受け付けさせ、前記プロセッサに、前記データセットに基づいて画像セットを生成させ、前記プロセッサに、前記画像セットから複数の画像を選択させ、前記プロセッサに、前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用させることによって前記画像セットの相対位置調整を実行させる。
 例示的な実施形態の情報処理装置の制御方法は、プロセッサを含む情報処理装置を制御する方法であって、前記プロセッサに、光走査によりサンプルからデータを冗長的に収集して取得されたデータセットに基づいて生成された画像セットを受け付けさせ、前記プロセッサに、前記画像セットから複数の画像を選択させ、前記プロセッサに、前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用させることによって前記画像セットの相対位置調整を実行させる。
 例示的な実施形態の情報処理方法は、光走査によりサンプルのデータを冗長的に収集して取得されたデータセットを処理する情報処理方法であって、前記データセットに基づいて画像セットを生成し、前記画像セットから複数の画像を選択し、前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用することによって前記画像セットの相対位置調整を実行する。
 例示的な実施形態のプログラムは、本実施形態のいずれかの方法をコンピュータに実行させるプログラムである。
 例示的な実施形態の記録媒体は、本実施形態のいずれかのプログラムが記録されたコンピュータ可読な非一時的記録媒体である。
 例示的な実施形態によれば、モーションアーティファクト補正の誤差を低減することができる。
実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)が実行するリサジュースキャンのパターンの例を示す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)が実行する初期基準画像選択処理の例を示す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)が実行する初期基準画像選択処理の例を示す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)が実行する初期基準画像選択処理の例を示す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)が実行する初期基準画像選択処理の例を示す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)が実行する調整量算出処理の例を示す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)が実行する調整量算出処理の例を示す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)が実行する調整量算出処理の例を示す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)が実行する調整量算出処理の例を示す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)が実行する調整量算出処理の例を示す概略図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を説明するための図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を説明するための図である。 実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を説明するための図である。 実施形態の例示的な態様に係る情報処理装置の構成の一例を表す概略図である。 実施形態の例示的な態様に係る情報処理装置の構成の一例を表す概略図である。
 実施形態の幾つかの例示的な態様について図面を参照しながら説明する。本開示において説明される例示的な態様は、走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体に関するものであるが、実施形態はこれらの態様に限定されない。
 また、本開示において説明される幾つかの例示的な態様は、主に眼科分野への応用を提供するものであるが、実施形態はこれらの態様に限定されない。例えば、幾つかの例示的な実施形態は、眼科以外の診療科への応用や、診断方法などの医学的方法への応用や、医療分野以外の分野(生物学、非破壊検査など)への応用など、走査型イメージングが利用されている任意の分野への応用又は走査型イメージングが利用される可能性のある任意の分野への応用を提供することができる。
 本開示において引用された文献に開示された事項や、他の任意の公知技術に関する事項を、実施形態に組み合わせることが可能である。本開示では、特に言及しない限り、被検者(被検眼)の「部位」と、その部位に対応する「画像データ」と、その画像データの視覚的表現である「画像」とを区別しないものとする。
 以下に説明する例示的な態様に係る走査型イメージング装置は、眼科分野の検査に使用される装置(眼科検査装置と呼ぶ)であり、フーリエドメインOCT(特にスウェプトソースOCT)を利用して生体眼の眼底を計測及び画像化することが可能に構成されている。実施形態に採用可能なOCTのタイプは、スウェプトソースOCTに限定されず、例えばスペクトラルドメインOCT又はタイムドメインOCTであってもよい。また、以下に説明する例示的な態様に係る走査型イメージング装置は、スポット型の走査手法を用いているが、他のタイプの走査手法(例えば、ライン型の走査手法、エリア型の走査手法)を用いる走査型イメージング装置に対して本開示に係る任意の事項を適用できることは、当業者であれば理解できるであろう。
 幾つかの例示的な態様に係る走査型イメージング装置は、OCT以外の走査型イメージングモダリティを利用可能であってよい。幾つかの例示的な態様は、SLOなどの任意の光走査型イメージングモダリティを採用することができる。また、幾つかの例示的な態様に適用可能な走査型イメージングモダリティは、光走査型イメージングモダリティでなくてもよく、例えば、光以外の電磁波を利用した走査型イメージングモダリティ、超音波を利用した走査型イメージングモダリティなどであってもよい。
 幾つかの例示的な態様に係る眼科検査装置は、OCTスキャンで収集されたデータの処理及び/又はSLOで収集されたデータの処理に加え、他のイメージングモダリティで取得されたデータを処理可能であってよい。この「他のイメージングモダリティ」は、例えば、眼底カメラ、スリットランプ顕微鏡、眼科手術用顕微鏡などの任意の眼科イメージングモダリティであってよい。幾つかの例示的な態様に係る眼科検査装置は、OCT及びSLO以外のイメージングモダリティの機能を有していてよい。また、幾つかの例示的な態様に係る眼科検査装置は、特開2013-248376号公報に開示された、2以上の前眼部カメラを用いたステレオアライメント機能を有していてもよい。ステレオアライメントは、2以上の前眼部カメラでそれぞれ得られた2以上の前眼部画像の解析から被検眼の3次元位置を特定して光学系のアライメントを行う機能である。
 走査型イメージングが適用される対象(サンプル)は任意であってよい。以下の例示的な態様で説明される眼科応用では主に眼底に走査型イメージングが適用されるが、走査型イメージングの適用対象は眼底に限定されず、前眼部や硝子体など眼の任意の部位であってもよい。幾つかの例示的な態様に係る構成や機能を、眼以外の生体の部位(組織)の計測やイメージングに応用することが可能であり、また、生体以外の物体(例えば、動きを伴うもの)又はその部分の計測やイメージングに応用することが可能である。すなわち、幾つかの例示的な態様の産業上の利用分野は、眼科関連分野に限定されず、医療関連分野や獣医学関連分野や生物学関連分野を含んでもよく、より一般に、局所的運動及び/又は大域的運動を伴う任意の対象物(サンプル)に関連する分野を含んでいてもよい。幾つかの例示的な態様の産業上の利用分野は、運動を伴わない対象物に関連する分野を含んでいてもよい。例えば、周囲の物体や環境からの影響によって移動したり変形したりする物体を対象物としてもよい。なお、本開示に係る走査型イメージングはモーションアーティファクト補正の向上を1つの目的としたものであるから、本開示における典型的な対象物は、能動的運動を伴う物体又は受動的運動を伴う物体であってよく、或いは、能動的運動を伴う物体及び/又は受動的運動を伴う物体を含む物体であってよい。
 以下に説明する実施形態の様々な態様はいずれも単なる例示であり、発明を限定することを意図したものではない。
 前述したように、本開示に係る走査型イメージングの1つの目的は、モーションアーティファクト補正の向上を図ることにある。従来のリサジュースキャンのモーションアーティファクト補正では、リサジュースキャンで収集されたデータ(ボリューム)を対象物の運動の影響を無視することができるサイズの複数のセグメント(複数のサブボリューム)に分割し、これらセグメントのうちの1つを最初の基準画像(初期基準画像、初期参照画像、初期基準ストリップ、初期基準セグメントなどと呼ぶことがある)に選択し、この単一の初期基準画像を起点(第1回目の処理における基準画像)として再帰的なセグメント間の位置ずれの推定(レジストレーション及びマージ処理)を実行している。この再帰的処理(反復的処理)では、選択された単一の初期基準画像に対して他のセグメントを順次にレジストレーション及びマージ(結合)することにより、逐次に形成される基準画像が表現する範囲を拡大していく。この方法によると、初期基準画像の選択が最終画像の品質に悪影響を与えるケースが想定される。例えば、発明者らの検討によれば、十分に適切な初期選択画像が選択されなかった場合に、レジストレーション誤差の大きいセグメントがそのままマージされ、明らかに不連続な構造として最終画像中に表現されてしまうことがあった。
 本開示に係る技術は、このような問題に対処するために発明者らが見出したものであり、まずはその概要をここで説明する。なお、本開示に係る技術のより詳細且つより正確な説明は、後述する非限定的な例示的態様によって提供される。
 概要的には、本開示に係る技術は、スキャンにより対象物から収集されたデータを複数のセグメントに分割し、これら複数のセグメントから複数の初期基準画像を取得し、各初期基準画像を起点として再帰的なセグメント間の位置ずれ推定を実行するように構成されている。換言すると、本開示に係る技術は、概要的には、収集されたデータを複数のセグメントに分割し、これら複数のセグメントから複数の画像を選択し、これら複数の画像をそれぞれ基準とした複数のレジストレーション(及びマージ処理)を複数のセグメントに適用することで複数のセグメントの相対位置調整を実行するように構成されている。このような本開示に係る技術を用いても依然としてモーションアーティファクトが残存することもあるが、後段で実行可能な詳細なモーションアーティファクト補正によってこの残存誤差を補正することができる。
 幾つかの例示的な態様では、複数のレジストレーションで得られた複数の位置ずれ推定量から尤もらしい位置ずれ量を求めることができる。また、複数の初期基準画像の選択方法は任意であってよいが、その幾つかの例を本開示は提供する。例えば、非限定的な初期基準画像選択方法として、収集されたデータを時間的に区分して得られた複数の区間のそれぞれから初期基準画像を選択する方法や、収集されたデータを空間的に分割して得られた複数の領域のそれぞれから初期基準画像を選択する方法が、本開示において説明される。
 このような本開示に係る技術によれば、従来の技術と比較して、モーションアーティファクト補正の誤差の低減を図ることが可能となり、ひいては、イメージング精度(計測精度)の向上を図ることが可能になる。眼科分野への応用においては、通常の眼科画像診断におけるOCT画像計測精度の向上や、診断精度の向上を図ることができる。また、本開示に係る技術は、現在の眼科OCT装置に対して特殊なハードウェアを追加することなく実現でき、比較的安価で実用化することが可能であるため、眼科検診などにおける使用も想定可能となる。また、従来よりも高い精度でのモーションアーティファクト補正を実現できるため、高精度の画像計測を安定的に行うことが可能になる。これにより、例えば、病変の微小な経時変化の追跡が可能になり、更には、病変の中長期的な微小変化の追跡も可能になる。眼科以外の分野への応用においても同様の作用、効果が奏されることは、当業者であれば容易に理解できるであろう。
 本開示では、走査型イメージング装置の実施形態の幾つかの例示的な態様を説明する。本実施形態の走査型イメージング装置は、光走査を用いて対象物(サンプル)のイメージング(画像計測、光計測)を行う装置である。
 本実施形態の走査型イメージング装置は、光走査によりサンプルのデータを冗長的に収集してデータセットを取得するように構成されている。この冗長的データ収集は、サンプルの特定箇所から2回以上データを収集するデータ収集態様である。本実施形態では、サンプルの複数の箇所のそれぞれから2回以上データ収集を行う。特許文献1~4並びに非特許文献1及び2に記載されているリサジュースキャンは、冗長的データ収集の例を提供している。リサジュースキャンでは、冗長的にデータ収集された箇所は、或るサイクルと別のサイクルとの交差位置に相当する。リサジュースキャンを用いたモーションアーティファクト補正は、或る交差位置から冗長的に取得されたデータ間のレジストレーションを行うことによって、その交差位置で交差するサイクル間のずれ量を求めるものである。
 更に、本実施形態の走査型イメージング装置は、冗長的データ収集により取得されたデータセットに基づいて画像セットを生成するように構成されている。この画像セットは、位置的な冗長性を有する複数の画像を含んでおり、例えば、後述する複数のストリップ又は複数のサブボリュームを含んでいてよい。
 加えて、本実施形態の走査型イメージング装置は、生成された画像セットから複数の画像を選択するように構成されている。ここで選択される複数の画像のそれぞれは、前述した初期基準画像に相当する。また、画像セットから選択される複数の初期基準画像の個数は任意であってよく、例えば、画像セットに含まれる複数の画像の一部のみを初期基準画像に指定してもよいし、画像セットに含まれる複数の画像の全てを初期基準画像に指定してもよい。なお、各初期基準画像は、後段の処理において実行される再帰的なレジストレーション(再帰的に実行されるレジストレーションと再帰的に実行されるマージ処理とを組み合わせた後述の処理)の起点として用いられる。すなわち、各初期基準画像は、再帰的レジストレーションのうちの第1回目のレジストレーションにおいて基準画像として用いられる。
 更に加えて、本実施形態の走査型イメージング装置は、選択された複数の画像(複数の初期基準画像)をそれぞれ基準とした複数のレジストレーションを上記画像セットに適用することによって、この画像セットの相対位置調整を実行するように構成されている。
<眼科検査装置の構成>
 図1に示す眼科検査装置1は、実施形態に係る走査型イメージング装置の1つの例示的な態様である。眼科検査装置1は、眼底カメラユニット2、OCTユニット100、及び演算制御ユニット200を含む。眼底カメラユニット2には、被検眼Eを正面から撮影するための要素群(光学要素、機構など)が設けられている。OCTユニット100には、被検眼EにOCTスキャンを適用するための要素群(光学要素、機構など)の一部が設けられている。OCTスキャンのための要素群の他の部分の少なくとも一部は、眼底カメラユニット2に設けられている。演算制御ユニット200は、各種の演算や制御を実行する1以上のプロセッサを含む。これらに加え、眼科検査装置1は、被検者の顔を支持するための要素や、OCTスキャンが適用される部位を切り替えるための要素を備えていてもよい。前者の要素の例として、顎受けや額当てがある。後者の要素の例として、OCTスキャン適用部位を眼底から前眼部に切り替えるために使用されるレンズユニットがある。
 本開示に記載された幾つかの要素の機能は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能を実行するハードウェア、又は、開示された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本開示に記載されたいずれかのハードウェアであってよく、或いは、本開示に記載された機能を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
<眼底カメラユニット2>
 眼底カメラユニット2には、被検眼Eの眼底Efを撮影するための光学系が設けられている。取得される眼底Efの画像(眼底像、眼底写真などと呼ばれる)は、観察画像、撮影画像などの正面画像である。観察画像は、例えば近赤外光を用いた動画撮影により得られ、アライメント、フォーカシング、トラッキングなどに利用される。撮影画像は、例えば可視領域又は赤外領域のフラッシュ光を用いた静止画像である。
 眼底カメラユニット2は、照明光学系10と撮影光学系30とを含む。照明光学系10は被検眼Eに照明光を照射する。撮影光学系30は、被検眼Eからの照明光の戻り光を検出する。OCTユニット100からの測定光は、眼底カメラユニット2内の光路を通じて被検眼Eに導かれ、その戻り光は、同じ光路を通じてOCTユニット100に導かれる。
 照明光学系10の観察光源11から出力された光(観察照明光)は、凹面鏡12により反射され、集光レンズ13を経由し、可視カットフィルタ14を透過して近赤外光となる。更に、観察照明光は、撮影光源15の近傍にて一旦集束し、ミラー16により反射され、リレーレンズ系17、リレーレンズ18、絞り19、及びリレーレンズ系20を経由する。そして、観察照明光は、孔開きミラー21の周辺部(孔部の周囲の領域)にて反射され、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて被検眼E(眼底Ef)を照明する。観察照明光の被検眼Eからの戻り光は、対物レンズ22により屈折され、ダイクロイックミラー46を透過し、孔開きミラー21の中心領域に形成された孔部を通過し、ダイクロイックミラー55を透過し、撮影合焦レンズ31を経由し、ミラー32により反射される。更に、この戻り光は、ハーフミラー33Aを透過し、ダイクロイックミラー33により反射され、結像レンズ34によりイメージセンサ35の受光面に結像される。イメージセンサ35は、所定のフレームレートで戻り光を検出する。なお、撮影光学系30のフォーカス(焦点位置)は、眼底Ef又は前眼部に合致するように調整される。
 撮影光源15から出力された光(撮影照明光)は、観察照明光と同様の経路を通って眼底Efに照射される。被検眼Eからの撮影照明光の戻り光は、観察照明光の戻り光と同じ経路を通ってダイクロイックミラー33まで導かれ、ダイクロイックミラー33を透過し、ミラー36により反射され、結像レンズ37によりイメージセンサ38の受光面に結像される。
 液晶ディスプレイ(LCD)39は固視標(固視標画像)を表示する。LCD39から出力された光束は、その一部がハーフミラー33Aに反射され、ミラー32に反射され、撮影合焦レンズ31及びダイクロイックミラー55を経由し、孔開きミラー21の孔部を通過する。孔開きミラー21の孔部を通過した光束は、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efに投射される。LCD39における固視標画像の表示位置を変更することで、被検眼Eの視線を誘導する方向(固視方向、固視位置)が変更される。LCDなどの表示デバイスの代わりに、例えば、発光素子アレイ、又は、発光素子とこれを移動する機構との組み合わせを用いてもよい。
 アライメント光学系50は、被検眼Eに対する光学系の位置合わせ(アライメント)に用いられるアライメント指標を生成する。発光ダイオード(LED)51から出力されたアライメント光は、絞り52、絞り53、及びリレーレンズ54を経由し、ダイクロイックミラー55により反射され、孔開きミラー21の孔部を通過し、ダイクロイックミラー46を透過し、対物レンズ22を介して被検眼Eに投射される。アライメント光の被検眼Eからの戻り光(角膜反射光など)は、観察照明光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(アライメント指標像)に基づいてマニュアルアライメントやオートアライメントを実行できる。
 従来と同様に、本例のアライメント指標像は、アライメント状態により位置が変化する2つの輝点像からなる。被検眼Eと光学系との相対位置がxy方向(x座標とy座標とで表現される方向)に変化すると、2つの輝点像が一体的にxy方向に変位する。被検眼Eと光学系との相対位置がz方向(z座標で表現される方向)に変化すると、2つの輝点像の間の相対位置(距離)が変化する。z方向における被検眼Eと光学系との間の距離が既定のワーキングディスタンスに一致すると、2つの輝点像が重なり合う。xy方向において被検眼Eの位置と光学系の位置とが一致すると、所定のアライメントターゲット内又はその近傍に2つの輝点像が提示される。z方向における被検眼Eと光学系との間の距離がワーキングディスタンスに一致し、且つ、xy方向において被検眼Eの位置と光学系の位置とが一致すると、2つの輝点像が重なり合ってアライメントターゲット内に提示される。
 オートアライメントでは、データ処理部230が、2つの輝点像の位置を検出し、主制御部211が、2つの輝点像とアライメントターゲットとの位置関係に基づいて後述の移動機構150を制御する。マニュアルアライメントでは、主制御部211が、被検眼Eの観察画像とともに2つの輝点像を表示部241に表示させ、ユーザーが、表示された2つの輝点像を参照しながら操作部242を用いて移動機構150を動作させる。
 フォーカス光学系60は、被検眼Eに対するフォーカス調整に用いられるスプリット指標を生成する。撮影光学系30の光路(撮影光路)に沿った撮影合焦レンズ31の移動に連動して、フォーカス光学系60は照明光学系10の光路(照明光路)に沿って移動される。反射棒67は、照明光路に対して挿脱される。フォーカス調整を行う際には、反射棒67の反射面が照明光路に傾斜配置される。LED61から出力されたフォーカス光は、リレーレンズ62を通過し、スプリット指標板63により2つの光束に分離され、二孔絞り64を通過し、ミラー65により反射され、集光レンズ66により反射棒67の反射面に一旦結像されて反射される。更に、フォーカス光は、リレーレンズ20を経由し、孔開きミラー21に反射され、ダイクロイックミラー46を透過し、対物レンズ22を介して被検眼Eに投射される。フォーカス光の被検眼Eからの戻り光(眼底反射光など)は、アライメント光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(スプリット指標像)に基づいてマニュアルフォーカシングやオートフォーカシングを実行できる。
 孔開きミラー21とダイクロイックミラー55との間の撮影光路に、視度補正レンズ70及び71を選択的に挿入することができる。視度補正レンズ70は、強度遠視を補正するためのプラスレンズ(凸レンズ)である。視度補正レンズ71は、強度近視を補正するためのマイナスレンズ(凹レンズ)である。
 ダイクロイックミラー46は、眼底撮影用光路とOCT用光路(測定アーム)とを合成する。ダイクロイックミラー46は、OCTに用いられる波長帯の光を反射し、眼底撮影用の光を透過させる。測定アームには、OCTユニット100側から順に、コリメータレンズユニット40、リトロリフレクタ41、分散補償部材42、OCT合焦レンズ43、光スキャナ44、及びリレーレンズ45が設けられている。
 リトロリフレクタ41は、図1に示す矢印の方向に移動可能とされ、それにより測定アームの長さが変更される。測定アーム長の変更は、例えば、眼軸長に応じた光路長補正や、干渉状態の調整などに利用される。
 分散補償部材42は、参照アームに配置された分散補償部材113(後述)とともに、測定光LSの分散特性と参照光LRの分散特性とを合わせるよう作用する。
 OCT合焦レンズ43は、測定アームのフォーカス調整を行うために測定アームに沿って移動される。撮影合焦レンズ31の移動、フォーカス光学系60の移動、及びOCT合焦レンズ43の移動を連係的に制御することができる。
 光スキャナ44は、実質的に、被検眼Eの瞳孔と光学的に共役な位置に配置される。光スキャナ44は、測定アームにより導かれる測定光LSを偏向する。光スキャナ44は、例えば、x方向のスキャンを行うためのガルバノミラーと、y方向のスキャンを行うためのガルバノミラーとを含む、2次元スキャンが可能なガルバノスキャナである。
<OCTユニット100>
 図2に例示するように、OCTユニット100には、スウェプトソースOCTを適用するための光学系が設けられている。この光学系は干渉光学系を含む。この干渉光学系は、波長可変光源(波長掃引型光源)からの光を測定光と参照光とに分割し、測定アームによって被検眼Eに導かれた測定光の戻り光と参照アームによって導かれた参照光とを重ね合わせて干渉光を生成し、この干渉光を検出する。干渉光学系により得られたデータ(検出信号)は、干渉光のスペクトルを表す信号であり、演算制御ユニット200に送られる。
 光源ユニット101は、例えば、少なくとも近赤外波長帯において出射波長を高速で変化させる近赤外波長可変レーザーを含む。光源ユニット101から出力された光L0は、光ファイバ102により偏波コントローラ103に導かれてその偏光状態が調整される。更に、光L0は、光ファイバ104によりファイバカプラ105に導かれて測定光LSと参照光LRとに分割される。測定光LSの光路は測定アームと呼ばれ、参照光LRの光路は参照アームと呼ばれる。
 参照光LRは、光ファイバ110によりコリメータ111に導かれて平行光束に変換され、光路長補正部材112及び分散補償部材113を経由し、リトロリフレクタ114に導かれる。光路長補正部材112は、参照光LRの光路長と測定光LSの光路長とを合わせるよう作用する。分散補償部材113は、測定アームに配置された分散補償部材42とともに、参照光LRと測定光LSとの間の分散特性を合わせるよう作用する。リトロリフレクタ114は、これに入射する参照光LRの光路に沿って移動可能であり、それにより参照アームの長さが変更される。参照アーム長の変更は、例えば、眼軸長に応じた光路長補正や、干渉状態の調整などに利用される。
 リトロリフレクタ114を経由した参照光LRは、分散補償部材113及び光路長補正部材112を経由し、コリメータ116によって平行光束から集束光束に変換され、光ファイバ117に入射する。光ファイバ117に入射した参照光LRは、偏波コントローラ118に導かれてその偏光状態が調整され、光ファイバ119を通じてアッテネータ120に導かれてその光量が調整され、光ファイバ121を通じてファイバカプラ122に導かれる。
 一方、ファイバカプラ105により生成された測定光LSは、光ファイバ127により導かれてコリメータレンズユニット40によって平行光束に変換され、リトロリフレクタ41、分散補償部材42、OCT合焦レンズ43、光スキャナ44及びリレーレンズ45を経由し、ダイクロイックミラー46により反射され、対物レンズ22により屈折されて被検眼Eに投射される。測定光LSは、被検眼Eの様々な深さ位置において散乱及び反射される。測定光LSの被検眼Eからの戻り光は、往路と同じ経路を逆向きに進行してファイバカプラ105に導かれ、光ファイバ128を経由してファイバカプラ122に到達する。
 ファイバカプラ122は、光ファイバ128を介して入射された測定光LSと、光ファイバ121を介して入射された参照光LRとを重ね合わせて干渉光を生成する。ファイバカプラ122は、生成された干渉光を所定の分岐比(例えば1:1)で分岐することで一対の干渉光LCを生成する。一対の干渉光LCは、それぞれ光ファイバ123及び124を通じて検出器125に導かれる。
 検出器125は、例えばバランスドフォトダイオードを含む。バランスドフォトダイオードは、一対の干渉光LCをそれぞれ検出する一対のフォトディテクタを有し、これらにより得られた一対の検出結果の差分を出力する。検出器125は、この出力(検出信号)をデータ収集システム(DAS)130に送る。
 データ収集システム130には、光源ユニット101からクロックKCが供給される。クロックKCは、光源ユニット101において、波長可変光源により所定の波長範囲内で掃引される各波長の出力タイミングに同期して生成される。光源ユニット101は、例えば、各出力波長の光L0を分岐して2つの分岐光を生成し、これら分岐光の一方を光学的に遅延させ、これら分岐光を合成し、得られた合成光を検出し、その検出結果に基づいてクロックKCを生成する。データ収集システム130は、検出器125から入力される検出信号のサンプリングをクロックKCに基づいて実行する。データ収集システム130は、このサンプリングの結果を演算制御ユニット200に送る。
 本例では、測定アーム長を変更するための要素(例えば、リトロリフレクタ41)と、参照アーム長を変更するための要素(例えば、リトロリフレクタ114、又は参照ミラー)との双方が設けられているが、これらのうちの一方の要素のみが設けられていてもよい。また、測定アーム長と参照アーム長との間の差(光路長差)を変更するための要素はこれらの例示的な要素に限定されず、アーム長を変更する機能を実現可能な任意の要素(光学部材、機構など)であってよい。
<制御系・処理系>
 眼科検査装置1の制御系及び処理系の構成例を図3、図4A、図4B、及び図4Cに示す。制御部210、画像データ構築部220、及びデータ処理部230は、例えば演算制御ユニット200に設けられる。眼科検査装置1は、外部装置との間でデータ通信を行うための通信デバイスを含んでいてもよい。眼科検査装置1は、記録媒体からのデータ読み出しと、記録媒体へのデータ書き込みとを行うためのドライブ装置(リーダ/ライタ)を含んでいてもよい。
<制御部210>
 制御部210は、各種の制御を実行する。制御部210は、主制御部211と記憶部212とを含む。また、図4Aに示すように、本実施形態において、主制御部211は走査制御部2111を含み、記憶部212は走査プロトコル2121を記憶している。
<主制御部211>
 主制御部211は、プロセッサを含み、眼科検査装置1の各要素(図1~図4Xに示された要素を含む)を制御する。主制御部211は、プロセッサを含むハードウェアと、制御ソフトウェアとの協働によって実現される。走査制御部2111は、所定形状及び所定サイズの走査エリアに対するOCTスキャンの制御を行う。
 撮影合焦駆動部31Aは、主制御部211の制御の下に、撮影光路に配置された撮影合焦レンズ31と照明光路に配置されたフォーカス光学系60とを移動する。リトロリフレクタ(RR)駆動部41Aは、主制御部211の制御の下に、測定アームに設けられたリトロリフレクタ41を移動する。OCT合焦駆動部43Aは、主制御部211の制御の下に、測定アームに配置されたOCT合焦レンズ43を移動する。リトロリフレクタ(RR)駆動部114Aは、主制御部211の制御の下に、参照アームに配置されたリトロリフレクタ114を移動する。各駆動部は、主制御部211の制御の下に動作するパルスモータなどのアクチュエータを含む。光スキャナ44は、主制御部211(走査制御部2111)の制御の下に動作する。
 移動機構150は、典型的には、眼底カメラユニット2を3次元的に移動するように構成されている。そのような移動機構150は、例えば、±x方向(左右方向)に移動可能に構成されたxステージと、xステージを移動するように構成されたx移動機構と、±y方向(上下方向)に移動可能に構成されたyステージと、yステージを移動するように構成されたy移動機構と、±z方向(奥行き方向)に移動可能に構成されたzステージと、zステージを移動するように構成されたz移動機構とを含む。x移動機構、y移動機構、及びz移動機構のそれぞれは、主制御部211の制御の下に動作するパルスモータなどのアクチュエータを含む。
<記憶部212>
 記憶部212は各種のデータを記憶する。記憶部212に記憶されるデータとしては、OCT画像、眼底像、被検眼情報、制御情報などがある。被検眼情報は、患者IDや氏名などの被検者情報や、左眼/右眼の識別情報や、電子カルテ情報などを含む。制御情報は、特定の制御に関する情報である。本実施形態の制御情報は、走査プロトコル2121を含む。
 走査プロトコル2121は、所定形状及び所定サイズの走査エリアに関するOCTスキャンのための制御の内容に関する取り決めであり、各種制御パラメータ(走査制御パラメータ)の組を含む。走査プロトコル2121は、走査モード毎のプロトコルを含む。本実施形態の走査プロトコル2121は、リサジュースキャンのプロトコルを少なくとも含み、更に、例えば、Bスキャン(ラインスキャン)のプロトコル、クロススキャンのプロトコル、ラジアルスキャンのプロトコル、ラスタースキャンのプロトコルなどを含んでいてもよい。
 本実施形態の走査制御パラメータは、光スキャナ44に対する制御の内容を示すパラメータを少なくとも含む。このパラメータは、例えば、スキャンパターンを示すパラメータ、スキャン速度を示すパラメータ、スキャン間隔を示すパラメータなどがある。スキャンパターンは、スキャンの経路の形状を示し、その例として、リサジューパターン、ラインパターン、クロスパターン、ラジアルパターン、ラスターパターンなどがある。スキャン速度は、例えば、Aスキャンの繰り返しレートとして定義される。スキャン間隔は、例えば、隣接するAスキャンの間隔として、つまりスキャン点の配列間隔として定義される。
 なお、特許文献1~4並びに非特許文献1及び2に開示されているような従来技術と同様に、本実施形態の「リサジュースキャン」は、互いに直交する2つの単振動を順序対として得られる点の軌跡が描くパターン(リサジューパターン、リサジュー図形、リサジュー曲線、リサジュー関数、バウディッチ曲線)を経路とした「狭義の」リサジュースキャンだけでなく、一連のサイクルを含む所定の2次元パターンに従う「広義の」リサジュースキャンであってもよい。
 本実施形態の光スキャナ44は、例えば、x方向に測定光LSを偏向する第1ガルバノミラーと、y方向に測定光LSを偏向する第2ガルバノミラーとを含む。リサジュースキャンは、x方向に沿った偏向方向の変化を第1周期で繰り返すように第1ガルバノミラーの制御を行いつつ、y方向に沿った偏向方向の変化を第2周期で繰り返すように第2ガルバノミラーの制御を行うことによって実現される。ここで、第1周期と第2周期とは互いに異なる。
 例えば、本実施形態のリサジュースキャンは、2つの正弦波の組み合わせから得られる狭義のリサジューパターンのスキャンだけでなく、正弦波に特定項(例えば、奇数次の多項式)を加えて得られるパターンのスキャンや、三角波に基づくパターンのスキャンであってもよい。
 「サイクル」は、一般に、或る長さを持つ複数のサンプリング点から構成されるオブジェクトを意味する。本実施形態のサイクルは、例えば、閉曲線又はほぼ閉曲線(実質的閉曲線、略閉曲線)であってよい。換言すると、本実施形態のサイクルは、その始点と終点とが一致又はほぼ一致していてよい。
 典型的には、走査プロトコル2121はリサジュー関数に基づいて設定される。非特許文献1の式(9)及び(10)に示すように、リサジュー関数は、例えば、次のパラメトリック方程式系で表現される:x(ti) = A・cos(2π・(fA/n)・ti)、y(ti) = A・cos(2π・(fA・(n-2)/n2)・ti)。
 ここで、「x」はリサジュー曲線が定義される2次元座標系の横軸、「y」は縦軸、「t」はリサジュースキャンにおける第i番目のAラインの収集時点、「A」はスキャン範囲(振幅)、「f」はAラインの収集レート(スキャン速度、Aスキャンの繰り返しレート)、nはx方向(横軸方向)の各サイクルにおけるAラインの個数をそれぞれ示す。
 このような例示的なリサジュースキャンにおけるスキャンラインの分布(スキャンパターン)の例を図5に示す。
 (狭義又は広義の)リサジュースキャンに含まれる任意のサイクル対(サイクルのペア)は、少なくとも1点(特に2点以上)で互いに交差する。このような交差を利用することで、リサジュースキャンにおける任意のサイクル対から収集されたデータ対の間のレジストレーションを行うことが可能となり、非特許文献1(又は非特許文献2)に開示された画像構築手法及びモーションアーティファクト補正手法を実装することが可能となる。以下、特に言及しない限り、主に、非特許文献1に記載された手法を適用する場合について説明するが、本実施形態において採用可能な画像構築手法及びモーションアーティファクト補正手法はこれに限定されず、例えば、非特許文献2に記載された手法を適用することや、非特許文献1又は2に記載された手法と同等及び/又は類似の手法を適用することも可能である。
 記憶部212に記憶される制御情報は上記の例に限定されない。例えば、制御情報はフォーカス制御を行うための情報(フォーカス制御パラメータ)を含んでいてよい。
 フォーカス制御パラメータは、OCT合焦駆動部43Aに対する制御の内容を示すパラメータである。フォーカス制御パラメータの例として、測定アームの焦点位置を示すパラメータ、焦点位置の移動速度を示すパラメータ、焦点位置の移動加速度を示すパラメータなどがある。焦点位置を示すパラメータは、例えば、OCT合焦レンズ43の位置を示すパラメータである。焦点位置の移動速度を示すパラメータは、例えば、OCT合焦レンズ43の移動速度を示すパラメータである。焦点位置の移動加速度を示すパラメータは、例えば、OCT合焦レンズ43の移動加速度を示すパラメータである。移動速度は、一定であってもよいし、一定でなくてもよい。移動加速度についても同様である。
 このようなフォーカス制御パラメータによれば、眼底Efの形状(典型的には、中心部が深く且つ周辺部が浅い凹形状)や収差分布に応じたフォーカス調整が可能になる。フォーカス制御は、例えば、走査制御(リサジュースキャンの繰り返し制御)と連係的に実行される。それにより、モーションアーティファクトが補正され、且つ、スキャン範囲の全体に亘ってピントが合った、高品質の画像が得られる。
<走査制御部2111>
 走査制御部2111は、走査プロトコル2121に基づいて少なくとも光スキャナ44を制御する。走査制御部2111は、走査プロトコル2121に基づく光スキャナ44の制御と連係して光源ユニット101の制御を更に実行してもよい。走査制御部2111は、プロセッサを含むハードウェアと、走査プロトコル2121を含む走査制御ソフトウェアとの協働によって実現される。
<画像データ構築部220>
 画像データ構築部220は、プロセッサを含み、データ収集システム130から入力された信号(サンプリングデータ)に基づいて、眼底EfのOCT画像データを構築する。このOCT画像データ構築は、従来のフーリエドメインOCT(スウェプトソースOCT)と同様に、ノイズ除去(ノイズ低減)、フィルタリング、高速フーリエ変換(FFT)などを含む。他のタイプのOCT手法が採用される場合、画像データ構築部220は、そのOCTタイプに対応した公知の処理を実行することによってOCT画像データを構築する。
 例えば、画像データ構築部220は、サンプリングデータから各スキャン点(各Aライン)に対応する画像データ(Aスキャン画像データ)を構築する処理を少なくとも実行するように構成されている。画像データ構築部220により構築される画像データは、画像化される前のデータであってもよく、例えば、深さ方向(z方向、光軸方向、Aライン方向)に沿った信号プロファイル(反射プロファイル、散乱プロファイル)であってもよい。
 前述したように、本実施形態ではリサジュースキャンが眼底Efに適用される。画像データ構築部220は、データ処理部230とともに、リサジュースキャンによる収集とデータ収集システム130によるサンプリングとを介して取得されたデータセットに対し、例えば非特許文献1に開示された画像構築手法及びモーションアーティファクト補正手法を適用することによって、眼底Efの3次元画像データを構築することができる。
 画像データ構築部220及び/又はデータ処理部230は、3次元画像データにレンダリングを適用して表示用画像を形成することができる。適用可能なレンダリング法の例として、ボリュームレンダリング、サーフェスレンダリング、最大値投影(MIP)、最小値投影(MinIP)、多断面再構成(MPR)などがある。
 画像データ構築部220及び/又はデータ処理部230は、3次元画像データに基づいてOCT正面画像(en face OCT image)を構築することが可能である。例えば、画像データ構築部220及び/又はデータ処理部230は、3次元画像データをz方向(Aライン方向、光軸方向、深さ方向)に投影することでプロジェクションデータを構築することができる。また、画像データ構築部220及び/又はデータ処理部230は、3次元画像データの一部である部分的3次元画像データをz方向に投影することでシャドウグラムを構築することができる。この部分的3次元画像データは、例えば、任意のセグメンテーション手法を利用して設定されてよい。セグメンテーションは、画像中の部分領域を特定する処理である。本例では、眼底Efの1つ以上の組織(部位)に相当する画像領域を特定するためにセグメンテーションを行うことができる。
 シャドウグラム構築処理に限らず、実施形態のセグメンテーションは、例えば、閾値処理、エッジ検出、フィルタリング、機械学習(例えば、セマンティックセグメンテーション)など、任意の公知の技術を利用可能である。
 眼科検査装置1は、OCT血管造影(OCT-Angiography)を実行可能であってよい。OCT血管造影は、血管が強調された画像を構築するイメージング技術である(例えば、非特許文献2、特表2015-515894号公報などを参照)。一般に、眼底組織(構造)は短時間の間には変化しないが、血管内部の血流は短時間の間にも変化する。OCT血管造影では、このような時間的変化が存在する部分(血流信号)を強調して画像を生成する。なお、OCT血管造影は、OCTモーションコントラスト撮影(motion contrast imaging)などとも呼ばれる。また、OCT血管造影により取得される画像は、血管造影画像、アンジオグラム(angiogram)、モーションコントラスト画像などと呼ばれる。
 OCT血管造影を実行可能である場合、眼科検査装置1は、眼底Efの同じ領域を所定回数だけ繰り返しスキャンする。例えば、眼科検査装置1は、前述した走査制御(リサジュースキャンの繰り返し制御)を所定回数だけ繰り返し実行する。それにより、リサジュースキャンの適用領域から複数の3次元データ(時系列な3次元データセット)がデータ収集システム130によって収集される。画像データ構築部220及び/又はデータ処理部230は、この3次元データセットからモーションコントラスト画像を構築することができる。このモーションコントラスト画像は、眼底Efの血流に起因する干渉信号の時間的変化が強調された血管造影画像である。この血管造影画像は、眼底Efの血管の3次元的な分布を表現した3次元血管造影画像データである。
 画像データ構築部220及び/又はデータ処理部230は、この3次元血管造影画像データから、任意の2次元血管造影画像データ及び/又は任意の擬似的3次元血管造影画像データを構築することが可能である。例えば、画像データ構築部220及び/又はデータ処理部230は、3次元血管造影画像データに多断面再構成を適用することにより、眼底Efの任意の断面を表す2次元血管造影画像データを構築することができる。また、画像データ構築部220及び/又はデータ処理部230は、3次元血管造影画像データにプロジェクション画像化又はシャドウグラム化を適用することにより、眼底Efの正面血管造影画像データを構築することができる。
 本実施形態において、画像データ構築部220及び/又はデータ処理部230は、データ収集システム130により収集されたデータから複数のストリップを構築する。非特許文献1に記載されているように、画像データ構築部220及び/又はデータ処理部230は、リサジュースキャンで収集されたボリューム(3次元データ)を比較的大きな動きが介在しない複数のサブボリュームに分割し、各サブボリュームの正面プロジェクション画像(en face projection)を構築する。この正面プロジェクション画像がストリップである。このようにして得られた複数のストリップに対してレジストレーション及びマージ処理を適用することにより、(xy方向の)モーションアーティファクトを補正することができる。後述するように、本例においては、レジストレーション及びマージ処理はデータ処理部230によって実行される。
 画像データ構築部220は、プロセッサを含むハードウェアと、画像構築ソフトウェアとの協働によって実現される。なお、幾つかの例示的な態様において、画像データ構築部220とデータ処理部230とが一体的に構成されていてよい。
<データ処理部230>
 データ処理部230は、プロセッサを含み、被検眼Eの画像に対して各種のデータ処理を適用する。例えば、データ処理部230は、プロセッサを含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。データ処理部230に含まれる各機能要素も同様である。データ処理部230が実行するデータ処理は被検眼Eの画像の処理には限定されず、任意のデータ処理であってよい。図4Bに示すように、本実施形態のデータ処理部230は、画像選択部225と、画像データ処理部231とを含んでいる。
 データ処理部230は、眼底Efについて取得された2つの画像の間の位置合わせ(レジストレーション)を行うように構成されてよい。例えば、データ処理部230は、OCTで取得された3次元画像データと、眼底カメラユニット2により取得された正面画像との間のレジストレーションを行うように構成される。また、データ処理部230は、OCTで取得された2つのOCT画像の間のレジストレーションを行うように構成される。また、データ処理部230は、眼底カメラユニット2により取得された2つの正面画像の間のレジストレーションを行うように構成される。また、OCT画像の解析結果や、正面画像の解析結果に対してレジストレーションを適用するように構成されてもよい。これらのレジストレーションは、公知の手法によって実行可能であり、例えば特徴点抽出とアフィン変換とを含む。
 データ処理部230は、リサジュースキャンを用いて得られたデータセットを処理するように構成される。前述したように、画像データ構築部220(及び/又はデータ処理部230)は、例えば、リサジュースキャンで収集されたデータから複数のストリップを構築する。データ処理部230は、これらストリップに対してレジストレーション及びマージ処理を適用することにより、モーションアーティファクトが補正された画像を構築するように構成されている。
 前述したようにリサジュースキャンはサンプルのデータを冗長的に収集するため、任意の2つのストリップは交差領域(共通領域、オーバーラップ領域、重複領域)を有する。非特許文献1に記載された手法と同様に、データ処理部230は、ストリップ同士のオーバーラップを利用してストリップ間のレジストレーションを行うように構成されてよい。例えば、データ処理部230は、まず、画像データ構築部220により構築された複数のストリップを大きさ(面積など)に従って順序付け(第1~第Nのストリップ)、最大のストリップである第1のストリップを初期基準ストリップに指定することができる。初期基準ストリップは、初期基準画像の例である。次に、データ処理部230は、第1のストリップを基準として第2のストリップのレジストレーションを行い、第1のストリップと第2のストリップとをマージする(合成する)。データ処理部230は、これにより得られたマージストリップを基準ストリップとして第3のストリップのレジストレーションを行い、このマージストリップと第3のストリップとをマージする。このようなレジストレーション及びマージ処理を上記順序に従って順次に実行することにより第1~第Nのストリップの位置合わせ及び貼り合わせがなされ、モーションアーティファクトが補正された画像が得られる。
 従来の技術では、このような再帰的なレジストレーション(及びマージ処理)を単一の初期基準画像のみに基づき実行しているため、前述したように最終画像の品質が劣化するおそれがある。これに対し、本実施形態は、複数の初期基準画像にそれぞれ基づく複数の再帰的なレジストレーション(及びマージ処理)を実行することを1つの特徴とするものであり、その結果として、最終画像の品質向上という1つのアドバンテージを達成するものである。このような特徴及びアドバンテージを実現するための本実施形態の構成の例を以下に説明する。
<画像選択部225>
 本態様の眼科検査装置1は、リサジュースキャンによって冗長的データ収集を実行し、それにより取得されたデータセットに基づいて画像セットを生成する。本態様では、この画像セットは、画像データ構築部220(又はデータ処理部230)によって生成された複数のストリップを含む。前述したように、複数のストリップは、位置的な冗長性を有している。つまり、任意の2つのストリップ(任意のストリップペア)は、それらの交差領域において位置的な冗長性を有している。
 画像選択部225は、生成された複数のストリップから2以上のストリップを選択する。選択された各ストリップは、画像セット(複数のストリップ)の相対位置調整を行うためのレジストレーションの基準として使用される。本態様では、選択された各ストリップは、再帰的レジストレーションにおける初期基準ストリップとして使用される。すなわち、選択された各ストリップは、再帰的レジストレーションにおいて繰り返し実行されるレジストレーションのうちの第1回目のレジストレーションで基準画像として使用される。
 このように、本態様では、画像選択部225によって選択された複数の初期基準ストリップを用いて複数の再帰的レジストレーションがそれぞれ実行される。なお、従来の技術では、単一の初期基準ストリップを用いた単一回数の再帰的レジストレーションが実行される。
 画像選択部225が実行する初期基準画像選択処理の幾つかの例を以下に説明する。なお、画像選択部225が実行する処理は、これらの例に限定されるものではなく、冗長性を有する画像セットから複数の初期基準画像を選択するために適用可能な任意の処理であってよい。
 初期基準画像選択処理の第1の例を説明する。本例の処理を実行可能な画像選択部225は、光走査(リサジュースキャン)の時間軸に基づいて画像セット(複数のストリップ)から複数の初期基準画像(複数の初期基準ストリップ)を選択するように構成される。
 本実施形態の光走査は、複数の軌道を順次にスキャンするものであり、複数の軌道は時系列に配列されているとみなすことができ、更に、複数の軌道にそれぞれ対応する複数の画像(画像セット)は時系列に配列されているとみなすことができる。特に、リサジュースキャンは、複数のサイクルを順次にスキャンするスキャンモードであり、複数のサイクルは時系列に配列されているとみなすことができ、更に、複数のサイクルにそれぞれ対応する複数のストリップは時系列に配列されているとみなすことができる。非特許文献1の式(9)及び(10)からも分かるように、典型的なリサジュースキャンは、時間パラメータによってパラメトライズされている。一般的な光走査についても同様である。第1の例は、このような光走査の時間軸に基づく初期基準画像選択に関する。
 図6を参照して、光走査の時間軸に基づく初期基準画像選択の具体例を説明する。図6の座標軸tは時間軸を表す。時間軸tには、時系列順に、K個の区間A1、A2、・・・、AKが設定されている。ここで、Kは2以上の整数である。時間的に最初の区間A1の左端点TSはスキャン開始時間に相当し、時間的に最後の区間AKの右端点TEはスキャン終了時間に相当する。
 区間A1に相当する期間に収集されたデータセットから構築された画像群(ストリップ群)を符号B1n1で表し、区間A2に相当する期間に収集されたデータセットから構築された画像群(ストリップ群)を符号B2n2で表し、区間AKに相当する期間に収集されたデータセットから構築された画像群(ストリップ群)を符号BKnKで表す。ここで、n1=1、2、・・・、N1であり、n2=1、2、・・・、N2であり、nK=1、2、・・・、NKであり、N1、N2、・・・、NKはいずれも正の整数(典型的には2以上の整数)である。リサジュースキャンで得られた画像(ストリップ)の個数をNとすると、N1+N2+・・・+NK=Nである。
 K個の区間A1、A2、・・・、AKのそれぞれの長さは等しくてもよいし、等しくなくてもよい。換言すると、スキャン開始時間TSからスキャン終了時間TEまでの期間を同じ長さの区間に分割してもよいし、そうでなくてもよい。また、N1、N2、・・・、NKは等しくてもよいし、等しくなくてもよい。
 本例の画像選択部225は、まず、リサジュースキャンで得られたN個のストリップB1~BKNKからなる画像セットを、光走査の時間軸tのK個の区間A1~AKに対応するK個のサブセット(N1個のストリップB1~B1N1;N2個のストリップB2~B2N2;・・・;NK個のストリップBK~BKNK)に分割する。
 次に、本例の画像選択部225は、K個のサブセットのそれぞれからストリップを選択する。なお、K個のサブセットの全てからストリップを選択してもよいし、K個のサブセットのうちのいずれかのサブセットからストリップを選択しなくてもよい。また、1つのサブセットから選択されるストリップの個数は任意であってよい。また、K個のサブセットからそれぞれ同数のストリップを選択してもよいし、そうでなくてもよい。いずれにしても、本例の画像選択部225は、時系列に配列され且つK個のサブセットに分割されたN個のストリップのうちから、2つ以上のストリップを選択する。選択された各ストリップは、初期基準画像として用いられる。
 本例の画像選択部225は、ストリップの大きさ(画像サイズ。例えば面積。)に基づいて、K個のサブセットのそれぞれからストリップを選択するように構成されてよい。つまり、ストリップの選択基準は、画像サイズを含んでいてもよい。
 例えば、本例の画像選択部225は、K個のサブセットのそれぞれから、そのサブセットにおける最大サイズのストリップ(そのサブセットにおいて画像サイズが最大のストリップ)を選択するように構成されていてよい。なお、サブセットにおける最大サイズのストリップのみを選択してもよいし、最大サイズのストリップを含む2以上のストリップを選択してもよい。
 本例の画像選択部225は、K個のサブセットのそれぞれについて、そのサブセットに含まれる複数のストリップの全部又は一部に対して画像サイズに基づく順序付けを行うように構成されていてよい。例えば、本例の画像選択部225は、各ストリップの画像サイズを求める処理と、求められた画像サイズを比較する処理と、この画像サイズ比較の結果に基づいて複数のストリップに順序を割り当てる処理とを含む。本例の画像選択部225は、更に、K個のサブセットのそれぞれから、そのサブセット中の複数のストリップに付された順序に基づいてストリップの選択を行うように構成されていてよい。これにより、画像サイズに応じた順序付けにしたがって1つ又は2つ以上のストリップをサブセットから選択することができる。
 詳細は後述するが、本例の画像選択部225は、サブセットから選択されたストリップを初期基準画像として実行されたレジストレーションの結果に基づいて、同じサブセットから別のストリップを選択するように構成されていてよい。例えば、本例の画像選択部225は、K個のサブセットのうちの1つのサブセットから、このサブセット中の複数のストリップに付された順序に基づいて、1つのストリップ(第1画像)を選択することができる。選択されたストリップを基準としたレジストレーションが実行された後、本例の画像選択部225は、このレジストレーションの成否を判定することができる。このレジストレーションは成功であると判定された場合、このサブセットに基づくレジストレーションは完了と判断される。一方、このレジストレーションは失敗であると判定された場合、本例の画像選択部225は、このサブセット中の複数のストリップに付された順序に基づいて、このサブセットから別のストリップ(第2画像)を選択することができる。
 初期基準画像選択処理の第2の例を説明する。本例の処理を実行可能な画像選択部225は、光走査(リサジュースキャン)の適用エリアに基づいて画像セット(複数のストリップ)から複数の初期基準画像(複数の初期基準ストリップ)を選択するように構成される。画像セットを時間的に分割している第1の例に対して、本例は画像セットを空間的に分割したものと言える。
 図7、図8及び図8Bを参照して、光走査の適用エリアに基づく初期基準画像選択の具体例を説明する。
 図7の具体例において、符号Cはリサジュースキャンの適用エリアを示す(例えば、図5に示すスキャンエリア)。本具体例では、適用エリアCをx方向(左右方向)に二等分するとともにy方向(上下方向)に二等分することで、4つのサブエリアC1、C2、C3、及びC4が形成されている。
 本例の画像選択部225は、リサジュースキャンで得られた画像セット(複数のストリップ)を4つのサブエリアC1~C4に対応する4つのサブセットに分割する。サブエリアC1に対応するサブセットには、サブエリアC1中の画像(例えば、ストリップの一部(部分ストリップ))が含まれる。サブエリアC2~C4のそれぞれに対応するサブセットについても同様である。
 更に、本例の画像選択部225は、4つのサブエリアC1~C4に対応する4つのサブセットのそれぞれから画像(例えば、部分ストリップ)を選択することによって、画像セット(複数のストリップ)から複数の画像(例えば、複数の部分ストリップ)を選択する。選択された各部分ストリップは、初期基準画像として用いられる。
 本例の画像選択部225は、部分ストリップの大きさ(画像サイズ。例えば面積。)に基づいて、4つのサブセットのそれぞれから部分ストリップを選択するように構成されてよい。つまり、部分ストリップの選択基準は、画像サイズを含んでいてもよい。
 例えば、本例の画像選択部225は、4つのサブセットのそれぞれから、そのサブセットにおける最大サイズの部分ストリップ(そのサブセットにおいて画像サイズが最大の部分ストリップ)を選択するように構成されていてよい。なお、サブセットにおける最大サイズの部分ストリップのみを選択してもよいし、最大サイズの部分ストリップを含む2以上の部分ストリップを選択してもよい。
 本例の画像選択部225は、4つのサブセットのそれぞれについて、そのサブセットに含まれる複数の部分ストリップの全部又は一部に対して画像サイズに基づく順序付けを行うように構成されていてよい。例えば、本例の画像選択部225は、各部分ストリップの画像サイズを求める処理と、求められた画像サイズを比較する処理と、この画像サイズ比較の結果に基づいて複数の部分ストリップに順序を割り当てる処理とを含む。本例の画像選択部225は、更に、4つのサブセットのそれぞれから、そのサブセット中の複数の部分ストリップに付された順序に基づいて部分ストリップの選択を行うように構成されていてよい。これにより、画像サイズに応じた順序付けにしたがって1つ又は2つ以上の部分ストリップをサブセットから選択することができる。
 本例の画像選択部225は、サブセットから選択された部分ストリップを初期基準画像として実行されたレジストレーションの結果に基づいて、同じサブセットから別の部分ストリップを選択するように構成されていてよい。例えば、本例の画像選択部225は、4つのサブセットのうちの1つのサブセットから、このサブセット中の複数の部分ストリップに付された順序に基づいて、1つの部分ストリップ(第1画像)を選択することができる。選択された部分ストリップを基準としたレジストレーションが実行された後、本例の画像選択部225は、このレジストレーションの成否を判定することができる。このレジストレーションは成功であると判定された場合、このサブセットに基づくレジストレーションは完了と判断される。一方、このレジストレーションは失敗であると判定された場合、本例の画像選択部225は、このサブセット中の複数の部分ストリップに付された順序に基づいて、このサブセットから別の部分ストリップ(第2画像)を選択することができる。
 図7の具体例では、リサジュースキャンの適用エリアCを形状及びサイズが等しい4つのサブエリアC1~C4に分割しているが、適用エリアの分割態様はこれに限定されない。例えば、適用エリアを分割して形成されるサブエリアの個数は2以上の任意の個数であってよい。また、適用エリアを分割して形成される2以上のサブエリアは、異なる形状及び/又は異なるサイズを有していてもよい。
 適用エリアの分割態様は、図7の具体例のような格子状分割に限定されず、例えば放射状分割、同心円状分割など、任意の分割態様であってよい。また、適用エリアの分割態様は、格子状分割、放射状分割、同心円状分割のような幾何学的な分割態様に限定されない。
 幾つかの例示的な態様では、適用エリアに描出されているオブジェクトに基づいて適用エリアを分割することができる。例えば、適用エリアに第1オブジェクト及び第2オブジェクトが描出されている場合、第1オブジェクトの像を含むサブエリアと第2オブジェクトを含むサブエリアとを含む2以上のサブエリアに適用エリアを分割することができる。眼底Efのリサジュースキャンの場合、このリサジュースキャンの適用エリアを視神経乳頭の像を含むサブエリアと黄斑を含むサブエリアとを含む2以上のサブエリアに分割することができる。
 幾つかの例示的な態様では、適用エリアの少なくとも一部に対して重要度の分布を割り当てることができ、この重要度の分布に基づいて適用エリアを2以上のサブエリアに分割することができる。例えば、重要度の高い部分を含むサブエリアとそれ以外のサブエリアとを含む2以上のサブエリアに適用エリアを分割することができる。眼底Efのリサジュースキャンの場合、視神経乳頭の像、黄斑の像、病変部の像などを重要度の高い部分に指定することができる。
 図8A及び図8Bの具体例は、特開2021-40854号公報に開示されたスキャンモード(コンボリューショナルリサジュースキャンと呼ぶ)への応用である。コンボリューショナルリサジュースキャンは、図5のような標準的なリサジュースキャンとその適用エリアの移動(適用エリアシフト)とを組み合わせたスキャンモードである(図8Aを参照)。適用エリアシフトは、図8Aの例では円形の軌道に沿って実行されるが、軌道はこれに限定されず、任意であってよい。コンボリューショナルリサジュースキャンは、モーションアーティファクト補正と撮影の広角化(適用エリアの拡大)との両立を可能にする。
 図8Bの具体例において、符号Dはコンボリューショナルリサジュースキャンの適用エリアを示す。本具体例では、適用エリアDをその中心周りに定義される角度方向に三等分
することで、3つのサブエリアD1、D2、及びD3が形成されている。
 本例の画像選択部225は、リサジュースキャンで得られた画像セット(複数のストリップ)を3つのサブエリアD1~D3に対応する3つのサブセットに分割する。サブエリアD1に対応するサブセットには、サブエリアD1中の画像(例えば、部分ストリップ)が含まれる。サブエリアD2及びD3のそれぞれに対応するサブセットについても同様である。
 更に、本例の画像選択部225は、3つのサブエリアD1~D3に対応する3つのサブセットのそれぞれから画像(例えば、部分ストリップ)を選択することによって、画像セット(複数のストリップ)から複数の画像(例えば、複数の部分ストリップ)を選択する。選択された各部分ストリップは、初期基準画像として用いられる。
 本例の画像選択部225は、部分ストリップの大きさ(画像サイズ。例えば面積。)に基づいて、3つのサブセットのそれぞれから部分ストリップを選択するように構成されてよい。つまり、部分ストリップの選択基準は、画像サイズを含んでいてもよい。
 例えば、本例の画像選択部225は、3つのサブセットのそれぞれから、そのサブセットにおける最大サイズの部分ストリップ(そのサブセットにおいて画像サイズが最大の部分ストリップ)を選択するように構成されていてよい。なお、サブセットにおける最大サイズの部分ストリップのみを選択してもよいし、最大サイズの部分ストリップを含む2以上の部分ストリップを選択してもよい。
 本例の画像選択部225は、3つのサブセットのそれぞれについて、そのサブセットに含まれる複数の部分ストリップの全部又は一部に対して画像サイズに基づく順序付けを行うように構成されていてよい。例えば、本例の画像選択部225は、各部分ストリップの画像サイズを求める処理と、求められた画像サイズを比較する処理と、この画像サイズ比較の結果に基づいて複数の部分ストリップに順序を割り当てる処理とを含む。本例の画像選択部225は、更に、3つのサブセットのそれぞれから、そのサブセット中の複数の部分ストリップに付された順序に基づいて部分ストリップの選択を行うように構成されていてよい。これにより、画像サイズに応じた順序付けにしたがって1つ又は2つ以上の部分ストリップをサブセットから選択することができる。
 本例の画像選択部225は、サブセットから選択された部分ストリップを初期基準画像として実行されたレジストレーションの結果に基づいて、同じサブセットから別の部分ストリップを選択するように構成されていてよい。例えば、本例の画像選択部225は、3つのサブセットのうちの1つのサブセットから、このサブセット中の複数の部分ストリップに付された順序に基づいて、1つの部分ストリップ(第1画像)を選択することができる。選択された部分ストリップを基準としたレジストレーションが実行された後、本例の画像選択部225は、このレジストレーションの成否を判定することができる。このレジストレーションは成功であると判定された場合、このサブセットに基づくレジストレーションは完了と判断される。一方、このレジストレーションは失敗であると判定された場合、本例の画像選択部225は、このサブセット中の複数の部分ストリップに付された順序に基づいて、このサブセットから別の部分ストリップ(第2画像)を選択することができる。
 図8Bの具体例では、リサジュースキャンの適用エリアDを3つに等角度分割して3つのサブエリアD1~D3を形成しているが、図7の具体例に関して説明したように、適用エリアの分割態様はこれに限定されない。
 初期基準画像選択処理の第3の例を説明する。本例の処理を実行可能な画像選択部225は、光走査(リサジュースキャン)で得られた画像セット(複数のストリップ)に含まれる全ての画像又は一部のみの画像に対して画像サイズに基づく順序付けを行い、この順序付けにより画像に付された順序に基づいて画像セットから複数の初期基準画像(複数の初期基準ストリップ)を選択するように構成される。
 本例は、第1の例及び第2の例のように画像セットを分割するのではなく、画像セットの全体から複数の初期基準画像を選択するものである。なお、幾つかの例示的な態様では、画像選択部225は、光走査で取得された画像セットから所定の条件を満足する1以上の画像を除外し、残った画像セットから複数の初期基準画像を選択するように構成されてもよい。この条件は、例えば、各画像に関する条件(画像品質、信号品質など)や、画像間の関係に関する条件(画像相関、位置ずれ、画像品質の違い、信号品質の違いなど)であってよい。
 本例の画像選択部225は、画像サイズを参照した順序に基づき画像セットから選択された複数の初期基準画像のうちの1つの画像を基準として実行されたレジストレーションの結果に基づいて、この画像セットから別の初期基準画像(先に選択された複数の初期基準画像のいずれとも異なる画像)を選択するように構成されていてよい。例えば、本例の画像選択部225は、まず、画像サイズに基づく順序付けを画像セット(複数のストリップ)に対して行い、付与された順序に基づいてこの画像セットから複数の初期基準ストリップ(初期基準ストリップ群)を選択する。この初期基準ストリップ群のうちの1つの初期基準ストリップに基づくレジストレーションが実行された後、本例の画像選択部225は、このレジストレーションの成否を判定することができる。このレジストレーションは成功であると判定された場合、この初期基準ストリップは適当であると判断される。一方、このレジストレーションは失敗であると判定された場合、この初期基準ストリップは不適当であると判断され、本例の画像選択部225は、画像セットに付された順序に基づいて、初期基準ストリップ群に含まれる複数の画像のいずれとも異なるストリップをこの画像セットから新たに選択する。これにより、最初に選択した初期基準ストリップ群のうち不適当なストリップを新たなストリップに置き換えることができ、最終的には、モーションアーティファクト補正のために適当なストリップのみからなる初期基準ストリップ群を得ることができる。
 初期基準画像選択処理の第4の例を説明する。本例は、光走査が適用されているときのサンプルの動き(運動)を参照して初期基準画像の選択を行うものである。このサンプルの動きは、モーションアーティファクトの原因となる運動又はなり得る運動である。眼科分野においては、眼球運動、頭部の動き、体動などが、サンプル(被検眼E)の動きに含まれる。上記した初期基準画像選択の第1~第3の例又は他の例に、本例を組み合わせることが可能である。例えば、第1~第3の例のいずれかの処理の前処理として本例の処理を実行することができる。
 本例の処理を実行可能な眼科検査装置1は、光走査がサンプルに適用されているときの被検眼Eの運動を表す運動情報を生成する運動情報生成部を備えている。運動情報生成部の構成は任意であってよいが、例えば以下に説明する構成のいずれかを含んでいてもよい。なお、以下の例示的な構成は、眼の運動に関するものであるが、他のサンプルの
 運動情報生成部の第1の構成例は、OCT血管造影信号(OCTA信号、モーションコントラスト信号)から被検眼Eの運動を検出するものである。非特許文献2には、リサジュースキャンを用いたOCT血管造影において、OCT血管造影信号から眼球運動を検出すること、及び、眼球運動の影響を受けたデータ(繰り返しスキャンサイクルデータ、repeat-cycle-set)を破棄することが記載されている。
 本構成例の運動情報生成部が適用される場合、眼科検査装置1は、例えば、眼底カメラユニット2、OCTユニット100、及び制御部210によってOCT血管造影のためのリサジュースキャンを実行してデータセットを収集し、画像データ構築部220及びデータ処理部230によってこのデータセットを処理してOCT血管造影信号を生成し、画像選択部225によってこのOCT血管造影信号から眼球運動を検出し、画像選択部225によって所定の条件を満たす眼球運動が検出された時点の近傍期間又は位置の近傍領域のストリップを初期基準ストリップの候補から除外するように構成されてよい。この条件は任意であってよいが、例えば、眼球運動の大きさが所定の閾値以上であるという条件、及び/又は、眼球運動の発生頻度が所定の閾値以上であるという条件であってよい。
 運動情報生成部の第2の構成例は、OCT信号以外のデータから被検眼Eの運動を検出するものである。本構成例の運動検出に利用可能なデータとしては、眼底カメラユニット2により取得される観察画像、特開2013-248376号公報の前眼部カメラにより取得される前眼部画像などがある。本構成例においては、第1の構成例では必要とされるOCT血管造影のための繰り返しスキャンが不要である。
 本構成例の運動情報生成部が適用される場合、眼科検査装置1は、例えば、眼底カメラユニット2又は図示しない前眼部カメラによって被検眼Eの画像を取得し、データ処理部230(例えば画像選択部225)によってこの画像から眼球運動を検出し、画像選択部225によって所定の条件を満たす眼球運動が検出された時点の近傍期間又は位置の近傍領域のストリップを初期基準ストリップの候補から除外するように構成されてよい。この条件は任意であってよいが、例えば、眼球運動の大きさが所定の閾値以上であるという条件、及び/又は、眼球運動の発生頻度が所定の閾値以上であるという条件であってよい。
 このように、リサジュースキャンが被検眼Eに適用されているときの被検眼Eの運動を表す運動情報を生成する運動情報生成部を眼科検査装置1が備えている場合、画像選択部225は、運動情報生成部により生成された運動情報に基づいて、画像セット(複数のストリップ)から複数の初期基準画像を選択するように構成されていてよい。
 更に、画像選択部225は、運動情報生成部により生成された運動情報から所定の運動パラメータの値を算出する処理と、算出された値を評価する処理と、この評価の結果に基づいて画像セット(複数のストリップ)から複数の初期基準画像を選択する処理とを実行するように構成されていてよい。
 運動情報の評価に用いられる運動パラメータは、眼球運動の大きさ及び眼球運動の発生頻度の少なくとも一方を含んでいてよい。更に、画像選択部225は、このような運動パラメータについて算出された値を所定の閾値と比較することができる。運動パラメータの値が閾値以上であると判定された場合、画像選択部225は、この運動パラメータの値に対応する期間を特定し、特定された期間中にリサジュースキャンで収集されたデータに基づく画像(ストリップ)を特定し、特定された1以上の画像が画像セットから除外されたサブセットから複数の初期基準画像を選択することができる。ここで、運動パラメータの値に対応する期間は、例えば、閾値以上の大きさの眼球運動が発生した時点を含む所定の長さの期間、及び/又は、閾値以上の頻度の眼球運動が発生した時間を含む所定の長さの期間であってよい。
 初期基準画像選択処理の第4の例によれば、トラッキング等の眼球運動検出機能を初期基準画像選択に組み合わせることができる。この組み合わせにより、サッカード(saccade)等の眼球運動が発生した付近においてレジストレーション方法を切り替えることができる。例えば、眼球運動が発生した付近のデータをレジストレーションから除外することができる。また、サッカード等の眼球運動が発生した付近の画像(ストリップ)を初期基準画像の候補から除外することができる。また、サッカード等の眼球運動が頻発した付近の画像(ストリップ)を初期基準画像の候補から除外することができる。
 上記した幾つかの例示的な初期基準画像選択処理では、画像サイズを参照する場合について説明したが、初期基準画像選択において参照される情報(パラメータ)は画像サイズに限定されない。例えば、実施形態は、任意の画質評価指標に基づく順序付けを画像セット(複数のストリップ)に適用する態様や、画像(ストリップ)の任意の特徴量の多寡に基づく順序付けを画像セット(複数のストリップ)に適用する態様や、任意の画質評価指標と任意の画像特徴量とを組み合わせた指標に基づく順序付けを画像セット(複数のストリップ)に適用する態様や、任意の画質評価指標及び/又は任意の画像特徴量と画像サイズとを組み合わせた指標に基づく順序付けを画像セット(複数のストリップ)に適用する態様や、これら以外の指標に基づく順序付けを画像セット(複数のストリップ)に適用する態様を含んでいてよい。
<画像データ処理部231>
 画像データ処理部231の構成及びその背景について説明する。モーションアーティファクト補正のための再帰的なレジストレーションでは、基準ストリップと他のストリップとの間の相対位置を求めるために相互相関関数が利用されるが、ストリップは任意の形状を有するため、各ストリップを特定形状(例えば正方形状)の画像として扱うためのマスクを用いてストリップ間の相関演算が行われる(非特許文献1のAppendix Aを参照)。
 前述したように、ストリップは所定階調の強度画像であり、マスク画像は二値画像であるため、ストリップの画素値の絶対値とマスクの画素値の絶対値との差が大きくなり、ストリップとマスクとを用いた相関演算におけるマスクの効果が無視されて正しい相関係数が得られないおそれがある。特に、コストなどの観点から、ストリップ間の相関係数を求めるために単精度浮動小数点型(フロート型)の演算を採用した場合、有効桁数の少なさに起因する丸め誤差の影響により、この問題が顕著に現れる。
 このような丸め誤差の問題への対処に加えて、複数の初期基準画像に基づく画像セットの相対位置調整を実現するために、画像データ処理部231は図4Cに示す要素群を備えている。なお、複数の初期基準画像に基づく画像セットの相対位置調整を実行するための構成は、図4Cに示す構成に限定されるものではなく、以下に示す例示的な態様による相対位置調整又は同様の相対位置調整を実行可能な任意の構成であってもよい。
 画像データ処理部231は、画像データ構築部220により構築された画像データを処理する。図4Cに示すように、画像データ処理部231は、マスク画像生成部2311と、範囲調整部2312と、合成画像生成部2313と、相互相関関数算出部2314と、相関係数算出部2315と、xyシフト量算出部2316と、レジストレーション部2317と、マージ処理部2318と、zシフト量算出部232と、シフト量記録部233と、調整量算出部234と、画像データ補正部235とを含んでいる。
 以下に説明する例では、画像データ処理部231は、任意の2つのストリップの一方を基準ストリップ(reference strip)に指定するとともに、この基準ストリップに対して他方のストリップ(対象ストリップ;registering strip)をレジストレーションするように構成されている。
<マスク画像生成部2311>
 マスク画像生成部2311は、基準ストリップに応じた基準マスク画像と、対象ストリップに応じた対象マスク画像とを生成する。マスク画像の幾つかの例を以下に説明するが、これらに限定されるものではない。
 マスク画像の輪郭形状は、例えば矩形であり、典型的には正方形である。基準マスク画像の形状と対象マスク画像の形状とは同じであってよい。また、基準マスク画像のサイズと対象マスク画像のサイズとは同じであってよい。
 マスク画像の画素値の範囲は、例えば閉区間[0,1]に含まれるように設定される。典型的には、マスク画像は、画素値が0又は1の二値画像であってよい。具体例として、マスク画像は、ストリップの定義域に対応する領域内の画素の値が1であり、他の画素の値が0である二値画像である。換言すると、非特許文献1の式(20)に示すように、例示的なマスク画像の画素値は、対応するストリップの画像エリアにおける値が1であり、他のエリアにおける値が0である。
<範囲調整部2312>
 範囲調整部2312は、基準マスク画像の画素値の範囲と、対象マスク画像の画素値の範囲とに基づいて、基準ストリップの画素値の範囲と、対象ストリップの画素値の範囲とを調整するように構成される。典型的には、範囲調整部2312は、ストリップの画素値の範囲とマスク画像の画素値の範囲との間の差を小さくするように、基準ストリップの画素値の範囲及び対象ストリップの画素値の範囲の調整を行う。
 一般に、範囲調整部2312は、基準ストリップの画素値の範囲と、対象ストリップの画素値の範囲と、マスク画像の画素値の範囲とを相対的に調整する。典型的な例では、基準ストリップに適用される基準マスク画像と、対象ストリップに適用される対象マスク画像とは異なり、範囲調整部2312は、基準ストリップの画素値の範囲と、対象ストリップの画素値の範囲と、基準マスク画像の画素値の範囲と、対象ストリップの画素値の範囲とを相対的に調整する。
 範囲調整部2312は、基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを小さくするように基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを調整し、且つ、対象ストリップの画素値の範囲と対象マスク画像の画素値の範囲とを小さくするように、対象ストリップの画素値の範囲と対象マスク画像の画素値の範囲とを相対的に調整するように構成される。
 範囲調整部2312は、ストリップ及びマスク画像の一方の画素値の範囲を他方の画素値の範囲に一致させるように、ストリップの画素値の範囲とマスク画像の画素値の範囲とを調整するように構成されてよい。例えば、範囲調整部2312は、基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを一致させるように基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを調整し、且つ、対象ストリップの画素値の範囲と対象マスク画像の画素値の範囲とを一致させるように、対象ストリップの画素値の範囲と対象マスク画像の画素値の範囲とを相対的に調整するように構成されてよい。
 例えば、範囲調整部2312は、マスク画像の画素値の範囲に応じてストリップの画素値の範囲を正規化するように構成される。この正規化(規格化)の幾つかの例を以下に説明するが、これらに限定されるものではない。
 正規化の第1の例を説明する。マスク画像の画素値の範囲が閉区間[0,1]に含まれる場合において、範囲調整部2312は、ストリップの各画素の値を、このストリップにおける最大画素値で除算する。本例では、範囲調整部2312は、まず、ストリップの全ての画素の値を比較して最大値(最大画素値)を特定し、このストリップの各画素の値を最大画素値で除算する。これにより、ストリップの画素値の範囲が、マスク画像の画素値の範囲と同じ閉区間[0,1]に一致される。
 正規化の第2の例を説明する。マスク画像の画素値の範囲が閉区間[0,1]に含まれる場合において、範囲調整部2312は、ストリップの各画素の値を、このストリップの画素値の範囲の最大値で除算する。ストリップの画素値の範囲は予め設定されており、範囲調整部2312は、この範囲の上限値(最大値)でストリップの各画素の値を除算する。本例によっても、ストリップの画素値の範囲が、マスク画像の画素値の範囲と同じ閉区間[0,1]に一致される。
 範囲調整部2312が実行する処理により、ストリップの画素値の絶対値とマスクの画素値の絶対値との差を小さくすることができ、ストリップとマスクとを用いた相関演算においてマスクの効果が無視されることが無くなり、相関係数の算出を正確に行うことが可能となる。特に、単精度浮動小数点型(フロート型)の演算を採用した場合であっても、有効桁数の少なさに起因する丸め誤差の影響を排除する(低減する)ことができる。
 本開示ではストリップの画素値の範囲のみを変更する例について主に説明するが、マスク画像の画素値の範囲のみを変更してもよいし、ストリップの画素値の範囲とマスク画像の画素値の範囲との双方を変更してもよい。
<合成画像生成部2313>
 範囲調整部2312による画素値範囲調整が適用されたストリップ及びマスク画像について、合成画像生成部2313は、基準ストリップ及び対象ストリップのそれぞれにマスク画像を合成して2つの合成画像を生成する。典型的には、合成画像生成部2313は、基準ストリップに基準マスク画像を合成して基準合成画像を生成し、且つ、対象ストリップに対象マスク画像を合成して対象合成画像を生成する。
 ストリップとマスク画像とを合成する処理は、非特許文献1と同じ要領で実行されてよい。ただし、非特許文献1の手法とは異なり、本実施形態では、ストリップの画素値の範囲とマスク画像の画素値の範囲との間の差を小さくするように調整を行っている。典型的には、基準マスク画像及び対象マスク画像の画素値の範囲に一致するように、基準ストリップ及び対象ストリップの画素値の範囲が正規化されている。
 例えば、非特許文献1の式(19)と同じ要領で、合成画像生成部2313は、画素値範囲が正規化されたストリップを、マスク画像と同じサイズ及び同じ形状の画像に埋め込むように構成されてよい。
 更に、合成画像生成部2313は、ストリップの埋め込み画像とマスク画像との合成画像を生成する。この合成画像は、非特許文献1における「f´(r)m(r)」(第1800頁の第2行目など)に相当するが、前述したように、ストリップの埋め込み画像の値が式(19)のそれとは異なっている。
<相互相関関数算出部2314>
 相互相関関数算出部2314は、合成画像生成部2313により生成された2つの合成画像に基づいて複数の相互相関関数を求める。相互相関関数の算出は、非特許文献1と同じ要領で実行される。例えば、相互相関関数算出部2314は、基準ストリップ及び基準マスク画像から生成された基準合成画像と、対象ストリップ及び対象マスク画像から生成された対象合成画像とに基づいて、非特許文献1の式(33)に含まれる6個の相互相関関数(画像相互相関、image cross-correlation)を算出する。
<相関係数算出部2315>
 相関係数算出部2315は、相互相関関数算出部2314により算出された複数の相互相関関数に基づいて相関係数を算出する。この演算は、非特許文献1の式(33)に従う。
<xyシフト量算出部2316>
 xyシフト量算出部2316は、相関係数算出部2315により算出された相関係数に基づいて、基準ストリップと対象ストリップとの間のxy方向(ラテラル方向、横方向)のシフト量を算出する。
 xy方向シフト量を算出するための演算は、例えば、非特許文献1の「rough lateral motion correction」(第1787頁)に相当する演算を含む。この場合、xyシフト量算出部2316は、相互相関関数の最大値を求めることによってxy方向シフト量を推定するように構成される。
 更に、xyシフト量算出部2316は、スロードリフト(slow drift)やトレモア(tremor)などの眼球運動に起因するラテラル方向の小さなシフト量を算出するために、非特許文献1の「fine lateral motion correction」(第1789頁)に相当する演算を実行するように構成されてもよい。
 xyシフト量算出部2316により求められたxy方向シフト量データは、所定の情報(付帯情報)とともにシフト量記録部233に送られて記録される。この付帯情報の例として、xy方向シフト量データの識別子、xy方向シフト量に対応する相関係数などがある。
 xy方向シフト量データの識別子は、例えば、次のいずれかを含んでいてよい:光走査(リサジュースキャン)の時間軸により表現される時間(例えば図6を参照);サイクルの順序付けに基づく番号(サイクル番号);スキャンの順序に基づく番号(スキャン番号);ストリップの順序付けに基づく番号(ストリップ番号);サブボリュームの順序付けに基づく番号(サブボリューム番号);xy座標系で表現される位置(画素位置、走査位置など)。これらの情報は全て同等である。つまり、これらの情報のうちの任意の2つの情報について、一方の情報を他方の情報に変換することが可能である。
 xy方向シフト量データの識別子は、複数のxy方向シフト量データに共通の識別子(共通識別子)を含んでいてもよい。例えば、画像選択部225により指定された複数の初期基準ストリップのそれぞれについて、その初期基準ストリップに基づき実行された再帰的レジストレーションにおいて逐次に得られた複数のxy方向シフト量データに対して共通識別子を付与することができる。この共通識別子により、各々の初期基準ストリップに対応する複数のxy方向シフト量データ(つまり、各々の再帰的レジストレーションに対応する複数のxy方向シフト量データ)を識別して処理を行うことが可能になる。共通識別子は、各xy方向シフト量データの識別子(個別識別子)とは別の情報として設けられてもよいし、共通識別子と個別識別子とが一体の情報として形成されていてもよい。
<レジストレーション部2317>
 レジストレーション部2317は、xyシフト量算出部2316により算出されたラテラル方向のシフト量(xy方向シフト量)に基づいて、ラテラル方向のレジストレーションを実行する。例えば、このレジストレーションは、非特許文献1の「rough lateral motion correction」(第1787頁)に相当する処理を含む。レジストレーション部2317は、xyシフト量算出部2316により算出されたラテラル方向のシフト量を打ち消すように、基準ストリップと対象ストリップとの間のレジストレーションを実行することができる。
 xyシフト量算出部2316が非特許文献1の「fine lateral motion correction」(第1789頁)に相当する演算を実行した場合、レジストレーション部2317は、非特許文献1の「fine lateral motion correction」(第1789頁)に相当するレジストレーションを実行することによって、基準ストリップと対象ストリップとの間のラテラル方向の小さなモーションアーティファクトを除去することができる。
<マージ処理部2318>
 マージ処理部2318は、レジストレーション部2317により相対位置調整がなされた基準ストリップと対象ストリップとのマージ画像を構築する。この処理も非特許文献1に記載された手法と同じ要領で実行される。
 前述したように、画像データ処理部231は、画像データ構築部220により構築された複数のストリップを大きさに応じた順序付けに従って、上記した一連の処理を逐次に実行する。これにより、画像データ構築部220により構築された複数のストリップから、ラテラル方向のモーションアーティファクトが補正されたマージ画像が得られる。このマージ画像は、典型的には、リサジュースキャンが適用された範囲全体を表現した画像である。
 なお、前述したように、複数のストリップは、リサジュースキャンで収集されたボリューム(3次元データ)を分割して得られた複数のサブボリュームに基づく複数の正面プロジェクション画像である。したがって、画像データ処理部231により複数のストリップから構築されるマージ画像は、ラテラル方向の位置調整がなされた複数のサブボリューム(及びそれらのマージ画像)を提供する。ラテラル方向に直交する深さ方向のレジストレーション及びマージ処理は、本例では、zシフト量算出部232及び画像データ補正部235によって実行される(後述)。
<zシフト量算出部232>
 zシフト量算出部232は、リサジュースキャンで収集されたボリュームを分割して得られた複数のサブボリューム(つまり、複数のストリップの元になった複数のサブボリューム)の間のz方向(Aライン方向、光軸方向、深さ方向)のシフト量を算出する。
 本例は、画像データ処理部231によってxy方向(ラテラル方向、横方向)の位置調整を実行した後に、zシフト量算出部232及び画像データ補正部235によってz方向の位置調整を実行するように構成されている。すなわち、本例のzシフト量算出部232は、画像データ処理部231によって得られたデータ(例えば、xy方向シフト量データ、マージ画像)を利用してz方向のシフト量を算出するように構成されている。
 zシフト量算出部232が実行する処理の例を説明する。xy方向シフト量算出において考慮されるストリップのペア(基準ストリップ及び対象ストリップ)と同様に、z方向シフト量算出においてもサブボリュームのペアが考慮される。サブボリュームのペアは、xy方向シフト量算出において考慮された基準ストリップ及び対象ストリップに対応する2つのサブボリュームであってよく、これらサブボリュームをそれぞれ基準サブボリューム及び対象サブボリュームと呼ぶ。
 対応する基準ストリップ及び対象ストリップの間のxy方向のレジストレーションの結果に基づいて、基準サブボリューム及び対象サブボリュームは、xy方向の位置調整がなされている。また、前述したように、リサジュースキャンにおける任意の2つのストリップは4箇所で重複(交差)しており、したがって、任意の2つのサブボリュームも4箇所で重複(交差)している。
 zシフト量算出部232は、まず、xy方向の位置調整がなされた基準サブボリュームと対象サブボリュームとの交差領域(共通領域)を特定する。各交差領域は、3次元画像データである。
 次に、zシフト量算出部232は、特定された交差領域に断面を設定する。この断面は、例えば、xy平面における任意の軸(例えば、x軸、y軸、又は、x軸及びy軸の双方に斜交する軸)とz軸とによって貼られた平面である。なお、断面は平面に限定されず、曲面などであってもよい。
 次に、zシフト量算出部232は、設定された断面の画像を基準サブボリュームから構築し、且つ、同断面の画像を対象サブボリュームから構築する。基準サブボリュームから構築された断面画像を基準断面画像と呼び、対象サブボリュームから構築された断面画像を対象断面画像と呼ぶ。基準断面画像と対象断面画像とは、xy方向のレジストレーションがなされた基準サブボリュームと対象サブボリュームとの交差領域における同じ断面を表す画像である。
 次に、zシフト量算出部232は、基準断面画像を解析して被検眼Eの所定部位の像を特定し、且つ、対象断面画像を解析して同部位の像を特定する。この部位は、任意の部位であってよく、例えば眼底Efの表面(網膜表面、内境界膜、網膜と硝子体との境界)であってよい。また、被検眼Eに人工物が移植されている場合、この人工物の像を特定してもよい。所定部位の像を特定するための解析は、例えば、セグメンテーションを含んでいてよい。
 次に、zシフト量算出部232は、基準断面画像から特定された所定部位の像(基準像)のz座標を求め、且つ、対象断面画像から特定された所定部位の像(対象像)のz座標を求める。典型的には、所定部位の像は複数の画素からなり、これらの画素のz座標は一定ではない。例えば、一般に、網膜表面の大局的な形状は+z方向に凸な湾曲形状であり、その局所的箇所の像(基準像及び対象像の例)はz軸に対して少なくとも部分的に傾斜している。zシフト量算出部232は、所定部位の像を構成する画素群の少なくとも1つの画素に基づいて、この像のz座標を求めることができる。例えば、この画素群からz座標の統計量を求め、この統計量を当該像のz座標に採用することができる。この統計量は、任意の代表値(要約統計量)であってよく、その例として、最大値、最小値、平均値、中央値、最頻値、分位点などがある。一方、所定部位の像が単一の画素からなる場合には、この画素のz座標を所定部位のz座標として採用することができる。
 次に、zシフト量算出部232は、基準像のz座標と対象像のz座標との差(z方向のシフト量)を求める。幾つかの例示的な態様では、z方向シフト量が閾値を超える場合に画像データ補正部235による補正処理を実行するように処理制御を行うことができる。この閾値は、例えば、ゼロ又は正値であり、予め設定された固定値又は可変値であってよい。
 上記した例では、3次元画像データ(サブボリューム)から2次元画像データ(断面画像)を構築してz方向シフト量を求めているが、幾つかの例示的な態様では、2次元画像データの構築を行うことなく3次元画像データからz方向シフト量を求めてもよい。この場合、基準断面画像及び対象断面画像のペアに対して実行されたものと同様の処理を基準サブボリューム及び対象サブボリュームのペアに対して実行することができる。
 上記した例では、3次元画像データ(サブボリューム)から2次元画像データ(断面画像)を構築し、この2次元画像データから所定部位の像を特定してz方向シフト量を求めているが、幾つかの例示的な態様では、3次元画像データから所定部位の像を特定し、この所定部位の像の2次元画像データを構築してz方向シフト量を求めてもよい。
 また、zシフト量算出部232は、基準サブボリューム及び対象サブボリュームのペアに基づき算出される相関係数に基づいて、基準サブボリュームと対象サブボリュームとの間のz方向シフト量を求めるように構成されてもよい。サブボリューム間の相関係数を求める方法は、例えば、相関係数算出部2315により実行される相関係数演算方法と同様であってよい。
 z方向シフト量を算出するための方法は以上に例示した方法には限定されず、基準サブボリューム及び対象サブボリュームのペアに対して適用可能な任意の方法であってよく、又は、サブボリュームと異なるオブジェクトのペアに対して適用可能な任意の方法であってもよい。サブボリュームと異なるオブジェクトの例として、サブボリュームのレンダリング画像(x方向又はy方向にプロジェクションした画像など、z方向の次元を有する画像)がある。
 幾つかの例示的な態様では、zシフト量算出部232により求められたz方向シフト量データは、所定の情報(付帯情報)とともにシフト量記録部233に送られて記録される。この付帯情報の例として、z方向シフト量データの識別子、z方向シフト量を算出するための演算の途中で求められた値や量(例えば、相関係数)などがある。
 xy方向シフト量データの個別識別子と同様に、z方向シフト量データの個別識別子は、次のいずれかを含んでいてよい:光走査(リサジュースキャン)の時間軸により表現される時間(例えば図6を参照);サイクルの順序付けに基づく番号(サイクル番号);スキャンの順序に基づく番号(スキャン番号);ストリップの順序付けに基づく番号(ストリップ番号);サブボリュームの順序付けに基づく番号(サブボリューム番号);xy座標系で表現される位置(画素位置、走査位置など)。また、xy方向シフト量データの識別子と同様に、z方向シフト量データの識別子は、複数のz方向シフト量データに共通の識別子(共通識別子)を含んでいてもよい。
<シフト量記録部233>
 シフト量記録部233は、xyシフト量算出部2316により求められたxy方向シフト量データ及びその付帯情報を記録する。本実施形態の付帯情報は、前述したxy方向シフト量データの識別子(例えば、個別識別子及び共通識別子)を含む。シフト量記録部233は、例えば、記憶装置と、この記憶装置へのデータ書き込み及びこの記憶装置からのデータ読み出しを行うプロセッサとを含む。
 前述したように、本実施形態のxyシフト量算出部2316は、基準ストリップと対象ストリップとの各ペアについてxy方向シフト量データを生成する。幾つかの例示的な態様では、シフト量記録部233は、基準ストリップと対象ストリップとの全てのペアに対応するxy方向シフト量データを収集し記録する。また、幾つかの例示的な態様では、シフト量記録部233は、基準ストリップと対象ストリップと全てのペアのうちの一部のペアに対応するxy方向シフト量データを収集し記録する。
 幾つかの例示的な態様において、シフト量記録部233は、zシフト量算出部232により求められたz方向シフト量データ及びその付帯情報を記録する。本実施形態の付帯情報は、前述したz方向シフト量データの識別子(例えば、個別識別子及び共通識別子)を含む。シフト量記録部233がz方向シフト量データを記録する構成が適用される場合、図4Cの図面におけるzシフト量算出部232とシフト量記録部233との間に、zシフト量算出部232からシフト量記録部233データへのデータ送信を示す矢印が付加される。
 幾つかの例示的な態様では、シフト量記録部233は、基準サブボリュームと対象サブボリュームとの全てのペアに対応するz方向シフト量データを収集し記録する。また、幾つかの例示的な態様では、シフト量記録部233は、基準サブボリュームと対象サブボリュームと全てのペアのうちの一部のペアに対応するz方向シフト量データを収集し記録する。
 なお、ストリップとサブボリュームとの間には対応関係があり、したがって、基準ストリップと対象ストリップとのペアと基準サブボリュームと対象サブボリュームとの間には対応関係がある。よって、シフト量記録部233がxy方向シフト量データ及びz方向シフト量データの双方を記録する態様では、xy方向シフト量データとz方向シフト量データとを対応付けることができる。
<調整量算出部234>
 調整量算出部234は、シフト量記録部233により記録されたデータに基づいて画像セットの相対位置調整のための調整量を算出するように構成されている。
 幾つかの例示的な態様の調整量算出部234は、シフト量記録部233により記録されたxy方向シフト量データに基づいて複数のストリップの相対位置調整のための調整量を算出する。シフト量記録部233により記録されたxy方向シフト量データには、前述した個別識別子及び共通識別子が付されているものとする。各共通識別子は、1つの初期基準ストリップ(つまり、1つの再帰的レジストレーション)から得られたxy方向シフト量データの集合(xy方向シフト量データ集合)を表し、各個別識別子は、その集合における各xy方向シフト量データの位置(例えば、時間的位置又は空間的位置)を表す。
 1つのxy方向シフト量データ集合は、画像セットに含まれる複数のストリップの間の相対位置を表す情報(相対位置情報)であり、従来の手法(例えば、引用文献1の手法)で得られる相対位置情報と実質的に同じものである。しかし、本実施形態は、複数の初期基準画像を用いて複数の再帰的レジストレーションを実行することで複数の相対位置情報を取得する点において、従来の手法と異なっている。これに加えて、本実施形態は、調整量算出部234により、このような複数の相対位置情報に基づいて、画像セットに含まれる複数のストリップの相対位置調整のための調整量を算出する点において、従来の手法と異なっている。
 画像セットに含まれる複数の画像の相対位置調整のための調整量を算出する方法は任意であってよい。その幾つかの非限定的な例を以下に説明する。これらの例では、ラテラル方向(xy方向)の相対位置調整のための調整量を算出する方法について説明を行うが、アキシャル方向(z方向)の相対位置調整のための調整量についても同様の方法で算出できることは、当業者であれば理解できるであろう。
 ラテラル方向の相対位置調整のための調整量を算出する処理の例について図9A~図9D及び図10を参照しつつ説明する。本例では、図6の初期基準画像選択方法(光走査の時間軸に基づく初期基準画像選択)が適用されているが、他の初期基準画像選択方法が適用される場合においても同様の処理を実行することができる。
 図9Aの上段の時間軸t及び下段の時間軸はいずれも、本例で実行される光走査(リサジュースキャン)の時間軸である。符号Fは、リサジュースキャンを用いて取得された画像セット(複数のストリップ)を示す。本例では、リサジュースキャンの時間軸tに対して、時系列順に、3個の区間T1、T2、及びT3が設定されている。区間T1に対応する画像群(ストリップ群)から画像選択部225により選択された画像(ストリップ)を符号R1で表し、区間T2に対応する画像群(ストリップ群)から画像選択部225により選択された画像(ストリップ)を符号R2で表し、区間T3に対応する画像群(ストリップ群)から画像選択部225により選択された画像(ストリップ)を符号R3で表す。3つのストリップR1、R2、及びR3は、それぞれ、3回実行される再帰的レジストレーションの初期基準画像(初期基準ストリップ)として用いられる。符号t1は第1の初期基準ストリップR1に対応する時間を示し、符号t2は第2の初期基準ストリップR2に対応する時間を示し、符号t3は第3の初期基準ストリップR3に対応する時間を示す。
 図9Aの下段の座標系は、リサジュースキャンの時間軸tと、ラテラル方向の位置ずれ量(シフト量)を示す座標軸ΔXとにより張られている。図9Aのラテラル方向シフト量ΔXは、ベクトル量でもよいし、スカラー量でもよい。ベクトル量ΔXは、例えば、x方向のシフト量とy方向のシフト量とを含む:ΔX=(Δx、Δy)。スカラー量ΔXは、例えば、x方向のシフト量(ΔX=Δx)、y方向のシフト量(ΔX=Δy)、又は、xy平面上の任意方向におけるシフト量であってよい。以下、ΔXはベクトル量ΔX=(Δx、Δy)である場合について説明するが、ΔXが他のベクトル量又はスカラー量である場合においても同様の処理を行うことができる。
 図9Aには、このような座標系(t、ΔX)で表現された3つのグラフG1、G2、及びG3が示されている。第1のグラフG1は、第1の初期基準ストリップR1を起点として実行された第1の再帰的レジストレーションで求められた各ストリップのxy方向シフト量(xy方向シフト量データ集合、相対位置情報)を表している。第2のグラフG2は、第2の初期基準ストリップR2を起点として実行された第2の再帰的レジストレーションで求められた各ストリップのxy方向シフト量(xy方向シフト量データ集合、相対位置情報)を表している。第3のグラフG3は、第3の初期基準ストリップR3を起点として実行された第3の再帰的レジストレーションで求められた各ストリップのxy方向シフト量(xy方向シフト量データ集合、相対位置情報)を表している。
 本例では、以上に説明したデータがシフト量記録部233から調整量算出部234に入力される。本例の調整量算出部234は、まず、3つのグラフG1~G3がそれぞれ示すxy方向シフト量を比較可能にするために、3つのグラフG1~G3のxy方向シフト量ΔXを整列する処理を実行する。
 例えば、調整量算出部234は、次式によって3つのグラフG1~G3のxy方向シフト量ΔXを整列する:ΔX´ (R(n+1))=ΔX (R(n+1))+ΔX´R(n+1) (Rn)。ここで:ΔXは、整列前のxy方向シフト量ベクトルΔX=(Δx、Δy)を示す;ΔX´は、整列後のxy方向シフト量ベクトルΔX´=(Δx´、Δy´)を示す;iは、前述した個別識別子に基づくストリップのインデックスを示す;Rnは、リサジュースキャンの時間軸tに設定された区間Tn(n=1、2、3)に対応するストリップ群から画像選択部225により選択されたストリップを示す。
 図9Bは、第1のグラフG1と第2のグラフG2とを整列する処理の態様を表している。この整列処理では、調整量算出部234は、まず、時間t2における第1のグラフG1のxy方向シフト量に対する、時間t2における第2のグラフG2のxy方向シフト量の差分(差分ベクトル、ベクトル差)を求める。更に、調整量算出部234は、算出された差分だけ、第2のグラフG2をΔX軸方向に移動する。この整列処理は、時間t2における第1のグラフG1と第2のグラフG2との差分をキャンセルするように第2のグラフG2をΔX軸方向に平行移動するものである。第1のグラフG1に対して整列された第2のグラフG2を符号G2´で示す。
 同様に、図9Cは、第1のグラフG1に対して整列された第2のグラフG2´と、第3のグラフG3とを整列する処理の態様を表している。この整列処理では、調整量算出部234は、まず、時間t3における第2のグラフG2´のxy方向シフト量に対する、時間t3における第3のグラフG3のxy方向シフト量の差分(差分ベクトル、ベクトル差)を求める。更に、調整量算出部234は、算出された差分だけ、第3のグラフG3をΔX軸方向に移動する。この整列処理は、時間t3における第2のグラフG2´と第3のグラフG3との差分をキャンセルするように第3のグラフG3をΔX軸方向に平行移動するものである。第2のグラフG2´に対して整列された第3のグラフG3を符号G3´で示す。
 これにより、図9Dに示す3つのグラフG1、G2´、及びG3´が得られる。なお、複数のグラフを比較可能にするための整列処理は上記の例に限定されず、任意であってよい。例えば、複数のグラフのうちの1つのグラフに対して他の全てのグラフを合わせるようにしてもよい。また、整列処理を行うことなく複数のグラフの比較を行うようにアルゴリズムを構成してもよい。
 更に、本例の調整量算出部234は、任意の第i番目のストリップについて、この第i番目のストリップのxy方向シフト量と、他の第i番目のストリップのxy方向シフト量との間の幾何学的距離の総和が最小となる初期基準ストリップを最適な初期基準ストリップとして選択し、この最適な初期基準ストリップに基づく再帰的レジストレーションで得られたxy方向シフト量を第i番目のストリップのxy方向シフト量に指定するように構成されていてよい。
 換言すると、本例の調整量算出部234は、第i番目のストリップについて算出された3つのxy方向シフト量ベクトルのうちから、他の2つのxy方向シフト量ベクトルとの間の幾何学的距離の和が最小となるようなxy方向シフト量ベクトルを選択し、選択されたxy方向シフト量ベクトルをこの第i番目のストリップの最適なxy方向シフト量ベクトルとして採用するものであってよい。
 このような演算は、例えば次式のように表現される(図10を参照):ΔX´=ΔX´ (R´i);R´=argminRj[ΣRj≠Rk{ΔX´ (Rk)-ΔX´ (Rj)]。ここで、和Σは、Rj以外のRk(Rj≠Rk)にわたって演算され、且つ、最小点集合argmin(argument of the minimum)は、Rjにわたって演算される。また、ΔX´ (Rk)-ΔX´ (Rj)は、2つの第i番目のストリップの間におけるxy方向の位置ずれ量を示すベクトルに相当する。
 ここではラテラル方向(xy方向)の調整量の算出について説明したが、アキシャル方向(z方向)の調整量についても同じ要領で算出することができる。また、ここでは各々のストリップについて独立に最適シフト量を求めているが、時間的又は空間的に近くに位置するストリップの情報を用いて最適シフト量を決定することも可能である。例えば、第i番目のストリップについての演算において、第i-1番目のストリップに関する情報及び第i+1番目のストリップに関する情報を利用することが可能である。
 このように、本例の処理は、複数の初期基準画像を用いて複数回の再帰的レジストレーションを実行し、これらの再帰的レジストレーションで得られた複数のシフト量データから各ストリップの最適なシフト量を選択する。これは、単一の初期基準画像を用いて1回の再帰的レジストレーションを実行する従来の手法とは異なるものである。更に、本例における整列処理や最適初期基準画像選択処理は、従来の手法には無い、本実施形態に特有の新規な技術である。
<画像データ補正部235>
 画像データ補正部235は、調整量算出部234により求められた調整量に少なくとも基づいて、画像セットに含まれる複数の画像の相対位置調整を実行するように構成されている。
 例えば、図4Cに示す態様の画像データ補正部235は、画像セットに含まれる複数のストリップのラテラル方向(xy方向)における相対位置調整を、調整量算出部234により求められた各ストリップのラテラル方向の調整量(xy方向シフト量)に基づき実行するとともに、これら複数のストリップに対応する複数のサブボリュームのアキシャル方向(z方向)における相対位置調整を、zシフト量算出部232により求められた各サブボリュームのz方向シフト量に基づき実行する。
 なお、調整量算出部234がアキシャル方向の調整量を求めるように構成された態様においては、画像データ補正部235は、画像セットに含まれる複数のストリップのラテラル方向における相対位置調整を、調整量算出部234により求められた各ストリップのラテラル方向の調整量に基づき実行するとともに、これら複数のストリップに対応する複数のサブボリュームのアキシャル方向における相対位置調整を、調整量算出部234により求められた各サブボリュームのアキシャル方向の調整量に基づき実行することができる。
 zシフト量算出部232により求められたz方向シフト量に基づく複数のサブボリュームのアキシャル方向の相対位置調整について説明する。xy方向シフト量に基づくレジストレーションを実行するレジストレーション部2317と同様に、画像データ補正部235は、zシフト量算出部232により取得された対応するz方向シフト量を打ち消すように、基準サブボリュームと対象サブボリュームとの間のレジストレーションを実行する。
 幾つかの例示的な態様では、画像データ補正部235は、対応するz方向シフト量が閾値を超える場合にのみ、基準サブボリュームと対象サブボリュームとの間のレジストレーションを実行するように制御されてよい。
 画像データ補正部235による位置調整の結果として得られる画像セットは、x方向、y方向、及びz方向の全てにおいてレジストレーション(相対位置調整)がなされたサブボリューム群、つまり、3次元的レジストレーションがなされたサブボリューム群である。このようなレジストレーションを適用する前のサブボリューム群は、リサジュースキャンで収集されたボリュームである。データ処理部230は、3次元的レジストレーションにより得られたサブボリューム群を再合成することによって、3次元的レジストレーションが適用されたボリュームが得られる。
 3次元的レジストレーションが適用されたデータセットを、任意の処理(画像処理、後処理、解析、評価、可視化、レンダリングなど)に利用することができる。これにより、従来よりも高い正確度及び高い精度でモーションアーティファクトが補正された3次元データセットを用いて所望の処理を実行することが可能になる。
 なお、zシフト量算出部232及び画像データ補正部235は、z方向のモーションアーティファクトを除去するために、非特許文献1の「axial motion correction (rough axial motion correction 及び/又は fine axial motion correction)」(第1789頁~第1790頁)に相当するレジストレーションを実行するように構成されてもよい。
<ユーザーインターフェイス240>
 ユーザーインターフェイス240は表示部241と操作部242とを含む。表示部241は表示装置3を含む。操作部242は各種の操作デバイスや入力デバイスを含む。ユーザーインターフェイス240は、例えばタッチパネルのような表示機能と操作機能とが一体となったデバイスを含んでいてもよい。ユーザーインターフェイス240の少なくとも一部を含まない実施形態を構築することも可能である。例えば、表示デバイスは、眼科検査装置1に接続された外部装置であってよい。
<データ受付部250>
 データ受付部250は、外部装置からデータを取得する。この外部装置は、例えば、コンピュータ、記憶装置、記録媒体、情報システム(例えば、病院情報システム、電子カルテシステム、画像アーカイビングシステム)などであってよい。また、外部装置は、例えば、眼科検査装置1に直接に接続された装置、ローカルエリアネットワーク(LAN)を介して眼科検査装置1に接続された装置、ワイドエリアネットワーク(WAN)を介して眼科検査装置1に接続された装置などであってよい。
 データ受付部250は、例えば、通信インターフェイス、ドライブ装置などを含んでいてもよい。また、データ受付部250は、紙葉類に記録されたデータを読み取るためのスキャナを含んでいてもよい。また、データ受付部250は、ユーザーがデータを入力するための入力デバイスを含んでいてもよい。入力デバイスは、キーボード、ペンタブレットなどであってよい。
<動作>
 眼科検査装置1の動作の幾つかの例を説明する。
<第1の動作例>
 第1の動作例では図11に示す動作について説明する。本動作例は、冗長的データ収集に基づき生成された画像セットから複数の初期基準画像を選択し、これらの初期基準画像を用いて複数のレジストレーションによって画像セットの相対位置調整を実行するものである。本動作例において、冗長的データ収集はリサジュースキャンであり、画像セットは一連のストリップ(複数のストリップ)であり、初期基準画像は初期基準ストリップである。
 患者IDの入力、走査モードの設定(リサジュースキャンの指定)、固視標の提示、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備動作が、ステップS1の前に実行される。
(S1:リサジュースキャンによりボリュームを収集する)
 所定の走査開始トリガー信号を受けて、走査制御部2111は、被検眼E(眼底Ef)に対するOCTスキャン(リサジュースキャン)の適用を開始する。走査開始トリガー信号は、例えば、所定の準備動作(アライメント、フォーカス調整、OCT光路長調整など)が完了したことに対応して、又は、操作部242を用いて走査開始指示操作が行われたことに対応して生成される。走査制御部2111は、走査プロトコル2121(リサジュースキャンに対応したプロトコル)に基づいて光スキャナ44及びOCTユニット100などを制御することによってリサジュースキャンを眼底Efに適用する。リサジュースキャンにより収集されたデータセット(ボリューム)は画像データ構築部220に送られる。
(S2:一連のサブボリュームに分割する)
 画像データ構築部220は、ステップS1で収集されたボリュームを一連のサブボリュームに分割する。各サブボリュームは、被検眼Eの動きの影響を受けていないとみなされる。
(S3:一連のストリップを構築する)
 画像データ構築部220は、ステップS2で得られた各サブボリュームの正面プロジェクション画像(ストリップ)を構築する。これにより、ステップS2で生成された一連のサブボリュームから一連のストリップ(画像セット)が構築される。一連のストリップは、データ処理部230に送られる。
(S4:複数の初期基準ストリップを選択する)
 画像選択部225は、ステップS3で構築された一連のストリップから、複数の初期基準ストリップを選択する。この処理は、前述したいずれかの初期基準画像選択方法を用いて実行される。
(S5:複数の再帰的レジストレーションを実行する)
 画像データ処理部231は、ステップS4で選択された複数の初期基準ストリップをそれぞれ基準とした複数の再帰的レジストレーションを一連のストリップに適用する。1つの初期基準ストリップに基づく再帰的レジストレーションにより、一連のストリップについて1つのxy方向シフト量データ集合(相対位置情報)が生成される。複数の初期基準ストリップのそれぞれに基づき再帰的レジストレーションを実行することにより、一連のストリップについて、複数のxy方向シフト量データ集合(複数の相対位置情報)が生成される。
(S6:一連のストリップの相対位置調整量を算出する)
 画像データ処理部231は、ステップS5で生成された複数の相対位置情報に基づいて、一連のストリップの相対位置調整(モーションアーティファクト補正、特にxy方向のモーションアーティファクト補正)のための調整量を算出する。この処理は、前述したいずれかの相対位置調整量算出方法を用いて実行される。
(S7:一連のストリップの相対位置調整を実行する)
 画像データ処理部231は、ステップS6で算出された調整量に基づいて一連のストリップの相対位置調整を実行する。本ステップでは、ラテラル方向(xy方向)における相対位置調整が実行される。本ステップにおいて、更に、非特許文献1の「fine lateral motion correction」と同様の処理を実行してもよい。
(S8:一連のサブボリュームの相対位置調整を実行する)
 画像データ処理部231は、ステップS2で生成された一連のサブボリュームの相対位置調整を実行する。この相対位置調整は、ラテラル方向(xy方向)の相対位置調整と、アキシャル方向(z方向)の相対位置調整とが含まれる。ラテラル方向の相対位置調整には、ステップS7で実行された一連のストリップの相対位置調整の結果が利用される。また、アキシャル方向(z方向)の相対位置調整は、非特許文献1の「axial motion correction (rough axial motion correction 及び/又は fine axial motion correction)」に相当する処理であってよい。
 以上で、本動作例に係る処理は終了となる(エンド)。
<第2の動作例>
 第2の動作例では図12に示す動作について説明する。本動作例は、第1の動作例のステップS4~S7の処理の1つの例を提供するものである。本動作例のステップS11の処理は第1の動作例のステップS3の処理に続いて実行され、且つ、本動作例のステップS20の処理の後に第1の動作例のステップS8の処理が実行される。
 本動作例では、冗長的データ収集で得られた画像セットを時間的に分割する場合の例を説明するが、画像セットを空間的に分割する場合又は他の分割方法が適用される場合においても本動作例に係る処理と同様の処理を実行することができる。
(S11:一連のストリップをK個のストリップ群に分ける)
 例えば図6を参照して説明した処理と同じ要領で、画像選択部225は、ステップS3で構築された一連のストリップをK個のストリップ群に分ける(Kは2以上の整数)。
(S12:各ストリップ群から初期基準ストリップを選択する)
 次に、画像選択部225は、ステップS11で生成されたK個のストリップ群のそれぞれから初期基準ストリップを選択する。本例では、各ストリップ群から初期基準ストリップが1つずつ選択されるものとするが、いずれかのストリップ群から2つ以上の初期基準ストリップを選択してもよいし、いずれかのストリップ群から初期基準ストリップを選択しなくてもよい。
(S13:レジストレーションを開始する(k=1))
 画像データ処理部231は、ステップS12で選択された複数の初期基準ストリップをそれぞれ基準とした複数のレジストレーションを開始する。
 K個の初期基準ストリップのインデックスをkで表す(k=1、2、・・・、K)。インデックスkは、複数の初期基準ストリップに対して任意の順序で付されている。例えば、インデックスkは、時間軸に応じた順序で付されてもよいし(図9A~図9Dを参照)、ストリップのサイズに応じた順序で付されてもよいし、他の情報に応じた順序で付されてもよい。
 本動作例では、K個の初期基準ストリップに基づくK回のレジストレーションをインデックスk=1~Kに応じた順序で逐次に実行する場合について説明する(以下のステップS14~S16を参照)。しかし、K個の初期基準ストリップに基づくK回のレジストレーションの実行順序は、インデックスkに応じた順序に限定されるものではなく、任意の順序であってよい。
 幾つかの例示的な態様では、K個の初期基準ストリップに基づくK回のレジストレーションのうちの少なくとも2回のレジストレーションを、少なくとも部分的に並行して実行してもよい。例えば、K回のレジストレーションのうちの第1及び第2のレジストレーションについて、第1のレジストレーションの実行時間の少なくとも一部と第2のレジストレーションの実行時間の少なくとも一部とが時間的に互いに重複するように、第1のレジストレーションと第2のレジストレーションとを並行して実行することができる。
(S14:k=K?)
 処理対象の初期基準ストリップのインデックスkがKに等しくない場合(S14:No)、つまり、処理対象の初期基準ストリップのインデックスkがK未満である場合(k<K)、処理はステップS15に移行する。一方、処理対象の初期基準ストリップのインデックスkがKに等しい場合(S14:Yes)、処理はステップS17に移行する。
(S15:第kの初期基準ストリップによる再帰的レジストレーションを実行する)
 ステップ14で「No」と判断された場合、画像データ処理部231(マスク画像生成部2311、範囲調整部2312、合成画像生成部2313、相互相関関数算出部2314、相関係数算出部2315、xyシフト量算出部2316、レジストレーション部2317、及びマージ処理部2318)は、第kの初期基準ストリップを基準とした再帰的レジストレーションを実行する。
 第kの初期基準ストリップを基準とした再帰的レジストレーションにおける反復処理の各段階でxyシフト量算出部2316により算出されたxy方向シフト量データは、付帯情報とともにシフト量記録部233に送られて記録される。この付帯情報には、例えば、第kの初期基準ストリップに対応する識別子(前述の共通識別子)と、そのxy方向シフト量データの識別子(前述の個別識別子)とが含まれる。この個別識別子は、例えば、そのxy方向シフト量データが取得された段階のレジストレーションにおける対象ストリップの識別子(又は、対象ストリップの識別子と互換な識別子)であってよい。
(S16:k=k+1)
 第kの初期基準ストリップに基づく再帰的レジストレーション(ステップS15)が完了したら、第k+1の初期基準ストリップを基準とした再帰的レジストレーションに移行する。
 ステップS14~S16の処理をステップS14で「Yes」と判定されるまで繰り返し実行することによって、ステップS12で選択されたK個の初期基準ストリップをそれぞれ基準とした複数の再帰的レジストレーションが実行され、K個のxy方向シフト量データ集合(K個の相対位置情報)が得られ、シフト量記録部233に記録される。
 各xy方向シフト量データ集合の各要素(各xy方向シフト量データ)には、そのxy方向シフト量データ集合を生成した再帰的レジストレーションにおける初期基準ストリップに対応する共通識別子と、その要素の個別識別子とが付帯されている。また、K個のxy方向シフト量データ集合(K個の相対位置情報)のそれぞれには、一連のストリップにおける各ストリップのxy方向シフト量データが含まれている。換言すると、シフト量記録部233には、ステップS3で構築された各ストリップについて、K個のxy方向シフト量データが記録されている。
(S17:K個のxy方向シフト量データ集合の相対的位置合わせを実行する)
 次に、例えば図9A~図9Dを参照して説明した処理と同じ要領で、調整量算出部234が、ステップS14~S16の複数の再帰的レジストレーションで生成されたK個のxy方向シフト量データ集合(相対位置情報)の相対的位置合わせを実行する。
(S18:各ストリップの最適なxy方向シフト量を決定する)
 続いて、調整量算出部234は、ステップS17の位置合わせが施されたK個のxy方向シフト量データ集合に基づいて、一連のストリップにおける各ストリップの最適なxy方向シフト量を決定する。
 例えば、一連のストリップにおける各ストリップについて、調整量算出部234は、まず、そのストリップに対応するxy方向シフト量データをK個のxy方向シフト量データ集合のそれぞれから抽出する。次に、調整量算出部234は、図10を参照して説明した処理と同じ要領で、抽出されたK個のxy方向シフト量データのうちから、そのストリップの最適なxy方向シフト量を選択する。これにより、一連のストリップの全てについて、最適なxy方向シフト量が得られる。なお、K個のxy方向シフト量データから最適な1つを選択する方法はこれに限定されない。
 また、各ストリップの最適なxy方向シフト量を決定する処理は、K個のxy方向シフト量データから最適な1つを選択する処理に限定されない。例えば、K個のxy方向シフト量データに所定の統計演算を適用して得られた統計量又はこの統計量から算出された量を、そのストリップの最適なxy方向シフト量として採用してもよい。
 或いは、1つのストリップの最適なxy方向シフト量を決定するために、そのストリップに対応するK個のxy方向シフト量データに加えて又はそれらの代わりに、他のデータを利用してもよい。幾つかの例示的な態様では、そのストリップに対して時間的又は空間的に近くに位置する1以上の他のストリップ(近傍ストリップ)に対応するxy方向シフト量データを利用することができる。例えば、(そのストリップのxy方向シフト量データ及び)近傍ストリップのxy方向シフト量データに対して所定の演算(統計演算、カーブフィッティングなど)を適用することによって、そのストリップの最適なxy方向シフト量を決定することができる。
(S19:一連のストリップの相対位置調整を実行する)
 画像データ補正部235は、一連のストリップのそれぞれについてステップS18で決定された最適なxy方向シフト量に基づいて、一連のストリップの相対位置調整を実行する。この相対位置調整は、ラテラル方向(xy方向)の相対位置調整であり、各ストリップをその最適なxy方向シフト量に相当するベクトルだけ移動することによって行われる。本ステップの相対位置調整は、非特許文献1の「rough lateral motion correction」に相当する処理を、ステップS18で決定された最適なxy方向シフト量に基づき実行するものである。
(S20:一連のストリップの精密な相対位置調整を実行する)
 画像データ補正部235は、ステップS19のラテラル方向の相対位置調整よりも精密なラテラル方向の相対位置調整を更に実行することができる。本ステップの精密な相対位置調整は、非特許文献1の「fine lateral motion correction」に相当する処理であってよい。
 ステップS20が完了したら、図11のステップS8が実行され、本動作例に係る処理は終了となる(エンド)。
<第3の動作例>
 第3の動作例では、図13A及び図13を参照しつつ、図11のステップS5及び図12のステップS15で実行される再帰的レジストレーションの例を説明する。
(S31:基準ストリップと対象ストリップを設定する)
 所与の初期基準ストリップ(図11のステップS4で選択された複数の初期基準ストリップのいずれか1つ)を用いた再帰的レジストレーションでは、まず、データ処理部230が、図11のステップS3で構築された一連のストリップをサイズ(面積など)に従って順序付けする。本例では、一連のストリップの個数をN個(Nは2以上の整数)であるとする。また、本例では、順序付けにより指定された順序に従って、これらN個のストリップを、第1のストリップ、第2のストリップ、・・・、第Nのストリップと呼ぶことにする。また、本例において、第1~第Nのストリップのうちの任意のストリップを第nのストリップと呼ぶことがある(n=1、2、・・・、N)。このように、本例において、第1のストリップは最も大きなストリップであり、第2のストリップは2番目に大きなストリップであり、第nのストリップはn番目に大きなストリップであり、第Nのストリップは最も小さなストリップである。
 所与の初期基準ストリップは第1~第Nのストリップのいずれかである。本例では、所与の初期基準ストリップは第1のストリップであり、且つ、初期対象ストリップは第2のストリップであるとする。なお、所与の初期基準ストリップが第1のストリップでない場合には、所与の初期基準ストリップが初期基準ストリップに設定され、且つ、第1のストリップが初期対象ストリップに設定される。この場合においても本例と同様の再帰的レジストレーションを実行できることは、当業者であれば理解できるであろう。
 基準ストリップ及び対象ストリップは、それぞれ、非特許文献1のAppendix Aにおける任意形状の画像(arbitrary shaped images)f(r)及びg(r)に相当する。
(S32:基準マスク画像と対象マスク画像を設定する)
 マスク画像生成部2311は、基準ストリップに対応するマスク画像(基準マスク画像)と、対象ストリップに対応するマスク画像(対象マスク画像)とを生成する。
 この段階(再帰的レジストレーションにおける第1回目のレジストレーション)では、マスク画像生成部2311は、初期基準ストリップである第1のストリップに対応するマスク画像と、第2のストリップに対応するマスク画像とを生成する。データ処理部230は、第1のストリップに対応する第1のマスク画像を初期基準マスク画像に設定し、第2のストリップに対応する第2のマスク画像を初期対象マスク画像に設定する。
 なお、基準マスク画像及び対象マスク画像は、それぞれ、非特許文献1のAppendix Aにおける矩形状の二値画像マスク(rectangular shaped binary image masks)m(r)及びm(r)に相当する。
(S33:基準ストリップと対象ストリップを正規化する)
 範囲調整部2312は、前述した要領で、ステップS31で設定された基準ストリップと対象ストリップに正規化を施す。ストリップの正規化は、マスク画像の画素値の範囲に応じて行われる。この段階(再帰的レジストレーションにおける第1回目のレジストレーション)においては、範囲調整部2312は、第1のストリップ(基準ストリップ)及び第2のストリップ(対象ストリップ)に正規化を適用する。なお、範囲調整部2312が実行する処理は正規化には限定されず、前述した範囲調整処理のいずれか又はそれに類する処理であってよい。
 本例において、各マスク画像の画素値の範囲は閉区間[0,1]に含まれるものとする。特に、本例の各マスク画像は、対応するストリップの定義域に相当する領域内の画素値が1に設定され且つ他の画素の値が0に設定された二値画像であるものとする。
 範囲調整部2312は、例えば、ストリップの各画素の値をこのストリップにおける最大画素値で除算することにより、又は、ストリップの各画素の値をこのストリップの画素値の範囲(階調範囲)の最大値で除算することにより、このストリップの正規化を行う。
 また、データ処理部230(合成画像生成部2313)は、画素値範囲が正規化されたストリップを、対応するマスク画像と同じサイズ及び同じ形状の画像に埋め込む。正規化された第1のストリップf(r)の埋め込み画像は、非特許文献1のAppendix Aにおける矩形状の画像(rectangular shaped image)f´(r)に類する画像であるが、第1のストリップf(r)の画像エリア内の値域の絶対値(|f(r)|)が1以下に正規化されている。この埋め込み画像を同じくf´(r)と表す。
 同様に、正規化された第2のストリップg(r)の埋め込み画像は、矩形状の画像g´(r)に類する画像であるが、第2のストリップg(r)の画像エリア内の値域の絶対値(|g(r)|)が1以下に正規化されている。この埋め込み画像を同じくg´(r)と表す。
(S34:基準合成画像と対象合成画像を生成する)
 合成画像生成部2313は、正規化されたストリップの埋め込み画像と、対応するマスク画像との合成画像を生成する。
 この段階(再帰的レジストレーションにおける第1回目のレジストレーション)においては、合成画像生成部2313は、正規化された第1のストリップ(初期基準ストリップ)の埋め込み画像と、第1のマスク画像(基準マスク画像)との合成画像を生成し、且つ、正規化された第2のストリップ(初期対象ストリップ)の埋め込み画像と、第2のマスク画像(対象マスク画像)との合成画像を生成する。前者の合成画像を基準合成画像と呼び、後者を対象合成画像と呼ぶ。
 ここで、基準合成画像及び対象合成画像は、それぞれ、非特許文献1のAppendix Aにおける2つの矩形状の画像の組み合わせ(combination of two rectangle shaped images)f´(r)m(r)及びg´(r)m(r)に相当する。ただし、前述したように、第1のストリップf(r)の画像エリア内の値域の絶対値(|f(r)|)は1以下であり、且つ、第2のストリップg(r)の画像エリア内の値域の絶対値(|g(r)|)は1以下である。
 図14Aの画像311は、正規化された第1のストリップf(r)の埋め込み画像f´(r)の例であり、画像321は、第1のマスク画像の例である。これら2つの画像311及び321を組み合わせることによって基準合成画像f´(r)m(r)が得られる。
 同様に、図14Bの画像312は、正規化された第2のストリップg(r)の埋め込み画像g´(r)の例であり、画像322は、第2のマスク画像の例である。これら2つの画像312及び322を組み合わせることによって基準合成画像g´(r)m(r)が得られる。
(S35:複数の相互相関関数を算出する)
 相互相関関数算出部2314は、ステップS34で生成された基準合成画像及び対象合成画像に基づいて複数の相互相関関数を算出する。本例では、相互相関関数算出部2314は、ステップS34で生成された基準合成画像及び対象合成画像に基づいて、非特許文献1の式(33)に含まれる6個の相互相関関数を算出する。
(S36:相関係数を算出する)
 相関係数算出部2315は、ステップS35で算出された複数の相互相関関数に基づいて相関係数を算出する。本例では、相関係数算出部2315は、非特許文献1の式(33)に従って、ステップS35で算出された複数の相互相関関数から相関係数(ρ(r´))を算出する。
(S37:相関係数を記録する)
 シフト量記録部233は、ステップS36で算出された相関係数(ρ(r´))を、次のステップS38で算出されるxy方向シフト量の付帯情報として記録することができる。前述したように、この付帯情報には、xy方向シフト量データの識別子(共通識別子、個別識別子)が含まれる。
(S38:基準ストリップと対象ストリップとの間のxy方向シフト量を算出する)
 xyシフト量算出部2316は、ステップS36で算出された相関係数に基づいて、第1のストリップ(初期基準ストリップ)f(r)と第2のストリップ(初期対象ストリップ)g(r)との間のxy方向シフト量を算出する。本例では、ステップS36で算出された相関係数ρ(r´)のピークを検出することにより、基準ストリップf(r)と対象ストリップg(r)との間の相対的なxy方向シフト量(Δx、Δy)が求められる。
(S39:xy方向シフト量を記録する)
 基準ストリップと対象ストリップとのペアについてステップS38で算出されたxy方向シフト量(xy方向シフト量データ)は、シフト量記録部233によって付帯情報とともに記録される。
(S40:基準ストリップと対象ストリップとの間の相対位置調整を行う)
 レジストレーション部2317は、ステップS38で算出されたxy方向シフト量に基づいて、基準ストリップと対象ストリップとの間の相対位置調整を行う。この相対位置調整は、ラテラル方向(xy方向)の相対位置調整である(rough lateral motion correction)。この段階(再帰的レジストレーションにおける第1回目のレジストレーション)では、第1のストリップf(r)と第2のストリップg(r)との間の相対位置調整が実行される。
 更に、レジストレーション部2317は、前述した「fine lateral motion correction」などの任意のxy方向のレジストレーションを基準ストリップ及び対象ストリップに対して適用してもよい。
(S41:基準ストリップと対象ストリップとのマージ画像を構築する)
 マージ処理部2318は、ステップS40で相対位置調整がなされた基準ストリップと対象ストリップとのマージ画像を構築する。図14Cの画像330は、第1のストリップf(r)と第2のストリップg(r)とのマージ画像の例を示す。
 ここで、ステップS35~S41の処理の実装例を説明する。まず、f´(r)m(r)、g´(r)m(r)、m(r)、m(r)、(f´(r)m(r))、及び(g´(r)m(r))のそれぞれの虚部(imaginary part)を0に設定することによって、実部(real part)のみにする。
 次に、f´(r)m(r)、g´(r)m(r)、m(r)、m(r)、(f´(r)m(r))、及び(g´(r)m(r))のそれぞれの実部に対して高速フーリエ変換(FFT)を適用する。
 次に、これらの高速フーリエ変換で得られた関数群に基づいて、図13AのステップS35に示された6個の相互相関関数を導出する。
 次に、導出された6個の相互相関関数のそれぞれに逆高速フーリエ変換(IFFT)を適用する。
 次に、非特許文献1の式(33)の相関係数ρ(r´)を算出する。
 そして、相関係数ρ(r´)のピーク位置を特定することによって基準ストリップf(r)と対象ストリップg(r)との間の相対的なシフト量(Δx、Δy)を算出し、このシフト量に基づいて基準ストリップf(r)と対象ストリップg(r)との間のレジストレーション及びマージ処理を実行する。
 このような一連の処理をN個のストリップに対して逐次に適用することにより、N個のストリップの全てのマージ画像が得られる。また、各ストリップペアについて求められたxy方向シフト量(Δx、Δy)を時間情報とともに(つまり、時間情報に関連付けて)保存することができる。
(S42:全てのストリップを処理したか?)
 ステップS3で得られた一連のストリップ(N個のストリップ)の全てに対し、前述した順序に従って逐次に、ステップS31~S41の一連の処理が実行される。
 Nが3以上の場合において、ステップS41で第1のストリップと第2のストリップとのマージ画像が作成された場合(S42:No)、処理はステップS31に戻る。
 第2回目のステップS31(再帰的レジストレーションにおける第2回目のレジストレーションのステップS31)では、第1のストリップと第2のストリップとのマージ画像が新たな基準ストリップに設定され、且つ、第3のストリップが新たな対象ストリップに設定される。新たな基準ストリップと新たな対象ストリップに基づきステップS32~S41の処理を実行することによって、新たな基準ストリップと新たな対象ストリップとのxy方向シフト量データや相関係数が生成されて記録されるとともに、新たな基準ストリップと新たな対象ストリップとのマージ画像が得られる。この新たなマージ画像は、第1~第3のストリップのマージ画像である。
 このような一連の処理をN個のストリップに対して逐次に適用することにより、N個のストリップの全てのマージ画像が得られる。
 ステップS3で得られた一連のストリップの全ての処理が完了したら(S42:Yes)、次の初期基準ストリップに基づく再帰的レジストレーションに移行する(図12のステップS16)。
<変形例>
 上記した実施形態に係る眼科検査装置1の変形例について説明する。上記した例示的な態様では、冗長的データ収集で取得されたデータセットから構築された画像セットから複数の初期基準画像を選択するために画像サイズを参照しており、主に、リサジュースキャンを用いて得られた複数のストリップ(一連のストリップ)の複数のサブセットのそれぞれから最大面積の初期基準ストリップを選択し、ストリップ間の相関係数を利用して複数のレジストレーションを実行している。
 このように相関係数を利用する場合において、初期基準画像に対する相関係数が小さいデータ(Aライン、サイクル、ストリップなど)を廃棄してモーションアーティファクト補正を実行することができる。相関が低いことを理由として廃棄されるデータの量は、初期基準画像の選択に依存している。すなわち、或る初期基準画像を起点とした再帰的レジストレーションでは比較的多量のデータが廃棄される一方、別の初期基準画像を起点とした再帰的レジストレーションでは比較的少数のデータしか廃棄されないことがある。特に、サイズが大きい初期基準画像を採用すれば廃棄データ量が少なくなるとも限らない。
 本変形例は、発明者らが見出したこのような知見に基づくものであり、廃棄データ量が少なくなるように初期基準画像の選択を行うものである。より具体的には、本変形例は、サイズが大きい画像から順に廃棄データ量の評価(例えば、廃棄データ量が所定の閾値未満であるか否かの判定)を行うことによって、できるだけサイズが大きく且つできるだけ廃棄データ量が少なくなる画像を初期基準画像として選択するものである。
 本変形例に係る処理は、例えば以下のような複数の工程を含む。まず、本例は、図11の動作例と同様に、リサジュースキャンによりボリュームを収集し、一連のサブボリュームに分割し、一連のストリップを構築する。次に、本例は、図12の動作例と同様に、一連のストリップを複数のストリップ群に分ける。
 次に、本例は、各ストリップ群に含まれる複数のストリップに対して、サイズ(面積)が大きい順に順序付けを行う。これら複数のストリップを、この順序付けで付された順序にしたがって、第1のストリップ、第2のストリップ、・・・と呼ぶことにする。
 次に、本例は、第1のストリップを基準として再帰的レジストレーション(非特許文献1の「rough lateral motion correction」)を実行し、それにより得られた画像におけるAラインの使用率を算出する。
 Aライン使用率は、例えば、その画像の構築に使用されたAラインの個数(換言すると、その画像に含まれるAラインの個数、更に換言すると、再帰的レジストレーションの過程で廃棄されなかったAラインの個数)を、元のボリュームにおけるAラインの個数で除算した商の値であってよい。このAライン使用率は、所定の閾値以上の相関係数の値を有するAラインの個数を、Aラインの総数で除算した商の値に等しい。よって、図13A及び図13Bの動作例のように相関係数の記録を行う場合には、再帰的レジストレーションにおいて記録された複数の相関係数に基づいてAライン使用率を算出することができる。なお、評価に用いられる指標はAライン使用率に限定されず、Aライン使用率と同値な値(例えば、Aライン不使用率)、サイクルの使用率又は不使用率、ストリップの使用率又は不使用率などであってもよい。
 本例は、第1のストリップにおけるAライン使用率が所定の閾値以上である場合、このストリップ群から選択される初期基準ストリップとして第1のストリップを指定する。他方、第1のストリップにおけるAライン使用率が所定の閾値未満である場合、本例は、次にサイズが大きい第2のストリップの処理に移行する。
 更に、本例は、第1のストリップの処理と同じ処理を第2のストリップに対して適用する。このように、サイズの大きさの順にストリップにおけるAライン使用率を評価することにより、サイズ及びAライン使用率の双方を考慮した初期基準画像の選択が可能になる。
 なお、ストリップ群の少なくとも一部のストリップのAライン使用率を算出し、Aライン使用率が最大のストリップを初期基準ストリップに指定するようにしてもよい。このとき、所定の閾値以上のサイズを有する1つ以上のストリップをストリップ群から抽出し、抽出された1つ以上のストリップのうちAライン使用率が最大のストリップを初期基準ストリップに指定するようにしてもよい。
<効果>
 本実施形態に係る眼科検査装置1の幾つかの効果について説明する。
 眼科検査装置1は、光走査を用いてサンプルのイメージングを行う走査型イメージング装置であって、その機能要素として、データセット取得部と、画像セット生成部と、画像選択部と、画像位置調整部とを含む。
 データセット取得部は、光走査によりサンプルのデータを冗長的に収集してデータセットを取得するように構成されている。本実施形態において、データセット取得部は光スキャナ44、OCTユニット100、及び制御部210を含んでいてよく、光走査はリサジュースキャンであってよいが、これらは非限定的な例である。
 画像セット生成部は、データセット取得部により取得されたデータセットに基づいて画像セットを生成するように構成されている。生成される画像セットは、位置的冗長性を有する複数の画像である。本実施形態において、画像セット生成部は画像データ構築部220を含んでいてよく、画像セットは複数のストリップ(一連のストリップ)や複数のサブボリューム(一連のサブボリューム)であってよいが、これらは非限定的な例である。
 画像選択部は、画像セット生成部により生成された画像セットから複数の画像を選択する。選択される複数の画像は初期基準画像として用いられる。本実施形態において、画像選択部は画像選択部225を含んでいてよく、画像セットから選択される複数の画像は複数の初期基準ストリップであってよいが、これらは非限定的な例である。
 画像位置調整量は、画像選択部により画像セットから選択された複数の画像をそれぞれ基準とした複数のレジストレーションをこの画像セットに適用することによって、この画像セットの相対位置調整を実行するように構成されている。本実施形態において、画像位置調整部は画像データ処理部231を含んでいてよく、レジストレーションは相関係数を用いた再帰的レジストレーションであってよいが、これらは非限定的な例である。
 前述したように、従来の技術では、単一の初期基準画像のみを使用してレジストレーションを行っているため、初期基準画像の選択が最終画像の品質に悪影響を与えるケースがあったが、本実施形態によれば、複数の初期基準画像を使用して複数のレジストレーションを行うことによってこの問題を解消し、モーションアーティファクト補正の誤差の低減を図ることができ、モーションアーティファクト補正の向上を図ることが可能になる。
 本実施形態に係る眼科検査装置1は、更に、次のような非限定的な特徴(非限定的な機能、非限定的な構成など)を有している。これらの非限定的特徴が、モーションアーティファクト補正の更なる向上に寄与するものであり、また、非限定的特徴それぞれに応じた作用及び効果を奏するものであることは、当業者であれば理解できるであろう。なお、本実施形態に係る眼科検査装置1の特徴は以下の事項に限定されるものではない。
 画像位置調整部は、画像セット生成部により生成された画像セットに対して複数のレジストレーションを適用することによって、この画像セットの複数の相対位置情報を生成するように構成されていてよい。相対位置情報は、この画像セットに含まれる複数の画像の間の相対位置関係を表す情報である。更に、画像位置調整部は、生成された複数の相対位置情報に基づいてこの画像セットの相対位置調整を実行するように構成されていてよい。
 画像位置調整部は、複数のレジストレーションのそれぞれにおいて、画像選択部により選択された複数の画像の1つを初期基準画像としてこの画像セットに再帰的なレジストレーションを適用することによって、この画像セットの相対位置情報を生成するように構成されていてよい。
 画像位置調整部は、複数のレジストレーションで生成された複数の相対位置情報に基づいて、この画像セットの相対位置調整のための調整量を決定するように構成されていてよい。この調整量は、例えば、この画像セットに含まれる各画像の尤もらしい位置ずれ量(最適な位置補正量)であってよい。
 画像選択部は、データセット取得部により実行される光走査の時間軸に基づいて、画像セット生成部により生成された画像セットから複数の画像を選択するように構成されていてよい。
 画像選択部は、画像セット生成部により生成された画像セットを、データセット取得部により実行される光走査の時間軸の複数の区間に対応する複数のサブセットに分割するように構成されていてよい。更に、画像選択部は、得られた複数のサブセットのそれぞれから画像を選択することによって、この画像セットから複数の画像を選択するように構成されていてよい。
 画像選択部は、データセット取得部により実行される光走査の適用エリアに基づいて、画像セット生成部により生成された画像セットから複数の画像を選択するように構成されていてよい。
 画像選択部は、画像セット生成部により生成された画像セットを、データセット取得部により実行される光走査の適用エリアの複数のサブエリアに対応する複数のサブセットに分割するように構成されていてよい。更に、画像選択部は、得られた複数のサブセットのそれぞれから画像を選択することによって、この画像セットから複数の画像を選択するように構成されていてよい。
 画像選択部は、画像サイズに基づいて複数のサブセットのそれぞれから画像を選択するように構成されていてよい。
 画像選択部は、複数のサブセットのそれぞれから、そのサブセットにおける最大サイズの画像を選択するように構成されていてよい。
 画像選択部は、複数のサブセットのそれぞれについて、そのサブセットに含まれる画像(そのサブセットに含まれる一部の画像又は全部の画像)に対して、画像サイズに基づく順序付けを行うように構成されていてよい。更に、画像選択部は、複数のサブセットのそれぞれから、そのサブセットにおける画像に対して順序付けにより付された順序に基づいて画像を選択するように構成されていてよい。
 画像選択部は、複数のサブセットのうちの第1サブセットから選択された第1画像を基準としたレジストレーションの成否を判定するように構成されていてよい。更に、画像選択部は、第1画像を基準としたレジストレーションは失敗であると判定された場合に、この第1サブセットにおける画像に対して順序付けにより付された順序に基づいて第1サブセットから第2画像を選択するように構成されていてよい。ここで、第2画像は第1画像とは異なる画像である。
 画像選択部は、画像セットに含まれる画像(その画像セットに含まれる一部の画像又は全部の画像)に対して画像サイズに基づく順序付けを行うように構成されていてよい。更に、画像選択部は、この順序付けにより画像に付された順序に基づいて、この画像セットから複数の画像を選択するように構成されていてよい。
 画像選択部は、画像セットから選択された複数の画像のうちの一の画像を基準としたレジストレーションの成否を判定するように構成されていてよい。更に、画像選択部は、この一の画像を基準としたレジストレーションは失敗であると判定された場合に、この画像セットにおける画像に対して順序付けにより付された順序に基づいてこの画像セットから上記複数の画像のいずれとも異なる画像を新たに選択するように構成されていてよい。
 本実施形態に係る眼科検査装置1は、運動情報生成部を更に含んでいてよい。運動情報生成部は、データセット取得部によって光走査がサンプルに適用されているときのサンプルの運動を表す運動情報を生成するように構成されている。本実施形態において、運動情報生成部は、データ処理部230を含んでいてよく、眼底カメラユニット2を含んでいてよく、及び/又は、前眼部カメラを含んでいてよいが、これらは非限定的な例である。更に、画像選択部は、運動情報生成部により生成された運動情報に基づいて画像セットから複数の画像を選択するように構成されていてよい。
 画像選択部は、運動情報生成部により生成された運動情報から所定の運動パラメータの値を算出し、算出された値を評価し、この評価の結果に基づいて画像セットから複数の画像を選択するように構成されていてよい。
 画像選択部により値が算出される運動パラメータは、運動の大きさ及び頻度の少なくとも一方を含んでいてよい。更に、画像選択部は、この運動パラメータの値を所定の閾値と比較し、この閾値以上の値に対応する期間に収集されたデータに基づく画像を画像セットから除外したサブセットから複数の画像を選択するように構成されていてよい。ここで、閾値以上の値に対応する期間は、大きさや頻度が閾値以上である運動が発生した時点の付近の期間であってよいが、これは非限定的な例である。
 データセット取得部は、光走査のための光を互いに異なる第1方向及び第2方向に偏向可能な偏向器を含んでいてよい。本実施形態において、この偏向器は光スキャナ44であるが、これは非限定的な例である。更に、サンプルのデータを冗長的に収集するための光走査を実行するために、データセット取得部は、第1方向における偏向方向の変化を第1周期で繰り返しつつ、第2方向における偏向方向の変化を前記第1周期と異なる第2周期で繰り返すように構成されていてよい。
<第2の実施形態>
 第2の実施形態について説明する。第1の実施形態では、光走査を実行可能に構成された走査型イメージング装置について説明したが、本実施形態では、光走査により収集されたデータセットを外部から受け付けてこれを処理するように構成された情報処理装置について説明する。
 本実施形態の情報処理装置は、走査型イメージング装置の一部として構成されていてもよいが、そのような構成は第1の実施形態と実質的に同一の構成であるから、そのような場合は除外して以下の説明を行う。
 本実施形態の情報処理装置は、光走査を実行する機能要素(第1~第6の実施形態におけるデータセット取得部)を有していないことを除いて、第1の実施形態に係る走査型イメージング装置(眼科検査装置)と同様の構成を備えていてもよい。
 第1の実施形態において説明された任意の事項を本実施形態の情報処理装置に組み合わせることが可能である。情報処理装置は、組み合わせられた事項に応じた作用及び効果を奏する。
 本実施形態の情報処理装置の例示的な態様の構成を図15に示す。本態様の情報処理装置400は、受付部401と、画像セット生成部402と、画像選択部403と、画像位置調整部404とを含んでいる。
 受付部401は、光走査によりサンプルからデータを冗長的に収集して取得されたデータセットを受け付ける(データセット受付部)。すなわち、受付部401は、リサジュースキャンなどの光走査を実行可能な走査型イメージング装置によってサンプルから収集されたデータセットを受け付ける。
 受付部401は、外部装置からデータを取得する機能を有する。この外部装置は、例えば、コンピュータ、記憶装置、記録媒体、情報システム(例えば、病院情報システム、電子カルテシステム、画像アーカイビングシステム)などであってよい。また、外部装置は、例えば、情報処理装置400に直接に接続された装置、ローカルエリアネットワーク(LAN)を介して情報処理装置400に接続された装置、ワイドエリアネットワーク(WAN)を介して情報処理装置400に接続された装置などであってよい。受付部401は、例えば、通信回線を介してデータ通信を行うための通信インターフェイス、及び/又は、記録媒体からデータを読み取るためのドライブ装置を含んでいてもよい。
 画像セット生成部402は、受付部401により受け付けられたデータセットに基づいて画像セットを生成するように構成されている。画像セット生成部402は、第1の実施形態の画像セット生成部(画像データ構築部220)と同様の構成を有していてよい。
 画像選択部403は、画像セット生成部402により生成された画像セットから複数の画像を選択するように構成されている。画像選択部403は、第1の実施形態の画像選択部225と同様の構成を有していてよい。
 画像位置調整部404は、画像選択部403により選択された複数の画像をそれぞれ基準とした複数のレジストレーションを、画像セット生成部402により生成された画像セットに適用することによって、この画像セットの相対位置調整を実行するように構成されている。画像位置調整部404は、第1の実施形態の画像位置調整部(画像データ処理部231)と同様の構成を有していてよい。
 このような情報処理装置400によれば、第1の実施形態と同様に、モーションアーティファクト補正の誤差の低減を図ることができ、モーションアーティファクト補正の向上を図ることが可能になる。
 本実施形態の情報処理装置の他の例示的な態様の構成を図16に示す。本態様の情報処理装置500は、受付部501と、画像選択部502と、画像位置調整部503とを含んでいる。
 受付部501は、光走査によりサンプルからデータを冗長的に収集して取得されたデータセットに基づいて生成された画像セットを受け付ける(画像セット受付部)。すなわち、受付部501は、リサジュースキャンなどの光走査を実行可能な走査型イメージング装置によってサンプルから収集されたデータセットから構築された画像セットを受け付ける。受付部501は、前述の受付部401と同様の構成を有していてよい。
 画像選択部502は、受付部501により受け付けられた画像セットから複数の画像を選択するように構成されている。画像選択部502は、第1の実施形態の画像選択部225と同様の構成を有していてよい。
 画像位置調整部503は、画像選択部502により選択された複数の画像をそれぞれ基準とした複数のレジストレーションを、受付部501により受け付けられた画像セットに適用することによって、この画像セットの相対位置調整を実行するように構成されている。画像位置調整部503は、第1の実施形態の画像位置調整部(画像データ処理部231)と同様の構成を有していてよい。
 このような情報処理装置500によれば、第1の実施形態と同様に、モーションアーティファクト補正の誤差の低減を図ることができ、モーションアーティファクト補正の向上を図ることが可能になる。
<他の実施形態>
 本開示に係る実施形態は、第1及び第2の実施形態及びそれらの変形例に限定されない。例えば、第1及び第2の実施形態は、各種の方法に係る実施形態、各種のプログラムに係る実施形態、各種の記録媒体に係る実施形態などを提供するものである。
 例えば、前述した第1の実施形態は、走査型イメージング装置を制御する方法の実施形態を提供する。この実施形態は、プロセッサと、光走査を行うスキャナとを含む走査型イメージング装置を制御する方法である。このスキャナは第1の実施形態のデータセット取得部であってよく、このプロセッサは第1の実施形態の制御部210、画像データ構築部220、及びデータ処理部230であってよい。
 本実施形態に係る走査型イメージング装置の制御方法は、次の4つの工程を含んでいてよい。第1工程の制御は、スキャナに、サンプルのデータを冗長的に収集させてデータセットを取得させる。第2工程の制御は、プロセッサに、第1工程で取得されたデータセットに基づいて画像セットを生成させる。第3工程の制御は、プロセッサに、第2工程で生成された画像セットから複数の画像を選択させる。第4工程の制御は、プロセッサに、第3工程で選択された複数の画像をそれぞれ基準とした複数のレジストレーションを、第2工程で生成された画像セットに適用させることによって、この画像セットの相対位置調整を実行させる。
 第1又は第2の実施形態において説明された任意の事項を、本実施形態に係る走査型イメージング装置の制御方法に組み合わせることが可能である。走査型イメージング装置の制御方法は、組み合わせられた事項に応じた作用及び効果を奏する。
 このような走査型イメージング装置の制御方法によれば、第1の実施形態と同様に、モーションアーティファクト補正の誤差の低減を図ることができ、モーションアーティファクト補正の向上を図ることが可能になる。
 前述した第2の実施形態は、情報処理装置を制御する方法の実施形態を提供する。この実施形態は、プロセッサを含む情報処理装置を制御する方法である。このプロセッサは第1の実施形態の制御部210、画像データ構築部220、及びデータ処理部230であってよい。
 本実施形態に係る情報処理装置の制御方法は、次の4つの工程を含んでいてよい。第1工程の制御は、プロセッサに、光走査によりサンプルからデータを冗長的に収集して取得されたデータセットを受け付けさせる。第2工程の制御は、プロセッサに、第1工程で受け付けられたデータセットに基づいて画像セットを生成させる。第3工程の制御は、プロセッサに、第2工程で生成された画像セットから複数の画像を選択させる。第4工程の制御は、プロセッサに、第3工程で選択された複数の画像をそれぞれ基準とした複数のレジストレーションを、第2工程で生成された画像セットに適用させることによって、この画像セットの相対位置調整を実行させる。
 第1又は第2の実施形態において説明された任意の事項を、本実施形態に係る情報処理装置の制御方法に組み合わせることが可能である。情報処理装置の制御方法は、組み合わせられた事項に応じた作用及び効果を奏する。
 このような情報処理装置の制御方法によれば、第1の実施形態と同様に、モーションアーティファクト補正の誤差の低減を図ることができ、モーションアーティファクト補正の向上を図ることが可能になる。
 前述した第2の実施形態は、情報処理装置を制御する方法の他の実施形態を提供する。この実施形態は、プロセッサを含む情報処理装置を制御する方法である。このプロセッサは第1の実施形態の制御部210及びデータ処理部230であってよい。
 本実施形態に係る情報処理装置の制御方法は、次の3つの工程を含んでいてよい。第1工程の制御は、プロセッサに、光走査によりサンプルからデータを冗長的に収集して取得されたデータセットに基づいて生成された画像セットを受け付けさせる。第2工程の制御は、プロセッサに、第1工程で受け付けられた画像セットから複数の画像を選択させる。第3工程の制御は、プロセッサに、第2工程で選択された複数の画像をそれぞれ基準とした複数のレジストレーションを、第1工程で受け付けられた画像セットに適用させることによって、この画像セットの相対位置調整を実行させる。
 第1又は第2の実施形態において説明された任意の事項を、本実施形態に係る情報処理装置の制御方法に組み合わせることが可能である。情報処理装置の制御方法は、組み合わせられた事項に応じた作用及び効果を奏する。
 このような情報処理装置の制御方法によれば、第1の実施形態と同様に、モーションアーティファクト補正の誤差の低減を図ることができ、モーションアーティファクト補正の向上を図ることが可能になる。
 第1及び第2の実施形態は、情報を処理する方法の実施形態を提供する。
 本実施形態に係る情報処理方法は、光走査によりサンプルのデータを冗長的に収集して取得されたデータセットを処理する方法であって、次の3つの工程を含んでいてよい。第1工程は、このデータセットに基づいて画像セットを生成する。第2工程は、第1工程で生成された画像セットから複数の画像を選択する。第3工程は、第2工程で選択された複数の画像をそれぞれ基準とした複数のレジストレーションを、第1工程で生成された画像セットに適用することによって、この画像セットの相対位置調整を実行する。
 第1又は第2の実施形態において説明された任意の事項を、本実施形態に係る情報処理方法に組み合わせることが可能である。情報処理方法は、組み合わせられた事項に応じた作用及び効果を奏する。
 このような情報処理方法によれば、第1の実施形態と同様に、モーションアーティファクト補正の誤差の低減を図ることができ、モーションアーティファクト補正の向上を図ることが可能になる。
 本開示は、実施形態に係る方法をコンピュータに実行させるプログラムを提供する。幾つかの例示的な実施形態は、走査型イメージング装置の制御方法をコンピュータに実行させるプログラムを提供する。幾つかの例示的な実施形態は、情報処理装置の制御方法をコンピュータに実行させるプログラムを提供する。幾つかの例示的な実施形態は、情報処理方法をコンピュータに実行させるプログラムを提供する。
 本開示は、実施形態に係るプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。幾つかの例示的な実施形態は、走査型イメージング装置の制御方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。幾つかの例示的な実施形態は、情報処理装置の制御方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。幾つかの例示的な実施形態は、情報処理方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。実施形態の非一時的記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
 本開示は、幾つかの例示的な態様を例示するものに過ぎず、発明の限定を意図したものではない。この発明を実施しようとする者は、この発明の要旨の範囲内における任意の変形(省略、置換、付加など)を施すことが可能である。
1 眼科検査装置
2 眼底カメラユニット
100 OCTユニット
210 制御部
220 画像データ構築部
225 画像選択部
230 データ処理部
231 画像データ処理部
233 シフト量記録部
234 調整量算出部
235 画像データ補正部

 

Claims (26)

  1.  光走査を用いてサンプルのイメージングを行う走査型イメージング装置であって、
     前記光走査により前記サンプルのデータを冗長的に収集してデータセットを取得するデータセット取得部と、
     前記データセットに基づいて画像セットを生成する画像セット生成部と、
     前記画像セットから複数の画像を選択する画像選択部と、
     前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用することによって前記画像セットの相対位置調整を実行する画像位置調整部と
     を含む、走査型イメージング装置。
  2.  前記画像位置調整部は、前記複数のレジストレーションを前記画像セットに適用することによって前記画像セットの複数の相対位置情報を生成し、前記複数の相対位置情報に基づいて前記相対位置調整を実行する、
     請求項1の走査型イメージング装置。
  3.  前記画像位置調整部は、前記複数のレジストレーションのそれぞれにおいて、前記複数の画像の1つを初期基準画像として前記画像セットに再帰的なレジストレーションを適用することによって前記画像セットの相対位置情報を生成する、
     請求項2の走査型イメージング装置。
  4.  前記画像位置調整部は、前記複数の相対位置情報に基づいて前記相対位置調整のための調整量を決定する、
     請求項2又は3の走査型イメージング装置。
  5.  前記画像選択部は、前記光走査の時間軸に基づいて前記画像セットから前記複数の画像を選択する、
     請求項1~4のいずれかの走査型イメージング装置。
  6.  前記画像選択部は、前記画像セットを前記時間軸の複数の区間に対応する複数のサブセットに分割し、前記複数のサブセットのそれぞれから画像を選択することによって、前記画像セットから前記複数の画像を選択する、
     請求項5の走査型イメージング装置。
  7.  前記画像選択部は、前記光走査の適用エリアに基づいて前記画像セットから前記複数の画像を選択する、
     請求項1~4のいずれかの走査型イメージング装置。
  8.  前記画像選択部は、前記画像セットを前記適用エリアの複数のサブエリアに対応する複数のサブセットに分割し、前記複数のサブセットのそれぞれから画像を選択することによって、前記画像セットから前記複数の画像を選択する、
     請求項7の走査型イメージング装置。
  9.  前記画像選択部は、画像サイズに基づいて前記複数のサブセットのそれぞれから画像を選択する、
     請求項6又は8の走査型イメージング装置。
  10.  前記画像選択部は、前記複数のサブセットのそれぞれから、当該サブセットにおける最大サイズの画像を選択する、
     請求項9の走査型イメージング装置。
  11.  前記画像選択部は、前記複数のサブセットのそれぞれに含まれる画像に対して画像サイズに基づく順序付けを行い、前記複数のサブセットのそれぞれから、当該サブセットにおける画像に対して前記順序付けにより付された順序に基づいて画像を選択する、
     請求項9の走査型イメージング装置。
  12.  前記画像選択部は、前記複数のサブセットのうちの第1サブセットから選択された第1画像を基準としたレジストレーションの成否を判定し、失敗と判定された場合、前記第1サブセットにおける画像に対して前記順序付けにより付された順序に基づいて前記第1サブセットから第2画像を選択する、
     請求項11の走査型イメージング装置。
  13.  前記画像選択部は、前記画像セットに含まれる画像に対して画像サイズに基づく順序付けを行い、前記順序付けにより画像に付された順序に基づいて前記画像セットから前記複数の画像を選択する、
     請求項1~8のいずれかの走査型イメージング装置。
  14.  前記画像選択部は、前記画像セットから選択された前記複数の画像のうちの一の画像を基準としたレジストレーションの成否を判定し、失敗と判定された場合、前記画像セットにおける画像に対して前記順序付けにより付された順序に基づいて前記画像セットから前記複数の画像のいずれとも異なる画像を新たに選択する、
     請求項13の走査型イメージング装置。
  15.  前記光走査が前記サンプルに適用されているときの前記サンプルの運動を表す運動情報を生成する運動情報生成部を更に含み、
     前記画像選択部は、前記運動情報に基づいて前記画像セットから前記複数の画像を選択する、
     請求項1~14のいずれかの走査型イメージング装置。
  16.  前記画像選択部は、前記運動情報から所定の運動パラメータの値を算出し、前記値を評価し、前記評価の結果に基づいて前記画像セットから前記複数の画像を選択する、
     請求項15の走査型イメージング装置。
  17.  前記運動パラメータは、運動の大きさ及び頻度の少なくとも一方を含み、
     前記画像選択部は、前記運動パラメータの前記値を所定の閾値と比較し、前記閾値以上の前記値に対応する期間に収集されたデータに基づく画像を前記画像セットから除外したサブセットから前記複数の画像を選択する、
     請求項16の走査型イメージング装置。
  18.  前記データセット取得部は、
     前記光走査のための光を互いに異なる第1方向及び第2方向に偏向可能な偏向器を含み、
     前記第1方向における偏向方向の変化を第1周期で繰り返しつつ、前記第2方向における偏向方向の変化を前記第1周期と異なる第2周期で繰り返す、
     請求項1~17のいずれかの走査型イメージング装置。
  19.  光走査によりサンプルからデータを冗長的に収集して取得されたデータセットを受け付けるデータセット受付部と、
     前記データセットに基づいて画像セットを生成する画像セット生成部と、
     前記画像セットから複数の画像を選択する画像選択部と、
     前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用することによって前記画像セットの相対位置調整を実行する画像位置調整部と
     を含む、情報処理装置。
  20.  光走査によりサンプルからデータを冗長的に収集して取得されたデータセットに基づいて生成された画像セットを受け付ける画像セット受付部と、
     前記画像セットから複数の画像を選択する画像選択部と、
     前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用することによって前記画像セットの相対位置調整を実行する画像位置調整部と
     を含む、情報処理装置。
  21.  プロセッサと光走査を行うスキャナとを含む走査型イメージング装置を制御する方法であって、
     前記スキャナに、前記サンプルのデータを冗長的に収集させてデータセットを取得させ、
     前記プロセッサに、前記データセットに基づいて画像セットを生成させ、
     前記プロセッサに、前記画像セットから複数の画像を選択させ、
     前記プロセッサに、前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用させることによって前記画像セットの相対位置調整を実行させる、
     方法。
  22.  プロセッサを含む情報処理装置を制御する方法であって、
     前記プロセッサに、光走査によりサンプルからデータを冗長的に収集して取得されたデータセットを受け付けさせ、
     前記プロセッサに、前記データセットに基づいて画像セットを生成させ、
     前記プロセッサに、前記画像セットから複数の画像を選択させ、
     前記プロセッサに、前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用させることによって前記画像セットの相対位置調整を実行させる、
     方法。
  23.  プロセッサを含む情報処理装置を制御する方法であって、
     前記プロセッサに、光走査によりサンプルからデータを冗長的に収集して取得されたデータセットに基づいて生成された画像セットを受け付けさせ、
     前記プロセッサに、前記画像セットから複数の画像を選択させ、
     前記プロセッサに、前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用させることによって前記画像セットの相対位置調整を実行させる、
     方法。
  24.  光走査によりサンプルのデータを冗長的に収集して取得されたデータセットを処理する情報処理方法であって、
     前記データセットに基づいて画像セットを生成し、
     前記画像セットから複数の画像を選択し、
     前記複数の画像をそれぞれ基準とした複数のレジストレーションを前記画像セットに適用することによって前記画像セットの相対位置調整を実行する、
     方法。
  25.  請求項21~24のいずれかの方法をコンピュータに実行させるプログラム。
  26.  請求項25のプログラムが記録されたコンピュータ可読な非一時的記録媒体。
PCT/JP2023/002961 2022-02-24 2023-01-31 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 WO2023162586A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-027209 2022-02-24
JP2022027209A JP2023123245A (ja) 2022-02-24 2022-02-24 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2023162586A1 true WO2023162586A1 (ja) 2023-08-31

Family

ID=87765559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/002961 WO2023162586A1 (ja) 2022-02-24 2023-01-31 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体

Country Status (2)

Country Link
JP (1) JP2023123245A (ja)
WO (1) WO2023162586A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021092445A (ja) * 2019-12-10 2021-06-17 国立大学法人 筑波大学 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体
JP2021090631A (ja) * 2019-12-10 2021-06-17 国立大学法人 筑波大学 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体
EP3858227A1 (en) * 2020-01-29 2021-08-04 AM2M Spolka z Organiczona Odpowiedzialnoscia Spolka Komandytowa A method and apparatus for determination of a trajectory and imaging device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021092445A (ja) * 2019-12-10 2021-06-17 国立大学法人 筑波大学 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体
JP2021090631A (ja) * 2019-12-10 2021-06-17 国立大学法人 筑波大学 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体
EP3858227A1 (en) * 2020-01-29 2021-08-04 AM2M Spolka z Organiczona Odpowiedzialnoscia Spolka Komandytowa A method and apparatus for determination of a trajectory and imaging device

Also Published As

Publication number Publication date
JP2023123245A (ja) 2023-09-05

Similar Documents

Publication Publication Date Title
JP7368581B2 (ja) 眼科装置、及び眼科情報処理装置
JP7164679B2 (ja) 眼科装置、及びその制御方法
WO2021153087A1 (ja) 眼科装置、その制御方法、及び記録媒体
JP7384987B2 (ja) 眼科装置
JP7166182B2 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
JP2021092445A (ja) 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体
JP7378557B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
US20220273170A1 (en) Method of processing ophthalmic data, ophthalmic data processing apparatus, and ophthalmic examination apparatus
JP2023014190A (ja) 眼科撮影装置
JP2023038280A (ja) 血流計測装置
JP7410481B2 (ja) 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体
WO2023162586A1 (ja) 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体
JP7260426B2 (ja) 光コヒーレンストモグラフィ装置、その制御方法、光計測方法、プログラム、及び記憶媒体
JP2023070264A (ja) 走査型イメージング装置、その制御方法、プログラム、及び記録媒体
JP7355331B2 (ja) 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体
JP2023048318A (ja) 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体
JP7341422B2 (ja) 走査型イメージング装置、その制御方法、走査型イメージング方法、プログラム、及び記録媒体
WO2022085501A1 (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP7289394B2 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
JP2023056183A (ja) 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体
JP2019054974A (ja) 眼科装置
US20210204809A1 (en) Ophthalmic imaging apparatus, controlling method of the same, and recording medium
JP6527970B2 (ja) 眼科装置
JP2023114533A (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2024001913A (ja) 画像処理方法、画像処理装置、プログラム、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23759592

Country of ref document: EP

Kind code of ref document: A1