WO2019021512A1 - 眼科システム及び眼科情報処理装置 - Google Patents

眼科システム及び眼科情報処理装置 Download PDF

Info

Publication number
WO2019021512A1
WO2019021512A1 PCT/JP2018/004200 JP2018004200W WO2019021512A1 WO 2019021512 A1 WO2019021512 A1 WO 2019021512A1 JP 2018004200 W JP2018004200 W JP 2018004200W WO 2019021512 A1 WO2019021512 A1 WO 2019021512A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
knowledge
unit
processor
eye
Prior art date
Application number
PCT/JP2018/004200
Other languages
English (en)
French (fr)
Inventor
央 塚田
福間　康文
Original Assignee
株式会社トプコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社トプコン filed Critical 株式会社トプコン
Priority to US16/633,160 priority Critical patent/US11617505B2/en
Priority to EP18839368.0A priority patent/EP3659494B1/en
Publication of WO2019021512A1 publication Critical patent/WO2019021512A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/18—Arrangement of plural eye-testing or -examining apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A61B3/135—Slit-lamp microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Definitions

  • the present invention relates to an ophthalmologic system and an ophthalmologic information processing apparatus.
  • Imaging in ophthalmology occupies an important position.
  • Various diagnostic imaging apparatuses are used in diagnostic imaging.
  • the ophthalmologic imaging apparatus includes a slit lamp microscope, a fundus camera, a scanning laser ophthalmoscope (SLO), an optical coherence tomography (OCT apparatus), and the like.
  • various ophthalmologic examination apparatuses such as a refractometer, a keratometer, a tonometer, a specular microscope, a wave front analyzer, and a microperimeter are also equipped with a function for photographing the anterior segment and the fundus.
  • the slit lamp microscope is an ophthalmologic apparatus for illuminating the subject's eye with slit light and observing or photographing the illuminated cross section with a microscope from the side.
  • a slit lamp microscope is generally used to diagnose the anterior segment such as the cornea and the lens. For example, the doctor observes the entire diagnosis site while moving the illumination field or the focus position by the slit light to determine the presence or absence and degree of abnormality.
  • the slit lamp microscope is the most widely used and frequently used device in ophthalmology. Therefore, it is considered effective to collect many images acquired with a slit lamp microscope and analyze them using artificial intelligence.
  • photographing using a slit lamp microscope requires various operations such as movement of an illumination system, movement of an imaging system, setting of a slit width, setting of a focus position, and the like. Therefore, a doctor often performs imaging while operating the slit lamp microscope manually. In addition, it is general to save only a small number of photographed images necessary for diagnosis and informed consent of the subject. Therefore, at present, it is difficult to collect many images acquired by the slit lamp microscope and provide them to artificial intelligence.
  • An object of the present invention is to preferably perform an artificial intelligence analysis of an image acquired by a slit lamp microscope.
  • a first aspect of the embodiment includes a plurality of ophthalmologic imaging devices including at least a plurality of slit lamp microscopes, and an information processing system connected to each of the plurality of ophthalmologic imaging devices via a communication path,
  • Each of the ophthalmologic imaging apparatus of the present invention includes an image acquisition unit for imaging a subject's eye to acquire a three-dimensional image, and a first communication unit for transmitting the three-dimensional image to the information processing system.
  • the information processing system includes: a second communication unit configured to receive the three-dimensional image transmitted by the first communication unit; and an image storage unit configured to store a plurality of three-dimensional images received by the second communication unit.
  • a first processor that performs at least one of machine learning and data mining based on the plurality of three-dimensional images; a knowledge storage unit that stores knowledge acquired by the first processor; By performing an inference based on the three-dimensional image of the eye to be examined which is transmitted from any of a number of slit lamp microscopes and received by the second communication unit and the knowledge stored in the knowledge storage unit
  • An ophthalmic system including a second processor to generate.
  • a second aspect of the embodiment is the ophthalmologic system according to the first aspect, wherein the second processor includes a region-of-interest identifying unit that analyzes a three-dimensional image of the subject's eye to identify a region of interest.
  • a third aspect of the embodiment is the ophthalmologic system according to the second aspect, wherein the second processor executes inference based on the region of interest and the knowledge stored in the knowledge storage unit to support diagnosis Generate information.
  • a fourth aspect of the embodiment is the ophthalmologic system according to any one of the first to third aspects, wherein the plurality of ophthalmologic imaging devices include one or more modality devices of a type different from a slit lamp microscope; A fusion image forming unit that combines a three-dimensional image acquired by any of the slit lamp microscopes with an image acquired by any of the one or more modality devices to form a fusion image; The processor performs inference based on the fusion image and the knowledge stored in the knowledge storage unit to generate diagnosis support information.
  • a sixth aspect of the embodiment is the ophthalmologic system according to any of the first to fifth aspects, wherein the image acquisition unit further captures an eye of the subject to acquire a front image,
  • the first communication unit transmits the front image together with the three-dimensional image
  • the second communication unit receives the three-dimensional image and the front image transmitted by the first communication unit
  • the image storage unit Stores a plurality of three-dimensional images and a plurality of frontal images received by the second communication unit
  • the first processor performs machine learning and data based on the plurality of three-dimensional images and the plurality of frontal images
  • the knowledge storage unit stores knowledge acquired by the first processor based on the plurality of three-dimensional images and the plurality of front images
  • the second processor is configured to execute the plurality of slit Diagnosis support information by performing inference based on the three-dimensional image and front image of the eye to be examined which are transmitted from any of the pump microscopes and received by the second communication unit and the knowledge stored in the knowledge storage unit Generate
  • At least one of machine learning and data mining is executed based on the plurality of three-dimensional images and the plurality of test subject information, and the knowledge storage unit stores the knowledge acquired by the first processor;
  • the second processor is Perform inference based on the three-dimensional image of the subject's eye and the subject's information transmitted from any of the plurality of slit lamp microscopes and received by the second communication unit and the knowledge stored in the knowledge storage unit And generate diagnostic support information.
  • an communicator for receiving, via a communication channel, a three-dimensional image of a subject's eye obtained by each of a plurality of ophthalmologic imaging apparatuses including at least a plurality of slit lamp microscopes.
  • An image storage unit storing a plurality of three-dimensional images received by the unit; a first processor performing at least one of machine learning and data mining based on the plurality of three-dimensional images; and acquired by the first processor Based on the three-dimensional image of the eye to be examined which is transmitted from any of the plurality of slit lamp microscopes and received by the communication unit and the knowledge stored in the knowledge storage unit.
  • An ophthalmologic information processing apparatus including a second processor that executes inference to generate diagnosis support information.
  • a ninth aspect of the embodiment relates to knowledge acquired by executing at least one of machine learning and data mining based on a plurality of three-dimensional images acquired by a plurality of ophthalmologic imaging apparatuses including at least a plurality of slit lamp microscopes. Inference based on a knowledge storage unit to be stored, a communication unit to receive a three-dimensional image of an eye to be examined obtained by a slit lamp microscope via a communication channel, the three-dimensional image and knowledge stored in the knowledge storage unit And an ophthalmologic information processing apparatus including a processor for executing the process to generate diagnosis support information.
  • analysis by artificial intelligence of an image acquired by the slit lamp microscope can be suitably performed.
  • BRIEF DESCRIPTION OF THE DRAWINGS Schematic which represents an example of a structure of the ophthalmic system which concerns on exemplary embodiment.
  • BRIEF DESCRIPTION OF THE DRAWINGS Schematic which represents an example of a structure of the ophthalmic system which concerns on exemplary embodiment.
  • BRIEF DESCRIPTION OF THE DRAWINGS Schematic which represents an example of a structure of the ophthalmic system which concerns on exemplary embodiment.
  • BRIEF DESCRIPTION OF THE DRAWINGS Schematic which represents an example of a structure of the ophthalmic system which concerns on exemplary embodiment.
  • BRIEF DESCRIPTION OF THE DRAWINGS Schematic which represents an example of a structure of the ophthalmic system which concerns on exemplary embodiment.
  • BRIEF DESCRIPTION OF THE DRAWINGS Schematic which represents an example of a structure of the ophthalmic system which concerns on exemplary embodiment.
  • BRIEF DESCRIPTION OF THE DRAWINGS Schematic which represents an example of a structure of the ophthalmic system which concerns on exemplary embodiment.
  • BRIEF DESCRIPTION OF THE DRAWINGS Schematic which represents an example of a structure of the ophthalmic system which concerns on exemplary embodiment.
  • BRIEF DESCRIPTION OF THE DRAWINGS The schematic showing an example of a structure of the ophthalmologic information processing apparatus which concerns on exemplary embodiment.
  • the ophthalmologic system analyzes an image (in particular, a three-dimensional image) acquired by an ophthalmologic imaging apparatus or a portable ophthalmologic imaging apparatus installed in various facilities using artificial intelligence technology.
  • the ophthalmologic system of the embodiment includes a plurality of ophthalmologic imaging devices.
  • the plurality of ophthalmologic imaging devices include at least a plurality of slit lamp microscopes.
  • the plurality of ophthalmologic imaging devices may include modality devices of different types from the slit lamp microscope.
  • modality devices applicable to the embodiment include an optical coherence tomography device (OCT device), a fundus camera, an SLO, a microscope for surgery, and the like.
  • OCT device optical coherence tomography device
  • a plurality of ophthalmologic imaging devices are ophthalmologic examination devices (for example, a refractometer, a keratometer, a tonometer, a specular microscope, a wave front analyzer, a perimeter, a microperimeter, etc.) equipped with an imaging device for capturing an eye to be examined Etc.) may be included.
  • Examples of facilities in which the ophthalmologic imaging apparatus is installed include medical institutions, eyeglass stores, medical check-up venues, medical examination venues, patients' homes, welfare facilities, public facilities, and medical examination cars.
  • the ophthalmologic system 1000 illustrated in FIG. 1 uses a communication path (communication line) N connecting the information processing system 5000 with each of N facilities (first facility to Nth facility) where ophthalmologic imaging is performed. It is built.
  • An ophthalmologic system 1000 may include an examination apparatus capable of performing examinations other than ophthalmology.
  • Ophthalmic imaging apparatus 2000-i n the present embodiment is provided with both the function as a "computer” as a function of a "photographing apparatus” for implementing the imaging of the eye, to communicate with various data processing and an external apparatus There is.
  • the imaging device and the computer can be provided separately.
  • the imaging device and the computer may be configured to be able to communicate with each other.
  • the number of imaging devices and the number of computers are arbitrary, and for example, a single computer and a plurality of imaging devices can be provided.
  • an information processing apparatus used by a subject or an assistant is installed.
  • the terminal 3000-n is a computer used in the facility, and may be, for example, a mobile terminal such as a tablet terminal or a smartphone, a server installed in the facility, or the like.
  • the terminals 3000-n may include wearable devices such as wireless earphones.
  • the terminal 3000-n is sufficient as long as it is a computer that can use its function in the facility, and may be, for example, a computer (such as a cloud server) installed outside the facility.
  • Ophthalmic imaging apparatus 2000-i n may have a function as a server. If this configuration is applied, it is possible and ophthalmologic photographing apparatus 2000-i n and the terminal 3000-n is configured to communicate directly. In this case, it is possible to perform via an ophthalmologic imaging apparatus 2000-i n the communication between the information processing system 5000 and the terminal 3000-n, communicates with the terminal 3000-n and the information processing system 5000 There is no need to provide features.
  • the information processing system 5000 is installed, for example, in a facility for operating and managing the ophthalmologic system 1.
  • the information processing system 5000 is capable of at least some communication over the communication channel N of the ophthalmologic photographing apparatus 2000-i n installed in the first to N facilities.
  • the information processing system 5000 may have a data processing function.
  • the information processing system 5000 may include a three-dimensional image forming unit (including a processor, a computer program, and the like) that executes a process of forming a three-dimensional image from a plurality of cross-sectional images of the eye to be examined.
  • a three-dimensional image forming unit including a processor, a computer program, and the like
  • the “processor” is, for example, a central processing unit (CPU), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), a programmable logic device (for example, a simple programmable logic device (SPLD), or a CPLD).
  • a circuit such as a complex programmable logic device (FPGA) or a field programmable gate array (FPGA) is meant.
  • the processor can realize the function according to the embodiment by, for example, reading and executing a program or data stored in a memory circuit or a memory device.
  • ophthalmologic imaging apparatus 2000-i n Description will be given of a configuration of an ophthalmic imaging apparatus 2000-i n.
  • the ophthalmologic photographing apparatus 2000-i n can be any modality, but in the present embodiment is applied is a slit lamp microscope.
  • the direction is defined.
  • the direction from the lens (objective lens) located closest to the subject to the subject is the forward direction (or depth direction, depth direction, etc.), and the opposite direction is the backward direction.
  • the horizontal direction orthogonal to the front direction is taken as the left and right direction.
  • the direction perpendicular to both the front-rear direction and the left-right direction is the vertical direction.
  • FIG. A computer 100 is connected to the slit lamp microscope 1.
  • the computer 100 performs various control processes and arithmetic processes.
  • At least a portion of the computer 100 and at least a portion of the terminal 3000-n described above may be common.
  • the slit lamp microscope 1 is mounted on a table 2.
  • the base 4 is configured to be movable in the horizontal direction via the moving mechanism unit 3.
  • the base 4 is moved by tilting the operation handle 5.
  • a support 15 that supports the observation and imaging system 6 and the illumination system 8 is provided on the upper surface of the base 4.
  • a support arm 16 for supporting the observation and imaging system 6 is attached to the support portion 15 so as to be rotatable in the left-right direction.
  • a support arm 17 supporting the illumination system 8 is attached to the upper portion of the support arm 16 so as to be rotatable in the left-right direction.
  • the support arms 16 and 17 are rotatable independently and coaxially with each other.
  • the observation and imaging system 6 is moved by rotating the support arm 16.
  • the illumination system 8 is moved by rotating the support arm 17.
  • Each of the support arms 16 and 17 is rotated by an electrical mechanism.
  • the movement mechanism unit 3 is provided with a mechanism for rotating the support arm 16 and a mechanism for rotating the support arm 17.
  • the observation and imaging system 6 can also be moved by manually rotating the support arm 16.
  • the illumination system 8 can be moved by manually pivoting the support arm 17.
  • the illumination system 8 illuminates the eye E with illumination light.
  • the illumination system 8 can be turned in the left-right direction.
  • the illumination system 8 may be configured to be pivotable in the vertical direction. That is, the elevation angle and the depression angle of the illumination system 8 may be changed. Such a swing operation of the illumination system 8 changes the projection direction of the illumination light to the eye E.
  • the observation and photography system 6 has a pair of left and right optical systems for guiding the return light of the illumination light projected onto the eye E to be examined.
  • This optical system is housed in the barrel body 9.
  • the end of the barrel body 9 is an eyepiece 9a.
  • the examiner observes the eye E by looking into the eyepiece 9a.
  • the barrel main body 9 can be rotated in the left-right direction.
  • the observation and imaging system 6 may be configured to be pivotable in the vertical direction. That is, the elevation angle and the depression angle of the observation and photographing system 6 may be changed. By the swing operation of the observation imaging system 6, the direction in which the eye to be examined E is photographed can be changed.
  • a chin rest 10 is disposed at a position facing the barrel body 9.
  • the chin rest 10 is provided with a chin rest 10a and a forehead rest 10b for stably arranging the face of the subject.
  • a magnification control knob 11 for changing the magnification is disposed on the side surface of the barrel body 9. Furthermore, an imaging device 13 for photographing the eye E is connected to the barrel body 9.
  • the imaging device 13 includes an imaging element.
  • the imaging element is a photoelectric conversion element that detects light and outputs an image signal GS (electrical signal).
  • the image signal GS is input to the computer 100.
  • an imaging element for example, a charge coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor is used.
  • CMOS complementary metal oxide semiconductor
  • the slit lamp microscope 1 includes the observation and photographing system 6 and the illumination system 8.
  • the observation and imaging system 6 includes a pair of left and right optical systems.
  • the left and right optical systems have substantially the same configuration.
  • the examiner can observe the eye E with both eyes by the left and right optical systems.
  • FIG. 3 only one of the left and right optical systems of the observation and photographing system 6 is shown.
  • the observation and photography system 6 may have only one of the left and right optical systems.
  • the code O1 indicates the optical axis of the observation and photography system 6.
  • Each of the left and right optical systems of the observation and imaging system 6 includes an objective lens 31, a variable magnification optical system 32, a beam splitter 34, an imaging lens 35, a prism 36, and an eyepiece lens 37.
  • the beam splitter 34 is provided in one or both of the left and right optical systems.
  • the eyepiece 37 is provided in the eyepiece 9a.
  • the symbol P indicates the imaging position of the light guided to the eyepiece lens 37.
  • the code Ec indicates the cornea of the eye E to be examined.
  • the code Eo indicates the examiner's eye.
  • the variable magnification optical system 32 includes a plurality of (for example, three) variable magnification lenses 32a, 32b, and 32c.
  • a plurality of variable power lens groups that can be selectively inserted into the light path of the observation and imaging system 6 are provided. These variable magnification lens groups correspond to different magnifications.
  • a variable magnification lens group disposed in the light path of the observation and photographing system 6 is used as the variable magnification optical system 32. By selectively inserting such a variable magnification lens group, it is possible to change the magnification (angle of view) of the observation image of the eye to be examined E and the photographed image.
  • the change of the magnification that is, the switching of the variable power lens group disposed in the optical path of the observation and photographing system 6 is performed by operating the magnification operation knob 11. Also, the magnification can be changed electrically by using a switch or the like (not shown).
  • the beam splitter 34 divides the optical path of light traveling along the optical axis O1 into an optical path located on the extension of the optical axis O1 and an optical path orthogonal to the optical axis O1.
  • the light incident on the optical path located on the extension of the optical axis O1 is guided to the examiner's eye Eo via the imaging lens 35, the prism 36 and the eyepiece lens 37.
  • the prism 36 translates the traveling direction of the light upward.
  • the whole (or a part) of the observation imaging system 6 may be configured to be movable along the optical axis O1.
  • the focusing mechanism 40 changes the focus position of the observation and imaging system 6 by moving the entire observation and imaging system 6 along the optical axis O1.
  • the focusing mechanism 40 includes a movable stage on which the observation and photographing system 6 is mounted, a slide mechanism for moving the movable stage in the direction of the optical axis O1, an actuator for generating a driving force, and a sliding mechanism for the driving force. And a member for transmitting the information.
  • the movement of the observation imaging system 6 by the focusing mechanism 40 is performed automatically or manually.
  • the designation of the operation mode is performed, for example, using the operation unit 140 of the slit lamp microscope 1 or the terminal 3000-n.
  • the display unit 130 receives control of the control unit 101 and displays various types of information.
  • the display unit 130 includes a flat panel display such as a liquid crystal display (LCD).
  • the display unit 130 may be provided on the main body of the slit lamp microscope 1 or may be provided on the computer 100.
  • the operation unit 140 includes an operation device for operating the slit lamp microscope 1 and an input device for inputting information.
  • the operation unit 140 includes buttons and switches provided on the slit lamp microscope 1 (for example, the operation handle 5 and the magnification operation knob 11) and operation devices provided for the computer 100 (for example, a mouse and a keyboard).
  • the operation unit 140 may include any operation device or input device such as a trackball, an operation panel, a switch, a button, a dial, and the like.
  • the communication unit 170 performs data communication between the slit lamp microscope 1 and another device.
  • the data communication scheme is arbitrary.
  • the communication unit 170 includes a communication interface compliant with the Internet, a communication interface compliant with a dedicated line, a communication interface compliant with a LAN, a communication interface compliant with short distance communication, and the like.
  • Data communication may be wired communication or wireless communication.
  • Data transmitted and received by the communication unit 170 may be encrypted.
  • the control unit 101 includes an encryption processing unit that encrypts transmission data, and a decryption processing unit that decrypts reception data.
  • the configuration of the information processing system 5000 will be described.
  • the information processing system 5000 illustrated in FIG. 7 includes a control unit 5010, a data processing unit 5100, a communication unit 5200, and a storage device 5300.
  • the data processing unit 5100 a three-dimensional image from a plurality of cross-sectional images transmitted from the slit lamp microscope 1 (ophthalmic imaging apparatus 2000-i n) (e.g., stack data or volume data) may have a function to build.
  • the data processing unit 5100 may have a function to build volume data from the stack data transmitted from the slit lamp microscope 1 (ophthalmic imaging apparatus 2000-i n).
  • the data processing unit 5100 may have a rendering function.
  • the data processing unit 5100 is capable of rendering a three-dimensional image formed by such an ophthalmologic photographing apparatus 2000-i n.
  • Rendering may be any process, including, for example, three-dimensional computer graphics.
  • Three-dimensional computer graphics are images having a three-dimensional effect by converting virtual three-dimensional objects (three-dimensional images such as stack data and volume data) in a three-dimensional space defined by a three-dimensional coordinate system into two-dimensional information.
  • Calculation method to create Examples of rendering include volume rendering, maximum value projection (MIP), minimum value projection (MinIP), surface rendering method, multi-section reconstruction (MPR), projection imaging, shadowgram formation, and the like.
  • Data processing unit 5100 includes a knowledge acquisition processor 5110 and an inference processor 5120.
  • Knowledge acquisition processor 5110 and / or inference processor 5120 e.g., 3-dimensional images formed by such ophthalmic imaging apparatus 2000-i n, that the rendering image, analysis data of the three-dimensional image, the rendered image analysis data, and other And / or any medical information such as subject information, a front image, electronic medical record information, an interpretation report, and the like.
  • the knowledge acquisition processor 5110 acquires knowledge by performing machine learning and / or data mining based on previously collected data.
  • the data collected in advance is stored in the imaging data storage unit 5310 of the storage device 5300.
  • the data used for machine learning and / or data mining may include any medical knowledge, knowledge about other disciplines, knowledge about areas outside of disciplines.
  • knowledge may, for example, include any of the following: knowledge based on technical books (such as medical books); knowledge based on articles (such as medical papers); created by public or private organizations Knowledge based on information (such as medical practice guidelines); knowledge based on a dictionary (such as a medical dictionary); knowledge based on a corpus (such as a medical corpus); knowledge based on a knowledge base (medical knowledge base); knowledge obtained by other machine learning Knowledge obtained by other data mining; knowledge obtained by other information and / or methods other than these; knowledge obtained from combinations of any two or more of them.
  • data used for machine learning and / or data mining may include information and data used to gain knowledge as described above.
  • data used for machine learning and / or data mining may be medical books, medical papers, medical practice guidelines, medical dictionaries, medical corpuses, medical knowledge bases, data sets for machine learning (learning data, training data, etc.), It may include a data set (eg, big data) for data mining.
  • the knowledge includes, for example, information capable of recognition and explicit expression, and at least at least empirical knowledge (knowledge acquired through experience and learning) and theoretical knowledge (theoretical background knowledge or system of professional information). Including one.
  • Typical knowledge includes facts, rules, rules, judgment criteria, common sense, know-how, dictionaries, corpuses, etc.
  • the knowledge may include information on processing performed by an artificial intelligence processor (also called an artificial intelligence engine or the like).
  • the knowledge may include weight parameters and bias parameters in a neural network.
  • the knowledge acquisition processor 5110 extracts rules, rules, knowledge expressions, judgment criteria, etc. from this data, for example, by analyzing the data collected as described above (mainly statistically). Based on the extracted information, the following inference algorithm is developed.
  • the machine learning algorithm applicable to the knowledge acquisition processor 5110 is arbitrary. Examples of machine learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, transduction, and multitasking learning. Also, techniques applicable to machine learning executed by the knowledge acquisition processor 5110 include decision tree learning, correlation rule learning, neural network, genetic programming, inductive logic programming, support vector machine, clustering, Bayesian network, reinforcement learning, There is such as expression learning.
  • the knowledge acquisition processor 5110 acquires knowledge by applying data analysis techniques such as statistics, pattern recognition, artificial intelligence, etc. to such data.
  • the knowledge acquisition processor 5110 may be capable of performing any image processing.
  • image processing image enlargement / reduction, compression / decompression, rotation, binarization, gray scale, pseudo colorization, contrast adjustment, smoothing, histogram, color information extraction, gamma correction, color correction, contour extraction (Edge detection), noise removal, dimension measurement, feature extraction, pattern recognition, rendering, cross-sectional transformation, characteristic map creation, and the like.
  • the knowledge acquisition processor 5110 can perform at least one of machine learning and data mining based on at least one of a plurality of three-dimensional images including a three-dimensional image acquired by a slit lamp microscope.
  • the knowledge acquisition processor 5110 performs at least one of machine learning and data mining based on the plurality of three-dimensional images and the plurality of front images including the three-dimensional image and the front image acquired by the slit lamp microscope. May be configured.
  • the knowledge acquisition processor 5110 is a machine based on the plurality of three-dimensional images and the plurality of subject information including the three-dimensional image acquired by the slit lamp microscope and the subject information input to the slit lamp microscope. It may be configured to perform at least one of learning and data mining.
  • the knowledge acquired by the knowledge acquisition processor 5110 is stored in the knowledge storage unit 5320 of the storage device 5300.
  • the knowledge storage unit 5320 may store not only the knowledge acquired by the knowledge acquisition processor 5110, but also the various kinds of knowledge described above and data used in the knowledge acquisition process.
  • Inference Processor 5120 includes a three-dimensional image of the eye to the information processing system 5000 has received from any one of a plurality of ophthalmic imaging apparatus 2000-i n (slit lamp microscope 1), and knowledge stored in the knowledge storage section 5320 Perform inference based on. This inference generates information (diagnosis support information) for supporting the diagnosis of the subject.
  • the inference processor 5120 is, for example, an inference engine that derives an answer from a knowledge base.
  • the inference processor 5120 can make inferences using an inference algorithm developed by machine learning.
  • the inference processor 5120 can make inferences using knowledge acquired by data mining.
  • the communication unit 5200 performs data communication with other devices (e.g., ophthalmic imaging apparatus 2000-i n, the terminal 3000-n, etc.).
  • ophthalmic imaging apparatus 2000-i n the terminal 3000-n, etc.
  • For scheme and encryption of the data communication may be similar to the ophthalmologic photographing apparatus communication unit 170 of the 2000-i n.
  • the storage device 5300 stores various data.
  • the storage device 5300 includes, for example, at least one of a semiconductor storage device, a magnetic storage device, an optical storage device, and a magneto-optical storage device.
  • the storage device 5300 may include two or more storage devices.
  • the storage device 5300 is provided with an imaging data storage unit 5310, a knowledge storage unit 5320, and a diagnosis support information storage unit 5330.
  • the diagnosis support information storage unit 5330 stores the inference result (diagnosis support information) derived by the inference processor 5120.
  • FIG. 8 shows an example of usage of the ophthalmologic system 1000.
  • the information processing system 5000 collects various data for acquiring knowledge used in processing of generating diagnosis support information from a three-dimensional image of an eye to be examined acquired by a slit lamp microscope.
  • the data acquired in step S1 includes at least a plurality of three-dimensional images acquired by a slit lamp microscope. Furthermore, data is collected in step S1, it may also include one of the following: a slit lamp ophthalmic imaging apparatus other than a microscope (ophthalmic imaging apparatus 2000-i n, or other ophthalmic imaging apparatus) acquired image by And / or data obtained by processing or analyzing such an image; examination data obtained by an ophthalmologic examination apparatus and / or data obtained by processing or analyzing such examination data; Data acquired by devices used in other medical departments and / or data obtained by processing or analyzing such examination data; included in information input by a doctor (electronic medical record, interpretation report, etc.) Data, and / or data obtained by processing or analyzing such data; medical knowledge, knowledge on other academic matters, knowledge on non-academic areas; such Information or data used to gain knowledge. In addition, the example of these data was mentioned above.
  • the knowledge acquisition processor 5110 performs machine learning based on at least a portion of data (including at least a plurality of three-dimensional images acquired by a slit lamp microscope) of data acquired in step S1 and stored in the imaging data storage unit 5310. And / or perform at least one of data mining. Thereby, knowledge based on the data is acquired.
  • steps S1 to S3 can be repeated. For example, when new data is input to the information processing system 5000, processing for acquiring new knowledge can be executed. Such processing is performed, for example, at predetermined time intervals. Alternatively, such processing may be repeated according to the amount of new data stored. As another example, knowledge may be acquired based on each of the first to Kth partial data of the data stored in the imaging data storage unit 5310. Each of the knowledge acquired by such repeated processing is stored in the knowledge storage unit 5320 by the control unit 5010.
  • the subject information is input to the slit lamp microscope 1 (or the terminal 3000-n) included in the ophthalmologic system 1000.
  • the input subject information is stored in the storage unit 102. If communication between the slit lamp microscope 1 (and / or the terminal 3000-n) and the information processing system 5000 has already been established, the input subject information is transmitted to the information processing system 5000 at this stage. It is also good.
  • the subject information includes, for example, a subject ID and background information.
  • the subject ID includes, for example, an ID (patient ID) in a medical facility, an ID in a medical check, an ID in a medical check, and the like. These are examples, and subject ID is not limited to these.
  • the background information is any information related to the subject, and includes, for example, information recorded in any item of the electronic medical record of the subject, an image stored in the account of the subject, and the like.
  • background information includes sex, age, height, weight, disease name, candidate disease name, test results (visual acuity value, eye refractive power value, intraocular pressure value, etc.), image (OCT image, fundus image, front Eye image, etc.), examination history, treatment history, etc.
  • the background information includes data corresponding to data items that the information processing system 5000 has referred to for acquiring knowledge.
  • the user of the slit lamp microscope 1 can input subject information using the operation unit 140, for example.
  • the control unit 101 and the communication unit 170 can access the electronic medical record system and the medical image archiving system via the communication channel to acquire the subject information.
  • the subject information recorded on the recording medium can be read using a data reader.
  • the operation mode of the slit lamp microscope 1 is set to the three-dimensional imaging mode. As described above, specification (or selection) of the operation mode is performed manually or automatically.
  • the slit lamp microscope 1 captures an image of the eye E in the three-dimensional imaging mode set in step S12. Thereby, a plurality of cross-sectional images of the eye to be examined E are obtained.
  • the image combining unit 120 of the slit lamp microscope 1 forms a three-dimensional image based on the plurality of cross-sectional images acquired in step S13.
  • the information processing system 5000 or another device may execute three-dimensional image formation processing.
  • the slit lamp microscope 1 can acquire a front image of the eye E to be examined.
  • the timing which acquires a front image is not limited to this timing. This process is optional.
  • the control unit 101 of the slit lamp microscope 1 controls the communication unit 170 to transmit the acquired data to the information processing system 5000.
  • the data to be transmitted may include at least the three-dimensional image formed in step S14, and may further include the subject information input in step S11 and / or the frontal image acquired in step S15.
  • the plurality of cross-sectional images acquired in step S13 are transmitted, and the three-dimensional image formed by the apparatus is referred to by the information processing system 5000 Be done.
  • the communication unit 5200 of the information processing system 5000 receives the data transmitted by the slit lamp microscope 1 in step S16.
  • Control unit 5010 stores the received data in storage device 5300.
  • step S21 may be stored in the imaging data storage unit 5310 and used for new knowledge acquisition processing.
  • the inference processor 5120 infers based on at least a part of the data of the eye E (and the data of the subject) received in step S21 and at least a part of the knowledge stored in the knowledge storage unit 5320. Run. Thereby, diagnosis support information regarding the eye E is generated.
  • the diagnosis support information may include, for example, any of a suspected disease name, presence or absence of a specific disease, severity, necessity of examination, type of examination, necessity of surgery, type of surgery and the like.
  • the control unit 5010 stores the diagnosis support information generated in step S22 in the diagnosis support information storage unit 5330.
  • diagnosis support information generated in step S22 may be stored in the imaging data storage unit 5310 and used for new knowledge acquisition processing.
  • control unit 5010 controls the communication unit 5200 to transmit the diagnosis support information generated in step S22 toward the slit lamp microscope 1 (and / or the terminal 3000-n and / or another device).
  • a computer used by a doctor in charge of the subject a server installed in a medical institution to which the subject is receiving, an external of the medical institution (for example, a main hospital, There are computers installed in specialized medical institutions, medical data analysis institutions, etc.).
  • diagnosis support information when transmitting diagnosis support information to a computer installed outside the medical institution where the subject is receiving, at least at least the data of the eye E (and the data of the subject) received in step S21.
  • a part or at least a part of the knowledge or data referred to in step S22 can be transmitted together with the diagnostic support information.
  • the slit lamp microscope 1 or the like receives the diagnostic support information or the like transmitted from the information processing system 5000 in step S24.
  • the doctor or the like in charge of the subject can make a diagnosis with reference to the diagnosis support information.
  • the diagnosis support information may be automatically entered in the electronic medical record or the image interpretation report of the subject. This is the end of the process according to this example.
  • the configuration for changing the focus position of the slit lamp microscope 1 is not limited to the focusing mechanisms 40 and 50 described above.
  • two or more images of the subject's eye are acquired using two or more imaging units (two or more anterior eye cameras) disclosed in Japanese Patent Application Laid-Open No. 2013-248376, and these images are analyzed to obtain a focus position. It is possible to configure to determine the (target position).
  • the slit lamp microscope of the present example includes an imaging unit, a drive unit, and a focusing control unit.
  • the imaging unit captures an eye to be examined and acquires a right image and a left image.
  • the drive unit drives the optical system including the imaging unit at least in the working distance direction.
  • the focusing control unit controls the driving unit to automatically perform the focusing operation on the subject's eye based on the right image and the left image output from the imaging unit.
  • the ophthalmologic system according to the present embodiment has substantially the same configuration as that of the first embodiment. The differences from the first embodiment will be mainly described below. In addition, about the element similar to 1st Embodiment, it represents with the same code
  • FIG. 5001 An exemplary configuration of an information processing system included in the ophthalmologic system according to the present embodiment is shown in FIG.
  • the information processing system 5001 is provided instead of the information processing system 5000 of the first embodiment shown in FIG. 1 or in addition to the information processing system 5000.
  • the information processing system 5001 differs from the information processing system 5000 of the first embodiment in that the inference processor 5120 includes a region of interest identification unit 5121.
  • the region-of-interest identifying unit 5121 analyzes the three-dimensional image of the eye to be examined E acquired by the slit lamp microscope 1 and input to the information processing system 5001 to identify the region of interest.
  • the region of interest is, for example, subjected to an inference process performed by the inference processor 5120. That is, the inference processor 5120 executes inference based on the region of interest specified from the three-dimensional image by the region-of-interest specifying unit 5121 and the knowledge stored in the knowledge storage unit 5320 to obtain the eye E to be examined. Diagnostic support information can be generated.
  • the region-of-interest identification process is performed, for example, in the same manner as in the related art.
  • the region-of-interest identification unit 5121 applies segmentation to a three-dimensional image to determine a predetermined region of the eye E (for example, a predetermined layer of the cornea, an iris, a pupil, a corner, a lens, a ciliary muscle, a chin Image regions corresponding to zonules, optic disc, macula, blood vessels, etc.) can be identified.
  • the region of interest identification unit 5121 can identify the feature site (for example, an abnormal site) by analyzing the size, thickness, shape, and the like of the partial area of the three-dimensional image.
  • any process such as edge detection, dimension measurement, feature extraction, pattern recognition, rendering, and cross-sectional transformation can be applied.
  • the ophthalmologic system according to the present embodiment has substantially the same configuration as that of the first embodiment. The differences from the first embodiment will be mainly described below. In addition, about the element similar to 1st Embodiment, it represents with the same code
  • FIG. 5002 An exemplary configuration of an information processing system included in the ophthalmologic system according to the present embodiment is shown in FIG.
  • the information processing system 5002 is provided instead of the information processing system 5000 of the first embodiment shown in FIG. 1 or in addition to the information processing system 5000.
  • the information processing system 5002 differs from the information processing system 5000 of the first embodiment in that the data processing unit 5100 includes a fusion image forming unit 5130.
  • the information processing system 5002 has a fusion image forming function, but another apparatus may have a fusion image forming function.
  • the ophthalmologic imaging apparatus 2000-i n slit lamp microscope 1 or other modalities device
  • the terminal 3000-n the terminal 3000-n
  • the plurality of ophthalmic imaging apparatus 2000-i n including the one or more slit lamp microscope 1, and one or more modality apparatus different from the slit lamp microscope type.
  • Other modality devices may be, for example, an ophthalmologic imaging device or an ophthalmologic examination device.
  • the ophthalmologic imaging apparatus include an optical coherence tomography, a fundus camera, an SLO, and a microscope for surgery.
  • ophthalmologic examination devices include specular microscopes, wave front analyzers, microperimeters, corneal topographers and the like.
  • the fusion image forming unit 5130 combines a three-dimensional image of the eye E obtained by the slit lamp microscope 1 with an image obtained by another modality device to form a fusion image.
  • Images acquired by other modality devices are, for example, three-dimensional images or three-dimensional images.
  • This image may be an image representing the form (structure) and / or the function of the eye E and may be a characteristic map of the eye E.
  • an image representing the morphology of the subject's eye E
  • an OCT morphological image for example, a three-dimensional image, a rendering image of a three-dimensional image, a two-dimensional cross-sectional image, a blood vessel enhanced image (angiogram), etc.
  • fundus photographs for example, color images, monochrome images, red free images, monochrome images, etc.
  • an image representing the function of the subject's eye E there are an OCT functional image (for example, phase image, blood flow image, polarization image etc.), a fundus picture (for example, fluorescein fluorescence image, indocyanine green fluorescence image, spontaneous fluorescence image etc) is there.
  • OCT functional image for example, phase image, blood flow image, polarization image etc.
  • fundus picture for example, fluorescein fluorescence image, indocyanine green fluorescence image, spontaneous fluorescence image etc.
  • modalities may not be ophthalmologic modalities.
  • an image of the eye to be examined E (or a peripheral site thereof) acquired by MRI, an ultrasonic diagnostic apparatus, PET, SPECT or the like can be subjected to a fusion imaging process.
  • the fusion image is an image obtained by combining two or more images of the same subject eye E.
  • the two or more images to be combined may be images of the same modality or may include images of two or more different modalities.
  • an image obtained by panoramic combination of two or more images obtained by photographing two or more different regions of the eye E to be examined is also included in the fusion image.
  • the imaging data storage unit 5310 processes an image of a modality different from the slit lamp microscope, data obtained by processing or analyzing an image of a modality different from the slit lamp microscope, a fusion image, or a fusion image.
  • the obtained data analyzed may be stored.
  • the knowledge storage unit 5320 can acquire knowledge acquired from images of modalities different from the slit lamp microscope, knowledge acquired from data obtained by processing or analyzing images of modalities different from the slit lamp microscope, and fusion images. Knowledge obtained from the image data obtained by processing or analyzing the fusion image may be stored.
  • the fusion image forming unit 5130 is synthesized from one or both of a three-dimensional image of the eye E obtained by the slit lamp microscope 1 and an image obtained by another modality device. Extract a partial image.
  • the partial image extraction process may be performed after the registration is performed.
  • the inference processor 5120 includes the fusion image (and the image before synthesis, the front image, the examinee information, other data, etc.) formed by the fusion image forming unit 5130 and the knowledge stored in the knowledge storage unit 5320. Can be performed to generate diagnosis support information on the eye E to be examined.
  • the ophthalmologic information processing apparatus includes only the latter of the knowledge acquisition function and the inference function.
  • the knowledge acquisition process is executed, for example, by another device having the same knowledge acquisition function as the information processing system 5000 of the first embodiment.
  • the ophthalmologic information processing apparatus receives and stores knowledge acquired by another apparatus.
  • the ophthalmologic information processing apparatus 6000 includes a control unit 6010, a data processing unit 6100, a communication unit 6200, and a storage device 6300.
  • the data processing unit 6100 includes an inference processor 6120. Unlike the data processing unit 5100 according to the first embodiment and the like, the data processing unit 6100 may not include the knowledge acquisition processor 5110.
  • Storage device 6300 includes a knowledge storage unit 6320 and a diagnosis support information storage unit 6330.
  • the control unit 6010 has, for example, the same configuration and the same function as the control unit 5010 in the first embodiment and the like.
  • the communication unit 6200 receives the three-dimensional image of the eye to be examined acquired by the slit lamp microscope via the communication path.
  • the communication unit 6200 has, for example, the same configuration and the same function as the communication unit 5200 in the first embodiment and the like.
  • the inference processor 6120 executes inference based on the three-dimensional image received by the communication unit 6200 and the knowledge stored in the knowledge storage unit 6320 to generate diagnosis support information of the eye to be examined.
  • the inference processor 6120 has, for example, the same configuration and the same function as the inference processor 5120 of the first embodiment and the like.
  • the diagnosis support information generated by the inference processor 6120 is stored in the diagnosis support information storage unit 6330 by the control unit 6010.
  • the diagnosis support information storage unit 6330 has, for example, the same configuration and the same function as the diagnosis support information storage unit 5330 in the first embodiment and the like.
  • Ophthalmic system according to the embodiment (1000), a plurality of ophthalmic photographing apparatus and (2000-i n), respectively a communication channel (N) connected to the image processing system through these ophthalmologic photographing apparatus (5000,5001, And 5002).
  • the plurality of ophthalmologic imaging apparatuses include a plurality of slit lamp microscopes (1).
  • Each of the plurality of ophthalmologic imaging apparatuses includes an image acquisition unit (observation imaging system 6, illumination system 8, moving mechanism 60, and the like) and a first communication unit (communication unit 170).
  • the image acquisition unit captures an eye of the subject and acquires a three-dimensional image.
  • the first communication unit transmits the three-dimensional image acquired by the image acquisition unit to the information processing system.
  • the information processing system includes a second communication unit (5200), an image storage unit (shooting data storage unit 5310), a first processor (knowledge acquisition processor 5110), a knowledge storage unit (5320), and a second processor (inference). And a processor 5120).
  • the second communication unit receives the three-dimensional image transmitted by the first communication unit of the ophthalmologic imaging apparatus.
  • the image storage unit stores a plurality of three-dimensional images received by the second communication unit.
  • the ophthalmologic information processing apparatus (information processing system 5000) according to the embodiment includes a communication unit (5200), an image storage unit (shooting data storage unit 5310), a first processor (knowledge acquisition processor 5110), and a knowledge storage unit (data acquisition unit 5110). 5320) and a second processor (inference processor 5120).
  • the communication unit receives, via the communication channel, a three-dimensional image of the eye of the subject acquired by each of the plurality of ophthalmologic imaging apparatuses including at least the plurality of slit lamp microscopes.
  • the image storage unit stores a plurality of three-dimensional images received by the communication unit.
  • the first processor performs at least one of machine learning and data mining based on the plurality of three-dimensional images stored in the image storage unit.
  • the knowledge storage unit stores the knowledge acquired by the first processor.
  • the second processor executes inference based on the three-dimensional image of the eye to be examined which has been transmitted from any of the plurality of slit lamp microscopes and received by the communication unit and the knowledge stored in the knowledge storage unit Generate
  • the analysis by artificial intelligence of the image acquired by the slit lamp microscope, which was difficult in the prior art, is preferably performed. It is possible to do.

Abstract

スリットランプ顕微鏡で取得された画像の人工知能による解析を好適に行う。例示的な実施形態の眼科システムにおいて、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置のそれぞれは、被検者の眼を撮影して３次元画像を取得し、この３次元画像を情報処理システムに向けて送信する。情報処理システムは、複数の３次元画像を格納し、これら３次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行し、それにより取得された知識を格納する。更に、情報処理システムは、複数のスリットランプ顕微鏡のいずれかにより取得された被検眼の３次元画像と格納されている知識とに基づく推論を実行して診断支援情報を生成する。

Description

眼科システム及び眼科情報処理装置
　本発明は、眼科システム及び眼科情報処理装置に関する。
　眼科分野において画像診断は重要な位置を占める。画像診断では、各種の眼科撮影装置が用いられる。眼科撮影装置には、スリットランプ顕微鏡、眼底カメラ、走査型レーザー検眼鏡（ＳＬＯ）、光干渉断層計（ＯＣＴ装置）などがある。また、レフラクトメータ、ケラトメータ、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、マイクロペリメータなどの各種の眼科検査装置にも、前眼部や眼底を撮影する機能が搭載されている。
　これら様々な眼科装置のうち最も広く且つ頻繁に使用される装置の一つがスリットランプ顕微鏡である。スリットランプ顕微鏡は、スリット光で被検眼を照明し、照明された断面を側方から顕微鏡で観察したり撮影したりするための眼科装置である。角膜や水晶体など前眼部の診断には、一般的にスリットランプ顕微鏡が用いられる。例えば、医師は、スリット光による照明野やフォーカス位置を移動させつつ診断部位全体を観察して異常の有無や程度を判断する。
　ところで、近年における人工知能技術の進歩は著しく、様々な分野への応用が進められている。医療分野への応用は、意思決定支援、データ分析、データマイニング、トランザクション（電子カルテシステム、オーダリングシステム、医事会計システムなど）、画像処理、画像解析、ロボット、遺伝子解析など、広範囲にわたる。
特開２０１６－１５９０７３号公報 特開２０１６－１７９００４号公報 特開２００７－１９５９９４号公報 特開２０１５－１５４９１８号公報 特開２０１５－５０１６６７号公報
　前述したように、スリットランプ顕微鏡は、眼科において最も広く且つ高頻度で使用される装置である。したがって、スリットランプ顕微鏡で取得された画像を多数収集して人工知能を用いて解析することは有効と考えられる。
　一方、スリットランプ顕微鏡を用いた撮影には、照明系の移動、撮影系の移動、スリット幅の設定、フォーカス位置の設定など、様々な操作が必要である。そのため、医師がスリットランプ顕微鏡を手動で操作しつつ撮影を行うことが多い。また、当該被検者の診断やインフォームドコンセントに必要な少数の撮影画像のみを保存することが一般的である。したがって、現状では、スリットランプ顕微鏡で取得された画像を多数収集して人工知能に提供することは難しい。
　本発明の目的は、スリットランプ顕微鏡で取得された画像の人工知能による解析を好適に行うことにある。
　実施形態の第１の態様は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置と、前記複数の眼科撮影装置のそれぞれと通信路を介して接続された情報処理システムとを含み、前記複数の眼科撮影装置のそれぞれは、被検者の眼を撮影して３次元画像を取得する画像取得部と、前記３次元画像を前記情報処理システムに向けて送信する第１通信部とを含み、前記情報処理システムは、前記第１通信部により送信された前記３次元画像を受信する第２通信部と、前記第２通信部により受信された複数の３次元画像を格納する画像格納部と、前記複数の３次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する第１プロセッサと、前記第１プロセッサにより取得された知識を格納する知識格納部と、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第２通信部により受信された被検眼の３次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する第２プロセッサとを含む眼科システムである。
　実施形態の第２の態様は、第１の態様の眼科システムであって、前記第２プロセッサは、前記被検眼の３次元画像を解析して関心領域を特定する関心領域特定部を含む。
　実施形態の第３の態様は、第２の態様の眼科システムであって、前記第２プロセッサは、前記関心領域と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する。
　実施形態の第４の態様は、第１～３の態様のいずれかの眼科システムであって、前記複数の眼科撮影装置は、スリットランプ顕微鏡と異なる種別の１以上のモダリティ装置を含み、前記複数のスリットランプ顕微鏡のいずれかにより取得された３次元画像と、前記１以上のモダリティ装置のいずれかにより取得された画像とを合成してフュージョン画像を形成するフュージョン画像形成部を含み、前記第２プロセッサは、前記フュージョン画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する。
　実施形態の第５の態様は、第４の態様の眼科システムであって、前記１以上のモダリティ装置は、１以上の光コヒーレンストモグラフィ（ＯＣＴ）装置を含み、前記フュージョン画像形成部は、前記複数のスリットランプ顕微鏡のいずれかにより取得された３次元画像と、前記１以上のＯＣＴ装置のいずれかにより取得された画像とを合成してフュージョン画像を形成する。
　実施形態の第６の態様は、第１～５の態様のいずれかの眼科システムであって、前記画像取得部は、更に、前記被検者の眼を撮影して正面画像を取得し、前記第１通信部は、前記３次元画像とともに前記正面画像を送信し、前記第２通信部は、前記第１通信部により送信された前記３次元画像及び前記正面画像を受信し、前記画像格納部は、前記第２通信部により受信された複数の３次元画像及び複数の正面画像を格納し、前記第１プロセッサは、前記複数の３次元画像及び前記複数の正面画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行し、前記知識格納部は、前記複数の３次元画像及び前記複数の正面画像に基づき前記第１プロセッサにより取得された知識を格納し、前記第２プロセッサは、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第２通信部により受信された被検眼の３次元画像及び正面画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する。
　実施形態の第７の態様は、第１～６の態様のいずれかの眼科システムであって、前記複数の眼科撮影装置のそれぞれは、被検者情報を受け付ける受付部を更に含み、前記第１通信部は、前記３次元画像とともに前記被検者情報を送信し、前記第２通信部は、前記第１通信部により送信された前記３次元画像及び前記被検者情報を受信し、前記画像格納部は、前記第２通信部により受信された複数の３次元画像及び複数の被検者情報を格納し、前記第１プロセッサは、前記複数の３次元画像及び前記複数の被検者情報に基づいて機械学習及びデータマイニングの少なくとも一方を実行し、前記知識格納部は、前記複数の３次元画像及び前記複数の被検者情報に基づき前記第１プロセッサにより取得された知識を格納し、前記第２プロセッサは、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第２通信部により受信された被検眼の３次元画像及び被検者情報と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する。
　実施形態の第８の態様は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置のそれぞれにより取得された被検者の眼の３次元画像を通信路を介して受け付ける通信部と、前記通信部により受信された複数の３次元画像を格納する画像格納部と、前記複数の３次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する第１プロセッサと、前記第１プロセッサにより取得された知識を格納する知識格納部と、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記通信部により受信された被検眼の３次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する第２プロセッサとを含む眼科情報処理装置である。
　実施形態の第９の態様は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置により取得された複数の３次元画像に基づき機械学習及びデータマイニングの少なくとも一方を実行して取得された知識を格納する知識格納部と、スリットランプ顕微鏡により取得された被検眼の３次元画像を通信路を介して受け付ける通信部と、前記３次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成するプロセッサとを含む眼科情報処理装置である。
　実施形態によれば、スリットランプ顕微鏡で取得された画像の人工知能による解析を好適に行うことができる。
例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの動作の一例を説明するための概略図。 例示的な実施形態に係る眼科システムの動作の一例を説明するための概略図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの使用形態の一例を表すシーケンス図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科情報処理装置の構成の一例を表す概略図。
　例示的な実施形態に係る眼科システム及び眼科情報処理装置について、図面を参照しながら詳細に説明する。なお、引用文献の開示事項や任意の公知技術を実施形態に組み合わせることができる。
　実施形態の眼科システムは、各種の施設に設置された眼科撮影装置や可搬型の眼科撮影装置により取得された画像（特に３次元画像）を、人工知能技術を利用して解析する。実施形態の眼科システムは、複数の眼科撮影装置を含む。複数の眼科撮影装置は、少なくとも、複数のスリットランプ顕微鏡を含む。
　複数の眼科撮影装置は、スリットランプ顕微鏡と異なる種別のモダリティ装置を含んでもよい。実施形態に適用可能なモダリティ装置の例として、光コヒーレンストモグラフィ装置（ＯＣＴ装置）、眼底カメラ、ＳＬＯ、手術用顕微鏡などがある。また、複数の眼科撮影装置は、被検眼を撮影するための撮影装置が搭載された眼科検査装置（例えば、レフラクトメータ、ケラトメータ、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、視野計、マイクロペリメータなど）を含んでいてもよい。
　眼科撮影装置が設置される施設の例として、医療機関、眼鏡店、健康診断会場、検診会場、患者の自宅、福祉施設、公共施設、検診車などがある。
〈第１実施形態：眼科システム〉
　実施形態に係る眼科システムの構成の例を説明する。図１に例示された眼科システム１０００は、眼科撮影が行われるＮ個の施設（第１施設～第Ｎ施設）のそれぞれと、情報処理システム５０００とを結ぶ通信路（通信回線）Ｎを利用して構築されている。
　各施設（第ｎ施設：ｎ＝１～Ｎ、Ｎは１以上の整数）には、眼科撮影装置２０００－ｉｎ（ｉｎ＝１～Ｋｎ、Ｋｎは１以上の整数）が設置されている。つまり、各施設（第ｎ施設）には、１以上の眼科撮影装置２０００－ｉｎが設置されている。眼科撮影装置２０００－ｉｎは、眼科システム１０００に含まれる。なお、眼科以外の検査を実施可能な検査装置が眼科システム１０００に含まれていてもよい。
　本例の眼科撮影装置２０００－ｉｎは、被検眼の撮影を実施する「撮影装置」としての機能と、各種データ処理や外部装置との通信を行う「コンピュータ」としての機能の双方を備えている。他の例において、撮影装置とコンピュータとを別々に設けることが可能である。この場合、撮影装置とコンピュータとは互いに通信可能に構成されてよい。更に、撮影装置の数とコンピュータの数とはそれぞれ任意であり、例えば単一のコンピュータと複数の撮影装置とを設けることができる。
　更に、各施設（第ｎ施設）には、被検者や補助者により使用される情報処理装置（端末３０００－ｎ）が設置されている。端末３０００－ｎは、当該施設において使用されるコンピュータであり、例えば、タブレット端末やスマートフォンなどのモバイル端末、当該施設に設置されたサーバなどであってよい。更に、端末３０００－ｎは、無線型イヤフォンなどのウェアラブルデバイスを含んでいてもよい。なお、端末３０００－ｎは、当該施設においてその機能を使用可能なコンピュータであれば十分であり、例えば、当該施設の外に設置されたコンピュータ（クラウドサーバなど）であってもよい。
　眼科撮影装置２０００－ｉｎと端末３０００－ｎとは、第ｎ施設内に構築されたネットワーク（施設内ＬＡＮなど）や、広域ネットワーク（インターネットなど）や、近距離通信技術を利用して通信を行えるように構成されてよい。
　眼科撮影装置２０００－ｉｎは、サーバとしての機能を備えていてよい。この構成が適用される場合、眼科撮影装置２０００－ｉｎと端末３０００－ｎとが直接に通信を行うように構成することができる。この場合、情報処理システム５０００と端末３０００－ｎとの間の通信を眼科撮影装置２０００－ｉｎを介して行うことができるので、端末３０００－ｎと情報処理システム５０００との間で通信を行う機能を設ける必要がなくなる。
　情報処理システム５０００は、例えば、眼科システム１を運用・管理するための施設に設置されている。情報処理システム５０００は、第１～第Ｎ施設に設置された眼科撮影装置２０００－ｉｎの少なくとも一部と通信路Ｎを介して通信が可能である。
　情報処理システム５０００は、データ処理機能を備えてもよい。例えば、情報処理システム５０００は、被検眼の複数の断面画像から３次元画像を形成する処理を実行する３次元画像形成部（プロセッサ、コンピュータプログラムなどを含む）を含んでいてよい。
　本実施形態において、「プロセッサ」は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、プログラマブル論理デバイス（例えば、ＳＰＬＤ（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ））などの回路を意味する。プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムやデータを読み出し実行することで、実施形態に係る機能を実現することができる。
〈眼科撮影装置の構成〉
　眼科撮影装置２０００－ｉｎの構成について説明する。前述したように、眼科撮影装置２０００－ｉｎは任意のモダリティであってよいが、本実施形態ではスリットランプ顕微鏡が適用される。
　ここで、方向を定義しておく。スリットランプ顕微鏡の光学系において最も被検者側に位置するレンズ（対物レンズ）から被検者に向かう方向を前方向（又は、深さ方向、奥行き方向など）とし、その逆方向を後方向とする。また、前方向に直交する水平方向を左右方向とする。更に、前後方向と左右方向の双方に直交する方向を上下方向とする。
　例示的なスリットランプ顕微鏡の外観構成を図２に示す。スリットランプ顕微鏡１には、コンピュータ１００が接続されている。コンピュータ１００は、各種の制御処理や演算処理を行う。顕微鏡本体（光学系などを格納する筐体）とは別にコンピュータ１００を設ける代わりに、顕微鏡本体に同様のコンピュータを搭載した構成を適用することも可能である。コンピュータ１００の少なくとも一部と、前述した端末３０００－ｎの少なくとも一部とが共通であってもよい。
　スリットランプ顕微鏡１はテーブル２上に載置される。基台４は、移動機構部３を介して水平方向に移動可能に構成されている。基台４は、操作ハンドル５を傾倒操作することにより移動される。
　基台４の上面には、観察撮影系６及び照明系８を支持する支持部１５が設けられている。支持部１５には、観察撮影系６を支持する支持アーム１６が左右方向に回動可能に取り付けられている。支持アーム１６の上部には、照明系８を支持する支持アーム１７が左右方向に回動可能に取り付けられている。支持アーム１６及び１７は、それぞれ独立に且つ互いに同軸で回動可能とされている。
　観察撮影系６は、支持アーム１６を回動させることで移動される。照明系８は、支持アーム１７を回動させることで移動される。支持アーム１６及び１７のそれぞれは、電気的な機構によって回動される。移動機構部３には、支持アーム１６を回動させるための機構と、支持アーム１７を回動させるための機構とが設けられている。なお、支持アーム１６を手動で回動させることによって観察撮影系６を移動することもできる。同様に、支持アーム１７を手動で回動させることによって照明系８を移動することもできる。
　照明系８は、被検眼Ｅに照明光を照射する。前述のように、照明系８を左右方向に回動することができる。更に、照明系８を上下方向に回動できるように構成されてもよい。つまり、照明系８の仰角や俯角を変更できるように構成されていてもよい。このような照明系８のスイング動作により、被検眼Ｅに対する照明光の投射方向が変更される。
　観察撮影系６は、被検眼Ｅに投射された照明光の戻り光を案内する左右一対の光学系を有する。この光学系は鏡筒本体９内に収納されている。鏡筒本体９の終端は接眼部９ａである。検者は接眼部９ａをのぞき込むことで被検眼Ｅを観察する。前述のように、支持アーム１６を回動させることにより鏡筒本体９を左右方向に回動させることができる。更に、観察撮影系６を上下方向に回動できるように構成されてもよい。つまり、観察撮影系６の仰角や俯角を変更できるように構成されていてもよい。このような観察撮影系６のスイング動作により、被検眼Ｅを撮影する方向を変更することができる。
　鏡筒本体９に対峙する位置には顎受け台１０が配置されている。顎受け台１０には、被検者の顔を安定配置させるための顎受部１０ａと額当て１０ｂが設けられている。
　鏡筒本体９の側面には、倍率を変更するための倍率操作ノブ１１が配置されている。更に、鏡筒本体９には、被検眼Ｅを撮影するための撮像装置１３が接続されている。撮像装置１３は撮像素子を含む。撮像素子は、光を検出して画像信号ＧＳ（電気信号）を出力する光電変換素子である。画像信号ＧＳはコンピュータ１００に入力される。撮像素子としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが用いられる。照明系８の下方位置には、照明系８から出力される照明光束を被検眼Ｅに向けて反射するミラー１２が配置されている。
〈光学系の構成〉
　スリットランプ顕微鏡１の光学系の構成例を図３に示す。前述したように、スリットランプ顕微鏡１は、観察撮影系６と照明系８とを備えている。
〈観察撮影系６〉
　観察撮影系６は左右一対の光学系を備えている。左右の光学系は、ほぼ同様の構成を有する。検者は、この左右の光学系により被検眼Ｅを双眼で観察することができる。なお、図３には、観察撮影系６の左右の光学系の一方のみが示されている。観察撮影系６は、左右の光学系の一方のみを備えていてもよい。符号Ｏ１は、観察撮影系６の光軸を示す。
　観察撮影系６の左右の光学系のそれぞれは、対物レンズ３１、変倍光学系３２、ビームスプリッタ３４、結像レンズ３５、プリズム３６、及び接眼レンズ３７を含む。ここで、ビームスプリッタ３４は、左右の光学系の一方又は双方に設けられる。接眼レンズ３７は、接眼部９ａ内に設けられている。符号Ｐは、接眼レンズ３７に導かれる光の結像位置を示す。符号Ｅｃは被検眼Ｅの角膜を示す。符号Ｅｏは検者眼を示す。
　変倍光学系３２は、複数（例えば３枚）の変倍レンズ３２ａ、３２ｂ、３２ｃを含む。本実施形態では、観察撮影系６の光路に対して選択的に挿入可能な複数の変倍レンズ群が設けられている。これら変倍レンズ群は、それぞれ異なる倍率に対応する。観察撮影系６の光路に配置された変倍レンズ群が変倍光学系３２として用いられる。このような変倍レンズ群の選択的な挿入により、被検眼Ｅの観察像や撮影画像の倍率（画角）を変更することができる。倍率の変更、つまり観察撮影系６の光路に配置される変倍レンズ群の切り替えは、倍率操作ノブ１１を操作することにより行われる。また、図示しないスイッチなどを用いて電動で倍率を変更することもできる。
　ビームスプリッタ３４は、光軸Ｏ１に沿って進む光の光路を、光軸Ｏ１の延長上に位置する光路と、光軸Ｏ１に対して直交する光路とに分割する。光軸Ｏ１の延長上に位置する光路に入射した光は、結像レンズ３５、プリズム３６及び接眼レンズ３７を介して検者眼Ｅｏに導かれる。プリズム３６は、光の進行方向を上方に平行移動させる。
　一方、光軸Ｏ１に対して直交する光路に入射した光は、集光レンズ４１及びミラー４２を介して、撮像装置１３の撮像素子４３に導かれる。すなわち、観察撮影系６は、被検眼Ｅからの戻り光を撮像装置１３に導く。撮像素子４３は、この戻り光を検出して画像信号ＧＳを生成する。
　観察撮影系６は、そのフォーカス位置を変更するための合焦機構４０を含む。合焦機構４０は、光軸Ｏ１に沿って対物レンズ３１を移動させる。例えば、合焦機構４０は、対物レンズ３１を保持する保持部材と、この保持部材を光軸Ｏ１の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。
　対物レンズ３１の移動は、自動及び／又は手動で行われる。自動で対物レンズ３１を移動する場合、例えば、コンピュータ１００は、公知のフォーカス調整手法（例えば、位相差検出方式、コントラスト検出方式など）を用いて、被検眼Ｅからの戻り光に基づきフォーカス位置を求めることができる。更に、コンピュータ１００は、求められたフォーカス位置まで対物レンズ３１を光軸Ｏ１に沿って移動するようにアクチュエータを制御することができる。一方、手動で対物レンズ３１を移動する場合、ユーザーによる操作に応じてアクチュエータが対物レンズ３１を光軸Ｏ１に沿って移動させる。
　なお、観察撮影系６は、対物レンズ３１と撮像素子４３との間の光軸Ｏ１上の位置に配置された第１合焦レンズを含んでもよい。この場合、合焦機構４０は、第１合焦レンズを光軸Ｏ１に沿って移動させることによって観察撮影系６のフォーカス位置を変更する。例えば、合焦機構４０は、第１合焦レンズを保持する保持部材と、この保持部材を光軸Ｏ１の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ３１を移動させる場合と同様に、合焦機構４０による第１合焦レンズの移動は、自動又は手動で行われる。
　また、観察撮影系６の全体（又は一部）が光軸Ｏ１に沿って移動可能に構成されていてもよい。この場合、合焦機構４０は、観察撮影系６の全体を光軸Ｏ１に沿って移動させることによって、観察撮影系６のフォーカス位置を変更する。例えば、合焦機構４０は、観察撮影系６が搭載された可動ステージと、この可動ステージを光軸Ｏ１の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ３１を移動させる場合と同様に、合焦機構４０による観察撮影系６の移動は、自動又は手動で行われる。
〈照明系８〉
　照明系８は、照明光源５１、集光レンズ５２、細隙（スリット）形成部５３、及び対物レンズ５４を含む。符号Ｏ２は、照明系８の光軸を示す。
　照明光源５１は照明光を出力する。なお、照明系８に複数の光源を設けてもよい。例えば、定常光を出力する光源（例えば、ハロゲンランプ、発光ダイオード（ＬＥＤ）など）と、フラッシュ光を出力する光源（例えば、キセノンランプ、ＬＥＤなど）の双方を照明光源５１として設けることができる。また、前眼部観察用の光源と後眼部観察用の光源とを別々に設けてもよい。例えば、照明光源５１は、可視光を出力する可視光源を含む。照明光源５１は、赤外光（例えば、中心波長が８００ｎｍ～１０００ｎｍの光）を出力する赤外光源を含んでもよい。
　細隙形成部５３は、スリット光を生成するために用いられる。細隙形成部５３は、一対のスリット刃を有する。これらスリット刃の間隔（スリット幅）を変更することにより、生成されるスリット光の幅を変更することができる。
　照明系８は、スリット光のフォーカス位置を変更するための合焦機構５０を含む。合焦機構５０は、対物レンズ５４を光軸Ｏ２に沿って移動させる。例えば、合焦機構５０は、対物レンズ５４を保持する保持部材と、この保持部材を光軸Ｏ１の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。
　対物レンズ５４の移動は、自動及び／又は手動で行われる。自動で対物レンズ５４を移動する場合、例えば、コンピュータ１００は、被検眼Ｅからの戻り光に基づく像が描出された画像を解析することによってフォーカス位置を求めることができる。更に、コンピュータ１００は、求められたフォーカス位置まで対物レンズ５４を光軸Ｏ２に沿って移動するようにアクチュエータを制御することができる。一方、手動で対物レンズ５４を移動する場合には、ユーザーによる操作に応じてアクチュエータが対物レンズ５４を光軸Ｏ２に沿って移動させる。
　なお、照明系８は、対物レンズ５４と細隙形成部５３との間の光軸Ｏ２上の位置に配置された第２合焦レンズを含んでもよい。この場合、合焦機構５０は、第２合焦レンズを光軸Ｏ２に沿って移動させることによって、スリット光のフォーカス位置を変更する。例えば、合焦機構５０は、第２合焦レンズを保持する保持部材と、この保持部材を光軸Ｏ２の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ５４を移動させる場合と同様に、合焦機構５０による第２合焦レンズの移動は、自動又は手動で行われる。
　また、照明系８の全体（又は一部）が光軸Ｏ２に沿って移動可能に構成されていてもよい。この場合、合焦機構５０は、照明系８の全体を光軸Ｏ２に沿って移動させることによって、スリット光のフォーカス位置を変更する。例えば、合焦機構５０は、照明系８が搭載された可動ステージと、この可動ステージを光軸Ｏ２の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ５４を移動させる場合と同様に、合焦機構５０による照明系８の移動は、自動又は手動で行われる。
　図３では図示が省略されているが、照明系８から出力される照明光束を被検眼Ｅに向けて反射するミラー１２が光軸Ｏ２上に配置されている。典型的には、照明系８とミラー１２とが一体的に回動するように構成されている。
　スリットランプ顕微鏡１は、被検眼Ｅに対する照明角度及び撮影角度を変更しつつ被検眼Ｅを複数回撮影して複数の画像を取得することができる。換言すると、スリットランプ顕微鏡１は、照明系８及び観察撮影系６を回動させつつ被検眼Ｅを複数回撮影することで、被検眼Ｅの複数の断面画像を取得することができる。
　このような制御により取得された複数の断面画像のそれぞれには、その取得位置（断面位置）を示す位置情報が関連付けられる。この位置情報は、例えば、照明系８の回動位置、観察撮影系６の回動位置、被検眼Ｅの正面画像における断面の位置など、及び／又は、これらのいずれかに基づき求められた情報が含まれる。
　照明系８の回動位置や観察撮影系６の回動位置は、例えば、エンコーダーなどを含む回動位置検出部によって検出することができる。或いは、照明系８の回動位置や観察撮影系６の回動位置は、それを制御するコンピュータ１００によって認識可能である。また、被検眼Ｅの正面画像における断面の位置は、例えば、別途に取得された被検眼Ｅの正面画像と、回動位置検出部による検出の結果とに基づいて求めることができる。詳細は後述するが、このような位置情報と複数の断面画像とに基づいて、被検眼Ｅの３次元画像を形成することができる。
　なお、照明角度及び撮影角度を変更しつつ行われる複数回の撮影は、照明角度及び／又は撮影角度が変更されているときに行われてもよいし、照明角度及び／又は撮影角度の変更が停止されているときに行われてもよい。また、照明角度の変更は連続的でも断続的でもよいし、撮影角度の変更は連続的でも断続的でもよい。
　スリットランプ顕微鏡１は、被検眼Ｅに対するフォーカス位置を変更しつつ被検眼Ｅを複数回撮影して複数の画像を取得することができる。より具体的には、スリットランプ顕微鏡１は、観察撮影系６のフォーカス位置及び照明系８のフォーカス位置の少なくとも一方を変更しつつ被検眼Ｅを複数回撮影することで、被検眼Ｅの複数の断面画像を取得することができる。
　このような制御により取得された複数の断面画像のそれぞれには、その取得位置（フォーカス位置）を示す位置情報が関連付けられる。この位置情報は、例えば、合焦機構４０に対する制御内容、合焦機構５０に対する制御内容、合焦機構４０により移動される対象（例えば、対物レンズ３１、第１合焦レンズ、又は観察撮影系６）の位置、合焦機構５０により移動される対象（例えば、対物レンズ５４、第２合焦レンズ、又は照明系８）の位置など、及び／又は、これらのいずれかに基づき求められた情報が含まれる。
　合焦機構４０又は５０に対する制御内容は、例えば、それを制御するコンピュータ１００によって認識可能である。合焦機構４０又は５０により移動される対象の位置は、例えば、エンコーダーなどを含む位置検出部によって検出することができる。詳細は後述するが、このような位置情報と複数の断面画像とに基づいて、被検眼Ｅの３次元画像を形成することができる。
　なお、フォーカス位置を変更しつつ行われる複数回の撮影は、フォーカス位置が変更されているときに行われてもよいし、フォーカス位置の変更が停止されているときに行われてもよい。また、フォーカス位置の変更は連続的でも断続的でもよい。
　上記した２つの制御を組み合わせることができる。すなわち、スリットランプ顕微鏡１は、照明角度と撮影角度とフォーカス位置とを変更しつつ被検眼Ｅを複数回撮影して複数の断面画像を取得することが可能である。このような制御により取得された複数の断面画像のそれぞれには、その取得位置（断面位置及びフォーカス位置）を示す位置情報が関連付けられる。
〈制御系の構成〉
　スリットランプ顕微鏡１の制御系について、図４～図６を参照しながら説明する。スリットランプ顕微鏡１の制御系の構成例を図４に示す。なお、制御系を構成する複数の要素の少なくとも一部がコンピュータ１００に含まれていてもよい。
〈制御部１０１〉
　制御部１０１は、スリットランプ顕微鏡１の各部を制御する。制御部１０１は、観察撮影系６、照明系８、表示部１３０、通信部１７０などを制御する。
　観察撮影系６の制御としては、変倍光学系３２の制御、撮像素子４３の制御、合焦機構４０の制御、観察撮影系６を移動させるための移動機構６０の制御、フォーカス位置検出部１５０の制御、スキャン位置検出部１６０の制御などがある。変倍光学系３２の制御としては、倍率操作ノブ１１に対する操作内容を受けて被検眼Ｅの肉眼観察像や撮影画像の倍率を変更する制御などがある。撮像素子４３の制御としては、撮像素子４３の電荷蓄積時間、感度、フレームレートなどを変更する制御や、撮像素子４３により得られた画像信号ＧＳを画像合成部１２０に送る制御などがある。合焦機構４０の制御としては、合焦機構４０による観察撮影系６のフォーカス位置を変更する制御などがある。移動機構６０は、例えば、移動機構部３と、支持アーム１６及び１７と、支持アーム１６及び１７を移動する機構とを含む。移動機構６０の制御としては、観察撮影系６を回動する制御などがある。フォーカス位置検出部１５０の制御としては、フォーカス位置検出部１５０により検出された位置を取得し、取得された位置を画像合成部１２０に送る制御などがある。スキャン位置検出部１６０の制御としては、スキャン位置検出部１６０により検出された位置を取得し、取得された位置を画像合成部１２０に送る制御などがある。
　照明系８の制御としては、照明光源５１の制御、細隙形成部５３の制御、合焦機構５０の制御、照明系８を移動させるための移動機構６０の制御、フォーカス位置検出部１５０の制御、スキャン位置検出部１６０の制御などがある。照明光源５１の制御としては、照明光源５１の点灯／消灯の切り換え、照明光の光量を変更する制御などがある。細隙形成部５３の制御としては、スリット幅を変更する制御、スリットを平行移動する制御、スリットを回転する制御などがある。合焦機構５０の制御としては、合焦機構５０によるスリット光のフォーカス位置（照明系８のフォーカス位置）を変更する制御などがある。移動機構６０の制御としては、照明系８を移動する制御などがある。フォーカス位置検出部１５０の制御としては、フォーカス位置検出部１５０により検出された位置を取得し、取得された位置を画像合成部１２０に送る制御などがある。スキャン位置検出部１６０の制御としては、スキャン位置検出部１６０により検出された位置を取得し、取得された位置を画像合成部１２０に送る制御などがある。
　制御部１０１は、合焦制御部１０１Ａと、スキャン制御部１０１Ｂと、記憶部１０２とを含む。
　合焦制御部１０１Ａは、観察撮影系６のフォーカス位置の制御と、照明系８のフォーカス位置の制御とを実行する
　図５を参照しつつ合焦制御部１０１Ａの動作について説明する。図５は、被検眼Ｅの角膜Ｅｃに対する観察撮影系６及び照明系８のフォーカス位置を模式的に表したものである。前述したように、符号３１は観察撮影系６の対物レンズであり、符号５４は照明系８の対物レンズである。符号Ｃｆは、角膜Ｅｃの前面を示し、符号Ｃｂは角膜Ｅｃの後面を示す。符号Ｃｃは、角膜Ｅｃ（角膜前面Ｃｆ）の曲率中心位置を示す。例えば、観察撮影系６及び照明系８の回動軸は、曲率中心位置Ｃｃに実質的に一致される。
　合焦制御部１０１Ａは、被検眼Ｅの関心部位に対する深さ方向（つまり、回動動作における動径方向）のスキャン（ｒスキャン）を制御する。合焦制御部１０１Ａは、合焦機構４０と合焦機構５０とを連係的に制御することができる。例えば、合焦制御部１０１Ａは、合焦機構４０及び合焦機構５０を制御して、関心部位の深さ方向（つまり、被検眼Ｅにおける奥行き方向）の位置ＰＳ１、ＰＳ２、ＰＳ３の順番に観察撮影系６のフォーカス位置及び照明系８のフォーカス位置を変更する。観察撮影系６は、各フォーカス位置に対応した被写界深度で被検眼Ｅを撮影することができる。例えば、観察撮影系６は、位置ＰＳ１に対応した被写界深度ＰＣ１における被検眼Ｅの画像を取得することができる。
　合焦制御部１０１Ａは、撮像装置１３に画像を取得させる制御と上記の連係的制御とを交互に実行することができる。それにより、合焦制御部１０１Ａは、被検眼Ｅの関心部位の深さ方向について複数の断面画像の取得を制御することができる。例えば、合焦制御部１０１Ａは、位置ＰＳ１を含む断面の画像と、位置ＰＳ２を含む断面の画像と、位置ＰＳ３を含む断面の画像とを順次に取得するように制御を行うことができる。
　スキャン制御部１０１Ｂは、被検眼Ｅの関心部位に対するスキャン位置を水平方向（深さ方向に略直交する方向）に移動するための制御を行う。なお、詳細な説明は省略するが、水平方向と深さ方向との双方に略直交する上下方向にスキャン位置を移動するための制御についても、同じ要領で実行することができる。
　図６を参照しつつスキャン制御部１０１Ｂの動作について説明する。図６は、角膜Ｅｃに対する観察撮影系６及び照明系８のフォーカス位置を模式的に表したものである。なお、図６において、図５と同様の部分には同一符号を付し、適宜説明を省略する。
　スキャン制御部１０１Ｂは、被検眼Ｅの関心部位に対する水平方向（つまり、回動動作における偏角方向）のスキャン（θスキャン）を制御する。スキャン制御部１０１Ｂは、例えば、照明系８の回動と観察撮影系６の回動とを連係させるように移動機構６０を制御する。例えば、スキャン制御部１０１Ｂは、水平方向のスキャン位置ＰＳ１、ＰＳ１１、ＰＳ１２の順番に観察撮影系６及び照明系８を移動させる。
　スキャン制御部１０１Ｂは、撮像装置１３に画像を取得させる制御と移動機構６０の制御とを交互に実行することができる。それにより、スキャン制御部１０１Ｂは、被検眼Ｅの関心部位において水平方向に配列された複数の断面画像を取得するための制御を行うことができる。例えば、スキャン制御部１０１Ｂは、位置ＰＳ１を含む断面の画像と、位置ＰＳ１１を含む断面の画像と、位置ＰＳ１２を含む断面の画像とを順次に取得するように制御を行うことができる。
　水平方向の位置ＰＳ１、ＰＳ１１、ＰＳ１２のそれぞれにおいて、合焦制御部１０１Ａは、観察撮影系６のフォーカス位置及び照明系８のフォーカス位置を深さ方向に変更することができる。それにより、位置ＰＳ１、ＰＳ２、ＰＳ３、ＰＳ１１、ＰＳ２１、ＰＳ３１、ＰＳ１２、ＰＳ２２、ＰＳ３２のそれぞれについて断面画像を取得することができる。
　記憶部１０２は、各種のコンピュータプログラムやデータを記憶する。コンピュータプログラムには、所定の動作モードにしたがってスリットランプ顕微鏡１を動作させるための演算プログラムや制御プログラムが含まれる。データには、各種の検査において使用されるデータが含まれる。このようなデータの例として、スキャン情報がある。スキャン情報は、例えば、関心部位の複数のスキャン位置に観察撮影系６及び照明系８を移動させるための制御情報と、各スキャン位置について１以上の深さ方向の位置に観察撮影系６及び照明系８のフォーカス位置を変更するための制御情報とを含む。これら制御情報は、事前に記憶部１０２に保存される。制御部１０１は、記憶部１０２に記憶されたコンピュータプログラム及びスキャン情報を用いて、スキャン制御部１０１Ｂによる水平方向のスキャン位置を制御と、合焦制御部１０１Ａによるフォーカス位置の制御とを、個別的に又は連係的に実行することができる。
　スリットランプ顕微鏡１について１以上の動作モードが予め設けられていてよい。本実施形態では、３次元撮影モードを設けることができる。３次元撮影モードは、被検眼の３次元画像を取得するための動作モードである。３次元撮影モードにおいて、スリットランプ顕微鏡１の制御部１０１は、照明系８と観察撮影系６と移動機構６０と合焦機構４０及び５０とを連係的に制御することにより、被検眼Ｅの複数の断面画像を撮像装置１３に取得させる。なお、スリットランプ顕微鏡１の動作モードは３次元撮影モードに限定されない。
　動作モードの指定は、例えば、スリットランプ顕微鏡１の操作部１４０又は端末３０００－ｎを用いて行われる。或いは、通信路Ｎを介してスリットランプ顕微鏡１に接続された装置を用いて動作モードを指定することも可能である。例えば、遠隔地に居る医師が使用するコンピュータを用いて動作モードを指定することが可能である。
　動作モードの指定態様はこのような手動指定に限定されない。例えば、当該被検者に対して過去に適用された動作モードを電子カルテなどから取得し、これを指定することができる。また、特定疾患に予め対応付けられた動作モードを自動で指定することができる。また、検査の種別（例えば、スクリーニング、検診、健康診断、一般診療など）に予め対応付けられた動作モードを自動で指定することができる。
　制御部１０１は、プロセッサ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスクドライブなどを含む。ＲＯＭやハードディスクドライブなどの記憶装置には、制御プログラムがあらかじめ記憶されている。制御部１０１の動作は、制御プログラムなどのソフトウェアと、プロセッサなどのハードウェアとが協働することによって実現される。制御部１０１は、スリットランプ顕微鏡１の本体（例えば基台４内）やコンピュータ１００に配置される。
〈画像合成部１２０〉
　画像合成部１２０は、合焦制御部１０１Ａ及び／又はスキャン制御部１０１Ｂが実行する上記制御にしたがって撮像装置１３により取得された複数の断面画像を合成する。
　例えば、画像合成部１２０は、合焦機構４０及び合焦機構５０によりフォーカス位置を変更しつつ撮像装置１３により取得された複数の断面画像を合成する。この場合、複数の断面画像は深さ方向に配列されている。換言すると、複数の断面画像がそれぞれ描写する複数の断面は、同一平面内に配置されている。このような複数の断面画像から構築される合成画像は、個々の断面画像よりも深い被写界深度の（換言すると、パンフォーカスの、又は、ディープフォーカスの）２次元断面画像である。
　画像合成部１２０は、断面が同一の平面内に配置されていない複数の（２次元）断面画像を合成することにより３次元画像を形成することができる。３次元画像とは、３次元座標系により画素の位置が定義された画像（画像データ）を意味する。
　３次元画像の例として、複数の断面画像のスタックデータがある。スタックデータは、複数のスキャン位置において得られた複数の断面画像を、スキャン位置の位置関係に基づいて３次元的に配置して得られる画像データである。より具体的に説明すると、スタックデータは、元々個別の２次元座標系により定義されていた複数の断面画像を、同じ３次元座標系により表現する（つまり、同じ３次元空間に埋め込む）ことにより得られる画像データである。
　３次元画像の他の例としてボリュームデータ（ボクセルデータとも呼ばれる）がある。ボリュームデータは、３次元的な画素であるボクセルが３次元的に配列された画像データである。ボリュームデータは、例えば、スタックデータに補間処理を施し、画素を３次元化（ボクセル化）することによって形成される。
　このような画像合成処理を実行するために、画像合成部１２０は、配列処理部１２１と合成処理部１２２とを含む。
　配列処理部１２１は、前述したｒスキャン、θスキャン、又はこれらの組み合わせにより取得された複数の断面画像の配列を、これら断面画像に関連付けられた位置情報（例えば、フォーカス位置、断面位置）に基づき特定し、特定された配列にしたがって複数の断面画像を配置する。
　例えば、配列処理部１２１は、フォーカス位置検出部１５０により検出されたスリット光のフォーカス位置（例えば、前述した位置情報）を制御部１０１から受けて複数の断面画像を配列する。また、配列処理部１２１は、スキャン位置検出部１６０により検出された観察撮影系６及び照明系８の回動位置（例えば、前述した位置情報）を制御部１０１から受けて複数の断面画像を配列する。
　合成処理部１２２は、配列処理部１２１により配列された複数の断面画像を合成する。この画像合成処理は、例えば、スタックデータを形成する処理を含んでよく、ボリュームデータを形成する処理を更に含んでよい。
　このような一連の処理を実行することにより、画像合成部１２０は、被検眼Ｅの複数の断面画像に基づく３次元画像や２次元画像を形成することができる。
　他の例において、画像合成部１２０は、前述した位置情報を用いることなく複数の断面画像を合成することができる。例えば、画像合成部１２０は、異なる２以上の断面画像において共通の部位を描出している画像領域（共通領域）を画像解析によって特定し、特定された共通領域が重なるようにこれら断面画像を貼り合わせることができる。このような画像解析が適用される場合、フォーカス位置検出部１５０やスキャン位置検出部１６０が設けられる必要はない。ただし、フォーカス位置検出部１５０やスキャン位置検出部１６０により得られた情報を「画像の位置の粗調整」に利用し、その後に画像解析による「画像の位置の粗調整」を行うようにしてもよい。
　画像合成部１２０の機能の少なくとも一部が、スリットランプ顕微鏡１と異なる装置に設けられていてもよい。例えば、スリットランプ顕微鏡１との間で通信が可能なコンピュータに、画像合成部１２０の機能の少なくとも一部を設けることができる。その具体例として、スリットランプ顕微鏡１が設置されている施設に設けられたコンピュータ（例えば、端末３０００－ｎ、サーバなど）に、画像合成部１２０の機能の少なくとも一部を設けることができる。或いは、情報処理システム５０００又はこれとの間で通信が可能なコンピュータに、画像合成部１２０の機能の少なくとも一部を設けることができる。
〈フォーカス位置検出部１５０〉
　フォーカス位置検出部１５０は、例えば、観察撮影系６のフォーカス位置を検出する第１フォーカス位置検出部と、照明系８のフォーカス位置を検出する第２フォーカス位置検出部とを含む。第１フォーカス位置検出部及び／又は第２フォーカス位置検出部は、例えば、エンコーダーやポテンショメーターなどの位置センサーを含んでよい。
　或いは、第１フォーカス位置検出部は、合焦制御部１０１Ａが観察撮影系６に対して実行した制御の内容（つまり、制御の履歴）に基づいて観察撮影系６のフォーカス位置を求めるプロセッサを含んでもよい。同様に、第２フォーカス位置検出部は、合焦制御部１０１Ａが照明系８に対して実行した制御の内容（つまり、制御の履歴）に基づいて照明系８のフォーカス位置を求めるプロセッサを含んでもよい。
〈スキャン位置検出部１６０〉
　スキャン位置検出部１６０は、例えば、観察撮影系６の位置を検出する第１位置検出部と、照明系８の位置を検出する第２位置検出部とを含む。第１位置検出部及び／又は第２位置検出部は、例えば、基台４の位置を検出するための位置センサーと、支持アーム１６及び１７の位置を検出するための回動角度センサーとを含む。
　或いは、第１位置検出部は、スキャン制御部１０１Ｂが観察撮影系６に対して実行した制御の内容（つまり、制御の履歴）に基づいて観察撮影系６の位置を求めるプロセッサを含んでもよい。同様に、第２位置検出部は、スキャン制御部１０１Ｂが照明系８に対して実行した制御の内容（つまり、制御の履歴）に基づいて照明系８の位置を求めるプロセッサを含んでもよい。
〈表示部１３０〉
　表示部１３０は、制御部１０１の制御を受けて各種の情報を表示する。例えば、表示部１３０は、液晶ディスプレイ（ＬＣＤ）などのフラットパネルディスプレイを含む。表示部１３０は、スリットランプ顕微鏡１の本体に設けられていてもよいし、コンピュータ１００に設けられていてもよい。
〈操作部１４０〉
　操作部１４０は、スリットランプ顕微鏡１を操作するための操作デバイスや、情報を入力するための入力デバイスを含む。操作部１４０には、スリットランプ顕微鏡１に設けられたボタンやスイッチ（例えば、操作ハンドル５、倍率操作ノブ１１など）や、コンピュータ１００に設けられた操作デバイス（例えば、マウス、キーボードなど）が含まれる。また、操作部１４０は、トラックボール、操作パネル、スイッチ、ボタン、ダイアルなど、任意の操作デバイスや入力デバイスを含んでいてよい。
　図４では、表示部１３０と操作部１４０とを別々に表しているが、表示部１３０の少なくとも一部と操作部１４０の少なくとも一部とが同じデバイスであってもよい。その具体例として、タッチスクリーンがある。
〈通信部１７０〉
　通信部１７０は、スリットランプ顕微鏡１と他の装置との間におけるデータ通信を行う。データ通信の方式は任意である。例えば、通信部１７０は、インターネットに準拠した通信インターフェイス、専用線に準拠した通信インターフェイス、ＬＡＮに準拠した通信インターフェイス、近距離通信に準拠した通信インターフェイスなどを含む。データ通信は有線通信でも無線通信でもよい。
　通信部１７０により送受信されるデータは暗号化されていてよい。その場合、例えば、制御部１０１は、送信データを暗号化する暗号化処理部と、受信データを復号化する復号化処理部とを含む。
〈情報処理システム５０００〉
　情報処理システム５０００の構成について説明する。図７に例示された情報処理システム５０００は、制御部５０１０と、データ処理部５１００と、通信部５２００と、記憶装置５３００とを含む。
〈制御部５０１０〉
　制御部５０１０は、情報処理システム５０００の各部の制御を実行する。制御部５０１０は、その他の演算処理を実行可能であってよい。制御部５０１０は、プロセッサ、ＲＡＭ、ＲＯＭ、ハードディスクドライブ、ソリッドステートドライブなどを含む。
〈データ処理部５１００〉
　データ処理部５１００は、各種のデータ処理を実行する。データ処理部５１００は、プロセッサ、ＲＡＭ、ＲＯＭ、ハードディスクドライブ、ソリッドステートドライブなどを含む。
　データ処理部５１００は、スリットランプ顕微鏡１（眼科撮影装置２０００－ｉｎ）から送信された複数の断面画像から３次元画像（例えば、スタックデータ又はボリュームデータ）を構築する機能を備えていてよい。また、データ処理部５１００は、スリットランプ顕微鏡１（眼科撮影装置２０００－ｉｎ）から送信されたスタックデータからボリュームデータを構築する機能を備えていてよい。
　データ処理部５１００は、レンダリング機能を備えていてよい。例えば、データ処理部５１００は、眼科撮影装置２０００－ｉｎなどにより形成された３次元画像をレンダリングすることができる。レンダリングは任意の処理であってよく、例えば３次元コンピュータグラフィクスを含む。３次元コンピュータグラフィクスは、３次元座標系により定義された３次元空間内の仮想的な立体物（スタックデータ、ボリュームデータなどの３次元画像）を２次元情報に変換することにより立体感のある画像を作成する演算手法である。レンダリングの例として、ボリュームレンダリング法、最大値投影法（ＭＩＰ）、最小値投影法（ＭｉｎＩＰ）、サーフェスレンダリング法、多断面再構成法（ＭＰＲ）、プロジェクション画像形成、シャドウグラム形成などがある。
　データ処理部５１００は、知識獲得プロセッサ５１１０と、推論プロセッサ５１２０とを含む。知識獲得プロセッサ５１１０及び／又は推論プロセッサ５１２０は、例えば、眼科撮影装置２０００－ｉｎなどにより形成された３次元画像、そのレンダリング画像、３次元画像の解析データ、レンダリング画像の解析データ、及び、その他の情報（例えば、被検者情報、正面画像、電子カルテ情報、読影レポートなど、任意の医療情報）のうちの少なくともいずれかを処理することが可能である。
〈知識獲得プロセッサ５１１０〉
　知識獲得プロセッサ５１１０は、事前に収集されたデータに基づいて機械学習及びデータマイニングの少なくとも一方を実行することにより知識を獲得する。事前に収集されたデータは、記憶装置５３００の撮影データ格納部５３１０に保存されている。
　データの収集は、例えば、眼科撮影装置２０００－ｉｎ、他の眼科撮影装置、眼科検査装置、及び、他の診療科（放射線科など）で使用される装置のいずれかを用いて行われる。また、医師が入力した情報（電子カルテ、読影レポートなど）を収集するようにしてもよい。
　更に、機械学習及び／又はデータマイニングに用いられるデータは、任意の医学的知識、他の学問に関する知識、学問以外の領域に関する知識を含んでよい。このような知識は、例えば、次のいずれかを含んでいてもよい：専門書（医学書など）に基づく知識；論文（医学論文など）に基づく知識；公的組織又は民間組織により作成された情報（診療ガイドラインなど）に基づく知識；辞書（医学辞書など）に基づく知識；コーパス（医学コーパスなど）に基づく知識；知識ベース（医学知識ベース）に基づく知識；他の機械学習により得られた知識；他のデータマイニングにより得られた知識；これら以外の情報及び／又は方法で得られた知識；これらのうちのいずれか２以上の組み合わせからの得られた知識。
　また、機械学習及び／又はデータマイニングに用いられるデータは、上記のような知識を得るために使用された情報やデータを含んでよい。例えば、機械学習及び／又はデータマイニングに用いられるデータは、医学書、医学論文、診療ガイドライン、医学辞書、医学コーパス、医学知識ベース、機械学習のためのデータセット（学習データ、訓練データなど）、データマイニングのためのデータセット（ビッグデータなど）などを含んでいてもよい。
　なお、知識とは、例えば、認識及び明示的表現が可能な情報を含み、経験的知識（経験や学習により獲得した知識）及び理論的知識（専門的情報の理論的背景知識や体系）の少なくとも一方を含む。典型的な知識として、事実、ルール、法則、判断基準、常識、ノウハウ、辞書、コーパスなどがある。また、知識には、人工知能プロセッサ（人工知能エンジンなどとも呼ばれる）が実行する処理に関する情報が含まれてもよい。例えば、知識は、ニューラルネットワークにおける重みパラメータやバイアスパラメータを含んでいてよい。
　機械学習において、知識獲得プロセッサ５１１０は、例えば、上記のようにして収集されたデータを（主として統計的に）解析することで、このデータから規則、ルール、知識表現、判断基準などを抽出し、抽出された情報に基づいて後述の推論のアルゴリズムを発展させる。
　知識獲得プロセッサ５１１０に適用可能な機械学習アルゴリズムは任意である。機械学習アルゴリズムの例として、教師あり学習、教師なし学習、半教師あり学習、トランスダクション、マルチタスク学習などがある。また、知識獲得プロセッサ５１１０により実行される機械学習に適用可能な技法として、決定木学習、相関ルール学習、ニューラルネットワーク、遺伝的プログラミング、帰納論理プログラミング、サポートベクターマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習などがある。
　データマイニングにおいて、知識獲得プロセッサ５１１０は、統計学、パターン認識、人工知能などのデータ解析技法を上記のようなデータに適用することによって知識を獲得する。
　知識獲得プロセッサ５１１０により実行されるデータマイニングに適用可能な解析手法として、頻出パターン抽出、クラス分類、回帰分析、クラスタリングなどがある。
　知識獲得プロセッサ５１１０は、任意の画像処理を実行可能であってよい。画像処理の例として、画像の拡大・縮小、圧縮・伸長、回転、２値化、グレイスケール化、疑似カラー化、コントラスト調整、平滑化、ヒストグラム、色情報抽出、ガンマ補正、色補正、輪郭抽出（エッジ検出）、ノイズ除去、寸法計測、特徴抽出、パターン認識、レンダリング、断面変換、特性マップ作成などがある。
　本実施形態において、知識獲得プロセッサ５１１０は、少なくとも、スリットランプ顕微鏡により取得された３次元画像を含む複数の３次元画像に基づいて、機械学習及びデータマイニングの少なくとも一方を実行することができる。
　また、知識獲得プロセッサ５１１０は、スリットランプ顕微鏡により取得された３次元画像及び正面画像を含む、複数の３次元画像及び複数の正面画像に基づいて、機械学習及びデータマイニングの少なくとも一方を実行するように構成されてもよい。
　また、知識獲得プロセッサ５１１０は、スリットランプ顕微鏡により取得された３次元画像及びスリットランプ顕微鏡に入力された被検者情報を含む、複数の３次元画像及び複数の被検者情報に基づいて、機械学習及びデータマイニングの少なくとも一方を実行するように構成されてもよい。
　知識獲得プロセッサ５１１０により獲得された知識は、記憶装置５３００の知識格納部５３２０に保存される。なお、知識格納部５３２０には、知識獲得プロセッサ５１１０により獲得された知識だけでなく、前述した各種の知識や、知識獲得処理にて使用されたデータが保存されてもよい。
〈推論プロセッサ５１２０〉
　推論プロセッサ５１２０は、複数の眼科撮影装置２０００－ｉｎのいずれか（スリットランプ顕微鏡１）から情報処理システム５０００が受信した被検眼の３次元画像と、知識格納部５３２０に格納されている知識とに基づいて、推論を実行する。この推論により、当該被検者についての診断を支援するための情報（診断支援情報）が生成される。推論プロセッサ５１２０は、例えば、知識ベースから答えを導出する推論エンジンである。
　知識獲得プロセッサ５１１０が機械学習を実行するように構成されている場合、推論プロセッサ５１２０は、機械学習により発展された推論アルゴリズムを利用して推論を行うことが可能である。
　知識獲得プロセッサ５１１０がデータマイニングを実行するように構成されている場合、推論プロセッサ５１２０は、データマイニングにより獲得された知識を利用して推論を行うことができる。
　知識獲得プロセッサ５１１０が機械学習及びデータマイニングの双方を実行するように構成されている場合、推論プロセッサ５１２０は、機械学習により発展された推論アルゴリズム及びデータマイニングにより獲得された知識の少なくとも一方を利用して推論を行うことができる。
　推論される事項の例として、疑い病名、特定疾患の有無、重症度、検査の必要性、検査の種別、手術の必要性、手術の種別などがある。
　なお、推論とは、例えば、既知情報から未知情報を導くことを意味する。推論には、演繹推論（ｄｅｄｕｃｔｉｏｎ）、帰納推論（ｉｎｄｕｃｔｉｏｎ）、発想推論（ａｂｄｕｃｔｉｏｎ）、完全な知識に基づく推論、不完全な知識に基づく推論、オブジェクト知識レベルの推論、メタ知識レベルの推論などが含まれる。推論は、医学的な知識、他の分野における専門知識、一般的な知識、人工知能技術により獲得された知識などを利用して実行される。
〈通信部５２００〉
　通信部５２００は、他の装置（例えば、眼科撮影装置２０００－ｉｎ、端末３０００－ｎなど）との間でデータ通信を行う。データ通信の方式や暗号化については、眼科撮影装置２０００－ｉｎの通信部１７０と同様であってよい。
〈記憶装置５３００〉
　記憶装置５３００は、各種のデータを記憶する。記憶装置５３００は、例えば、半導体記憶装置、磁気記憶装置、光記憶装置、及び光磁気記憶装置のうちの少なくとも１つを含む。記憶装置５３００は、２以上の記憶装置を含んでいてもよい。
　記憶装置５３００には、撮影データ格納部５３１０と、知識格納部５３２０と、診断支援情報格納部５３３０とが設けられている。
　撮影データ格納部５３１０には、知識格納部５３２０が実行する処理において利用されるデータが記憶される。撮影データ格納部５３１０に記憶されるデータの例として、次のようなものがある：眼科撮影装置２０００－ｉｎにより取得されたデータ（３次元画像、正面画像、断面画像など）；他の眼科撮影装置により取得されたデータ（３次元画像、正面画像、断面画像など）；画像の解析データ（セグメンテーションデータ、層厚データ、寸法データ、密度データ、形状データなど）；眼科検査装置により取得されたデータ（視力値、眼屈折力値、角膜曲率値、眼圧値、角膜内皮細胞密度値、眼球光学系の収差値、視野検査データなど）；他の診療科で使用される装置により取得されたデータ（Ｘ線撮影画像、Ｘ線ＣＴ画像、ＭＲＩ（磁気共鳴イメージング）画像、ＰＥＴ（ポジトロン断層法）画像、ＳＰＥＣＴ（単一光子放射断層撮影）画像、超音波画像など）；生体組織診断データ；血液検査データ；電子カルテデータ；読影レポート；機械学習及び／又はデータマイニングに用いられるデータ（医学的知識、他の学問に関する知識、学問以外の領域に関する知識、医学書、医学論文、診療ガイドライン、医学辞書、医学コーパス、医学知識ベース、機械学習のためのデータセット（学習データ、訓練データなど）、データマイニングのためのデータセット（ビッグデータなど）など）。
　知識格納部５３２０には、知識獲得プロセッサ５１１０により獲得された知識が記憶される。知識獲得プロセッサ５１１０により獲得された知識の他にも、知識格納部５３２０に記憶されるデータの例として、次のようなものがある：眼科撮影装置２０００－ｉｎにより取得されたデータ（３次元画像、正面画像、断面画像など）；他の眼科撮影装置により取得されたデータ（３次元画像、正面画像、断面画像など）；画像の解析データ（セグメンテーションデータ、層厚データ、寸法データ、密度データ、形状データなど）；眼科検査装置により取得されたデータ（視力値、眼屈折力値、角膜曲率値、眼圧値、角膜内皮細胞密度値、眼球光学系の収差値、視野検査データなど）；他の診療科で使用される装置により取得されたデータ（Ｘ線撮影画像、Ｘ線ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、超音波画像など）；生体組織診断データ；血液検査データ；電子カルテデータ；読影レポート；機械学習及び／又はデータマイニングに用いられるデータ（医学的知識、他の学問に関する知識、学問以外の領域に関する知識、医学書、医学論文、診療ガイドライン、医学辞書、医学コーパス、医学知識ベース、機械学習のためのデータセット（学習データ、訓練データなど）、データマイニングのためのデータセット（ビッグデータなど）など）。このように、知識格納部５３２０には、推論プロセッサ５１２０により利用される知識ベースが格納される。
　診断支援情報格納部５３３０には、推論プロセッサ５１２０により導出された推論結果（診断支援情報）が保存される。
〈使用形態〉
　本実施形態に係る眼科システム１０００の使用形態について説明する。図８は、眼科システム１０００の使用形態の例を示す。
　スリットランプ顕微鏡１などの眼科撮影装置２０００－ｉｎ（及び／又は端末３０００－ｎ）と情報処理システム５０００との間における通信は、既に確立されているとする。或いは、図８のステップＳ１６以前の期間における任意のタイミングで、スリットランプ顕微鏡１などの眼科撮影装置２０００－ｉｎ（及び／又は端末３０００－ｎ）と情報処理システム５０００との間における通信を確立してもよい。
（Ｓ１：データを収集）
　まず、情報処理システム５０００は、スリットランプ顕微鏡により取得された被検眼の３次元画像から診断支援情報を生成する処理において利用される知識を獲得するための各種データを収集する。
　情報処理システム５０００に対するデータの入力は、例えば、通信路Ｎなどの通信路、情報記録媒体、及び、スキャナ等のデータリーダのうちの少なくともいずれかを介して行われる。また、情報処理システム５０００に対してデータを手入力することもできる。情報処理システム５０００に入力されたデータは、制御部５０１０により撮影データ格納部５３１０に保存される。
　ステップＳ１で収集されるデータは、少なくとも、スリットランプ顕微鏡により取得された複数の３次元画像を含む。更に、ステップＳ１で収集されるデータは、次のいずれかを含んでいてもよい：スリットランプ顕微鏡以外の眼科撮影装置（眼科撮影装置２０００－ｉｎ又は他の眼科撮影装置）により取得された画像、及び／又は、このような画像を加工又は解析して得られたデータ；眼科検査装置により取得された検査データ、及び／又は、このような検査データを加工又は解析して得られたデータ；他の診療科で使用される装置により取得されたデータ、及び／又は、このような検査データを加工又は解析して得られたデータ；医師が入力した情報（電子カルテ、読影レポートなど）に含まれるデータ、及び／又は、このようなデータを加工又は解析して得られたデータ；医学的知識、他の学問に関する知識、学問以外の領域に関する知識；このような知識を得るために使用された情報やデータ。なお、これらデータの例については前述した。
（Ｓ２：知識を獲得）
　知識獲得プロセッサ５１１０は、ステップＳ１で収集されて撮影データ格納部５３１０に保存されたデータの少なくとも一部のデータ（スリットランプ顕微鏡により取得された複数の３次元画像を少なくとも含む）に基づいて機械学習及びデータマイニングの少なくとも一方を実行する。それにより、当該データに基づく知識が獲得される。
（Ｓ３：知識を保存）
　制御部５０１０は、ステップＳ２で獲得された知識を知識格納部５３２０に保存する。
　なお、ステップＳ１～Ｓ３の処理を繰り返し行うことができる。例えば、情報処理システム５０００に新たなデータが入力されたときに、新たな知識を獲得するための処理を実行することができる。このような処理は、例えば、所定の時間間隔で行われる。或いは、新たなデータの蓄積量に応じてこのような処理を繰り返し行ってもよい。他の例として、撮影データ格納部５３１０に保存されているデータのうちの第１部分データ～第Ｋ部分データのそれぞれに基づいて知識を獲得するようにしてもよい。このような繰り返し処理により獲得された知識のそれぞれは、制御部５０１０によって知識格納部５３２０に保存される。
（Ｓ１１：被検者情報を入力）
　眼科システム１０００に含まれるスリットランプ顕微鏡１（又は端末３０００－ｎ）に被検者情報が入力される。入力された被検者情報は、記憶部１０２に保存される。スリットランプ顕微鏡１（及び／又は端末３０００－ｎ）と情報処理システム５０００との間における通信が既に確立されている場合、入力された被検者情報をこの段階で情報処理システム５０００に送信してもよい。被検者情報は、例えば、被検者ＩＤと背景情報とを含む。
　被検者ＩＤは、例えば、医療施設におけるＩＤ（患者ＩＤ）、検診におけるＩＤ、健康診断におけるＩＤなどがある。これらは例示であって、被検者ＩＤはこれらに限定されない。
　背景情報は、被検者に関する任意の情報であって、例えば、被検者の電子カルテの任意の項目に記録された情報や、被検者のアカウントに保存された画像などを含む。典型的には、背景情報は、性別、年齢、身長、体重、疾患名、候補疾患名、検査結果（視力値、眼屈折力値、眼圧値など）、画像（ＯＣＴ画像、眼底画像、前眼部像など）、検査歴、治療歴などがある。これらは例示であって、背景情報はこれらに限定されない。典型的な例において、背景情報は、情報処理システム５０００が知識を獲得するために参照したデータ項目に対応するデータを含む。
　スリットランプ顕微鏡１（又は端末３０００－ｎ）のユーザーは、例えば、操作部１４０を用いて被検者情報を入力することができる。また、制御部１０１及び通信部１７０は、電子カルテシステム、医用画像アーカイビングシステムに通信路を介してアクセスして被検者情報を取得することができる。また、データリーダを用いて、記録媒体に記録された被検者情報を読み出すことができる。これらは例示であって、被検者情報の入力方法はこれらに限定されない。
（Ｓ１２：３次元撮影モードに設定）
　スリットランプ顕微鏡１の動作モードが３次元撮影モードに設定される。前述したように、動作モードの指定（又は選択）は、手動又は自動で行われる。
（Ｓ１３：被検眼を撮影）
　スリットランプ顕微鏡１は、ステップＳ１２で設定された３次元撮影モードで被検眼Ｅの撮影を行う。それにより、被検眼Ｅの複数の断面画像が得られる。
（Ｓ１４：３次元画像を形成）
　スリットランプ顕微鏡１の画像合成部１２０は、ステップＳ１３で取得された複数の断面画像に基づいて３次元画像を形成する。なお、情報処理システム５０００又は他の装置が、３次元画像形成処理を実行するようにしてもよい。
（Ｓ１５：被検眼の正面画像を取得）
　スリットランプ顕微鏡１は、被検眼Ｅの正面画像を取得することができる。なお、正面画像を取得するタイミングは、このタイミングに限定されない。なお、この処理は任意的である。
（Ｓ１６：データを送信）
　スリットランプ顕微鏡１の制御部１０１は、通信部１７０を制御して、取得されたデータを情報処理システム５０００に向けて送信する。送信されるデータは、ステップＳ１４で形成された３次元画像を少なくとも含み、ステップＳ１１で入力された被検者情報及び／又はステップＳ１５で取得された正面画像を更に含んでもよい。
　スリットランプ顕微鏡１と異なる装置が３次元画像形成処理を実行する場合には、ステップＳ１３で取得された複数の断面画像が送信され、当該装置により形成された３次元画像が情報処理システム５０００により参照される。
（Ｓ２１：データを受信）
　情報処理システム５０００の通信部５２００は、ステップＳ１６でスリットランプ顕微鏡１が送信したデータを受信する。制御部５０１０は、受信されたデータを記憶装置５３００に保存する。
　なお、ステップＳ２１で受信されたデータの少なくとも一部を撮影データ格納部５３１０に保存し、新たな知識獲得処理に利用するようにしてもよい。
（Ｓ２２：診断支援情報を生成）
　推論プロセッサ５１２０は、ステップＳ２１で受信された被検眼Ｅのデータ（及び被検者のデータ）の少なくとも一部と、知識格納部５３２０に保存されている知識の少なくとも一部とに基づいて、推論を実行する。それにより、被検眼Ｅに関する診断支援情報が生成される。
　診断支援情報は、例えば、疑い病名、特定疾患の有無、重症度、検査の必要性、検査の種別、手術の必要性、手術の種別などのうちのいずれかを含んでいてよい。
（Ｓ２３：診断支援情報を保存）
　制御部５０１０は、ステップＳ２２で生成された診断支援情報を診断支援情報格納部５３３０に保存する。
　なお、ステップＳ２２で生成された診断支援情報の少なくとも一部を撮影データ格納部５３１０に保存し、新たな知識獲得処理に利用するようにしてもよい。
（Ｓ２４：診断支援情報を送信）
　更に、制御部５０１０は、通信部５２００を制御して、ステップＳ２２で生成された診断支援情報をスリットランプ顕微鏡１（及び／又は、端末３０００－ｎ及び／又は他の装置）に向けて送信する。ここで、他の装置の例として、当該被検者の担当医が使用するコンピュータ、当該被検者が受診している医療機関に設置されたサーバ、当該医療機関の外部（例えば、基幹病院、専門医療機関、医療データ解析機関など）に設置されたコンピュータなどがある。
　例えば、当該被検者が受診している医療機関の外部に設置されたコンピュータに診断支援情報を送信する場合、ステップＳ２１で受信された被検眼Ｅのデータ（及び被検者のデータ）の少なくとも一部や、ステップＳ２２で参照された知識やデータの少なくとも一部を、当該診断支援情報とともに送信することができる。
（Ｓ３１：診断支援情報を受信）
　スリットランプ顕微鏡１などは、ステップＳ２４で情報処理システム５０００から送信された診断支援情報などを受信する。当該被検者の担当医などは、この診断支援情報を参照して診断を行うことができる。また、当該被検者の電子カルテや読影レポートに診断支援情報を自動で記入するようにしてもよい。以上で、本例に係る処理は終了となる。
〈変形例〉
　本実施形態の変形例を説明する。
　スリットランプ顕微鏡１のフォーカス位置を変更するための構成は、上記した合焦機構４０及び５０に限定されない。
　例えば、特開２０１３－２４８３７６号公報に開示された２以上の撮影部（２以上の前眼部カメラ）を利用して被検眼の２以上の画像を取得し、これら画像を解析してフォーカス位置（目標位置）を決定するように構成することが可能である。
　フォーカス位置を変更するための構成の他の例として、次のものがある。本例のスリットランプ顕微鏡は、撮像部と、駆動部と、合焦制御部とを含む。撮像部は、被検眼を撮影して右画像及び左画像を取得する。駆動部は、撮像部を含む光学系を少なくとも作動距離方向に駆動させる。合焦制御部は、撮像部より出力された右画像及び左画像に基づき、被検眼に対して自動的に合焦動作を行うように駆動部を制御する。
〈第２実施形態：眼科システム〉
　本実施形態に係る眼科システムは、第１実施形態とほぼ同様の構成を備える。以下、第１実施形態との相違点を主に説明する。なお、第１実施形態と同様の要素については同じ符号で表す。特に言及しない限り、第１実施形態と同じ符号が付された要素は、第１実施形態と同様の構成及び同様の機能を有する。
　本実施形態に係る眼科システムに含まれる情報処理システムの構成例を図９に示す。情報処理システム５００１は、図１に示す第１実施形態の情報処理システム５０００の代わりに設けられるか、或いは、情報処理システム５０００に加えて設けられる。
　情報処理システム５００１は、推論プロセッサ５１２０が関心領域特定部５１２１を含む点において、第１実施形態の情報処理システム５０００と異なる。
　関心領域特定部５１２１は、スリットランプ顕微鏡１により取得されて情報処理システム５００１に入力された被検眼Ｅの３次元画像を解析して関心領域を特定する。関心領域は、例えば、推論プロセッサ５１２０が実行する推論処理に供される。つまり、推論プロセッサ５１２０は、関心領域特定部５１２１により３次元画像から特定された関心領域と、知識格納部５３２０に格納されている知識とに基づいて推論を実行することにより、被検眼Ｅについての診断支援情報を生成することができる。
　関心領域を設定することで、３次元画像全体を処理する場合と比較して、計算資源を節約できる、推論アルゴリズムを単純化できる、処理時間を短縮できる、といったメリットが得られる。
　関心領域特定処理は、例えば、従来と同様の手法で実行される。例えば、関心領域特定部５１２１は、３次元画像に対してセグメンテーションを適用して、被検眼Ｅの所定部位（例えば、角膜の所定の層、虹彩、瞳孔、隅角、水晶体、毛様筋、チン小帯、視神経乳頭、黄斑、血管など）に相当する画像領域を特定することができる。また、関心領域特定部５１２１は、３次元画像の部分領域のサイズ、厚み、形状などを解析して、特徴部位（例えば、異常部位）を特定することができる。関心領域特定処理においては、エッジ検出、寸法計測、特徴抽出、パターン認識、レンダリング、断面変換など、任意の処理を適用することができる。
　また、関心領域特定処理に人工知能技術を適用することも可能である。その場合、知識格納部５３２０に格納されている知識の少なくとも一部を利用することができる。
〈第３実施形態：眼科システム〉
　本実施形態に係る眼科システムは、第１実施形態とほぼ同様の構成を備える。以下、第１実施形態との相違点を主に説明する。なお、第１実施形態と同様の要素については同じ符号で表す。特に言及しない限り、第１実施形態と同じ符号が付された要素は、第１実施形態と同様の構成及び同様の機能を有する。
　本実施形態に係る眼科システムに含まれる情報処理システムの構成例を図１０に示す。情報処理システム５００２は、図１に示す第１実施形態の情報処理システム５０００の代わりに設けられるか、或いは、情報処理システム５０００に加えて設けられる。
　情報処理システム５００２は、データ処理部５１００がフュージョン画像形成部５１３０を含む点において、第１実施形態の情報処理システム５０００と異なる。
　なお、本実施形態では、情報処理システム５００２がフュージョン画像形成機能を有しているが、他の装置がフュージョン画像形成機能を備えていてもよい。例えば、眼科撮影装置２０００－ｉｎ（スリットランプ顕微鏡１又は他のモダリティ装置）、端末３０００－ｎ、及び、これら以外の装置のいずれかに、フュージョン画像形成機能を設けることが可能である。
　本実施形態では、複数の眼科撮影装置２０００－ｉｎは、１以上のスリットランプ顕微鏡１と、スリットランプ顕微鏡と異なる種別の１以上のモダリティ装置とを含む。他のモダリティ装置は、例えば、眼科撮影装置又は眼科検査装置であってよい。眼科撮影装置の例として、光干渉断層計、眼底カメラ、ＳＬＯ、手術用顕微鏡などがある。眼科検査装置の例として、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、マイクロペリメータ、角膜トポグラファなどがある。
　フュージョン画像形成部５１３０は、スリットランプ顕微鏡１により取得された被検眼Ｅの３次元画像と、他のモダリティ装置により取得された画像とを合成してフュージョン画像を形成する。
　他のモダリティ装置により取得された画像は、例えば、３次元画像又は３次元画像である。この画像は、被検眼Ｅの形態（構造）及び／又は機能を表す画像であってよく、また、被検眼Ｅの特性マップであってもよい。
　被検眼Ｅの形態を表す画像（形態画像）としては、ＯＣＴ形態画像（例えば、３次元画像、３次元画像のレンダリング画像、２次元断面画像、血管強調画像（アンジオグラム）など）、前眼部像、眼底写真（例えば、カラー画像、モノクロ画像、レッドフリー画像、単色画像など）などがある。
　被検眼Ｅの機能を表す画像としては、ＯＣＴ機能画像（例えば、位相画像、血流画像、偏光画像など）、眼底写真（例えば、フルオレセイン蛍光画像、インドシアニングリーン蛍光画像、自発蛍光画像など）がある。
　被検眼Ｅの特性マップとしては、角膜層厚マップ、角膜トポグラフ、角膜内皮細胞密度マップ、収差マップ、視野マップ（感度マップ）、網膜層厚マップ、脈絡膜層厚マップなどがある。
　他のモダリティは眼科モダリティでなくてもよい。例えば、ＭＲＩ、超音波診断装置、ＰＥＴ、ＳＰＥＣＴなどにより取得された被検眼Ｅ（又はその周辺部位）の画像をフュージョン画像形成処理に供することができる。
　フュージョン画像とは、同じ被検眼Ｅに関する２以上の画像を合成して得られる画像である。合成される２以上の画像は、全て同じモダリティの画像でもよいし、異なる２以上のモダリティの画像を含んでいてもよい。同じモダリティの２以上の画像を合成する場合、被検眼Ｅの異なる２以上の領域を撮影して得られた２以上の画像をパノラマ合成した画像も、フュージョン画像に含まれるものとする。
　本実施形態において、撮影データ格納部５３１０は、スリットランプ顕微鏡と異なるモダリティの画像や、スリットランプ顕微鏡と異なるモダリティの画像を加工又は解析した得られたデータや、フュージョン画像や、フュージョン画像を加工又は解析した得られたデータを記憶してもよい。
　同様に、知識格納部５３２０は、スリットランプ顕微鏡と異なるモダリティの画像から獲得された知識や、スリットランプ顕微鏡と異なるモダリティの画像を加工又は解析した得られたデータから獲得された知識や、フュージョン画像から獲得された知識や、フュージョン画像を加工又は解析した得られたデータを記憶してもよい。
　フュージョン画像形成部５１３０が実行する処理の例を説明する。まず、任意的であるが、フュージョン画像形成部５１３０は、スリットランプ顕微鏡１により取得された被検眼Ｅの３次元画像と、他のモダリティ装置により取得された画像との一方又は双方から、合成される部分画像を抽出する。
　次に、フュージョン画像形成部５１３０は、スリットランプ顕微鏡１により取得された被検眼Ｅの３次元画像と、他のモダリティ装置により取得された画像との間の位置合わせ（レジストレーション）を実行する。レジストレーションは、例えば、従来と同様に、合成される２以上の画像のそれぞれから特徴点又は特徴領域を検出する処理と、検出された特徴点又は特徴領域を基準としてこれら画像の相対位置を調整する処理とを含む。
　なお、レジストレーションを行った後に部分画像抽出処理を実行するようにしてもよい。
　更に、フュージョン画像形成部５１３０は、レジストレーションがなされたスリットランプ顕微鏡１による３次元画像（又は、その部分画像）と、他のモダリティ装置による画像（又は、その部分画像）とを合成して、フュージョン画像を形成する。このとき、合成される前の画像及び／又はフュージョン画像に対して任意の画像処理を適用してもよい。適用可能な画像処理の例として、アルファブレンディング、輝度補正、色補正、コントラスト調整、画像の拡大・縮小、圧縮・伸長、回転、疑似カラー化、平滑化、ガンマ補正などがある。
　推論プロセッサ５１２０は、フュージョン画像形成部５１３０により形成されたフュージョン画像（及び、合成前の画像、正面画像、被検者情報、その他のデータなど）と、知識格納部５３２０に格納されている知識とに基づく推論を実行して、被検眼Ｅに関する診断支援情報を生成することができる。
〈第４実施形態：眼科情報処理装置〉
　本実施形態に係る眼科情報処理装置は、第１実施形態の情報処理システム５０００（又は、第２実施形態の情報処理システム５００１若しくは第３実施形態の情報処理システム５００２）と同様の構成を備える。具体的には、本実施形態の眼科情報処理装置は、知識獲得機能と推論機能との双方を備える。本実施形態の眼科情報処理装置の構成及び機能は、第１～第３実施形態の情報処理システムの構成及び機能と同様であるため、その説明は省略する。
〈第５実施形態：眼科情報処理装置〉
　本実施形態に係る眼科情報処理装置は、知識獲得機能及び推論機能のうち後者のみを備える。知識獲得処理は、例えば第１実施形態の情報処理システム５０００と同様の知識獲得機能を備えた他の装置によって実行される。本実施形態の眼科情報処理装置は、他の装置により獲得された知識を受け付けて保存する。
　本実施形態に係る眼科情報処理装置の構成例を図１１に示す。眼科情報処理装置６０００は、制御部６０１０と、データ処理部６１００と、通信部６２００と、記憶装置６３００とを含む。データ処理部６１００は、推論プロセッサ６１２０を含む。第１実施形態などのデータ処理部５１００と異なり、データ処理部６１００は、知識獲得プロセッサ５１１０を含まなくてよい。記憶装置６３００は、知識格納部６３２０と、診断支援情報格納部６３３０とを含む。
　制御部６０１０は、例えば、第１実施形態などの制御部５０１０と同様の構成及び同様の機能を備える。
　知識格納部６３２０は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置により取得された複数の３次元画像に基づき機械学習及びデータマイニングの少なくとも一方を実行して取得された知識を格納する。知識格納部６３２０は、例えば、第１実施形態などの知識格納部５３２０と同様の構成及び同様の機能を備える。
　通信部６２００は、スリットランプ顕微鏡により取得された被検眼の３次元画像を通信路を介して受け付ける。通信部６２００は、例えば、第１実施形態などの通信部５２００と同様の構成及び同様の機能を備える。
　推論プロセッサ６１２０は、通信部６２００により受け付けられた３次元画像と、知識格納部６３２０に格納されている知識とに基づく推論を実行して、当該被検眼の診断支援情報を生成する。推論プロセッサ６１２０は、例えば、第１実施形態などの推論プロセッサ５１２０と同様の構成及び同様の機能を備える。
　推論プロセッサ６１２０により生成された診断支援情報は、制御部６０１０によって診断支援情報格納部６３３０に格納される。診断支援情報格納部６３３０は、例えば、第１実施形態などの診断支援情報格納部５３３０と同様の構成及び同様の機能を備える。
〈作用・効果〉
　以上に説明した実施形態によって奏される作用及び効果について説明する。
　実施形態に係る眼科システム（１０００）は、複数の眼科撮影装置（２０００－ｉｎ）と、これら眼科撮影装置のそれぞれと通信路（Ｎ）を介して接続された画像処理システム（５０００、５００１、５００２）とを含む。複数の眼科撮影装置は、複数のスリットランプ顕微鏡（１）を含む。
　複数の眼科撮影装置のそれぞれは、画像取得部（観察撮影系６、照明系８、移動機構６０など）と、第１通信部（通信部１７０）とを含む。
　画像取得部は、被検者の眼を撮影して３次元画像を取得する。
　第１通信部は、画像取得部により取得された３次元画像を情報処理システムに向けて送信する。
　ここで、「情報処理システムに向けて送信する」には、情報処理システムに対して直接的に送信する構成と、他の装置を介して情報処理システムに間接的に送信する構成との少なくとも一方が含まれる。
　情報処理システムは、第２通信部（５２００）と、画像格納部（撮影データ格納部５３１０）と、第１プロセッサ（知識獲得プロセッサ５１１０）と、知識格納部（５３２０）と、第２プロセッサ（推論プロセッサ５１２０）とを含む。
　第２通信部は、眼科撮影装置の第１通信部により送信された３次元画像を受信する。
　画像格納部は、第２通信部により受信された複数の３次元画像を格納する。
　第１プロセッサは、画像格納部に格納されている複数の３次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する。それにより、知識が取得される。
　知識格納部は、第１プロセッサにより取得された知識を格納する。
　第２プロセッサは、複数のスリットランプ顕微鏡のいずれかから送信されて第２通信部により受信された被検眼の３次元画像と、知識格納部に格納されている知識とに基づいて、推論を実行することで、当該被検眼についての診断支援情報を生成する。
　このように構成された実施形態の眼科システムによれば、眼科画像診断において最も広く且つ頻繁に使用されるスリットランプ顕微鏡を用いて被検眼の３次元画像を取得し、それを情報処理システムに送ることができる。更に、機械学習及びデータマイニングの少なくとも一方により予め獲得された知識を利用した推論により、この３次元画像から診断支援情報を生成することができる。
　したがって、実施形態の眼科システムによれば、従来の技術では困難であったスリットランプ顕微鏡で取得された画像の人工知能による解析を好適に行うことが可能である。
　実施形態において、第２プロセッサ（推論プロセッサ５１２０）は、スリットランプ顕微鏡により取得された被検眼の３次元画像を解析して関心領域を特定する関心領域特定部（関心領域特定部５１２１）を含んでいてよい。
　更に、実施形態の第２プロセッサ（推論プロセッサ５１２０）は、関心領域特定部により特定された関心領域と知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成することができる。
　このような構成によれば、３次元画像全体を処理する場合と比較して、計算資源（リソース）を節約することができ、推論アルゴリズムを単純化することができ、処理時間を短縮することができる。
　実施形態において、複数の眼科撮影装置は、スリットランプ顕微鏡と異なる種別の１以上のモダリティ装置を含んでいてよい。また、実施形態の眼科システムは、フュージョン画像形成部（５１３０）を含んでいてよい。フュージョン画像形成部は、複数のスリットランプ顕微鏡のいずれかにより取得された３次元画像と、１以上のモダリティ装置のいずれかにより取得された画像とを合成してフュージョン画像を形成する。更に、第２プロセッサ（推論プロセッサ５１２０）は、フュージョン画像形成部により形成されたフュージョン画像と知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成することができる。
　典型的な例において、１以上のモダリティ装置は、１以上の光コヒーレンストモグラフィ（ＯＣＴ）装置を含んでいてよい。この場合、フュージョン画像形成部は、複数のスリットランプ顕微鏡のいずれかにより取得された３次元画像と、１以上のＯＣＴ装置のいずれかにより取得された画像とを合成してフュージョン画像を形成することができる。
　このような構成によれば、異なるモダリティで得られた画像を統合的に処理することができる。例えば、中間透光体（水晶体など）に混濁箇所がある被検眼をスリットランプ顕微鏡で可視撮影した場合、それにより得られた３次元画像には、混濁の影響により、詳細に描出できない箇所が含まれる。一方、このような被検眼をＯＣＴ等で赤外撮影することで、混濁の影響が小さい画像が得られる。これら画像を合成することで、推論の確度や精度を向上させることが可能となる。
　また、スリットランプ顕微鏡により取得された３次元画像に特性マップなどを合成する場合には、被検眼における特性の分布を加味した推論が可能となる。
　実施形態において、眼科撮影装置（スリットランプ顕微鏡など）の画像取得部は、更に、被検者の眼を撮影して正面画像を取得することができる。この場合、第１通信部は、眼の３次元画像とともに正面画像を送信することができる。情報処理システムの第２通信部は、第１通信部により送信された３次元画像及び正面画像を受信することができる。画像格納部は、第２通信部により受信された複数の３次元画像及び複数の正面画像を格納することができる。第１プロセッサは、画像格納部に格納されている複数の３次元画像及び複数の正面画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行することができる。知識格納部は、複数の３次元画像及び複数の正面画像に基づき第１プロセッサにより取得された知識を格納することができる。第２プロセッサは、複数のスリットランプ顕微鏡のいずれかから送信されて第２通信部により受信された被検眼の３次元画像及び正面画像と、知識格納部に格納されている知識とに基づく推論を実行して、診断支援情報を生成することができる。
　このような構成によれば、情報処理システムは、眼の３次元画像に加えて正面画像を更に利用して知識獲得処理及び推論処理を実行することができる。したがって、正面画像を利用しない場合と比較して、より好適な知識の獲得と、より好適な推論とを実現することが可能となる。
　実施形態において、複数の眼科撮影装置のそれぞれは、被検者情報を受け付ける受付部を更に含んでいてよい。受付部は、例えば、スリットランプ顕微鏡１の操作部１４０、通信部１７０などに相当する。第１通信部は、眼の３次元画像とともに被検者情報を送信することができる。情報処理システムの第２通信部は、第１通信部により送信された３次元画像及び被検者情報を受信することができる。画像格納部は、第２通信部により受信された複数の３次元画像及び複数の被検者情報を格納することができる。第１プロセッサは、画像格納部に格納されている複数の３次元画像及び複数の被検者情報に基づいて機械学習及びデータマイニングの少なくとも一方を実行することができる。知識格納部は、複数の３次元画像及び複数の被検者情報に基づき第１プロセッサにより取得された知識を格納することができる。第２プロセッサは、複数のスリットランプ顕微鏡のいずれかから送信されて第２通信部により受信された被検眼の３次元画像及び被検者情報と知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成することができる。
　このような構成によれば、情報処理システムは、眼の３次元画像に加えて被検者情報を更に利用して知識獲得処理及び推論処理を実行することができる。したがって、被検者情報を利用しない場合と比較して、より好適な知識の獲得と、より好適な推論とを実現することが可能となる。
　実施形態に係る眼科情報処理装置（情報処理システム５０００）は、通信部（５２００）と、画像格納部（撮影データ格納部５３１０）と、第１プロセッサ（知識獲得プロセッサ５１１０）と、知識格納部（５３２０）と、第２プロセッサ（推論プロセッサ５１２０）とを含む。通信部は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置のそれぞれにより取得された被検者の眼の３次元画像を通信路を介して受け付ける。画像格納部は、通信部により受信された複数の３次元画像を格納する。第１プロセッサは、画像格納部に格納されている複数の３次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する。知識格納部は、第１プロセッサにより取得された知識を格納する。第２プロセッサは、複数のスリットランプ顕微鏡のいずれかから送信されて通信部により受信された被検眼の３次元画像と知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する。
　他の実施形態に係る眼科情報処理装置（６０００）は、知識格納部（６３２０）と、通信部（６２００）と、プロセッサ（推論プロセッサ６１２０）とを含む。知識格納部は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置により取得された複数の３次元画像に基づき機械学習及びデータマイニングの少なくとも一方を実行して取得された知識を格納する。通信部は、スリットランプ顕微鏡により取得された被検眼の３次元画像を通信路を介して受け付ける。プロセッサは、通信部により受け付けられた３次元画像と知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する。
　このように構成された実施形態の眼科情報処理装置によれば、実施形態の眼科システムと同様に、従来の技術では困難であったスリットランプ顕微鏡で取得された画像の人工知能による解析を好適に行うことが可能である。
　以上に説明した実施形態は本発明の典型的な例示に過ぎない。よって、本発明の要旨の範囲内における任意の変形（省略、置換、付加など）を適宜に施すことが可能である。
１　スリットランプ顕微鏡
６　観察撮影系
８　照明系
１３　撮像装置
４０　合焦機構
５０　合焦機構
６０　移動機構
１０１　制御部
１２０　画像合成部
１４０　操作部
１７０　通信部
１０００　眼科システム
２０００－ｉｎ　眼科撮影装置
５０００　情報処理システム
５０１０　制御部
５１００　データ処理部
５１１０　知識獲得プロセッサ
５１２０　推論プロセッサ
５１２１　関心領域特定部
５１３０　フュージョン画像形成部
５２００　通信部
５３００　記憶装置
５３１０　撮影データ格納部
５３２０　知識格納部
６０００　眼科情報処理装置
６０１０　制御部
６１００　データ処理部
６１２０　推論プロセッサ
６２００　通信部
６３００　記憶装置
６３２０　知識格納部

 

Claims (9)

  1. 　複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置と、
    　前記複数の眼科撮影装置のそれぞれと通信路を介して接続された情報処理システムと
    　を含み、
    　前記複数の眼科撮影装置のそれぞれは、
    　被検者の眼を撮影して３次元画像を取得する画像取得部と、
    　前記３次元画像を前記情報処理システムに向けて送信する第１通信部と
    　を含み、
    　前記情報処理システムは、
    　前記第１通信部により送信された前記３次元画像を受信する第２通信部と、
    　前記第２通信部により受信された複数の３次元画像を格納する画像格納部と、
    　前記複数の３次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する第１プロセッサと、
    　前記第１プロセッサにより取得された知識を格納する知識格納部と、
    　前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第２通信部により受信された被検眼の３次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する第２プロセッサと
    　を含む眼科システム。
  2. 　前記第２プロセッサは、前記被検眼の３次元画像を解析して関心領域を特定する関心領域特定部を含む
    　ことを特徴とする請求項１に記載の眼科システム。
  3. 　前記第２プロセッサは、前記関心領域と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する
    　ことを特徴とする請求項２に記載の眼科システム。
  4. 　前記複数の眼科撮影装置は、スリットランプ顕微鏡と異なる種別の１以上のモダリティ装置を含み、
    　前記複数のスリットランプ顕微鏡のいずれかにより取得された３次元画像と、前記１以上のモダリティ装置のいずれかにより取得された画像とを合成してフュージョン画像を形成するフュージョン画像形成部を含み、
    　前記第２プロセッサは、前記フュージョン画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する
    　ことを特徴とする請求項１～３のいずれかに記載の眼科システム。
  5. 　前記１以上のモダリティ装置は、１以上の光コヒーレンストモグラフィ（ＯＣＴ）装置を含み、
    　前記フュージョン画像形成部は、前記複数のスリットランプ顕微鏡のいずれかにより取得された３次元画像と、前記１以上のＯＣＴ装置のいずれかにより取得された画像とを合成してフュージョン画像を形成する
    　ことを特徴とする請求項４に記載の眼科システム。
  6. 　前記画像取得部は、更に、前記被検者の眼を撮影して正面画像を取得し、
    　前記第１通信部は、前記３次元画像とともに前記正面画像を送信し、
    　前記第２通信部は、前記第１通信部により送信された前記３次元画像及び前記正面画像を受信し、
    　前記画像格納部は、前記第２通信部により受信された複数の３次元画像及び複数の正面画像を格納し、
    　前記第１プロセッサは、前記複数の３次元画像及び前記複数の正面画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行し、
    　前記知識格納部は、前記複数の３次元画像及び前記複数の正面画像に基づき前記第１プロセッサにより取得された知識を格納し、
    　前記第２プロセッサは、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第２通信部により受信された被検眼の３次元画像及び正面画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する
    　ことを特徴とする請求項１～５のいずれかに記載の眼科システム。
  7. 　前記複数の眼科撮影装置のそれぞれは、被検者情報を受け付ける受付部を更に含み、
    　前記第１通信部は、前記３次元画像とともに前記被検者情報を送信し、
    　前記第２通信部は、前記第１通信部により送信された前記３次元画像及び前記被検者情報を受信し、
    　前記画像格納部は、前記第２通信部により受信された複数の３次元画像及び複数の被検者情報を格納し、
    　前記第１プロセッサは、前記複数の３次元画像及び前記複数の被検者情報に基づいて機械学習及びデータマイニングの少なくとも一方を実行し、
    　前記知識格納部は、前記複数の３次元画像及び前記複数の被検者情報に基づき前記第１プロセッサにより取得された知識を格納し、
    　前記第２プロセッサは、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第２通信部により受信された被検眼の３次元画像及び被検者情報と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する
    　ことを特徴とする請求項１～６のいずれかに記載の眼科システム。
  8. 　複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置のそれぞれにより取得された被検者の眼の３次元画像を通信路を介して受け付ける通信部と、
    　前記通信部により受信された複数の３次元画像を格納する画像格納部と、
    　前記複数の３次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する第１プロセッサと、
    　前記第１プロセッサにより取得された知識を格納する知識格納部と、
    　前記複数のスリットランプ顕微鏡のいずれかから送信されて前記通信部により受信された被検眼の３次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する第２プロセッサと
    　を含む眼科情報処理装置。
  9. 　複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置により取得された複数の３次元画像に基づき機械学習及びデータマイニングの少なくとも一方を実行して取得された知識を格納する知識格納部と、
    　スリットランプ顕微鏡により取得された被検眼の３次元画像を通信路を介して受け付ける通信部と、
    　前記３次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成するプロセッサと
    　を含む眼科情報処理装置。

     
PCT/JP2018/004200 2017-07-27 2018-02-07 眼科システム及び眼科情報処理装置 WO2019021512A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/633,160 US11617505B2 (en) 2017-07-27 2018-02-07 Ophthalmic system, ophthalmic information processing device, and ophthalmic diagnosing method
EP18839368.0A EP3659494B1 (en) 2017-07-27 2018-02-07 Ophthalmic system and ophthalmic information processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017145634A JP6923384B2 (ja) 2017-07-27 2017-07-27 眼科システム及び眼科情報処理装置
JP2017-145634 2017-07-27

Publications (1)

Publication Number Publication Date
WO2019021512A1 true WO2019021512A1 (ja) 2019-01-31

Family

ID=65041154

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/004200 WO2019021512A1 (ja) 2017-07-27 2018-02-07 眼科システム及び眼科情報処理装置

Country Status (4)

Country Link
US (1) US11617505B2 (ja)
EP (1) EP3659494B1 (ja)
JP (1) JP6923384B2 (ja)
WO (1) WO2019021512A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021006815A1 (en) * 2019-07-08 2021-01-14 National University Of Singapore An automated slit lamp with computer parts and a method of eye screening using the same
CN112963696A (zh) * 2021-04-02 2021-06-15 大同市第五人民医院 一种将眼科检查图像发送给远程专家的系统及装置
EP4023142A4 (en) * 2019-08-29 2023-08-30 Topcon Corporation SLIT LAMP MICROSCOPE, OPHTHALMIC SYSTEM, METHOD OF CONTROLLING THE SLIT LAMP MICROSCOPE AND RECORDING MEDIA

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021040855A (ja) * 2019-09-10 2021-03-18 株式会社トプコン スリットランプ顕微鏡、眼科情報処理装置、眼科システム、スリットランプ顕微鏡の制御方法、プログラム、及び記録媒体
EP4104749A4 (en) 2020-02-14 2023-07-26 Oui Inc. DIAGNOSTIC ASSIST DEVICE, AND DIAGNOSTIC ASSIST SYSTEM AND PROGRAM
US11589744B2 (en) * 2020-09-23 2023-02-28 Troy Lee Carter Ophthalmic fixation apparatus and method of use
CN113487499A (zh) * 2021-06-23 2021-10-08 南京诺源医疗器械有限公司 一种医疗光学成像用控制系统
WO2023079570A1 (en) * 2021-11-04 2023-05-11 Narendra Singh Verma System and method for corneal 3d tomography of cornea

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0452873A (ja) * 1990-06-15 1992-02-20 Toshiba Corp 画像処理装置及び画像処理方法
JP2007195994A (ja) 2005-10-17 2007-08-09 Yasuo Chinen 人工知能の構築方法、及び、医学用グリッドコンピュータシステム、及び、生理機能医療装置
JP2008264231A (ja) * 2007-04-20 2008-11-06 Toshiba Corp 医用診断支援装置、医用診断支援方法、医用診断支援システム
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
JP2013248376A (ja) 2012-05-01 2013-12-12 Topcon Corp 眼科装置
JP2014217749A (ja) * 2013-04-30 2014-11-20 オクラス オプティクゲレーテ ゲーエムベーハーＯｃｕｌｕｓ Ｏｐｔｉｋｇｅｒａｅｔｅ ＧｍｂＨ 眼検査のための方法および分析装置
JP2015501667A (ja) 2011-11-11 2015-01-19 ゼネラル・エレクトリック・カンパニイ マルチモダリティ画像分割を実行するためのシステムおよび方法
JP2015154918A (ja) 2014-02-19 2015-08-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 病変検出装置及び方法
JP2015221276A (ja) * 2015-08-06 2015-12-10 株式会社トプコン 眼科情報処理システム、眼科情報処理サーバー及び眼科情報処理方法
JP2016159073A (ja) 2015-03-05 2016-09-05 株式会社トプコン 細隙灯顕微鏡
JP2016179004A (ja) 2015-03-24 2016-10-13 株式会社トプコン スリットランプ顕微鏡及びその制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10709610B2 (en) * 2006-01-20 2020-07-14 Lensar, Inc. Laser methods and systems for addressing conditions of the lens

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0452873A (ja) * 1990-06-15 1992-02-20 Toshiba Corp 画像処理装置及び画像処理方法
JP2007195994A (ja) 2005-10-17 2007-08-09 Yasuo Chinen 人工知能の構築方法、及び、医学用グリッドコンピュータシステム、及び、生理機能医療装置
JP2008264231A (ja) * 2007-04-20 2008-11-06 Toshiba Corp 医用診断支援装置、医用診断支援方法、医用診断支援システム
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
JP2015501667A (ja) 2011-11-11 2015-01-19 ゼネラル・エレクトリック・カンパニイ マルチモダリティ画像分割を実行するためのシステムおよび方法
JP2013248376A (ja) 2012-05-01 2013-12-12 Topcon Corp 眼科装置
JP2014217749A (ja) * 2013-04-30 2014-11-20 オクラス オプティクゲレーテ ゲーエムベーハーＯｃｕｌｕｓ Ｏｐｔｉｋｇｅｒａｅｔｅ ＧｍｂＨ 眼検査のための方法および分析装置
JP2015154918A (ja) 2014-02-19 2015-08-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 病変検出装置及び方法
JP2016159073A (ja) 2015-03-05 2016-09-05 株式会社トプコン 細隙灯顕微鏡
JP2016179004A (ja) 2015-03-24 2016-10-13 株式会社トプコン スリットランプ顕微鏡及びその制御方法
JP2015221276A (ja) * 2015-08-06 2015-12-10 株式会社トプコン 眼科情報処理システム、眼科情報処理サーバー及び眼科情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3659494A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021006815A1 (en) * 2019-07-08 2021-01-14 National University Of Singapore An automated slit lamp with computer parts and a method of eye screening using the same
GB2600288A (en) * 2019-07-08 2022-04-27 Nat Univ Singapore An automated slit lamp with computer parts and a method of eye screening using the same
GB2600288B (en) * 2019-07-08 2023-11-22 Nat Univ Singapore An automated slit lamp with computer parts and a method of eye screening using the same
EP4023142A4 (en) * 2019-08-29 2023-08-30 Topcon Corporation SLIT LAMP MICROSCOPE, OPHTHALMIC SYSTEM, METHOD OF CONTROLLING THE SLIT LAMP MICROSCOPE AND RECORDING MEDIA
CN112963696A (zh) * 2021-04-02 2021-06-15 大同市第五人民医院 一种将眼科检查图像发送给远程专家的系统及装置
CN112963696B (zh) * 2021-04-02 2022-08-09 大同市第五人民医院 一种将眼科检查图像发送给远程专家的装置

Also Published As

Publication number Publication date
EP3659494B1 (en) 2024-02-07
EP3659494A4 (en) 2021-04-14
US11617505B2 (en) 2023-04-04
JP2019024738A (ja) 2019-02-21
JP6923384B2 (ja) 2021-08-18
EP3659494A1 (en) 2020-06-03
US20210153735A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
JP6923384B2 (ja) 眼科システム及び眼科情報処理装置
JP7478216B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP7381671B2 (ja) スリットランプ顕微鏡
WO2019240151A1 (ja) スリットランプ顕微鏡及び眼科システム
WO2019240148A1 (ja) スリットランプ顕微鏡及び眼科システム
WO2019176231A1 (ja) 眼科システム、眼科情報処理装置、プログラム、及び記録媒体
WO2019240149A1 (ja) スリットランプ顕微鏡及び眼科システム
JP7345594B2 (ja) スリットランプ顕微鏡及び眼科システム
JP7002239B2 (ja) 眼科システム
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2022050738A (ja) スリットランプ顕微鏡システム
WO2021256130A1 (ja) スリットランプ顕微鏡
WO2021261103A1 (ja) スリットランプ顕微鏡
JP2022035168A (ja) スリットランプ顕微鏡システム
JP7237219B2 (ja) 眼科システム、眼科情報処理装置、プログラム、及び記録媒体
JP7345610B2 (ja) スリットランプ顕微鏡
WO2022030364A1 (ja) スリットランプ顕微鏡
JP2022048413A (ja) スリットランプ顕微鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18839368

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018839368

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018839368

Country of ref document: EP

Effective date: 20200227