JP6923384B2 - 眼科システム及び眼科情報処理装置 - Google Patents

眼科システム及び眼科情報処理装置 Download PDF

Info

Publication number
JP6923384B2
JP6923384B2 JP2017145634A JP2017145634A JP6923384B2 JP 6923384 B2 JP6923384 B2 JP 6923384B2 JP 2017145634 A JP2017145634 A JP 2017145634A JP 2017145634 A JP2017145634 A JP 2017145634A JP 6923384 B2 JP6923384 B2 JP 6923384B2
Authority
JP
Japan
Prior art keywords
image
knowledge
unit
communication unit
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017145634A
Other languages
English (en)
Other versions
JP2019024738A (ja
Inventor
央 塚田
央 塚田
福間 康文
康文 福間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2017145634A priority Critical patent/JP6923384B2/ja
Priority to PCT/JP2018/004200 priority patent/WO2019021512A1/ja
Priority to EP18839368.0A priority patent/EP3659494B1/en
Priority to US16/633,160 priority patent/US11617505B2/en
Publication of JP2019024738A publication Critical patent/JP2019024738A/ja
Application granted granted Critical
Publication of JP6923384B2 publication Critical patent/JP6923384B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/18Arrangement of plural eye-testing or -examining apparatus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • A61B3/135Slit-lamp microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/60ICT specially adapted for the handling or processing of medical references relating to pathologies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Description

本発明は、眼科システム及び眼科情報処理装置に関する。
眼科分野において画像診断は重要な位置を占める。画像診断では、各種の眼科撮影装置が用いられる。眼科撮影装置には、スリットランプ顕微鏡、眼底カメラ、走査型レーザー検眼鏡(SLO)、光干渉断層計(OCT装置)などがある。また、レフラクトメータ、ケラトメータ、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、マイクロペリメータなどの各種の眼科検査装置にも、前眼部や眼底を撮影する機能が搭載されている。
これら様々な眼科装置のうち最も広く且つ頻繁に使用される装置の一つがスリットランプ顕微鏡である。スリットランプ顕微鏡は、スリット光で被検眼を照明し、照明された断面を側方から顕微鏡で観察したり撮影したりするための眼科装置である。角膜や水晶体など前眼部の診断には、一般的にスリットランプ顕微鏡が用いられる。例えば、医師は、スリット光による照明野やフォーカス位置を移動させつつ診断部位全体を観察して異常の有無や程度を判断する。
ところで、近年における人工知能技術の進歩は著しく、様々な分野への応用が進められている。医療分野への応用は、意思決定支援、データ分析、データマイニング、トランザクション(電子カルテシステム、オーダリングシステム、医事会計システムなど)、画像処理、画像解析、ロボット、遺伝子解析など、広範囲にわたる。
特開2016−159073号公報 特開2016−179004号公報 特開2007−195994号公報 特開2015−154918号公報 特開2015−501667号公報
前述したように、スリットランプ顕微鏡は、眼科において最も広く且つ高頻度で使用される装置である。したがって、スリットランプ顕微鏡で取得された画像を多数収集して人工知能を用いて解析することは有効と考えられる。
一方、スリットランプ顕微鏡を用いた撮影には、照明系の移動、撮影系の移動、スリット幅の設定、フォーカス位置の設定など、様々な操作が必要である。そのため、医師がスリットランプ顕微鏡を手動で操作しつつ撮影を行うことが多い。また、当該被検者の診断やインフォームドコンセントに必要な少数の撮影画像のみを保存することが一般的である。したがって、現状では、スリットランプ顕微鏡で取得された画像を多数収集して人工知能に提供することは難しい。
本発明の目的は、スリットランプ顕微鏡で取得された画像の人工知能による解析を好適に行うことにある。
実施形態の第1の態様は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置と、前記複数の眼科撮影装置のそれぞれと通信路を介して接続された情報処理システムとを含み、前記複数の眼科撮影装置のそれぞれは、被検者の眼を撮影して3次元画像を取得する画像取得部と、前記3次元画像を前記情報処理システムに向けて送信する第1通信部とを含み、前記情報処理システムは、前記第1通信部により送信された前記3次元画像を受信する第2通信部と、前記第2通信部により受信された複数の3次元画像を格納する画像格納部と、前記複数の3次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する第1プロセッサと、前記第1プロセッサにより取得された知識を格納する知識格納部と、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第2通信部により受信された被検眼の3次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する第2プロセッサとを含む眼科システムである。前記第2プロセッサは、前記複数のスリットランプ顕微鏡のいずれかの前記画像取得部により取得され且つ前記第1通信部により送信されて前記情報処理システムの前記第2通信部により受信された前記被検眼の前記3次元画像を解析して関心領域を特定する関心領域特定部と、前記被検眼の前記3次元画像の前記関心領域と前記知識格納部に格納されている知識とに基づく推論を実行することにより、疑い病名、特定疾患の有無、重症度、検査の必要性、検査の種別、手術の必要性、手術の種別うちのいずれかを含む前記診断支援情報を生成する診断支援情報生成部とを含む。
実施形態の第の態様は、第1の態様の眼科システムであって、前記複数の眼科撮影装置は、スリットランプ顕微鏡と異なる種別の1以上のモダリティ装置を含み、前記複数のスリットランプ顕微鏡のいずれかにより取得された3次元画像と、前記1以上のモダリティ装置のいずれかにより取得された画像とを合成してフュージョン画像を形成するフュージョン画像形成部を含み、前記診断支援情報生成部は、前記フュージョン画像と前記知識格納部に格納されている知識とに基づく推論を実行して前記診断支援情報を生成する。
実施形態の第の態様は、第の態様の眼科システムであって、前記1以上のモダリティ装置は、1以上の光コヒーレンストモグラフィ(OCT)装置を含み、前記フュージョン画像形成部は、前記複数のスリットランプ顕微鏡のいずれかにより取得された3次元画像と、前記1以上のOCT装置のいずれかにより取得された画像とを合成してフュージョン画像を形成する。
実施形態の第の態様は、第1〜の態様のいずれかの眼科システムであって、前記画像取得部は、更に、前記被検者の眼を撮影して正面画像を取得し、前記第1通信部は、前記3次元画像とともに前記正面画像を送信し、前記第2通信部は、前記第1通信部により送信された前記3次元画像及び前記正面画像を受信し、前記画像格納部は、前記第2通信部により受信された複数の3次元画像及び複数の正面画像を格納し、前記第1プロセッサは、前記複数の3次元画像及び前記複数の正面画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行し、前記知識格納部は、前記複数の3次元画像及び前記複数の正面画像に基づき前記第1プロセッサにより取得された知識を格納し、前記診断支援情報生成部は、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第2通信部により受信された被検眼の3次元画像及び正面画像と前記知識格納部に格納されている知識とに基づく推論を実行して前記診断支援情報を生成する。
実施形態の第の態様は、第1〜の態様のいずれかの眼科システムであって、前記複数の眼科撮影装置のそれぞれは、被検者情報を受け付ける受付部を更に含み、前記第1通信部は、前記3次元画像とともに前記被検者情報を送信し、前記第2通信部は、前記第1通信部により送信された前記3次元画像及び前記被検者情報を受信し、前記画像格納部は、前記第2通信部により受信された複数の3次元画像及び複数の被検者情報を格納し、前記第1プロセッサは、前記複数の3次元画像及び前記複数の被検者情報に基づいて機械学習及びデータマイニングの少なくとも一方を実行し、前記知識格納部は、前記複数の3次元画像及び前記複数の被検者情報に基づき前記第1プロセッサにより取得された知識を格納し、前記診断支援情報生成部は、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第2通信部により受信された被検眼の3次元画像及び被検者情報と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する。
実施形態の第の態様は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置のそれぞれにより取得された被検者の眼の3次元画像を通信路を介して受け付ける通信部と、前記通信部により受信された複数の3次元画像を格納する画像格納部と、前記複数の3次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する第1プロセッサと、前記第1プロセッサにより取得された知識を格納する知識格納部と、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記通信部により受信された被検眼の3次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する第2プロセッサとを含む眼科情報処理装置である。前記第2プロセッサは、前記複数のスリットランプ顕微鏡のいずれかにより取得され且つ送信されて前記通信部により受信された前記被検眼の前記3次元画像を解析して関心領域を特定する関心領域特定部と、前記被検眼の前記3次元画像の前記関心領域と前記知識格納部に格納されている知識とに基づく推論を実行することにより、疑い病名、特定疾患の有無、重症度、検査の必要性、検査の種別、手術の必要性、手術の種別うちのいずれかを含む前記診断支援情報を生成する診断支援情報生成部とを含む。
実施形態の第の態様は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置により取得された複数の3次元画像に基づき機械学習及びデータマイニングの少なくとも一方を実行して取得された知識を格納する知識格納部と、スリットランプ顕微鏡により取得された被検眼の3次元画像を通信路を介して受け付ける通信部と、前記3次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成するプロセッサとを含む眼科情報処理装置である。前記プロセッサは、前記複数のスリットランプ顕微鏡のいずれかにより取得され且つ送信されて前記通信部により受信された前記被検眼の前記3次元画像を解析して関心領域を特定する関心領域特定部と、前記被検眼の前記3次元画像の前記関心領域と前記知識格納部に格納されている知識とに基づく推論を実行することにより、疑い病名、特定疾患の有無、重症度、検査の必要性、検査の種別、手術の必要性、手術の種別うちのいずれかを含む前記診断支援情報を生成する診断支援情報生成部とを含む。
実施形態によれば、スリットランプ顕微鏡で取得された画像の人工知能による解析を好適に行うことができる。
例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの動作の一例を説明するための概略図。 例示的な実施形態に係る眼科システムの動作の一例を説明するための概略図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの使用形態の一例を表すシーケンス図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科システムの構成の一例を表す概略図。 例示的な実施形態に係る眼科情報処理装置の構成の一例を表す概略図。
例示的な実施形態に係る眼科システム及び眼科情報処理装置について、図面を参照しながら詳細に説明する。なお、引用文献の開示事項や任意の公知技術を実施形態に組み合わせることができる。
実施形態の眼科システムは、各種の施設に設置された眼科撮影装置や可搬型の眼科撮影装置により取得された画像(特に3次元画像)を、人工知能技術を利用して解析する。実施形態の眼科システムは、複数の眼科撮影装置を含む。複数の眼科撮影装置は、少なくとも、複数のスリットランプ顕微鏡を含む。
複数の眼科撮影装置は、スリットランプ顕微鏡と異なる種別のモダリティ装置を含んでもよい。実施形態に適用可能なモダリティ装置の例として、光コヒーレンストモグラフィ装置(OCT装置)、眼底カメラ、SLO、手術用顕微鏡などがある。また、複数の眼科撮影装置は、被検眼を撮影するための撮影装置が搭載された眼科検査装置(例えば、レフラクトメータ、ケラトメータ、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、視野計、マイクロペリメータなど)を含んでいてもよい。
眼科撮影装置が設置される施設の例として、医療機関、眼鏡店、健康診断会場、検診会場、患者の自宅、福祉施設、公共施設、検診車などがある。
〈第1実施形態:眼科システム〉
実施形態に係る眼科システムの構成の例を説明する。図1に例示された眼科システム1000は、眼科撮影が行われるN個の施設(第1施設〜第N施設)のそれぞれと、情報処理システム5000とを結ぶ通信路(通信回線)Nを利用して構築されている。
各施設(第n施設:n=1〜N、Nは1以上の整数)には、眼科撮影装置2000−i(i=1〜K、Kは1以上の整数)が設置されている。つまり、各施設(第n施設)には、1以上の眼科撮影装置2000−iが設置されている。眼科撮影装置2000−iは、眼科システム1000に含まれる。なお、眼科以外の検査を実施可能な検査装置が眼科システム1000に含まれていてもよい。
本例の眼科撮影装置2000−iは、被検眼の撮影を実施する「撮影装置」としての機能と、各種データ処理や外部装置との通信を行う「コンピュータ」としての機能の双方を備えている。他の例において、撮影装置とコンピュータとを別々に設けることが可能である。この場合、撮影装置とコンピュータとは互いに通信可能に構成されてよい。更に、撮影装置の数とコンピュータの数とはそれぞれ任意であり、例えば単一のコンピュータと複数の撮影装置とを設けることができる。
更に、各施設(第n施設)には、被検者や補助者により使用される情報処理装置(端末3000−n)が設置されている。端末3000−nは、当該施設において使用されるコンピュータであり、例えば、タブレット端末やスマートフォンなどのモバイル端末、当該施設に設置されたサーバなどであってよい。更に、端末3000−nは、無線型イヤフォンなどのウェアラブルデバイスを含んでいてもよい。なお、端末3000−nは、当該施設においてその機能を使用可能なコンピュータであれば十分であり、例えば、当該施設の外に設置されたコンピュータ(クラウドサーバなど)であってもよい。
眼科撮影装置2000−iと端末3000−nとは、第n施設内に構築されたネットワーク(施設内LANなど)や、広域ネットワーク(インターネットなど)や、近距離通信技術を利用して通信を行えるように構成されてよい。
眼科撮影装置2000−iは、サーバとしての機能を備えていてよい。この構成が適用される場合、眼科撮影装置2000−iと端末3000−nとが直接に通信を行うように構成することができる。この場合、情報処理システム5000と端末3000−nとの間の通信を眼科撮影装置2000−iを介して行うことができるので、端末3000−nと情報処理システム5000との間で通信を行う機能を設ける必要がなくなる。
情報処理システム5000は、例えば、眼科システム1を運用・管理するための施設に設置されている。情報処理システム5000は、第1〜第N施設に設置された眼科撮影装置2000−iの少なくとも一部と通信路Nを介して通信が可能である。
情報処理システム5000は、データ処理機能を備えてもよい。例えば、情報処理システム5000は、被検眼の複数の断面画像から3次元画像を形成する処理を実行する3次元画像形成部(プロセッサ、コンピュータプログラムなどを含む)を含んでいてよい。
本実施形態において、「プロセッサ」は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))などの回路を意味する。プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムやデータを読み出し実行することで、実施形態に係る機能を実現することができる。
〈眼科撮影装置の構成〉
眼科撮影装置2000−iの構成について説明する。前述したように、眼科撮影装置2000−iは任意のモダリティであってよいが、本実施形態ではスリットランプ顕微鏡が適用される。
ここで、方向を定義しておく。スリットランプ顕微鏡の光学系において最も被検者側に位置するレンズ(対物レンズ)から被検者に向かう方向を前方向(又は、深さ方向、奥行き方向など)とし、その逆方向を後方向とする。また、前方向に直交する水平方向を左右方向とする。更に、前後方向と左右方向の双方に直交する方向を上下方向とする。
例示的なスリットランプ顕微鏡の外観構成を図2に示す。スリットランプ顕微鏡1には、コンピュータ100が接続されている。コンピュータ100は、各種の制御処理や演算処理を行う。顕微鏡本体(光学系などを格納する筐体)とは別にコンピュータ100を設ける代わりに、顕微鏡本体に同様のコンピュータを搭載した構成を適用することも可能である。コンピュータ100の少なくとも一部と、前述した端末3000−nの少なくとも一部とが共通であってもよい。
スリットランプ顕微鏡1はテーブル2上に載置される。基台4は、移動機構部3を介して水平方向に移動可能に構成されている。基台4は、操作ハンドル5を傾倒操作することにより移動される。
基台4の上面には、観察撮影系6及び照明系8を支持する支持部15が設けられている。支持部15には、観察撮影系6を支持する支持アーム16が左右方向に回動可能に取り付けられている。支持アーム16の上部には、照明系8を支持する支持アーム17が左右方向に回動可能に取り付けられている。支持アーム16及び17は、それぞれ独立に且つ互いに同軸で回動可能とされている。
観察撮影系6は、支持アーム16を回動させることで移動される。照明系8は、支持アーム17を回動させることで移動される。支持アーム16及び17のそれぞれは、電気的な機構によって回動される。移動機構部3には、支持アーム16を回動させるための機構と、支持アーム17を回動させるための機構とが設けられている。なお、支持アーム16を手動で回動させることによって観察撮影系6を移動することもできる。同様に、支持アーム17を手動で回動させることによって照明系8を移動することもできる。
照明系8は、被検眼Eに照明光を照射する。前述のように、照明系8を左右方向に回動することができる。更に、照明系8を上下方向に回動できるように構成されてもよい。つまり、照明系8の仰角や俯角を変更できるように構成されていてもよい。このような照明系8のスイング動作により、被検眼Eに対する照明光の投射方向が変更される。
観察撮影系6は、被検眼Eに投射された照明光の戻り光を案内する左右一対の光学系を有する。この光学系は鏡筒本体9内に収納されている。鏡筒本体9の終端は接眼部9aである。検者は接眼部9aをのぞき込むことで被検眼Eを観察する。前述のように、支持アーム16を回動させることにより鏡筒本体9を左右方向に回動させることができる。更に、観察撮影系6を上下方向に回動できるように構成されてもよい。つまり、観察撮影系6の仰角や俯角を変更できるように構成されていてもよい。このような観察撮影系6のスイング動作により、被検眼Eを撮影する方向を変更することができる。
鏡筒本体9に対峙する位置には顎受け台10が配置されている。顎受け台10には、被検者の顔を安定配置させるための顎受部10aと額当て10bが設けられている。
鏡筒本体9の側面には、倍率を変更するための倍率操作ノブ11が配置されている。更に、鏡筒本体9には、被検眼Eを撮影するための撮像装置13が接続されている。撮像装置13は撮像素子を含む。撮像素子は、光を検出して画像信号GS(電気信号)を出力する光電変換素子である。画像信号GSはコンピュータ100に入力される。撮像素子としては、例えば、CCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられる。照明系8の下方位置には、照明系8から出力される照明光束を被検眼Eに向けて反射するミラー12が配置されている。
〈光学系の構成〉
スリットランプ顕微鏡1の光学系の構成例を図3に示す。前述したように、スリットランプ顕微鏡1は、観察撮影系6と照明系8とを備えている。
〈観察撮影系6〉
観察撮影系6は左右一対の光学系を備えている。左右の光学系は、ほぼ同様の構成を有する。検者は、この左右の光学系により被検眼Eを双眼で観察することができる。なお、図3には、観察撮影系6の左右の光学系の一方のみが示されている。観察撮影系6は、左右の光学系の一方のみを備えていてもよい。符号O1は、観察撮影系6の光軸を示す。
観察撮影系6の左右の光学系のそれぞれは、対物レンズ31、変倍光学系32、ビームスプリッタ34、結像レンズ35、プリズム36、及び接眼レンズ37を含む。ここで、ビームスプリッタ34は、左右の光学系の一方又は双方に設けられる。接眼レンズ37は、接眼部9a内に設けられている。符号Pは、接眼レンズ37に導かれる光の結像位置を示す。符号Ecは被検眼Eの角膜を示す。符号Eoは検者眼を示す。
変倍光学系32は、複数(例えば3枚)の変倍レンズ32a、32b、32cを含む。本実施形態では、観察撮影系6の光路に対して選択的に挿入可能な複数の変倍レンズ群が設けられている。これら変倍レンズ群は、それぞれ異なる倍率に対応する。観察撮影系6の光路に配置された変倍レンズ群が変倍光学系32として用いられる。このような変倍レンズ群の選択的な挿入により、被検眼Eの観察像や撮影画像の倍率(画角)を変更することができる。倍率の変更、つまり観察撮影系6の光路に配置される変倍レンズ群の切り替えは、倍率操作ノブ11を操作することにより行われる。また、図示しないスイッチなどを用いて電動で倍率を変更することもできる。
ビームスプリッタ34は、光軸O1に沿って進む光の光路を、光軸O1の延長上に位置する光路と、光軸O1に対して直交する光路とに分割する。光軸O1の延長上に位置する光路に入射した光は、結像レンズ35、プリズム36及び接眼レンズ37を介して検者眼Eoに導かれる。プリズム36は、光の進行方向を上方に平行移動させる。
一方、光軸O1に対して直交する光路に入射した光は、集光レンズ41及びミラー42を介して、撮像装置13の撮像素子43に導かれる。すなわち、観察撮影系6は、被検眼Eからの戻り光を撮像装置13に導く。撮像素子43は、この戻り光を検出して画像信号GSを生成する。
観察撮影系6は、そのフォーカス位置を変更するための合焦機構40を含む。合焦機構40は、光軸O1に沿って対物レンズ31を移動させる。例えば、合焦機構40は、対物レンズ31を保持する保持部材と、この保持部材を光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。
対物レンズ31の移動は、自動及び/又は手動で行われる。自動で対物レンズ31を移動する場合、例えば、コンピュータ100は、公知のフォーカス調整手法(例えば、位相差検出方式、コントラスト検出方式など)を用いて、被検眼Eからの戻り光に基づきフォーカス位置を求めることができる。更に、コンピュータ100は、求められたフォーカス位置まで対物レンズ31を光軸O1に沿って移動するようにアクチュエータを制御することができる。一方、手動で対物レンズ31を移動する場合、ユーザーによる操作に応じてアクチュエータが対物レンズ31を光軸O1に沿って移動させる。
なお、観察撮影系6は、対物レンズ31と撮像素子43との間の光軸O1上の位置に配置された第1合焦レンズを含んでもよい。この場合、合焦機構40は、第1合焦レンズを光軸O1に沿って移動させることによって観察撮影系6のフォーカス位置を変更する。例えば、合焦機構40は、第1合焦レンズを保持する保持部材と、この保持部材を光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ31を移動させる場合と同様に、合焦機構40による第1合焦レンズの移動は、自動又は手動で行われる。
また、観察撮影系6の全体(又は一部)が光軸O1に沿って移動可能に構成されていてもよい。この場合、合焦機構40は、観察撮影系6の全体を光軸O1に沿って移動させることによって、観察撮影系6のフォーカス位置を変更する。例えば、合焦機構40は、観察撮影系6が搭載された可動ステージと、この可動ステージを光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ31を移動させる場合と同様に、合焦機構40による観察撮影系6の移動は、自動又は手動で行われる。
〈照明系8〉
照明系8は、照明光源51、集光レンズ52、細隙(スリット)形成部53、及び対物レンズ54を含む。符号O2は、照明系8の光軸を示す。
照明光源51は照明光を出力する。なお、照明系8に複数の光源を設けてもよい。例えば、定常光を出力する光源(例えば、ハロゲンランプ、発光ダイオード(LED)など)と、フラッシュ光を出力する光源(例えば、キセノンランプ、LEDなど)の双方を照明光源51として設けることができる。また、前眼部観察用の光源と後眼部観察用の光源とを別々に設けてもよい。例えば、照明光源51は、可視光を出力する可視光源を含む。照明光源51は、赤外光(例えば、中心波長が800nm〜1000nmの光)を出力する赤外光源を含んでもよい。
細隙形成部53は、スリット光を生成するために用いられる。細隙形成部53は、一対のスリット刃を有する。これらスリット刃の間隔(スリット幅)を変更することにより、生成されるスリット光の幅を変更することができる。
照明系8は、スリット光のフォーカス位置を変更するための合焦機構50を含む。合焦機構50は、対物レンズ54を光軸O2に沿って移動させる。例えば、合焦機構50は、対物レンズ54を保持する保持部材と、この保持部材を光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。
対物レンズ54の移動は、自動及び/又は手動で行われる。自動で対物レンズ54を移動する場合、例えば、コンピュータ100は、被検眼Eからの戻り光に基づく像が描出された画像を解析することによってフォーカス位置を求めることができる。更に、コンピュータ100は、求められたフォーカス位置まで対物レンズ54を光軸O2に沿って移動するようにアクチュエータを制御することができる。一方、手動で対物レンズ54を移動する場合には、ユーザーによる操作に応じてアクチュエータが対物レンズ54を光軸O2に沿って移動させる。
なお、照明系8は、対物レンズ54と細隙形成部53との間の光軸O2上の位置に配置された第2合焦レンズを含んでもよい。この場合、合焦機構50は、第2合焦レンズを光軸O2に沿って移動させることによって、スリット光のフォーカス位置を変更する。例えば、合焦機構50は、第2合焦レンズを保持する保持部材と、この保持部材を光軸O2の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ54を移動させる場合と同様に、合焦機構50による第2合焦レンズの移動は、自動又は手動で行われる。
また、照明系8の全体(又は一部)が光軸O2に沿って移動可能に構成されていてもよい。この場合、合焦機構50は、照明系8の全体を光軸O2に沿って移動させることによって、スリット光のフォーカス位置を変更する。例えば、合焦機構50は、照明系8が搭載された可動ステージと、この可動ステージを光軸O2の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ54を移動させる場合と同様に、合焦機構50による照明系8の移動は、自動又は手動で行われる。
図3では図示が省略されているが、照明系8から出力される照明光束を被検眼Eに向けて反射するミラー12が光軸O2上に配置されている。典型的には、照明系8とミラー12とが一体的に回動するように構成されている。
スリットランプ顕微鏡1は、被検眼Eに対する照明角度及び撮影角度を変更しつつ被検眼Eを複数回撮影して複数の画像を取得することができる。換言すると、スリットランプ顕微鏡1は、照明系8及び観察撮影系6を回動させつつ被検眼Eを複数回撮影することで、被検眼Eの複数の断面画像を取得することができる。
このような制御により取得された複数の断面画像のそれぞれには、その取得位置(断面位置)を示す位置情報が関連付けられる。この位置情報は、例えば、照明系8の回動位置、観察撮影系6の回動位置、被検眼Eの正面画像における断面の位置など、及び/又は、これらのいずれかに基づき求められた情報が含まれる。
照明系8の回動位置や観察撮影系6の回動位置は、例えば、エンコーダーなどを含む回動位置検出部によって検出することができる。或いは、照明系8の回動位置や観察撮影系6の回動位置は、それを制御するコンピュータ100によって認識可能である。また、被検眼Eの正面画像における断面の位置は、例えば、別途に取得された被検眼Eの正面画像と、回動位置検出部による検出の結果とに基づいて求めることができる。詳細は後述するが、このような位置情報と複数の断面画像とに基づいて、被検眼Eの3次元画像を形成することができる。
なお、照明角度及び撮影角度を変更しつつ行われる複数回の撮影は、照明角度及び/又は撮影角度が変更されているときに行われてもよいし、照明角度及び/又は撮影角度の変更が停止されているときに行われてもよい。また、照明角度の変更は連続的でも断続的でもよいし、撮影角度の変更は連続的でも断続的でもよい。
スリットランプ顕微鏡1は、被検眼Eに対するフォーカス位置を変更しつつ被検眼Eを複数回撮影して複数の画像を取得することができる。より具体的には、スリットランプ顕微鏡1は、観察撮影系6のフォーカス位置及び照明系8のフォーカス位置の少なくとも一方を変更しつつ被検眼Eを複数回撮影することで、被検眼Eの複数の断面画像を取得することができる。
このような制御により取得された複数の断面画像のそれぞれには、その取得位置(フォーカス位置)を示す位置情報が関連付けられる。この位置情報は、例えば、合焦機構40に対する制御内容、合焦機構50に対する制御内容、合焦機構40により移動される対象(例えば、対物レンズ31、第1合焦レンズ、又は観察撮影系6)の位置、合焦機構50により移動される対象(例えば、対物レンズ54、第2合焦レンズ、又は照明系8)の位置など、及び/又は、これらのいずれかに基づき求められた情報が含まれる。
合焦機構40又は50に対する制御内容は、例えば、それを制御するコンピュータ100によって認識可能である。合焦機構40又は50により移動される対象の位置は、例えば、エンコーダーなどを含む位置検出部によって検出することができる。詳細は後述するが、このような位置情報と複数の断面画像とに基づいて、被検眼Eの3次元画像を形成することができる。
なお、フォーカス位置を変更しつつ行われる複数回の撮影は、フォーカス位置が変更されているときに行われてもよいし、フォーカス位置の変更が停止されているときに行われてもよい。また、フォーカス位置の変更は連続的でも断続的でもよい。
上記した2つの制御を組み合わせることができる。すなわち、スリットランプ顕微鏡1は、照明角度と撮影角度とフォーカス位置とを変更しつつ被検眼Eを複数回撮影して複数の断面画像を取得することが可能である。このような制御により取得された複数の断面画像のそれぞれには、その取得位置(断面位置及びフォーカス位置)を示す位置情報が関連付けられる。
〈制御系の構成〉
スリットランプ顕微鏡1の制御系について、図4〜図6を参照しながら説明する。スリットランプ顕微鏡1の制御系の構成例を図4に示す。なお、制御系を構成する複数の要素の少なくとも一部がコンピュータ100に含まれていてもよい。
〈制御部101〉
制御部101は、スリットランプ顕微鏡1の各部を制御する。制御部101は、観察撮影系6、照明系8、表示部130、通信部170などを制御する。
観察撮影系6の制御としては、変倍光学系32の制御、撮像素子43の制御、合焦機構40の制御、観察撮影系6を移動させるための移動機構60の制御、フォーカス位置検出部150の制御、スキャン位置検出部160の制御などがある。変倍光学系32の制御としては、倍率操作ノブ11に対する操作内容を受けて被検眼Eの肉眼観察像や撮影画像の倍率を変更する制御などがある。撮像素子43の制御としては、撮像素子43の電荷蓄積時間、感度、フレームレートなどを変更する制御や、撮像素子43により得られた画像信号GSを画像合成部120に送る制御などがある。合焦機構40の制御としては、合焦機構40による観察撮影系6のフォーカス位置を変更する制御などがある。移動機構60は、例えば、移動機構部3と、支持アーム16及び17と、支持アーム16及び17を移動する機構とを含む。移動機構60の制御としては、観察撮影系6を回動する制御などがある。フォーカス位置検出部150の制御としては、フォーカス位置検出部150により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。スキャン位置検出部160の制御としては、スキャン位置検出部160により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。
照明系8の制御としては、照明光源51の制御、細隙形成部53の制御、合焦機構50の制御、照明系8を移動させるための移動機構60の制御、フォーカス位置検出部150の制御、スキャン位置検出部160の制御などがある。照明光源51の制御としては、照明光源51の点灯/消灯の切り換え、照明光の光量を変更する制御などがある。細隙形成部53の制御としては、スリット幅を変更する制御、スリットを平行移動する制御、スリットを回転する制御などがある。合焦機構50の制御としては、合焦機構50によるスリット光のフォーカス位置(照明系8のフォーカス位置)を変更する制御などがある。移動機構60の制御としては、照明系8を移動する制御などがある。フォーカス位置検出部150の制御としては、フォーカス位置検出部150により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。スキャン位置検出部160の制御としては、スキャン位置検出部160により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。
制御部101は、合焦制御部101Aと、スキャン制御部101Bと、記憶部102とを含む。
合焦制御部101Aは、観察撮影系6のフォーカス位置の制御と、照明系8のフォーカス位置の制御とを実行する
図5を参照しつつ合焦制御部101Aの動作について説明する。図5は、被検眼Eの角膜Ecに対する観察撮影系6及び照明系8のフォーカス位置を模式的に表したものである。前述したように、符号31は観察撮影系6の対物レンズであり、符号54は照明系8の対物レンズである。符号Cfは、角膜Ecの前面を示し、符号Cbは角膜Ecの後面を示す。符号Ccは、角膜Ec(角膜前面Cf)の曲率中心位置を示す。例えば、観察撮影系6及び照明系8の回動軸は、曲率中心位置Ccに実質的に一致される。
合焦制御部101Aは、被検眼Eの関心部位に対する深さ方向(つまり、回動動作における動径方向)のスキャン(rスキャン)を制御する。合焦制御部101Aは、合焦機構40と合焦機構50とを連係的に制御することができる。例えば、合焦制御部101Aは、合焦機構40及び合焦機構50を制御して、関心部位の深さ方向(つまり、被検眼Eにおける奥行き方向)の位置PS1、PS2、PS3の順番に観察撮影系6のフォーカス位置及び照明系8のフォーカス位置を変更する。観察撮影系6は、各フォーカス位置に対応した被写界深度で被検眼Eを撮影することができる。例えば、観察撮影系6は、位置PS1に対応した被写界深度PC1における被検眼Eの画像を取得することができる。
合焦制御部101Aは、撮像装置13に画像を取得させる制御と上記の連係的制御とを交互に実行することができる。それにより、合焦制御部101Aは、被検眼Eの関心部位の深さ方向について複数の断面画像の取得を制御することができる。例えば、合焦制御部101Aは、位置PS1を含む断面の画像と、位置PS2を含む断面の画像と、位置PS3を含む断面の画像とを順次に取得するように制御を行うことができる。
スキャン制御部101Bは、被検眼Eの関心部位に対するスキャン位置を水平方向(深さ方向に略直交する方向)に移動するための制御を行う。なお、詳細な説明は省略するが、水平方向と深さ方向との双方に略直交する上下方向にスキャン位置を移動するための制御についても、同じ要領で実行することができる。
図6を参照しつつスキャン制御部101Bの動作について説明する。図6は、角膜Ecに対する観察撮影系6及び照明系8のフォーカス位置を模式的に表したものである。なお、図6において、図5と同様の部分には同一符号を付し、適宜説明を省略する。
スキャン制御部101Bは、被検眼Eの関心部位に対する水平方向(つまり、回動動作における偏角方向)のスキャン(θスキャン)を制御する。スキャン制御部101Bは、例えば、照明系8の回動と観察撮影系6の回動とを連係させるように移動機構60を制御する。例えば、スキャン制御部101Bは、水平方向のスキャン位置PS1、PS11、PS12の順番に観察撮影系6及び照明系8を移動させる。
スキャン制御部101Bは、撮像装置13に画像を取得させる制御と移動機構60の制御とを交互に実行することができる。それにより、スキャン制御部101Bは、被検眼Eの関心部位において水平方向に配列された複数の断面画像を取得するための制御を行うことができる。例えば、スキャン制御部101Bは、位置PS1を含む断面の画像と、位置PS11を含む断面の画像と、位置PS12を含む断面の画像とを順次に取得するように制御を行うことができる。
水平方向の位置PS1、PS11、PS12のそれぞれにおいて、合焦制御部101Aは、観察撮影系6のフォーカス位置及び照明系8のフォーカス位置を深さ方向に変更することができる。それにより、位置PS1、PS2、PS3、PS11、PS21、PS31、PS12、PS22、PS32のそれぞれについて断面画像を取得することができる。
記憶部102は、各種のコンピュータプログラムやデータを記憶する。コンピュータプログラムには、所定の動作モードにしたがってスリットランプ顕微鏡1を動作させるための演算プログラムや制御プログラムが含まれる。データには、各種の検査において使用されるデータが含まれる。このようなデータの例として、スキャン情報がある。スキャン情報は、例えば、関心部位の複数のスキャン位置に観察撮影系6及び照明系8を移動させるための制御情報と、各スキャン位置について1以上の深さ方向の位置に観察撮影系6及び照明系8のフォーカス位置を変更するための制御情報とを含む。これら制御情報は、事前に記憶部102に保存される。制御部101は、記憶部102に記憶されたコンピュータプログラム及びスキャン情報を用いて、スキャン制御部101Bによる水平方向のスキャン位置を制御と、合焦制御部101Aによるフォーカス位置の制御とを、個別的に又は連係的に実行することができる。
スリットランプ顕微鏡1について1以上の動作モードが予め設けられていてよい。本実施形態では、3次元撮影モードを設けることができる。3次元撮影モードは、被検眼の3次元画像を取得するための動作モードである。3次元撮影モードにおいて、スリットランプ顕微鏡1の制御部101は、照明系8と観察撮影系6と移動機構60と合焦機構40及び50とを連係的に制御することにより、被検眼Eの複数の断面画像を撮像装置13に取得させる。なお、スリットランプ顕微鏡1の動作モードは3次元撮影モードに限定されない。
動作モードの指定は、例えば、スリットランプ顕微鏡1の操作部140又は端末3000−nを用いて行われる。或いは、通信路Nを介してスリットランプ顕微鏡1に接続された装置を用いて動作モードを指定することも可能である。例えば、遠隔地に居る医師が使用するコンピュータを用いて動作モードを指定することが可能である。
動作モードの指定態様はこのような手動指定に限定されない。例えば、当該被検者に対して過去に適用された動作モードを電子カルテなどから取得し、これを指定することができる。また、特定疾患に予め対応付けられた動作モードを自動で指定することができる。また、検査の種別(例えば、スクリーニング、検診、健康診断、一般診療など)に予め対応付けられた動作モードを自動で指定することができる。
制御部101は、プロセッサ、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブなどを含む。ROMやハードディスクドライブなどの記憶装置には、制御プログラムがあらかじめ記憶されている。制御部101の動作は、制御プログラムなどのソフトウェアと、プロセッサなどのハードウェアとが協働することによって実現される。制御部101は、スリットランプ顕微鏡1の本体(例えば基台4内)やコンピュータ100に配置される。
〈画像合成部120〉
画像合成部120は、合焦制御部101A及び/又はスキャン制御部101Bが実行する上記制御にしたがって撮像装置13により取得された複数の断面画像を合成する。
例えば、画像合成部120は、合焦機構40及び合焦機構50によりフォーカス位置を変更しつつ撮像装置13により取得された複数の断面画像を合成する。この場合、複数の断面画像は深さ方向に配列されている。換言すると、複数の断面画像がそれぞれ描写する複数の断面は、同一平面内に配置されている。このような複数の断面画像から構築される合成画像は、個々の断面画像よりも深い被写界深度の(換言すると、パンフォーカスの、又は、ディープフォーカスの)2次元断面画像である。
画像合成部120は、断面が同一の平面内に配置されていない複数の(2次元)断面画像を合成することにより3次元画像を形成することができる。3次元画像とは、3次元座標系により画素の位置が定義された画像(画像データ)を意味する。
3次元画像の例として、複数の断面画像のスタックデータがある。スタックデータは、複数のスキャン位置において得られた複数の断面画像を、スキャン位置の位置関係に基づいて3次元的に配置して得られる画像データである。より具体的に説明すると、スタックデータは、元々個別の2次元座標系により定義されていた複数の断面画像を、同じ3次元座標系により表現する(つまり、同じ3次元空間に埋め込む)ことにより得られる画像データである。
3次元画像の他の例としてボリュームデータ(ボクセルデータとも呼ばれる)がある。ボリュームデータは、3次元的な画素であるボクセルが3次元的に配列された画像データである。ボリュームデータは、例えば、スタックデータに補間処理を施し、画素を3次元化(ボクセル化)することによって形成される。
このような画像合成処理を実行するために、画像合成部120は、配列処理部121と合成処理部122とを含む。
配列処理部121は、前述したrスキャン、θスキャン、又はこれらの組み合わせにより取得された複数の断面画像の配列を、これら断面画像に関連付けられた位置情報(例えば、フォーカス位置、断面位置)に基づき特定し、特定された配列にしたがって複数の断面画像を配置する。
例えば、配列処理部121は、フォーカス位置検出部150により検出されたスリット光のフォーカス位置(例えば、前述した位置情報)を制御部101から受けて複数の断面画像を配列する。また、配列処理部121は、スキャン位置検出部160により検出された観察撮影系6及び照明系8の回動位置(例えば、前述した位置情報)を制御部101から受けて複数の断面画像を配列する。
合成処理部122は、配列処理部121により配列された複数の断面画像を合成する。この画像合成処理は、例えば、スタックデータを形成する処理を含んでよく、ボリュームデータを形成する処理を更に含んでよい。
このような一連の処理を実行することにより、画像合成部120は、被検眼Eの複数の断面画像に基づく3次元画像や2次元画像を形成することができる。
他の例において、画像合成部120は、前述した位置情報を用いることなく複数の断面画像を合成することができる。例えば、画像合成部120は、異なる2以上の断面画像において共通の部位を描出している画像領域(共通領域)を画像解析によって特定し、特定された共通領域が重なるようにこれら断面画像を貼り合わせることができる。このような画像解析が適用される場合、フォーカス位置検出部150やスキャン位置検出部160が設けられる必要はない。ただし、フォーカス位置検出部150やスキャン位置検出部160により得られた情報を「画像の位置の粗調整」に利用し、その後に画像解析による「画像の位置の粗調整」を行うようにしてもよい。
画像合成部120の機能の少なくとも一部が、スリットランプ顕微鏡1と異なる装置に設けられていてもよい。例えば、スリットランプ顕微鏡1との間で通信が可能なコンピュータに、画像合成部120の機能の少なくとも一部を設けることができる。その具体例として、スリットランプ顕微鏡1が設置されている施設に設けられたコンピュータ(例えば、端末3000−n、サーバなど)に、画像合成部120の機能の少なくとも一部を設けることができる。或いは、情報処理システム5000又はこれとの間で通信が可能なコンピュータに、画像合成部120の機能の少なくとも一部を設けることができる。
〈フォーカス位置検出部150〉
フォーカス位置検出部150は、例えば、観察撮影系6のフォーカス位置を検出する第1フォーカス位置検出部と、照明系8のフォーカス位置を検出する第2フォーカス位置検出部とを含む。第1フォーカス位置検出部及び/又は第2フォーカス位置検出部は、例えば、エンコーダーやポテンショメーターなどの位置センサーを含んでよい。
或いは、第1フォーカス位置検出部は、合焦制御部101Aが観察撮影系6に対して実行した制御の内容(つまり、制御の履歴)に基づいて観察撮影系6のフォーカス位置を求めるプロセッサを含んでもよい。同様に、第2フォーカス位置検出部は、合焦制御部101Aが照明系8に対して実行した制御の内容(つまり、制御の履歴)に基づいて照明系8のフォーカス位置を求めるプロセッサを含んでもよい。
〈スキャン位置検出部160〉
スキャン位置検出部160は、例えば、観察撮影系6の位置を検出する第1位置検出部と、照明系8の位置を検出する第2位置検出部とを含む。第1位置検出部及び/又は第2位置検出部は、例えば、基台4の位置を検出するための位置センサーと、支持アーム16及び17の位置を検出するための回動角度センサーとを含む。
或いは、第1位置検出部は、スキャン制御部101Bが観察撮影系6に対して実行した制御の内容(つまり、制御の履歴)に基づいて観察撮影系6の位置を求めるプロセッサを含んでもよい。同様に、第2位置検出部は、スキャン制御部101Bが照明系8に対して実行した制御の内容(つまり、制御の履歴)に基づいて照明系8の位置を求めるプロセッサを含んでもよい。
〈表示部130〉
表示部130は、制御部101の制御を受けて各種の情報を表示する。例えば、表示部130は、液晶ディスプレイ(LCD)などのフラットパネルディスプレイを含む。表示部130は、スリットランプ顕微鏡1の本体に設けられていてもよいし、コンピュータ100に設けられていてもよい。
〈操作部140〉
操作部140は、スリットランプ顕微鏡1を操作するための操作デバイスや、情報を入力するための入力デバイスを含む。操作部140には、スリットランプ顕微鏡1に設けられたボタンやスイッチ(例えば、操作ハンドル5、倍率操作ノブ11など)や、コンピュータ100に設けられた操作デバイス(例えば、マウス、キーボードなど)が含まれる。また、操作部140は、トラックボール、操作パネル、スイッチ、ボタン、ダイアルなど、任意の操作デバイスや入力デバイスを含んでいてよい。
図4では、表示部130と操作部140とを別々に表しているが、表示部130の少なくとも一部と操作部140の少なくとも一部とが同じデバイスであってもよい。その具体例として、タッチスクリーンがある。
〈通信部170〉
通信部170は、スリットランプ顕微鏡1と他の装置との間におけるデータ通信を行う。データ通信の方式は任意である。例えば、通信部170は、インターネットに準拠した通信インターフェイス、専用線に準拠した通信インターフェイス、LANに準拠した通信インターフェイス、近距離通信に準拠した通信インターフェイスなどを含む。データ通信は有線通信でも無線通信でもよい。
通信部170により送受信されるデータは暗号化されていてよい。その場合、例えば、制御部101は、送信データを暗号化する暗号化処理部と、受信データを復号化する復号化処理部とを含む。
〈情報処理システム5000〉
情報処理システム5000の構成について説明する。図7に例示された情報処理システム5000は、制御部5010と、データ処理部5100と、通信部5200と、記憶装置5300とを含む。
〈制御部5010〉
制御部5010は、情報処理システム5000の各部の制御を実行する。制御部5010は、その他の演算処理を実行可能であってよい。制御部5010は、プロセッサ、RAM、ROM、ハードディスクドライブ、ソリッドステートドライブなどを含む。
〈データ処理部5100〉
データ処理部5100は、各種のデータ処理を実行する。データ処理部5100は、プロセッサ、RAM、ROM、ハードディスクドライブ、ソリッドステートドライブなどを含む。
データ処理部5100は、スリットランプ顕微鏡1(眼科撮影装置2000−i)から送信された複数の断面画像から3次元画像(例えば、スタックデータ又はボリュームデータ)を構築する機能を備えていてよい。また、データ処理部5100は、スリットランプ顕微鏡1(眼科撮影装置2000−i)から送信されたスタックデータからボリュームデータを構築する機能を備えていてよい。
データ処理部5100は、レンダリング機能を備えていてよい。例えば、データ処理部5100は、眼科撮影装置2000−iなどにより形成された3次元画像をレンダリングすることができる。レンダリングは任意の処理であってよく、例えば3次元コンピュータグラフィクスを含む。3次元コンピュータグラフィクスは、3次元座標系により定義された3次元空間内の仮想的な立体物(スタックデータ、ボリュームデータなどの3次元画像)を2次元情報に変換することにより立体感のある画像を作成する演算手法である。レンダリングの例として、ボリュームレンダリング法、最大値投影法(MIP)、最小値投影法(MinIP)、サーフェスレンダリング法、多断面再構成法(MPR)、プロジェクション画像形成、シャドウグラム形成などがある。
データ処理部5100は、知識獲得プロセッサ5110と、推論プロセッサ5120とを含む。知識獲得プロセッサ5110及び/又は推論プロセッサ5120は、例えば、眼科撮影装置2000−iなどにより形成された3次元画像、そのレンダリング画像、3次元画像の解析データ、レンダリング画像の解析データ、及び、その他の情報(例えば、被検者情報、正面画像、電子カルテ情報、読影レポートなど、任意の医療情報)のうちの少なくともいずれかを処理することが可能である。
〈知識獲得プロセッサ5110〉
知識獲得プロセッサ5110は、事前に収集されたデータに基づいて機械学習及びデータマイニングの少なくとも一方を実行することにより知識を獲得する。事前に収集されたデータは、記憶装置5300の撮影データ格納部5310に保存されている。
データの収集は、例えば、眼科撮影装置2000−i、他の眼科撮影装置、眼科検査装置、及び、他の診療科(放射線科など)で使用される装置のいずれかを用いて行われる。また、医師が入力した情報(電子カルテ、読影レポートなど)を収集するようにしてもよい。
更に、機械学習及び/又はデータマイニングに用いられるデータは、任意の医学的知識、他の学問に関する知識、学問以外の領域に関する知識を含んでよい。このような知識は、例えば、次のいずれかを含んでいてもよい:専門書(医学書など)に基づく知識;論文(医学論文など)に基づく知識;公的組織又は民間組織により作成された情報(診療ガイドラインなど)に基づく知識;辞書(医学辞書など)に基づく知識;コーパス(医学コーパスなど)に基づく知識;知識ベース(医学知識ベース)に基づく知識;他の機械学習により得られた知識;他のデータマイニングにより得られた知識;これら以外の情報及び/又は方法で得られた知識;これらのうちのいずれか2以上の組み合わせからの得られた知識。
また、機械学習及び/又はデータマイニングに用いられるデータは、上記のような知識を得るために使用された情報やデータを含んでよい。例えば、機械学習及び/又はデータマイニングに用いられるデータは、医学書、医学論文、診療ガイドライン、医学辞書、医学コーパス、医学知識ベース、機械学習のためのデータセット(学習データ、訓練データなど)、データマイニングのためのデータセット(ビッグデータなど)などを含んでいてもよい。
なお、知識とは、例えば、認識及び明示的表現が可能な情報を含み、経験的知識(経験や学習により獲得した知識)及び理論的知識(専門的情報の理論的背景知識や体系)の少なくとも一方を含む。典型的な知識として、事実、ルール、法則、判断基準、常識、ノウハウ、辞書、コーパスなどがある。また、知識には、人工知能プロセッサ(人工知能エンジンなどとも呼ばれる)が実行する処理に関する情報が含まれてもよい。例えば、知識は、ニューラルネットワークにおける重みパラメータやバイアスパラメータを含んでいてよい。
機械学習において、知識獲得プロセッサ5110は、例えば、上記のようにして収集されたデータを(主として統計的に)解析することで、このデータから規則、ルール、知識表現、判断基準などを抽出し、抽出された情報に基づいて後述の推論のアルゴリズムを発展させる。
知識獲得プロセッサ5110に適用可能な機械学習アルゴリズムは任意である。機械学習アルゴリズムの例として、教師あり学習、教師なし学習、半教師あり学習、トランスダクション、マルチタスク学習などがある。また、知識獲得プロセッサ5110により実行される機械学習に適用可能な技法として、決定木学習、相関ルール学習、ニューラルネットワーク、遺伝的プログラミング、帰納論理プログラミング、サポートベクターマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習などがある。
データマイニングにおいて、知識獲得プロセッサ5110は、統計学、パターン認識、人工知能などのデータ解析技法を上記のようなデータに適用することによって知識を獲得する。
知識獲得プロセッサ5110により実行されるデータマイニングに適用可能な解析手法として、頻出パターン抽出、クラス分類、回帰分析、クラスタリングなどがある。
知識獲得プロセッサ5110は、任意の画像処理を実行可能であってよい。画像処理の例として、画像の拡大・縮小、圧縮・伸長、回転、2値化、グレイスケール化、疑似カラー化、コントラスト調整、平滑化、ヒストグラム、色情報抽出、ガンマ補正、色補正、輪郭抽出(エッジ検出)、ノイズ除去、寸法計測、特徴抽出、パターン認識、レンダリング、断面変換、特性マップ作成などがある。
本実施形態において、知識獲得プロセッサ5110は、少なくとも、スリットランプ顕微鏡により取得された3次元画像を含む複数の3次元画像に基づいて、機械学習及びデータマイニングの少なくとも一方を実行することができる。
また、知識獲得プロセッサ5110は、スリットランプ顕微鏡により取得された3次元画像及び正面画像を含む、複数の3次元画像及び複数の正面画像に基づいて、機械学習及びデータマイニングの少なくとも一方を実行するように構成されてもよい。
また、知識獲得プロセッサ5110は、スリットランプ顕微鏡により取得された3次元画像及びスリットランプ顕微鏡に入力された被検者情報を含む、複数の3次元画像及び複数の被検者情報に基づいて、機械学習及びデータマイニングの少なくとも一方を実行するように構成されてもよい。
知識獲得プロセッサ5110により獲得された知識は、記憶装置5300の知識格納部5320に保存される。なお、知識格納部5320には、知識獲得プロセッサ5110により獲得された知識だけでなく、前述した各種の知識や、知識獲得処理にて使用されたデータが保存されてもよい。
〈推論プロセッサ5120〉
推論プロセッサ5120は、複数の眼科撮影装置2000−iのいずれか(スリットランプ顕微鏡1)から情報処理システム5000が受信した被検眼の3次元画像と、知識格納部5320に格納されている知識とに基づいて、推論を実行する。この推論により、当該被検者についての診断を支援するための情報(診断支援情報)が生成される。推論プロセッサ5120は、例えば、知識ベースから答えを導出する推論エンジンである。
知識獲得プロセッサ5110が機械学習を実行するように構成されている場合、推論プロセッサ5120は、機械学習により発展された推論アルゴリズムを利用して推論を行うことが可能である。
知識獲得プロセッサ5110がデータマイニングを実行するように構成されている場合、推論プロセッサ5120は、データマイニングにより獲得された知識を利用して推論を行うことができる。
知識獲得プロセッサ5110が機械学習及びデータマイニングの双方を実行するように構成されている場合、推論プロセッサ5120は、機械学習により発展された推論アルゴリズム及びデータマイニングにより獲得された知識の少なくとも一方を利用して推論を行うことができる。
推論される事項の例として、疑い病名、特定疾患の有無、重症度、検査の必要性、検査の種別、手術の必要性、手術の種別などがある。
なお、推論とは、例えば、既知情報から未知情報を導くことを意味する。推論には、演繹推論(deduction)、帰納推論(induction)、発想推論(abduction)、完全な知識に基づく推論、不完全な知識に基づく推論、オブジェクト知識レベルの推論、メタ知識レベルの推論などが含まれる。推論は、医学的な知識、他の分野における専門知識、一般的な知識、人工知能技術により獲得された知識などを利用して実行される。
〈通信部5200〉
通信部5200は、他の装置(例えば、眼科撮影装置2000−i、端末3000−nなど)との間でデータ通信を行う。データ通信の方式や暗号化については、眼科撮影装置2000−iの通信部170と同様であってよい。
〈記憶装置5300〉
記憶装置5300は、各種のデータを記憶する。記憶装置5300は、例えば、半導体記憶装置、磁気記憶装置、光記憶装置、及び光磁気記憶装置のうちの少なくとも1つを含む。記憶装置5300は、2以上の記憶装置を含んでいてもよい。
記憶装置5300には、撮影データ格納部5310と、知識格納部5320と、診断支援情報格納部5330とが設けられている。
撮影データ格納部5310には、知識格納部5320が実行する処理において利用されるデータが記憶される。撮影データ格納部5310に記憶されるデータの例として、次のようなものがある:眼科撮影装置2000−iにより取得されたデータ(3次元画像、正面画像、断面画像など);他の眼科撮影装置により取得されたデータ(3次元画像、正面画像、断面画像など);画像の解析データ(セグメンテーションデータ、層厚データ、寸法データ、密度データ、形状データなど);眼科検査装置により取得されたデータ(視力値、眼屈折力値、角膜曲率値、眼圧値、角膜内皮細胞密度値、眼球光学系の収差値、視野検査データなど);他の診療科で使用される装置により取得されたデータ(X線撮影画像、X線CT画像、MRI(磁気共鳴イメージング)画像、PET(ポジトロン断層法)画像、SPECT(単一光子放射断層撮影)画像、超音波画像など);生体組織診断データ;血液検査データ;電子カルテデータ;読影レポート;機械学習及び/又はデータマイニングに用いられるデータ(医学的知識、他の学問に関する知識、学問以外の領域に関する知識、医学書、医学論文、診療ガイドライン、医学辞書、医学コーパス、医学知識ベース、機械学習のためのデータセット(学習データ、訓練データなど)、データマイニングのためのデータセット(ビッグデータなど)など)。
知識格納部5320には、知識獲得プロセッサ5110により獲得された知識が記憶される。知識獲得プロセッサ5110により獲得された知識の他にも、知識格納部5320に記憶されるデータの例として、次のようなものがある:眼科撮影装置2000−iにより取得されたデータ(3次元画像、正面画像、断面画像など);他の眼科撮影装置により取得されたデータ(3次元画像、正面画像、断面画像など);画像の解析データ(セグメンテーションデータ、層厚データ、寸法データ、密度データ、形状データなど);眼科検査装置により取得されたデータ(視力値、眼屈折力値、角膜曲率値、眼圧値、角膜内皮細胞密度値、眼球光学系の収差値、視野検査データなど);他の診療科で使用される装置により取得されたデータ(X線撮影画像、X線CT画像、MRI画像、PET画像、SPECT画像、超音波画像など);生体組織診断データ;血液検査データ;電子カルテデータ;読影レポート;機械学習及び/又はデータマイニングに用いられるデータ(医学的知識、他の学問に関する知識、学問以外の領域に関する知識、医学書、医学論文、診療ガイドライン、医学辞書、医学コーパス、医学知識ベース、機械学習のためのデータセット(学習データ、訓練データなど)、データマイニングのためのデータセット(ビッグデータなど)など)。このように、知識格納部5320には、推論プロセッサ5120により利用される知識ベースが格納される。
診断支援情報格納部5330には、推論プロセッサ5120により導出された推論結果(診断支援情報)が保存される。
〈使用形態〉
本実施形態に係る眼科システム1000の使用形態について説明する。図8は、眼科システム1000の使用形態の例を示す。
スリットランプ顕微鏡1などの眼科撮影装置2000−i(及び/又は端末3000−n)と情報処理システム5000との間における通信は、既に確立されているとする。或いは、図8のステップS16以前の期間における任意のタイミングで、スリットランプ顕微鏡1などの眼科撮影装置2000−i(及び/又は端末3000−n)と情報処理システム5000との間における通信を確立してもよい。
(S1:データを収集)
まず、情報処理システム5000は、スリットランプ顕微鏡により取得された被検眼の3次元画像から診断支援情報を生成する処理において利用される知識を獲得するための各種データを収集する。
情報処理システム5000に対するデータの入力は、例えば、通信路Nなどの通信路、情報記録媒体、及び、スキャナ等のデータリーダのうちの少なくともいずれかを介して行われる。また、情報処理システム5000に対してデータを手入力することもできる。情報処理システム5000に入力されたデータは、制御部5010により撮影データ格納部5310に保存される。
ステップS1で収集されるデータは、少なくとも、スリットランプ顕微鏡により取得された複数の3次元画像を含む。更に、ステップS1で収集されるデータは、次のいずれかを含んでいてもよい:スリットランプ顕微鏡以外の眼科撮影装置(眼科撮影装置2000−i又は他の眼科撮影装置)により取得された画像、及び/又は、このような画像を加工又は解析して得られたデータ;眼科検査装置により取得された検査データ、及び/又は、このような検査データを加工又は解析して得られたデータ;他の診療科で使用される装置により取得されたデータ、及び/又は、このような検査データを加工又は解析して得られたデータ;医師が入力した情報(電子カルテ、読影レポートなど)に含まれるデータ、及び/又は、このようなデータを加工又は解析して得られたデータ;医学的知識、他の学問に関する知識、学問以外の領域に関する知識;このような知識を得るために使用された情報やデータ。なお、これらデータの例については前述した。
(S2:知識を獲得)
知識獲得プロセッサ5110は、ステップS1で収集されて撮影データ格納部5310に保存されたデータの少なくとも一部のデータ(スリットランプ顕微鏡により取得された複数の3次元画像を少なくとも含む)に基づいて機械学習及びデータマイニングの少なくとも一方を実行する。それにより、当該データに基づく知識が獲得される。
(S3:知識を保存)
制御部5010は、ステップS2で獲得された知識を知識格納部5320に保存する。
なお、ステップS1〜S3の処理を繰り返し行うことができる。例えば、情報処理システム5000に新たなデータが入力されたときに、新たな知識を獲得するための処理を実行することができる。このような処理は、例えば、所定の時間間隔で行われる。或いは、新たなデータの蓄積量に応じてこのような処理を繰り返し行ってもよい。他の例として、撮影データ格納部5310に保存されているデータのうちの第1部分データ〜第K部分データのそれぞれに基づいて知識を獲得するようにしてもよい。このような繰り返し処理により獲得された知識のそれぞれは、制御部5010によって知識格納部5320に保存される。
(S11:被検者情報を入力)
眼科システム1000に含まれるスリットランプ顕微鏡1(又は端末3000−n)に被検者情報が入力される。入力された被検者情報は、記憶部102に保存される。スリットランプ顕微鏡1(及び/又は端末3000−n)と情報処理システム5000との間における通信が既に確立されている場合、入力された被検者情報をこの段階で情報処理システム5000に送信してもよい。被検者情報は、例えば、被検者IDと背景情報とを含む。
被検者IDは、例えば、医療施設におけるID(患者ID)、検診におけるID、健康診断におけるIDなどがある。これらは例示であって、被検者IDはこれらに限定されない。
背景情報は、被検者に関する任意の情報であって、例えば、被検者の電子カルテの任意の項目に記録された情報や、被検者のアカウントに保存された画像などを含む。典型的には、背景情報は、性別、年齢、身長、体重、疾患名、候補疾患名、検査結果(視力値、眼屈折力値、眼圧値など)、画像(OCT画像、眼底画像、前眼部像など)、検査歴、治療歴などがある。これらは例示であって、背景情報はこれらに限定されない。典型的な例において、背景情報は、情報処理システム5000が知識を獲得するために参照したデータ項目に対応するデータを含む。
スリットランプ顕微鏡1(又は端末3000−n)のユーザーは、例えば、操作部140を用いて被検者情報を入力することができる。また、制御部101及び通信部170は、電子カルテシステム、医用画像アーカイビングシステムに通信路を介してアクセスして被検者情報を取得することができる。また、データリーダを用いて、記録媒体に記録された被検者情報を読み出すことができる。これらは例示であって、被検者情報の入力方法はこれらに限定されない。
(S12:3次元撮影モードに設定)
スリットランプ顕微鏡1の動作モードが3次元撮影モードに設定される。前述したように、動作モードの指定(又は選択)は、手動又は自動で行われる。
(S13:被検眼を撮影)
スリットランプ顕微鏡1は、ステップS12で設定された3次元撮影モードで被検眼Eの撮影を行う。それにより、被検眼Eの複数の断面画像が得られる。
(S14:3次元画像を形成)
スリットランプ顕微鏡1の画像合成部120は、ステップS13で取得された複数の断面画像に基づいて3次元画像を形成する。なお、情報処理システム5000又は他の装置が、3次元画像形成処理を実行するようにしてもよい。
(S15:被検眼の正面画像を取得)
スリットランプ顕微鏡1は、被検眼Eの正面画像を取得することができる。なお、正面画像を取得するタイミングは、このタイミングに限定されない。なお、この処理は任意的である。
(S16:データを送信)
スリットランプ顕微鏡1の制御部101は、通信部170を制御して、取得されたデータを情報処理システム5000に向けて送信する。送信されるデータは、ステップS14で形成された3次元画像を少なくとも含み、ステップS11で入力された被検者情報及び/又はステップS15で取得された正面画像を更に含んでもよい。
スリットランプ顕微鏡1と異なる装置が3次元画像形成処理を実行する場合には、ステップS13で取得された複数の断面画像が送信され、当該装置により形成された3次元画像が情報処理システム5000により参照される。
(S21:データを受信)
情報処理システム5000の通信部5200は、ステップS16でスリットランプ顕微鏡1が送信したデータを受信する。制御部5010は、受信されたデータを記憶装置5300に保存する。
なお、ステップS21で受信されたデータの少なくとも一部を撮影データ格納部5310に保存し、新たな知識獲得処理に利用するようにしてもよい。
(S22:診断支援情報を生成)
推論プロセッサ5120は、ステップS21で受信された被検眼Eのデータ(及び被検者のデータ)の少なくとも一部と、知識格納部5320に保存されている知識の少なくとも一部とに基づいて、推論を実行する。それにより、被検眼Eに関する診断支援情報が生成される。
診断支援情報は、例えば、疑い病名、特定疾患の有無、重症度、検査の必要性、検査の種別、手術の必要性、手術の種別などのうちのいずれかを含んでいてよい。
(S23:診断支援情報を保存)
制御部5010は、ステップS22で生成された診断支援情報を診断支援情報格納部5330に保存する。
なお、ステップS22で生成された診断支援情報の少なくとも一部を撮影データ格納部5310に保存し、新たな知識獲得処理に利用するようにしてもよい。
(S24:診断支援情報を送信)
更に、制御部5010は、通信部5200を制御して、ステップS22で生成された診断支援情報をスリットランプ顕微鏡1(及び/又は、端末3000−n及び/又は他の装置)に向けて送信する。ここで、他の装置の例として、当該被検者の担当医が使用するコンピュータ、当該被検者が受診している医療機関に設置されたサーバ、当該医療機関の外部(例えば、基幹病院、専門医療機関、医療データ解析機関など)に設置されたコンピュータなどがある。
例えば、当該被検者が受診している医療機関の外部に設置されたコンピュータに診断支援情報を送信する場合、ステップS21で受信された被検眼Eのデータ(及び被検者のデータ)の少なくとも一部や、ステップS22で参照された知識やデータの少なくとも一部を、当該診断支援情報とともに送信することができる。
(S31:診断支援情報を受信)
スリットランプ顕微鏡1などは、ステップS24で情報処理システム5000から送信された診断支援情報などを受信する。当該被検者の担当医などは、この診断支援情報を参照して診断を行うことができる。また、当該被検者の電子カルテや読影レポートに診断支援情報を自動で記入するようにしてもよい。以上で、本例に係る処理は終了となる。
〈変形例〉
本実施形態の変形例を説明する。
スリットランプ顕微鏡1のフォーカス位置を変更するための構成は、上記した合焦機構40及び50に限定されない。
例えば、特開2013−248376号公報に開示された2以上の撮影部(2以上の前眼部カメラ)を利用して被検眼の2以上の画像を取得し、これら画像を解析してフォーカス位置(目標位置)を決定するように構成することが可能である。
フォーカス位置を変更するための構成の他の例として、次のものがある。本例のスリットランプ顕微鏡は、撮像部と、駆動部と、合焦制御部とを含む。撮像部は、被検眼を撮影して右画像及び左画像を取得する。駆動部は、撮像部を含む光学系を少なくとも作動距離方向に駆動させる。合焦制御部は、撮像部より出力された右画像及び左画像に基づき、被検眼に対して自動的に合焦動作を行うように駆動部を制御する。
〈第2実施形態:眼科システム〉
本実施形態に係る眼科システムは、第1実施形態とほぼ同様の構成を備える。以下、第1実施形態との相違点を主に説明する。なお、第1実施形態と同様の要素については同じ符号で表す。特に言及しない限り、第1実施形態と同じ符号が付された要素は、第1実施形態と同様の構成及び同様の機能を有する。
本実施形態に係る眼科システムに含まれる情報処理システムの構成例を図9に示す。情報処理システム5001は、図1に示す第1実施形態の情報処理システム5000の代わりに設けられるか、或いは、情報処理システム5000に加えて設けられる。
情報処理システム5001は、推論プロセッサ5120が関心領域特定部5121を含む点において、第1実施形態の情報処理システム5000と異なる。
関心領域特定部5121は、スリットランプ顕微鏡1により取得されて情報処理システム5001に入力された被検眼Eの3次元画像を解析して関心領域を特定する。関心領域は、例えば、推論プロセッサ5120が実行する推論処理に供される。つまり、推論プロセッサ5120は、関心領域特定部5121により3次元画像から特定された関心領域と、知識格納部5320に格納されている知識とに基づいて推論を実行することにより、被検眼Eについての診断支援情報を生成することができる。
関心領域を設定することで、3次元画像全体を処理する場合と比較して、計算資源を節約できる、推論アルゴリズムを単純化できる、処理時間を短縮できる、といったメリットが得られる。
関心領域特定処理は、例えば、従来と同様の手法で実行される。例えば、関心領域特定部5121は、3次元画像に対してセグメンテーションを適用して、被検眼Eの所定部位(例えば、角膜の所定の層、虹彩、瞳孔、隅角、水晶体、毛様筋、チン小帯、視神経乳頭、黄斑、血管など)に相当する画像領域を特定することができる。また、関心領域特定部5121は、3次元画像の部分領域のサイズ、厚み、形状などを解析して、特徴部位(例えば、異常部位)を特定することができる。関心領域特定処理においては、エッジ検出、寸法計測、特徴抽出、パターン認識、レンダリング、断面変換など、任意の処理を適用することができる。
また、関心領域特定処理に人工知能技術を適用することも可能である。その場合、知識格納部5320に格納されている知識の少なくとも一部を利用することができる。
〈第3実施形態:眼科システム〉
本実施形態に係る眼科システムは、第1実施形態とほぼ同様の構成を備える。以下、第1実施形態との相違点を主に説明する。なお、第1実施形態と同様の要素については同じ符号で表す。特に言及しない限り、第1実施形態と同じ符号が付された要素は、第1実施形態と同様の構成及び同様の機能を有する。
本実施形態に係る眼科システムに含まれる情報処理システムの構成例を図10に示す。情報処理システム5002は、図1に示す第1実施形態の情報処理システム5000の代わりに設けられるか、或いは、情報処理システム5000に加えて設けられる。
情報処理システム5002は、データ処理部5100がフュージョン画像形成部5130を含む点において、第1実施形態の情報処理システム5000と異なる。
なお、本実施形態では、情報処理システム5002がフュージョン画像形成機能を有しているが、他の装置がフュージョン画像形成機能を備えていてもよい。例えば、眼科撮影装置2000−i(スリットランプ顕微鏡1又は他のモダリティ装置)、端末3000−n、及び、これら以外の装置のいずれかに、フュージョン画像形成機能を設けることが可能である。
本実施形態では、複数の眼科撮影装置2000−iは、1以上のスリットランプ顕微鏡1と、スリットランプ顕微鏡と異なる種別の1以上のモダリティ装置とを含む。他のモダリティ装置は、例えば、眼科撮影装置又は眼科検査装置であってよい。眼科撮影装置の例として、光干渉断層計、眼底カメラ、SLO、手術用顕微鏡などがある。眼科検査装置の例として、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、マイクロペリメータ、角膜トポグラファなどがある。
フュージョン画像形成部5130は、スリットランプ顕微鏡1により取得された被検眼Eの3次元画像と、他のモダリティ装置により取得された画像とを合成してフュージョン画像を形成する。
他のモダリティ装置により取得された画像は、例えば、3次元画像又は3次元画像である。この画像は、被検眼Eの形態(構造)及び/又は機能を表す画像であってよく、また、被検眼Eの特性マップであってもよい。
被検眼Eの形態を表す画像(形態画像)としては、OCT形態画像(例えば、3次元画像、3次元画像のレンダリング画像、2次元断面画像、血管強調画像(アンジオグラム)など)、前眼部像、眼底写真(例えば、カラー画像、モノクロ画像、レッドフリー画像、単色画像など)などがある。
被検眼Eの機能を表す画像としては、OCT機能画像(例えば、位相画像、血流画像、偏光画像など)、眼底写真(例えば、フルオレセイン蛍光画像、インドシアニングリーン蛍光画像、自発蛍光画像など)がある。
被検眼Eの特性マップとしては、角膜層厚マップ、角膜トポグラフ、角膜内皮細胞密度マップ、収差マップ、視野マップ(感度マップ)、網膜層厚マップ、脈絡膜層厚マップなどがある。
他のモダリティは眼科モダリティでなくてもよい。例えば、MRI、超音波診断装置、PET、SPECTなどにより取得された被検眼E(又はその周辺部位)の画像をフュージョン画像形成処理に供することができる。
フュージョン画像とは、同じ被検眼Eに関する2以上の画像を合成して得られる画像である。合成される2以上の画像は、全て同じモダリティの画像でもよいし、異なる2以上のモダリティの画像を含んでいてもよい。同じモダリティの2以上の画像を合成する場合、被検眼Eの異なる2以上の領域を撮影して得られた2以上の画像をパノラマ合成した画像も、フュージョン画像に含まれるものとする。
本実施形態において、撮影データ格納部5310は、スリットランプ顕微鏡と異なるモダリティの画像や、スリットランプ顕微鏡と異なるモダリティの画像を加工又は解析した得られたデータや、フュージョン画像や、フュージョン画像を加工又は解析した得られたデータを記憶してもよい。
同様に、知識格納部5320は、スリットランプ顕微鏡と異なるモダリティの画像から獲得された知識や、スリットランプ顕微鏡と異なるモダリティの画像を加工又は解析した得られたデータから獲得された知識や、フュージョン画像から獲得された知識や、フュージョン画像を加工又は解析した得られたデータを記憶してもよい。
フュージョン画像形成部5130が実行する処理の例を説明する。まず、任意的であるが、フュージョン画像形成部5130は、スリットランプ顕微鏡1により取得された被検眼Eの3次元画像と、他のモダリティ装置により取得された画像との一方又は双方から、合成される部分画像を抽出する。
次に、フュージョン画像形成部5130は、スリットランプ顕微鏡1により取得された被検眼Eの3次元画像と、他のモダリティ装置により取得された画像との間の位置合わせ(レジストレーション)を実行する。レジストレーションは、例えば、従来と同様に、合成される2以上の画像のそれぞれから特徴点又は特徴領域を検出する処理と、検出された特徴点又は特徴領域を基準としてこれら画像の相対位置を調整する処理とを含む。
なお、レジストレーションを行った後に部分画像抽出処理を実行するようにしてもよい。
更に、フュージョン画像形成部5130は、レジストレーションがなされたスリットランプ顕微鏡1による3次元画像(又は、その部分画像)と、他のモダリティ装置による画像(又は、その部分画像)とを合成して、フュージョン画像を形成する。このとき、合成される前の画像及び/又はフュージョン画像に対して任意の画像処理を適用してもよい。適用可能な画像処理の例として、アルファブレンディング、輝度補正、色補正、コントラスト調整、画像の拡大・縮小、圧縮・伸長、回転、疑似カラー化、平滑化、ガンマ補正などがある。
推論プロセッサ5120は、フュージョン画像形成部5130により形成されたフュージョン画像(及び、合成前の画像、正面画像、被検者情報、その他のデータなど)と、知識格納部5320に格納されている知識とに基づく推論を実行して、被検眼Eに関する診断支援情報を生成することができる。
〈第4実施形態:眼科情報処理装置〉
本実施形態に係る眼科情報処理装置は、第1実施形態の情報処理システム5000(又は、第2実施形態の情報処理システム5001若しくは第3実施形態の情報処理システム5002)と同様の構成を備える。具体的には、本実施形態の眼科情報処理装置は、知識獲得機能と推論機能との双方を備える。本実施形態の眼科情報処理装置の構成及び機能は、第1〜第3実施形態の情報処理システムの構成及び機能と同様であるため、その説明は省略する。
〈第5実施形態:眼科情報処理装置〉
本実施形態に係る眼科情報処理装置は、知識獲得機能及び推論機能のうち後者のみを備える。知識獲得処理は、例えば第1実施形態の情報処理システム5000と同様の知識獲得機能を備えた他の装置によって実行される。本実施形態の眼科情報処理装置は、他の装置により獲得された知識を受け付けて保存する。
本実施形態に係る眼科情報処理装置の構成例を図11に示す。眼科情報処理装置6000は、制御部6010と、データ処理部6100と、通信部6200と、記憶装置6300とを含む。データ処理部6100は、推論プロセッサ6120を含む。第1実施形態などのデータ処理部5100と異なり、データ処理部6100は、知識獲得プロセッサ5110を含まなくてよい。記憶装置6300は、知識格納部6320と、診断支援情報格納部6330とを含む。
制御部6010は、例えば、第1実施形態などの制御部5010と同様の構成及び同様の機能を備える。
知識格納部6320は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置により取得された複数の3次元画像に基づき機械学習及びデータマイニングの少なくとも一方を実行して取得された知識を格納する。知識格納部6320は、例えば、第1実施形態などの知識格納部5320と同様の構成及び同様の機能を備える。
通信部6200は、スリットランプ顕微鏡により取得された被検眼の3次元画像を通信路を介して受け付ける。通信部6200は、例えば、第1実施形態などの通信部5200と同様の構成及び同様の機能を備える。
推論プロセッサ6120は、通信部6200により受け付けられた3次元画像と、知識格納部6320に格納されている知識とに基づく推論を実行して、当該被検眼の診断支援情報を生成する。推論プロセッサ6120は、例えば、第1実施形態などの推論プロセッサ5120と同様の構成及び同様の機能を備える。
推論プロセッサ6120により生成された診断支援情報は、制御部6010によって診断支援情報格納部6330に格納される。診断支援情報格納部6330は、例えば、第1実施形態などの診断支援情報格納部5330と同様の構成及び同様の機能を備える。
〈作用・効果〉
以上に説明した実施形態によって奏される作用及び効果について説明する。
実施形態に係る眼科システム(1000)は、複数の眼科撮影装置(2000−i)と、これら眼科撮影装置のそれぞれと通信路(N)を介して接続された画像処理システム(5000、5001、5002)とを含む。複数の眼科撮影装置は、複数のスリットランプ顕微鏡(1)を含む。
複数の眼科撮影装置のそれぞれは、画像取得部(観察撮影系6、照明系8、移動機構60など)と、第1通信部(通信部170)とを含む。
画像取得部は、被検者の眼を撮影して3次元画像を取得する。
第1通信部は、画像取得部により取得された3次元画像を情報処理システムに向けて送信する。
ここで、「情報処理システムに向けて送信する」には、情報処理システムに対して直接的に送信する構成と、他の装置を介して情報処理システムに間接的に送信する構成との少なくとも一方が含まれる。
情報処理システムは、第2通信部(5200)と、画像格納部(撮影データ格納部5310)と、第1プロセッサ(知識獲得プロセッサ5110)と、知識格納部(5320)と、第2プロセッサ(推論プロセッサ5120)とを含む。
第2通信部は、眼科撮影装置の第1通信部により送信された3次元画像を受信する。
画像格納部は、第2通信部により受信された複数の3次元画像を格納する。
第1プロセッサは、画像格納部に格納されている複数の3次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する。それにより、知識が取得される。
知識格納部は、第1プロセッサにより取得された知識を格納する。
第2プロセッサは、複数のスリットランプ顕微鏡のいずれかから送信されて第2通信部により受信された被検眼の3次元画像と、知識格納部に格納されている知識とに基づいて、推論を実行することで、当該被検眼についての診断支援情報を生成する。
このように構成された実施形態の眼科システムによれば、眼科画像診断において最も広く且つ頻繁に使用されるスリットランプ顕微鏡を用いて被検眼の3次元画像を取得し、それを情報処理システムに送ることができる。更に、機械学習及びデータマイニングの少なくとも一方により予め獲得された知識を利用した推論により、この3次元画像から診断支援情報を生成することができる。
したがって、実施形態の眼科システムによれば、従来の技術では困難であったスリットランプ顕微鏡で取得された画像の人工知能による解析を好適に行うことが可能である。
実施形態において、第2プロセッサ(推論プロセッサ5120)は、スリットランプ顕微鏡により取得された被検眼の3次元画像を解析して関心領域を特定する関心領域特定部(関心領域特定部5121)を含んでいてよい。
更に、実施形態の第2プロセッサ(推論プロセッサ5120)は、関心領域特定部により特定された関心領域と知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成することができる。
このような構成によれば、3次元画像全体を処理する場合と比較して、計算資源(リソース)を節約することができ、推論アルゴリズムを単純化することができ、処理時間を短縮することができる。
実施形態において、複数の眼科撮影装置は、スリットランプ顕微鏡と異なる種別の1以上のモダリティ装置を含んでいてよい。また、実施形態の眼科システムは、フュージョン画像形成部(5130)を含んでいてよい。フュージョン画像形成部は、複数のスリットランプ顕微鏡のいずれかにより取得された3次元画像と、1以上のモダリティ装置のいずれかにより取得された画像とを合成してフュージョン画像を形成する。更に、第2プロセッサ(推論プロセッサ5120)は、フュージョン画像形成部により形成されたフュージョン画像と知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成することができる。
典型的な例において、1以上のモダリティ装置は、1以上の光コヒーレンストモグラフィ(OCT)装置を含んでいてよい。この場合、フュージョン画像形成部は、複数のスリットランプ顕微鏡のいずれかにより取得された3次元画像と、1以上のOCT装置のいずれかにより取得された画像とを合成してフュージョン画像を形成することができる。
このような構成によれば、異なるモダリティで得られた画像を統合的に処理することができる。例えば、中間透光体(水晶体など)に混濁箇所がある被検眼をスリットランプ顕微鏡で可視撮影した場合、それにより得られた3次元画像には、混濁の影響により、詳細に描出できない箇所が含まれる。一方、このような被検眼をOCT等で赤外撮影することで、混濁の影響が小さい画像が得られる。これら画像を合成することで、推論の確度や精度を向上させることが可能となる。
また、スリットランプ顕微鏡により取得された3次元画像に特性マップなどを合成する場合には、被検眼における特性の分布を加味した推論が可能となる。
実施形態において、眼科撮影装置(スリットランプ顕微鏡など)の画像取得部は、更に、被検者の眼を撮影して正面画像を取得することができる。この場合、第1通信部は、眼の3次元画像とともに正面画像を送信することができる。情報処理システムの第2通信部は、第1通信部により送信された3次元画像及び正面画像を受信することができる。画像格納部は、第2通信部により受信された複数の3次元画像及び複数の正面画像を格納することができる。第1プロセッサは、画像格納部に格納されている複数の3次元画像及び複数の正面画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行することができる。知識格納部は、複数の3次元画像及び複数の正面画像に基づき第1プロセッサにより取得された知識を格納することができる。第2プロセッサは、複数のスリットランプ顕微鏡のいずれかから送信されて第2通信部により受信された被検眼の3次元画像及び正面画像と、知識格納部に格納されている知識とに基づく推論を実行して、診断支援情報を生成することができる。
このような構成によれば、情報処理システムは、眼の3次元画像に加えて正面画像を更に利用して知識獲得処理及び推論処理を実行することができる。したがって、正面画像を利用しない場合と比較して、より好適な知識の獲得と、より好適な推論とを実現することが可能となる。
実施形態において、複数の眼科撮影装置のそれぞれは、被検者情報を受け付ける受付部を更に含んでいてよい。受付部は、例えば、スリットランプ顕微鏡1の操作部140、通信部170などに相当する。第1通信部は、眼の3次元画像とともに被検者情報を送信することができる。情報処理システムの第2通信部は、第1通信部により送信された3次元画像及び被検者情報を受信することができる。画像格納部は、第2通信部により受信された複数の3次元画像及び複数の被検者情報を格納することができる。第1プロセッサは、画像格納部に格納されている複数の3次元画像及び複数の被検者情報に基づいて機械学習及びデータマイニングの少なくとも一方を実行することができる。知識格納部は、複数の3次元画像及び複数の被検者情報に基づき第1プロセッサにより取得された知識を格納することができる。第2プロセッサは、複数のスリットランプ顕微鏡のいずれかから送信されて第2通信部により受信された被検眼の3次元画像及び被検者情報と知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成することができる。
このような構成によれば、情報処理システムは、眼の3次元画像に加えて被検者情報を更に利用して知識獲得処理及び推論処理を実行することができる。したがって、被検者情報を利用しない場合と比較して、より好適な知識の獲得と、より好適な推論とを実現することが可能となる。
実施形態に係る眼科情報処理装置(情報処理システム5000)は、通信部(5200)と、画像格納部(撮影データ格納部5310)と、第1プロセッサ(知識獲得プロセッサ5110)と、知識格納部(5320)と、第2プロセッサ(推論プロセッサ5120)とを含む。通信部は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置のそれぞれにより取得された被検者の眼の3次元画像を通信路を介して受け付ける。画像格納部は、通信部により受信された複数の3次元画像を格納する。第1プロセッサは、画像格納部に格納されている複数の3次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する。知識格納部は、第1プロセッサにより取得された知識を格納する。第2プロセッサは、複数のスリットランプ顕微鏡のいずれかから送信されて通信部により受信された被検眼の3次元画像と知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する。
他の実施形態に係る眼科情報処理装置(6000)は、知識格納部(6320)と、通信部(6200)と、プロセッサ(推論プロセッサ6120)とを含む。知識格納部は、複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置により取得された複数の3次元画像に基づき機械学習及びデータマイニングの少なくとも一方を実行して取得された知識を格納する。通信部は、スリットランプ顕微鏡により取得された被検眼の3次元画像を通信路を介して受け付ける。プロセッサは、通信部により受け付けられた3次元画像と知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する。
このように構成された実施形態の眼科情報処理装置によれば、実施形態の眼科システムと同様に、従来の技術では困難であったスリットランプ顕微鏡で取得された画像の人工知能による解析を好適に行うことが可能である。
以上に説明した実施形態は本発明の典型的な例示に過ぎない。よって、本発明の要旨の範囲内における任意の変形(省略、置換、付加など)を適宜に施すことが可能である。
1 スリットランプ顕微鏡
6 観察撮影系
8 照明系
13 撮像装置
40 合焦機構
50 合焦機構
60 移動機構
101 制御部
120 画像合成部
140 操作部
170 通信部
1000 眼科システム
2000−i 眼科撮影装置
5000 情報処理システム
5010 制御部
5100 データ処理部
5110 知識獲得プロセッサ
5120 推論プロセッサ
5121 関心領域特定部
5130 フュージョン画像形成部
5200 通信部
5300 記憶装置
5310 撮影データ格納部
5320 知識格納部
6000 眼科情報処理装置
6010 制御部
6100 データ処理部
6120 推論プロセッサ
6200 通信部
6300 記憶装置
6320 知識格納部

Claims (7)

  1. 複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置と、
    前記複数の眼科撮影装置のそれぞれと通信路を介して接続された情報処理システムと
    を含み、
    前記複数の眼科撮影装置のそれぞれは、
    被検者の眼を撮影して3次元画像を取得する画像取得部と、
    前記3次元画像を前記情報処理システムに向けて送信する第1通信部と
    を含み、
    前記情報処理システムは、
    前記第1通信部により送信された前記3次元画像を受信する第2通信部と、
    前記第2通信部により受信された複数の3次元画像を格納する画像格納部と、
    前記複数の3次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する第1プロセッサと、
    前記第1プロセッサにより取得された知識を格納する知識格納部と、
    前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第2通信部により受信された被検眼の3次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する第2プロセッサと
    を含み、
    前記第2プロセッサは、
    前記複数のスリットランプ顕微鏡のいずれかの前記画像取得部により取得され且つ前記第1通信部により送信されて前記情報処理システムの前記第2通信部により受信された前記被検眼の前記3次元画像を解析して関心領域を特定する関心領域特定部と、
    前記被検眼の前記3次元画像の前記関心領域と前記知識格納部に格納されている知識とに基づく推論を実行することにより、疑い病名、特定疾患の有無、重症度、検査の必要性、検査の種別、手術の必要性、手術の種別うちのいずれかを含む前記診断支援情報を生成する診断支援情報生成部と
    を含む
    ことを特徴とする眼科システム。
  2. 前記複数の眼科撮影装置は、スリットランプ顕微鏡と異なる種別の1以上のモダリティ装置を含み、
    前記複数のスリットランプ顕微鏡のいずれかにより取得された3次元画像と、前記1以上のモダリティ装置のいずれかにより取得された画像とを合成してフュージョン画像を形成するフュージョン画像形成部を含み、
    前記診断支援情報生成部は、前記フュージョン画像と前記知識格納部に格納されている知識とに基づく推論を実行して前記診断支援情報を生成する
    ことを特徴とする請求項に記載の眼科システム。
  3. 前記1以上のモダリティ装置は、1以上の光コヒーレンストモグラフィ(OCT)装置を含み、
    前記フュージョン画像形成部は、前記複数のスリットランプ顕微鏡のいずれかにより取得された3次元画像と、前記1以上のOCT装置のいずれかにより取得された画像とを合成してフュージョン画像を形成する
    ことを特徴とする請求項に記載の眼科システム。
  4. 前記画像取得部は、更に、前記被検者の眼を撮影して正面画像を取得し、
    前記第1通信部は、前記3次元画像とともに前記正面画像を送信し、
    前記第2通信部は、前記第1通信部により送信された前記3次元画像及び前記正面画像を受信し、
    前記画像格納部は、前記第2通信部により受信された複数の3次元画像及び複数の正面画像を格納し、
    前記第1プロセッサは、前記複数の3次元画像及び前記複数の正面画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行し、
    前記知識格納部は、前記複数の3次元画像及び前記複数の正面画像に基づき前記第1プロセッサにより取得された知識を格納し、
    前記診断支援情報生成部は、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第2通信部により受信された被検眼の3次元画像及び正面画像と前記知識格納部に格納されている知識とに基づく推論を実行して前記診断支援情報を生成する
    ことを特徴とする請求項1〜のいずれかに記載の眼科システム。
  5. 前記複数の眼科撮影装置のそれぞれは、被検者情報を受け付ける受付部を更に含み、
    前記第1通信部は、前記3次元画像とともに前記被検者情報を送信し、
    前記第2通信部は、前記第1通信部により送信された前記3次元画像及び前記被検者情報を受信し、
    前記画像格納部は、前記第2通信部により受信された複数の3次元画像及び複数の被検者情報を格納し、
    前記第1プロセッサは、前記複数の3次元画像及び前記複数の被検者情報に基づいて機械学習及びデータマイニングの少なくとも一方を実行し、
    前記知識格納部は、前記複数の3次元画像及び前記複数の被検者情報に基づき前記第1プロセッサにより取得された知識を格納し、
    前記診断支援情報生成部は、前記複数のスリットランプ顕微鏡のいずれかから送信されて前記第2通信部により受信された被検眼の3次元画像及び被検者情報と前記知識格納部に格納されている知識とに基づく推論を実行して前記診断支援情報を生成する
    ことを特徴とする請求項1〜のいずれかに記載の眼科システム。
  6. 複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置のそれぞれにより取得された被検者の眼の3次元画像を通信路を介して受け付ける通信部と、
    前記通信部により受信された複数の3次元画像を格納する画像格納部と、
    前記複数の3次元画像に基づいて機械学習及びデータマイニングの少なくとも一方を実行する第1プロセッサと、
    前記第1プロセッサにより取得された知識を格納する知識格納部と、
    前記複数のスリットランプ顕微鏡のいずれかから送信されて前記通信部により受信された被検眼の3次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成する第2プロセッサと
    を含み、
    前記第2プロセッサは、
    前記複数のスリットランプ顕微鏡のいずれかにより取得され且つ送信されて前記通信部により受信された前記被検眼の前記3次元画像を解析して関心領域を特定する関心領域特定部と、
    前記被検眼の前記3次元画像の前記関心領域と前記知識格納部に格納されている知識とに基づく推論を実行することにより、疑い病名、特定疾患の有無、重症度、検査の必要性、検査の種別、手術の必要性、手術の種別うちのいずれかを含む前記診断支援情報を生成する診断支援情報生成部と
    を含む
    ことを特徴とする眼科情報処理装置。
  7. 複数のスリットランプ顕微鏡を少なくとも含む複数の眼科撮影装置により取得された複数の3次元画像に基づき機械学習及びデータマイニングの少なくとも一方を実行して取得された知識を格納する知識格納部と、
    スリットランプ顕微鏡により取得された被検眼の3次元画像を通信路を介して受け付ける通信部と、
    前記3次元画像と前記知識格納部に格納されている知識とに基づく推論を実行して診断支援情報を生成するプロセッサと
    を含み、
    前記プロセッサは、
    前記複数のスリットランプ顕微鏡のいずれかにより取得され且つ送信されて前記通信部により受信された前記被検眼の前記3次元画像を解析して関心領域を特定する関心領域特定部と、
    前記被検眼の前記3次元画像の前記関心領域と前記知識格納部に格納されている知識とに基づく推論を実行することにより、疑い病名、特定疾患の有無、重症度、検査の必要性、検査の種別、手術の必要性、手術の種別うちのいずれかを含む前記診断支援情報を生成する診断支援情報生成部と
    を含む
    ことを特徴とする眼科情報処理装置。
JP2017145634A 2017-07-27 2017-07-27 眼科システム及び眼科情報処理装置 Active JP6923384B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017145634A JP6923384B2 (ja) 2017-07-27 2017-07-27 眼科システム及び眼科情報処理装置
PCT/JP2018/004200 WO2019021512A1 (ja) 2017-07-27 2018-02-07 眼科システム及び眼科情報処理装置
EP18839368.0A EP3659494B1 (en) 2017-07-27 2018-02-07 Ophthalmic system and ophthalmic information processing device
US16/633,160 US11617505B2 (en) 2017-07-27 2018-02-07 Ophthalmic system, ophthalmic information processing device, and ophthalmic diagnosing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017145634A JP6923384B2 (ja) 2017-07-27 2017-07-27 眼科システム及び眼科情報処理装置

Publications (2)

Publication Number Publication Date
JP2019024738A JP2019024738A (ja) 2019-02-21
JP6923384B2 true JP6923384B2 (ja) 2021-08-18

Family

ID=65041154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017145634A Active JP6923384B2 (ja) 2017-07-27 2017-07-27 眼科システム及び眼科情報処理装置

Country Status (4)

Country Link
US (1) US11617505B2 (ja)
EP (1) EP3659494B1 (ja)
JP (1) JP6923384B2 (ja)
WO (1) WO2019021512A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201906314PA (en) * 2019-07-08 2021-02-25 Nat Univ Singapore An automated slit lamp with computer program parts and a method of eye screening using the same
CN114286642A (zh) * 2019-08-29 2022-04-05 株式会社拓普康 裂隙灯显微镜、眼科系统、裂隙灯显微镜的控制方法及存储介质
JP2021040855A (ja) * 2019-09-10 2021-03-18 株式会社トプコン スリットランプ顕微鏡、眼科情報処理装置、眼科システム、スリットランプ顕微鏡の制御方法、プログラム、及び記録媒体
EP4104749A4 (en) 2020-02-14 2023-07-26 Oui Inc. DIAGNOSTIC ASSIST DEVICE, AND DIAGNOSTIC ASSIST SYSTEM AND PROGRAM
US11589744B2 (en) * 2020-09-23 2023-02-28 Troy Lee Carter Ophthalmic fixation apparatus and method of use
CN112963696B (zh) * 2021-04-02 2022-08-09 大同市第五人民医院 一种将眼科检查图像发送给远程专家的装置
CN113487499A (zh) * 2021-06-23 2021-10-08 南京诺源医疗器械有限公司 一种医疗光学成像用控制系统
WO2023079570A1 (en) * 2021-11-04 2023-05-11 Narendra Singh Verma System and method for corneal 3d tomography of cornea

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046326B2 (ja) * 1990-06-15 2000-05-29 株式会社東芝 画像処理装置及び画像処理方法
JP2007195994A (ja) 2005-10-17 2007-08-09 Yasuo Chinen 人工知能の構築方法、及び、医学用グリッドコンピュータシステム、及び、生理機能医療装置
US10709610B2 (en) * 2006-01-20 2020-07-14 Lensar, Inc. Laser methods and systems for addressing conditions of the lens
JP2008264231A (ja) * 2007-04-20 2008-11-06 Toshiba Corp 医用診断支援装置、医用診断支援方法、医用診断支援システム
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
US8917268B2 (en) 2011-11-11 2014-12-23 General Electric Company Systems and methods for performing image background selection
JP5989523B2 (ja) * 2012-05-01 2016-09-07 株式会社トプコン 眼科装置
DE102013207987A1 (de) * 2013-04-30 2014-10-30 Oculus Optikgeräte GmbH Verfahren und Analysesystem zur Augenuntersuchung
KR20150098119A (ko) 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
JP6624793B2 (ja) 2015-03-05 2019-12-25 株式会社トプコン 細隙灯顕微鏡
JP2016179004A (ja) 2015-03-24 2016-10-13 株式会社トプコン スリットランプ顕微鏡及びその制御方法
JP5951086B2 (ja) * 2015-08-06 2016-07-13 株式会社トプコン 眼科情報処理システム、眼科情報処理サーバー及び眼科情報処理方法

Also Published As

Publication number Publication date
WO2019021512A1 (ja) 2019-01-31
JP2019024738A (ja) 2019-02-21
EP3659494A1 (en) 2020-06-03
EP3659494B1 (en) 2024-02-07
US20210153735A1 (en) 2021-05-27
US11617505B2 (en) 2023-04-04
EP3659494A4 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
JP6923384B2 (ja) 眼科システム及び眼科情報処理装置
JP7381671B2 (ja) スリットランプ顕微鏡
JP7228342B2 (ja) スリットランプ顕微鏡及び眼科システム
JP7321678B2 (ja) スリットランプ顕微鏡及び眼科システム
WO2019176231A1 (ja) 眼科システム、眼科情報処理装置、プログラム、及び記録媒体
JP7154044B2 (ja) スリットランプ顕微鏡及び眼科システム
JP7002239B2 (ja) 眼科システム
JP2022050738A (ja) スリットランプ顕微鏡システム
JP7345594B2 (ja) スリットランプ顕微鏡及び眼科システム
WO2021256130A1 (ja) スリットランプ顕微鏡
WO2021261103A1 (ja) スリットランプ顕微鏡
JP2022035168A (ja) スリットランプ顕微鏡システム
JP7237219B2 (ja) 眼科システム、眼科情報処理装置、プログラム、及び記録媒体
JP7345610B2 (ja) スリットランプ顕微鏡
WO2022030364A1 (ja) スリットランプ顕微鏡
JP2022048413A (ja) スリットランプ顕微鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210729

R150 Certificate of patent or registration of utility model

Ref document number: 6923384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150