JP7509505B2 - 眼の画像内における病変の検知 - Google Patents
眼の画像内における病変の検知 Download PDFInfo
- Publication number
- JP7509505B2 JP7509505B2 JP2022202121A JP2022202121A JP7509505B2 JP 7509505 B2 JP7509505 B2 JP 7509505B2 JP 2022202121 A JP2022202121 A JP 2022202121A JP 2022202121 A JP2022202121 A JP 2022202121A JP 7509505 B2 JP7509505 B2 JP 7509505B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- image
- eye
- image data
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003902 lesion Effects 0.000 title claims description 194
- 238000001514 detection method Methods 0.000 title description 3
- 238000005259 measurement Methods 0.000 claims description 340
- 238000000034 method Methods 0.000 claims description 224
- 238000003384 imaging method Methods 0.000 claims description 171
- 230000008569 process Effects 0.000 claims description 136
- 238000013528 artificial neural network Methods 0.000 claims description 124
- 238000013527 convolutional neural network Methods 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 56
- 230000007170 pathology Effects 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 18
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 230000000873 masking effect Effects 0.000 claims description 9
- 238000012014 optical coherence tomography Methods 0.000 description 84
- 210000001525 retina Anatomy 0.000 description 43
- 238000010586 diagram Methods 0.000 description 21
- 206010012689 Diabetic retinopathy Diseases 0.000 description 17
- 238000012549 training Methods 0.000 description 15
- 208000010412 Glaucoma Diseases 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 9
- 206010030113 Oedema Diseases 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 206010003694 Atrophy Diseases 0.000 description 6
- 230000037444 atrophy Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000002538 fungal effect Effects 0.000 description 5
- 230000003936 working memory Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 230000001580 bacterial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000001344 Macular Edema Diseases 0.000 description 2
- 206010025415 Macular oedema Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 201000010230 macular retinal edema Diseases 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/06—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision
- A61B3/063—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision for testing light sensitivity, i.e. adaptation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4842—Monitoring progression or stage of a disease
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Description
態様による方法を実行させるコンピュータプログラムをさらに発明した。
ように構成された検索モジュール120、を含む。装置100は、検索モジュール120により見つけられた前記病変を示す前記画像内の領域に応じて、前記画像内の前記領域の位置を確定するプロセス、及び眼の測定装置に、前記眼の前記部分に対する測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令を生成するプロセス、を自動的に実行するように構成された命令生成モジュール130、をさらに含む。2つ以上のそのような領域が検索モジュール120により見つけられた場合、これらのプロセスが前記領域のそれぞれについて実行されてもよい。受信モジュール110は、前記測定データを前記眼の測定装置から受信するようにさらに構成される。所望により、装置100は、例示の本実施形態のように、表示制御信号発生器140を含んでもよい(この所望の構成要素は、図1において破線で示されている)。
適切な手段により取得された画像を定義する画像データを受信するように構成される。例えば、受信モジュール110は、直接的通信リンク(ユニバーサル・シリアル・バス(USB)又はブルートゥース(商標)接続などの任意の適切な有線又は無線接続により提供されてもよい)、又は間接的通信リンク(ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、及び/又はインターネットを含むネットワークにより提供されてもよい)を介して、眼の画像化システム520から前記画像データを受信してもよい。さらに、前記画像データは、前記眼の画像化システムにより取得された後、そのような画像データを受信する受信モジュール110により(例えば、CD又はハードディスクなどの記憶媒体から読み出されることにより、又はインターネットなどのネットワークを介して受信されることにより)受信されてもよい。
IC)などの非プログラム式ハードウェアとして実施されてもよいことに留意されたい。
ア200内で実施される場合、検索モジュール120により、例えば、ワーキングメモリ230内に記録される。
い、前記畳み込みニューラルネットワークの出力が調整される。信号は、第1の層(前記入力層)から最後の層(前記出力層)へと流れ、複数回にわたって各層を横断してもよい。
は終了する。
を実行するように構成されてもよい。よって、前記病変を示す前記画像内の領域が図2のS12において見つかる例示的な本実施形態では、命令生成モジュール120が、図3のS16において、眼の測定装置300に、前記眼の前記部分に対する前記測定を実施させるための前記命令として、眼の測定装置300に、画像取り込みプロセスにおいて画像化されるべき前記眼の前記部分の領域の位置を前記測定の位置として設定するための前記基準点を用いて、前記画像取り込みプロセスを実行させるための命令を生成する。その後、受信モジュール110が、図3のプロセスS18において、前記測定データとして、眼の測定装置300により取得された前記第2の画像化様式の画像データを受信する。2つ以上の異なる画像化様式(例えば、SLOとOCTを組み合わせた画像化システム)の眼の画像を取得できる1つの複数様式の眼の画像化システムにより、眼の画像化システム520と眼の測定装置300の機能が提供されてもよいことに留意されたい。眼の画像化システム520と前記眼の測定装置は、代替的に、別個の構成要素として提供されてもよい。
定値を獲得することができる。
数の異なる種類の病変のうちの前記1つについて、前記眼に対して実施されるべき測定のために複数の異なる種類の測定様式のうちの対応する1つを選択するプロセス、及び眼の測定装置300に、前記眼の前記部分に対する前記測定を実施させるための前記命令として、前記眼の前記部分に対する前記測定の位置を設定するための基準点を用いて、前記眼の前記部分に対する前記測定を実行するための前記選択された測定様式の眼の測定装置300に対する命令を生成するプロセス、を実行してもよい。
0は、選択された各測定様式の前記眼の測定装置により実施された前記測定の測定データを受信するようにさらに構成される。所望により、装置800は、例示の本実施形態のように、表示制御信号発生器840(この所望の構成要素は、図9において破線で示されている)を含んでもよい。
する画像データと、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の複数の画像データに基づいて訓練された学習アルゴリズムを用いて、前記受信された画像データを処理することにより、前記画像内において前記複数の異なる種類の病変のうちの少なくとも1つの存在を検索する。前記学習アルゴリズムは、図6に関して上記に記述したように、前記眼の前記部分の画像を定義する入力画像データを「健康」か、「不健康」で特定の病変を有しているかに分類するために訓練されてもよい。
使用されるべき複数の異なる種類の画像化様式のうちの対応する1つを選択するプロセスを実行するように構成される、装置(100)。
前記複数の異なる種類の病変のうちの少なくとも1つが、前記画像(400)内に存在すると分かったことに応じ、
され、前記受信モジュール(810)が、前記測定データとして、前記OCTスキャンの画像データを受信するように構成され、
又はソフトウェアとして提供されてもよい。前記の非一過性の機械アクセス可能媒体、機械可読媒体、命令記憶装置、又はコンピュータ可読記憶装置上のプログラム又は命令は、コンピュータシステム又は他の電子装置をプログラムするために使用されてもよい。前記の機械又はコンピュータ可読媒体、命令記憶装置、及び記憶装置は、限定はされないが、電子的命令を記憶又は伝送するのに適した、フロッピーディスケット、光ディスク、及び光磁気ディスク、又は他の種類の媒体/機械可読媒体/命令記憶装置/記憶装置を含んでもよい。本明細書中に記載の技術は、任意の特定のソフトウェア構成に限定されない。それらは、任意のコンピューティング又はプロセッシング環境において適用可能であり得る。本明細書中で使用する「コンピュータ可読」、「機械アクセス可能媒体」、「機械可読媒体」、「命令記憶装置」、及び「コンピュータ可読記憶装置」という用語は、機械、コンピュータ、又はコンピュータプロセッサによる実行のための命令又は命令シーケンスを記憶、符号化、又は伝送することができ、機械/コンピュータ/コンピュータプロセッサに本明細書中に記載の方法のうちの任意の1つを実行させる任意の媒体を含むこととする。さらに、本技術においては、通常、ソフトウェアといえば、何らかの形式で(例えば、プログラム、プロシージャ、プロセス、アプリケーション、モジュール、ユニット、ロジックなど)、動作を行う又は結果を生じさせるものである。そのような表現は、処理システムによるソフトウェアの実行により、プロセッサが、動作を行い、結果を生じさせることを単に簡略化して述べる方法である。
供されたものであることを理解されたい。当業者にとっては、様々な変更が形式及び詳細についてそれらに加えられ得ることが明らかである。よって、本発明は、上記に記載の例示的実施形態のいずれによっても限定されるべきではなく、下記の特許請求の範囲及びその均等範囲によってのみ定義されるべきである。
Claims (19)
- 眼の画像化システムにより取得された眼の部分の画像内において病変を示す領域を検索するためのコンピュータにより実行される方法であって、前記方法が、
前記画像を定義する画像データを受信し、
健康な眼の前記部分の複数の画像を定義する画像データと、前記病変を示す少なくとも1つの領域をそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データに基づいて訓練された学習アルゴリズムを用いて前記受信された画像データを処理することにより、前記画像内の前記領域を検索することであって、ここで、前記学習アルゴリズムは、ニューラルネットワークを用いた教師あり学習アルゴリズムであり、当該ニューラルネットワークの出力に対する当該ニューラルネットワークの少なくとも一つの入力変数の関連性を確定するように当該ニューラルネットワークを処理することにより、前記画像内において病変を示す前記領域を検索し、
前記病変を示す前記画像内の領域が、前記検索することにおいて見つかった場合、
前記画像内の前記領域の位置を確定し、
眼の測定装置に、前記眼の前記部分に対する測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令を生成し、
前記測定データを前記眼の測定装置から受信すること、
を含む、
方法。 - 表示ユニットを制御して、前記眼の前記部分の前記画像内の前記領域の前記位置と、前記受信された測定データの表示を表示させるための命令を生成することをさらに含む、
請求項1に記載のコンピュータにより実行される方法。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記受信された画像データにより定義された前記画像の複数の異なる区分のそれぞれについて、
マスク画像を生成するために前記画像の前記区分をマスクし、
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の前記領域を検索し、
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定する、プロセスを実行し、
前記画像内の前記領域の前記位置として、前記確定された差が最大である区分の位置を確定することにより、
前記ニューラルネットワークが処理される、
請求項1又は請求項2に記載のコンピュータにより実行される方法。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層までの前記ニューラルネットワークの各層に対して適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定し、
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データの少なくとも1つの区分に基づいて前記画像内の前記領域の前記位置を確定することにより、
前記畳み込みニューラルネットワークが処理される、
請求項1又は請求項2に記載のコンピュータにより実行される方法。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記畳み込みニューラルネットワークの逆畳み込みを行うことにより、前記畳み込みニューラルネットワークが処理される、
請求項1又は請求項2に記載のコンピュータにより実行される方法。 - 眼の画像化システムにより取得された眼の部分の画像内において病変の存在を検索するためのコンピュータにより実行される方法であって、前記方法が、
前記画像を定義する画像データを受信すること、
健康な眼の複数の画像を定義する画像データと、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の複数の画像に基づいて訓練された学習アルゴリズムを用いて前記受信された画像データを処理することにより、前記画像内において前記複数の異なる種類の病変のうちの少なくとも1つの存在を検索することであって、ここで、前記学習アルゴリズムは、ニューラルネットワークを用いた教師あり学習アルゴリズムであり、当該ニューラルネットワークの出力に対する当該ニューラルネットワークの少なくとも一つの入力変数の関連性を確定するように当該ニューラルネットワークを処理することにより、前記画像内において前記複数の異なる種類の病変のうちの少なくとも1つを示す領域を検索すること、及び
前記複数の異なる種類の病変のうちの少なくとも1つが、前記画像内に存在すると分かった場合、
前記画像内に存在すると分かった少なくとも1種類の病変のそれぞれについて、前記眼の前記部分に対する測定を実施するために使用されるべき複数の異なる種類の測定様式のうちの対応する1つを選択すること、
前記画像内に存在すると分かった前記少なくとも1種類の病変のそれぞれについて、前記対応する選択された測定様式の眼の測定装置に、前記眼の前記部分に対する前記測定を実施させるための対応する命令を生成すること、及び
選択された各測定様式の前記眼の測定装置により実施された前記測定の測定データを受信すること、
を含む
方法。 - 表示ユニットを制御して、前記眼の前記部分の前記画像内の領域の記録される位置と、前記受信された測定データの表示を表示させるための命令を生成することをさらに含む、
請求項6に記載のコンピュータにより実行される方法。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記受信された画像データにより定義された前記画像の複数の異なる区分のそれぞれについて、
マスク画像を生成するために前記画像の前記区分をマスクし、
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の領域を検索し、
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定する、プロセスを実行し、
記録される位置として、前記確定された差が最大である区分の位置を確定することにより、
前記ニューラルネットワークが処理される、
請求項6又は請求項7に記載のコンピュータにより実行される方法。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層までの前記ニューラルネットワークの各層に対して適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定し、
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データの少なくとも1つの区分に基づいて記録される位置を確定することにより、
前記畳み込みニューラルネットワークが処理される、
請求項6又は請求項7に記載のコンピュータにより実行される方法。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記畳み込みニューラルネットワークの逆畳み込みを行うことにより、前記畳み込みニューラルネットワークが処理される、
請求項6又は請求項7に記載のコンピュータにより実行される方法。 - 請求項1~請求項10のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラムを格納するコンピュータ可読記憶媒体。
- 眼の画像化システムにより取得された眼の部分の画像内において病変を示す領域を検索する装置であって、前記装置が、
前記画像を定義する画像データを受信するように構成された受信モジュールと、
健康な眼の前記部分の複数の画像を定義する画像データと、前記病変を示す少なくとも1つの領域をそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データに基づいて訓練された学習アルゴリズムを用いて前記受信された画像データを処理することにより、前記画像の前記領域を検索することであって、ここで、前記学習アルゴリズムは、ニューラルネットワークを用いた教師あり学習アルゴリズムであり、当該ニューラルネットワークの出力に対する当該ニューラルネットワークの少なくとも一つの入力変数の関連性を確定するように当該ニューラルネットワークを処理することにより、前記画像内において病変を示す前記領域を検索するように構成された検索モジュールと、
前記検索モジュールにより見つけられた前記病変を示す前記画像内の領域に応じて、前記画像内の前記領域の位置を確定するプロセス、及び眼の測定装置に、前記眼の前記部分に対する測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令を生成するプロセス、を実行するように構成された命令生成モジュールと、を含み、
前記受信モジュールが、前記測定データを前記眼の測定装置から受信するようにさらに構成される、
装置。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記受信された画像データにより定義された前記画像の複数の異なる区分のそれぞれについて、
マスク画像を生成するために前記画像の前記区分をマスクし、
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の前記領域を検索し、
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定する、プロセスを実行し、
記録される位置として、前記確定された差が最大である区分の位置を確定することにより、
前記検索モジュールは前記ニューラルネットワークを処理する、
請求項12に記載の装置。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層までの前記ニューラルネットワークの各層に対して適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定し、
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データの少なくとも1つの区分に基づいて記録される位置を確定することにより、
前記検索モジュールは前記畳み込みニューラルネットワークを処理する、
請求項12に記載の装置。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記検索モジュールは、前記畳み込みニューラルネットワークの逆畳み込みを行うことにより、前記畳み込みニューラルネットワークを処理する、
請求項12に記載の装置。 - 眼の画像化システムにより取得された眼の部分の画像内において病変の存在を検索する装置であって、前記装置が、
前記画像を定義する画像データを受信するように構成された受信モジュールと、
健康な眼の複数の画像を定義する画像データと、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の複数の画像に基づいて訓練された学習アルゴリズムを用いて前記受信された画像データを処理することにより、前記画像内において前記複数の異なる種類の病変のうちの少なくとも1つの存在を検索するように構成された検索モジュールであって、ここで、前記学習アルゴリズムは、ニューラルネットワークを用いた教師あり学習アルゴリズムであり、当該ニューラルネットワークの出力に対する当該ニューラルネットワークの少なくとも一つの入力変数の関連性を確定するように当該ニューラルネットワークを処理することにより、前記画像内において病変を示す領域を検索するように構成された検索モジュールと、
前記検索モジュールにより前記画像内において存在すると分かった前記複数の異なる種類の病変のうちの少なくとも1つに応じて、前記画像内に存在すると分かった少なくとも1種類の病変のそれぞれについて、前記眼の前記部分に対する測定を実施するために使用されるべき複数の異なる種類の測定様式のうちの対応する1つを選択するプロセス、及び前記画像内に存在すると分かった前記少なくとも1種類の病変のそれぞれについて、前記対応する選択された測定様式の眼の測定装置に、前記眼の前記部分に対する前記測定を実施させるための対応する命令を生成するプロセス、を実行するように構成された命令生成モジュールと、を含み、
前記受信モジュールが、選択された各測定様式の前記眼の測定装置により実施された前記測定の測定データを受信するようにさらに構成される
装置。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記受信された画像データにより定義された前記画像の複数の異なる区分のそれぞれについて、
マスク画像を生成するために前記画像の前記区分をマスクし、
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の領域を検索し、
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定する、プロセスを実行し、
記録される位置として、前記確定された差が最大である区分の位置を確定することにより、
前記検索モジュールは前記ニューラルネットワークを処理する、
請求項16に記載の装置。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層までの前記ニューラルネットワークの各層に対して適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定し、
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データの少なくとも1つの区分に基づいて記録される位置を確定することにより、
前記検索モジュールは前記畳み込みニューラルネットワークを処理する、
請求項16に記載の装置。 - 前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記検索モジュールは、前記畳み込みニューラルネットワークの逆畳み込みを行うことにより、前記畳み込みニューラルネットワークを処理する、
請求項16に記載の装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18214689.4A EP3671536B1 (en) | 2018-12-20 | 2018-12-20 | Detection of pathologies in ocular images |
EP18214689.4 | 2018-12-20 | ||
JP2019230618A JP6996682B2 (ja) | 2018-12-20 | 2019-12-20 | 眼の画像内における病変の検知 |
JP2021195247A JP7279291B2 (ja) | 2018-12-20 | 2021-12-01 | 眼の画像内における病変の検知 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021195247A Division JP7279291B2 (ja) | 2018-12-20 | 2021-12-01 | 眼の画像内における病変の検知 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023021440A JP2023021440A (ja) | 2023-02-10 |
JP7509505B2 true JP7509505B2 (ja) | 2024-07-02 |
Family
ID=64755198
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019230618A Active JP6996682B2 (ja) | 2018-12-20 | 2019-12-20 | 眼の画像内における病変の検知 |
JP2021195247A Active JP7279291B2 (ja) | 2018-12-20 | 2021-12-01 | 眼の画像内における病変の検知 |
JP2022202121A Active JP7509505B2 (ja) | 2018-12-20 | 2022-12-19 | 眼の画像内における病変の検知 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019230618A Active JP6996682B2 (ja) | 2018-12-20 | 2019-12-20 | 眼の画像内における病変の検知 |
JP2021195247A Active JP7279291B2 (ja) | 2018-12-20 | 2021-12-01 | 眼の画像内における病変の検知 |
Country Status (12)
Country | Link |
---|---|
US (2) | US11503994B2 (ja) |
EP (2) | EP3671536B1 (ja) |
JP (3) | JP6996682B2 (ja) |
KR (2) | KR102387820B1 (ja) |
CN (1) | CN111353970B (ja) |
AU (2) | AU2019280075B2 (ja) |
CA (2) | CA3223918A1 (ja) |
DK (1) | DK3671536T3 (ja) |
FI (1) | FI3671536T3 (ja) |
MX (1) | MX2021007346A (ja) |
SG (1) | SG11202106261TA (ja) |
WO (1) | WO2020127233A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2019340215B2 (en) * | 2018-09-12 | 2022-08-18 | Auckland Uniservices Limited | Methods and systems for ocular imaging, diagnosis and prognosis |
AU2020213126A1 (en) * | 2019-01-25 | 2021-09-09 | Otonexus Medical Technologies, Inc. | Machine learning for otitis media diagnosis |
EP3690888A1 (en) * | 2019-01-31 | 2020-08-05 | Nidek Co., Ltd. | Ophthalmologic image processing device and ophthalmologic image processing program |
JP7332463B2 (ja) * | 2019-12-25 | 2023-08-23 | キヤノン株式会社 | 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム |
WO2022072513A1 (en) | 2020-09-30 | 2022-04-07 | Ai-Ris LLC | Retinal imaging system |
WO2022158908A1 (ko) * | 2021-01-22 | 2022-07-28 | 주식회사 루닛 | 병리 이미지 분석 방법 및 시스템 |
WO2023277622A1 (ko) | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 |
WO2023277548A1 (ko) | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체 |
KR102379061B1 (ko) * | 2021-06-30 | 2022-04-05 | 주식회사 타이로스코프 | 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치 |
WO2023277589A1 (ko) * | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 |
WO2024013681A1 (en) * | 2022-07-13 | 2024-01-18 | Alcon Inc. | Machine learning to assess the clinical significance of vitreous floaters |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013031527A (ja) | 2011-08-01 | 2013-02-14 | Canon Inc | 眼科診断支援装置および方法 |
US20150110348A1 (en) | 2013-10-22 | 2015-04-23 | Eyenuk, Inc. | Systems and methods for automated detection of regions of interest in retinal images |
JP2016509914A (ja) | 2013-03-14 | 2016-04-04 | カール ツアイス メディテック アクチエンゲゼルシャフト | 視覚データの取得および分析のマルチモード統合 |
JP2018121886A (ja) | 2017-01-31 | 2018-08-09 | 株式会社ニデック | 画像処理装置、および画像処理プログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4819851B2 (ja) | 2008-07-31 | 2011-11-24 | キヤノン株式会社 | 診断支援装置およびその方法、プログラム、記録媒体 |
JP5582772B2 (ja) * | 2009-12-08 | 2014-09-03 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US8712505B2 (en) * | 2010-11-11 | 2014-04-29 | University Of Pittsburgh-Of The Commonwealth System Of Higher Education | Automated macular pathology diagnosis in three-dimensional (3D) spectral domain optical coherence tomography (SD-OCT) images |
JP5635898B2 (ja) * | 2010-12-17 | 2014-12-03 | キヤノン株式会社 | 眼底撮像装置及びその制御方法 |
US8553965B2 (en) * | 2012-02-14 | 2013-10-08 | TerraRecon, Inc. | Cloud-based medical image processing system with anonymous data upload and download |
US8682049B2 (en) * | 2012-02-14 | 2014-03-25 | Terarecon, Inc. | Cloud-based medical image processing system with access control |
JP2014188254A (ja) | 2013-03-28 | 2014-10-06 | Nidek Co Ltd | 視野検査装置 |
US9955865B2 (en) * | 2013-04-11 | 2018-05-01 | Novartis Ag | Method and system to detect ophthalmic tissue structure and pathologies |
AU2015212984A1 (en) * | 2014-01-28 | 2016-06-23 | Ventana Medical Systems, Inc. | Adaptive classification for whole slide tissue segmentation |
WO2015138963A1 (en) * | 2014-03-14 | 2015-09-17 | Lkc Technologies Inc. | System and method for retinopathy detection |
JP6725547B2 (ja) * | 2015-03-20 | 2020-07-22 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 人工ニューラルネットワークの関連性スコア割当て |
US20170228521A1 (en) * | 2016-02-05 | 2017-08-10 | Carl Zeiss Meditec, Inc. | Report driven workflow for ophthalmic image data acquisition |
JP2017182739A (ja) * | 2016-03-31 | 2017-10-05 | 富士通株式会社 | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム |
US10123747B2 (en) | 2016-11-21 | 2018-11-13 | International Business Machines Corporation | Retinal scan processing for diagnosis of a subject |
US10249040B2 (en) | 2016-11-21 | 2019-04-02 | International Business Machines Corporation | Digital data processing for diagnosis of a subject |
DE102017208994A1 (de) * | 2017-05-29 | 2018-11-29 | Audi Ag | Verfahren zur Ermittlung von Ergebnisbilddaten |
-
2018
- 2018-12-20 DK DK18214689.4T patent/DK3671536T3/da active
- 2018-12-20 EP EP18214689.4A patent/EP3671536B1/en active Active
- 2018-12-20 EP EP23215753.7A patent/EP4310800A3/en active Pending
- 2018-12-20 FI FIEP18214689.4T patent/FI3671536T3/fi active
-
2019
- 2019-12-12 CA CA3223918A patent/CA3223918A1/en active Pending
- 2019-12-12 CA CA3064885A patent/CA3064885A1/en active Pending
- 2019-12-13 AU AU2019280075A patent/AU2019280075B2/en active Active
- 2019-12-17 WO PCT/EP2019/085608 patent/WO2020127233A1/en active Application Filing
- 2019-12-17 SG SG11202106261TA patent/SG11202106261TA/en unknown
- 2019-12-17 CN CN201911301768.1A patent/CN111353970B/zh active Active
- 2019-12-17 MX MX2021007346A patent/MX2021007346A/es unknown
- 2019-12-19 US US16/721,902 patent/US11503994B2/en active Active
- 2019-12-20 KR KR1020190172286A patent/KR102387820B1/ko active IP Right Grant
- 2019-12-20 JP JP2019230618A patent/JP6996682B2/ja active Active
-
2021
- 2021-09-14 AU AU2021232682A patent/AU2021232682B2/en active Active
- 2021-12-01 JP JP2021195247A patent/JP7279291B2/ja active Active
-
2022
- 2022-02-25 KR KR1020220025483A patent/KR102494503B1/ko active IP Right Grant
- 2022-09-10 US US17/942,132 patent/US20230000338A1/en active Pending
- 2022-12-19 JP JP2022202121A patent/JP7509505B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013031527A (ja) | 2011-08-01 | 2013-02-14 | Canon Inc | 眼科診断支援装置および方法 |
JP2016509914A (ja) | 2013-03-14 | 2016-04-04 | カール ツアイス メディテック アクチエンゲゼルシャフト | 視覚データの取得および分析のマルチモード統合 |
US20150110348A1 (en) | 2013-10-22 | 2015-04-23 | Eyenuk, Inc. | Systems and methods for automated detection of regions of interest in retinal images |
JP2018121886A (ja) | 2017-01-31 | 2018-08-09 | 株式会社ニデック | 画像処理装置、および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022033126A (ja) | 2022-02-28 |
CN111353970A (zh) | 2020-06-30 |
EP4310800A2 (en) | 2024-01-24 |
AU2019280075A1 (en) | 2020-07-09 |
CN111353970B (zh) | 2024-05-14 |
CA3064885A1 (en) | 2020-06-20 |
US20230000338A1 (en) | 2023-01-05 |
AU2021232682A9 (en) | 2021-12-02 |
US20200196853A1 (en) | 2020-06-25 |
AU2021232682B2 (en) | 2022-11-24 |
JP7279291B2 (ja) | 2023-05-23 |
US11503994B2 (en) | 2022-11-22 |
KR20220027927A (ko) | 2022-03-08 |
AU2021232682A1 (en) | 2021-10-07 |
MX2021007346A (es) | 2021-09-30 |
SG11202106261TA (en) | 2021-07-29 |
JP6996682B2 (ja) | 2022-01-17 |
DK3671536T3 (da) | 2024-06-17 |
JP2020124472A (ja) | 2020-08-20 |
KR20200077461A (ko) | 2020-06-30 |
CA3223918A1 (en) | 2020-06-20 |
EP4310800A3 (en) | 2024-03-20 |
EP3671536A1 (en) | 2020-06-24 |
FI3671536T3 (fi) | 2024-06-18 |
EP3671536B1 (en) | 2024-05-22 |
KR102387820B1 (ko) | 2022-04-15 |
AU2019280075B2 (en) | 2021-07-22 |
KR102494503B1 (ko) | 2023-01-31 |
JP2023021440A (ja) | 2023-02-10 |
WO2020127233A1 (en) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7509505B2 (ja) | 眼の画像内における病変の検知 | |
JP7229881B2 (ja) | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム | |
JP7269413B2 (ja) | 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム | |
JP2021154159A (ja) | 機械学習ガイド付き撮影システム | |
US11922601B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
CN112822972A (zh) | 图像处理装置、图像处理方法和程序 | |
US11284791B2 (en) | Image processing method, program, and image processing device | |
CN113226153A (zh) | 图像处理装置、图像处理方法和程序 | |
GB2589250A (en) | Medical image processing device, medical image processing method and program | |
JP6878923B2 (ja) | 画像処理装置、画像処理システム、および画像処理プログラム | |
CN113557714A (zh) | 医学图像处理装置、医学图像处理方法和程序 | |
JP7392238B2 (ja) | 医用画像を用いた病態予測 | |
CN118351103A (zh) | 眼部图像的病理检测 | |
US12040079B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240618 |