JP2024007133A - 眼科画像処理装置および眼科画像処理プログラム - Google Patents

眼科画像処理装置および眼科画像処理プログラム Download PDF

Info

Publication number
JP2024007133A
JP2024007133A JP2022108377A JP2022108377A JP2024007133A JP 2024007133 A JP2024007133 A JP 2024007133A JP 2022108377 A JP2022108377 A JP 2022108377A JP 2022108377 A JP2022108377 A JP 2022108377A JP 2024007133 A JP2024007133 A JP 2024007133A
Authority
JP
Japan
Prior art keywords
image
medical information
ophthalmological
image processing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022108377A
Other languages
English (en)
Inventor
倫全 佐竹
Norimasa Satake
徹哉 加納
Tetsuya Kano
晴香 植村
Haruka Uemura
仁賀 中野
Masanori Nakano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidek Co Ltd
Original Assignee
Nidek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidek Co Ltd filed Critical Nidek Co Ltd
Priority to JP2022108377A priority Critical patent/JP2024007133A/ja
Priority to US18/345,275 priority patent/US20240013397A1/en
Publication of JP2024007133A publication Critical patent/JP2024007133A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1005Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】眼科画像を処理することで生成される複数の医療情報を、より効率良くユーザに把握させることが可能な眼科画像処理装置および眼科画像処理プログラムを提供する。【解決手段】眼科画像処理装置の制御部は、画像取得ステップ、医療情報生成ステップ、および順次表示ステップを実行する。画像取得ステップでは、制御部は、眼科画像撮影装置によって撮影された眼科画像を取得する。医療情報生成ステップでは、制御部は、互いに異なる複数の処理を眼科画像に対して実行することで、表示部に表示させる複数種類の医療情報を生成する。順次表示ステップでは、制御部は、医療情報生成ステップにおいて複数種類の医療情報の各々の生成が完了する毎に、生成された医療情報を表示部に順次表示させる。【選択図】図4

Description

本開示は、被検眼の組織の画像である眼科画像のデータを処理する眼科画像処理装置、および、眼科画像処理装置において実行される眼科画像処理プログラムに関する。
撮影された眼科画像を処理することで、診断等に有用な医療情報を生成する技術が知られている。例えば、特許文献1に記載の眼科情報処理装置は、眼科画像に対して、二次元マップ画像の生成処理、二次元チャートの生成処理、デビエーションマップ画像の生成処理等を実行する。二次元マップ画像は、眼底における特定の層の厚みの二次元分布を示す。二次元チャートは、複数の領域の各々における特定の層の厚みの平均値を示す。デビエーションマップ画像は、被検者データと正常眼データベースとの差分を示す。眼科情報処理装置は、生成した複数の医療情報が並べられたレポートを、表示部に表示させる。また、近年では、撮影された眼科画像の画質を向上させた高画質画像、および、被検眼の疾患に関する情報等を、医療情報として生成する技術も提案されている。
特開2018-787号公報
従来の眼科画像処理装置では、眼科画像に基づく複数の医療情報の生成処理が全て完了した後に、生成された複数の医療情報が並べられたレポートが作成されて表示される。従って、ユーザは、複数の医療情報の生成処理が完了するまでの間、いずれの医療情報を確認することもできず、ただ待機しているのみである。従って、眼科画像を処理することで生成される複数の医療情報を、より効率良くユーザに把握させることができれば、非常に有用である。
本開示の典型的な目的は、眼科画像を処理することで生成される複数の医療情報を、より効率良くユーザに把握させることが可能な眼科画像処理装置および眼科画像処理プログラムを提供することである。
本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像のデータを処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、互いに異なる複数の処理を前記眼科画像に対して実行することで、表示部に最終的に並べて表示される複数種類の医療情報を生成する医療情報生成ステップと、前記医療情報生成ステップにおいて前記複数種類の医療情報の各々の生成が完了する毎に、生成された前記医療情報を前記表示部に順次表示させる順次表示ステップと、を実行する。
本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像のデータを処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、互いに異なる複数の処理を前記眼科画像に対して実行することで、表示部に最終的に並べて表示される複数種類の医療情報を生成する医療情報生成ステップと、前記医療情報生成ステップにおいて前記複数種類の医療情報の各々の生成が完了する毎に、生成された前記医療情報を前記表示部に順次表示させる順次表示ステップと、を前記眼科画像処理装置に実行させる。
本開示に係る眼科画像処理装置および眼科画像処理プログラムによると、眼科画像を処理することで生成される複数の医療情報が、より効率良くユーザに把握され易くなる。
眼科画像処理システム100の概略構成を示すブロック図である。 眼科画像の撮影方法の一例を説明するための説明図である。 眼科画像に対して実行される複数の処理と、処理によって生成される医療情報の例を説明するための説明図である。 処理対象の被検眼についての複数の医療情報の一部が生成中である場合の、モニタ47の表示画面の一例である。 処理対象の被検眼についての複数の医療情報の全てが生成されて表示された状態の、モニタ47の表示画面の一例である。 眼科画像処理装置40が実行する眼科画像処理のフローチャートである。 設定テーブルのデータ構成を説明するための説明図である。 眼科画像処理中に実行される複数段階処理のフローチャートである。 二次元断層画像から画素列を段階的に抽出する方法の一例を説明するための説明図である。 眼科画像処理中に実行される注目領域優先処理のフローチャートである。 二次元断層画像から注目領域の画像を抽出する方法の一例を説明するための説明図である。 眼科画像処理中に実行される精査不要時簡易処理のフローチャートである。
<概要>
本開示で例示する眼科画像処理装置は、被検眼の組織の画像である眼科画像のデータを処理する。眼科画像処理装置の制御部は、画像取得ステップ、医療情報生成ステップ、および順次表示ステップを実行する。画像取得ステップでは、制御部は、眼科画像撮影装置によって撮影された眼科画像を取得する。医療情報生成ステップでは、制御部は、互いに異なる複数の処理を眼科画像に対して実行することで、表示部に最終的に並べて表示される複数種類の医療情報を生成する。順次表示ステップでは、制御部は、医療情報生成ステップにおいて複数種類の医療情報の各々の生成が完了する毎に、生成された医療情報を表示部に順次表示させる。
本開示における眼科画像処理装置によると、複数種類の医療情報の各々の生成が完了する毎に、生成された医療情報が順次表示される。従って、ユーザは、全ての医療情報の生成処理が完了する前であっても、生成されて表示された一部の医療情報を把握することができる。よって、ユーザの待機時間が減少し、複数の医療情報がより効率良くユーザによって把握され易くなる。
なお、当然ながら、生成される複数の医療情報の全てが、生成が完了する毎に順次表示されてもよい。また、生成される複数の医療情報のうち、一部の複数の医療情報が、生成が完了する毎に順次表示されると共に、他の複数の医療情報は同時に表示部に表示されてもよい。
以下で説明する実施形態では、眼科画像撮影装置として、眼底を撮影するOCT装置を例示する。つまり、以下の実施形態における眼科画像は、OCT装置によって撮影された眼底のOCT画像である。しかし、眼底のOCT画像とは異なる眼科画像が処理されることで、複数の医療情報が生成されてもよい。例えば、眼科画像には、レーザ走査型検眼装置(SLO)、眼底カメラ、および角膜内皮細胞撮影装置等の少なくともいずれかによって撮影された画像が含まれていてもよい。
画像取得ステップ、医療情報生成ステップ、および順次表示ステップを実行するデバイスは、適宜選択できる。例えば、パーソナルコンピュータ(以下、「PC」という)の制御部が、全てのステップを実行してもよい。つまり、PCの制御部は、眼科画像撮影装置から眼科画像を取得し、取得した眼科画像に対する処理を実行してもよい。また、眼科画像撮影装置の制御部が、全てのステップを実行してもよい。また、複数のデバイス(例えば、眼科画像撮影装置およびPC等)の制御部が協働して、画像取得ステップ、医療情報生成ステップ、および順次表示ステップを実行してもよい。
制御部は、医療情報の種類毎に定められた複数の定型表示枠を表示部に表示させる定型枠表示ステップをさらに実行してもよい。順次表示ステップでは、制御部は、医療情報の生成が完了する毎に、表示部に表示されている複数の定型表示枠のうち、生成された医療情報の種類に対応する定型表示枠内に、各々の医療情報を順次表示させてもよい。この場合、ユーザは、複数の定型表示枠を確認することで、各々の医療情報が生成されて実際に表示されるよりも前から、生成された各々の医療情報が表示される位置を把握することができる。従って、ユーザは、生成が完了する毎に順次表示される各々の医療情報の内容を、より効率良く把握することができる。
制御部は、定型枠表示ステップにおいて、複数種類の医療情報の各々が生成されて表示されるまでの間、定型表示枠に対応する種類の医療情報の生成処理中であることを示す処理中表示、および、定型表示枠に対応する医療情報を説明する説明表示の少なくともいずれかを、各々の定型表示枠内に付加してもよい。定型表示枠において処理中表示を実行する場合には、ユーザは、定型表示枠に対応する(つまり、定型表示枠にその後に表示される)医療情報の生成処理中であることを容易に把握することができる。また、定型表示枠において説明表示を実行する場合には、ユーザは、定型表示枠に対応する医療情報に関する説明を、実際に医療情報が表示されるよりも前に説明表示によって把握したうえで、その後に表示される医療情報に基づく各種判断(例えば診断等)を行うことができる。よって、ユーザは、より効率良く複数の医療情報を把握し易くなる。
処理中表示および説明表示を定型表示枠に付加するための具体的な方法は、適宜選択できる。例えば、医療情報の生成処理中であることを示す進捗インジケータ、アナログ時計のアイコン、および砂時計のアイコン等の少なくともいずれかが、処理中表示として付加されてもよい。また、各々の医療情報の種類、特性、理解の方法等の少なくともいずれかを示す説明分が、説明表示として付加されてもよい。処理中表示および説明表示は、定型表示枠の内部に付加されてもよいし、定型表示枠の外部に隣接して付加されてもよい。
制御部は、定型枠表示ステップにおいて、複数種類の医療情報の各々が生成されて表示されるまでの間、処理対象の眼科画像が撮影された被検眼と同一の被検眼について、過去に医療情報生成ステップによって生成された医療情報を、対応する定型表示枠に表示させてもよい。この場合、ユーザは、医療情報が生成されて各々の定型表示枠に表示されるまでの間、同一の被検眼についての過去の医療情報を把握することができる。よって、ユーザは、過去の医療情報と新しい医療情報を適切に比較することができるので、より効率良く医療情報を把握することができる。
また、制御部は、医療情報生成ステップを実行するよりも前に、処理対象の眼科画像について予め生成されて保存されていた医療情報(以下、「事前生成情報」という)が存在する場合に、医療情報生成ステップの進捗状況に関わらず事前生成情報を表示部に表示させる事前生成情報表示ステップをさらに実行してもよい。この場合、ユーザは、医療情報生成ステップにおいて全ての医療情報の生成が完了する前であっても、表示部に表示された事前生成情報を把握することができる。よって、ユーザは、より効率良く被検眼の状態等を把握することができる。
例えば、眼科画像撮影装置1によって撮影・取得された眼科画像のデータそのもの(RAWデータ)から、表示部に表示させる眼科画像のデータ(例えば、眼科画像撮影装置がOCT装置である場合は、断層画像のデータ、およびEnface画像のデータ等の少なくともいずれか)が、眼科画像撮影装置1によって事前生成情報として生成されていてもよい。この場合、眼科画像処理装置の制御部は、医療情報生成ステップにおいて、事前生成情報として既に生成されている医療情報の生成処理を省略してもよいし、事前生成情報よりも品質または精度が高い同種の医療情報を改めて生成し、表示部に表示させてもよい。
制御部は、予め生成されていた事前生成情報の種類に対応する定型表示枠内に、事前生成情報を表示させてもよい。この場合、ユーザは、表示された事前生成情報の種類を、情報が表示された定型表示枠によって容易に把握することができる。
また、事前生成情報が、医療情報生成ステップにおいて生成される同種の医療情報よりも品質または精度が低い簡易的な医療情報である場合、医療情報生成ステップでは、事前生成情報よりも品質または精度が高い医療情報を生成してもよい。順次表示ステップでは、医療情報生成ステップにおいて新たに生成された高品質または高精度の医療情報を、定型表示枠内に表示されている事前生成情報に代えて表示させてもよい。この場合、ユーザは、高品質または高精度の医療情報が生成されるまでの間は事前生成情報を把握することができ、高品質または高精度の医療情報の生成が完了すると、新たに生成された高品質または高精度の医療情報を把握することができる。よって、より適切に医療情報が把握され易くなる。
制御部は、複数の疾患の少なくともいずれかを注目疾患として特定する注目疾患特定ステップをさらに実行してもよい。制御部は、定型枠表示ステップにおいて、複数種類の医療情報の各々が生成されて表示されるまでの間、注目疾患を有する他の被検者の医療情報を、対応する定型表示枠に表示させてもよい。この場合、ユーザは、医療情報が生成されて各々の定型表示枠に表示されるまでの間、注目疾患を有する他の被検者の医療情報を把握することができる。よって、ユーザは、新たに生成されて表示される医療情報を、他の被検者の医療情報と適切に比較することができるので、より効率良く医療情報を把握することができる。
注目疾患を特定するための具体的な方法は、適宜選択できる。例えば、ユーザが操作部を操作することで、注目疾患を指定する指示を眼科画像処理装置に入力してもよい。制御部は、ユーザによって指定された疾患を、注目疾患として特定してもよい。この場合、ユーザが指定した疾患を有する他の被検者の医療情報が、定型表示枠に表示される。また、制御部は、処理対象の被検眼に関する情報(例えば、被検眼のカルテに入力された疾患の情報、過去の被検眼の医療情報に基づいて判定された疾患の情報、または、処理対象の眼科画像とは異なる画像または検査結果に基づいて判定された疾患に関する情報)に基づいて、注目疾患を特定してもよい。また、制御部は、処理対象の眼科画像の少なくとも一部を処理することで、被検眼の注目疾患を特定してもよい。この場合、機械学習アルゴリズムによって訓練された数学モデルに眼科画像が入力されることで、被検眼の注目疾患(例えば、被検眼に存在する可能性が高い疾患等)が特定されてもよい。また、制御部は、処理対象の眼科画像の種類に応じて注目疾患を特定してもよい。
なお、被検眼の過去の医療情報(以下、「過去情報」という)、または、注目疾患を有する他の被検者の医療情報(以下、「類似症例情報」という)を、定型表示枠内に表示させる際の具体的な方法も、適宜選択できる。例えば、制御部は、眼科画像に基づいて生成された新たな医療情報が定型表示枠内に表示された以後は、ユーザによって入力された指示に応じて、過去情報または類似症例情報と、新たな医療情報を、定型表示枠内で切り換えて表示させてもよい。
画像取得ステップにおいて取得される眼科画像は、被検眼の組織の三次元断層画像であってもよい。制御部は、三次元断層画像の画像範囲のうち、表示部に表示させる二次元断層画像の位置の指定指示の入力を受け付ける位置指定受付ステップをさらに実行してもよい。制御部は、医療情報生成ステップの実行中に、位置指定受付ステップにおいて位置の指定指示の入力が受け付けられた場合に、指定された位置の二次元断層画像を、医療情報として三次元断層画像から生成する処理を、他の医療情報の生成処理よりも優先して実行してもよい。ユーザは、特定の位置の二次元断層画像を早急に確認したい場合に、表示部に表示させる二次元断層画像の位置を指定する事となる。従って、制御部は、指定された位置の二次元断層画像を抽出して生成する処理を、他の医療情報の生成処理よりも優先して実行することで、ユーザの作業効率が低下することを抑制しつつ、医療情報を適切にユーザに提供することができる。
なお、指定された位置の二次元断層画像を生成する処理の具体的な方法も、適宜選択できる。例えば、制御部は、指定された位置の二次元断層画像を三次元断層画像から抽出する処理に加えて、抽出した二次元断層画像の画質を向上させる処理を実行してもよい。この場合、制御部は、例えば、指定された位置で撮影された複数の二次元断層画像を加算することで、二次元断層画像の画質を向上させてもよい。また、制御部は、二次元断層画像の画質を向上させるように機械学習アルゴリズムによって訓練された数学モデルを利用して、抽出された二次元断層画像の画質を向上させてもよい。
制御部は、眼科画像を構成する複数の画素または画素列の全体から、所定の規則に従って複数の画素または画素列を部分的に抽出する画像抽出ステップをさらに実行してもよい。医療情報生成ステップでは、制御部は、複数の処理の少なくともいずれかを、画像抽出ステップにおいて抽出された眼科画像である抽出画像に対して実行することで医療情報を生成してもよい。順次表示ステップでは、制御部は、抽出画像に基づく医療情報の生成が完了した場合に、生成された医療情報を表示部に表示させてもよい。少なくともいずれかの処理を抽出画像に対して実行する場合には、全ての処理を眼科画像の全体に対して実行する場合に比べて、制御部が実行する処理の量が減少する。よって、ユーザの待機時間がさらに減少し、複数の医療情報がより効率良くユーザによって把握され易くなる。
なお、眼科画像を構成する複数の画素または画素列の全体から、所定の規則に従って複数の画素または画素列を部分的に抽出するための具体的な方法は、適宜選択できる。例えば、制御部は、1つの眼科画像を構成する複数の画素から、所定の規則に従って(例えば、N個おきに)画素の集合を抽出してもよい。この場合、抽出画像は、抽出前の画像の解像度を低下させた画像となるので、処理の量が適切に減少する。また、制御部は、1つの二次元画像を構成する複数の画素列(例えば、眼科画像を撮影するための光の光軸に沿う方向に延びる複数の画素列(OCT画像の場合、複数のAスキャン画像)等)の全体から、所定の規則に従って(例えば、N個の画素列おきに)画素列の集合を抽出してもよい。この場合、眼科画像を構成する複数の画素列の一部が均等に間引かれるので、処理の量が適切に減少する。また、三次元画像も、複数の画素および画素列の集合によって構成される。従って、制御部は、三次元画像を構成する複数の二次元画像の全体から、所定の規則に従って(例えば、二次元画像をN枚おきに)、一部の二次元画像の画素列を抽出してもよい。つまり、制御部は、二次元画像を単位として、三次元画像から一部の画素または画素列を抽出してもよい。この場合でも、抽出画像のデータ量は、抽出前の画像のデータ量よりも減少するので、処理の量が適切に減少する。
医療情報生成ステップでは、制御部は、抽出画像に対する処理が終了した以後に、画像抽出ステップにおいて抽出されずに残存した画像または画素列を含む残存画像の少なくとも一部に対して同一の処理を実行することで、抽出画像および残存画像に基づく医療情報を生成してもよい。順次表示ステップでは、抽出画像および残存画像に基づく医療情報の生成が完了した場合に、生成された医療情報を表示部に表示させてもよい。この場合、抽出画像に基づく医療情報が一旦表示された後に、抽出画像および残存画像に基づく医療情報が表示される。つまり、抽出画像に基づく医療情報が先に表示された後に、抽出画像および残存画像に基づく高品質の医療情報が表示される。よって、ユーザは、より効率良く医療情報を把握し易くなる。
医療情報生成ステップでは、制御部は、残存画像の全てに対する処理を完了させることで、抽出画像と残存画像を含む眼科画像の全てに対する処理を実行してもよい。この場合、1つの医療情報が、2段階の処理(抽出画像に対する処理と、残存画像の全てに対する処理)によって生成される。また、医療情報生成ステップでは、制御部は、抽出画像に対する処理が終了した以後に、残存画像の一部に対する処理を実行してもよい。この場合、制御部は、残存画像に対する処理を複数回に分けて実行することで、医療情報を多段階で表示させてもよい。
制御部は、眼科画像の精査が必要か否かを眼科画像毎に判断する精査判断ステップをさらに実行してもよい。制御部は、精査が必要と判断された眼科画像に対しては、画像抽出ステップを実行せずに医療情報生成ステップを実行してもよい。制御部は、精査が不要と判断された眼科画像に対しては、画像抽出ステップを実行し、抽出画像に対して複数の処理の少なくともいずれかを実行してもよい。この場合、精査が必要と判断された眼科画像については高品質の医療情報が生成され、精査が不要と判断された眼科画像については短時間で医療情報が生成される。従って、より効率良く処理が行われる。
眼科画像の精査が必要か否かを判断するための具体的な方法は、適宜選択できる。例えば、制御部は、取得された眼科画像の少なくとも一部を処理することで、眼科画像に写る組織に疾患が存在する確率を取得し、取得した確率が閾値を超えるか否かによって、眼科画像の精査が必要か否かを判断してもよい。この場合、制御部は、機械学習アルゴリズムによって訓練された数学モデル(例えば、疾患が存在する確率を出力するように訓練された数学モデル等)に眼科画像の少なくともいずれかを入力することで、疾患が存在する確率を取得してもよい。制御部は、眼科画像の少なくとも一部に画像処理を行うことで、疾患が存在する確率を取得してもよい。また、制御部は、処理対象の被検眼に関する情報(例えば、被検眼のカルテに入力された疾患の情報、過去の被検眼の医療情報に基づいて判定された疾患の情報、または、処理対象の眼科画像とは異なる画像または検査結果に基づいて判定された疾患に関する情報)が、疾患が存在する確率が高いことを示す場合に、眼科画像の精査が必要と判断してもよい。
制御部は、眼科画像の画像領域内の一部の領域を注目領域として抽出する注目領域抽出ステップをさらに実行してもよい。制御部は、医療情報生成ステップにおいて、複数の処理の少なくともいずれかを注目領域に対して実行することで医療情報を生成してもよい。順次表示ステップでは、注目領域に基づく医療情報の生成が完了する毎に、生成された医療情報が表示部に表示されてもよい。さらに、制御部は、注目領域に対する処理が終了した後に、眼科画像の画像領域内の注目領域以外の領域(残存領域)の少なくともいずれかに対して同一の処理を実行することで、注目領域および残存領域に基づく医療情報を生成し、表示部に表示させてもよい。この場合、注目領域についての医療情報が短時間で先に表示されるので、より効率良く医療情報が把握され易くなる。
眼科画像の画像領域内に注目領域を設定するための具体的な方法も、適宜選択できる。例えば、制御部は、取得された眼科画像の少なくとも一部を処理することで、眼科画像の画像領域のうち、疾患が存在する可能性が高い領域を、注目領域として設定してもよい。この場合、制御部は、機械学習アルゴリズムによって訓練された数学モデル(例えば、疾患が存在する可能性が高い領域を出力するように訓練された数学モデル等)に眼科画像の少なくともいずれかを入力することで、疾患が存在する可能性が高い領域を取得してもよい。また、制御部は、処理対象の被検眼に関する情報(例えば、被検眼のカルテに入力された疾患の情報、過去の被検眼の医療情報に基づいて判定された疾患の情報、または、処理対象の眼科画像とは異なる画像または検査結果に基づいて判定された疾患に関する情報)に基づいて、注目領域を設定してもよい。
制御部は、ユーザによって入力される指示に応じて、医療情報生成ステップにおいて眼科画像に対して実行される複数の処理の順番を設定する処理順設定ステップをさらに実行してもよい。この場合、眼科画像に対して実行される複数の処理が、ユーザによって指示された順に実行され、生成された医療情報が表示部に順次表示される。従って、ユーザが先に確認したい医療情報から順に表示部に表示されるので、より効率良く医療情報が把握され易くなる。
医療情報生成ステップでは、制御部は、複数種類の医療情報の生成処理のうち、他の医療情報の生成処理によって生成された医療情報を利用して実行される処理である他情報利用処理が存在する場合に、他情報利用処理よりも前に、他情報利用処理において利用される医療情報の生成処理を先に実行してもよい。この場合、他情報利用処理が実行される時点で、他情報利用処理において利用される医療情報が既に生成されている。従って、複数の医療情報がより適切に生成されて、表示部に表示される。
<実施形態>
以下、本開示に係る典型的な実施形態の1つについて説明する。本実施形態では、眼科画像撮影装置の1種であるOCT装置によって撮影された、被検眼Eの眼底組織の眼科画像(例えば、三次元断層画像、二次元断層画像、およびOCTアンジオ画像の少なくともいずれか)を処理する場合について例示する。しかし、処理対象とする眼科画像は、眼底組織以外の組織の画像であってもよい。例えば、処理対象とする眼科画像は、被検眼Eの眼底以外の組織(例えば前眼部等)の画像であってもよい。また、被検眼E以外の生体組織(例えば、皮膚、消化器、または脳等)の画像(つまり、眼科画像以外の画像)が処理対象とされてもよい。また、前述したように、画像を撮影する撮影装置はOCT装置に限定されない。
図1を参照して、本実施形態の眼科画像処理システム100の概略構成について説明する。本実施形態の眼科画像処理システム100は、眼科画像撮影装置1と眼科画像処理装置40を備える。眼科画像撮影装置1は、生体(本実施形態では被検眼の眼底)の画像(眼科画像)を撮影する。詳細には、本実施携帯の眼科画像撮影装置(OCT装置)1は、生体の組織上で測定光をスキャンしつつ、組織からの光を時間的に連続して受光することで、第1方向(スキャン方向)と、第1方向に交差する第2方向(測定光の光軸の方向である深さ方向)に広がる二次元画像を撮影する。また、眼科画像撮影装置1は、生体における二次元の測定領域内における複数のスキャンライン上の各々に測定光をスキャンさせて、複数の二次元断層画像を撮影することで、生体の三次元断層画像を取得することも可能である。さらに、眼科画像撮影装置1は、生体の同一位置に測定光を複数回スキャンさせることで、OCTアンジオデータを取得することもできる。OCTアンジオデータは、生体の同一位置に関して異なる時間に取得された少なくとも2つのOCT信号が演算処理されることで生成されるモーションコントラストデータである。眼科画像処理装置40は、眼科画像撮影装置1によって取得(撮影)された眼科画像のデータの処理を実行する。
本実施形態の眼科画像撮影装置1の構成について説明する。眼科画像撮影装置(OCT装置)1は、OCT部10と制御ユニット30を備える。OCT部10は、OCT光源11、カップラー(光分割器)12、測定光学系13、参照光学系20、および受光素子22を備える。
OCT光源11は、眼科画像のデータを取得するための光(OCT光)を出射する。カップラー12は、OCT光源11から出射されたOCT光を、測定光と参照光に分割する。また、本実施形態のカップラー12は、組織(本実施形態では被検眼Eの眼底)によって反射された測定光と、参照光学系20によって生成された参照光を合波して干渉させる。つまり、本実施形態のカップラー12は、OCT光を測定光と参照光に分岐する分岐光学素子と、測定光の反射光と参照光を合波する合波光学素子を兼ねる。なお、分岐光学素子および合波光学素子の少なくともいずれかの構成を変更することも可能である。例えば、カップラー以外の素子(例えば、サーキュレータ、ビームスプリッタ等)が使用されてもよい。
測定光学系13は、カップラー12によって分割された測定光を被検体に導くと共に、組織によって反射された測定光をカップラー12に戻す。測定光学系13は、走査部(スキャナ)14、照射光学系16、およびフォーカス調整部17を備える。走査部14は、駆動部15によって駆動されることで、測定光の光軸に交差する二次元方向に、スポット状の測定光をスキャン(走査)させることができる。本実施形態では、互いに異なる方向に測定光を偏向させることが可能な2つのガルバノミラーが、走査部14として用いられている。しかし、光を偏向させる別のデバイス(例えば、ポリゴンミラー、レゾナントスキャナ、音響光学素子等の少なくともいずれか)が走査部14として用いられてもよい。照射光学系16は、走査部14よりも光路の下流側(つまり被検体側)に設けられており、測定光を組織に照射する。フォーカス調整部17は、照射光学系16が備える光学部材(例えばレンズ)を測定光の光軸に沿う方向に移動させることで、測定光のフォーカスを調整する。
参照光学系20は、参照光を生成してカップラー12に戻す。本実施形態の参照光学系20は、カップラー12によって分割された参照光を反射光学系(例えば、参照ミラー)によって反射させることで、参照光を生成する。しかし、参照光学系20の構成も変更できる。例えば、参照光学系20は、カップラー12から入射した光を反射させずに透過させて、カップラー12に戻してもよい。参照光学系20は、測定光と参照光の光路長差を変更する光路長差調整部21を備える。本実施形態では、参照ミラーが光軸方向に移動されることで、光路長差が変更される。なお、光路長差を変更するための構成は、測定光学系13の光路中に設けられていてもよい。
受光素子22は、カップラー12によって生成された測定光と参照光の干渉光を受光することで、干渉信号を検出する。本実施形態では、フーリエドメインOCTの原理が採用されている。フーリエドメインOCTでは、干渉光のスペクトル強度(スペクトル干渉信号)が受光素子22によって検出され、スペクトル強度データに対するフーリエ変換によって複素OCT信号が取得される。フーリエドメインOCTの一例として、Spectral-domain-OCT(SD-OCT)、Swept-source-OCT(SS-OCT)等を採用できる。また、例えば、Time-domain-OCT(TD-OCT)等を採用することも可能である。
制御ユニット30は、眼科画像撮影装置1の各種制御を司る。制御ユニット30は、CPU31、RAM32、ROM33、および不揮発性メモリ(NVM)34を備える。CPU31は各種制御を行うコントローラである。RAM32は各種情報を一時的に記憶する。ROM33には、CPU31が実行するプログラム、および各種初期値等が記憶されている。NVM34は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。
制御ユニット30には、モニタ37および操作部38が接続されている。モニタ37は、各種画像を表示する表示部の一例である。操作部38は、ユーザが各種操作指示を眼科画像撮影装置1に入力するために、ユーザによって操作される。操作部38には、例えば、マウス、キーボード、タッチパネル、フットスイッチ等の種々のデバイスを用いることができる。なお、マイクに音が入力されることで各種操作指示が眼科画像撮影装置1に入力されてもよい。
眼科画像処理装置40の概略構成について説明する。本実施形態では、眼科画像処理装置40としてパーソナルコンピュータ(以下「PC」という)が用いられている。しかし、PC以外のデバイスが眼科画像処理装置として用いられてもよい。例えば、眼科画像撮影装置1自身が、後述する眼科画像処理を実行する眼科画像処理装置として機能してもよい。眼科画像処理装置40は、CPU41、RAM42、ROM43、およびNVM44を備える。CPU41は、各種制御を行うコントローラである。RAM42、ROM43、およびNVM44は、前述のように各種情報を記憶することができる。後述する眼科画像処理(図6参照)を実行するための眼科画像処理プログラムは、NVM44に記憶されていてもよい。また、眼科画像処理装置40には、モニタ47および操作部48が接続されている。モニタ47は、各種画像を表示する表示部の一例である。操作部48は、ユーザが各種操作指示を眼科画像処理装置40に入力するために、ユーザによって操作される。操作部48には、眼科画像撮影装置1の操作部38と同様に、マウス、キーボード、タッチパネル等の種々のデバイスを用いることができる。また、マイク46に音が入力されることで、各種操作指示が眼科画像処理装置40に入力されてもよい。
眼科画像処理装置40は、眼科画像撮影装置1から各種データ(例えば、眼科画像撮影装置1によって撮影された眼科画像のデータ等)を取得することができる。各種データは、例えば、有線通信、無線通信、および着脱可能な記憶装置(例えばUSBメモリ)等の少なくともいずれかによって取得されればよい。
図2および図3を参照して、本実施形態の眼科画像撮影装置1による眼科画像の撮影方法(眼科画像のデータの取得方法)、および、眼科画像に基づいて生成される医療情報の一例について説明する。図2に示すように、本実施形態の眼科画像撮影装置1は、OCT測定光の光軸に交差する方向に広がる二次元の測定領域50内に、スポットを走査させる直線状の走査ライン(スキャンライン)51を、等間隔で複数設定する。眼科画像撮影装置1は、1つの走査ライン51上に測定光のスポットを走査させることで、走査ライン51から組織の深さ方向へ広がる断面の二次元断層画像63(図3参照)を得るためのRAWデータ60を取得(撮影)する。RAWデータ60とは、眼科画像撮影装置1によって撮影・取得された眼科画像のデータそのもの(つまり、各種処理が行われる前の状態の生データ)である。また、眼科画像撮影装置1は、同一の走査ライン51上に測定光を複数回走査させることで、OCTアンジオ画像または加算平均画像を得るためのRAWデータ60を取得することも可能である。加算平均画像とは、複数の画像間の同一位置の画素の画素値を加算し、平均することで作成される画像である。加算平均処理が行われることで、画像のノイズが減少して画質が向上する。また、眼科画像撮影装置1は、複数の走査ライン51の各々に測定光のスポットを走査させることで、組織の三次元断層画像62(図3参照)を得るためのRAWデータ60を取得(撮影)することができる。
図3を参照して、複数種類の医療情報を生成するために眼科画像に対して実行される複数の処理の一例について説明する。本実施形態の眼科画像処理装置40は、眼科画像撮影装置1によって撮影された眼科画像(撮影された画像データそのものであるRAWデータ60、または、RAWデータ60に基づいて生成される画像等のデータ)に対して、互いに異なる複数の処理を実行することで、複数種類の医療情報を生成することができる。眼科画像処理装置40は、生成した複数の医療情報の少なくとも一部をモニタ47に表示させる。一例として、本実施形態の眼科画像処理装置40は、複数種類の医療情報として、Enface画像61、三次元断層画像62、二次元断層画像63、疾患情報64、特定層画像67、チャート68、厚みマップ69、および正常眼比較マップ70を生成することができる。また、医療情報を生成する過程で、セグメンテーション結果情報66が生成される。なお、以下説明する複数の医療情報生成処理の一部は、他の医療情報の生成処理によって生成された医療情報を利用して実行される他情報利用処理である。
Enface画像61とは、測定光の光軸に沿う方向(正面方向)から組織を見た場合の二次元正面画像である。Enface画像61のデータは、例えば、XY方向の各位置で深さ方向(Z方向)に輝度値が積算された積算画像データ、または、XY方向の各位置でのスペクトルデータの積算値等であってもよい。本実施形態では、RAWデータ60に対してEnface画像生成処理が行われることで、Enface画像61が医療情報として生成される。
三次元断層画像62は、被検眼の組織(本実施形態では眼底組織)の三次元の画像である。本実施形態では、複数の走査ライン51の各々に対応する複数の二次元断層画像が、画像に垂直に交差する方向に並べられることで、三次元断層画像62が構成される。本実施形態では、RAWデータ60に対して断層画像生成処理が行われることで、三次元断層画像62が医療情報として生成される。
二次元断層画像63は、被検眼の組織の二次元の断層画像(深さ方向に広がる二次元の画像)である。本実施形態の眼科画像処理装置40は、三次元断層画像62の画像範囲に含まれる任意の二次元断層画像63を抽出して生成し、モニタ47に表示させることができる。つまり、本実施形態では、モニタ47に表示させることが可能な二次元断層画像63は、走査ライン51(図2参照)に対応する二次元断層画像63に限定されない。二次元断層画像63の生成処理は、前述した断層画像生成処理によって生成された三次元断層画像を利用して実行される他情報利用処理である。従って、断層画像生成処理は、二次元断層画像63の生成処理よりも前に実行される。なお、本実施形態の眼科画像処理装置40は、ユーザによって指定された位置の二次元断層画像63をモニタ47に表示させることができる。ユーザによって位置が指定されていない場合、眼科画像処理装置40は、デフォルト位置(例えば、二次元の正面画像の上下方向中心を左右に通過する位置と、左右方向中心を上下に通過する位置)の二次元断層画像63を表示させる。
さらに、本実施形態の眼科画像処理装置40は、RAWデータ60に対する断層画像生成処理によって生成される二次元断層画像よりも高画質の二次元断層画像63を生成し、モニタ47に表示させることができる。つまり、本実施形態では、三次元断層画像62に対して二次元断層画像抽出処理が実行され、さらに高画質化処理が実行されることで、二次元断層画像63が医療情報として生成される。高画質化処理は、例えば、同一位置で撮影された複数の二次元断層画像に対する加算平均処理であってもよい。また、高画質化処理では、機械学習アルゴリズムによって訓練された数学モデルが利用されてもよい。この場合、数学モデルは、入力された二次元断層画像の画質を向上させた画像(例えば、ノイズを減少させた画像)を出力するように、予め訓練されている。高画質化処理は、前述した三次元断層画像62または二次元断層画像63を利用して実行される他情報利用処理である。従って、三次元断層画像62または二次元断層画像63の生成処理は、高画質化処理よりも前に実行される。
疾患情報64は、被検眼に存在する疾患に関する情報である。疾患情報64は、例えば、複数の疾患の少なくともいずれかが被検眼に存在する度合いを示す情報であってもよい。また、疾患情報64には、眼科画像に写る組織中の、疾患が存在する位置に関する情報が含まれていてもよい。本実施形態では、少なくともいずれかの眼科画像(例えば、三次元断層画像62、二次元断層画像63、およびEnface画像61等の少なくともいずれか)に対して疾患情報生成処理が行われることで、疾患情報64が医療情報として生成される。つまり、疾患情報生成処理は、三次元断層画像62、二次元断層画像63、およびEnface画像61等の少なくともいずれかを利用して実行される他情報利用処理である。従って、三次元断層画像62、二次元断層画像63、およびEnface画像61等の少なくともいずれかは、疾患情報生成処理よりも前に実行される。疾患情報生成処理では、機械学習アルゴリズムによって訓練された数学モデルが利用されてもよい。この場合、数学モデルは、眼科画像が入力されることで、眼科画像に写る組織についての疾患情報を出力するように、予め訓練されている。
セグメンテーション結果情報66は、眼科画像に写る組織に含まれる複数の層、および複数の層間の境界の少なくともいずれか(以下、纏めて「層・境界」という)の検出結果を示す情報である。本実施形態のセグメンテーション結果情報66では、眼底の層・境界のうち、少なくとも、ILM(内境界膜:internal limiting membrane)、および、RPE(網膜色素上皮:retinal pigment epithelium)とBM(ブルッフ膜:Bruch's membrane)の間の境界(RPE/BM)の検出結果が含まれる。本実施形態では、三次元断層画像62(三次元断層画像62を構成する複数の二次元断層画像でもよい)に対してセグメンテーション処理が行われることで、セグメンテーション結果情報66が生成される。セグメンテーション処理では、機械学習アルゴリズムによって訓練された数学モデルが利用されてもよい。この場合、数学モデルは、眼科画像が入力されることで、眼科画像に写る少なくともいずれかの層・境界の検出結果を出力するように、予め訓練されている。また、CPU41は、眼科画像に対して公知の画像処理を行うことで、セグメンテーション結果情報66を生成してもよい。セグメンテーション処理は、三次元断層画像62(三次元断層画像62を構成する複数の二次元断層画像でもよい)を利用して実行される他情報利用処理である。従って、三次元断層画像62の生成処理は、セグメンテーション処理よりも前に実行される。
特定層画像67は、眼科画像に写る組織に含まれる特定の層の画像(本実施形態では三次元画像)である。本実施形態の特定層画像生成処理では、三次元断層画像62から、セグメンテーション結果情報66に基づいて特定の層を抽出する特定層画像生成処理が行われることで、特定層画像67が医療情報として生成される。つまり、特定層画像生成処理は、セグメンテーション処理によって生成されるセグメンテーション結果66を利用して実行される他情報利用処理である。従って、セグメンテーション処理は、特定層画像生成処理よりも前に実行される。
チャート68は、眼科画像に写る組織に設定された複数の領域の各々における、特定の層・境界の状態を示す。本実施形態では、特定の層・境界(例えば、ILMからRPE/BMまでの層・境界)の厚みの平均値を領域毎に示す厚みチャートと、特定の層の体積の平均値を領域毎に示す体積チャートが、チャート68として用いられる。本実施形態のチャート生成処理では、三次元断層画像62から、セグメンテーション結果情報66に基づいて特定の層を抽出し、抽出した層の領域毎の厚みまたは体積の平均値を算出することで、
チャート68が医療情報として生成される。つまり、チャート生成処理は、セグメンテーション処理によって生成されるセグメンテーション結果66を利用して実行される他情報利用処理である。従って、セグメンテーション処理は、チャート生成処理よりも前に実行される。
厚みマップ69は、眼科画像に写る組織を正面(測定光の光軸に沿う方向)から見た場合の、特定の層・境界の厚みの二次元分布を示す。本実施形態の厚みマップ生成処理では、三次元断層画像62から、セグメンテーション結果情報66に基づいて特定の層を抽出し、抽出した層の厚みの二次元分布を取得することで、厚みマップ69が医療情報として生成される。つまり、厚みマップ生成処理は、三次元断層画像62およびセグメンテーション結果66を利用して実行される他情報利用処理である。従って、三次元断層画像62およびセグメンテーション結果66は、厚みマップ生成処理よりも前に生成される。
正常眼比較マップ70は、正常眼の厚みマップ(例えば、疾患が無い正常な複数の被検眼の厚みマップの平均データ等)と、検査対象の被検眼の厚みマップ69の比較結果を示す。本実施形態では、正常眼の厚みマップと検査対象の厚みマップ69の差分のパーセンタイルの二次元分布を示すパーセンタイルマップと、両者の偏差の二次元分布を示すデビエーションマップが、正常眼比較マップ70として用いられる。本実施形態では、正常眼の厚みマップと検査対象の厚みマップ69に対して正常眼比較マップ生成処理が行われることで、正常眼比較マップ70が医療情報として生成される。つまり、正常眼比較マップ生成処理は、セグメンテーション処理によって生成されるセグメンテーション結果66を利用して実行される他情報利用処理である。従って、セグメンテーション処理は、正常眼比較マップ生成処理よりも前に実行される。
なお、本実施形態では、全ての医療情報の生成処理が眼科画像処理装置40によって実行される場合を例示する。ただし、眼科画像処理装置40によって複数の医療情報の生成処理が実行されるよりも前に、複数の医療情報の一部が他のデバイス(例えば、眼科画像撮影装置1等)によって生成・保存されていてもよい。例えば、図3で例示した複数の医療情報のうち、Enface画像61、三次元断層画像62、および二次元断層画像63の少なくともいずれかが、眼科画像撮影装置1によって事前に生成されていてもよい。この詳細は後述する。
図4および図5を参照して、本実施形態の眼科画像処理装置40による医療情報の表示方法の概要について説明する。図4は、処理対象の被検眼についての複数の医療情報の一部が生成中である場合の、モニタ47の表示画面の一例である。図4に示すように、本実施形態の眼科画像処理装置40は、複数の医療情報の各々が生成されている間、医療情報の種類毎に定められた複数の定型表示枠をモニタ47に表示させる。図4および図5に示すように、眼科画像処理装置40は、医療情報の生成が完了する毎に、モニタ47に表示されている複数の定型表示枠のうち、生成された医療情報の種類に対応する定型表示枠に、各々の医療情報を順次表示させる。
図4および図5に示す例では、定型表示枠63VFには、正面画像(本実施形態では厚みマップ)に示す垂直線Vの位置の二次元断層画像63(つまり、垂直線Vの位置から組織の深さ方向に延びる二次元断層画像63)が表示される。定型表示枠63HFには、正面画像(本実施形態では厚みマップ)に示す水平線Hの位置の二次元断層画像63(つまり、水平線Hの位置から組織の深さ方向に延びる二次元断層画像63)が表示される。なお、二次元断層画像63の位置(本実施形態では、垂直線Vおよび水平線H)が表示される正面画像は、厚みマップ以外の正面画像(例えば、Enface画像61、または、眼科画像撮影装置1とは異なる撮影装置によって撮影された正面画像等)であってもよい。
定型表示枠67AFには、ILM(内境界膜:internal limiting membrane)の特定層画像67が表示される。定型表示枠67BFには、IS/OS(視細胞内節外節接合部:junction between photoreceptor inner and outer segment)の特定層画像67が表示される。定型表示枠67CFには、RPE(網膜色素上皮:retinal pigment epithelium)およびBM(ブルッフ膜:Bruch's membrane)の特定層画像67が表示される。
定型表示枠68AFには、特定の層・境界(本実施形態ではILMからRPE/BMまでの層・境界)の厚みの平均値を領域毎に示す厚みチャート68が表示される。定型表示枠68BFには、特定の層・境界(本実施形態ではILMからRPE/BMまでの層・境界)の体積の平均値を領域毎に示す体積チャート68が表示される。
定型表示枠69Fには、眼科画像に写る組織を正面から見た場合の特定の層(本実施形態ではILMからRPE/BMまでの層・境界)の厚みの二次元分布を示す厚みマップ69が表示される。前述したように、本実施形態では、モニタ47に表示されている二次元断層画像63の位置を示す垂直線Vおよび水平線Hが、厚みマップ69上で示される。
定型表示枠70AFには、正常眼の厚みマップと検査対象の厚みマップ69の差分のパーセンタイルの二次元分布を示す正常眼比較マップ(パーセンタイルマップ)70が表示される。定型表示枠70BFには、正常眼の厚みマップと検査対象の厚みマップ69の偏差の二次元分布を示す正常眼比較マップ(デビエーションマップ)70が表示される。
なお、図4および図5に示した医療情報の表示方法は一例に過ぎない。例えば、図5で表示されている複数の医療情報の少なくとも一部は省略されていてもよい。また、図5に示す複数の医療情報とは異なる医療情報(例えば、図3に示すEnface画像61および三次元断層画像62等の少なくともいずれか)が、モニタ47に表示されてもよい。
図6から図12を参照して、本実施形態における眼科画像処理について説明する。なお、本実施形態では、PCである眼科画像処理装置40が眼科画像撮影装置1から眼科画像のデータ(以下、単に「眼科画像」という場合もある)を取得し、取得した眼科画像のデータを処理することで複数種類の医療情報を生成する。しかし、前述したように、他のデバイスが眼科画像処理装置として機能してもよい。例えば、眼科画像撮影装置1自身が眼科画像処理を実行してもよい。また、複数の制御部(例えば、眼科画像撮影装置1のCPU31と、眼科画像処理装置40のCPU41)が協働して眼科画像処理を実行してもよい。眼科画像処理装置40のCPU41は、NVM44に記憶された眼科画像処理プログラムに従って、図6に示す眼科画像処理を実行する。
CPU41は、眼科画像に対する処理の待機中に、定型表示枠事前設定処理(S1)、処理順設定処理(S2)、および処理方法設定処理(S3)を実行する。眼科画像に対する処理が開始されるまで(S5:NO)、S1~S3の処理は繰り返される。本実施形態では、S1~S3で設定された内容は、設定テーブル(図7参照)に記憶される。
定型表示枠事前設定処理(S1)では、CPU41は、各々の医療情報が生成されている間の定型表示枠における表示内容を、ユーザによって入力される指示(例えば、操作部48を介して入力される指示等)に応じて設定する。図7に示すように、本実施形態の定型表示枠事前設定処理(S1)では、処理中表示、説明表示、過去情報表示、および類似症例表示の各々を実行するか否かが、ユーザによって入力される指示に応じて設定される。
処理中表示を実行する場合、CPU41は、図4に示すように、複数種類の医療情報の各々が生成されて表示されるまでの間、定型表示枠に対応する種類の医療情報の生成処理中であることを示す処理中表示73を、各々の定型表示枠に付加する。この場合、ユーザは、定型表示枠に対応する(つまり、定型表示枠にその後に表示される)医療情報の生成処理中であることを容易に把握することができる。一例として、本実施形態では、医療情報の生成処理中であることを示す進捗インジケータが、処理中表示73として定型表示枠に付加される。なお、処理中表示73は、定型表示枠の内部に付加されてもよいし、定型表示枠の外部に隣接して付加されてもよい。処理中表示73は、複数の定型表示枠の一部にのみ付加されてもよい。
説明表示を実行する場合、CPU41は、複数種類の医療情報の各々が生成されて表示されるまでの間、各々の定型表示枠に対応する医療情報を説明する説明表示を、各々の定型表示枠に付加する。この場合、ユーザは、定型表示枠に対応する医療情報に関する説明を、実際に医療情報が表示されるよりも前に説明表示によって把握することができる。説明表示の具体的な内容は適宜選択できる。例えば、医療情報の種類(「ILMからRPE/BMまでの厚みの、正常眼データベースとの間の差分の分布を示します」等)、および、医療情報の見方(「赤みが濃い程差分が大きいことを示します」等)等の少なくともいずれかが、説明表示として用いられてもよい。説明表示は、複数の定型表示枠の一部にのみ付加されてもよい。
過去情報表示を実行する場合、CPU41は、複数種類の医療情報の各々が生成されて表示されるまでの間、処理対象の眼科画像が撮影された被検眼と同一の被検眼について過去に生成された医療情報を、対応する定型表示枠に表示させる。この場合、ユーザは、医療情報が生成されて各々の定型表示枠に表示されるまでの間、同一の被検眼についての過去の医療情報を把握することができる。一例として、本実施形態では、CPU41は、患者の氏名またはID等に基づいて処理対象の被検眼を特定し、特定した被検眼についての過去の医療情報を記憶装置(例えばNVM44等)から取得して、各々の定型表示枠に表示させる。過去の医療情報は、複数の定型表示枠の全てに表示されてもよいし、複数の定型表示枠の一部にのみ表示されてもよい。また、処理対象の被検眼についての過去の医療情報が存在しない場合には、過去の医療情報の表示処理は省略される。
類似症例表示を実行する場合、CPU41は、複数の疾患のいずれかを注目症例として特定する。CPU41は、複数種類の医療情報の各々が生成されて表示されるまでの間、特定した注目症例を有する他の被検眼の医療情報を、対応する定型表示枠に類似症例として表示させる。この場合、ユーザは、処理対象の被検眼の医療情報が表示されるまでの間、類似症例を把握することができる。類似症例のデータは、例えばNVM44等に予め記憶されている。なお、注目症例を特定する方法は適宜選択できる。例えば、CPU41は、ユーザによって指定された疾患を、注目疾患として特定してもよい。また、CPU41は、処理対象の被検眼に関する情報(例えば、被検眼のカルテに入力された疾患の情報、過去の被検眼の医療情報に基づいて判定された疾患の情報、または、処理対象の眼科画像とは異なる画像または検査結果に基づいて判定された疾患に関する情報)に基づいて、注目疾患を特定してもよい。また、CPU41は、処理対象の眼科画像の少なくとも一部を処理することで、被検眼の注目疾患を特定してもよい。この場合、機械学習アルゴリズムによって訓練された数学モデルに眼科画像が入力されることで、被検眼の注目疾患が特定されてもよい。また、CPU41は、処理対象の眼科画像の種類に基づいて注目疾患を特定してもよい。この場合、例えば、処理対象の眼科画像が乳頭部の画像であれば、注目疾患が緑内障に特定されてもよい。また、処理対象の眼科画像が、眼底を通常よりも広角で撮影された広角画像であれば、注目疾患が、糖尿病網膜症、網膜剥離、および裂孔等の少なくともいずれかに特定されてもよい。
なお、CPU41は、処理対象の眼科画像に基づいて生成された新たな医療情報が定型表示枠内に表示された以後は、過去の医療情報または類似症例の情報と、新たな医療情報を、ユーザによって入力される指示に応じて、定型表示枠内で切り換えて表示させる。
処理順設定処理(S2)では、CPU41は、ユーザによって入力される指示に応じて、眼科画像に対して実行される複数の処理(図3参照)の順番を設定する。従って、ユーザが先に確認したい医療情報から順にモニタ47に表示されるので、より効率良く医療情報が把握され易くなる。なお、前述したように、複数の医療情報生成処理の一部は、他の医療情報の生成処理によって生成された医療情報を利用して実行される他情報利用処理である。本実施形態では、他情報利用処理が実行されるよりも前に、他情報利用処理において利用される医療情報の生成処理が先に実行される。例えば、特定層画像生成処理、チャート生成処理、厚みマップ生成処理、および正常眼比較マップ生成処理を実行する際には、セグメンテーション結果情報66(図3参照)が既に生成されていることが前提となる。従って、CPU41は、特定層画像生成処理、チャート生成処理、厚みマップ生成処理、および正常眼比較マップ生成処理のいずれかの開始前に、セグメンテーション処理を完了させる。
処理方法設定処理(S3)では、眼科画像の具体的な処理方法として、複数段階処理、注目領域優先処理、および精査不要時簡易処理のいずれを実行するかが設定される。各々の処理の詳細については、図8~図12を参照して後述する。
図6の説明に戻る。眼科画像に対する処理を開始させるトリガが入力されると(S5)、CPU41は、眼科画像撮影装置1によって撮影された処理対象の被検眼の眼科画像を取得する(S6)。CPU41は、複数の医療情報の各々に対応する複数の定型表示枠(図4および図5参照)を、モニタ47に表示させる(S7)。CPU41は、定型表示枠事前設定処理(S1)で設定された内容に従って、定型表示枠の表示内容(本実施形態では、前述した処理中表示、説明表示、過去情報表示、および類似症例表示の少なくともいずれか)を処理する(S8)。次いで、CPU41は、処理方法設定処理(S3)で設定された内容に従って、複数段階処理(S11)、注目領域優先処理(S14)、および精査不要時簡易処理(S15)のいずれかを実行する。
図8および図9を参照して、複数段階処理(図6のS11)について説明する。複数段階処理では、眼科画像を構成する複数の画素または画素列の全体から、所定の規則に従って、複数の画素または画素列が部分的に抽出される。抽出された部分画像に対して、医療情報を生成するための複数の処理の少なくともいずれかが実行され、生成された医療情報がモニタ47に順次表示される。その後、眼科画像のうち抽出されずに残存した残存画像の少なくとも一部に対して、同一の処理が実行されることで、抽出画像および残存画像に基づく医療情報が生成されて、モニタ47に順次表示される。つまり、複数の医療情報の少なくともいずれかが、複数の段階を経て徐々に生成されて表示される。
図8に示すように、複数段階処理では、設定された処理順に従って医療情報を生成・表示させる処理(S20~S29)と、指定された位置の二次元断層画像を生成・表示させるための処理(S30~S32)が、並行して実行される。先に、S20~S29の処理について説明する。
まず、CPU41は、カウンタAの値を初期値である「1」とする(S20)。図9に示すように、カウンタAは、眼科画像を構成する複数の画素または画素列のうち、抽出して処理する画素または画素列のグループを特定するために用いられる。図9に示す例では、眼科画像(図9では二次元断層画像)を構成する複数の画素列(図9では、組織の深さ方向に延びる複数のAスキャン画像)の各々が、「A1、A2、A3、A1、A2、A3・・・」の順に規則的に分類されている。つまり、Kを任意の自然数(0を含む)とした場合に、「3*K」番目の画素列が「A=1」番目のグループに分類され、「3*K+1」番目の画素列が「A=2」番目のグループに分類され、「3*K+2」番目の画素列が「A=3」番目のグループに分類されている。つまり、本実施形態では、各々のグループに属する複数の画素または画素列が同一の間隔となり、且つ、各々のグループの画素または画素列が他のグループの画素または画素列と重複しないように、所定の規則に従って画素または画素列が複数のグループに分類される。その結果、特定のグループに属する画素または画素列が抽出されることで、眼科画像の全体から複数の画素または画素列が均等に等間隔で抽出される。なお、複数の画素列の代わりに、複数の画素を所定の規則に従って分類してもよい。また、眼科画像が複数の二次元画像を含む場合、CPU41は、複数の画素および画素列によって構成された二次元画像を抽出単位として、三次元画像内の各々の二次元画像を分類し、後の処理で抽出してもよい。
CPU41は、処理対象の三次元の眼科画像を構成する複数の画素または画素列の全体から、A番目(初期値は「1」)のグループの画素または画素列を部分的に抽出する(S21)。図9に示す例では、カウンタAの値が「1」である場合、「A1」の複数の画素列が抽出される。カウンタAの値が「2」である場合、「A2」の複数の画素列が抽出される。カウンタAの値が「3」である場合、「A3」の複数の画素列が抽出される。
次いで、CPU41は、カウンタNの値を初期値である「1」とする(S22)。カウンタNは、眼科画像に対して実行される複数の処理(図2参照)の順番を特定するために用いられる。前述したように、複数の処理の順番は、処理順設定処理(図6のS2参照)で予め設定されている。
CPU41は、S21で抽出されたA番目の抽出画像に対するN番目の処理を実行することで、医療情報を生成する(S24)。CPU41は、生成された医療情報を、対応する定型表示枠内に順次表示させる(S25)。A番目の抽出画像に対する全ての処理が完了していなければ(S26:NO)、カウンタNの値に「1」が加算されて(S27)、処理はS24へ戻り、抽出画像に対する次の順番の処理が実行される(S24,S25)。
A番目の抽出画像に対する全ての処理が完了すると(S26:YES)、CPU41は、全てのグループの抽出画像に対する処理が完了したか否かを判断する(S28)。完了していなければ(S28:NO)、カウンタAの値に「1」が加算されて(S29)、処理はS21へ戻り、次のグループの抽出画像に対する処理が実行される(S21~S28)。
なお、カウンタAの値が2以上である場合、S21では、眼科画像のうち未だ抽出されずに残存した画素または画素列を含む残存画像の中から、A番目のグループの画素または画素列が抽出される。S24では、残存画像の中から今回抽出された画像に対して処理が行われる。さらに、S24では、残存画像の中から今回のS21の処理で抽出された画像と、過去のS21の処理で抽出された抽出画像に基づいて、医療情報が生成される。つまり、カウンタAの値が加算されていく毎に、過去に生成された医療情報と、今回生成された医療情報が合算された高品質の医療情報が、段階的にモニタ47に表示される。全てのグループの抽出画像に対する処理が完了すると、処理はS32へ移行する。
指定された位置の二次元断層画像を生成・表示させるための処理(S30~S32)について説明する。CPU41は、三次元断層画像62(図3参照)の画像範囲のうち、モニタ47に表示させる二次元断層画像63の位置が指定された否かを判断する(S30)。本実施形態では、ユーザは、操作部48を操作し、正面画像上の垂直線Vおよび水平線H(図4および図5参照)の少なくとも一方の位置を所望の位置に移動させることで、モニタ47に表示させる二次元断層画像63の位置を指定する。二次元断層画像63の位置が指定されていなければ(S30:NO)、CPU41は、処理を終了するか否かを判断する(S32)。処理を終了しない場合(S32:NO)、S30~S32の処理が繰り返される。二次元断層画像63の位置が指定されると(S30:YES)、CPU41は、指定された位置の二次元断層画像63を三次元断層画像62から生成してモニタ47に表示させる処理を、他の医療情報の生成処理(S20~S29)よりも優先して実行する(S31)。その結果、ユーザは、特定の位置の二次元断層画像63を早急に確認することができる。
なお、図8に示す例では、複数の医療情報の全てが複数の段階を経て生成される。しかし、複数の医療情報の一部のみが複数の段階を経て生成される一方で、他の医療情報は1段階で生成されてもよい。また、図8に示す例では、複数の医療情報の各々の生成処理が、並行して複数の段階で実行される。しかし、1つの医療情報の複数段階による生成処理が完了した後に、他の医療情報の複数段階による生成処理が実行されてもよい。
図10および図11を参照して、注目領域優先処理(図6のS14)について説明する。注目領域優先処理では、眼科画像の画像領域内の一部の領域が、注目領域として抽出される。抽出された注目領域の画像(抽出画像)に対して、医療情報を生成するための複数の処理の少なくともいずれかが実行され、生成された医療情報がモニタ47に順次表示される。その後、眼科画像のうち、注目領域として抽出されなかった残存領域の画像(残存画像)の少なくとも一部に対して、同一の処理が実行されることで、抽出画像および残存画像に基づく医療情報が生成されて、モニタ47に順次表示される。つまり、注目領域についての医療情報が、他の領域よりも優先して生成される。
図10に示すように、注目領域優先処理では、設定された処理順に従って医療情報を生成・表示させる処理(S40~S51)と、指定された位置の二次元断層画像を生成・表示させるための処理(S53~S55)が、並行して実行される。先に、S40~S51の処理について説明する。
まず、CPU41は、処理対象の三次元の画像領域内に注目領域を設定する(S40)。例えば、CPU41は、処理対象の眼科画像の少なくとも一部を処理することで、眼科画像の画像領域のうち、疾患が存在する可能性が高い領域を、注目領域として設定してもよい。この場合、CPU41は、機械学習アルゴリズムによって訓練された数学モデル(例えば、疾患が存在する可能性が高い領域を出力するように訓練された数学モデル等)に眼科画像の少なくともいずれかを入力することで、疾患が存在する可能性が高い領域を取得してもよい。また、CPU41は、処理対象の被検眼に関する情報(例えば、被検眼のカルテに入力された疾患の情報、過去の被検眼の医療情報に基づいて判定された疾患の情報、または、処理対象の眼科画像とは異なる画像または検査結果に基づいて判定された疾患に関する情報)に基づいて、注目領域を設定してもよい。また、CPU41は、ユーザによって指定された眼科画像内の領域を、注目領域として設定してもよい。図11に示す例では、眼科画像(図9では二次元断層画像)を構成する複数の画素列(図9では、組織の深さ方向に延びる複数のAスキャン画像)のうち、疾患が存在する可能性が高い領域の画素列が、注目領域として設定されている。
CPU41は、処理対象の眼科画像から、注目領域内の画像を抽出する(S41)。以下では、眼科画像の全体のうち、S41で抽出された注目領域内の画像を抽出画像とし、S41で抽出されなかった残存領域の画像を残存画像とする。CPU41は、カウンタNの値を初期値である「1」とする(S42)。前述したように、カウンタNは、眼科画像に対して実行される複数の処理(図2参照)の順番を特定するために用いられる。
CPU41は、S41で抽出された抽出画像に対するN番目の処理を実行することで、抽出画像に基づく医療情報を生成する(S43)。CPU41は、生成された医療情報を、対応する定型表示枠内に順次表示させる(S44)。抽出画像に対する全ての処理が完了していなければ(S45:NO)、カウンタNの値に「1」が加算されて(S46)、処理はS43へ戻り、抽出画像に対する次の順番の処理が実行される(S43,S44)。
抽出画像に対する全ての処理が完了すると(S26:YES)、CPU41は、カウンタNの値を初期値である「1」に戻す(S47)。CPU41は、残存画像に対するN番目の処理を実行することで、注目領域内の抽出画像、および、残存領域内の残存画像の両方に基づく医療情報を生成する(S48)。CPU41は、生成された医療情報を、対応する定型表示枠内に順次表示させる(S49)。残存画像に対する全ての処理が完了していなければ(S50:NO)、カウンタNの値に「1」が加算されて(S51)、処理はS48へ戻り、残存画像に対する次の順番の処理が実行される(S48,S49)。残存画像に対する全ての処理が完了すると(S50:YES)、処理はS55へ移行する。
指定された位置の二次元断層画像を生成・表示させるための処理(S53~S55)について説明する。CPU41は、三次元断層画像62の画像範囲のうち、モニタ47に表示させる二次元断層画像63の位置が指定された否かを判断する(S53)。二次元断層画像63の位置が指定されていなければ(S53:NO)、CPU41は、処理を終了するか否かを判断する(S55)。処理を終了しない場合(S55:NO)、S53~S55の処理が繰り返される。二次元断層画像63の位置が指定されると(S53:YES)、CPU41は、指定された位置の二次元断層画像63を三次元断層画像62から生成してモニタ47に表示させる処理を、他の医療情報の生成処理(S40~S51)よりも優先して実行する(S54)。
なお、図10に示す例では、注目領域内の医療情報を優先して生成・表示させる処理が、複数の処理の全てにおいて適用される。しかし、優先処理は、複数の処理の一部にのみ適用されてもよい。また、図10に示す例では、抽出画像に対する全ての処理が完了した後に、残存画像に対する全ての処理が実行される。しかし、1つの医療情報の段階的な生成処理が完了した後に、他の医療情報の段階的な生成処理が実行されてもよい。
図12を参照して、精査不要時簡易処理(図6のS15)について説明する。精査不要時簡易処理では、CPU41は、眼科画像の精査が必要か否かを眼科画像毎に判断する。CPU41は、精査が必要と判断された眼科画像に対しては、眼科画像の全体に対して医療情報の生成処理を実行し、精査が不要と判断された眼科画像に対しては、眼科画像から部分的に抽出された抽出画像に対して医療情報の生成処理を実行する。その結果、精査が必要と判断された眼科画像については高品質の医療情報が生成され、精査が不要と判断された眼科画像については短時間で医療情報が生成される。
図12に示すように、精査不要時簡易処理では、設定された処理順に従って医療情報を生成・表示させる処理(S60~S66)と、指定された位置の二次元断層画像を生成・表示させるための処理(S68~S70)が、並行して実行される。先に、S60~S66の処理について説明する。
まず、CPU41は、処理対象の眼科画像の精査が必要か否かを判断する(S60)。例えば、CPU41は、取得された眼科画像の少なくとも一部を処理することで、眼科画像に写る組織に疾患が存在する確率を取得し、取得した確率が閾値を超えるか否かによって、眼科画像の精査が必要か否かを判断してもよい。この場合、CPU41は、機械学習アルゴリズムによって訓練された数学モデル(例えば、疾患が存在する確率を出力するように訓練された数学モデル等)に眼科画像の少なくともいずれかを入力することで、疾患が存在する確率を取得してもよい。CPU41は、眼科画像の少なくとも一部に画像処理を行うことで、疾患が存在する確率を取得してもよい。また、CPU41は、処理対象の被検眼に関する情報(例えば、被検眼のカルテに入力された疾患の情報、過去の被検眼の医療情報に基づいて判定された疾患の情報、または、処理対象の眼科画像とは異なる画像または検査結果に基づいて判定された疾患に関する情報)が、疾患が存在する確率が高いことを示す場合に、眼科画像の精査が必要と判断してもよい。
精査が不要と判断された場合(S60:NO)、CPU41は、眼科画像を構成する複数の画素または画素列の全体から、所定の規則に従って複数の画素または画素列を部分的に抽出する(S61)。例えば、図8のS21、および図9に示した方法と同様の方法で、眼科画像の全体から複数の画素または画素列が均等に等間隔で抽出されてもよい。精査が必要と判断された場合には(S60:YES)、S61の抽出処理は行われずに、処理はそのままS62へ移行する。
CPU41は、前述したカウンタNの値を「1」とし(S62)、眼科画像(S61で抽出された抽出画像、または、抽出処理が行われてない状態の画像全体)に対するN番目の処理を実行することで、医療情報を生成する(S63)。CPU41は、生成された医療情報を、対応する定型表示枠内に順次表示させる(S64)。眼科画像に対する全ての処理が完了していなければ(S65:NO)、カウンタNの値に「1」が加算されて(S66)、処理はS63へ戻り、眼科画像に対する次の順番の処理が実行される(S63,S64)。全ての処理が完了すると(S65:YES)、処理はS70へ移行する。
指定された位置の二次元断層画像を生成・表示させるための処理(S68~S70)について説明する。CPU41は、三次元断層画像62の画像範囲のうち、モニタ47に表示させる二次元断層画像63の位置が指定された否かを判断する(S68)。二次元断層画像63の位置が指定されていなければ(S68:NO)、CPU41は、処理を終了するか否かを判断する(S70)。処理を終了しない場合(S70:NO)、S68~S70の処理が繰り返される。二次元断層画像63の位置が指定されると(S68:YES)、CPU41は、指定された位置の二次元断層画像63を三次元断層画像62から生成してモニタ47に表示させる処理を、他の医療情報の生成処理(S60~S66)よりも優先して実行する(S69)。
なお、図12に示す例では、精査が不要と判断された場合の簡易処理(抽出画像に対する処理)が、複数の処理の全てにおいて適用される。しかし、簡易処理は、複数の処理の一部にのみ適用されてもよい。
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。上記実施形態で例示した複数の処理のうちの一部を省略することも可能である。例えば、定型表示枠内の各種表示(処理中表示、説明表示、過去情報表示、および類似症例表示)を省略することも可能である。
また、上記実施形態では、全ての医療情報の生成処理が眼科画像処理装置40によって実行される。しかし、眼科画像処理装置40による複数の医療情報の生成処理が実行されるよりも前に、処理対象の眼科画像について予め生成されて保存されていた医療情報(以下、「事前生成情報」という)が存在していてもよい。この場合、CPU41は、処理対象の眼科画像に基づく複数の医療情報の生成処理の進捗状況に関わらず(例えば、複数の医療情報の生成処理を開始する際に)、事前生成情報をモニタ47に表示させてもよい。この場合、ユーザは、全ての医療情報の生成処理が完了する前であっても、モニタ47に表示された事前生成情報を把握することができる。また、CPU41は、事前生成情報の種類に対応する定型表示枠内に、事前生成情報を表示させてもよい。この場合、ユーザは、表示された事前生成情報の種類を、情報が表示された定型表示枠によって容易に把握することができる。
例えば、眼科画像撮影装置1は、眼科画像の撮影結果が適切であるか否かをユーザに確認させるために、モニタ37に表示させる眼科画像のデータ(例えば、Enface画像、三次元断層画像、および二次元断層画像等の少なくともいずれか)を、撮影の直後にRAWデータに基づいて生成する場合がある。この場合、眼科画像処理装置40のCPU41は、撮影結果の適否を確認させるために眼科画像撮影装置1によって生成された眼科画像の少なくともいずれかを、事前生成情報としてモニタ47に表示させてもよい。
事前生成情報が、眼科画像処理装置40によって生成される同種の医療情報よりも品質または精度が低い簡易的な医療情報である場合もある。この場合、眼科画像処理装置40のCPU41は、事前生成情報よりも品質または精度が高い同種の医療情報を生成してもよい。CPU41は、新たに生成した高品質または高精度の医療情報を、定型表示枠内に表示されている事前生成情報に代えて表示させてもよい。この場合、ユーザは、高品質または高精度の医療情報が生成されるまでの間は事前生成情報を把握することができ、高品質または高精度の医療情報の生成が完了すると、新たに生成された高品質または高精度の医療情報を把握することができる。よって、より適切に医療情報が把握され易くなる。
なお、図6のS6で眼科画像を取得する処理は、「画像取得ステップ」の一例である。図8のS24、S31、図10のS43、S48、S54、図12のS63、S69で医療情報を生成する処理は、「医療情報生成ステップ」の一例である。図8のS25、S31、図10のS44、S49、S54、図12のS64、S69で医療情報をモニタ47に順次表示させる処理は、「順次表示ステップ」の一例である。図6のS7,S8で定型表示枠をモニタ47に表示させる処理は、「定型枠表示ステップ」の一例である。図6のS8で注目疾患を特定する処理は、「注目疾患特定ステップ」の一例である。図8のS30、図10のS53、および図12のS68で二次元断層画像の位置の指定指示の入力を受け付ける処理は、「位置指定受付ステップ」の一例である。図8のS21、および図12のS61で画素または画素列を部分的に抽出する処理は、「画像抽出ステップ」の一例である。図12のS60で眼科画像の精査が必要か否かを判断する処理は、「精査判断ステップ」の一例である。図10のS40,S41で注目領域内の画像を抽出する処理は、「注目領域抽出ステップ」の一例である。図6のS2で複数の処理の順番を設定する処理は、「処理順設定ステップ」の一例である。
1 眼科画像撮影装置
40 眼科画像処理装置
41 CPU
44 NVM
47 モニタ
60 RAWデータ
61 Enface画像
62 三次元断層画像
63 二次元断層画像
64 疾患情報
67 特定層画像
68 チャート
69 厚みマップ
70 正常眼比較マップ

Claims (10)

  1. 被検眼の組織の画像である眼科画像のデータを処理する眼科画像処理装置であって、
    前記眼科画像処理装置の制御部は、
    眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、
    互いに異なる複数の処理を前記眼科画像に対して実行することで、表示部に最終的に並べて表示される複数種類の医療情報を生成する医療情報生成ステップと、
    前記医療情報生成ステップにおいて前記複数種類の医療情報の各々の生成が完了する毎に、生成された前記医療情報を前記表示部に順次表示させる順次表示ステップと、
    を実行することを特徴とする眼科画像処理装置。
  2. 請求項1に記載の眼科画像処理装置であって、
    前記制御部は、
    前記医療情報の種類毎に定められた複数の定型表示枠を前記表示部に表示させる定型枠表示ステップをさらに実行し、
    前記順次表示ステップでは、前記医療情報の生成が完了する毎に、前記表示部に表示されている前記複数の定型表示枠のうち、生成された前記医療情報の種類に対応する前記定型表示枠内に、各々の前記医療情報を順次表示させることを特徴とする眼科画像処理装置。
  3. 請求項2に記載の眼科画像処理装置であって、
    前記制御部は、前記定型枠表示ステップにおいて、前記複数種類の医療情報の各々が生成されて表示されるまでの間、前記定型表示枠に対応する種類の前記医療情報の生成処理中であることを示す処理中表示、および、前記定型表示枠に対応する前記医療情報を説明する説明表示の少なくともいずれかを、各々の前記定型表示枠に付加することを特徴とする眼科画像処理装置。
  4. 請求項2に記載の眼科画像処理装置であって、
    前記制御部は、前記定型枠表示ステップにおいて、前記複数種類の医療情報の各々が生成されて表示されるまでの間、処理対象の前記眼科画像が撮影された被検眼と同一の被検眼について、過去に前記医療情報生成ステップによって生成された前記医療情報を、対応する前記定型表示枠に表示させることを特徴とする眼科画像処理装置。
  5. 請求項2に記載の眼科画像処理装置であって、
    前記制御部は、
    複数の疾患の少なくともいずれかを、注目疾患として特定する注目疾患特定ステップをさらに実行し、
    前記定型枠表示ステップにおいて、前記複数種類の医療情報の各々が生成されて表示されるまでの間、前記注目疾患を有する他の被検者の前記医療情報を、対応する前記定型表示枠に表示させることを特徴とする眼科画像処理装置。
  6. 請求項1に記載の眼科画像処理装置であって、
    前記制御部は、
    前記眼科画像である三次元断層画像の画像範囲のうち、前記表示部に表示させる二次元断層画像の位置の指定指示の入力を受け付ける位置指定受付ステップをさらに実行し、
    前記医療情報生成ステップの実行中に、前記位置指定受付ステップにおいて位置の指定指示の入力が受け付けられた場合に、指定された位置の二次元断層画像を、前記医療情報として前記三次元断層画像から生成する処理を、他の前記医療情報の生成処理よりも優先して実行することを特徴とする眼科画像処理装置。
  7. 請求項1に記載の眼科画像処理装置であって、
    前記眼科画像を構成する複数の画素または画素列の全体から、所定の規則に従って複数の画素または画素列を部分的に抽出する画像抽出ステップをさらに実行し、
    前記医療情報生成ステップでは、前記複数の処理の少なくともいずれかを、前記画像抽出ステップにおいて抽出された前記眼科画像である抽出画像に対して実行することで前記医療情報を生成し、
    前記順次表示ステップでは、前記抽出画像に基づく前記医療情報の生成が完了した場合に、生成された前記医療情報を前記表示部に表示させることを特徴とする眼科画像処理装置。
  8. 請求項7に記載の眼科画像処理装置であって、
    前記医療情報生成ステップでは、前記抽出画像に対する処理が終了した以後に、前記画像抽出ステップにおいて抽出されずに残存した画素または画素列を含む残存画像の少なくとも一部に対して同一の前記処理を実行することで、前記抽出画像および前記残存画像に基づく前記医療情報を生成し、
    前記順次表示ステップでは、前記抽出画像および前記残存画像に基づく前記医療情報の生成が完了した場合に、生成された前記医療情報を前記表示部に表示させることを特徴とする眼科画像処理装置。
  9. 請求項1に記載の眼科画像処理装置であって、
    前記医療情報生成ステップでは、前記制御部は、複数種類の医療情報の生成処理のうち、他の医療情報の生成処理によって生成された医療情報を利用して実行される処理である他情報利用処理が存在する場合に、前記他情報利用処理よりも前に、前記他情報利用処理において利用される医療情報の生成処理を先に実行することを特徴とする眼科画像処理装置。
  10. 被検眼の組織の画像である眼科画像のデータを処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
    前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
    眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、
    互いに異なる複数の処理を前記眼科画像に対して実行することで、表示部に最終的に並べて表示される複数種類の医療情報を生成する医療情報生成ステップと、
    前記医療情報生成ステップにおいて前記複数種類の医療情報の各々の生成が完了する毎に、生成された前記医療情報を前記表示部に順次表示させる順次表示ステップと、
    を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。
JP2022108377A 2022-07-05 2022-07-05 眼科画像処理装置および眼科画像処理プログラム Pending JP2024007133A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022108377A JP2024007133A (ja) 2022-07-05 2022-07-05 眼科画像処理装置および眼科画像処理プログラム
US18/345,275 US20240013397A1 (en) 2022-07-05 2023-06-30 Ophthalmologic image processing system, ophthalmologic image processing device, and storage medium for storing ophthalmologic image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022108377A JP2024007133A (ja) 2022-07-05 2022-07-05 眼科画像処理装置および眼科画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2024007133A true JP2024007133A (ja) 2024-01-18

Family

ID=89431693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022108377A Pending JP2024007133A (ja) 2022-07-05 2022-07-05 眼科画像処理装置および眼科画像処理プログラム

Country Status (2)

Country Link
US (1) US20240013397A1 (ja)
JP (1) JP2024007133A (ja)

Also Published As

Publication number Publication date
US20240013397A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
KR101736728B1 (ko) 정보처리장치, 정보처리방법, 및 컴퓨터 판독 가능한 기억매체
EP2749205A1 (en) Ophthalmological apparatus, alignment method, and program
JP7441783B2 (ja) 画像処理方法、プログラム、眼科装置、及び脈絡膜血管画像生成方法
US9918625B2 (en) Image processing apparatus and control method of image processing apparatus
US10165939B2 (en) Ophthalmologic apparatus and ophthalmologic apparatus control method
CN110226915B (zh) Oct数据处理装置及方法、存储介质
JP6906898B2 (ja) 眼科撮影装置
JP7005382B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20220386864A1 (en) Oct apparatus and non-transitory computer-readable storage medium
JP2024007133A (ja) 眼科画像処理装置および眼科画像処理プログラム
JP2022033290A (ja) 情報処理装置、情報処理方法およびプログラム
JP6636188B2 (ja) 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム
CN111954485A (zh) 图像处理方法、程序、图像处理装置及眼科系统
JP6732093B2 (ja) 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム
JP6465930B2 (ja) 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム
JP7013134B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6594499B2 (ja) 画像処理装置及び画像処理装置の作動方法
JP6701250B2 (ja) 眼科撮影装置及びその制御方法、並びにプログラム
JP2023149647A (ja) 眼科画像処理装置および眼科画像処理プログラム
JP2019054981A (ja) 検査装置、該検査装置の制御方法、及びプログラム
JP2020048910A (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP2019054982A (ja) 検査装置、該検査装置の制御方法、及びプログラム
JPWO2015098912A1 (ja) 断層像撮影装置