JP7196908B2 - 眼科画像処理装置および眼科画像処理プログラム - Google Patents

眼科画像処理装置および眼科画像処理プログラム Download PDF

Info

Publication number
JP7196908B2
JP7196908B2 JP2020515457A JP2020515457A JP7196908B2 JP 7196908 B2 JP7196908 B2 JP 7196908B2 JP 2020515457 A JP2020515457 A JP 2020515457A JP 2020515457 A JP2020515457 A JP 2020515457A JP 7196908 B2 JP7196908 B2 JP 7196908B2
Authority
JP
Japan
Prior art keywords
image
reference information
ophthalmologic
ophthalmic
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020515457A
Other languages
English (en)
Other versions
JPWO2019207800A1 (ja
Inventor
友洋 宮城
幸弘 樋口
徹哉 加納
壮平 宮崎
涼介 柴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidek Co Ltd
Original Assignee
Nidek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidek Co Ltd filed Critical Nidek Co Ltd
Publication of JPWO2019207800A1 publication Critical patent/JPWO2019207800A1/ja
Application granted granted Critical
Publication of JP7196908B2 publication Critical patent/JP7196908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Description

本開示は、被検眼の画像である眼科画像を処理する眼科画像処理装置、および、眼科画像処理装置において実行される眼科画像処理プログラムに関する。
従来、眼科撮影装置（例えば、光干渉断層計（ＯＣＴ）、眼底カメラ、レーザ走査型検眼装置（ＳＬＯ）等）によって得られた眼科画像に基づいて、被検眼に対する種々の診断が行われている。
特開２０１５－１０４５８１号公報
本開示における技術の１つの側面について説明する。本願発明の発明者は、複数の疾患の各々に対する診断結果を、眼科画像に基づいて眼科画像処理装置に自動的に出力させる試みを行っている。ここで、疾患の進行状況等は被検眼に応じて異なるので、各々の疾患に対する自動診断結果を全て正確に出力することは困難である。従って、複数の疾患の各々に対する自動診断結果が複数出力されると、ユーザ（例えば医師等）は、被検眼の詳細な診断を行うべきか否か等の判断を、複数の自動診断結果に基づいて容易に行うことができない場合がある。
他の側面について説明する。機械学習アルゴリズムによって訓練された数学モデルに眼科画像を入力することで、被検眼の自動診断結果を取得する場合、訓練用データセット（入力用訓練データと出力用訓練データ）によって訓練された数学モデルが用いられる。ここで、適切な眼科画像が数学モデルに入力されなければ、自動診断の精度が向上し難いので、有益な情報が生成され難い。
本開示は、上記複数の側面の少なくともいずれかを解決し、眼科画像に基づく有益な情報を生成することが可能な眼科画像処理装置および眼科画像処理プログラムを提供することである。
本開示における典型的な実施形態が提供する眼科画像処理装置の第１態様は、被検眼の眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、眼科画像撮影部によって撮影された前記眼科画像を取得し、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼における複数の疾患の各々に対する自動診断結果を取得し、前記数学モデルによって自動診断可能な前記複数の異なる疾患において、その少なくともいずれかが前記被検眼に存在する度合いを段階的に示す参考情報を、前記眼科画像に対する前記複数の自動診断結果に基づいて生成する。
本開示における典型的な実施形態が提供する眼科画像処理装置の第２態様は、被検眼の眼科画像を処理する眼科画像処理装置であって、眼科画像撮影部によって撮影された前記眼科画像を取得する画像取得手段と、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼における少なくともいずれかの疾患に対する自動診断結果を取得する自動診断結果取得手段と、前記画像取得手段によって取得された前記眼科画像の範囲が、前記数学モデルに入力する眼科画像の対象範囲よりも広い場合に、前記画像取得手段によって取得された前記眼科画像から前記対象範囲の画像を、前記数学モデルに入力する前記眼科画像として抽出する画像抽出手段と、を備える。
本開示における典型的な実施形態が提供する眼科画像処理プログラムの第１態様は、被検眼の眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影部によって撮影された前記眼科画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼における複数の疾患の各々に対する自動診断結果を取得する自動診断結果取得ステップと、前記数学モデルによって自動診断可能な前記複数の異なる疾患において、その少なくともいずれかが前記被検眼に存在する度合いを段階的に示す参考情報を、前記眼科画像に対する前記複数の自動診断結果に基づいて生成する参考情報生成ステップと、を前記眼科画像処理装置に実行させる。
本開示における典型的な実施形態が提供する眼科画像処理プログラムの第２態様は、被検眼の眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影部によって撮影された前記眼科画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼における少なくともいずれかの疾患に対する自動診断結果を取得する自動診断結果取得ステップと、前記画像取得ステップにおいて取得された前記眼科画像の範囲が、前記数学モデルに入力する眼科画像の対象範囲よりも広い場合に、前記画像取得ステップにおいて取得された前記眼科画像から前記対象範囲の画像を、前記数学モデルに入力する前記眼科画像として抽出する画像抽出ステップと、を前記眼科画像処理装置に実行させる。
本開示に係る眼科画像処理装置および眼科画像処理プログラムによると、眼科画像に基づく有益な情報が生成される。
眼科画像処理システム１００の概略構成を示すブロック図である。 被検眼の眼底の正面画像３０と、二次元断層画像の撮影位置３５Ｈ，３５Ｖを示す図である。 参考情報生成処理のフローチャートである。 本実施形態における自動診断結果の一例を示す図である。 対応参考情報設定画面３８の一例を示す図である。 最新参考情報が患者データに対応付けられている場合の、患者データの表示画面４０Ａの一例を示す図である。 高段階参考情報が患者データに対応付けられている場合の、患者データの表示画面４０Ｂの一例を示す図である。 二次元断層画像の表示画面５０の一例を示す図である。 患者データの一覧全体を表示している一覧表示画面６０の一例を示す図である。 選択された段階の参考情報に対応する患者データの一覧を表示している一覧表示画面６０の一例を示す図である。 患者データ出力処理のフローチャートである。
＜概要＞
本開示で例示する眼科画像処理装置の制御部は、眼科画像撮影部によって撮影された眼科画像を取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに眼科画像を入力することで、被検眼における複数の疾患の各々に対する自動診断結果を取得する。制御部は、複数の疾患の少なくともいずれかが被検眼に存在する度合いを段階的に示す情報である参考情報を、眼科画像に対する複数の自動診断結果に基づいて生成する。
この場合、複数の自動診断結果の各々をユーザが自ら把握しなくても、被検眼の詳細な診断を行うべきか否か等の判断が、参考情報に基づいて容易に行われる。よって、本開示における眼科画像処理装置によると、眼科画像に基づく有益な情報が適切に生成される。
なお、生成する参考情報の段階数は５段階以下が望ましく、３段階以下がさらに望ましい。段階数を５段階以下または３段階以下とすることで、ユーザは、詳細な診断を行うべきか否か等の判断を、より容易に行うことができる。ただし、段階数を６段階以上とすることも可能である。例えば、制御部は、０％～１００％の１０１段階で参考情報を生成してもよい。
機械学習アルゴリズムによって訓練された数学モデル（以下、単に「数学モデル」という場合もある）は、それぞれの疾患の存在確率を自動診断結果として出力するように構成されていてもよい。制御部は、それぞれの疾患の存在確率に基づいて参考情報を生成してもよい。この場合、複数の疾患の少なくともいずれかが存在する度合いが、より正確に参考情報に反映される。
数学モデルに入力される眼科画像（つまり、自動診断に用いられる眼科画像）は、ＯＣＴ装置によって取得された眼科画像であってもよい。ＯＣＴ装置によって取得された眼科画像（例えば、二次元断層画像、三次元断層画像等）は、組織の表面の情報に加えて深部の情報も含む。従って、ＯＣＴ装置によって取得された眼科画像が自動診断に用いられることで、自動診断の精度がさらに向上する。ただし、ＯＣＴ装置以外の装置（例えば、眼底カメラ、レーザ走査型検眼装置（ＳＬＯ）等の少なくともいずれか）によって撮影された眼科画像が自動診断に用いられてもよい。
制御部は、参考情報の複数の段階の少なくともいずれかを選択するユーザからの指示を入力してもよい。制御部は、複数の被検者または被検眼の、眼科画像を含む患者データから、入力された指示によって選択された段階の参考情報に対応する患者データを抽出してもよい。この場合、生成された参考情報の段階に応じて、複数の患者データが適切に管理される。
制御部は、参考情報に応じて抽出した患者データの一覧を、表示部に表示させてもよい。この場合、ユーザは、表示部に表示される一覧を見ることで、複数の患者データを適切に管理することができる。
なお、複数の患者データの一覧の表示方法を変更することも可能である。例えば、制御部は、参考情報に応じて（つまり、参考情報の段階毎に）複数の患者データを並び替えて、並び替えた一覧を表示部に表示させてもよい。この場合、ユーザは、疾患が存在する度合いに応じて複数の患者データを管理することができる。
制御部は、眼科画像を含む患者データのうち、特定の段階の参考情報に対応する患者データを、ネットワークを介して他のデバイスに送信してもよい。この場合、生成された参考情報の段階に応じて、患者データが適切に処理される。例えば、本開示に係る眼科画像処理装置が健康診断施設に設置され、詳細な診断を行う医師が他の施設でデバイスを使用している場合がある。この場合、眼科画像処理装置は、特定の段階（例えば、疾患が存在する度合いが最も高い段階等）の参考情報に対応する患者データを、ネットワークを介して、医師が使用するデバイスに送信してもよい。その結果、詳細な診断を行う必要性が高い患者データが、医師が使用するデバイスに適切に送信される。
また、制御部は、他のデバイスに患者データを送信する方法とは異なる方法で、患者データを処理してもよい。例えば、制御部は、１つまたは複数の患者データのうち、特定の段階の参考情報に対応する患者データのレポートを作成してもよい。レポートには、例えば、患者の各種データ（患者名等）、眼科画像、眼科画像の解析結果、参考情報等の少なくともいずれかが含まれていてもよい。レポートは、特定の形式のデータ（例えばＰＤＦデータ等）で作成されてもよいし、紙に印刷されることで作成されてもよい。この場合、生成された参考情報の段階に応じて、レポートが適切に作成される。
なお、「特定の段階」は、例えば、ユーザによって眼科画像処理装置に入力される指示（操作指示等）に応じて設定されてもよいし、予め設定されていてもよい。また、制御部は、特定の段階の参考情報が生成される毎に、対応する患者データを他のデバイスに送信してもよい。また、制御部は、複数の患者データから、特定の段階の参考情報に対応する患者データを抽出し、抽出した１つまたは複数の患者データを他のデバイスに送信してもよい。なお、「特定の段階」が１つの段階に限定されず、複数の段階であってもよいことは言うまでもない。また、制御部は、特定の段階の参考情報に対応する患者データの詳細（例えば既往歴等）を、表示部に表示させてもよい。
また、制御部は、同一の被検者の左眼および右眼の患者データのうちの一方の参考情報のみが特定の段階である場合に、他方の眼の患者データの出力（例えば、他のデバイスへの送信、レポート作成、表示部への表示等の少なくともいずれか）も行ってもよい。例えば緑内障等は、一方の眼で発症すると、他方の眼でも発症しやすい傾向がある。従って、一方の眼に関する参考情報が特定の段階である場合に、他方の眼（例えば、疾患が存在する度合いが低い方の眼）の患者データも合わせて出力することで、ユーザは、一方の眼の診断結果も踏まえて他方の眼の診断を行うことができる。よって、より適切に診断が行われる。
また、制御部は、同一の被検者の左眼および右眼の患者データのうちの一方の参考情報のみが特定の段階である場合に、特定の段階の参考情報に対応する眼の患者データのみを出力するか、両眼の患者データを出力するかを、疾患の種類に応じて決定してもよい。また、制御部は、両眼の患者データを出力するか否かを、ユーザによって入力された指示に応じて決定してもよい。
また、制御部は、同一の被検者の左眼および右眼の患者データのうちの一方の参考情報のみが特定の段階である場合に、特定の段階の参考情報に対応する眼とは異なる眼について、ユーザに注意（例えば経過観察等）を促す通知を行ってもよい。この通知は、疾患の種類に応じて行われてもよいし、ユーザによる設定に応じて通知を行うか否かが決定されてもよい。
また、制御部は、特定の段階の参考情報に対応するデータ（患者データ、および各々の眼科画像のデータ等の少なくともいずれか）と、特定の段階以外の参考情報に対応するデータの、記憶装置における保存方法を変更してもよい。例えば、制御部は、データが特定の段階以外の参考情報に対応する場合、記憶装置にデータを保存する処理を省略してもよいし、データを記憶装置から削除してもよいし、記憶装置に記憶されているデータのデータ量の削減処理（例えば、データ量が小さいレポートファイルへの変換処理等）を実行してもよい。この場合、記憶装置の容量が圧迫されることが抑制されると共に、データが適切に管理される。
各々の被検者または被検眼毎に、１つまたは複数の眼科画像のデータを含む患者データが記憶手段に記憶されていてもよい。制御部は、１つの患者データに複数の眼科画像が含まれている場合に、複数の眼科画像の各々に対して参考情報を生成してもよい。制御部は、１つの患者データに複数の眼科画像が含まれている場合に、撮影されたタイミングが最も新しい眼科画像に対して生成された参考情報（以下、「最新参考情報」という）と、疾患が存在する度合いが最も高い段階の参考情報（以下、「高段階参考情報」という）のうちのいずれかを、各々の患者データに対応付けてもよい。この場合、状況に応じた適切な参考情報が、各々の患者データに対応付けられる。例えば、最新参考情報が患者データに対応付けられる場合には、最新の被検眼の状態に基づいて患者データが適切に管理される。また、高段階参考情報が患者データに対応付けられる場合には、過去の眼科画像における疾患の存在の度合いも考慮されたうえで患者データが管理される。
なお、制御部は、ユーザによって入力される選択指示に応じて、最新参考情報および高段階参考情報のいずれを患者データに対応付けるかを設定してもよい。この場合、ユーザは、自らの診断の方針等に応じて、適切な参考情報を患者データに対応付けることができる。また、最新参考情報および高段階参考情報のいずれを患者データに対応付けるかが、各種条件に応じて自動的に設定されてもよい。
また、制御部は、複数の患者データから、入力された指示によって選択された段階の参考情報に対応する患者データを抽出する際に、それぞれの患者データに対応付けられた最新参考情報または高段階参考情報を参照して患者データを抽出してもよい。また、制御部は、患者データに対応付けられた最新参考情報または高段階参考情報が特定の段階である場合に、患者データの他のデバイスへの送信、またはレポートの作成等を行ってもよい。
制御部は、患者データを表示部に表示させる際に、患者データに含まれる複数の眼科画像の各々に対応する参考情報を、表示部に表示させてもよい。この場合、ユーザは、それぞれの眼科画像に対して生成された参考情報を適切に把握することができる。例えば、異なる時間に撮影された複数の眼科画像が１つの患者データに含まれている場合には、ユーザは、それぞれの参考情報を考慮したうえで、被検眼の経過観察を適切に行うことができる。
制御部は、表示部に参考情報を表示させるか否かを選択するためのユーザからの指示を入力してもよい。制御部は、入力した指示に応じて、表示部への参考情報の表示および非表示を切り替えてもよい。例えば、ユーザは、参考情報を被検者に見せたくない場合もある。また、経験豊富なユーザは、経験の浅いユーザを教育するために、他のユーザに参考情報を見せたくない場合もある。また、ユーザは、参考情報を参照せずに診断等を行いたい場合もある。従って、ユーザは、参考情報の表示と非表示を自らの意思で切り替えることで、より適切に診断等の各種業務を行うことができる。
制御部は、生成された参考情報が示す疾患の存在の度合いと、実際の診断によって判断された疾患の有無が異なる眼科画像を抽出してもよい。また、制御部は、数学モデルによって得られた自動診断結果と、実際に行われた診断結果とが異なる眼科画像を抽出してもよい。抽出された眼科画像は、眼科画像処理装置のメーカーに提供（例えば送信等）されてもよい。この場合、メーカーは、受信した眼科画像を訓練データとして数学モデルに訓練を行わせることで、以後の自動診断結果または参考情報の精度を向上させることができる。
制御部は、ユーザによって入力される指示に応じて、眼科画像に対して生成した参考情報を編集してもよい。この場合、ユーザは、生成された参考情報の内容が、実際の診断結果と異なる場合があっても、患者データを適切に管理することができる。なお、制御部は、編集した参考情報を表示部に表示させる場合に、編集後の参考情報であることを、強調表示またはコメント等によって示してもよい。また、参考情報の編集指示を入力できるユーザを、設定によって制限できてもよい。また、制御部は、ユーザによって入力される指示に応じて、数学モデルによって得られる自動診断結果を編集してもよい。
制御部は、取得された眼科画像（つまり、眼科画像撮影部によって撮影された眼科画像）の範囲が、数学モデルに入力する眼科画像の対象範囲よりも広い場合に、取得された眼科画像から対象範囲の画像を抽出し、抽出した眼科画像を数学モデルに入力することで自動診断結果を取得してもよい。この場合、眼科画像撮影部によって撮影された眼科画像の範囲に関わらず、高精度の自動診断結果が適切に取得される。
なお、取得された眼科画像から対象範囲を抽出するための具体的な方法は、適宜選択できる。例えば、ＯＣＴ装置によって撮影される二次元断層画像（Ｂスキャン画像）の所定の範囲が対象範囲であり、実際にＯＣＴ装置によって撮影された二次元断層画像の範囲が対象範囲よりも広い場合がある。この場合、制御部は、撮影された二次元断層画像から所定の範囲を抽出してもよい。また、ＯＣＴ装置によって撮影される二次元断層画像の所定の範囲が対象範囲であり、実際にＯＣＴ装置によって撮影された画像が、複数の異なる走査ラインの各々に測定光を走査させることで撮影されたマップ画像（三次元ＯＣＴデータ）である場合もある。この場合、制御部は、撮影されたマップ画像から、自動診断の対象となる二次元断層画像を抽出してもよい。また、対象範囲が、ＯＣＴ装置によって撮影される所定の範囲のマップ画像であり、実際にＯＣＴ装置によって撮影されたマップ画像が所定の範囲よりも広い場合もある。この場合、制御部は、撮影された広範囲のマップ画像から対象範囲を抽出してもよい。また、対象範囲が被検眼の組織（例えば眼底）の正面画像の所定の範囲であり、実際に撮影された正面画像の範囲が対象範囲よりも広い場合もある。この場合、制御部は、撮影された正面画像から対象範囲を抽出してもよい。
また、制御部は、取得された眼科画像から自動的に対象範囲を抽出してもよい。この場合、制御部は、取得された眼科画像に対して画像処理を行い、画像処理の結果に基づいて対象範囲を抽出してもよい。例えば、制御部は、取得された眼科画像に対して画像処理を行い、基準位置（例えば眼底の黄斑の位置等）を検出し、基準位置に基づいて対象範囲を抽出してもよい。また、眼科画像がＯＣＴ装置によって撮影されている場合、制御部は、被検眼の組織において測定光が照射された位置を特定し、特定した位置に基づいて対象範囲を抽出してもよい。また、制御部は、ユーザによって入力された指示に基づいて対象範囲を抽出してもよい。つまり、ユーザが手動で対象範囲を指定してもよい。
なお、制御部は、取得された眼科画像から対象範囲の画像を抽出し、抽出した眼科画像を数学モデルに入力する処理を実行する場合には、本開示で例示する他の複数の処理の少なくともいずれか（例えば、参考情報を生成する処理等）を省略してもよい。また、対象範囲の画像を抽出して自動診断結果を取得する場合、自動診断結果は、被検眼における複数の疾患の各々に対する自動診断結果であってもよいし、被検眼にいけるいずれかの疾患に対する自動診断結果であってもよい。
＜実施形態＞
（システム構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。一例として、本実施形態では、パーソナルコンピュータ（以下、「ＰＣ」という）１が、眼科画像撮影装置１１から被検眼の眼科画像のデータ（以下、単に「眼科画像」という）を取得し、取得した眼科画像に対して各種処理を行う。つまり、本実施形態では、ＰＣ１が眼科画像処理装置として機能する。しかし、眼科画像処理装置として機能するデバイスは、ＰＣ１に限定されない。例えば、眼科画像撮影装置１１が眼科画像処理装置として機能してもよい。タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣ１のＣＰＵ３と、眼科画像撮影装置１１のＣＰＵ１３）が協働して各種画像処理を行ってもよい。
図１に示すように、本実施形態で例示する眼科画像処理システム１００は、各拠点（例えば、健康診断施設、病院等）において使用される複数のＰＣを備える。図１では、健康診断施設である拠点Ａで使用されるＰＣ１と、病院である拠点Ｂで使用されるＰＣ２１を例示している。
ＰＣ１は、拠点Ａのユーザ（例えば、検査技師および医師等）によって使用される。ＰＣ１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、後述する眼科画像処理を実行するための眼科画像処理プログラムが記憶されている。また、通信Ｉ／Ｆ５は、ネットワーク９（例えばインターネット）を介して、ＰＣ１を他のデバイス（例えばＰＣ２１）と接続する。
ＰＣ１は、操作部７およびモニタ８に接続されている。操作部７は、ユーザが各種指示をＰＣ１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。モニタ８は、各種画像を表示することが可能な表示部の一例である。
ＰＣ１は、眼科画像撮影装置１１との間で各種データ（例えば眼科画像のデータ）のやり取りを行うことができる。ＰＣ１が眼科画像撮影装置１１との間でデータのやり取りを行う方法は、適宜選択できる。例えば、ＰＣ１は、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１との間でデータのやり取りを行ってもよい。
眼科画像撮影装置１１には、被検眼の画像を撮影する種々の装置を用いることができる。一例として、本実施形態で使用される眼科画像撮影装置１１は、被検眼の組織（本実施形態では眼底）の断層画像等を撮影することが可能なＯＣＴ装置である。従って、後述する自動診断が、組織の深部の情報を含むＯＣＴ画像に基づいて実行されるので、自動診断の精度が向上する。しかし、ＯＣＴ装置以外の装置（例えば、眼底カメラ、レーザ走査型検眼装置（ＳＬＯ）等の少なくともいずれか）が用いられてもよい。また、被検眼の眼底以外の組織（例えば前眼部等）の画像が、眼科画像撮影装置１１によって撮影されてもよい。
眼科画像撮影装置１１は、各種制御処理を行う制御ユニット１２と、眼科画像撮影部１６を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３と、プログラムおよびデータ等を記憶することが可能な記憶装置１４を備える。
眼科画像撮影部１６は、被検眼の眼科画像を撮影するために必要な各種構成を備える。例えば、眼科画像撮影装置１１としてＯＣＴ装置が用いられる場合、眼科画像撮影部１６には、ＯＣＴ光源、ＯＣＴ光を走査するための走査部、ＯＣＴ光を被検眼に照射するための光学系、被検眼の組織によって反射された光を受光する受光素子等が含まれる。また、本実施形態の眼科画像撮影部１６は、被検眼の組織（本実施形態では眼底）の正面画像を撮影する正面観察光学系を備える。正面画像とは、ＯＣＴの測定光に光軸に沿う方向（正面方向）から組織を見た場合の二次元の画像である。正面観察光学系の構成には、例えば、ＳＬＯ、眼底カメラ等の少なくともいずれかの構成を採用できる。なお、眼科画像撮影装置１１は、組織の三次元ＯＣＴデータを取得し、正面方向から組織を見た場合の画像（所謂「Ｅｎｆａｃｅ画像」）を三次元ＯＣＴデータに基づいて取得してもよい。この場合、正面観察光学系は省略されてもよい。
ＰＣ２１は、拠点Ｂのユーザによって使用される。ＰＣ２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。通信Ｉ／Ｆ２５は、ネットワーク９を介して、ＰＣ２１を他のデバイス（例えばＰＣ１）と接続する。また、ＰＣ２１には、操作部２７およびモニタ２８が接続されている。
（眼科画像の撮影）
図２を参照して、本実施形態の自動診断（詳細は後述する）において用いられる眼科画像の撮影方法の一例について説明する。図２は、被検眼の眼底の正面画像３０と、自動診断において用いられる２つの二次元断層画像の撮影位置（つまり、ＯＣＴ測定光の走査位置）３５Ｈ，３５Ｖの関係を示す図である。本実施形態では、正面画像３０は、眼科画像撮影装置１１の眼科画像撮影部１６が備える正面観察光学系によって撮影される。図２に示す正面画像３０には、視神経乳頭３１、黄斑３２、および眼底血管３３等の眼底組織が写っている。
一例として、本実施形態では、基準位置（本実施形態では黄斑３２）を中心として水平方向に延びる撮影位置３５Ｈで撮影された二次元断層画像と、基準位置を中心として垂直方向に延びる撮影位置３５Ｖで撮影された二次元断層画像が、自動診断で用いられる。撮影位置３５Ｈ，３５Ｖの各々の長さは６ｍｍである。ただし、基準位置、撮影位置の長さ、撮影位置の角度、自動診断に用いられる画像の数等は、適宜変更できる。また、二次元断層画像以外の眼科画像（例えば、眼底の正面画像、三次元断層画像等）が自動診断に用いられてもよい。複数のモダリティの各々によって撮影された、同一の被検眼の複数種類の眼科画像が、自動診断に用いられてもよい。複数種類の眼科画像が自動診断に用いられる場合、複数の眼科画像の各々に対して異なるアルゴリズムによって複数種類の自動診断結果が出力されてもよいし、複数種類の眼科画像から１つのアルゴリズムによって自動診断結果が出力されてもよい。
本実施形態の眼科画像撮影装置１１のＣＰＵ１３は、断層画像の撮影が行われる前の眼底の正面画像３０上で、自動診断に適した二次元断層画像の撮影位置３５Ｈ，３５Ｖのガイド表示を行う。詳細には、ＣＰＵ１３は、基準位置を検出し、基準位置を中心とする最適な撮影位置３５Ｈ，３５Ｖのガイド表示を、モニタ（図示せず）に表示している正面画像３０上に示す。その結果、自動診断に適した眼科画像が容易に撮影される。なお、基準位置は、正面画像３０に対して画像処理等が行われることで検出されてもよいし、ユーザによって指定された位置が基準位置として検出されてもよい。
また、眼科画像撮影装置１１は、自動診断に適した二次元断層画像を自動で撮影してもよい。この場合、ＣＰＵ１３は、基準位置（本実施形態では黄斑３２）を検出し、基準位置を中心とする最適な撮影位置３５Ｈ，３５ＶにＯＣＴ測定光を走査させることで、眼科画像を撮影してもよい。
なお、眼科画像撮影装置１１では、後述する自動診断において用いられる画像の範囲よりも広い範囲で眼科画像が撮影されてもよい。この場合、本実施形態では、自動診断が行われる前に、広範囲の眼科画像から自動診断の対象範囲の画像が抽出される。
（眼科画像処理）
以下、本実施形態の眼科画像処理について詳細に説明する。本実施形態の眼科画像処理では、機械学習アルゴリズムによって訓練された数学モデルが用いられることで、被検眼における複数の疾患の少なくともいずれか（本実施形態では複数の疾患の各々）に対する自動診断結果が取得される。また、取得された複数の自動診断結果に基づいて、参考情報が生成される。参考情報とは、複数の疾患の少なくともいずれかが被検眼に存在する度合いを段階的に示す情報である。さらに、本実施形態では、参考情報をモニタ８に表示させる処理、参考情報に応じて患者データを抽出する処理等、種々の処理が実行される。以下説明する処理は、記憶装置４に記憶された眼科画像処理プログラムに従って、ＣＰＵ３によって実行される。
（参考情報生成処理）
図３および図４を参照して、参考情報生成処理について説明する。参考情報生成処理では、眼科画像に対して参考情報が生成される。まず、ＣＰＵ３は、被検眼の眼科画像を取得する（Ｓ１）。本実施形態では、ＣＰＵ３は、眼科画像撮影装置１１の眼科画像撮影部１６によって撮影された眼科画像を、眼科画像撮影装置１１から取得する。しかし、眼科画像の取得方法は適宜変更できる。例えば、眼科画像撮影装置１１が参考情報生成処理を実行する場合には、眼科画像撮影装置１１のＣＰＵ１３は、記憶装置１４に記憶されている眼科画像を取得してもよい。
次いで、ＣＰＵ３は、Ｓ１で取得した眼科画像の範囲が、自動診断において使用される数学モデル（詳細は後述する）に入力する眼科画像の対象範囲よりも広いか否かを判断する（Ｓ２）。Ｓ１で取得した眼科画像の範囲と、自動診断の対象範囲とが同一である場合には（Ｓ２：ＮＯ）、処理はそのままＳ４へ移行する。Ｓ１で取得した眼科画像の範囲が、自動診断の対象範囲よりも広い場合には（Ｓ２：ＹＥＳ）、ＣＰＵ３は、Ｓ１で取得した眼科画像から、自動診断の対象範囲の画像を抽出する（Ｓ３）。詳細は後述するが、本実施形態では、ＯＣＴ装置によって撮影される２つの二次元断層画像（Ｂスキャン画像）の所定の範囲が、自動診断の対象範囲となる。例えば、Ｓ１で取得した二次元断層画像の範囲が対象範囲よりも広い場合には、ＣＰＵ３は、Ｓ１で取得した二次元断層画像から所定の対象範囲を抽出する。また、Ｓ１で取得した画像が、複数の異なるラインの各々にＯＣＴ測定光を走査させることで撮影されたマップ画像（三次元ＯＣＴデータ）である場合には、ＣＰＵ３は、自動診断の対象となる２つの二次元断層画像を、マップ画像から抽出する。
なお、本実施形態のＣＰＵ３は、Ｓ３において、自動的に対象範囲の画像を抽出する。詳細には、ＣＰＵ３は、取得された眼科画像に対して画像処理を行い、基準位置（本実施形態では黄斑の位置）を検出することで、対象範囲の画像を抽出する。また、ＣＰＵ３は、被検眼の組織において測定光が照射された位置の情報を取得し、取得した位置情報に基づいて対象範囲の画像を抽出してもよい。なお、ＣＰＵ３は、ユーザによって入力された指示に基づいて、対象範囲の画像を抽出してもよい。
次いで、ＣＰＵ３は、眼科画像に対する自動診断結果を取得する（Ｓ４）。本実施形態では、ＣＰＵ３は、機械学習アルゴリズムによって訓練された数学モデルに眼科画像を入力することで、被検眼における複数の疾患の各々に対する自動診断結果を取得する（図４参照）。
本実施形態における自動診断結果の取得方法について、詳細に説明する。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。
ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。
ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。
ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。
ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。
本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したいデータを生成するための出力層と、入力層と出力層の間の１つ以上の隠れ層を含む。各層には、複数のノード（ユニットとも言われる）が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）が用いられている。
数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。入力用訓練データには、過去に撮影された被検眼の眼科画像（本実施形態では、黄斑を中心として水平方向および垂直方向の各々に延びる撮影位置にＯＣＴ測定光を走査することで撮影された、２つの二次元断層画像）が用いられる。自動診断の精度を向上させるためには、自動診断に用いられる眼科画像の対象範囲は、入力用訓練データの画像範囲と極力一致させることが望ましい。出力用訓練データには、疾患名および疾患の位置等の診断結果のデータが用いられる。数学モデルは、ある入力用訓練データが入力された時に、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。
ＣＰＵ３は、数学モデルに眼科画像を入力する。その結果、図４に示すように、複数の疾患（図４の例では、疾患Ａ～疾患Ｉ）の各々に対する自動診断結果が出力される。本実施形態では、各々の疾患が存在する確率、および疾患の位置（詳細には、疾患が存在する可能性があると判断された位置）が出力される。なお、Ｓ３において対象範囲の画像が抽出されている場合、ＣＰＵ３は、Ｓ３で抽出された眼科画像を数学モデルに入力する。その結果、自動診断の精度が向上する。
また、自動診断によって疾患の位置が検出された場合には、ＣＰＵ３は、画像（例えば、本実施形態では、眼底の正面画像および二次元断層画像の少なくともいずれか）を表示させる際に、疾患の位置の表示、疾患部位の強調表示、および疾患部位の拡大表示等の少なくともいずれかを実行する。従って、ユーザは、疾患が存在する可能性があると判断された位置を、容易に確認することができる。
また、特定の疾患が存在する確率が閾値以上と判定された場合には、ＣＰＵ３は、存在する可能性が高い疾患の種類に応じて、モニタ８における各種画像の表示形態を変更する。例えば、加齢黄斑変性症、中心性漿液性脈絡網膜症、網膜剥離等の黄斑疾患の場合、網膜の厚さに異常が見られる場合がある。従って、黄斑疾患が存在する可能性が高いと判定された場合には、ＣＰＵ３は、眼底を正面から見た場合の網膜の厚みの分布を示す厚みマップ、網膜厚の解析チャート、正常眼の網膜厚との比較画像等の少なくともいずれかを、モニタ８に表示させる。また、糖尿病網膜症の場合、眼底血管に異常が見られる場合がある。従って、糖尿病網膜症の可能性が高いと判定された場合には、ＣＰＵ３は、ＯＣＴアンジオグラフィをモニタ８に表示させる。
図３の説明に戻る。次いで、ＣＰＵ３は、複数の疾患の各々に対して得られた複数の自動診断結果に基づいて、少なくともいずれかの疾患が存在する度合いを段階的に示す参考情報を生成する（Ｓ５）。ＣＰＵ３は、生成した参考情報を、自動診断の対象とした眼科画像に対応付けて記憶装置４に記憶させる（Ｓ６）。
一例として、本実施形態では、少なくともいずれかの疾患が存在する度合いが高い順に、「警告」「注意」「正常」の３段階で参考情報が生成される。段階数を５段階以下（より望ましくは３段階以下）とすることで、ユーザは、詳細な診断を実行すべきか否か等の判断をより容易に行うことができる。ただし、段階数を６段階以上とすることも可能である。
また、複数の自動診断結果に基づいて参考情報を生成する具体的な方法は、適宜選択できる。一例として、本実施形態のＣＰＵ３は、図４に示すように、存在確率が閾値α（例えば６０％）以上と判定された疾患が１つでも存在する場合には、「警告」の参考情報を生成する。ＣＰＵ３は、最も高い存在確率が閾値β（例えば２０％）以上、閾値α未満であれば、「注意」の参考情報を生成する。ＣＰＵ３は、すべての疾患の存在確率が閾値β未満であれば、「正常」の参考情報を生成する。しかし、ＣＰＵ３は、他の方法で参考情報を生成してもよい。例えば、ＣＰＵ３は、存在確率が所定の閾値を超えた疾患の数を考慮して参考情報を生成してもよい。つまり、ＣＰＵ３は、存在確率が所定の閾値を超えた疾患の数が多い場合には、少ない場合に比べて、疾患が存在する度合いが高いことを示す参考情報を生成してもよい。
なお、参考情報生成処理を実行するタイミングも適宜選択できる。本実施形態のＰＣ１は、眼科画像撮影装置１１から眼科画像を取得すると、取得した眼科画像に対する参考情報の生成処理を自動的に実行することができる。また、ＰＣ１がモニタ８に表示させる表示画面の少なくとも一部には、参考情報生成開始ボタン５４（図８参照）が設けられている。ユーザは、操作部７（例えばマウス等）を介して参考情報生成開始５４ボタンを操作し、参考情報の生成を開始させる指示を入力することで、所望の眼科画像についての参考情報の生成を開始させることができる。従って、ユーザは、参考情報が未だ生成されていない過去の眼科画像等に対しても、参考情報を生成させることができる。また、眼科画像撮影装置１１が参考情報生成処理を実行する場合には、ＣＰＵ１３は、眼科画像の撮影と並行して参考情報生成処理を実行してもよい。この場合、ＣＰＵ１３は、生成された参考情報を、撮影中の眼科画像と共に表示部に表示させてもよい。
また、数学モデルを用いた自動診断処理の時間と精度は、互いにトレードオフの関係にある。つまり、高精度の自動診断処理には、長い時間がかかることが多い。本実施形態では、高速で処理可能なアルゴリズムと、高精度な自動診断を実行可能なアルゴリズムが共に採用されている。本実施形態のＣＰＵ３は、眼科画像を取得すると（Ｓ１）、まず、高速アルゴリズムを用いて自動診断を行い（Ｓ４）、参考情報を生成する（Ｓ５）。生成された参考情報が、疾患の存在度合いが低いことを示す参考情報（例えば「正常」）であれば、その眼科画像に対する参考情報の生成処理を終了する。一方で、生成された参考情報が、疾患の存在度合いが高いことを示す参考情報（例えば、「注意」および「警告」）であれば、高精度アルゴリズムを用いて再度自動診断を行い（Ｓ４）、参考情報を生成する（Ｓ５）。その結果、参考情報が効率よく生成される。なお、ＣＰＵ３は、高速アルゴリズムによる自動診断を行いつつ、バックグラウンドで高精度アルゴリズムによる自動診断を行ってもよい。この場合、短時間で参考情報が生成された後、最終的には高精度な参考情報が生成される。
（患者データに対応付ける参考情報の設定）
図５を参照して、患者データに対応付ける参考情報の設定について説明する。本実施形態では、被検者または被検眼毎に患者データが作成され、記憶装置４に記憶されている。患者データの詳細については図６および図７を参照して後述するが、１つの患者データには、１つまたは複数の眼科画像が含まれる。さらに、本実施形態のＰＣ１は、１つの患者データに複数の眼科画像が含まれている場合に、複数の眼科画像の各々に対して参考情報を生成することができる。
ここで、本実施形態では、１つの患者データに含まれる複数の眼科画像の各々に対して参考情報が生成されている場合、ユーザは、その患者データに対応付ける参考情報の種類を設定することができる。詳細には、図５に示すように、ユーザは、撮影されたタイミングが最も新しい眼科画像に対して生成された参考情報（以下、「最新参考情報」という）と、疾患の存在度合いが最も高い段階の参考情報（以下、「高段階参考情報」という）のいずれを患者データに対応付けるかを設定できる。ユーザは、最新参考情報を患者データに対応付けることで、最新の被検眼の状態に基づいて患者データを管理することができる。一方で、ユーザは、高段階参考情報を患者データに対応付けることで、過去の疾患の存在度合いも考慮したうえで患者データを管理することができる。本実施形態では、ユーザは、対応参考情報設定画面３８を開き、最新参考情報および高段階参考情報のいずれかを選択して「ＯＫ」ボタンを操作することで、患者データに対応付ける参考情報の種類を設定することができる。ＣＰＵ３は、選択された種類の参考情報を、各々の患者データに対応付ける。
（患者データの表示）
図６から図８を参照して、患者データの表示方法の一例について説明する。図６は、最新参考情報が患者データに対応付けられている場合の、患者データの表示画面４０Ａの一例を示す。図７は、高段階参考情報が患者データに対応付けられている場合の、患者データの表示画面４０Ｂの一例を示す。図８は、図６における２０１７年６月２０日のサムネイル４７が選択された場合に表示される二次元断層画像５１，５２の一例を示す。
まず、各種表示欄について説明する。図６および図７に示すように、患者データの表示画面には、患者ＩＤ表示欄４１、患者名表示欄４２、性別表示欄４３、左右眼表示欄４４、および対応参考情報表示欄４５が設けられている。左右眼表示欄４４には、左眼および右眼を選択するためのチェックボックスが設けられている。ユーザは、左眼および右眼のいずれかチェックボックスにチェックを入れることで、選択中（表示中）の患者データに含まれる１つまたは複数の眼科画像のうち、左眼および右眼のいずれかの眼科画像を表示させることができる。また、対応参考情報表示欄４５には、前述した対応参考情報設定画面３８（図５参照）で選択された参考情報の種類が表示される。
図６および図７に示すように、患者データの表示画面４０Ａ，４０Ｂでは、それぞれの眼科画像（本実施形態では、参考情報を生成する対象となる１組（２つ）の二次元断層画像）に対応する正面画像のサムネイル４７が表示される。それぞれのサムネイル４７には、参考情報表示欄４８と日付表示欄４９が付与される。参考情報表示欄４８には、それぞれの眼科画像に対して生成された参考情報が表示される。つまり、ＣＰＵ３は、患者データをモニタ８に表示させる際に、患者データに含まれる複数の眼科画像の各々に対応する参考情報を表示させることができる。その結果、被検眼の経過観察等が容易になる。図６および図７に示す例では、「警」が警告、「注」が注意、「正」が正常であることを示す。また、未だ参考情報が生成されていない眼科画像については、参考情報が生成されていないことが参考情報表示欄４８で示される。図６および図７に示す例では、参考情報が未だ生成されていないことが、「／」によって示されている。また、日付表示欄４９には、眼科画像が撮影された日付が表示される。
図６に示すように、最新参考情報が患者データに対応付けられている場合には、患者データ全体に対応付けられている参考情報の基となった最新の眼科画像がいずれであるかを示すための表示が行われる。一例として、図６に示す例では、最新の眼科画像のサムネイル４７Ｍの枠が、他のサムネイル４７の枠とは異なる態様で表示されることで、最新の眼科画像がいずれであるかが示されている。しかし、参考情報の基となった眼科画像を示すための表示方法は、適宜変更できる。例えば、サムネイル４７Ｍの枠でなく、サムネイル４７Ｍに付された参考情報の表示方法を変更することで、参考情報の基となった眼科画像が示されてもよい。
また、最新参考情報が患者データに対応付けられている場合には、複数のサムネイル４７が、眼科画像が撮影されたタイミングの順番で並べて表示される。従って、ユーザは、患者データの表示画面４０Ａを見ることで、被検眼の経過を容易に把握することができる。
図７に示すように、高段階参考情報が患者データに対応付けられている場合には、患者データ全体に対応付けられている参考情報の基となった眼科画像（つまり、疾患の存在度合いが最も高い眼科画像）がいずれであるかを示すための表示が行われる。一例として、図７に示す例では、図６と同様に、疾患の存在度合いが最も高い眼科画像のサムネイル４７Ｎの枠が、他のサムネイル４７の枠とは異なる態様で表示される。
また、高段階参考情報が患者データに対応付けられている場合には、複数のサムネイル４７が、疾患の存在度合いの順番で並べて表示される。従って、ユーザは、疾患の存在度合いに応じて複数の眼科画像を把握することができる。
また、患者データの表示画面４０Ａ，４０Ｂにおいて表示されているサムネイル４７のいずれかがユーザによって選択されると、ＣＰＵ３は、選択されたサムネイル４７に対応する眼科画像（本実施形態では、参考情報の基となる二次元断層画像）を含む眼科画像表示画面５０を、モニタ８に表示させる。図８に示すように、本実施形態の眼科画像表示画面５０では、選択されたサムネイル４７、参考情報４８、日付４９と共に、参考情報を生成する基となった２つの二次元断層画像５１，５２が表示される。なお、眼科画像表示画面５０の表示態様を変更することも可能である。例えば、眼底における特定の層の厚みを示すグラフ等が、二次元断層画像５１，５２と主に表示されてもよい。
また、本実施形態では、ユーザは、眼科画像に対して生成された参考情報が実際の診断結果と異なる場合には、操作部７等を介して参考情報の編集指示を入力することができる。ＣＰＵ３は、ユーザによって入力される指示に応じて、選択された参考情報を編集する。その結果、患者データがより適切に管理される。なお、ＣＰＵ３は、編集した参考情報の表示態様を、未編集の参考情報とは異なる表示態様とする。よって、ユーザは、参考情報が編集されたか否かを容易に把握できる。また、ユーザは、操作部７を操作することで、参考情報を編集できるユーザを特定のユーザに制限することもできる。
（患者データの一覧表示）
図９および図１０を参照して、患者データの一覧の表示方法の一例について説明する。患者データの一覧の表示指示がユーザによって入力されると、ＣＰＵ３は、図９に示すように、患者データの一覧表示画面６０をモニタ８に表示させる。一覧表示画面６０には、一覧表示部６１と、検索条件入力部６２が含まれる。一覧表示部６１には、被検者または被検眼毎に作成されたそれぞれの患者データに関する各種情報の一覧が表示される。詳細には、本実施形態の一覧表示部６１では、患者データに含まれるＩＤ、名前、年齢、および性別の情報に加えて、患者データに対応付けられている参考情報が表示される。従って、ユーザは、参考情報に基づいて適切に患者データを管理することができる。前述したように、本実施形態では、ユーザは最新参考情報と高段階参考情報のいずれを患者データに対応付けるかを設定できる。ＣＰＵ３は、最新参考情報と高段階参考情報のうち、ユーザによって選択された参考情報を各々の患者データに対応付けて、一覧表示部６１に表示させる。なお、一覧表示画面６０に他の情報（例えば、眼科画像の撮影日時等）が含まれていてもよいことは言うまでもない。
検索条件入力部６２には、ユーザが所望する患者データを一覧全体から検索したい場合に、各種検索条件が入力される。本実施形態における検索条件には、患者の名前、年齢、および性別等に加えて参考情報も含まれる。ユーザは、参考情報に基づいて患者データを検索する場合、操作部７を操作して「警告」「注意」「正常」「未生成」の少なくともいずれかを選択することで、参考情報の複数の段階の少なくともいずれかを選択する指示を入力する。ＣＰＵ３は、患者データの中から、入力された指示によって選択された段階の参考情報（本実施形態では、最新参考情報または高段階参考情報）に対応する患者データを抽出する。ＣＰＵ３は、選択された段階の参考情報に応じて抽出した患者データの一覧を、モニタ８に表示させる。図１０は、図９に示す状態から「警告」の参考情報で検索が行われた場合の一覧表示画面６０を示す。以上のように、本実施形態によると、患者データが参考情報に基づいて適切に管理される。
なお、図９に示す一覧表示部６１では、複数の患者データの一覧が、眼科画像の撮影日時の順に並べて表示されている。しかし、ＣＰＵ３は、参考情報に応じて（つまり、参考情報の段階毎に）複数の患者データの一覧を並べて表示させてもよい。
（参考情報の表示および非表示の切り替え）
本実施形態では、ユーザは、モニタ８に参考情報を表示させるか否かを選択する指示を、ＰＣ１に入力することができる。選択指示は、例えば、ユーザが操作部７を操作することで入力されてもよい。ＣＰＵ３は、図６～図１０で例示した参考情報のモニタ８への表示と非表示を、ユーザから入力された指示に応じて切り替える。例えば、ＣＰＵ３は、参考情報を非表示とする指示が入力された場合、図６～図１０で表示させていた参考情報を非表示とする。従って、ユーザは、より適切に診断等の業務を行うことができる。
（患者データの出力）
図１１を参照して、ＣＰＵ３が実行する患者データ出力処理について説明する。患者データ出力処理では、他のデバイスへの患者データの送信処理、および、患者データのレポートの出力処理が行われる。まず、ＣＰＵ３は、参考情報の段階を選択する指示が入力されたか否かを判断する（Ｓ１１）。選択指示は、例えば、ユーザが操作部７を操作することで入力されてもよい。選択指示が入力されると（Ｓ１１：ＹＥＳ）、ＣＰＵ３は、患者データの中から、入力された指示によって選択された段階の参考情報（本実施形態では、最新参考情報または高段階参考情報）に対応する患者データを抽出する（Ｓ１２）。
なお、ＣＰＵ３は、同一の被検者の左眼および右眼の患者データのうちの一方の参考情報のみが特定の段階（例えば、疾患が存在する度合いが最も高い段階）である場合に、特定の段階の参考情報に対応する眼の患者データと共に、同一の被検者の他方の眼の患者データも抽出してもよい。この場合、ユーザは、一方の眼の診断結果も踏まえて他方の眼の診断を行うことができる。なお、この場合には、ＣＰＵ３は、他方の眼についても注意すべき旨を、ユーザに通知してもよい。また、ＣＰＵ３は、特定の段階の参考情報に対応する眼の患者データのみを抽出するか、両眼の患者データを抽出するかを、存在する可能性が高い疾患の種類に応じて決定してもよいし、ユーザからの指示に応じて決定してもよい。
次いで、ＣＰＵ３は、患者データの送信指示が入力されたか否かを判断する（Ｓ１４）。送信指示が入力されると（Ｓ１４：ＹＥＳ）、ＣＰＵ３は、ネットワーク９を介して患者データを他のデバイス（例えば、図１に示す拠点ＢのＰＣ２１）に送信する（Ｓ１５）。ここで、Ｓ１１において参考情報の段階が選択されている場合には、Ｓ１５では、Ｓ１２で抽出された患者データ（つまり、選択された段階の参考情報に対応する患者データ）が送信される。なお、患者データの代わりに、または患者データと共に、後述するレポートが他のデバイスに送信されてもよい。
次いで、ＣＰＵ３は、レポートの出力指示が入力されたか否かを判断する（Ｓ１７）。出力指示が入力されると（Ｓ１７：ＹＥＳ）、ＣＰＵ３は、患者データのレポートを出力する（Ｓ１８）。ここで、Ｓ１１において参考情報の段階が選択されている場合には、Ｓ１８では、Ｓ１２で抽出された患者データ（つまり、選択された段階の参考情報に対応する患者データ）のレポートが出力される。なお、レポートの出力方法は、紙に印刷する方法でもよいし、特定の形式のデータ（例えばＰＤＦデータ等）で出力する方法でもよい。また、レポートに含める情報が適宜選択できることは言うまでもない。
次いで、ＣＰＵ３は、終了指示が入力されたか否かを判断する（Ｓ１９）。終了指示が入力されていなければ（Ｓ１９：ＮＯ）、処理はＳ１１の判断に戻る。終了指示が入力されると（Ｓ１９：ＹＥＳ）、患者データ出力処理は終了する。
なお、Ｓ１５で他のデバイスに送信される患者データは、１つまたは複数の眼科画像を含む患者データの全体であってもよいし、患者データの一部（例えば、最新の眼科画像等）であってもよい。レポートの出力についても同様である。
また、本実施形態では、ユーザからの指示が入力されることを契機として、患者データを出力する処理（つまり、患者データを送信する処理、およびレポートを出力する処理）が行われる。しかし、患者データを出力するタイミングは適宜変更できる。例えば、ＣＰＵ３は、複数の眼科画像の各々について順に参考情報を生成し、特定の段階の参考情報（例えば、「警告」および「注意」の参考情報）が生成される毎に、患者データの出力処理を行ってもよい。例えば、眼科画像撮影装置１１が参考情報生成処理（図３参照）および患者データ出力処理（図１１参照）を実行することも可能である。この場合、眼科画像撮影装置１１のＣＰＵ１６は、被検眼の眼科画像を撮影する毎に、撮影した眼科画像に対して参考情報を生成してもよい。ＣＰＵ１６は、特定の段階の参考情報が生成される毎に、患者データの出力を行ってもよい。
また、ＣＰＵ３は、特定の段階の参考情報に対応するデータ（患者データ、患者データに含まれる眼科画像および解析結果のデータ等の少なくともいずれか）と、特定の段階以外の参考情報に対応するデータを、異なる方法で記憶装置４に記憶させる。例えば、ＣＰＵ３は、データが特定の段階（例えば「警告」および「注意」）以外の参考情報に対応する場合、データの少なくとも一部を記憶装置４に保存する処理を省略してもよいし、記憶装置４からデータの少なくとも一部を削除してもよい。また、ＣＰＵ３は、記憶装置４に記憶されているデータのデータ量を削減する処理を実行してもよい。
（メーカーへのデータ提供）
本実施形態では、ユーザは、実際に自らが眼科画像を診断した結果を、ＰＣ１に入力することができる。ＣＰＵ３は、眼科画像に対して生成した参考情報が示す疾患の度合いと、ユーザが実際の診断によって判断した疾患の有無とが異なる眼科画像を抽出することができる。また、ＣＰＵ３は、数学モデルによって得られた自動診断結果と、ユーザが実際に行った診断の結果とが異なる眼科画像を抽出することができる。ＣＰＵ３は、抽出した眼科画像を、眼科画像処理装置および眼科画像処理プログラムのメーカーに提供（例えば、ネットワーク９を介して送信）する。メーカーは、提供された眼科画像を訓練データとして数学モデルを訓練することで、以後の自動診断結果または参考情報の精度を向上させることができる。
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。例えば、前述したように、参考情報生成処理を眼科撮影装置１１が実行することも可能である。この場合、眼科撮影装置１１のＣＰＵ１６は、自動診断結果および参考情報の生成結果の少なくともいずれかに応じて、被検眼の撮影方法を変更してもよい。例えば、ＣＰＵ１６は、まず、自動診断および参考情報の生成に必要な眼科画像（上記実施形態では、２つの二次元断層画像）を撮影する。次いで、自動診断結果および参考情報の生成結果が所定の結果である場合（例えば、参考情報が「警告」または「注意」である場合）、ＣＰＵ１６は、付加的な眼科画像の撮影（例えば、被検眼の組織の三次元断層画像を撮影するためのマップ撮影等）を実行してもよい。この場合、自動診断結果および参考情報の生成結果の少なくともいずれかに応じて、より適切な画像が必要に応じて撮影される。
なお、図３のＳ１で眼科画像を取得する処理は、「画像取得ステップ」の一例である。図３のＳ２，Ｓ３で対象範囲の画像を抽出する処理は、「画像抽出ステップ」の一例である。図３のＳ４で自動診断結果を取得する処理は、「自動診断結果取得ステップ」の一例である。図３のＳ５で参考情報を生成する処理は、「参考情報生成ステップ」の一例である。図３のＳ１で眼科画像を取得する処理を実行するＣＰＵ３は、「画像取得手段」の一例である。図３のＳ２，Ｓ３で対象範囲の画像を抽出する処理を実行するＣＰＵ３は、「画像抽出手段」の一例である。図３のＳ４で自動診断結果を取得する処理を実行するＣＰＵ３は、「自動診断結果取得手段」の一例である。
１ ＰＣ
３ ＣＰＵ
７ 操作部
８ モニタ
９ ネットワーク
１１ 眼科画像撮影装置
１３ ＣＰＵ
１６ 眼科画像撮影部
２１ ＰＣ
３０ 正面画像
３８ 対応参考情報設定画面
４０Ａ，４０Ｂ 患者データ表示画面
４８ 参考情報表示欄
５０ 眼科画像表示画面
５１，５２ 二次元断層画像
６０ 一覧表示画面
６２ 検索条件入力部
１００ 眼科画像処理システム

Claims (5)

  1. 被検眼の眼科画像を処理する眼科画像処理装置であって、 前記眼科画像処理装置の制御部は、 眼科画像撮影部によって撮影された前記眼科画像を取得し、 機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼における複数の疾患の各々に対する自動診断結果を取得し、 前記数学モデルによって自動診断可能な前記複数の異なる疾患において、その少なくともいずれかが前記被検眼に存在する度合いを段階的に示す参考情報を、前記眼科画像に対する前記複数の自動診断結果に基づいて生成することを特徴とする眼科画像処理装置。
  2. 請求項１に記載の眼科画像処理装置であって、 前記制御部は、 前記参考情報の複数の段階の少なくともいずれかを選択する指示を入力し、 複数の被検者または被検眼の、前記眼科画像を含む患者データから、入力された指示によって選択された段階の参考情報に対応する患者データを抽出することを特徴とする眼科画像処理装置。
  3. 被検眼の眼科画像を処理する眼科画像処理装置であって、 眼科画像撮影部によって撮影された前記眼科画像を取得する画像取得手段と、 機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼における少なくともいずれかの疾患に対する自動診断結果を取得する自動診断結果取得手段と、 前記画像取得手段によって取得された前記眼科画像の範囲が、前記数学モデルに入力する眼科画像の対象範囲よりも広い場合に、前記画像取得手段によって取得された前記眼科画像から前記対象範囲の画像を、前記数学モデルに入力する前記眼科画像として抽出する画像抽出手段と、 を備えたことを特徴とする眼科画像処理装置。
  4. 被検眼の眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、 前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、 眼科画像撮影部によって撮影された前記眼科画像を取得する画像取得ステップと、 機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼における複数の疾患の各々に対する自動診断結果を取得する自動診断結果取得ステップと、 前記数学モデルによって自動診断可能な前記複数の異なる疾患において、その少なくともいずれかが前記被検眼に存在する度合いを段階的に示す参考情報を、前記眼科画像に対する前記複数の自動診断結果に基づいて生成する参考情報生成ステップと、 を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。
  5. 被検眼の眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、 前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、 眼科画像撮影部によって撮影された前記眼科画像を取得する画像取得ステップと、 機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼における少なくともいずれかの疾患に対する自動診断結果を取得する自動診断結果取得ステップと、 前記画像取得ステップにおいて取得された前記眼科画像の範囲が、前記数学モデルに入力する眼科画像の対象範囲よりも広い場合に、前記画像取得ステップにおいて取得された前記眼科画像から前記対象範囲の画像を、前記数学モデルに入力する前記眼科画像として抽出する画像抽出ステップと、 を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。
JP2020515457A 2018-04-27 2018-04-27 眼科画像処理装置および眼科画像処理プログラム Active JP7196908B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017327 WO2019207800A1 (ja) 2018-04-27 2018-04-27 眼科画像処理装置および眼科画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2019207800A1 JPWO2019207800A1 (ja) 2021-05-13
JP7196908B2 true JP7196908B2 (ja) 2022-12-27

Family

ID=68295218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020515457A Active JP7196908B2 (ja) 2018-04-27 2018-04-27 眼科画像処理装置および眼科画像処理プログラム

Country Status (2)

Country Link
JP (1) JP7196908B2 (ja)
WO (1) WO2019207800A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7510761B2 (ja) * 2020-01-24 2024-07-04 キヤノンメディカルシステムズ株式会社 診療支援システム、診療支援装置、及び診療支援プログラム
CN111428072A (zh) * 2020-03-31 2020-07-17 南方科技大学 眼科多模态影像的检索方法、装置、服务器及存储介质
JP2022104239A (ja) * 2020-12-28 2022-07-08 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
WO2022208903A1 (ja) * 2021-03-31 2022-10-06 株式会社ニデック Ｏｃｔ装置、ｏｃｔデータ処理方法、プログラム、および記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160100806A1 (en) 2014-10-13 2016-04-14 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for predicting early onset glaucoma
JP2018027273A (ja) 2016-08-19 2018-02-22 学校法人自治医科大学 糖尿病網膜症の病期判定支援システムおよび糖尿病網膜症の病期の判定を支援する方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160100806A1 (en) 2014-10-13 2016-04-14 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for predicting early onset glaucoma
JP2018027273A (ja) 2016-08-19 2018-02-22 学校法人自治医科大学 糖尿病網膜症の病期判定支援システムおよび糖尿病網膜症の病期の判定を支援する方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Hidenori Takahashi, et al.，Applying artifical intelligence to disease staging: Deep learning for improved staging of diabetic retinopathy，PLOS ONE，2017年06月22日，https://doi.org/10.1371/journal.pone.0179790
Qaisar Abbas, et al.，Glaucoma-Deep: Detection of Glaucoma Eye Disease on Retinal Fundus Images using Deep Learning，International Journal of Advanced Computer Science and Applications，2017年，Vol. 8, No. 6，pp. 41-45
Tehmina Khalil, et al.，An Overview of Automated Glaucoma Detection，IEEE Computing Conference Proceedings，2017年，pp.620-632
Xiangyu Chen, et al.，Glaucoma detection based on deep convolutional neural network，37th Annual International Conference of the IEEE Engneering in Medicine and Biology Society，2015年，pp. 715-718
綾塚 祐二 Yuji AYATSUKA，光干渉断層計による画像と機械学習を用いた眼底疾患スクリーニング Screening of Fundus Diseases through Optical Coherence Tomography Image using Machine Learning，一般社団法人人工知能学会 研究会 ＡＩＭＥＤ：医用人工知能研究会 ＳＩＧ－ＡＩＭＥＤ－００４ ［ｏｎｌｉｎｅ］ ，日本，一般社団法人人工知能学会，2017年，pp. 05-1~05-3
綾塚 祐二 Yuji AYATSUKA，光干渉断層計による画像と機械学習を用いた眼病の判別 Detection of Occular Diseases by Use of Optical Coherence Tomography and Machine Learning，電子情報通信学会技術研究報告 Ｖｏｌ．１１６ Ｎｏ．２９８ IEICE Technical Report，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，第116巻
綾塚 祐二，OCTと機械学習を用いた眼底疾患スクリーニング，第4回全国医療機器開発会議，2018年01月26日，https://www.med-device.jp/event/2018/01/20180126-4th-iryokiki-kaigi.html

Also Published As

Publication number Publication date
WO2019207800A1 (ja) 2019-10-31
JPWO2019207800A1 (ja) 2021-05-13

Similar Documents

Publication Publication Date Title
JP7196908B2 (ja) 眼科画像処理装置および眼科画像処理プログラム
JP6907563B2 (ja) 画像処理装置、および画像処理プログラム
WO2018143180A1 (ja) 画像処理装置、および画像処理プログラム
JP6878923B2 (ja) 画像処理装置、画像処理システム、および画像処理プログラム
CN114207736A (zh) 信息处理装置、信息处理方法、信息处理系统和程序
KR102071774B1 (ko) 안구영상을 이용한 심뇌혈관 질환 예측방법
JP2023016933A (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2018147387A (ja) 眼科診療情報処理システム及び眼科診療情報処理方法
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2024045441A (ja) 眼科画像処理装置、および眼科画像処理プログラム
WO2020116351A1 (ja) 診断支援装置、および診断支援プログラム
JP2019208852A (ja) 眼科画像処理装置、および眼科画像処理プログラム
KR102343796B1 (ko) 안구영상을 이용한 심혈관계 질환 예측방법
JP7406901B2 (ja) 情報処理装置及び情報処理方法
JP2019208851A (ja) 眼底画像処理装置および眼底画像処理プログラム
JPWO2018181714A1 (ja) 眼科情報処理システム
JP7563384B2 (ja) 医療画像処理装置および医療画像処理プログラム
KR102426065B1 (ko) 안구영상을 이용한 심혈관계 질환 예측방법
JP6568375B2 (ja) 眼科情報処理システム、画像処理装置、および画像処理方法
JP2018147386A (ja) 眼科診療情報処理システム及び眼科診療情報処理方法
JP2021074095A (ja) 眼科画像処理装置および眼科画像処理プログラム
JP7468163B2 (ja) 眼科画像処理プログラムおよび眼科画像処理装置
JP6927724B2 (ja) 表示制御装置、表示制御方法、及びプログラム
WO2021066039A1 (ja) 医療情報処理プログラム、および医療情報処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7196908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150