JP2024077848A - 眼科情報処理装置 - Google Patents

眼科情報処理装置 Download PDF

Info

Publication number
JP2024077848A
JP2024077848A JP2022190043A JP2022190043A JP2024077848A JP 2024077848 A JP2024077848 A JP 2024077848A JP 2022190043 A JP2022190043 A JP 2022190043A JP 2022190043 A JP2022190043 A JP 2022190043A JP 2024077848 A JP2024077848 A JP 2024077848A
Authority
JP
Japan
Prior art keywords
data
test data
fundus
examination
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022190043A
Other languages
English (en)
Inventor
理宇眞 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022190043A priority Critical patent/JP2024077848A/ja
Publication of JP2024077848A publication Critical patent/JP2024077848A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

【課題】 複数の検査データを組み合わせて表示する際に、複数の検査データの中から比較的に適した検査データを選択する。【解決手段】 眼科情報処理装置は、第1の検査ユニットによって取得された第1の検査データと、第1の検査ユニットとは異なる種類の第2の検査ユニットによって取得された複数の第2の検査データと、を記憶する記憶部に記憶し、表示部に出力する眼科情報処理装置であって、第1の検査データの検査情報に基づく第1の選択基準と、第2の検査データの品質指標に関する第2の選択基準と、に基づいて、複数の第2の検査データから、第1の検査データに対応する第3の検査データを決定する決定手段と、第1の検査データと決定された第3の検査データとを表示手段に表示させる表示制御手段と、を有する。【選択図】 図3

Description

本明細書の開示は、眼科情報処理装置及び眼科情報処理方法に関する。
眼科では被検眼を診断するために、眼底カメラ、光干渉断層計(OCT;Optical Coherence Tomography)、視野計など様々な眼科検査装置よって得られた検査データが用いられ、検査データは画像や数値として検査内容に応じたレイアウトで表示される。複数のモダリティを用いる診断では、同一画面上に複数の眼科検査装置のデータを表示する場合がある。
ここで、特許文献1には、第1の眼科検査ユニットによって得られた被検眼の第1の検査データであって、検査モードが互いに異なる複数の第1の検査データのいずれかを選択する眼科検査情報処理装置が記載されている。このとき、特許文献1には、第2の眼科検査ユニットによって得られた第2の検査データであって、選択された第1の検査データと同一グループとして関連付けられた第2の検査データを第1の検査データと同時に表示部に表示する眼科検査情報装置が記載されている。
特開2016-13210号公報
ところで、例えば、小瞳孔や白内障などの被検眼や、固視の難しい被検者を眼底カメラやOCTで撮影を行った場合、1回の撮影ではうまく撮影できず、同じ撮影条件で複数回の撮影を行うことがある。このような場合には、被検者のコンディションによっては、撮影を途中で終了せざるを得ないことがある。このとき、複数回の撮影で得た画像には、表示する上で最適な画像が含まれていない場合があり得る。
本明細書の開示の目的は、複数の検査データを組み合わせて表示する際に、複数の検査データの中から比較的に適した検査データを選択することである。
本明細書の開示の眼科情報処理装置は、
第1の検査ユニットによって取得された第1の検査データと、前記第1の検査ユニットとは異なる種類の第2の検査ユニットによって取得された複数の第2の検査データと、を記憶する記憶部に記憶し、表示部に出力する眼科情報処理装置であって、
前記第1の検査データの検査情報に基づく第1の選択基準と、前記第2の検査データの品質指標に関する第2の選択基準と、に基づいて、前記複数の第2の検査データから、前記第1の検査データに対応する第3の検査データを決定する決定手段と、
前記第1の検査データと前記決定された第3の検査データとを表示手段に表示させる表示制御手段と、を有する。
本明細書の開示によれば、複数の検査データを組み合わせて表示する際に、複数の検査データの中から比較的に適した検査データを選択することができる。
実施例1に係る眼科情報処理装置を説明する図である。 実施例1に係る眼科情報処理装置に含まれる測定光学系を説明する図である。 実施例1に係る眼科情報処理装置の構成を概略的に示す。 実施例1に係る撮影画面の表示の一例を示す。 実施例1に係る検査データの表示画面の一例を示す。 実施例1に係る検査データの位置合わせ画面の一例を示す。 実施例1に係る眼科情報処理装置の動作のフローチャートの一例を示す。 実施例2に係る眼科情報処理装置の動作のフローチャートの一例を示す。 実施例3に係る眼科情報処理装置の動作のフローチャートの一例を示す。 実施例4に係る眼科情報処理装置の動作のフローチャートの一例を示す。 実施例5に係る眼科情報処理装置の動作のフローチャートの一例を示す。 実施例6に係る眼科情報処理装置の推論モデルの一例を示す。 実施例6に係る眼科情報処理装置の動作のフローチャートの一例を示す。 フレアを説明する図である。
以下、本開示を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本開示が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して表示する場合がある。
なお、本実施例内では、眼底カメラとOCTの複合装置の検査データを扱っているが、これに限定されない。眼底カメラとOCTはそれぞれ別の装置で撮影してもよいし、眼底カメラやOCTではなくAO―SLOや超音波などを用いた検査データでもよい。
<実施例1>
図1から図7を参照して、本実施例の眼科情報処理装置10について説明する。本実施例の眼科情報処理装置10は、眼科撮影装置100で撮影されたOCTの検査データの1つを表示する際に、同じく眼科撮影装置100で撮影された複数の眼底画像の中から適切な画像を選択して表示することができる。
(システムの構成)
図1を参照して、眼科情報処理装置10のシステムの構成を説明する。図1は、本実施例に係る眼科情報処理装置10の構成を示す図である。図1に示すように、眼科情報処理装置10は、眼科制御処理装置300が、インターフェースを介して眼科撮影装置100、入力部320、表示部310と接続されることにより構成されている。
眼科撮影装置100は、被検眼を計測又は撮影することで検査データを取得する装置で撮影光学系170、ステージ部171及びベース部200を持つ。本実施例の眼科撮影装置100はOCT(第1の検査ユニットの一例)と眼底カメラ(第1の検査ユニットとは異なる種類の第2の検査ユニットの一例)の複合型撮影装置で眼底カメラによる撮影によって眼底写真を検査データとして取得し、OCTによる撮影・計測によって赤外眼底画像及び断層画像を検査データとして取得することができる。撮影光学系170は被検眼の前眼観察画像、眼底写真(可視眼底画像)、赤外眼底画像、断層画像を取得するための光学系である。ステージ部171は、撮影光学系170を上下前後左右に移動可能にする。ベース部200は後述の分光器を内蔵している。
眼科制御処理装置300は、眼科撮影装置100の制御、アライメント動作の制御、断層画像の再構成、眼底写真の画像処理、画像の表示などの実行するコンピュータであり、また撮影プロトコル(撮影パターンなど)、患者情報、過去検査の撮影データや画像データ、計測データなどを記憶する記憶部304を持つ。
入力部320はコンピュータへの指示を行い、具体的にはキーボードとマウスから構成される。表示部310は、例えばモニターから成る。なおタッチパネルを使用する場合は、入力部320の一部または全てが表示部310に内蔵される。
(眼科撮影装置の構成)
本実施例の眼科撮影装置100における撮影光学系170、ステージ部171及びベース部200(分光器)の構成について図2を用いて説明する。
撮影光学系170は、被検眼Eの前眼部Eaの画像や、被検眼Eの眼底Efの2次元正面画像及び断層画像を撮影するための測定光学系で構成されている。以下、撮影光学系170内に配置される各種光学系について説明する。
撮影光学系170では、被検眼Eに対向して対物レンズ101が設置される。対物レンズ101の光軸L1上には、光路分離部の一例として機能する第1ダイクロイックミラー102及び第2ダイクロイックミラー103が配置される。これらダイクロイックミラーによって、対物レンズ101からの光路が、前眼部観察系の光路(光軸L2)、眼底撮影系の光路(光軸L3)、及びOCT光学系の光路(光軸L5)に、波長帯域ごとに分岐される。
第2ダイクロイックミラー103の反射方向の光軸L2上には、レンズ120、プリズム121、絞り122、レンズ123、及びイメージセンサ124が配置される。イメージセンサ124は、赤外域の感度を持つモノクロのセンサである。光軸L2上に配置されるこれらの光学部材等によって前眼部Eaの観察を行うための前眼部観察系が構成される。また、対物レンズ101の近くに前眼部観察用光源125が配置される。前眼部観察用光源125は、赤外光を用いて被検眼Eの前眼部を照明する。
イメージセンサ124は、眼科制御処理装置300に接続される。眼科制御処理装置300は、イメージセンサ124により出力された信号に基づいて前眼観察画像を生成し、前眼観察画像を表示部310に出力したり、記憶部304に記憶させたりすることができる。
第2ダイクロイックミラー103の透過方向の光軸L3上には、穴あきミラー131、撮影絞り132、フォーカスレンズ133、結像レンズ134、第3ダイクロイックミラー135、及びイメージセンサ136が配置される。穴あきミラー131は中央部に開口を有する。フォーカスレンズ133は、眼科制御処理装置300により制御される不図示のモータ等の駆動部によって光軸L3上で移動することができる。眼科制御処理装置300は、駆動部を制御してフォーカスレンズ133を光軸方向に移動させることにより、眼底撮影系の光路を通る光のフォーカスを調整することができる。
光軸L3上の光路は、第3ダイクロイックミラー135によって、イメージセンサ136へ至る光路及び固視灯137へ至る光路に、波長帯域ごとに分岐される。イメージセンサ136は、第3ダイクロイックミラー135の透過方向に配置され、可視光と赤外光とに感度を有する、観察用の動画撮影と静止画撮影を兼ねた眼底正面画像用のセンサである。固視灯137は、第3ダイクロイックミラー135の反射方向に配置され、可視光を発生して被検者の固視を促す。また、眼底撮影系の光路には、眼底撮影に必要な光束をカットするための不図示の絞り等のその他の光学部材が設けられてもよい。
穴あきミラー131の反射方向の光軸L4上には、角膜バッフル140、リレーレンズ141、フォーカス指標ユニット142、レンズ143、及びリングスリット144がこの順で配置される。角膜バッフル140は、中心に遮光点を有する。リングスリット144は、リング状のスリット開口を有する。
フォーカス指標ユニット142は、フォーカスレンズ133を用いたフォーカス合わせの指標を提供する光学部材であり、本実施例では、指標の一例として、スプリット輝線を照射する。本実施例に係るフォーカス指標ユニット142は、フォーカスレンズ133と連動して光軸L4に沿って移動可能なスプリット指標部材を有する。また、スプリット指標部材は、眼科制御処理装置300により制御される不図示のモータ等の駆動部によって、光軸L4の光路に対して挿抜されることができるように構成されている。
フォーカス指標ユニット142によって照射されたスプリット輝線は、リレーレンズ141を通って、穴あきミラー131で第2ダイクロイックミラー103の側に反射される。穴あきミラー131で反射されたスプリット輝線は、第2ダイクロイックミラー103、第1ダイクロイックミラー102、及び対物レンズ101を介して被検眼Eの眼底Efに投影される。眼科制御処理装置300は、眼底部観察画像からスプリット輝線の位置を検出することによってフォーカスのずれ量を算出することができる。
また、光軸L4上には、遮光点を有する遮光部材としての水晶体バッフル145、及び赤外光を透過し可視光を反射する特性を有するダイクロイックミラー146が配置されている。ダイクロイックミラー146の反射方向には、コンデンサレンズ147及び白色LED光源148が配置される。白色LED光源148は、可視光を発する白色LEDが複数個配置された撮影用光源である。ダイクロイックミラー146の透過方向には、コンデンサレンズ149及び赤外LED光源150が配置される。赤外LED光源150は、赤外の定常光を発する赤外LEDが複数個配置された観察光源である。なお、白色LED光源148及び赤外LED光源150は、眼科制御処理装置300によって駆動を制御される。
対物レンズ101、ダイクロイックミラー146、これらの間の光学部材、及びコンデンサレンズ147,149により、眼底Efを照明する照明光学系が構成される。照明光学系を介して、白色LED光源148、又は赤外LED光源150からの光により被検眼Eの眼底Efを照明することができる。
第1ダイクロイックミラー102の反射方向の光軸L5上には、レンズ151、ミラー152、OCTXスキャナ153-1、OCTYスキャナ153-2、フォーカスレンズ154、及びレンズ155が配置される。OCTXスキャナ153-1とOCTYスキャナ153-2は、例えば、ガルバノミラー等の偏向手段より構成され、測定光を被検眼Eの眼底Ef上で走査する走査部として機能する。さらに、OCTXスキャナ153-1とOCTYスキャナ153-2とは、その中心位置付近が、被検眼Eの瞳の位置と、光学的な共役関係となっている。なお、図1において、OCTXスキャナ153-1と、OCTYスキャナ153-2との間の光路は紙面内において構成されているが、実際は紙面垂直方向に構成されている。また、測定光を走査する走査部は、一枚で2次元方向に光を偏向することができるMEMSミラー等を用いて構成されてもよい。
本実施例では、OCTXスキャナ153-1は、測定光をX方向に走査することができ、OCTYスキャナ153-2は、測定光をX方向に直交するY方向に走査することができる。なお、本実施例では、X方向を主走査方向、Y方向を副走査方向とし、3Dスキャンを行う例について述べるが、走査方向はこれに限られない。3Dスキャンやラスタースキャンにおける主走査方向と副走査方向は互いに交差する方向であればよく、例えば、Y方向を主走査方向、X方向を副走査方向としてもよい。また、互いに交差する、X方向及びY方向の成分を有する斜め方向を主走査方向及び副走査方向としてもよい。また、スキャンパターンは3Dスキャンに限られず、例えば、ラジアルスキャンや、クロススキャン、サークルスキャン、ラスタースキャン等であってもよい。
フォーカスレンズ154は、眼科制御処理装置300により制御される不図示のモータ等の駆動部によって光軸L5上で移動することができる。眼科制御処理装置300は、駆動部を制御してフォーカスレンズ154を光軸方向に移動させることにより、OCT干渉系の光路を通る測定光のフォーカスを調整することができる。
測定光のフォーカス調整は、光源として作用する光ファイバー156-2のファイバー端から出射する測定光を眼底Ef上に結像するように行われる。ここで、光ファイバー156-2のファイバー端は被検眼Eの眼底Efと光学的な共役関係を有する。フォーカス調整部として機能するフォーカスレンズ154は、測定光の光源となるファイバー端と、走査部として機能するOCTXスキャナ153-1及びOCTYスキャナ153-2との間に配置されている。このため、フォーカスレンズ154を用いたフォーカス調整によって、ファイバー端から出射された測定光の像を被検眼Eの眼底Efに結像させることができ、且つ、眼底Efからの戻り光を光ファイバー156-2に効率良く戻すことができる。
次に、測定光源157からの光路と、参照光学系、分光器200の構成について説明する。測定光源157は、測定光路(OCT干渉系の光路)に入射させる測定光を得るための光を発する光源である。本実施例では、測定光源157として、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)を用いる。測定光源157より出射される光の中心波長は880nm、波長幅は約60nmである。ここで、波長幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。また、光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等を用いることもできる。測定光の中心波長は、例えば、眼を測定することを鑑みて、近赤外光を用いることができる。また、OCT干渉系の光路(光軸L5)、前眼観察光路(光軸L2)、及び眼底撮影系の光路(光軸L3)の各光路で使用される波長について、ある程度波長差を設ける必要がある。本実施例では、これらの観点から、SLDの波長として上記の波長を選択した。
測定光源157から出射された光は、光ファイバー156-1を介して光カプラー156に導かれる。光カプラー156に導かれた光は、該光カプラー156により光ファイバー156-2側に向かう測定光と、光ファイバー156-3側に向かう参照光とに分割される。ここで、光カプラー156は、測定光源157からの光を測定光と参照光に分割する分割器の一例として機能する。また、光ファイバー156-1~4は、光カプラー156に接続されて一体化しているシングルモードの光ファイバーである。
本実施例では、OCT光学系における測定光は、光ファイバー156-2のファイバー端を光源として出射される。測定光は上述したOCT光学系の光路を通じ、撮影対象である被検眼Eの眼底Efに照射され、網膜による反射や散乱により同じ光路を通じて再び光カプラー156に到達する。
一方、参照光は、光ファイバー156-3、レンズ158、及び測定光と参照光との分散を合わせるために挿入された分散補償用ガラス159を介して参照ミラー160に到達し、反射される。参照ミラー160に反射された参照光は同じ光路を戻り、再び光カプラー156に到達する。
再度光カプラー156に至った参照光と測定光(戻り光)とは、光カプラー156によって合波される。ここで、測定光の光路長と参照光の光路長とがほぼ同一となったときに、この合波によって各々の光による干渉を生じる。参照ミラー160は、眼科制御処理装置300により制御される不図示のモータ等の駆動部によって参照光の光軸方向に位置を調整可能に保持される。このような駆動部を用いることにより、参照光の光路長を、被検眼Eによって変わる測定光の光路長に対して合わせることが可能である。得られた干渉光は、光ファイバー156-4を介して分光器200に導かれる。
分光器200には、レンズ201、回折格子202、レンズ203、及びラインセンサ204が設けられている。光ファイバー156-4から出射された干渉光は、レンズ201を介して略平行光となった後、回折格子202で分光され、レンズ203によってラインセンサ204上に結像される。ラインセンサ204における各素子は、受光した光に応じた信号(干渉信号)を眼科制御処理装置300に出力する。眼科制御処理装置300は、後述する画像取得部303によりラインセンサ204から出力された信号を取得し、所定のタイミングにてサンプリングし、所定の信号処理を施して断層画像を生成することができる。
なお、測定光源157、光カプラー156、光ファイバー156-1~4、レンズ158、分散補償用ガラス159、参照ミラー160、及び分光器200によってマイケルソン干渉計が構成されている。本実施例では、干渉計としてマイケルソン干渉計を用いているが、マッハツェンダー干渉計を用いてもよい。
眼科撮影装置100には、撮影光学系170が更に設けられている。撮影光学系170には、眼科制御処理装置300により制御される不図示の3つのモータが含まれている。眼科制御処理装置300は、ステージ部171の駆動を制御することで、撮影光学系170を3次元(X、Y、Z)方向に移動させることができる。これにより、眼科制御処理装置300は、被検眼Eに対して撮影光学系170のアライメントを行うことができる。
(眼科制御装置の構成)
次に図3を参照して、本実施例の眼科制御処理装置300の構成を説明する。図3は眼科制御処理装置300の構成を概略的に示す。眼科制御処理装置300は眼科撮影装置100及び入力部320、表示部310と接続されており、撮影制御部301、画像取得部303、記憶部304、表示制御部302、決定部305が設けられている。
撮影制御部301は、眼科撮影装置100を制御することで、撮影アライメントの調整や撮影の実施、撮影された前眼観察画像、赤外眼底画像、眼底写真や断層画像の信号データの取得などを行う。撮影の内容については、記憶部304からOCTと眼底カメラの撮影プロトコルやシーケンスなどの撮影情報を読み込んで実施し、撮影された断層画像や赤外眼底画像、眼底写真を、撮影プロトコルや撮影アライメントパラメータなどの撮影情報と共に記憶部304に格納する。また、撮影制御部301は、画像取得部303を介して眼科撮影装置100により撮影された断層画像の信号データや眼底カメラの生画像をそれぞれ断層画像及び眼底写真に成形し、検査データとして記憶部304に格納する。なお、撮影アライメント時に必要となる赤外眼底画像や断層画像は、画像取得部303を介して画像を作成し、記憶部304には格納せずに表示制御部302に送られる。さらに、撮影プロトコルがOCTA方式だった場合、撮影制御部301は眼科撮影装置100を制御して同一位置を走査した断層画像の信号データを画像取得部303に送り、画像取得部303にて断層画像の生成に続いてモーションコントラスト画像を生成して記憶部304に格納する。また、画像取得部303は、取得した断層画像の層境界を解析して解析結果も断層画像と共に記憶部304に格納する。一方で、眼底写真の撮影プロトコルの設定で、画像処理画像生成が要求されている場合は、眼底写真の形成に加えて画像処理画像の生成を行い記憶部304に格納する。例えば、カラー眼底写真からレッドフリーやコバルトフィルター撮影画像を疑似的に画像処理で生成するデジタルカラーフィルタ画像処理を、設定に合わせてカラー眼底写真から生成する。また、画像取得部303は眼底写真を解析して白内障であると判断した場合、白内障画像を先鋭化する処理を行い記憶部304に格納する。
表示制御部302は、表示部310に眼科撮影装置100から撮影制御部301を介して受け取った撮影アライメントを行うための前眼観察像や赤外眼底像、断層画像のプレビュー表示や、撮影によって取得した眼底写真、断層画像、赤外眼底像の表示を行う。また、表示制御部302は、操作者が入力320を介して入力された内容に基づいて表示部310の変更や撮影制御部301へ指示を行う。さらに、表示制御部310は、記憶部304に保存している眼底写真、断層画像、赤外眼底画像を操作者が入力部320を介して指定することで表示部310に表示する。
記憶部304は、被検眼の情報(患者の氏名、年齢、性別など)と、撮影した眼科撮影装置100の装置情報(機種の名前、眼底カメラやOCTの種類など)、撮影した眼底写真、断層画像、モーションコントラスト画像、赤外眼底像、撮影情報(左右眼、撮影サイズ、撮影形式、眼底カメラのISO感度・小瞳孔モードやOCTのX軸方向のスキャン数・Y軸方向のスキャン数・同一位置の繰り返し走査回数など)、撮影アライメントパラメータ情報(固視灯位置、撮影位置、赤外眼底像やOCTのフォーカス値、C-Gate位置など)や操作者が設定したパラメータ(輝度コントラスト調整値、写損の判定など)を保持している。
また、画像取得部303で取得する画像は撮影制御部301だけではなく、システムの外部に保存されているデータを取り込んだものも含まれる。その場合は画像だけではなく、被検眼の情報、装置情報、撮影情報、撮影アライメントパラメータ情報、操作者が設定したパラメータ全ての情報及び解析結果も一緒に取得され、記憶部304で保存する。なお、取り込んだデータの状態が古い場合や解析結果に破損がある場合などは、古い情報の更新や取り込んだ眼科情報処理装置10が持つ解析内容での再解析をして、記憶部304に保存する。
決定部305は、表示制御部302で複数の検査データの中から選定が必要な際、表示制御部302から指示を受け、記憶部304に保存された検査データの中から検索、データの分析、検査データの決定を行い、決定した結果を表示制御302に返す。表示制御部302は受け取った結果に基づき記憶部304から検査データを読み込んで表示部310に表示する。
(眼科撮影装置の撮影画面)
次に、図4を参照して、本実施例の表示部310が表示する眼科撮影装置100の撮影を実施するための画面について説明する。図4は、眼科撮影装置100でOCT及び眼底カメラを撮影し、不図示の患者画面で指定された患者の検査データを獲得するための撮影画面400である。なお、図4(a)はOCT撮影画面であり、図4(b)は眼底カメラ撮影画面である。撮影画面400の内部の構成は、OCTと眼底カメラで異なり、撮影プロトコル選択領域410での選択されたプロトコルに応じて、OCTの場合はOCT撮影画面400a、眼底カメラの場合は眼底カメラ撮影画面400bに切り替わる。
撮影プロトコル選択領域410は、OCT撮影画面400aと眼底カメラ撮影画面400bで共通の領域で、左右眼、撮影プロトコル、固視灯の種類などを設定することができる。なお、撮影プロトコルは事前に設定された撮影方式(個別撮影・自動シーケンス撮影など)及び1つ以上の撮影パターン(撮影ユニット(眼底カメラ・OCT)、モード(眼底カメラユニットの場合はカラー撮影・FAF撮影など、OCTユニットの場合はクロススキャン・マルチクロススキャン・3Dスキャン・OCTAスキャンなど)、撮影サイズ、固視灯初期位置など)を持ち、操作者は1つ以上の撮影プロトコルの中から所望の撮影プロトコルを選択できる。撮影方式が個別撮影の場合は、選択した撮影プロトコルに設定されている撮影パターンから、実施する撮影パターンを選択することができ、撮影パターンの撮影ユニットがOCTか眼底カメラかで撮影画面が切り替わる。撮影方式が自動シーケンス撮影の場合は、シーケンスの最初の撮影パターンとなる撮影ユニットの撮影画面が表示される。
OCT撮影画面400aは前眼プレビュー420、眼底プレビュー430a、OCTプレビュー450を持ち、眼科撮影装置100から取得した前眼観察像、赤外眼底像、断層画像を表示する。撮影制御部301は、前眼観察像から奥行きを含めた瞳孔位置、赤外眼底像からフォーカス位置とスキャン位置、断層画像からコヒーレンスゲート位置を調整することで撮影アライメントを実施する。撮影アライメントは自動アライメントと手動アライメントがある。個別撮影方式の時は開始ボタン440の押下時に瞳孔位置、フォーカス位置、コヒーレンスゲート位置の順に撮影制御部301による自動アライメントが実施される。その後、操作者による手動アライメントが可能となり、手動アライメント後に撮影ボタン441を押下することで、選択されている撮影パターンの撮影を実行する。自動シーケンス撮影の場合は開始ボタン440の押下後、個別撮影方式同様に撮影制御部301が自動アライメントを行った後、選択された撮影プロトコルに設定された撮影パターンの順に撮影制御部301が続けて撮影まで実施する。なお、次の撮影パターンで固視灯位置が変わる場合など、再度アライメントが必要となる場合は、自動アライメントを再実施してから次の撮影を実施する。自動シーケンス撮影では、不図示の一時停止ボタンを押すことで、手動アライメント可能状態に移行し、操作者は手動でアライメントを実施後に自動シーケンス撮影を再開することできる。
前眼プレビュー420は、眼科撮影装置100から取得した前眼観察像が表示される。操作者は眼科撮影装置100の不図示の顎受け部を顎受け位置調整ボタン421を押すことで被検眼Eの上下位置を調整できる。また、操作者は前眼プレビュー420上の上下左右ボタンや奥行き調整ボタン422を操作することで、眼科撮影装置100のステージ部171を動作させ、被検眼Eに対する撮影光学系170の位置を調整することができる。前眼プレビュー420上には、瞳孔ガイド位置を示すサークルマーク、撮影光軸の中心を示すプラスマーク、瞳孔中心目標位置を示すドットマークが示されており、操作者は各マークを参考に顎受け及び撮影光学系170の位置調整を行うことで瞳孔位置を決定する。なお、光軸中心を除いたマークは、固視灯位置や白内障などの被検眼Eの状態に合わせて位置が変更されてもよい。さらに、撮影制御部301は前眼トラッキング機能を有しており、前眼観察像から検出した瞳孔位置から被検眼Eの移動量を算出し、ステージ部171を動作させることで自動アライメントまたは手動アライメントで決定した瞳孔位置を維持することができる。
眼底プレビュー430aは、眼科撮影装置100から取得した赤外眼底像が表示される。操作者は、フォーカス調整部431を操作することで、フォーカス位置を変更することができる。なお、フォーカス調整部431では眼底観察像及びOCTのフォーカス両方の調整を行うことができる。またフォーカス調整部431の自動フォーカス調整ボタンを押すことで、撮影制御部301はフォーカス位置の自動調整を実施する。また、眼底プレビュー430a上には固視灯位置が示されており、選択された撮影パターンの初期固視灯位置に配置される。操作者は眼底プレビュー430a上の固視灯マークを動かすことで、被検眼の固視位置を変更することができる。さらに、眼底プレビュー430a上には、断層画像の取得する位置や範囲を示すスキャンパターンが表示されている。操作者は眼底プレビュー430a上のスキャンパターン上の操作又は、眼底プレビュー用ボタン領域432a内にある編集用のボタンを使用することで、スキャンパターンの位置、サイズ、傾き、スキャン間隔を変更することができる。なお、撮影制御部301は眼底トラッキング機能を有しており、赤外眼底像から眼底の動きを検出して、指定されたスキャンパターンの位置を維持することができる。なお、眼科撮影装置100によっては、フォーカス位置によって、赤外眼底像の寸法が変わる可能性がある。その場合、画像取得部303でフォーカス位置によって眼底プレビュー430aでの表示内容が変わらないように画像を拡縮してもよい。これにより固視灯やスキャンパターンも、フォーカス位置を変更しても維持されるようになる。さらに、撮影制御部301は自動露出(AE:Auto Exposure)機能を有しており、取得された赤外眼底像から画像の明るさが調整される。また、取得される赤外眼底像のコントラストが悪い場合は、フォーカス調整が視認しやすいようにコントラストを自動調整してもよい。
OCTプレビュー450は、眼科撮影装置100から取得したOCTの信号データを、画像取得部303で画像化した断層画像が表示される。操作者は、コヒーレンスゲート調整部451を操作することで、撮影制御部301が眼科撮影装置100内のコヒーレンスゲート位置を動かし、取得する断層画像の深さ方向の位置を調整することができる。またコヒーレンスゲート調整部451の自動コヒーレンスゲート調整ボタンを押すことで、撮影制御部301はコヒーレンスゲート位置の自動調整を実施する。なお、OCTプレビュー450では表示されている断層画像に基づいた、品質指標が表示される。品質指標は、例えばOCTの信号データの信号強度や画像化した断層画像の明るさ、ノイズ量から算出される。
操作者は、前眼プレビュー420、眼底プレビュー430a、OCTプレビュー450での各アライメント内容及び品質指標を基に、撮影ボタン441を押下することで撮影制御部301にOCTの撮影を指示する。撮影制御部301は選択されている撮影パターンの内容を元に断層画像を取得すると共に、赤外眼底画像も取得する。取得した断層画像及び赤外眼底画像は不図示の撮影結果確認画面に表示され、操作者は撮影の成功・失敗を入力することができる。撮影制御部301は操作者の撮影・失敗の選択結果と共に、OCTの検査データとして断層画像・断層画像の品質指標・赤外眼底画像・撮影情報・撮影アライメントパラメータ情報を記憶部304に保存する。
眼底カメラ撮影画面400bは前眼プレビュー420、眼底プレビュー430b、撮影結果確認領域460を持ち、眼科撮影装置100から取得した前眼観察像、赤外眼底像、眼底写真を表示する。眼底カメラでもOCT撮影画面400aと同様に撮影アライメントを実施するが、瞳孔位置及びフォーカス位置のみであり、スキャン位置及びコヒーレンスゲート位置の調整は不要である。
前眼プレビュー420は、OCT撮影画面400aと共通の機構であり、前眼観察像や操作方法、アライメント方法は同じである。ただし、眼底カメラでは前眼アライメントによる被検眼Eと撮影光学系170の位置関係により、眼底写真に角膜フレアと呼ばれる周辺部の高輝度領域が入るため、眼底カメラでは自動アライメントやトラッキング機能の精度をOCTよりも厳しく設定してもよい。
眼底プレビュー430bでは、眼科撮影装置100から赤外眼底像を取得し、画像取得部303でマスクを反映して表示する。なお、フォーカス位置の調整方法はOCT撮影画面400aの眼底プレビュー430aと同じである。なお、フォーカス位置による眼底観察像の拡縮処理やAE機能及びコントラスト自動調整もOCT撮影画面400a同様に実施してもよいが、マスク処理の後に拡縮処理を行うことが望ましい。また、眼底プレビュー430bにも固視灯マークが表示され、OCT撮影画面400aと同様の操作で、被検眼の固視位置を変更できる。眼底カメラ撮影画面400bでの眼底プレビュー用ボタン領域432bでは小瞳孔モードの切り替え、撮影光量、撮影サイズ、ISO感度、撮影倍率、色味補正などの眼底写真の撮影パラメータを変更することができる。なお、小瞳孔モードや撮影倍率の変更により、眼底プレビュー430b上で撮影指標が表示され、操作者及び撮影制御部301は指標を基に、アライメント位置および撮影タイミングを調整する。
操作者は、前眼プレビュー420、眼底プレビュー430bでの各アライメント内容を基に、撮影ボタン441を押下することで撮影制御部301に眼底カメラの撮影を指示する。撮影制御部301は、選択された撮影パターンの内容及び撮影プレビュー用ボタン領域432bで設定されている撮影パラメータを基に撮影を実行する。撮影制御部301は撮影された画像を画像取得部303にてマスク処理を行った画像を眼底写真として取得し、撮影結果確認領域460に表示され、操作者は撮影の成功・失敗を入力することができる。撮影情報・撮影アライメントパラメータ情報と共に眼底カメラの検査データとして記憶部304に保存する。なお、予め輝度・コントラスト・ガンマ値・各色調の初期値の変更をしている場合は、マスク処理の前に画像処理を行う。さらに、選択された撮影パターンの設定に、デジタルカラーフィルタ画像処理画像などの生成設定がされている場合は、画像取得部303が記憶部304に保存した眼底写真から指定の画像処理を実施した画像を生成し記憶部304に保存する。なお、自動シーケンス撮影では撮影制御部301が、自動撮影を自動アライメント後に行う。その際、前眼プレビュー420での前眼トラッキング機能からの状態で、撮影可能タイミングを判定して撮影を実施する。なお、まばたきによる撮影失敗を防ぐため、まばたきを検知して、撮影可能タイミングの判定の1つとしてもよい。
また、撮影制御部301は撮影アライメントを良好に進める方法として、被検者へのガイド機能を実行してもよい。例えば、撮影アライメントのシーケンスに応じて不図示のスピーカーから音声による固視灯の注視や固視灯位置の変更を促す指示や、まばたきできるタイミングの提示、撮影開始の合図などがある。さらには、被検眼Eの視線方向に固視位置の方向を示す記号や文字を提示することや、撮影のカウントダウンを表示してもよい。音声や文字での提示の場合、予め操作者によって、ガイドを行うための言語の指定や年齢による内容の変更ができてもよい。変更方法としては、操作者による眼科制御処理装置300の設定の変更や患者選択時での選択の変更の他、眼科制御処理装置300が選択された患者の言語、人種、居住地域、生年月日、過去の設定に応じて自動的に変更を行うなどの方法がある。例えば、日本人の患者の場合に日本語を話す音声ガイドを自動的に選択する方法や、選択患者が10歳未満である場合に言葉がわかりやすい表現に変更した音声ガイドを選択する方法がある。また、ガイド機能の実行に合わせて撮影制御部301が眼科撮影装置100の動作するタイミングを変更してもよい。例えば、音声によるガイドの場合、撮影開始を促す音声が読み上げられた後に撮影が開始するように、音声終了と撮影開始を同期する方法や、眼科撮影装置100の一つ前の動作に関連した音声が終了していない場合は、終了するまで待つことで次の動作開始と音声を同期させる方法などがある。例えば、撮影開始する際に、撮影開始のアナウンスを行い、アナウンス終了と同期して撮影開始を実施するなどが挙げられる。さらには、まばたきを促す場合に、音声の読み上げ後に、一定時間待ってから撮影を開始する方法や、まばたきの検知を受けてから撮影を開始する方法でもよい。
(本実施例に係る検査データの表示画面)
図5を参照して、本実施例の表示制御部302が検査データを表示する画面について説明する。図5は、記憶部304に保存された眼底カメラやOCTの検査データを表示する検査データ表示画面500aであり、不図示の患者画面で指定された患者の断層画像を表示することができる。なお、図5(a)は正面画像が赤外眼底画像の場合(赤外眼底画像表示領域521a)であり、図5(b)は正面画像が眼底カメラの画像の場合(眼底写真表示領域521b)である。以下ではOCTの検査データを表示する例を説明する。
検査データ表示画面500aは、検査選択リスト表示領域510と選択検査内容表示領域520を持つ。検査選択リスト表示領域510では、記憶部304に保存されている患者内の検査データがリスト上に並べられる。検査は撮影日、撮影モダリティまたはユニット、左右眼の単位でグルーピングされ、グルーピングされた中の検査は撮影時間順に並べられる。この時、撮影日は降順で撮影時間は昇順で並べられる。操作者が検査選択リスト表示領域510内に表示された検査から1つを選択検査511として選択すると、表示制御部302は選択検査511の画像や撮影情報などの検査データを記憶部304から読み出して選択検査内容表示領域520に表示する。選択検査内容表示領域520では、片眼検査表示、左右眼検査表示、過去検査比較などの目的別の検査表示レイアウトが指定でき、選択されている検査表示レイアウトに応じた画像および検査情報が表示される。選択検査内容表示領域520では画像を表示する領域として、例えばOCTの検査データの場合、赤外眼底画像表示領域521aや断層画像表示領域522があり、それぞれ選択検査511の赤外眼底画像と断層画像が表示される。断層画像は検査データ内にある断層画像の中から少なくとも1つの断層画像が表示でき、赤外眼底画像表示領域521aで示した位置と方向に対応した断層画像が表示される。なお、表示する断層画像はマウススクロールやマウスクリックによって赤外眼底画像表示領域521aで示した位置変更することで切り替えることができる。
なお、表示制御部302は、記憶部304に眼底カメラの検査データがある場合、赤外眼底画像を眼底写真に置き換えて表示することができる。複数検査データ表示画面500bは、検査データ表示画面500aの赤外眼底画像表示領域521aが眼底写真表示領域521bに置き換わったものである。
表示制御部302は選択検査511のOCTの検査データを選択検査内容表示領域520に表示を行う際に、決定部305に、一緒に表示する眼底写真の決定を指示する。その指示を受け、決定部305は、記憶部304に保存された1つ以上の眼底カメラの検査データ内にある眼底写真の中から、選択検査511の検査情報と、眼底写真の品質指標と、を基に表示する眼底写真を決定する。表示制御部302は決定された眼底写真を眼底写真表示領域521bに表示する。この際、眼底写真と選択検査511の赤外眼底画像との位置合わせが行われ、位置合わせ結果に基づいて眼底写真表示領域521bに表示された眼底写真上に断層画像表示領域522の断層画像の位置と方向を表示する。
なお、決定部305は、決定した眼底写真が複数枚ある場合は、不図示の画像選択画面で操作者に画像の決定を促してもよい。また操作者は決定された眼底写真を変更したい場合は、手動で選択し直すことができる。その際、表示制御部302は眼底写真のリストを各眼底写真の検査情報及び画像情報と共に表示する。眼底写真のリストは決定部305で決定した複数枚の眼底写真を強調したり、限定したりできてもよい。
なお、眼科撮影装置100及び撮影制御部301による各検査データの取得は眼科情報処理装置10外で実施して記憶部304に保存したりしてもよい。また、一部のモダリティでの撮影を眼科撮影装置100及び撮影制御301を搭載して、その他の検査データは眼科情報処理装置10外から画像取得部303を介して記憶部304に保存してもよい。また、全ての検査データが画像取得部303によって外部から読み込まれ記憶部304保存してもよい。さらには、記憶部304は、ネットワークを介したストレージ上に検査データを保存してもよい。
(眼底写真と赤外眼底画像の位置合わせ画面)
図6を参照して、操作者による眼底写真と赤外眼底画像の位置合わせを行う位置合わせ画面600を説明する。位置合わせ画面600は、操作者又は決定部305が決定した眼底写真と、選択検査511の赤外眼底画像の位置合わせを行う画面であり、眼底写真の決定時又は、操作者が位置合わせの修正を指示した場合に表示される。
表示制御部302は位置合わせ画面600の画像位置合わせ領域610に赤外眼底画像611と眼底写真612を重ねて表示する。画角の広い画像が奥になるよう、例えば眼底写真612を奥、赤外眼底画像611を手前になるよう表示する。操作者は位置合わせを行うため、赤外眼底画像611の拡大縮小、移動、回転を行い眼底写真612と位置関係を決定する。さらに位置合わせ画面600は、透過率調整部620を持ち、赤外眼底画像611の透過率を変更して、奥の眼底写真612が見えるようにすることで、重畳部分の重なり具合を確認することができる。なお、リセットボタン630を選択することで、位置合わせの編集内容を初期状態に戻すことができる。操作者は、OKボタン640で位置合わせを決定することで、表示制御部302は位置合わせ内容を複数検査データ表示画面500bの眼底写真表示領域521bに反映する。
なお、操作者が位置合わせの修正を指示した場合だけでなく、決定部305又は表示制御部302で決定した眼底写真と赤外眼底画像の位置合わせを行う場合に表示してもよい。位置合わせ画面600の初期状態として、表示制御部302は眼底写真と赤外眼底画像の画像特徴から拡縮・移動・回転を加えた状態で表示してもよい。さらには、操作者が決定した位置合わせ結果を基に、表示制御部302が詳細な位置合わせとして、画像の部分的な変形を含めた処理を行ってもよい。これにより眼底写真と赤外眼底画像それぞれの固視位置の違いや被検眼Eの眼底形状、眼科撮影装置の光学的要因などによって、眼底写真と赤外眼底画像間で拡縮・移動・回転だけでは一致しない部分も含めて位置合わせを行うことができる。
(本実施例に係る選択されたOCT検査に表示する眼底写真の決定フロー)
次に図7を参照して本実施例に係るOCT検査データ表示時に、眼底カメラ検査データの中から一緒に表示する眼底写真を決定するフローについて説明する。図7は本実施例に係る眼底写真決定のための動作のフローチャートを示す。
白内障や、固視が定まらない、眼底像にフレアが入りやすいなどの被検眼Eでは、複数回の眼底カメラ撮影を実施し、途中で断念などして複数枚の撮影結果を検査データとして保存する場合がある。さらには、撮影者が不慣れである場合、最後に撮影された画像が適切ではないこともあり、固視位置や撮影時間だけの情報では決定できない。そのため、表示制御部430は複数検査データ表示画面500bで眼底写真を表示する際、決定部305が眼底写真の品質指標に基づいた選定を行うことでより適切な画像を選択し、眼底写真表示領域521bに表示する。
具体的には、ステップS701で、操作者は検査選択リスト表示領域510から表示する検査データの選択を行う。ここではOCTの検査データが第1検査データとして選択される。
ステップS702では、表示制御部302がステップS701で操作者が選択した選択検査511の検査データを、記憶部304から読み込む。
ステップS703では、表示制御部302が選択検査内容表示領域520に表示する検査データの表示項目を確認する。表示項目は選択された検査データに対応する表示レイアウト及び検査データ内の表示設定情報から確認される。なお、表示レイアウトが複数あり、画面上で切り替えられる場合は、検査選択時のレイアウトとして初期表示として指定されたレイアウトが読み込まれ確認される。
ステップS704では、表示制御部402がステップS703で確認した表示項目の中に、選択検査511のモダリティ又はユニット以外の表示項目となる第2検査データが必要かを確認する。例えば、OCT検査データの表示レイアウトにおいて、眼底写真の表示項目がある場合は、眼底カメラの検査データを第2検査データとして要求される。必要な場合には、決定部305にステップS705以降の実行が指示され、必要ない場合には、ステップS711にて選択検査511の検査データのみの表示が実行される。
ステップS705では、決定部305は、記憶部304に保存されている第2検査データの中から、第1検査データの情報に基づいて、検索範囲を決定する。ここで、検索範囲は、第1の検査データの検査情報に基づく第1の選択基準の一例である。例えば、第1検査データの検査情報として、検査日時・左右眼・固視灯位置を用いて検索する場合、第1検査データの検査日時から24時間以内でかつ、第1検査と同じ左右眼でかつ、固視灯位置が第1検査から1mm以内のカラー撮影の眼底写真といった内容で、検索範囲を決定する。検索する情報の項目及びその範囲は、眼科情報処理装置10で予め決められた内容の他、操作者が事前に設定したものでもよい。また、第1検査データの撮影情報や選択する第2検査のモダリティ又はユニットなどに応じて、検索する内容が切り替わるようにしてもよい。例えば、第1検査データがOCTとして、スキャンサイズが大きい場合は固視灯位置の条件を1mm以内から0.5mm以内に切り替えるなどが挙げられる。
ステップS706では、決定部305は、ステップS705で決定した検索範囲で、記憶部304から第2検査データを検索する。1つの検査データ内に複数の表示対象がある場合は、表示対象物1つ1つが検索範囲かどうかを確認する。例えば、眼底カメラの場合1つの検査データ内に複数の眼底写真がある場合、各眼底写真が検索条件の範囲内かどうかを確認する。決定部305は検索範囲に該当する検査データがあった場合は、記憶部304から該当した検査データを読み込む。
ステップS707で、決定部305は、ステップS706で読み込んだ検査データの有無を確認し、データがある場合はステップS708を実行する。データがない場合、決定部305は表示制御部に表示項目がない旨の結果を返し、ステップS711にて第2検査を表示せずに選択検査511の検査データの表示を実施する。
次にステップ708で、決定部305は、検索された第2検査データに対し、品質指標に基づいた点数付けを行う。ここで、第2の検査データの品質指標に関する点数は、第2の検査データの品質指標に関する第2の選択基準の一例である。品質指標は1つ以上の品質指標に基づいた点数を求め、複数ある場合は、品質指標を合わせたQsumを求める。
Figure 2024077848000002
ここで、qiは1つの各品質指標で求めた点数であり、wiは各品質指標が他の品質指標との比重を表す重みづけとなる。品質指標は、例えば、眼底写真の場合、画像の暗さ、画像のボケ量、画像ノイズ度合い(空間周波数成分の状態)、フレア度合い、まばたき判定などがある。画像の暗さ、画像のボケ量、画像ノイズ度合いはそれぞれの品質指標の基準に応じたアルゴリズムで点数付けを行う。ボケ量がフォーカス位置により生じたものである場合、ボケが生じた位置が周辺か中心かなどを加味した点数付けを行ってもよい。また画像の暗さの指標では、眼底写真の画像の暗さに応じて点数付けが行われるが、画像の特性として画像周辺部にかけて暗くなる傾向や視神経乳頭部や黄斑部・血管部などの高輝度部・低輝度部(所定部分の明るさの状態の一例)があるため、特定の画像の領域や眼底の位置による暗さの点数判定を行ってもよい。さらには、撮影光量が強すぎて画像が明るすぎる場合にも品質点数が下がるような判定も行ってよい。次に、まばたき判定は点数をまばたき有り無しの2択で判定される。まばたきと判定された場合は、品質指標の合計でも点数が低くなるように重みづけwiは他よりも大きく設定することが望ましい。最後に、フレア度合いは、フレア(所定部分の明るさの状態の一例)の映り込み具合やフレアの種類などによって点数付けされる。ここで、フレアについて図14を用いて説明する。眼底画像1400はマスク部分1401と眼底像部分1402がある。マスクは眼底カメラで撮影する画角から外側に移る鏡筒やフレア部分等を隠す役割を持っている。しかし、被検眼Eに対する眼科撮影装置100の位置関係や被検眼Eの瞳孔サイズ、角膜形状によりフレア1403が眼底像部分1402に映り込む場合がある。また、眼科撮影装置100が被検眼Eに近い場合と遠い場合とで異なる種類のフレアが映る。このフレアの種類に関しては色(所定部分の色調の一例)で判別を行う。フレア度合いの品質指標の点数付けでは、フレア映り込みの有無、フレアの映り込んだ面積とフレアの種類を基に点数付けがされる。なお、フレアがマスク部分1401と眼底像部分1402の境目ぎりぎりに映っている時は、フレア自体の輝度が低くぼやけて映るため、品質指標の点数が下がりすぎないよう、フレアの輝度も含めるとなおよい。
次に、ステップS709で、決定部305は、ステップS708で点数付けされた眼底写真の中から、眼底写真表示領域521bの表示に使用する眼底写真を選択する。選択されるデータはステップS708で求められた点数で最も高いものが選ばれ、表示制御部302に渡される。なお、決定部305は表示制御部302を介して全ての眼底写真を点数の高い順に表示し、操作者が選択することで眼底写真表示領域521bの表示に使用する眼底写真を決定してもよい。その際、点数自体を一緒に表示してもよい。
次に、ステップS710で、表示制御部302は、決定部305によって第2検査データの中から選択された眼底写真を用いて、眼底写真表示領域521bの表示する画像を第3検査データとして生成する。眼底写真表示領域521bで表示する内容が眼底写真そのものの場合は、選択された眼底写真をそのまま第3検査データとして表示する。一緒に表示するOCT検査の断層画像の位置を眼底写真上に表示する場合は、第1検査データの撮影位置情報又は一緒に撮影された眼底正面画像、例えば赤外眼底画像を用いて位置合わせを行い、位置合わせ結果を基に眼底写真を変形させた画像を第3検査データとして生成する。他にも、マスク部分の切り取りや断層画像の取得範囲を含む部分にトリミングして拡大した画像を生成してもよい。さらに、被検眼Eが白内障だった場合は、先鋭化処理を行った画像を生成してもよい。
最後にステップS711で、表示制御部302は第1検査データ及びステップS710で生成された第3検査データを用いて、選択検査511の表示を表示部310上に行う。
上述した本実施例によれば、OCTの検査データと一緒に表示する眼底写真を複数ある候補の中からより適切なものを選択し、表示することができる。これにより、固視が安定しない被検眼や白内障の被検眼で複数枚撮影した後に断念した場合でも、複数枚の眼底写真の中のフレアやボケなどの少ない画像が優先的に表示できるため、非常に好ましかった。
なお、ステップ708の品質指標に基づいた点数付けは、品質指標の合計であったがこれに限らない。初期点数から品質指標のマイナス点から引いていく減点方式や、各点数付けを0.0から1.0の数値として、掛け合わせてQmultiplyを求める乗算方式でもよい。
Figure 2024077848000003
乗算方式の場合、例えば、まばたき判定や操作者が予め指示した撮影失敗による写損判定の画像を0.0とすることで、まばたき画像や写損画像を全て0.0の結果にすることができ、他の品質指標に影響されることなく候補として除外できるため、非常に有用であった。なお、これら複数の方式を組み合わせて算出してもよい。例えば、画像の暗さで基準の点数を付けて、画像のボケ量、画像ノイズ度合い、フレア度合いを減点方式にし、まばたき判定を最後に乗算方式で掛け合わせることで、各品質指標の性質に合わせた点数を算出でき好ましかった。なお、第2の検査データは、写損か否かに関する情報を含んでもよい。
<実施例2>
本実施例では、第1検査と一緒に第2検査データを表示する際に、検索された第2検査データに適切なデータがない場合は表示を行わない時の、決定部305の第3検査データの決定フローについて説明する。固視が安定しない被検眼や白内障の被検眼での場合、OCTの撮影は行って、眼底カメラは複数枚撮影後に断念し、別の機会とする場合がある。その際、OCT検査と一緒に表示する適切な画像が1枚もない場合があるため、表示しないことが望ましいことがある。
(本実施例に係る適切な眼底写真が無い場合には表示しない決定を含むフロー)
図8を参照して、検索された眼底写真の中に適切な眼底写真が無い場合の決定部305の決定フローについて説明する。図8は本実施例に係る眼底写真決定のための動作のフローチャートを示す。
全ての眼底写真が適切ではない場合、全ての眼底写真の品質指標に基づいた点数付けは低く算出される。決定部305は、品指標の点数に対する基準値を持つことで、全ての眼底写真の点数が低い場合は眼底写真を表示せずにOCT検査データのみを表示する。
具体的には、ステップS801からステップS811まではそれぞれ図7のステップS701からステップS711と同じ内容である。ただし、ステップS809で決定部305は、算出された点数から最も点数の高い眼底写真を選択したあと、ステップS812を実行する。
ステップS812で、決定部305は選択された眼底写真の点数が予め定められた基準より高いかどうかを判定する。高い場合はステップS810に進み、選択された眼底写真を用いてOCT検査データと一緒に表示する。基準値より低い場合、決定部305は該当なしとしてステップS811に進み、表示制御部302がOCTの検査データのみを表示する。なお、基準値は眼科情報処理装置10が予め設定したものでも、操作者によって事前に決定されているものでもよい。さらに、被検眼Eの患者情報の過去の診断結果に応じて基準値が変動させてもよい。
上述した本実施例によれば、検索された全ての眼底画像が適切ではない場合、表示を行わずにOCT検査データのみを表示することができる。これにより、操作者が不適切な眼底写真を表示後に手動で非表示にする手間がなく、OCT検査データの観察を行うことができるため好ましかった。
なお、本実施例では最も点数の高い眼底写真と基準値を比較して眼底写真の決定を行ったが、操作者が基準値を超える全ての眼底写真から選択してもよい。その場合ステップS808にて点数付けを行ったあとステップS812に進み、決定部305が基準値を超える全ての眼底写真を選択する。その際、1枚も該当しない場合はステップS811に進む。基準値を超える眼底写真がある場合、決定部305は表示制御部302を介して基準値を超える全ての眼底写真を表示する。操作者が表示された眼底写真の中から選択した場合はステップS810にて、表示制御部304が選択した眼底写真から第3検査を決定する。選択しない場合はステップS811に進み、OCT検査データのみを表示する。これにより、操作者は適切と判断された基準値以上のものから対象を選択できるようになり、非常に好ましかった。
<実施例3>
本実施例では、第2検査データの中に適切なデータがない場合、第2検査データ以外の検査データとして第4検査データを使用するフローについて説明する。OCTの検査データを表示する適切な眼底写真が無く、眼底写真表示領域521bに何も表示されない場合、断層画像表示領域522に表示する断層画像の位置を示すことができなくなる。そのため、眼底写真が無い場合、その代わりとなるデータを表示することが望ましい。
(本実施例に係る適切な眼底写真が無い場合には表示しない決定を含むフロー)
図9を参照して、検索された眼底写真の中に適切な眼底写真が無い場合に決定部305が代わりとなるデータを選択するフローについて説明する。図9は本実施例に係る代わりとなる第4検査データの選択を含めた眼底写真の決定のための動作のフローチャートを示す。本実施例では第1検査データに含まれる赤外眼底画像が表示される例で説明する。
具体的には、ステップ901からステップS911まではそれぞれ図8のステップS801からステップS811と同じ内容である。
ステップS912で、決定部305は、全ての眼底写真の点数が基準値より高い場合はステップS910で表示制御部302が選択された眼底写真を用いてOCT検査データと一緒に表示し、基準値より低い場合はステップS913に進む。
ステップS913で、決定部305は、適切な眼底写真が無いため、眼底写真以外の対象としてOCT検査内にある赤外眼底画像を選択し、ステップS910へ進む。表示制御部302はステップ910で、赤外眼底画像から表示する第3検査データを決定する。
上述した本実施例によれば、適切な眼底写真が無い場合でも赤外眼底画像を表示することで、断層画像の位置を示す画像が少なくとも表示されるため好ましかった。
なお、赤外眼底画像以外にもOCTや眼底カメラ以外の検査データを第4検査データの対象としてもよい。また、眼底正面像の模式図といった撮影データ以外の画像を第4検査データの対象としてもよい。模式図は患者データ内に1枚も適切な画像がない場合に、患者を横断して使用できるため有用である。
また、第4検査データの対象となる検査データが複数ある場合は、その中で第2検査データと同様の選択フローを実施してよい。その場合は、第4検査データに合わせた検索範囲と品質指標によって選択される。これにより、第2検査データが無い場合でも、第4検査データの中から適切な画像が選択されるため、非常に好ましかった。
<実施例4>
本実施例では、第2検査データの中に適切なデータがない場合、第2検査データの検索範囲(第1の選択基準の一例)及び基準値(第2の選択基準の一例)を変更するフローについて説明する。OCT検査を行った後、被検者や被検眼Eの状態によって眼底カメラの撮影を断念する場合がある。その際、後日眼底カメラの撮影を実施する場合があるが、OCT検査との検査日時に差異ができてしまい、検索範囲に入らない場合がある。また、被検眼Eが特定の疾病などで、眼底写真が常に暗めに映ってしまう等、全ての眼底写真が常に基準値を超えず、毎回特定の患者では眼底画像が選択されない場合がある。これらの場合を踏まえて、対象が見つからない場合に検索範囲を広げたり基準値を下げたりすることが望ましい。
(本実施例に係る選択する眼底写真が無い場合に検索範囲と基準値を下げるフロー)
図10を参照して、検索範囲に眼底写真が無い場合又は基準値以上の眼底写真が無い場合、決定部305が眼底写真の検索範囲と基準値を変更するフローについて説明する。図10は本実施例に係る検索範囲及び基準値の変更動作のフローチャートを示す。
具体的には、ステップS1001からステップS1013まではそれぞれ図9のステップS901からステップS913と基本的に同じ内容である。ただし、ステップS1007で検索範囲に眼底写真が無かった場合とステップS1012で基準値を超える眼底写真が無かった場合、ステップS1014に移る。また、ステップS1005又はステップS1012は、ステップS1014を通った後に処理内容が変わる。
ステップS1014で、決定部305は、より広い検索範囲(緩和された検索範囲)で検索するかどうかを判定する。検索範囲は予め検索範囲の限界を設定することができる。適切な眼底写真が見つからない場合は、段階的に検索範囲を広げていき適切な眼底写真があるかを確認することができる。本ステップで、決定部305は、眼底写真が見つからなかった現在の検索範囲の中の条件一つ一つを確認して、検索範囲を広げる限界に達していない項目が無いかを確認する。例えば、撮影日時の範囲が限界値を1週間としてあり、現在の検索範囲が24時間以内だった場合は、検索範囲が広げられるとしてステップS1005に進む。ステップS1005で、決定部305は、検索範囲の再度決定を行う。この際、任意の規則に基づいて前回の検索範囲の内容を広げる。例えば、撮影日時が24時間以内だった場合は、48時間以内に再設定する。また、複数の条件がある場合は、どの項目を先に広げるのかというのも判断する。例えば、撮影日時は48時間以内よりも先に固視灯位置が1mm以内にすることが決定されていれば、固視灯位置の条件を先に変更して、検索範囲を決定する。その後、前回と同様に第2検査データの決定を実施する。一方で、検索範囲の各条件が全て限界値に達している又は条件を変更できない設定となっている場合は、ステップS1015に移る。
ステップ1015で、決定部305は、基準値が下げられるかどうかを確認する。決定部305は、検索範囲の条件を広げられない場合、ステップS1012で適切な眼底画像があるかどうかの基準値を下げて確認することができる。基準値も下げる限界値も設定することができ、基準値が限界値に達していない時は、ステップS1012に進む。ステップS1012では、決定部305が基準値を予め設定されている分だけ基準値を下げて(基準値を緩和して)、眼底写真の点数が基準値以上であるかを確認する。一方で、基準値も限界値に達していた場合は、ステップS1013に進み適切な眼底写真がないとして表示を行う。
上述した本実施例によれば、厳しい条件から段階的に適切な眼底写真を見つけることができとても好ましかった。例えば、撮影時間を段階的に広げることで、できるだけ近い日時の表示に十分適した眼底写真が優先的に選択できる。
なお、ステップS1014での検索範囲の確認の後にステップS1015で基準値を確認したが、これに限らない。先に基準値を下げる方法でもよいし、検索範囲と品質基準を交互に変更する方法を取ってもよい。この場合、検索範囲を広げた際に基準値を少し厳しい値に戻し、品質基準を下げた場合は検索範囲を少し厳しい条件に戻す方法を取ることで、1回の変更で範囲が広がりすぎないようにできて、とても有用であった。
また、ステップS1015からステップS1012で品質の基準値を下げて眼底写真の確認を行ったが、基準値を変更する方法として、品質指標の内容や算出方法の変更を行うこともできる。この場合、ステップS1015で変更が可能と判断された場合は、ステップS1008に進み、決定部305は、再度眼底写真で点数付けをしなおす。例えば、品質指標として画像ノイズ度合いにかかる重みづけを小さくしたり、画像ノイズ度合いの中で一定周波数以上の場合は点数が下がらないように変更したり、点数付けの要素から外したりすることで、画像ノイズ度合いによって基準値を下回る可能性を下げることができる。この方法により、適切な眼底写真がみつからない場合に品質指標を要素単位で変更を行うことでき、非常に好ましかった。
<実施例5>
本実施例では、第2検査データを選択する方法として、第1検査データの検査情報との類似度と第2検査データの品質指標に基づいた点数から第2検査データを選択する方法について説明する。眼底写真を選択する際に、点数の低い同日の眼底画像と、品質点数の高い別の日の眼底画像があった場合、OCT検査データの検査情報との類似度と眼底写真の点数の両方を考慮した選択を行うことが適した眼底写真の選択において望ましい。
(本実施例に係るOCT検査情報と眼底写真の品質点数両方から適した眼底写真を選択するフロー)
図11を参照して、各眼底写真のOCT検査の検査情報との類似度と品質指標に基づいた点数から眼底画像の選択を行うフローについて説明する。図10は本実施例に係る眼底写真の選択するためのフローチャートである。
具体的には、ステップS1101からステップS1104まではそれぞれ図7のステップS701からステップS704と同じ内容である。
ステップS1105で、決定部305は、記憶部304から全ての該当する眼底写真を読み込む。ただし、前提条件として患者や右眼や左眼などの限定を行ってよい。
ステップS1106で、決定部305は、各眼底写真の検査情報及び画像情報とOCT検査の検査情報との類似度を算出する。例えば、類似度を求める項目として撮影日時・固視灯位置・画像種類があり、それぞれの類似度を合計したSsumを求める
Figure 2024077848000004
siは検査情報項目との類似度点数で、ziは各検査情報に設けられた重みづけとなる。例えば、撮影日時では、同じ検査日であれば点数が高く、遠い日付ほど低く点数が付けられる。固視灯も同様で同じ固視灯位置であるほど点数が高い。画像の種類に関しては、カラー眼底写真が最も点数が高く、その他の場合は低い点数を設定する。なお、品質指標による点数と同様に、減点方式や乗算方式を用いてもよい。
次にステップS1107において、決定部305は、各眼底写真に対して品質指標に基づいた点数付けを行う。本ステップは図7のステップS708と同じ方法を用いる。
次にステップS1108で、決定部305は、ステップS1106で算出した類似度とステップS1107で算出した品質点数を基に、順位付けを行う。例えば、各点数を足し合わせた点数の高い順番に順位付けを行う。また、類似度と品質点数に重みづけを入れて比重を入れた点数から順位付けや、類似度の高い順に並べた上で同じ類似度同士を品質点数順に並べる方法でもよい。
ステップS1109からステップS1111は、図7のステップS709からステップS711と同じで、順位が最も高い眼底写真を用いて表示制御部302がOCT検査データと共に表示する。
上述した本実施例によれば、OCT検査の検査情報と眼底写真の品質の両方の要素を含んだ優先順位付けができ、適切な眼底写真を選択することができとても好ましかった。
なお、本実施例に加えて、基準値を設けて点数が基準値を満たない場合や、対象となる眼底写真が無い場合は赤外眼底画像などを選択する方法をとってもよい。また、選択された第1検査データの種類によって類似度の算出方法が変わってもよい。例えば、OCT検査データの撮影サイズが小さい場合は固視灯位置に関する類似度に対する重みづけを低く設定することで、固視灯位置は遠くてもOCTの撮影範囲が入りそうな眼底写真の類似度が同等の値になり、品質点数で比較することができ非常に有用であった。
<実施例6>
本実施例では、第2検査データの品質指標に基づく点数付けの方法として、推論モデルを使用した例について説明する。操作者がOCT検査に表示する眼底写真を選択する基準は、画像の暗さやフレアの映り込み具合以外にも多くの要素がある。またフレアの映り込み具合もフレアのパターンに応じて選択が変化するため、様々なケースを含めた画像の点数付けを学習することで、操作者による実際の選択に近い選択が実現できる。
(本実施例に係る眼底画像の品質点数付けの学習方法と推論モデル)
図12を参照して、本実施例での眼底画像の点数付けの推論モデルとその学習方法について説明する。
本実施例での推論モデルとは、ディープラーニングなどの任意の機械学習アルゴリズムに対して、事前に適切な教師データ(学習データ)を用いて学習を行い生成したモデル(学習済みモデル)である。
教師データは、1つ以上の入力データと正解データとのペア群で構成される。本実施例では、眼底写真と、実際に眼底写真の品質に対してつけた点数とのペア群によって構成された教師データを使用する。
具体的には、疾病眼を含む様々な症状を持つ患者に対し最も良い品質の眼底写真から、まばたきが入った眼底写真、フレアが入った眼底写真など様々な眼底写真を用意し、それぞれに対して画像品質としての点数付けを行い、眼底写真と点数のペア群を用意する。
図12は、本実施例の機械学習の学習、及び、推論に使用する畳み込みニューラルネットワーク(CNN)に関する模式図である。本実施例で使用するたたみ畳み込みニューラルネットワーク(CNN)は、入力値群を加工して出力する処理を担う複数の層群によって構成される。本構成には、畳み込み(Convolution)層、ダウンサンプリング(Down Sampling)層、アップサンプリング(Up Sampling)層、合成(Merger)層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタ数、ストライド値、ダイレーション値などのパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、前記フィルタのカーネルサイズを、入力画像の次元数に応じて変更する構成にしてもよい。ダウンサンプリング層は、Max Pooling処理など、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。アップサンプリング層は、線形補間処理など、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。合成層は、ある層の出力値群や画像を構成する画素値群などの値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。なお、CNNを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向の程度が異なる場合があり、出力データも異なってくるため、注意する必要がある。つまり、多くの場合、実施する際の形態に応じて適切なパラメータが異なるため、必要に応じて変更することが望ましい。あるいは、CNNの構成を変更することによって、高画質化の精度向上や、処理時間短縮などの、よりよい特性を得られる場合がある。CNNの構成の変更例として、たとえば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形関数(Rectifier Linear Unit)を用いた活性化層を組み込むなどがある。
機械学習の学習により生成されたモデルを推論モデルと呼ぶ。この推論モデルにデータを入力すると、推論モデルの設計に従ったデータが出力される。例えば、先述の教師データに基づいて学習した推論モデルに、眼底画像を入力すると、品質に関する点数が出力される。
(本実施例に係る推論モデルを使用した品質点数から適した眼底写真を選択するフロー)
図13を参照して、学習によって生成された推論モデルを使用して、眼底画像の選択を行うフローについて説明する。図13は本実施例に係る眼底写真を選択するためのフローチャートである。
具体的には、ステップS1301からステップS1307及びステップS1309からステップS1312は図8のステップS801からステップS807及びステップS809からステップS812と同じ内容である。
ステップS1308において、決定部305は、品質指標に基づく点数付けを用意した推論モデルを用いて獲得する。その後、ステップS1309からステップS1312で獲得した品質点数を用いて適した眼底写真の選択を行い、第3検査データとして表示を行う。
上述した本実施例によれば、推論モデルを用いることで、より実際の選択に近い眼底写真を選択することができとても好ましかった。
なお、本実施例で用いた推論モデルは眼底画像と眼底画像につけた点数のペア群を学習し、点数を基に選択する方法であったが、これに限らない。複数の眼底画像とその中から適切だと判断する眼底画像を示したペア群による学習や、OCT検査データと眼底写真のペア群による学習を行った推論モデルを用意して、入力された複数の眼底写真からどれが適切な眼底写真を選択する方法でもよい。その場合、ステップS1308およびステップ1309を推論モデルが実施するフローとなる。また、複数の推論モデルを使用する方法や推論モデルとそれ以外の点数付けを組み合わせて使用してもよい。例えば、品質指標として画像の暗さ、画像のボケ量、画像ノイズ度合いは画像処理によって点数付けを行い、フレア度合い、まばたき判定はそれぞれフレア度合いに対する点数付け、まばたきに対する点数付けを行ったもので学習を行い生成した推論モデルで点数を獲得するのが挙げられる。これにより、定量的な品質指標と定性的な品質指標とで、点数付けを適した方法で実施することができるため、非常に有用であった。
なお、本実施形態の開示は、以下の構成および方法を含む。
(構成1)
第1の検査ユニットによって取得された第1の検査データと、前記第1の検査ユニットとは異なる種類の第2の検査ユニットによって取得された複数の第2の検査データと、を記憶する記憶部に記憶し、表示部に出力する眼科情報処理装置であって、
前記第1の検査データの検査情報に基づく第1の選択基準と、前記第2の検査データの品質指標に関する第2の選択基準と、に基づいて、前記複数の第2の検査データから、前記第1の検査データに対応する第3の検査データを決定する決定手段と、
前記第1の検査データと前記決定された第3の検査データとを表示手段に表示させる表示制御手段と、
を有する眼科情報処理装置。
(構成2)
前記決定手段は、前記第1の選択基準と、前記第2の選択基準と、に基づいて選択された前記第3の検査データの候補から前記第3の検査データを決定する構成1に記載の眼科情報処理装置。
(構成3)
前記決定手段は、前記第3の検査データの候補の優先順位に基づいて前記第3の検査データを決定する構成2に記載の眼科情報処理装置。
(構成4)
前記決定手段は、前記第3の検査データの候補が選択されない場合に、前記第1の選択基準と前記第2の選択基準との少なくとも1つを緩和して前記第3の検査データを決定する構成2又は3に記載の眼科情報処理装置。
(構成5)
前記決定手段は、前記第1の検査データおよび前記第2検査データとは種類が異なる第4の検査データを前記第3の検査データの候補として選択とする構成2乃至4のいずれか1つに記載の眼科情報処理装置。
(構成6)
前記表示制御手段が前記表示手段に表示した、前記第1の選択基準と前記第2の選択基準との少なくとも1つを緩和して選択された、前記第3の検査データの新たな候補と前記第4の検査データとのうちの少なくとも1つから、操作者による指示に応じて選択された検査データを前記第3の検査データとして決定する構成5に記載の眼科情報処理装置。
(構成7)
前記決定手段は、前記第3の検査データの候補が選択されない場合に、前記第4の検査データを前記第3の検査データの候補として追加する構成5又は6に記載の眼科情報処理装置。
(構成8)
前記第1の検査データは、断層画像であり、
前記第2の検査データは、眼底写真であり、
前記第4の検査データは、赤外眼底画像である構成5乃至7のいずれか1つに記載の眼科情報処理装置。
(構成9)
前記表示制御手段が前記表示手段に表示した前記第3の検査データの候補のうち、操作者による指示に応じて選択された検査データを前記第3の検査データとして決定する構成2乃至8のいずれか1つに記載の眼科情報処理装置。
(構成10)
決定された検査データを変更する変更手段をさらに有し、
前記表示制御手段が前記表示手段に表示した前記第3の検査データを変更する指示を受け付けた場合に、前記第3の検査データの候補のうちの前記表示制御手段が前記表示した第3の検査データとは異なる検査データを前記表示手段に表示させるとともに、該表示された前記第3の検査データの候補から、操作者による指示に応じて選択された検査データを新たな第3の検査データとして決定する構成2乃至9のいずれか1つに記載の眼科情報処理装置。
(構成11)
前記第1の選択基準は、前記第2の検査データの検査日に基づく基準である構成1乃至10のいずれか1つに記載の眼科情報処理装置。
(構成12)
前記第1の検査データおよび前記第2の検査データは、画像データを含み、
前記第2の検査データの検査情報は、前記第1の検査データの画像と前記第2の検査データの画像の類似度に関する情報である構成1乃至11のいずれか1つに記載の眼科情報処理装置。
(構成13)
前記第2の検査データは、眼底画像を含み、
前記決定部は、前記眼底画像における空間周波数成分の状態、前記眼底画像における所定部分の明るさの状態、前記眼底画像における所定部分の色調、前記眼底画像が写損か否か、のうちの少なくとも1つに関する情報を用いて、前記第2の検査データの品質指標に関する点数を前記第2の選択基準として算出する構成1乃至12のいずれか1つに記載の眼科情報処理装置。
(構成14)
前記第2の検査データは、眼底画像を含み、
前記決定部は、複数の眼底画像と該複数の眼底画像の品質指標に関する点数とを含む学習データを用いて学習して得た学習済みモデルに眼底画像を入力することにより、前記第2の検査データの品質指標に関する点数を取得する構成13に記載の眼科情報処理装置。
(構成15)
前記第1の検査データは、断層画像であり、
前記第2の検査データは、眼底写真である構成1乃至14のいずれか1つに記載の眼科情報処理装置。
(方法1)
第1の検査ユニットによって取得された第1の検査データと、前記第1の検査ユニットとは異なる種類の第2の検査ユニットによって取得された複数の第2の検査データと、を記憶する記憶部に記憶し、表示部に出力する眼科情報処理方法であって、
前記第1の検査データの検査情報に基づく第1の選択基準と、前記第2の検査データの品質指標に関する第2の選択基準と、に基づいて、前記複数の第2の検査データから、前記第1の検査データに対応する第3の検査データを決定する工程と、
前記第1の検査データと前記決定された第3の検査データとを表示手段に表示させる工程と、
を有する眼科情報処理方法。
(プログラム)
方法1に記載の眼科情報処理方法をコンピュータに実行させるプログラム。
(その他の実施例)
また、開示の技術は、以下の処理を実行することによっても実現される。即ち、開示の技術は、上述した様々な実施例の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
このとき、プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。

Claims (17)

  1. 第1の検査ユニットによって取得された第1の検査データと、前記第1の検査ユニットとは異なる種類の第2の検査ユニットによって取得された複数の第2の検査データと、を記憶する記憶部に記憶し、表示部に出力する眼科情報処理装置であって、
    前記第1の検査データの検査情報に基づく第1の選択基準と、前記第2の検査データの品質指標に関する第2の選択基準と、に基づいて、前記複数の第2の検査データから、前記第1の検査データに対応する第3の検査データを決定する決定手段と、
    前記第1の検査データと前記決定された第3の検査データとを表示手段に表示させる表示制御手段と、
    を有する眼科情報処理装置。
  2. 前記決定手段は、前記第1の選択基準と、前記第2の選択基準と、に基づいて選択された前記第3の検査データの候補から前記第3の検査データを決定する請求項1に記載の眼科情報処理装置。
  3. 前記決定手段は、前記第3の検査データの候補の優先順位に基づいて前記第3の検査データを決定する請求項2に記載の眼科情報処理装置。
  4. 前記決定手段は、前記第3の検査データの候補が選択されない場合に、前記第1の選択基準と前記第2の選択基準との少なくとも1つを緩和して前記第3の検査データを決定する請求項2に記載の眼科情報処理装置。
  5. 前記決定手段は、前記第1の検査データおよび前記第2検査データとは種類が異なる第4の検査データを前記第3の検査データの候補として選択とする請求項2に記載の眼科情報処理装置。
  6. 前記表示制御手段が前記表示手段に表示した、前記第1の選択基準と前記第2の選択基準との少なくとも1つを緩和して選択された、前記第3の検査データの新たな候補と前記第4の検査データとのうちの少なくとも1つから、操作者による指示に応じて選択された検査データを前記第3の検査データとして決定する請求項5に記載の眼科情報処理装置。
  7. 前記決定手段は、前記第3の検査データの候補が選択されない場合に、前記第4の検査データを前記第3の検査データの候補として追加する請求項5に記載の眼科情報処理装置。
  8. 前記第1の検査データは、断層画像であり、
    前記第2の検査データは、眼底写真であり、
    前記第4の検査データは、赤外眼底画像である請求項5に記載の眼科情報処理装置。
  9. 前記表示制御手段が前記表示手段に表示した前記第3の検査データの候補のうち、操作者による指示に応じて選択された検査データを前記第3の検査データとして決定する請求項2に記載の眼科情報処理装置。
  10. 決定された検査データを変更する変更手段をさらに有し、
    前記表示制御手段が前記表示手段に表示した前記第3の検査データを変更する指示を受け付けた場合に、前記第3の検査データの候補のうちの前記表示制御手段が前記表示した第3の検査データとは異なる検査データを前記表示手段に表示させるとともに、該表示された前記第3の検査データの候補から、操作者による指示に応じて選択された検査データを新たな第3の検査データとして決定する請求項2に記載の眼科情報処理装置。
  11. 前記第1の選択基準は、前記第2の検査データの検査日に基づく基準である請求項1に記載の眼科情報処理装置。
  12. 前記第1の検査データおよび前記第2の検査データは、画像データを含み、
    前記第2の検査データの検査情報は、前記第1の検査データの画像と前記第2の検査データの画像の類似度に関する情報である請求項1に記載の眼科情報処理装置。
  13. 前記第2の検査データは、眼底画像を含み、
    前記決定部は、前記眼底画像における空間周波数成分の状態、前記眼底画像における所定部分の明るさの状態、前記眼底画像における所定部分の色調、前記眼底画像が写損か否か、のうちの少なくとも1つに関する情報を用いて、前記第2の検査データの品質指標に関する点数を前記第2の選択基準として算出する請求項1に記載の眼科情報処理装置。
  14. 前記第2の検査データは、眼底画像を含み、
    前記決定部は、複数の眼底画像と該複数の眼底画像の品質指標に関する点数とを含む学習データを用いて学習して得た学習済みモデルに眼底画像を入力することにより、前記第2の検査データの品質指標に関する点数を取得する請求項13に記載の眼科情報処理装置。
  15. 前記第1の検査データは、断層画像であり、
    前記第2の検査データは、眼底写真である請求項1に記載の眼科情報処理装置。
  16. 第1の検査ユニットによって取得された第1の検査データと、前記第1の検査ユニットとは異なる種類の第2の検査ユニットによって取得された複数の第2の検査データと、を記憶する記憶部に記憶し、表示部に出力する眼科情報処理方法であって、
    前記第1の検査データの検査情報に基づく第1の選択基準と、前記第2の検査データの品質指標に関する第2の選択基準と、に基づいて、前記複数の第2の検査データから、前記第1の検査データに対応する第3の検査データを決定する工程と、
    前記第1の検査データと前記決定された第3の検査データとを表示手段に表示させる工程と、
    を有する眼科情報処理方法。
  17. 請求項16に記載の眼科情報処理方法をコンピュータに実行させるプログラム。
JP2022190043A 2022-11-29 2022-11-29 眼科情報処理装置 Pending JP2024077848A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022190043A JP2024077848A (ja) 2022-11-29 2022-11-29 眼科情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022190043A JP2024077848A (ja) 2022-11-29 2022-11-29 眼科情報処理装置

Publications (1)

Publication Number Publication Date
JP2024077848A true JP2024077848A (ja) 2024-06-10

Family

ID=91377238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022190043A Pending JP2024077848A (ja) 2022-11-29 2022-11-29 眼科情報処理装置

Country Status (1)

Country Link
JP (1) JP2024077848A (ja)

Similar Documents

Publication Publication Date Title
JP2020529226A (ja) 眼科撮像の改良のためのシステムおよび方法
US20220160228A1 (en) A patient tuned ophthalmic imaging system with single exposure multi-type imaging, improved focusing, and improved angiography image sequence display
US20090141237A1 (en) Integrated Optical Coherence Imaging Systems for Use in Ophthalmic Applications and Related Methods and Computer Program Products
KR20110086004A (ko) 안구 촬영 장치 및 방법
US20160100754A1 (en) Ophthalmic apparatus and ophthalmic apparatus control method
WO2021029231A1 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
WO2015016291A1 (en) Photography apparatus and photography method
JP7381671B2 (ja) スリットランプ顕微鏡
JP5073377B2 (ja) 眼科測定装置
JP6100027B2 (ja) 撮像装置の制御装置、撮像装置の制御方法、およびプログラム
JP5830264B2 (ja) 眼科撮影装置
JP2022105634A (ja) スリットランプ顕微鏡及び眼科システム
JP2021101965A (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2019208852A (ja) 眼科画像処理装置、および眼科画像処理プログラム
JP6407631B2 (ja) 眼科装置
JP2021097989A (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP6645003B2 (ja) 眼科検査情報処理装置、及び眼科検査情報処理プログラム
JP7266375B2 (ja) 眼科装置及びその作動方法
JP2024077848A (ja) 眼科情報処理装置
JP2020039490A (ja) 画像処理装置、医用診断システム、学習済モデル、画像処理方法、及びプログラム
KR102263830B1 (ko) 자동 초점 기능을 이용한 안저 영상 촬영 장치
WO2023203992A1 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
US11219363B2 (en) Ophthalmic apparatus and ophthalmic optical coherence tomography method
JP2022053081A (ja) 眼底カメラ及びその制御方法
JP2021145914A (ja) 眼科装置及びその作動方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213