JP7413147B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7413147B2
JP7413147B2 JP2020089180A JP2020089180A JP7413147B2 JP 7413147 B2 JP7413147 B2 JP 7413147B2 JP 2020089180 A JP2020089180 A JP 2020089180A JP 2020089180 A JP2020089180 A JP 2020089180A JP 7413147 B2 JP7413147 B2 JP 7413147B2
Authority
JP
Japan
Prior art keywords
image
map
data
images
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020089180A
Other languages
English (en)
Other versions
JP2021184169A (ja
Inventor
一将 田中
好彦 岩瀬
弘樹 内田
治 嵯峨野
律也 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020089180A priority Critical patent/JP7413147B2/ja
Publication of JP2021184169A publication Critical patent/JP2021184169A/ja
Application granted granted Critical
Publication of JP7413147B2 publication Critical patent/JP7413147B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本明細書の開示は、画像処理装置、画像処理方法、及びプログラムに関する。
昨今、コンピュータで医用画像などの医用情報を解析して、得られた結果を診断の補助として利用する技術への期待が高まっている。特許文献１には、眼底写真を機械学習させて、緑内障をはじめとする目の症状に関する情報を推定する手法が開示されている。また、光干渉断層撮影法（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を用いた装置（ＯＣＴ装置）により、測定対象の断層画像を非侵襲で取得することができることが知られている。
国際公開２０１９－０７３９６２号公報
眼底写真などから緑内障などの疾患を推定する機械学習モデルを生成した場合、モデルの推定精度が不十分であると、例えば初期の緑内障などの疾患を見落とす場合がある。そのため、機械学習モデルによる疾患の推定精度の向上が求められる。
本開示の一実施態様に係る画像処理装置は、被検体の医用画像を解析して得た解析マップであって、被検体の少なくとも一部の厚みを示す厚みマップ及び被検体の少なくとも一部の血管密度を示す血管密度マップの少なくとも一方を含む解析マップを画像処理して得た被検体の対称性マップを生成する生成部であって、被検体を異なる時間に撮影して得た複数の医用画像を解析して得た複数の解析マップを画像処理して得た複数の対称性マップ間の相関関係を示す相関マップを生成する生成部と、相関マップを用いた学習により得た学習済モデルを用いて、前記生成した相関マップから推定した疾患の進行に関する推定結果を出力する出力部とを備える。
本開示の少なくとも一実施形態によれば、高精度に疾患を推定できる。
第１実施形態に係るＯＣＴ装置の全体構成の一例を概略的に示す。 第１実施形態に係る画像処理の動作のフローチャートの一例を示す。 第１実施形態に係る対称性マップの生成処理のフローチャートの一例を示す。 第１実施形態に係る幾何補正処理の過程の例を示す。 第１実施形態に係る対称性マップの生成過程の例を示す。 第３実施形態に係る相関マップの生成処理のフローチャートの一例を示す。 第３実施形態に係る相関マップの生成過程の概略図を示す。 第３実施形態に係る機械学習モデルの一例を示す。 第３実施形態に係る機械学習モデルの一例を示す。 変形例２に係る層厚プロファイルの例を示す。 変形例８に係る機械学習モデルの一例を示す。
以下、図面を参照して本発明を実施するための例示的な実施形態を詳細に説明する。図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、各図面において説明上重要ではない構成要素、部材、及び処理の一部は省略して表示する場合がある。
なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施形態及び変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。また、正解データとは、学習データ（教師データ）の出力データのことをいう。
なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
また、本明細書では、ＯＣＴ、眼底カメラ、及び走査型レーザ検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）など各撮影技術（モダリティ）で取得される被検眼の眼底の画像をまとめて「眼底画像」と呼ぶこととする。さらに、本明細書においては、被検体の深さ方向をＺ方向とし、Ｚ方向に垂直な方向をＸ方向とし、Ｚ方向とＸ方向に垂直な方向をＹ方向とする。
（第１実施形態）
以下、本発明の第１実施形態に係る眼科撮影装置の一例である光干渉断層撮影装置（ＯＣＴ装置）１００について、図１乃至図５を参照しながら説明する。本実施形態に係るＯＣＴ装置１００には、図１に例示するように、撮影装置１０１と、制御部１０２と、表示部１０３と、操作部１０４とが設けられている。
撮影装置１０１は、被検眼の医用画像を撮影するための撮影光学系が設けられた装置である。撮影装置１０１に設けられる撮影光学系は、被検眼の断層画像を撮影するための光学系を含んでいればよく、公知のＯＣＴ光学系で構成されてよい。ここで、撮影装置１０１に含まれるＯＣＴ光学系としては、例えば、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ Ｄｏｍａｉｎ ＯＣＴ）やＳＳ－ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）等の任意の種類のＯＣＴ光学系であってよい。また、撮影装置１０１は、ＯＣＴ光学系に加えて、例えば、被検眼の画像を取得するためのＳＬＯ用や眼底カメラ用、前眼部観察用等の光学系を含んでもよい。
制御部１０２には、取得部１２１、画像処理部１２２、推定部１２３、駆動制御部１２４、表示制御部１２５、及び記憶部１２６が設けられている。なお、制御部１０２は、プロセッサーやメモリ等を含む一般的なコンピュータを用いて構成することができるが、ＯＣＴ装置の専用のコンピュータとして構成されてもよい。
ここで、制御部１０２は、ＯＣＴ装置１００の内蔵（内部）のコンピュータであってもよいし、ＯＣＴ装置１００が通信可能に接続された別体（外部）のコンピュータであってもよい。また、制御部１０２は、例えば、パーソナルコンピュータであってもよく、デスクトップＰＣや、ノート型ＰＣ、タブレット型ＰＣ（携帯型の情報端末）が用いられてもよい。このとき、制御部１０２と撮影装置１０１の間の通信接続は、有線通信による接続であってもよいし、無線通信による接続であってもよい。なお、プロセッサーは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってよい。また、プロセッサーは、例えば、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等であってもよい。
取得部１２１は、例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ケーブル等を用いたインタフェースを介して、撮影装置１０１から各種データを取得する。また、取得部１２１は、制御部１０２に接続されたサーバ等の不図示の外部装置から画像を含む各種データを取得してもよい。ここで、制御部１０２と不図示の外部装置はインターネット等の任意のネットワークを介して接続されていてもよい。また、取得部１２１は、画像処理部１２２で生成された被検眼の画像や記憶部１２６に記憶された各種データを取得してもよい。
画像処理部１２２は、取得部１２１により取得されたデータや画像を用いて、被検眼の画像を生成したり、被検眼の画像について任意の画像処理を行ったりすることができる。例えば、画像処理部１２２は、取得部１２１により取得された被検眼に関するデータを用いて被検眼の断層画像等の眼底画像を生成することができる。なお、断層画像等の生成方法は公知の任意の手法を用いてよい。また、画像処理部１２２は、被検眼の断層画像等を用いて被検眼の各組織の層厚に関する厚みマップ等の解析マップを生成することもできる。なお、本実施形態では、画像処理部１２２は、厚みマップを用いて被検眼に関する対称性を示す対称性マップを生成する。
推定部１２３は、学習済モデルを用いて、被検体の画像等から被検体の疾患に関する推定を行う。本実施形態では、推定部１２３は、単一時間に取得された被検眼の医用画像の一例である眼底画像に基づいて眼科疾患に関する推定を行う。より具体的には、本実施形態に係る推定部１２３は、学習済モデルを用いて被検眼の対称性マップから被検眼の緑内障等の眼科疾患に関する推定を行う。ここで、推定部１２３は、学習済モデルを用いて、対称性マップから推定した疾患に関する推定結果を出力する出力部の一例として機能する。
駆動制御部１２４は、撮影装置１０１における各種構成要素の駆動を制御する。表示制御部１２５は、制御部１０２に接続された表示部１０３の表示を制御し、表示部１０３に被検眼の断層画像や患者の情報等の各種データ等を表示させることができる。記憶部１２６は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、及び後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを記憶することができる。また、記憶部１２６は、取得部１２１によって取得された情報や、画像処理部１２２で処理された各種画像、推定部１２３による推定結果等を記憶することもできる。
制御部１０２の記憶部１２６以外の各構成要素は、ＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。なお、プロセッサーは、例えば、ＧＰＵやＦＰＧＡ等であってもよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。記憶部１２６は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
表示部１０３は、任意のディスプレイ等であり、表示制御部１２５による制御に基づいて、例えば被検体に関する患者情報や各種画像、疾患に関する推定結果等を表示することができる。操作部１０４は、マウスやキーボード、又はタッチパネル等を含んで構成され、ユーザからの指示を制御部１０２へ入力することができる。
次に、図２を参照しながら、本実施形態に係る画像処理をステップごとに説明する。図２は、本実施形態に係る画像処理の動作を示すフローチャートである。本実施形態では、特に、眼底の断層画像を用いて緑内障に関する推定を行う場合を例にして説明する。
［ステップＳ２１：画像取得］
まず、ステップＳ２１において、取得部１２１は、撮影装置１０１から被検眼の眼底の断層画像に関するデータを取得する。ここで、被検眼の眼底の断層画像に関するデータとしては、撮影装置１０１等により被検眼を撮影することで取得された被検眼の眼底に関する干渉信号であってもよいし、そのような干渉信号について公知の画像処理を行って得た断層画像自体であってもよい。取得部１２１が干渉信号を取得する場合には、取得部１２１は、画像処理部１２２が干渉信号の画像処理を行うことで生成した断層画像を取得してもよい。
取得部１２１が取得する断層画像に関するデータは、被検眼の複数のＢスキャン位置で撮影されたものを含み、これにより、取得部１２１は被検眼の眼底に関する３次元データを取得することができる。ここで、Ａスキャンとは、被検眼の一点から断層の情報を取得することいい、Ａスキャンを任意の横断方向（主走査方向）において複数回行うことで被検眼Ｅの当該横断方向と深さ方向の２次元の断層の情報を取得することをＢスキャンという。なお、取得部１２１は、別の場所で取得された被検眼の眼底の断層画像に関するデータを不図示の外部装置から取得してもよい。
また、取得部１２１は、眼底カメラで撮影された眼底写真又は前眼部写真や、ＳＬＯ光学系を用いて撮影された眼底又は前眼部の画像（ＳＬＯ画像）など、他の撮影技術で取得された画像やデータを取得することもできる。ここで、眼底写真又は前眼部写真は、可視光を用いて撮影した画像であって、ＲＧＢの少なくとも２つを用いたカラー画像やＲＧＢのいずれか一つを用いたモノクロ画像であってもよい。さらに、取得部１２１は、被検眼に関する患者の識別番号、眼軸長、年齢、視力、人種、病歴、及び強度近視の該非の少なくとも１つを含む等の患者データも併せて取得することができる。取得部１２１は、これらの画像やデータも不図示の外部装置から取得してもよい。なお、制御部１０２は、取得部１２１が取得したカルテの画像からテキストマイニング技術などを用いて患者データを抽出してもよい。
［ステップＳ２２：画像処理］
ステップＳ２２において、画像処理部１２２は、取得された３次元の断層画像を画像処理して、推定部１２３が推定処理に用いる画像を生成する。なお、画像処理部１２２は、取得部１２１が取得した干渉信号を処理して、推定部１２３が推定処理に用いる画像を生成してもよい。本実施形態に係る画像処理部１２２は、取得された断層画像を用いて対称性マップを生成する。対称性マップの生成方法の例を、図３を用いて説明する。図３は、本実施形態に係る対称性マップの生成処理のフローチャートの一例を示す。
［ステップＳ２２１：厚みマップ生成］
ステップＳ２２における画像処理が開始されると、処理はステップＳ２２１に移行する。ステップＳ２２１では、画像処理部１２２は、断層画像を用いて、被検体の少なくとも一部の厚みを示す厚みマップを生成する。ここで、厚みマップとは、被検体の深さ方向（Ｚ方向）に垂直なＸＹ平面における各ＸＹ位置に対して、被検体、例えば被検眼の網膜内の解剖学的に定められる観察対象層の厚み（層厚）を輝度値等で表したマップ（マップ画像）である。例えば、厚みマップは、各ＸＹ位置の層厚を疑似カラースケールの輝度値に変換して表したものとすることができる。また、厚みマップは、各ＸＹ位置における層厚をグレースケールの輝度値に変換して表したものであってもよい。なお、厚みマップは、被検体の医用画像を解析して得た情報（解析情報）を示す解析マップの一例であり、解析マップは、例えば後述するＯＣＴＡ（ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）画像を解析して得た血管密度（面積密度又は長さ密度）を示す血管密度マップ等を含むことができる。
具体的には、画像処理部１２２は、取得された断層画像についてセグメンテーション処理を行い、被検眼の断層における層構造を抽出し、各層構造の厚みを算出する。なお、セグメンテーション処理の手法及び層構造の厚みの算出方法は、公知の任意の手法を用いてよい。画像処理部１２２は、観察対象層について算出した厚みを用いて、被検眼の厚みマップを生成する。
［ステップＳ２２２：補正処理］
次に、ステップＳ２２２において、画像処理部１２２は、厚みマップに対して補正処理を行う。ステップＳ２２２における補正処理の例を、以下で説明する。なお、本実施形態に係る画像処理部１２２は、以下で説明する補正処理を組み合わせて実施するが、以下で説明する補正処理のいずれかのみを実施してもよい。
補正処理の一例は、厚みマップの不適切な箇所の輝度値を補正する処理（エラー補正処理）である。例えば、層に関するセグメンテーション処理でエラーが生じた場合、その位置の厚みは特異的な値となり、厚みマップでは白飛び又は黒つぶれとして表される。画像処理部１２２は、厚みマップにおいて特異的な値を有する、そのような不適切な箇所の輝度値を、一例として周辺の平均的な値に置換する処理を行う。あるいは、画像処理部１２２は、そのような不適切な箇所を厚みマップから除去してもよい。また、画像処理部１２２は、視神経乳頭部（以下、単に「乳頭部」とも呼ぶ）など、診断に不要と考えられる領域の輝度値を同様に置換してもよいし、その領域を厚みマップから除去してもよい。さらに、画像処理部１２２は、厚みマップについてエッジ強調処理やコントラスト調整処理を行ってもよい。
補正処理の他の一例は、厚みマップを生成する際に、被検眼の眼軸長データに基づいて、層厚の値を補正する処理である。ここで、被検眼の眼軸長データは、ステップＳ２１において取得されてもよいし、ユーザから入力されてもよい。正常眼データベースと比べて被検眼の眼軸長が長い場合、網膜が引き伸ばされることで層厚全体が薄くなる影響がある。そのため、画像処理部１２２は、眼軸長に応じた層厚の影響を低減するように厚みマップを補正することができる。なお、眼軸長に応じた層厚の補正は公知の任意の手法を用いて行われてよい。このような補正によって、病変により層厚が薄くなっている場合と健常時から層厚が薄くなっている場合とを識別することができる。
また、眼軸長が異なると、スキャン角度に対する眼底の撮影範囲が変わるため、画像処理部１２２は、厚みマップのスケールを補正する処理を行ってもよい。なお、画像処理部１２２は、厚みマップを生成する際に用いる断層画像のスケールを同様に補正してもよい。また、患者が強度近視である場合は眼軸長が長くなっている傾向がある。そのため、患者が強度近視である場合には、画像処理部１２２は厚みマップについて同様の補正を行ってもよい。なお、被検眼の眼軸長や強度近視の該非に関しては、取得された患者データに基づいて判断されてよい。
さらに、補正処理の他の一例は、厚みマップの各ＸＹ位置の値を、ある基準層の厚みに対する観察対象の層の厚みの比をとった値に変換する処理である。画像処理部１２２は、例えば、神経線維層から内網状層までの厚みの値を基準として、それに対する神経線維層の厚みの比を各ＸＹ位置における値とするように厚みマップを補正することができる。このようにすることで、個人による全体的な網膜の厚みの違いの影響を低減して、特に着目している層の厚みの多寡を抽出することができる。なお、画像処理部１２２は、厚みマップの生成時に同様の処理を行ってもよい。
また、補正処理の他の一例は、厚みマップを幾何学的に補正する処理（幾何補正処理）である。幾何補正処理の例を、図４（ａ）及び図４（ｂ）を用いて説明する。ここで、図４（ａ）は幾何補正処理前の厚みマップの一例を示し、図４（ｂ）は機械補正処理後の厚みマップの一例を示す。
幾何補正処理として、画像処理部１２２は、例えば記憶部１２６に記憶された厚みマップに関する基準情報を参照しながら、生成された厚みマップに対して、拡縮（拡大あるいは縮小）、回転、平行移動といった、幾何学的な補正処理を行う。記憶部１２６に記憶された基準情報の一例は、黄斑の中心位置、並びに図４（ａ）及び図４（ｂ）における点線で示すような画像中の黄斑部Ａから乳頭部Ｂまでの距離及び角度である。なお、黄斑部Ａから乳頭部Ｂまでの角度は、例えば、画像の水平方向（横方向）に対する黄斑部Ａと乳頭部Ｂとを結ぶ線の角度であってよい。
具体的には、まず、画像処理部１２２は、黄斑部Ａの中心位置が厚みマップの中心に来るように、厚みマップを平行移動する。なお、黄斑部Ａの中心位置情報は断層画像や厚みマップ等を解析して取得することができる。その後、画像処理部１２２は、図４（ａ）内の点線で示す黄斑部Ａと乳頭部Ｂとを結ぶ線が基準の長さ及び角度（水平）になるように、厚みマップの拡縮及び回転の調整を行う。このような調整により、図４（ｂ）に示すような厚みマップを取得することができる。なお、幾何補正処理により画素値が無くなった縁の箇所には、例えば周辺の画素値の平均値を画素値として用いることできる。また、縁が十分埋まるように画像全体を切り抜く処理を行ってもよい。
［ステップＳ２３：対称性マップ生成］
次に、ステップＳ２２３において、画像処理部１２２は、厚みマップを用いて、被検眼に関する対称性を示す対称性マップを生成する。対称性マップは、被検眼の画像を解析して得た解析結果であって、互いに関連する位置の解析結果を比較して生成されることができる比較マップの一例である。以下、図５（ａ）及び図５（ｂ）を用いて、対称性マップの生成方法の一例を説明する。図５（ａ）は、被検者の右目の断層画像から得られた厚みマップの一例であり、図５（ｂ）は同一被検者の左目の断層画像から得られた厚みマップである。なお、図５（ａ）及び図５（ｂ）では、被検眼の対称性に関する基準として、厚みマップの水平方向に延びる中央線Ｈ１，Ｈ２、垂直方向に延びる中央線Ｖ１，Ｖ２が一点鎖線で示されている。本実施形態では、中央線Ｈ１，Ｈ２，Ｖ１，Ｖ２は、厚みマップにおける黄斑の中心を基準として定めている。なお、被検眼の対称性に関する基準となる中央線Ｈ１，Ｈ２，Ｖ１，Ｖ２は、これに限られず、被検眼の対称性を確保できる対象を基準として定められてよい。
本実施形態では、対称性マップは、被検眼についての上下の対称性、左右の対称性、及び上下かつ左右の対称性のいずれかを評価することで生成される。これら対称性マップの生成方法を以下で順に説明する。なお、以下の生成方法において、右目と左目の関係は入れ替わってもよい。
まず、被検眼の上下の対称性を評価して対称性マップを生成する方法の一例について説明する。本例では、図５（ａ）の厚みマップ内のある画素Ｐ１と、画素Ｐ１の位置に関して中央線Ｈ１に対して上下対称な位置の画素であるＰ２に着目する。画素Ｐ１における厚みマップの輝度値をＩ１とし、画素Ｐ２における厚みマップの輝度値をＩ２とする。本例による対称性マップの生成方法では、対称性マップの画素Ｐ１における画素値をＩ１／Ｉ２とし、対称性マップの画素Ｐ２における画素値をＩ２／Ｉ１とする。他の画素についても同様の処理を行うことで、画像処理部１２２は、厚みマップを用いて全体的な対称性マップを生成する。また、ここでは上下対称位置の輝度値との比を画素値としたが、これに代えて輝度値の差を画素値としてもよい。また、画素値の算出方法に輝度値の対数変換処理などを含めてもよい。
次に、被検眼の左右の対称性を評価して対称性マップを生成する方法の一例について説明する。本例では、図５（ａ）に示す厚みマップ内のある画素Ｐ１と、図５（ａ）における中央線Ｖ１を基準とした画素Ｐ１の位置に関して、図５（ｂ）に示す反対側の目の厚みマップにおいて中央線Ｖ２を基準として左右対称な位置の画素Ｐ３に着目する。なお、本実施形態では、厚みマップの中心が黄斑部の中心と一致しているため、画素Ｐ３は、図５（ｂ）に示す厚みマップにおいて左右方向の中央に対して画素Ｐ１の位置と左右対称な位置の画素となる。画素Ｐ１の輝度値をＩ１とし、Ｐ３の輝度値をＩ３とする。本例による対称性マップの生成方法では、対称性マップの画素Ｐ１における画素値をＩ１／Ｉ３とし、対称性マップの画素Ｐ３における画素値をＩ３／Ｉ１とする。他の画素についても同様の処理を行うことで、画像処理部１２２は、厚みマップを用いて全体的な対称性マップを生成する。また、上記と同様に、対称位置の輝度値との比に代えて、差を画素値としてもよい。また、画素値の算出方法に輝度値の対数変換処理などを含めてもよい。
次に、被検眼の上下かつ左右の対称性を評価して対称性マップを生成する方法の一例について説明する。本例では、図５（ａ）の厚みマップ内のある画素Ｐ１と、画素Ｐ１の位置に関して前述のように上下対称な位置の画素Ｐ２と、画素Ｐ１の位置に関して前述のように左右対称な位置である図５（ｂ）の画素Ｐ３と、画素Ｐ３の位置に関して中央線Ｈ２に対して上下対称な位置の画素である画素Ｐ４とに着目する。画素Ｐ１，Ｐ２，Ｐ３，Ｐ４の輝度値をそれぞれ、Ｉ１，Ｉ２，Ｉ３，Ｉ４とする。本例による対称性マップの生成方法では、Ｉ１に対する他の３点の輝度値の比Ｉ１／Ｉ２，Ｉ１／Ｉ３，Ｉ１／Ｉ４をそれぞれ算出する。その後、対称性マップの画素Ｐ１における画素値を、これらの比のうちの他の値よりも低い値（最小値）とする。他の画素についても同様の処理を行うことで、画像処理部１２２は、厚みマップを用いて全体的な対称性マップを生成する。また、上記と同様に、対称位置の輝度値との比に代えて、差を画素値としてもよい。また、画素値の算出方法に輝度値の対数変換処理などを含めてもよい。
画像処理部１２２は、以上で述べた対称性マップの生成方法において輝度値の比を算出する前に、厚みマップに対して平滑化する処理を施してもよい。平滑化処理は、移動平均フィルタ処理、ガウシアンフィルタ処理、又はメディアンフィルタ処理などによって行うことができる。平滑化処理を施すことによって、厚みマップごとの位置ずれや回転ずれによる影響を低減することができる。
以上のように生成された対称性マップでは、被検眼の対称性に関する値が各ＸＹ位置の画素値として用いられる。そのため、対称性マップを用いることで、例えば緑内障のように、健常時には対称性を示すが、疾患時に対称性が損なわれるような症状の推定処理の精度を向上させることができる。
画像処理部１２２は、このように生成した対称性マップを推定部１２３へ出力する。また、画像処理部１２２は、各ＸＹ位置における層厚を示した厚みマップを推定部１２３へ出力してもよい。さらに、対称性マップと厚みマップを合成して、一枚の合成マップを生成して出力してもよい。この合成マップは、例えばＲＧＢの各チャンネルのいずれかに対称性マップ又は厚みマップを当てはめることで生成することができる。また、厚みマップに代えて又は加えて眼底写真や前眼部写真、ＳＬＯ画像、ＯＣＴＡ画像、輝度の正面画像（Ｅｎ－Ｆａｃｅ画像）、他の解析マップを用いて合成マップを生成してもよい。合成マップを生成する際に、合成する画像の画素サイズが異なっていた場合、画素サイズを合わせる処理が行われもよい。また、画像処理部１２２は、厚みマップ等の解析マップ又は対称性マップの各ＸＹ位置の輝度値をベクトルに配置した特徴ベクトルを推定部１２３へ出力してもよい。また、画像処理部１２２は、取得部１２１によって取得された患者データを対称性マップ又は合成マップに紐づけて、推定部１２３へ出力してもよい。
［ステップＳ２３：推定］
ステップＳ２２３において対称性マップが生成され、推定部１２３に出力されると、処理はステップＳ２３に移行する。ステップＳ２３では、推定部１２３が、対称性マップを学習データとした学習により得た学習済モデルを用いて、画像処理部１２２によって生成された対称性マップから被検眼の眼科疾患に関する推定を行う。
［機械学習モデルの例］
本実施形態において、推定部１２３が用いる学習済モデルは、記憶部１２６に記憶されている。推定部１２３が用いる機械学習モデルの一例はニューラルネットワークであり、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）であってよい。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。
また、学習には、バックプロパゲーション（誤差逆伝播法）に関する技術が用いられてもよい。さらに、学習には、各ユニット（各ニューロン、あるいは各ノード）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。また、学習には、多階層のニューラルネットワークの各層に伝わったデータを、活性化関数（例えばＲｅＬｕ関数）が適用される前に、正規化する手法（バッチ正規化）が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。
さらに、推定部１２３が用いる学習済モデルは、転移学習を用いて生成されたものでもよい。転移学習には、例えば、Ｉｎｃｅｐｔｉｏｎ ｖ３などの学習済モデルを用いることができる。この場合には、例えば、診断対象の疾患とは別の疾患で学習された機械学習モデルについて転移学習を行って、推定処理に用いる学習済モデルを生成してもよい。このような転移学習を行うことによって、学習データを数多く入手するのが難しい疾患についても、効率的に学習済モデルを生成することができる。ここでいう別の疾患は、例えば、目の別の疾患であってよい。また、胃や大腸の内視鏡画像等からこれらの部位の病変を検出する機械学習モデルについて転移学習を行ってもよい。
［学習データの例］
本実施形態で用いられる学習済モデルは、対称性マップと、眼科疾患に関する情報との関係性を学習したものである。より具体的には、学習済モデルは、上述のようにして生成された対称性マップを学習データの入力データとし、入力データとして用いられた対称性マップに係る被検眼に関する眼科疾患の情報を出力データとして学習した機械学習モデルとすることができる。
なお、対称性マップに代えて合成マップを学習データの入力データに用いてもよい。また、推定部１２３が用いる機械学習モデルの入力チャンネルは、１つのチャンネルに限られない。例えば、ＲＧＢ用の３つのチャンネル等の任意の複数のチャンネルを用いることができる。この場合、それぞれの入力チャンネルに、対称性マップや厚みマップ、特徴ベクトル、患者データなど、種々のデータを入力することができる。これに関連して、学習データの入力データとして、対称性マップに加えて、２次元又は３次元の断層画像、厚みマップ等の解析マップ、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像、特徴ベクトル、眼底写真、前眼部写真、ＳＬＯ画像、視野計による計測結果、隅角情報、及び患者データ等を用いてもよい。ここで、隅角情報とは、被検眼の隅角を撮影した画像や隅角の検査結果等の隅角に関する情報をいう。なお、この場合には、学習データの入力データと学習済モデルへの入力データとを同種の複数のデータとすればよい。
推定部１２３が用いる機械学習モデルは、ＧＡＮ（敵対的生成ネットワーク）で生成されたデータを学習に用いて生成されてもよい。例えば、「正常」とラベル付けされた対称性マップを用いて、ＧＡＮで「正常」の性質を持つ対称性マップを増やすことができる。ここでいう「正常」とは、疾患を持たない状態を指す。また、「緑内障」と診断された患者の対称性マップを用いて、ＧＡＮで「緑内障」の性質を持つ対称性マップを増やすことができる。このことによって、データ不足を補うことができる。なお、ＧＡＮを用いて生成するデータは対称性マップに限られず、対称性マップの生成に用いられる、断層信号、断層画像、厚みマップ等の解析マップ、又はＯＣＴＡ画像等であってもよい。
本実施形態に係る学習データの出力データとして用いられる疾患の情報の一例は、緑内障に関する、正常・初期・中期・後期などの進行度（病期）のラベルである。なお、学習データの出力データとしては、医師等の有識者により対称性マップに係る被検眼について診断された疾患の情報（ラベル）を用いてよい。この場合、医師等の有識者は対称性マップに関する被検眼について、視野計による計測結果を用いて診断を行ってよい。なお、診断に用いる情報は、視野計による計測結果、断層画像、厚みマップ等の解析マップ、対称性マップ、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像、眼底写真、前眼部写真、ＳＬＯ画像、隅角情報、及びその他の情報のうちの少なくとも一つの情報であってよい。
また、視野計による計測結果を用いずに、断層画像、厚みマップ等の解析マップ、対称性マップ、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像、眼底写真、前眼部写真、ＳＬＯ画像、隅角情報、及び、その他の情報の少なくとも一つのみを用いて診断を行ってよい。このような診断結果を学習データの出力データとして用いることで、学習済モデルは、視野計を用いた緑内障判定結果は陽性だが、断層画像等のＯＣＴ画像には緑内障の所見が現れていないような例を、医師と同じ基準で扱うことができる。
このような学習データを用いて学習を行った学習済モデルは、各推定ラベル（出力データのラベル）に対する確からしさ（割合）を出力する。例えば、機械学習モデルの最終層にソフトマックス関数を用いることで、学習済モデルからの出力結果を各推定ラベルに対する確率として解釈することができる。また、ソフトマックス関数による変換を行うことなく、各推定ラベルに対する重みを出力してもよい。この場合、各ラベルに対する重みの合計が１になるように比例倍することで、出力結果を確率として解釈することができる。
なお、出力データに関する眼科疾患の種類は緑内障に限られず、加齢黄斑変性や糖尿病性網膜症等でもあってもよいし、これらの複数の疾患であってもよい。また、出力データには、緑内障などの疾患を有する確率、各進行度に関する確率、及び今後進行する確率などが含まれてもよい。また、出力データの他の例として、推定ラベルは、正常、緑内障、加齢黄斑変性、糖尿病性網膜症、又はその他の疾患のように、病名ごとに付けることもできる。出力データのさらに他の例として、推定ラベルは、神経線維層の菲薄化、出血、及び陥凹拡大などの所見であってもよい。
推定部１２３は、このような学習を行った学習済モデルを用いることで、被検眼の対称性マップから眼科疾患に関する情報である各推定ラベルについての割合（確率）を取得することができる。なお、推定部１２３は、年齢や病歴などの患者データに応じて、出力する確率値を補正してもよい。例えば、推定部１２３は、加齢黄斑変性の確率を評価する際、年齢が高い方がより病気の可能性である確率が高くなるように、学習済モデルの出力に年齢に応じた補正値を乗算又は加算等することができる。
推定部１２３は、学習済モデルを用いて得た各推定ラベルの確率に基づく推定結果を出力する。例えば、推定部１２３は、各推定ラベルの中で、他の推定ラベルよりも高い確率の推定ラベルを推定結果として出力することができる。また、各推定ラベルのうち閾値よりも高い確率の推定ラベルを推定結果として出力することができる。このとき、閾値よりも高い確率の推定ラベルが複数ある場合には、それらすべてを出力してもよいし、そのうちの他の推定ラベルよりも高い確率の推定ラベルを推定結果として出力してもよい。さらに、推定部１２３は、学習済モデルを用いて得た各推定ラベルの確率から、機械学習モデルを用いて、推定結果を決定してもよい。この場合に用いる機械学習アルゴリズムは、推定ラベルの確率の取得に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、ニューラルネットワーク、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等であってよい。
また、推定部１２３は、被検眼の状態が正常か異常かを、正常である確率又は異常である確率の閾値によって判定してもよい。ここでいう「異常」とは、何らかの疾患を持つ状態を指す。この場合、たとえ正常である確率が異常である確率よりも大きくても、正常である確率が閾値よりも小さい場合は、推定部１２３は、推定結果として疾患を持つ可能性があることを出力することができる。
推定部１２３によって出力された推定結果は、表示制御部１２５によって表示部１０３に表示されることができる。また、推定結果は、記憶部１２６に記憶されることができる。なお、推定部１２３によって出力された推定結果は、制御部１０２に接続された不図示の外部装置に送信されてもよい。
上記のように、本実施形態に係る制御部１０２は、画像処理部１２２及び推定部１２３を備える。画像処理部１２２は、被検眼の医用画像を画像処理して被検眼の対称性を示す対称性マップを生成する生成部の一例として機能する。推定部１２３は、対称性マップを用いた学習により得た学習済モデルを用いて、生成した対称性マップから推定した眼科疾患に関する推定結果を出力する出力部の一例として機能する。なお、学習済モデルは眼科疾患に関する確率を出力し、推定部１２３は、学習済モデルが出力した確率に基づいて推定された眼科疾患についての推定結果を出力することができる。
ここで、眼科疾患は、緑内障、糖尿病性網膜症、及び加齢黄斑変性の少なくとも１つを含む。さらに、画像処理部１２２が生成する対称性マップは、眼底写真、前眼部写真、ＳＬＯ画像、ＯＣＴＡ画像、Ｅｎ－Ｆａｃｅ画像、及び被検眼の医用画像を解析して得た情報を示す解析マップのいずれかの上下方向及び左右方向の少なくとも一方の対称性を評価した対称性マップである。また、推定結果は、眼科疾患の病期に関する推定結果を含むことができる。
本実施形態に係る制御部１０２は、このような構成により、被検眼の医用画像に基づいて対称性マップを生成し、学習済モデルを用いて対称性マップから高精度に眼科疾患を推定することができる。なお、対称性マップを用いることで、例えば緑内障のように、健常時には対称性を示すが、疾患時に対称性が損なわれるような症状について、より精度良く推定することができる。
また、推定部１２３は、画像処理部１２２が生成した対称性マップに加えて、視野計による計測結果、２次元の断層画像、３次元の断層画像、３Ｄボリュームデータ、眼底写真、前眼部写真、ＳＬＯ画像、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像、解析マップ、隅角情報、層厚のプロファイル又は特徴ベクトル、医用画像の特徴部を抽出した特徴マップ、及び患者データのうちの少なくとも一つを用いて得た推定結果を出力することができる。これにより、学習済モデルが処理に用いる特徴量が増加することから、推定処理の精度をより向上させられることが期待できる。
さらに、画像処理部１２２は、対称性マップを生成する前に医用画像の補正処理を行うことができる。当該補正処理は、平滑化処理、眼軸長に基づいた補正処理、基準となる層に基づいた層厚補正処理、幾何補正処理、エラー補正処理、エッジ強調処理、及びコントラスト調整処理の少なくとも１つを含む。これにより、推定処理を行うための医用画像に関して、画質を向上させたり、より実際の被検眼の状態に即した画像としたりすることができ、推定処理の精度を向上させることができる。なお、取得部１２１が取得し、画像処理部１２２が用いる医用画像は、上記の補正処理のような何らかの画像処理が既に行われた画像であってもよい。
なお、本実施形態では、眼科疾患に関する推定処理を行うこととしたが、推定処理によって推定される疾患は眼科疾患に限らずに全身疾患であってもよい。推定処理によって推定される疾患は、例えば、高血圧や動脈硬化等の循環器疾患、糖尿病や甲状腺機能亢進症等の内分泌疾患、脳梗塞や脳腫瘍、認知症等の脳疾患等であってもよい。このような疾患に関しては、例えば、被検眼の血管に関する情報等から疾患の状態や病期等を推定することができる。なお、この場合には、学習データの出力データは、推定処理によって推定される疾患に対応する推定ラベル等であってよい。
［第１実施形態の変形例］
また、推定部１２３は、学習済モデルが注目した領域をヒートマップで示した（マップ化した）、注意マップ（活性化マップ）を出力してもよい。なお、注意マップは、推定ラベルの確率の取得に用いられた学習済モデルから取得することができる。表示制御部１２５は、推定部１２３によって出力された注意マップを表示部１０３に表示させることができる。例えば、表示制御部１２５は、注意マップを、眼底写真、前眼部写真及びＳＬＯ画像などの画像や、画像処理部１２２が生成した厚みマップなどと重ねて表示部１０３に表示させてもよい。この場合には、医師が画像を見て診断する時に、補助的に情報を提示することができる。
さらに、推定部１２３は、被検眼の観察対象層等の層厚が全体的に薄い場合は、被検眼が緑内障である可能性を推定結果として出力してもよい。全体的な層厚の指標には、例えば、眼軸長補正された厚みマップの平均値や中央値などを用いることができる。この場合、推定部１２３は、対称性マップで初期の緑内障でないかを推定し、全体的な層厚で後期の緑内障でないかを推定することができ、複数段階の推定処理を実施することができる。
なお、本実施形態では、推定部１２３により、記憶部１２６に記憶された学習済モデルを用いて、対称性マップから推定結果を取得した。これに対し、推定部１２３は、推定処理結果を出力する出力部として機能してもよい。この場合、出力部は、画像処理部１２２が生成した対称性マップを、制御部１０２に接続された不図示の外部装置に出力し、上記のような推定処理を行う外部装置から、推定結果を取得してもよい。また、制御部１０２の推定部１２３は、外部装置に設けられた学習済モデルを用いて推定処理を行ってもよい。
推定部１２３が用いる学習済モデルは、２段階の機械学習によって生成されてもよい。例えば、まず第１段階の学習で、被検眼が正常か緑内障かを推定する第１の学習済モデルを生成する。第１の学習済モデルの生成時、生成した学習済モデルの推定結果が正しいか、交差検証法によってテストを行う。
この際、学習データのうち、検証に用いられるデータの出力データでは異常のラベルが付されているにもかかわらず、学習済モデルからの出力が正常のラベルとして誤判定される対称性マップについて偽陰性とラベル付けしておく。なお、学習データの出力データは上述のように視野計による計測結果を用いて診断された情報であってよい。
次に、第２段階の学習として、第１段階で用いた学習データを用いて学習を行い第２の学習済モデルを生成する。この際、上述のように偽陰性とラベル付けされたデータについては、学習データの出力データに関するラベルを偽陰性として学習に用いる。この場合、推定部１２３は、第２の学習済モデルを、推定処理に用い、「正常」、「異常」、及び「偽陰性」の推定ラベルについてそれぞれの確率を取得することができる。推定部１２３は、推定結果として、上記と同様の処理によりこれらラベルのいずれかを出力することができる。また、推定部１２３は、「偽陰性」の推定ラベルの確率が高い場合、推定結果としては「異常」を出力しつつ、「偽陰性」のラベルを検者が確認できるような態様で出力してもよい。
このように２段階の学習による学習済モデルを用いることによって、視野計による緑内障判定結果は陽性だが、対称性マップ等の干渉信号を用いて得た画像には緑内障の所見が現れていないような症例を個別に扱うことができる。さらに、前視野緑内障（Ｐｒｅｐｅｒｉｍｅｔｒｉｃ Ｇｌａｕｃｏｍａ：ＰＰＧ）のように、視野計による計測結果には変化が現れず、対称性マップや層厚マップには変化が現れるような症例も個別に扱うことができる。また、第１段階の学習で交差検証法を用いることにより、より多くのデータについて偽陰性のラベルをつけるべきか否かを確認できる。
ここでは、「偽陰性」としてラベル付けされたデータを用いて第２段階の学習を行うことについて述べたが、例えば、「偽陰性」と判断された画像について、ラベルを「異常」とし、第１の学習済モデルに追加学習させてもよい。この場合には、第１の学習済モデルによる推定精度を向上させることができ、推定部１２３は、追加学習を行った第１の学習済モデルを用いて精度の高い推定処理を行うことができると期待できる。なお、この場合には第２の学習済モデルを生成する必要はない。
また、推定部１２３が用いる学習済モデルは、教師無し学習を用いて生成されてもよい。教師無し学習は、お互いに似た特徴を持つマップや画像のデータ同士を、ひとくくりにして分類することができる。医師等の有識者は、分類されたデータ群から一定数のデータのみをピックアップして、正常又は疾患に関するラベルを付ける。このことによって、医師によるアノテーションの負荷を低減することができる。
さらに、推定部１２３が用いる学習済モデルは、「正常」のラベル付けがされたデータのみを用いて学習を行ったものであってもよい。この場合、例えば、学習済モデルは、対称性マップが正常な被検眼に関する対称性マップからどのくらい乖離しているか（乖離度）を出力する。推定部１２３は、この乖離度に基づいて、対称性マップに係る被検眼の状態が正常か病気かを推定することができる。また、この推定に用いる乖離度の閾値は、別途、疾患データでテストして定めてもよい。この場合、学習済モデルは、ＣＮＮや、後述するＧＡＮ、変分オートエンコーダー、畳み込みオートエンコーダー等を用いて構成されてよい。
また、推定部１２３が使用する学習済モデルを生成する時、強度近視の該非の情報も学習データの入力データに含めて学習してもよい。このことによって、眼軸長が長いために網膜全体が薄くなる影響も含めて学習することができる。
さらに、検者は、撮影装置１０１を用いて取得された画像又は画像処理部１２２で生成された厚みマップや対称性マップ等を見て、自身の医学的な知見による判定結果を操作部１０４により制御部１０２に入力してもよい。表示制御部１２５は、検者が入力した判定結果と、推定部１２３が出力した推定結果が異なっていた場合に、表示部１０３に注意喚起メッセージを表示させることができる。この場合、表示制御部１２５は、上述した注意マップも同時に表示部１０３に表示させてもよい。また、表示制御部１２５は、推定部１２３の推定結果を、検者が判定結果を入力した後に表示部１０３に表示させるようにしてもよい。
画像処理部１２２は、ステップＳ２２１において、厚みマップに代えて、撮影装置１０１等で取得した被検眼の眼底の断層に関する３次元データをボリュームレンダリングした正面画像（Ｅｎ－Ｆａｃｅ画像）を生成してもよい。この場合、推定部１２３は、画像処理部１２２がＥｎ－Ｆａｃｅ画像を用いて生成した対称性マップから推定した眼科疾患に関する推定結果を出力することができる。緑内障などによって神経線維層が菲薄化した場合、高輝度反射層の割合が少なくなるため、菲薄化領域の輝度値が低下する。そのため、厚みマップだけではなく、Ｅｎ－Ｆａｃｅ画像を用いることでも、神経線維層の菲薄化を検出できる。
また、画像処理部１２２は、眼底写真、前眼部写真やＳＬＯ画像など他の撮影技術で取得された画像に対して、上記のステップＳ２２と同様に画像処理を行い、対称性マップを生成してもよい。さらに、画像処理部１２２は、断層画像や眼底写真、前眼部写真、ＳＬＯ画像、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像等を解析して得た解析マップに対して、上記のステップＳ２２と同様に画像処理を行い、対称性マップを生成してもよい。ここで、解析マップには、例えば、上述した厚みマップや、ＯＣＴＡ画像を解析して得た各ＸＹ位置における血管密度を示す血管密度マップ等が含まれる。なお、血管密度マップ等の解析マップの生成方法は公知の任意の手法を用いてよい。この場合にも、推定部１２３は、画像処理部１２２が生成した対称性マップから推定した被検体の疾患に関する推定結果を出力することができる。このようにすることで、例えば緑内障のように健常時には画像は対称性を示すが疾患時に対称性が損なわれるような症状の検出精度を向上させることができる。
画像処理部１２２は、上記と同様の処理により、ＯＣＴＡ画像又は干渉信号に関するデータをボリュームレンダリングした輝度のＥｎ－Ｆａｃｅ画像などから対称性マップを生成してもよい。この場合にも、推定部１２３は、生成された対称性マップから推定した推定結果を出力してよい。
従って、対称性マップの生成に用いられる医用画像の一例である眼底画像は、厚みマップ等の解析マップ、３次元の断層画像、眼底写真、前眼部写真、ＳＬＯ画像、ＯＣＴＡ画像、及びＥｎ－Ｆａｃｅ画像の少なくとも１つを含んでよい。なお、これらの場合には、推定部１２３が用いる学習済モデルの学習データの入力データは、画像処理部１２２が生成する対称性マップと同種のものであればよい。例えば、画像処理部１２２がＥｎ－Ｆａｃｅ画像やＯＣＴＡ画像から対称性マップを生成する場合、学習データの入力データもＥｎ－Ｆａｃｅ画像やＯＣＴＡ画像から生成された対称性マップとすればよい。また、推定部１２３は、これらの場合にも、糖尿病性網膜症や加齢黄斑変性など緑内障以外の眼科疾患や、高血圧や動脈硬化等の循環器疾患、糖尿病や甲状腺機能亢進症等の内分泌疾患、脳梗塞や脳腫瘍、認知症等の脳疾患等に関する推定結果を行ってもよい。
また、推定部１２３は、解析マップ、眼底写真、前眼部写真、ＳＬＯ画像、Ｅｎ－Ｆａｃｅ画像、及びＯＣＴＡ画像のうち少なくとも２つを用いて生成されたそれぞれの対称性マップを学習済モデルに入力してもよい。例えば、画像処理部１２２は、厚みマップから第１の対称性マップを生成し、ＯＣＴＡ画像から第２の対称性マップを生成し、推定部１２３は、第１の対称性マップ及び第２の対称性マップを学習済モデルに入力してよい。この場合、学習済モデルの学習データは、推定部１２３によって入力される対称性マップと同種の対称性マップを入力データとしたものであればよい。また、推定部１２３は、これらの対称性マップ毎に生成された学習済モデルを用いて、推定処理を行ってもよい。この場合、推定部１２３は、各学習済モデルからの出力をそれぞれ推定結果として出力してもよいし、複数の学習済モデルのうちの一つの学習済モデルの出力を推定結果として出力してもよい。例えば、推定部１２３は、複数の学習済モデルの一つの学習済モデルの出力が「異常」であった場合に、「異常」の推定結果を出力してもよい。
なお、Ｅｎ－Ｆａｃｅ画像は、例えば、ＳＬＯ画像や、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（３次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成された正面画像であってよい。また、ＯＣＴＡ画像は、３次元のＯＣＴＡデータ（３次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）であってよい。
ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。
モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。なお、略同一位置を測定光が複数回走査されるように走査手段を制御する際に、１つの走査（１つのＢスキャン）と次の走査（次のＢスキャン）との時間間隔（タイムインターバル）が変更（決定）されるように構成されてもよい。これにより、例えば、血管の状態によって血流速度が異なる場合があっても、血管領域を精度よく可視化することができる。
このとき、例えば、検者からの指示に応じて、上記時間間隔が変更可能に構成されてもよい。また、例えば、検者からの指示に応じて、予め設定されている複数の時間間隔に対応する複数のモーションコントラスト画像から、いずれかのモーションコントラスト画像が選択可能に構成されてもよい。さらに、例えば、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータとを対応づけて記憶部１２６に記憶可能に構成されてもよい。また、例えば、表示制御部１２５、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータに対応するモーションコントラスト画像とを表示部１０３に表示させてもよい。さらに、例えば、上記時間間隔が自動的に決定、あるいは上記時間間隔の少なくとも１つの候補が決定されるように構成されてもよい。このとき、例えば、機械学習モデルを用いて、モーションコントラスト画像から、上記時間間隔が決定（出力）されるように構成されてもよい。このような機械学習モデルは、例えば、複数の時間間隔に対応する複数のモーションコントラスト画像を入力データとし、該複数の時間間隔から所望のモーションコントラスト画像を取得した際の時間間隔までの差を正解データとする学習データを学習することにより得ることができる。
また、Ｅｎ－Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像とすることができる。このとき、正面画像は、光干渉を用いて得たボリュームデータ（３次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影又は積算して生成される。Ｅｎ－Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを２次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を２次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。
さらに、本実施形態の他の一例では、画像処理部１２２は、ステップＳ２２で、解析マップやＯＣＴＡ画像、Ｅｎ－Ｆａｃｅ画像、眼底写真、前眼部写真、ＳＬＯ画像等から一部の領域を切り出した画像を生成することができる。例えば、乳頭部と黄斑部の両方が写っているような広画角な厚みマップから、乳頭部近辺のみを抽出した厚みマップ、又は黄斑部近辺のみを抽出した厚みマップを生成する。抽出する部位は、診断対象となる疾患によって選択されることができる。さらに、画像処理部１２２は、抽出した厚みマップに対してそれぞれ対称性マップを生成する。言い換えると、画像処理部１２２は、医用画像から抽出した領域の画像を用いて対称性マップを生成することができる。推定部１２３は、学習済モデルを用いて、このように生成された各領域の対称性マップから病変に関する推定処理を行うことができる。
推定部１２３は、例えば、学習済モデルを用いて黄斑部近辺に関する対称性マップから推定した推定結果と、学習済モデルを用いて乳頭部近辺に関する対称性マップから推定した推定結果とから、疾患に関して最終的な推定結果を出力することができる。なお、推定部１２３が用いる学習済モデルは、領域ごとに個別に生成したモデルでもよいし、共通のモデルでもよい。例えば、推定部１２３は、黄斑部近辺の対称性マップから推定した結果が「正常」であっても、乳頭部近辺の対称性マップから推定した結果が「緑内障」であれば、最終的な推定結果を「緑内障」として出力することができる。また、推定部１２３は、黄斑部近辺の対称性マップから推定した結果と乳頭部近辺の対称性マップから推定した結果がいずれも「正常」であっても、両方ともに緑内障の確率が一定以上あれば「緑内障の疑いがあること」を出力してもよい。また、各領域における推定結果と、それらの組み合わせによる最終結果とをさらに学習させて、最終的な機械学習モデルを生成してもよい。
なお、ここでは、対称性マップのみを学習済モデルに入力する例について述べたが、上述の学習済モデルと同様に、対称性マップに加えて２次元又は３次元の断層画像、解析マップ、ＯＣＴＡ画像、眼底写真、前眼部写真、ＳＬＯ画像、及び患者情報等を学習済モデルに入力してもよい。この場合、学習データも対応するものとすればよい。なお、学習済モデルに入力する画像は、対称性マップに係る領域についての画像であってもよい。
また、厚みマップ等の解析マップは黄斑部及び乳頭部を含むものに限られない。例えば、篩状板を含む厚みマップでもあってもよい。また、黄斑部や乳頭部と篩状板とを含む厚みマップであってもよい。
さらに、本実施形態の他の一例では、画像処理部１２２は、診断対象となる疾患に応じて、推定結果の正解率が最大となるように、取得部１２１が取得した画像から抽出する範囲（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を最適化してもよい。この最適化は、例えば、推定結果を取得するための学習済モデルとは異なる学習済モデル用いて行われてよい。また、このＲＯＩは、画像の位置合わせを行った後に、医学的な知見に基づいて一律に指定してもよい。例えば、緑内障であれば乳頭付近、網膜血管疾患、加齢黄斑変性症、又は糖尿病性網膜症であれば黄斑付近討をＲＯＩとして指定してよい。
また、推定部１２３は、推定処理の過程で画像の質に関する評価を行ってもよい。画像の質の評価方法は公知の任意の方法を用いて行われてよい。例えば、ＲＯＩが小さすぎる場合、疾患を推定するための情報が不足し、画像の質は低く評価されてよい。ＲＯＩの画像の質が不十分であると判定された場合は、画像処理部１２２がＲＯＩを広げる処理などを行ってよい。
また、眼の観察対象部位が前眼部といった眼底以外である場合も、以上の処理を同様に行い、所望の解析を行うことができる。この場合、学習データは推定部１２３によって学習済モデルに入力されるデータと同種のものであればよく、例えば、前眼部についての医用画像を用いて生成された対称性マップ等であればよい。また、厚みマップは網膜の少なくとも１つの層の厚みではなく、前眼部の少なくとも１つの層の厚みを示す厚みマップであってよい。
［第２実施形態］
次に、図２を参照して第２実施形態について説明する。本実施形態は、単一時刻に取得された複数種類（モダリティ）の画像に基づいて複数の眼科疾患に関する推定を行う。なお、本実施形態に係る制御部の構成は、第１実施形態に係る制御部１０２と同様であるため、同じ参照符号を用いて説明を省略する。以下、第１実施形態との違いを中心に本実施形態に係る制御部１０２について説明する。なお、本実施形態に係る推定対象も眼科疾患に限られず、全身疾患であってよい。
ＯＣＴや眼底カメラなど、異なる種類の撮影技術で被検眼の眼底を撮影することで、眼底に関してそれぞれ異なる情報を取得することができる。そのため、これらの情報を組み合わせることで、より多くの情報を得ることができる。そこで、本実施形態に係る制御部１０２は、複数種類の画像を用いて複数の眼科疾患に関する推定を行う。なお、本実施形態に係る画像処理の動作は、図２のフローチャートで示される動作と同様の処理であるため、同じ参照符号を用いて説明する。
［ステップＳ２１：データ取得］
ステップＳ２１において、本実施形態に係る取得部１２１は、撮影装置１０１を用いて複数の撮影技術で撮影した画像を取得する。この撮影技術は、ＯＣＴ、眼底カメラ、ＳＬＯ、及びＯＣＴＡなどを含み得る。なお、検者が操作部１０４を介して診断対象とする単一又は複数の症状を指定し、それに応じて、取得部１２１が、取得する画像の組み合わせを選んでもよい。例えば、取得部１２１は、緑内障を診断するときは断層画像と眼底写真のいずれか又は両方を取得し、糖尿病網膜症を診断するときは眼底写真又はＯＣＴＡ画像を取得する。また、取得部１２１は、断層画像と眼底写真の両方を取得して、緑内障と糖尿病網膜症の両方を診断対象としてもよい。なお、第１実施形態と同様に、取得部１２１は、断層画像や眼底写真等を不図示の外部装置から取得してもよい。また、取得部１２１は、干渉信号を取得してもよい。
本実施形態の一例では、取得部１２１は断層画像と眼底写真を取得する。断層画像と眼底写真の両方を撮影する場合は、先に断層画像を取得し、その後に眼底写真を取得することができる。これによって、眼底写真撮影時の縮瞳による断層画像への影響を回避することができる。ただし、撮影順序はこれに限られず、所望の構成に応じて変更されてよい。
［ステップＳ２２：画像処理］
ステップＳ２２では、画像処理部１２２は、断層画像から第１の実施形態と同様に、対称性マップを生成する。なお、画像処理部１２２は、血管密度マップ等の解析マップや、眼底写真、前眼部写真、ＳＬＯ画像、ＯＣＴＡ画像、Ｅｎ－Ｆａｃｅ画像等を用いて対称性マップを生成してもよい。また、画像処理部１２２は、診断対象とする眼科疾患に応じて、対称性マップを生成するために画像処理する画像を選択することができる。例えば、画像処理部１２２は、緑内障が診断対象の一つとされる場合には、対称性マップを生成するための画像として断層画像や厚みマップを選択することができる。また、例えば、糖尿病性網膜症が診断対象の一つとされる場合には、対称性マップを生成するための画像としてＯＣＴＡ画像を選択することができる。
［ステップＳ２３：推定］
ステップＳ２３では、推定部１２３は、ステップＳ２２で生成された対称性マップ及びステップＳ２１で取得された画像等を用いて、複数の疾患に関して段階的に推定処理を行う。推定部１２３は、疾患毎に異なる学習済モデルを用いて推定処理を行う。各種学習済モデルは記憶部１２６に記憶されている。なお、第１実施形態の変形例で述べたように、学習済モデルは制御部１０２に接続される外部装置に設けられていてもよい。
例えば、推定部１２３は、最初に断層画像又は眼底写真の少なくとも一方から、被検眼に混濁があるか否かの推定処理を行う。この推定処理は、画像のコントラスト評価や、学習済モデルを用いた評価により行われる。なお、学習済モデルは、断層画像や眼底写真を入力データとし、混濁があるか否かのラベルを出力データとした学習データを学習した機械学習モデルであればよい。この場合の出力データは、医師等の有識者が断層画像等を用いて被検眼について診断を行った診断結果を用いて生成されてよい。
推定部１２３は、学習済モデルからの出力のうち「混濁がある」とする確率が高い場合は、被検眼が白内障である可能性を示す推定結果を出力する。なお、推定部１２３は、学習済モデルからの出力のうち「混濁がある」とする確率が閾値より高い場合に、被検眼が白内障である可能性を示す推定結果を出力してもよい。また、推定部学習済モデルからの出力のうち「混濁がない」又は「正常」とする確率が高い場合は、被検眼の状態が正常であることを示す推定結果を出力する。表示制御部１２５は、推定部１２３から出力された推定結果を表示部１０３に表示させる。このとき、画像処理部１２２は、混濁による断層画像や眼底写真等の画像のボケを、コントラスト強調処理などで低減してもよい。
次に推定部１２３は、学習済モデルを用いて、断層画像から生成された厚みマップ又は眼底写真等に基づいて生成された対称性マップから糖尿病網膜症であるか否かの推定処理を行う。なお、糖尿病網膜症の推定処理に用いる学習済モデルは、第１実施形態で述べた学習済モデルと同様の学習済モデルであってよい。また、ＯＣＴＡ画像を用いて生成された対称性マップを糖尿病網膜症の推定処理に用いることで、推定処理の精度を向上させることができると期待できる。ただし、厚みマップや眼底写真、Ｅｎ－Ｆａｃｅ画像等を用いて生成された対称性マップを用いて糖尿病網膜症の推定処理を行ってもよい。
その次に推定部１２３は、断層画像から生成された厚みマップ又は眼底写真等から、加齢黄斑変性症であるか否かを、機械学習モデルによって判定する。なお、加齢黄斑変性症の推定処理に用いる学習済モデルは、第１実施形態で述べた学習済モデルと同様の学習済モデルであってよい。また、Ｅｎ－Ｆａｃｅ画像やＯＣＴＡ画像を用いて生成された対称性マップを加齢黄斑変性症の推定処理に用いてもよい。
最後に、推定部１２３は、断層画像から生成された厚みマップ又は眼底写真等から、緑内障であるか否かを、機械学習モデルによって判定する。なお、緑内障の推定処理に用いる学習済モデルは、第１実施形態で述べた学習済モデルと同様の学習済モデルであってよい。また、Ｅｎ－Ｆａｃｅ画像やＯＣＴＡ画像を用いて生成された対称性マップを緑内障の推定処理に用いてもよい。
推定部１２３は、これらの各推定結果を出力する。表示制御部１２５は、推定部１２３から出力された各推定結果を表示部１０３に表示させることができる。なお、推定部１２３は、白内障、糖尿病性網膜症、加齢黄斑変性症、及び緑内障に関する推定結果を、不図示の外部装置に出力してもよい。
上記のように、本実施形態に係る制御部１０２では、学習済モデルは、複数の学習済モデルを含み、推定部１２３は、診断対象とする疾患に応じて、複数の学習済モデルのうちから選択された学習済モデルを用いて推定された推定結果を出力する。また、推定部１２３は、複数の疾患の推定処理を行うために、それぞれ疾患の推定処理に応じた複数段階の推定結果を出力することができる。なお、画像処理部１２２は、診断対象とする疾患に応じて、画像処理する画像を選択することもできる。
このように段階的に推定を行うことによって、各学習済モデルは個別の症状のみに関する処理を行うモデルであればよくなる。このため、一つの学習済モデルで各疾患に関する処理を行うよりも、推定精度を向上させることができる。また、学習データの準備の負荷も低減することができる。
なお、推定部１２３が段階的に疾患を推定する際、一例として、推定しやすい（推定精度が高い）疾患から順に推定を行うことができる。また、推定部１２３は、段階的に疾患を推定する際に、いずれかの段階で疾患を推定した場合に、以降の段階の推定処理を省略してもよい。この場合、推定しにくい（推定精度が低い）疾患について、被検体がより推定精度が高い疾患を有している可能性が除外されることで、正常とその疾患の差異の検出精度（疾患の推定精度）を向上させることができる。ただし、推定の順序は推定しやすい疾患の順に限らず、所望の構成に応じて任意に設定されてよい。また、推定部１２３は、異なる学習済モデルを用いた複数の疾患に関する推定処理を並列に行ってもよい。
また、例えば、推定すべき被検眼の疾患が主に緑内障である場合、先んじて糖尿病性網膜症や加齢黄斑変性症であると推定された場合、表示制御部１２５は表示部１０３に警告を表示させてもよい。この場合、表示制御部１２５は、例えば、「この患者は判断できません」又は「糖尿病性網膜症又は加齢黄斑変性症の疑いもあるため、緑内障の判断には注意してください」等の警告を表示部１０３に表示させてもよい。
また、推定部１２３は、例えば、眼底写真と断層画像の両方を用いて緑内障の推定処理を行う場合は、どちらかの推定結果が「正常」であっても、もう一方の推定結果が「緑内障」であれば、最終的な推定結果は「緑内障」として出力することができる。この場合には、一方の推定結果では緑内障等の眼科疾患が疑われる事例を看過してしまうことを防止できる。
［第２実施形態の変形例］
なお、本実施形態では、異なる学習済モデルを用いて、糖尿病性網膜症、加齢黄斑変性症、及び緑内障の推定処理を行う例について述べた。しかしながら、これらの推定処理のうち少なくとも一つを被検眼の構造等に基づくルールベースの推定処理により行ってもよい。なお、ルールベースの推定処理は公知の任意の手法を用いて行われてよい。
また、本実施形態では、対称性マップから、糖尿病性網膜症、加齢黄斑変性症、及び緑内障の推定処理を行う例について述べた。しかしながら、これら推定処理のうち少なくとも一つを断層画像、解析マップ、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像、眼底写真、前眼部写真、ＳＬＯ画像等を用いて行ってもよい。この場合には、これら画像の少なくともいずれかに基づいて、疾患の推定処理を行う学習済モデルを用いた推定処理を行ってもよいし、ルールベースの推定処理を行ってもよい。なお、これら学習済モデルを用いた推定処理やルールベースの推定処理は、公知の任意のものであってよい。
本実施形態の別の例では、推定部１２３が用いる学習済モデルは、複数の撮影技術で撮影した画像のそれぞれが入力される複数のチャンネルを有し、ラベル付けされた複数の疾患を分類する、一つの学習済モデルであってもよい。この場合、推定部１２３は、例えば、学習済モデルから出力される各推定ラベルのうち他の推定ラベルよりも高い確率の疾患を、最終的な推定結果として出力することができる。さらに、推定部１２３は、学習済モデルを用いて得た各推定ラベルの確率から、機械学習モデルを用いて、推定結果を決定してもよい。この場合に用いる機械学習アルゴリズムは、推定ラベルの確率の取得に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、ニューラルネットワーク、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等であってよい。
また、本実施形態の別の例では、推定部１２３が用いるデータは、複数の層の各々に対して取得されたデータ（それぞれの層で得られる厚みマップや対称性マップなど）であってよい。複数の各層の例として、神経線維層のみ、神経線維層から内網状層まで、神経節細胞層から内網状層まで、又は網膜全層が挙げられ、その他種々の組み合わせを用いることもできる。
本実施形態の別の例では、推定部１２３は、各撮影技術で撮影した画像や、各層から得られたデータ（厚みマップや対称性マップなど）で個別に推定を行った後、出力された確率が他の疾患よりも高い確率の疾患を、最終的な判定結果として出力してもよい。また、推定部１２３は、学習済モデルを用いて得た各推定ラベルの確率から、機械学習モデルを用いて、推定結果を決定してもよい。この場合に用いる機械学習アルゴリズムは、推定ラベルの確率の取得に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、ニューラルネットワーク、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等であってよい。
［第３実施形態］
次に、図６乃至図８（ｂ）を参照して第３実施形態について説明する。本実施形態では、異なる時間に取得された医用画像に基づいて眼科疾患に関する推定を行う。なお、本実施形態に係る制御部の構成は、第１実施形態に係る制御部１０２と同様であるため、同じ参照符号を用いて説明を省略する。以下、第１実施形態との違いを中心に本実施形態に係る制御部１０２について説明する。なお、本実施形態に係る推定対象も眼科疾患に限られず、全身疾患であってよい。
眼科疾患に関する予後を予測するため、被検眼を異なる時間に撮影して得た複数の医用画像（時系列データ）から、疾患の進行を高精度に推定することが求められる。そこで、本実施形態に係る制御部１０２は、時系列データから異なる時間に取得されたデータ間の相関関係を示す相関値を画素値とした相関マップを生成することで、疾患の進行を高精度に推定する。なお、本実施形態に係る画像処理の動作は、図２のフローチャートで示される動作と同様の処理であるため、同じ参照符号を用いて説明する。
［ステップＳ２１：画像入力］
ステップＳ２１において、本実施形態に係る取得部１２１は、被検体を異なる時間に撮影して得た複数の眼底画像を取得する。例えば、取得部１２１は、過去に撮影された少なくとも１つの３次元の断層画像を、通信ネットワークなどを通して既存のデータベースから取得することができる。また、取得部１２１は、新たに撮影された断層画像を、撮影装置１０１から取得することができる。なお、過去の断層画像は、予め記憶部１２６に記憶しておき、記憶部１２６から取得されてもよい。
なお、第１実施形態と同様に、取得部１２１は、新たに撮影された眼底画像を不図示の外部装置から取得してもよい。また、取得部１２１は、複数の眼底画像に関する干渉信号を取得してもよい。また、取得部１２１は、第１実施形態と同様に、眼底写真や前眼部写真、ＳＬＯ画像、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像、患者データ等も取得することができる。
［ステップＳ２２：画像処理］
ステップＳ２２においては、画像処理部１２２が、異なる時間に撮影して得た同一被検眼の眼底画像を比較して、相関マップを生成する。相関マップ生成の例を、図６に示すフローチャート及び図７に示す概略図を用いて説明する。
まず、ステップＳ６２１において、画像処理部１２２は、新しく撮影された断層画像７０１から第１の厚みマップ７１１を生成する。また、同様に、過去に撮影された断層画像７０２から第２の厚みマップ７１２を生成する。厚みマップは、第１実施形態で述べた方法と同様の方法で生成される。
次に、ステップＳ６２２において、画像処理部１２２は、第１の厚みマップ７１１及び第２の厚みマップ７１２に対して補正処理を行う。本実施形態の補正処理の一例は、幾何補正処理を含むことができる。画像処理部１２２は第１実施形態で述べた方法と同様に、記憶部１２６に記憶された基準情報を参照しながら、第１の厚みマップ７１１及び第２の厚みマップ７１２に対して、拡縮（拡大あるいは縮小）、回転、平行移動といった、幾何学的な補正処理を行う。なお、基準情報は、最も古い時間に撮影された断層画像から生成された厚みマップの黄斑部Ａから乳頭部Ｂまでの距離、角度、並びに黄斑部Ａ及び乳頭部Ｂの位置としてもよい。この場合、基準情報を参照しながら、他の時間に撮影された断層画像から生成された厚みマップを補正する。また、基準情報の取得に用いる画像は、最も古いものに限れず、任意の時間に撮影された画像であってよい。なお、基準情報は、第１実施形態で述べたものを用いてもよい。
また、本実施形態の補正処理の一例は、厚みマップを平滑化する処理を含むことができる。平滑化処理によって、異なる時間に撮影された断層画像同士の位置ずれや回転ずれの影響を低減することができる。なお、補正処理は、不適切箇所の輝度値の補正や眼軸長に応じた補正等、その他の画像処理を含んでもよい。
次に、ステップＳ６２３において、画像処理部１２２は、補正後の第１の厚みマップ７２１及び補正後の第２の厚みマップ７２２を比較することで相関マップを生成する。本実施形態の一例では、画像処理部１２２は、各ＸＹ位置で、補正後の第２の厚みマップ７２２の輝度値に対する補正後の第１の厚みマップ７２１の輝度値の比を算出し、算出した比を当該位置の画素値とすることで、相関マップを生成する。
また、画像処理部１２２は、過去に撮影された複数の断層画像のそれぞれから厚みマップを生成し、最も古い時間に撮影された厚みマップの輝度値に対して他の厚みマップの輝度値との比を算出し、算出した比を画素値として複数の相関マップを生成してもよい。これにより、画像処理部１２２は、相関マップの時系列データを生成することができる。また、比を算出する際の対象は最も古い時間に撮影された画像から得られる厚みマップに限らず、別の時間に撮影された画像から得られる厚みマップや、健常時の画像から得られる厚みマップであってもよい。なお、本実施形態では、厚みマップを用いたが、血管密度マップ等の他の解析マップを用いてもよい。
また、本実施形態の別の例では、画像処理部１２２は、第１の厚みマップから第１の対称性マップを生成し、第２の厚みマップから第２の対称性マップを生成することができる。対称性マップの生成方法は第１の実施形態と同様である。対称性マップの各ＸＹ位置で、第２の対称性マップの輝度値に対する第１の対称性マップの輝度値の比をとることで、相関マップが生成される。
また、ここでは異なる時間の厚みマップの輝度値の比を画素値とすることで相関マップを生成した。しかしながら、相関マップの画素値は、比に代えて異なる時間の厚みマップの輝度値の差を用いてもよい。また、画素値の算出方法に、輝度値の対数変換処理などを含めてもよい。
［ステップＳ２３：推定］
ステップＳ６２３において複数の相関マップが生成され、推定部１２３に出力されると、処理はステップＳ２３に移行する。ステップＳ２３では、推定部１２３が、相関マップを学習データとした学習により得た学習済モデルを用いて、画像処理部１２２から入力された相関マップから被検眼の疾患の進行に関する推定を行う。
本実施形態の一例では、推定部１２３は、疾患の進行の有無やその確率を推定した推定結果を出力する。また、推定部１２３は、所定の時間経過後に（未来において）、症状がどのくらい進行しているかを推定した推定結果を出力してもよい。この場合の学習済モデルの学習データは、学習用データの断層画像から相関マップを生成したものを入力データとし、その後の進行の有無や、所定の時間経過後にどのくらいまで重症化したかを示すラベルを出力データとして生成されてよい。
なお、相関マップの時系列データを学習済モデルへの入力とする場合には、学習データの入力データも相関マップの時系列データとすることができる。この場合、時系列データに関する画像間の時間間隔は様々であってもよいし、一定であってもよい。ただし、学習データの入力データである相関データの時系列データに関して画像間の時間間隔を一定とする場合には、推定部１２３が学習済モデルに入力する相関データの時系列データに関する画像間の時間間隔も同一の時間間隔とする。
また、本実施形態の一例では、記憶部１２６は、ある時点又は初診の際に疾患を推定するための学習済モデルと、時系列データから進行を推定する学習済モデルとを、個別に備えてよい。これにより、ある時点又は初診の際に、データが不足した推定処理を回避し、適切な疾患の推定処理を行うことができる。
上記のように、本実施形態に係る制御部１０２では、医用画像の一例である眼底画像は、被検眼を異なる時間に撮影して得た複数の眼底画像を含む。また、画像処理部１２２は、複数の眼底画像を画像処理して画像間の相関関係を示す相関マップを生成する。推定部１２３は、相関マップを用いた学習により得た学習済モデルを用いて、生成した相関マップから推定した眼科疾患に関する推定結果を出力する。本実施形態に係る制御部１０２は、このような構成により、眼底画像の時系列データを用いて、疾患の進行の有無やその確率を精度よく推定することができる。
なお、相関マップの時系列データを入力データとする場合には、学習済モデルとして、時系列情報を扱うニューラルネットワークである再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。図８（ａ）は、機械学習モデルであるＲＮＮの構造を示す。図８（ａ）に示すＲＮＮ８２は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘｔ８１を入力し、データｈｔ８３を出力する。ＲＮＮ８２はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図８（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘｔ８１にはＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ８２より出力されるデータｈｔ８３には入力データに対応するＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。
しかしながら、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、長短期記憶（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）が用いられることがある。ＬＳＴＭは、ＲＮＮの一種であり、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。より長期の情報に基づいた予測を行う場合はＬＳＴＭを用いることもできる。ここで、図９（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ９４において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃｔ－１と出力データｈｔ－１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。
次に、図９（ｂ）にＬＳＴＭ９４の詳細を示す。図９（ｂ）においては、忘却ゲートネットワークＦＧ、入力ゲートネットワークＩＧ、及び出力ゲートネットワークＯＧが示され、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。また、図９（ｂ）においては、セル更新候補ネットワークＣＵが示され、セル更新候補ネットワークＣＵは活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。
［第３実施形態の変形例］
なお、本実施形態では、相関マップを生成するために用いる画像を断層画像とした。しかしながら、相関マップを生成するために用いる画像はこれに限られず、眼底写真や前眼部写真、解析マップ、ＳＬＯ画像、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像等であってもよい。
また、画像処理部１２２は、過去に撮影された複数の断層画像それぞれから対称性マップを生成し、最も古い時間の対称性マップの輝度値に対して他の対称性マップの輝度値との比を各ＸＹ位置で算出し、当該比を画素値とした相関マップを生成してもよい。また、同様の処理により、画像処理部１２２は、相関マップの時系列データ（複数の相関マップ）を生成することもできる。なお、対称性マップの生成方法は第１実施形態で述べた方法を用いてよい。また、対称性マップを生成する際に用いる画像は断層画像に限られず、厚みマップや血管密度マップ等の解析マップ、眼底写真、前眼部写真、ＳＬＯ画像、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像等であってもよい。
なお、比を算出する際の対象は最も古い時間に撮影された画像から得られる対称性マップに限らず、別の時間に撮影された画像から得られる対称性マップや、健常時の画像から得られる対称性マップであってもよい。相関マップの画素値は、比に代えて異なる時間の対称性マップの輝度値の差を用いてもよい。また、画素値の算出方法に、輝度値の対数変換処理などを含めてもよい。
このように、本実施形態の他の例では、画像処理部１２２は、複数の眼底画像を画像処理して得た複数の時間の対称性マップ間の相関関係を示す相関マップを生成する。推定部１２３は、相関マップや相関マップの時系列データから眼科疾患の進行を推定した推定結果を出力する。推定部１２３は、このように生成された相関マップを用いて推定処理を行うことでも、第３実施形態と同様に疾患の進行の有無やその確率を推定した推定結果を出力することができる。なお、この場合に推定部１２３が用いる学習済モデルの入力データとしては、対称性マップを用いて生成された相関マップを用いることができる。また、この場合の学習済モデルは、単一時間の対称性マップから眼科疾患を推定するための学習済モデルと、対称性マップの時系列データから生成された相関マップに基づいて眼科疾患の進行を推定するための学習済モデルとを含んでもよい。
また、本実施形態の別の例では、推定部１２３は、第１の解析マップ又は第１の対称性マップの少なくとも一方と、第２の解析マップ又は第２の対称性マップの少なくとも一方とから、学習済モデルを用いて各時間における緑内障の推定処理を行ってもよい。なお、当該推定処理は、第１実施形態で述べた推定処理と同様の処理でよい。この場合、推定部１２３は、これらの学習済モデルで注目された領域を示す注意マップを取得することができる。推定部１２３は、第１の解析マップ又は第１の対称性マップについての推定処理により第１の注意マップを取得し、第２の解析マップ又は第２の対称性マップについての推定処理により第２の注意マップを取得する。このような場合には、画像処理部１２２は、注意マップの各ＸＹ位置で、第２の注意マップの輝度値に対する第１の注意マップの輝度値の比を算出し、算出した比を画素値とすることで相関マップを生成することができる。
また、画像処理部１２２は、過去に撮影された断層画像を用いて生成された複数の解析マップ又は対称性マップのそれぞれから注意マップを生成し、最も古い時間の注意マップの輝度値に対して他の注意マップの輝度値との比を各ＸＹ位置で算出し、当該比を画素値とした複数の相関マップを生成してもよい。これにより、画像処理部１２２は、相関マップの時系列データを生成することができる。
なお、比を算出する際の対象は最も古い時間に撮影された画像から得られる注意マップに限らず、別の時間に撮影された画像から得られる注意マップや、健常時の画像から得られる注意マップであってもよい。相関マップの画素値は、比に代えて異なる時間の対称性マップの輝度値の差を用いてもよい。また、画素値の算出方法に、輝度値の対数変換処理などを含めてもよい。さらに、画像処理部１２２は、注意マップそのものの時系列データを推定部１２３へ出力してもよい。
推定部１２３は、このように生成された注意マップ又は相関マップを用いて推定処理を行うことでも、第３実施形態と同様に疾患の進行の有無やその確率を推定した推定結果を出力することができる。なお、この場合に推定部１２３が疾患の進行の有無やその確率の推定処理に用いる学習済モデルの入力データとしては、注意マップ又は注意マップを用いて生成された相関マップを用いることができる。
以上のように、上述の第１乃至第３実施形態によれば、被検眼の対称性を示す対称性マップや、異なる時間に撮影された画像間の相関を示す相関マップを用いて被検眼の疾患に関する推定を行うことができる。これにより、例えば、緑内障のように対称性や相関関係等の特徴に所見が現れるような疾患の推定精度を向上させることができる。
［変形例１］
本発明に係る変形例１では、画像処理部１２２が、撮影装置１０１で取得された、参照光と眼からの戻り光による干渉信号を画像処理に用いることができる。断層画像は一般的に干渉信号をフーリエ変換して得られるが、画像処理部１２２は、フーリエ変換前の干渉信号を画像処理に用いてもよい。画像処理部１２２は、取得部１２１が取得したフーリエ変換前の干渉信号に対して、異常部分（異なる周波数の信号やスパイクノイズなど）を除去する処理を行ってもよい。異常部分を除去したのちにフーリエ変換して、断層画像を生成し、上記と同様の処理を行うことができる。
また、画像処理部１２２は、フーリエ変換前の干渉信号を推定部１２３へ出力してもよい。この場合、推定部１２３は、干渉信号を学習データとした学習により得た学習済モデルを用いて、画像処理部１２２から出力された干渉信号から被検眼の疾患に関する情報を推定した推定結果を出力することができる。
［変形例２］
本発明に係る変形例２では、画像処理部１２２は、３次元の断層画像からある方向で生成された図１０（ａ）に示すような断層画像データ１００１から、対象となる層の厚みをプロットした図１０（ｂ）に示すようなプロファイル１００２を生成することができる。また、各厚みを、評価し易い相対値に置き換えてもよい。画像処理部１２２は、このプロファイル１００２を、推定部１２３へ出力してもよい。この場合、推定部１２３は、このようなプロファイルを学習データとした学習により得た学習済モデルを用いて、画像処理部１２２によって生成されたプロファイル１００２から被検眼の疾患に関する推定結果を出力することができる。
また、画像処理部１２２は、プロファイルの形式ではなく、各位置での厚みの値をベクトルに配置した特徴ベクトルを推定部１２３へ出力してもよい。この場合、推定部１２３が、特徴ベクトルを学習データとした学習により得た学習済モデルを用いて、画像処理部１２２が生成した特徴ベクトルから被検眼の疾患に関する情報を推定した推定結果を出力してもよい。
［変形例３］
本発明に係る変形例３では、画像処理部１２２は、取得した眼底写真などから一部の特徴部の形状を抽出して輪郭などをプロットした特徴マップを生成することができる。特徴部の例は、視神経乳頭陥凹、視神経乳頭、ＲＮＦＬ（網膜神経線維束）などとすることができる。なお、特徴部の形状の抽出方法としては、公知のセグメンテーション処理を用いてよい。また、当該セグメンテーション処理は、被検眼の構造等に基づくルールベースの処理であってもよいし、Ｕ－ｎｅｔ型の学習済モデルや領域検出用の学習済モデルを用いて行われてよい。
画像処理部１２２は、生成した特徴マップを推定部１２３へ出力してもよい。この場合、推定部１２３は、特徴マップを学習データとした学習により得た学習済モデルを用いて、画像処理部１２２により生成された特徴マップから被検体の疾患に関する情報を推定した推定結果を出力することができる。このような処理により、緑内障など、視神経乳頭陥凹やＲＮＦＬの形状に所見が現れる症状を、より高精度に推定できることが期待できる。
［変形例４］
本発明に係る変形例４では、画像処理部１２２は、撮影装置１０１で得られた２次元の断層画像を推定部１２３へ出力することができる。推定部１２３は、２次元の断層画像を学習データとした学習により得た機械学習モデルを用いて、画像処理部１２２から出力された断層画像から被検体の疾患に関する情報を推定した推定結果を出力することができる。この場合には、加齢黄斑変性や緑内障といった、断層画像に所見が現れる症状を高精度に推定できることが期待できる。
なお、画像処理部１２２は、取得した各スキャン位置の断層画像から３次元の断層画像（３次元ボリュームデータ）を生成して、推定部１２３へ出力してもよい。推定部１２３は、３次元のボリュームデータを学習データとした学習により得た機械学習モデルを用いて、画像処理部１２２によって生成された３次元のボリュームデータから被検体の疾患に関する情報を推定した推定結果を出力することができる。この場合には、緑内障など３次元的な構造に所見が現れる症状を高精度に推定できることが期待できる。
［変形例５］
本発明に係る変形例５では、画像処理部１２２が、第１実施形態と同様に対称性マップを生成するとともに、上述した、層厚に関するプロファイル、特徴ベクトル、特徴マップ、及び３次元ボリュームデータの少なくともいずれかを生成する。推定部１２３は、対称性マップに加えて、上述したいずれかのデータや断層画像を学習データとした学習により得た学習済モデルを用いて、対称性マップ及びこれらのデータから被検体の疾患に関する情報を推定した推定結果を出力することができる。この場合には、入力データとして用いるデータの種類に応じて、変形例２乃至４で述べた各種効果を奏することができる。なお、この場合、学習データの入力データとして対称性マップ及び上述したデータを用いればよく、出力データは第１実施形態等で述べた学習データの出力データと同様のものを用いてよい。
また、推定部１２３は、対称性マップや上述した各種データに加えて、視野計による計測結果を用いて推定処理を行ってもよい。この場合、学習済モデルの学習データとしては、入力データに対称性マップや上述した各種データに加えて、視野計による計測結果を含めればよい。この場合には、視野計による計測結果に含まれる特徴を推定処理に用いることができ、被検眼の疾患に関する推定精度をより向上させることができると期待できる。
なお、制御部１０２は、第２実施形態や第３実施形態でもこれらと同様の処理により、被検眼の疾患に関する推定結果を出力することができる。
また、第１実施形態乃至第３実施形態では、推定部１２３は、対称性マップ又は相関マップから被検体の疾患に関する推定処理を行った。これに対して、推定部１２３は、視野計の計測結果から被検体の疾患に関する推定処理を行ってもよい。この場合、学習済モデルの学習データは、入力データとして視野計による計測結果を用いてよい。出力データに関しては、第１実施形態等で述べたものと同様のものでよい。また、推定部１２３は、視野計の計測結果に加えて、２次元の断層画像、３次元の断層画像、解析マップ、眼底写真、前眼部写真、ＳＬＯ画像、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像等の、医用画像の一例である眼底画像の少なくとも１つを用いて被検眼の疾患に関する推定処理を行ってもよい。また、推定部１２３は、視野計の計測結果に加えて、隅角情報、層厚に関するプロファイル、特徴ベクトル、特徴マップのうちの少なくとも１つを用いて被検体の疾患に関する推定処理を行ってもよい。この場合、学習済モデルの学習データは、推定部１２３が推定処理に用いるデータと同種のデータを入力データとすればよい。このような処理では、視野計の計測結果に基づいて、高精度に疾患を推定することができる。
［変形例６］
被検体の疾患に関する推定処理に用いる学習済モデル（推定用の学習済モデル）を被検者毎に調整（チューニング）する学習を行い、その被検者専用の学習済モデルを生成してもよい。例えば、被検者の過去の検査において取得された断層画像を用いて、被検体の疾患を推定するための汎用的な学習済モデルの転移学習を行い、その被検者専用の学習済モデルを生成することができる。被検者専用の学習済モデルを被検者のＩＤと紐付けて記憶部１２６やサーバ等の外部装置に記憶させておくことで、制御部１０２は、被検者の現在の検査を行う際に、被検者のＩＤに基づいて被検者専用の学習済モデルを特定し、利用することができる。被検者専用の学習済モデルを用いることで、被検者毎の疾患に関する推定精度を向上させることができる。
［変形例７］
なお、制御部１０２は、撮影により取得した画像等を用いて様々な画像処理を行ってよい。例えば、制御部１０２は、撮影により取得した画像について、高画質化用の学習済モデル（高画質化モデル）を用いて画質を改善した高画質画像を生成してもよい。ここで、画質の改善とは、ノイズの低減や、撮影対象を観察しやすい色や階調への変換、解像度や空間分解能の向上、及び解像度の低下を抑えた画像サイズの拡大等を含む。
高画質化用の機械学習モデルとしては、例えばＣＮＮ等を用いることができる。また、高画質化モデルの学習データとしては、前眼画像やＳＬＯ画像等の各種画像を入力データとし、入力された画像に対応する、例えば高画質化処理を施した高画質な画像を出力データとする。ここで、高画質化処理とは、空間的に同じ位置を複数回撮影した画像について位置合わせを行い、それら位置合わせ済みの画像を加算平均処理することが挙げられる。なお、高画質化処理は加算平均処理に限られず、例えば、平滑化フィルタを用いた処理や最大事後確率推定処理（ＭＡＰ推定処理）、階調変換処理等であってもよい。また、高画質化処理された画像としては、例えば、ノイズ除去とエッジ強調などのフィルタ処理を行った画像でもよいし、低輝度な画像から高輝度な画像とするようなコントラストが調整された画像を用いてもよい。さらに、高画質化モデルに係る学習データの出力データは、高画質な画像であればよいため、入力データである断層画像を撮影した際のＯＣＴ装置よりも高性能なＯＣＴ装置を用いて撮影された画像や、高負荷な設定により撮影された画像であってもよい。
ただし、適切に高画質化処理が行われていない画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルを用いて得た画像も適切に高画質化処理が行われていない画像となってしまう可能性がある。そのため、そのような画像を含むペアを教師データから取り除くことで、学習済モデルを用いて適切でない画像が生成される可能性を低減させることができる。
制御部１０２は、このような高画質化モデルを用いて高画質化処理を行うことで、精度良く高画質化された画像をより高速に取得することができる。
なお、高画質化モデルは、入力データである各種画像の種類毎に用意されてもよい。例えば、前眼画像用の高画質化モデルや、ＳＬＯ画像用の高画質化モデル、断層画像用の高画質化モデル、ＯＣＴＡ正面画像用の高画質化モデル等が用意されてよい。また、ＯＣＴＡ正面画像やＥｎ－Ｆａｃｅ画像については、画像を生成するための深度範囲毎に高画質化モデルが用意されてもよい。例えば、表層用の高画質化モデルや深層用の高画質化モデル等が用意されてよい。さらに、高画質化モデルは、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよいし、撮影部位に関わらず学習を行ったものであってもよい。
このとき、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化し、さらに、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化してもよい。また、高画質化モデルは、撮影部位を関わらず学習を行ったものであってもよい。ここで、例えば、眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像は、撮影対象である血管の分布の様子が互いに比較的類似していることがある。このように、撮影対象の様子が互いに比較的類似しているような複数の種類の医用画像では、互いの特徴量が比較的類似していることがある。そこで、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化するだけでなく、前眼ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。また、例えば、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化するだけでなく、眼底ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。すなわち、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を高画質化可能に構成されてもよい。
ここで、眼底撮影可能なＯＣＴ装置において、前眼も撮影可能である場合を考える。このとき、ＯＣＴＡのＥｎ－Ｆａｃｅ画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴＡ正面画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴＡ正面画像が適用されてもよい。このとき、高画質化ボタンが押下されると、例えば、眼底撮影モードにおいては、ＯＣＴＡのＥｎ－Ｆａｃｅ画像の表示領域において、低画質の眼底ＯＣＴＡ正面画像と高画質の眼底ＯＣＴＡ正面画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。また、高画質化ボタンが押下されると、例えば、前眼部撮影モードにおいては、ＯＣＴＡのＥｎ－Ｆａｃｅ画像の表示領域において、低画質の前眼ＯＣＴＡ正面画像と高画質の前眼ＯＣＴＡ正面画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。
なお、眼底撮影可能なＯＣＴ装置において、前眼も撮影可能とする場合に、前眼アダプタが装着可能に構成されてもよい。また、前眼アダプタを用いずに、ＯＣＴ装置の光学系が被検眼の眼軸長程度の距離、移動可能に構成されてもよい。このとき、ＯＣＴ装置のフォーカス位置が前眼に結像する程度、正視側に大きく変更可能に構成されてもよい。
また、断層画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴ断層画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴ断層画像が適用されてもよい。また、上述した眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像の高画質化処理は、例えば、眼底ＯＣＴ断層画像及び前眼ＯＣＴ断層画像の高画質化処理として適用することも可能である。このとき、高画質化ボタンが押下されると、例えば、眼底撮影モードにおいては、断層画像の表示領域において、低画質の眼底ＯＣＴ断層画像と高画質の眼底ＯＣＴ断層画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。また、高画質化ボタンが押下されると、例えば、前眼部撮影モードにおいては、断層画像の表示領域において、低画質の前眼ＯＣＴ断層画像と高画質の前眼ＯＣＴ断層画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。
また、断層画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴＡ断層画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴＡ断層画像が適用されてもよい。また、上述した眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像の高画質化処理は、例えば、眼底ＯＣＴＡ断層画像及び前眼ＯＣＴＡ断層画像の高画質化処理として適用することも可能である。このとき、例えば、眼底撮影モードにおいては、断層画像の表示領域において、眼底ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置の眼底ＯＣＴ断層画像に重畳して表示されるように構成されてもよい。また、例えば、前眼部撮影モードにおいては、断層画像の表示領域において、前眼ＯＣＴＡ断層画像における血管領域を示す情報が、対応する位置の前眼ＯＣＴ断層画像に重畳して表示されてもよい。
このように、例えば、複数の種類の医用画像の特徴量（撮影対象の様子）が互いに比較的類似していると考えられるような場合には、複数の種類の医用画像の少なくとも一つの種類の医用画像を学習データとして学習して得た高画質化モデルを用いて、複数の種類の医用画像の少なくとも一つの種類の医用画像を高画質化可能に構成されてもよい。これにより、例えば、共通の学習済モデル（共通の高画質化モデル）を用いて、複数の種類の医用画像の高画質化を実行可能に構成することができる。
なお、眼底撮影モードの表示画面と前眼部撮影モードの表示画面とは、同じ表示レイアウトであってもよいし、それぞれの撮影モードに対応する表示レイアウトであってもよい。眼底撮影モードと前眼部撮影モードとで、撮影条件や解析条件等の種々の条件が同じであってもよいし、異なっていてもよい。
ここで、高画質化処理の対象画像は、例えば、（複数の深度範囲に対応する）複数のＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像、モーションコントラストのＥｎ－Ｆａｃｅ画像）であってもよい。また、高画質化処理の対象画像は、例えば、１つの深度範囲に対応する１つのＯＣＴＡ正面画像であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像の代わりに、例えば、輝度の正面画像（輝度のＥｎ－Ｆａｃｅ画像）、あるいはＢスキャン画像であるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像だけでなく、例えば、輝度の正面画像及びＢスキャン画像であるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）等の種々の医用画像であってもよい。すなわち、高画質化処理の対象画像は、例えば、表示部１０３の表示画面上に表示されている種々の医用画像の少なくとも１つであればよい。このとき、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いてＯＣＴＡ正面画像を高画質化処理するだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いてＯＣＴ断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴＡ正面画像の表示に変更されるだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。このとき、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＯＣＴＡ正面画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応するＯＣＴ断層画像を高画質化処理して得た高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。
また、ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置のＢスキャン画像であるＯＣＴ断層画像に重畳して表示されてもよい。このとき、例えば、ＯＣＴ断層画像が高画質化されると、対応する位置のＯＣＴＡ断層画像が高画質化されてもよい。そして、高画質化して得たＯＣＴＡ断層画像における血管領域を示す情報が、高画質化して得たＯＣＴ断層画像に重畳して表示されてもよい。なお、血管領域を示す情報は、色等の識別可能な情報であれば何でもよい。また、血管領域を示す情報の重畳表示と非表示とが検者からの指示に応じて変更可能に構成されてもよい。また、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像上で移動されると、ラインの位置に応じてＯＣＴ断層画像の表示が更新されてもよい。このとき、対応する位置のＯＣＴＡ断層画像も更新されるため、ＯＣＴＡ断層画像から得られる血管領域を示す情報の重畳表示が更新されてもよい。これにより、例えば、任意の位置において、血管領域と注目領域との位置関係を容易に確認しながら、血管領域の３次元の分布や状態を効果的に確認することができる。また、ＯＣＴＡ断層画像の高画質化は、高画質化用の学習済モデルを用いる代わりに、対応する位置で取得した複数のＯＣＴＡ断層画像の加算平均処理等による高画質化処理であってもよい。また、ＯＣＴ断層画像は、ＯＣＴボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴ断層画像であってもよい。また、ＯＣＴＡ断層画像は、ＯＣＴＡボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴＡ断層画像であってもよい。なお、任意の位置は、少なくとも１つの任意の位置であればよく、また、検者からの指示に応じて変更可能に構成されてもよい。このとき、複数の位置に対応する複数の疑似断層画像が再構成されるように構成されてもよい。
なお、表示される断層画像（例えば、ＯＣＴ断層画像あるいはＯＣＴＡ断層画像）は、１つだけ表示されてもよいし、複数表示されてもよい。複数の断層画像が表示される場合には、それぞれ異なる副走査方向の位置で取得された断層画像が表示されてもよいし、例えばクロススキャン等により得られた複数の断層画像を高画質化して表示する場合には、異なる走査方向の画像がそれぞれ表示されてもよい。また、例えばラジアルスキャン等により得られた複数の断層画像を高画質化して表示する場合には、一部選択された複数の断層画像（例えば基準ラインに対して互いに対称な位置の２つの断層画像）がそれぞれ表示されてもよい。さらに、経過観察用の表示画面（フォローアップ用の表示画面）に複数の断層画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚み等）の表示が行われてもよい。このとき、表示される複数の断層画像は、被検眼の所定部位の異なる日時に得た複数の断層画像であってもよいし、同一検査日の異なる時間に得た複数の断層画像であってもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいて断層画像に高画質化処理を実行してもよい。
同様に、ＳＬＯ画像を高画質化して表示する場合には、例えば、同一の表示画面に表示されるＳＬＯ画像を高画質化して表示してもよい。さらに、輝度の正面画像を高画質化して表示する場合には、例えば、同一の表示画面に表示される輝度の正面画像を高画質化して表示してよい。さらに、経過観察用の表示画面に複数のＳＬＯ画像や輝度の正面画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚み等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいてＳＬＯ画像や輝度の正面画像に高画質化処理を実行してもよい。なお、断層画像、ＳＬＯ画像、及び輝度の正面画像の表示は例示であり、これらの画像は所望の構成に応じて任意の態様で表示されてよい。また、ＯＣＴＡ正面画像、断層画像、ＳＬＯ画像、及び輝度の正面画像の少なくとも２つ以上が、一度の指示で高画質化され表示されてもよい。
このような構成により、高画質化処理して得た高画質画像を表示制御部１２５が表示部１０３に表示させることができる。なお、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つの条件が選択されている場合には、表示画面が遷移されても、選択された条件が維持されるように構成されてもよい。なお、各種高画質画像や上記ライン、血管領域を示す情報等の表示の制御は、表示制御部１２５によって行われてよい。
また、高画質化モデルは、表示制御部１２５によって表示部１０３に表示されるプレビュー画面において、ライブ動画像のすくなくとも１つのフレーム毎に用いられてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。例えば、アライメント処理に用いる前眼画像について、前眼画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。同様に各種画像における所定領域の検出処理について用いられる各種画像について、それぞれの画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。
このとき、例えば、検者からの指示に応じて高画質化ボタンが押下された場合には、異なる種類の複数のライブ動画像（例えば、前眼画像、ＳＬＯ画像、断層画像）の表示を（同時に）、それぞれ高画質化処理されることにより得た高画質動画像の表示に変更されるように構成されてもよい。このとき、高画質動画像の表示は、各フレームを高画質化処理して得た高画質画像の連続表示であってもよい。また、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて前眼画像を高画質化処理するだけでなく、ＳＬＯ画像に対応する高画質化モデルを用いてＳＬＯ画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて生成された高画質な前眼画像の表示に変更されるだけでなく、ＳＬＯ画像に対応する高画質化モデルを用いて生成された高画質なＳＬＯ画像の表示に変更されるように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＳＬＯ画像に対応する高画質化モデルを用いてＳＬＯ画像を高画質化処理するだけでなく、断層画像に対応する高画質化モデルを用いて断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＳＬＯ画像に対応する高画質化モデルを用いて生成された高画質なＳＬＯ画像の表示に変更されるだけでなく、断層画像に対応する高画質化モデルを用いて生成された高画質な断層画像の表示に変更されるように構成されてもよい。このとき、断層画像の位置を示すラインがＳＬＯ画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＳＬＯ画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応する断層画像を高画質化処理して得た高画質な断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。
これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、プレビュー画面を確認しながら操作者がアライメント位置を修正する場合に、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。また、制御部１０２は、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影（リスキャン）されるように、上述した走査手段を駆動制御してもよい。なお、被検眼の動き等の状態によっては、１回のリスキャンでは上手く撮影できない場合があるため、所定の回数のリスキャンが繰り返されるように駆動制御されてもよい。このとき、所定の回数のリスキャンの途中でも、操作者からの指示に応じて（例えば、撮影キャンセルボタンの押下後に）リスキャンが終了されるように構成されてもよい。このとき、操作者からの指示に応じてリスキャンが終了されるまでの撮影データが保存されるように構成されてもよい。なお、例えば、撮影キャンセルボタンの押下後に確認ダイアログが表示され、撮影データの保存か、撮影データの破棄かを、操作者からの指示に応じて選択可能に構成されてもよい。また、例えば、撮影キャンセルボタンの押下後には、（現在のリスキャンは完了するまで実行されるが）次のリスキャンは実行されずに、確認ダイアログにおける操作者からの指示（入力）があるまで待機するように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。
ここで、オートアライメント中では、被検眼Ｅの網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン画像）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。
また、スキャンパターン等が異なる撮影モード毎に異なる高画質化モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化モデルが用いられてもよい。
ここで、眼科装置、例えばＯＣＴ装置では、撮影モード毎に測定に用いる光束のスキャンパターンや撮影部位が異なる。そのため、断層画像を入力データとする学習済モデルに関しては、撮影モード毎に学習済モデルを用意し、操作者の指示に応じて選択された撮影モードに対応する学習済モデルが選択されるように構成してもよい。この場合、撮影モードとしては、例えば、網膜撮影モード、前眼部撮影モード、硝子体撮影モード、黄斑部撮影モード、及び視神経乳頭部撮影モード、ＯＣＴＡ撮影モード等が含まれてよい。また、スキャンパターンとしては、３Ｄスキャン、ラジアルスキャン、クロススキャン、サークルスキャン、ラスタスキャン、及びリサージュスキャン（リサージュ曲線に沿った走査）等が含まれてよい。なお、ＯＣＴＡ撮影モードでは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように、駆動制御部１２４が上述した走査手段を制御する。ＯＣＴＡ撮影モードでも、スキャンパターンとして、例えばラスタスキャンや、ラジアルスキャン、クロススキャン、サークルスキャン、リサージュスキャン等を設定することができる。また、断層画像を入力データとする学習済モデルに関しては、異なる方向の断面に応じた断層画像を学習データに用いて学習を行うことができる。例えば、ｘｚ方向の断面の断層画像やｙｚ方向の断面の断層画像等を学習データに用いて学習を行ってよい。
なお、高画質化モデルによる高画質化処理の実行（又は高画質化処理して得た高画質画像の表示）の要否の判断は、表示画面に設けられる高画質化ボタンについて、操作者の指示に応じて行われてもよいし、予め記憶部１２６に記憶されている設定に応じて行われてもよい。なお、学習済モデル（高画質化モデル）を用いた高画質化処理である旨を高画質化ボタンのアクティブ状態等で表示してもよいし、その旨をメッセージとして表示画面に表示させてもよい。また、高画質化処理の実行は、眼科装置の前回の起動時における実行状態を維持してもよいし、被検者毎に前回の検査時の実行状態を維持してもよい。
また、高画質化モデル等の種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部１２６に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部１２６に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン画像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化エンジンにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成されてもよい。
なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されても良いし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン画像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン画像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
また、高画質化モデルは、検者からの指示に応じて設定（変更）された割合の値を学習データとする追加学習により更新されてもよい。例えば、入力画像が比較的暗いときに、高画質画像に対する入力画像の割合を検者が高く設定する傾向にあれば、学習済モデルはそのような傾向となるように追加学習することになる。これにより、例えば、検者の好みに合った合成の割合を得ることができる学習済モデルとしてカスタマイズすることができる。このとき、設定（変更）された割合の値を追加学習の学習データとして用いるか否かを、検者からの指示に応じて決定するためのボタンが表示画面に表示されていてもよい。また、学習済モデルを用いて決定された割合をデフォルトの値とし、その後、検者からの指示に応じて割合の値をデフォルトの値から変更可能となるように構成されてもよい。また、高画質化モデルは、高画質化モデルを用いて生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。
［変形例８］
また、制御部１０２は、撮影により取得した画像について、画像セグメンテーション用の学習済モデルを用いてラベル画像を生成し、画像セグメンテーション処理を行ってもよい。ここでラベル画像とは、当該断層画像について画素毎に領域のラベルが付されたラベル画像をいう。具体的には、取得された画像に描出されている領域群のうち、任意の領域を特定可能な画素値（以下、ラベル値）群によって分けている画像のことである。ここで、特定される任意の領域には関心領域や関心体積（ＶＯＩ：Ｖｏｌｕｍｅ Ｏｆ Ｉｎｔｅｒｅｓｔ）等が含まれる。
画像から任意のラベル値を持つ画素の座標群を特定すると、画像中において対応する網膜層等の領域を描出している画素の座標群を特定できる。具体的には、例えば、網膜を構成する神経節細胞層を示すラベル値が１である場合、画像の画素群のうち画素値が１である座標群を特定し、画像から該座標群に対応する画素群を抽出する。これにより、当該画像における神経節細胞層の領域を特定できる。
なお、画像セグメンテーション処理には、ラベル画像に対する縮小又は拡大処理を実施する処理が含まれてもよい。このとき、ラベル画像の縮小又は拡大に用いる画像補完処理手法は、未定義のラベル値や対応する座標に存在しないはずのラベル値を誤って生成しないような、最近傍法等を使うものとする。
画像セグメンテーション処理とは、画像に描出された臓器や病変といった、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）やＶＯＩと呼ばれる領域を、画像診断や画像解析に利用するために特定する処理のことである。例えば、画像セグメンテーション処理によれば、後眼部を撮影対象としたＯＣＴの撮影によって取得された画像から、網膜を構成する層群の領域群を特定することができる。なお、画像に特定すべき領域が描出されていなければ特定される領域の数は０である。また、画像に特定すべき複数の領域群が描出されていれば、特定される領域の数は複数であってもよいし、又は、該領域群を含むように囲む領域１つであってもよい。
特定された領域群は、その他の処理において利用可能な情報として出力される。具体的には、例えば、特定された領域群のそれぞれを構成する画素群の座標群を数値データ群として出力することができる。また、例えば、特定された領域群のそれぞれを含む矩形領域や楕円領域、長方体領域、楕円体領域等を示す座標群を数値データ群として出力することもできる。さらに、例えば、特定された領域群の境界にあたる直線や曲線、平面、又は曲面等を示す座標群を数値データ群として出力することもできる。また、例えば、特定された領域群を示すラベル画像を出力することもできる。
ここで、画像セグメンテーション用の機械学習モデルとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を用いることができる。ここで、図１１を参照して、本変形例に係る機械学習モデルを、ＣＮＮで構成する例について説明する。図１１は、画像セグメンテーション用の学習済モデルの構成１１００の一例を示している。当該学習済モデルの例では、例えば、断層画像Ｉｍ１１１０が入力されると、特定された領域群を示すラベル画像Ｉｍ１１２０を出力することができる。
図１１に示す機械学習モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該機械学習モデルの構成１１００に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
なお、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、より精度の高いアライメント位置の情報を出力したり、処理時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
なお、本変形例で用いるＣＮＮの構成１１００は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルである。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしてもよい。ＣＮＮのこれらのステップを通して、撮影画像の特徴を抽出することができる。
なお、本変形例に係る機械学習モデルとしては、例えば、図１１で示したようなＣＮＮ（Ｕ－ｎｅｔ型の機械学習モデル）、ＣＮＮとＬＳＴＭを組み合わせたモデル、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることができる。また、所望の構成に応じて、物体認識を行う機械学習モデル等を用いることもできる。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルを用いることもできる。領域単位で物体認識を行う機械学習モデルとしては、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。
また、画像セグメンテーション用の機械学習モデルの学習データは、ＯＣＴにより取得された断層画像を入力データとし、当該断層画像について画素毎に領域のラベルが付されたラベル画像を出力データとする。ラベル画像としては、例えば、内境界膜（ＩＬＭ）、神経線維層（ＮＦＬ）、神経節細胞層（ＧＣＬ）、視細胞内節外節接合部（ＩＳＯＳ）、網膜色素上皮層（ＲＰＥ）、ブルッフ膜（ＢＭ）、及び脈絡膜等のラベルが付されたラベル画像を用いることができる。なお、その他の領域として、例えば、硝子体、強膜、外網状層（ＯＰＬ）、外顆粒層（ＯＮＬ）、内網状層（ＩＰＬ）、内顆粒層（ＩＮＬ）、角膜、前房、虹彩、及び水晶体等のラベルが付された画像を用いてもよい。
また、画像セグメンテーション用の機械学習モデルの入力データは断層画像に限られない。前眼画像やＳＬＯ画像、ＯＣＴＡ画像等であってもよい。この場合、学習データは、各種画像を入力データとし、各種画像の画素毎に領域名等がラベル付けされたラベル画像を出力データとすることができる。例えば、学習データの入力データがＳＬＯ画像である場合には、出力データは、視神経乳頭の周辺部、Ｄｉｓｃ、及びＣｕｐ等のラベルが付された画像であってよい。
なお、出力データとして用いられるラベル画像は、医師等により断層画像において各領域にラベルが付された画像であってもよいし、ルールベースの領域検出処理により各領域にラベルが付された画像であってもよい。ただし、適切にラベル付けが行われていないラベル画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルを用いて得た画像も適切にラベル付けが行われていないラベル画像となってしまう可能性がある。そのため、そのようなラベル画像を含むペアを学習データから取り除くことで、学習済モデルを用いて適切でないラベル画像が生成される可能性を低減させることができる。ここで、ルールベースの領域検出処理とは、例えば網膜の形状の規則性等の既知の規則性を利用した検出処理をいう。
制御部１０２は、このような画像セグメンテーション用の学習済モデルを用いて、画像セグメンテーション処理を行うことで、各種画像について特定の領域を高速に精度良く検出することが期待できる。なお、画像セグメンテーション用の学習済モデルも、入力データである各種画像の種類毎に用意されてもよい。また、ＯＣＴＡ正面画像やＥｎ－Ｆａｃｅ画像については、画像を生成するための深度範囲毎に学習済モデルが用意されてもよい。さらに、画像セグメンテーション用の学習済モデルも、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよいし、撮影部位を関わらず学習を行ったものであってもよい。
また、画像セグメンテーション用の学習済モデルについては、操作者の指示に応じて手動で修正されたデータを学習データとして追加学習が行われてもよい。また、追加学習の要否の判断やサーバにデータを送信するか否かの判断も同様の方法で行われてよい。これらの場合にも、各処理の精度を向上させたり、検者の好みの傾向に応じた処理を行えたりすることが期待できる。
さらに、制御部１０２は、学習済モデルを用いて、被検眼Ｅの部分領域（例えば、注目部位、アーチファクト領域、異常部位等）を検出する場合には、検出した部分領域毎に所定の画像処理を施すこともできる。例として、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの部分領域を検出する場合について述べる。この場合には、検出された少なくとも２つの部分領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は部分領域毎の疾病等をより適切に診断することができる。なお、検出された部分領域毎に異なる画像処理のパラメータを用いる構成については、学習済モデルを用いずに被検眼Ｅの部分領域を検出して求めた被検眼Ｅの部分領域について同様に適用されてもよい。
［変形例９］
上述した様々な実施形態及び変形例における表示制御部１２５は、断層画像撮影後に表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、毛細血管領域、動脈領域、静脈領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。ここで、注目部位は、例えば、Ｈａｌｌｅｒ層における血管（脈絡膜領域の一部の深度範囲における血管の一例）の眼外への流出口である渦静脈等であってもよい。このとき、注目部位に関するパラメータは、例えば、渦静脈の個数（例えば、領域毎の個数）や、視神経乳頭部から各渦静脈までの距離、視神経乳頭を中心とする各渦静脈の位置する角度等であってもよい。これにより、例えば、Ｐａｃｈｙｃｈｏｒｏｉｄ（肥厚した脈絡膜）に関する種々の疾患（例えば、脈絡膜新生血管症）等を精度よく診断することが可能となる。また、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、上述した種々の解析結果を精度の良い解析結果として表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、表示制御部１２５は、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示部１０３に表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、及びシュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。
また、画像解析を行うための学習データは、画像セグメンテーション処理用の学習済モデルを用いて生成されたラベル画像と、当該ラベル画像を用いた医用画像の解析結果とを含んだものでもよい。この場合、制御部１０２は、例えば、解析結果生成用の学習済モデルを用いて、画像セグメンテーション処理の結果から、断層画像の解析結果を生成する、解析結果生成部の一例として機能することができる。さらに、学習済モデルは、後述のＥｎ－Ｆａｃｅ画像及びモーションコントラスト正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。
また、高画質化モデルを用いて生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化用の学習済モデルを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。
また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、操作者からの指示に応じて、解析結果生成用の学習済モデルを用いて得た解析結果が表示されるように構成されてもよい。
また、上述した実施形態及び変形例における推定部１２３は、例えば、上述したような各種のアーチファクトの低減処理が適用された画像を推定処理に用いることで、精度の良い推定結果を出力することができる。また、表示制御部１２５は、推定結果を、特定された異常部位等の位置を画像上に表示させてもよいし、異常部位の状態等を文字等によって表示させてもよい。さらに、表示制御部１２５は、疾患についての推定結果とは別に、異常部位等の分類結果（例えば、カーティン分類）を診断結果として表示させてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。また、診断結果は、被検者の今後の診療方針等に関する情報であってもよい。また、診断結果は、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、及び診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報であってもよい。このとき、例えば、検者からの指示に応じて入力された診断名等の診断結果よりも確からしい診断結果を医用支援情報として表示させてもよい。また、複数の種類の医用画像が用いられた場合には、例えば、診断結果の根拠となり得る種類の医用画像が識別可能に表示されてもよい。また、診断結果の根拠としては、学習済モデルが抽出した特徴量を可視化したマップ（注意マップ、活性化マップ）で、例えば、特徴量をカラーで示したカラーマップ（ヒートマップ）であってもよい。このとき、例えば、入力データとした医用画像にヒートマップを重畳表示させてもよい。なお、ヒートマップは、例えば、予測（推定）されるクラスの出力値への寄与が大きい領域（勾配が大きい領域）を可視化する手法であるＧｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）やＧｕｉｄｅｄ Ｇｒａｄ－ＣＡＭ等を用いて得ることができる。
なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。
また、学習データは、画像セグメンテーション処理用の学習済モデルを用いて生成されたラベル画像と、当該ラベル画像を用いた医用画像の診断結果とを含んだものでもよい。この場合、制御部１０２は、例えば、診断結果生成用の学習済モデルを用いて、画像セグメンテーション処理の結果から、断層画像の診断結果を生成する、診断結果生成部の一例として機能することができる。
さらに、高画質化用の学習済モデルを用いて生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化用の学習済モデルを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。
また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータを用いてもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルを用いて得た診断結果が表示されるように構成されてもよい。
なお、入力データとして用いる情報毎又は情報の種類毎に学習済モデルを用意し、学習済モデルを用いて、診断結果を取得してもよい。この場合、各学習済モデルから出力された情報に統計的な処理を行い、最終的な診断結果を決定してもよい。例えば、各学習済モデルから出力された情報の割合を各種類の情報毎に加算し、他の情報よりも割合の合計が高い情報を最終的な診断結果として決定してもよい。なお、統計的な処理は合計の算出に限られず、平均値や中央値の算出等であってもよい。また、例えば、各学習済モデルから出力された情報のうち、他の情報よりも割合の高い情報（最も割合の高い情報）を用いて診断結果を決定してもよい。同様に、各学習済モデルから出力された情報のうち、閾値以上である割合の情報を用いて診断結果を決定してもよい。
また、操作者の指示（選択）に応じて、決定された診断結果の良否の判定（承認）が可能に構成されてもよい。また、操作者の指示（選択）に応じて、各学習済モデルから出力された情報から診断結果を決定してもよい。このとき、例えば、表示制御部１２５が、各学習済モデルから出力された情報及びその割合を並べて表示部１０３に表示させてもよい。そして、操作者が、例えば、他の情報よりも割合の高い情報を選択することにより、選択された情報を診断結果として決定するように構成されてもよい。さらに、各学習済モデルから出力された情報から、機械学習モデルを用いて、診断結果を決定してもよい。この場合には、機械学習アルゴリズムとして、診断結果生成に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、ニューラルネットワーク、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等を用いてよい。
なお、上述した種々の学習済モデルの学習は、教師あり学習（ラベル付きの学習データで学習）だけでなく、半教師あり学習であってもよい。半教師あり学習は、例えば、複数の識別器（分類器）がそれぞれ教師あり学習を行った後、ラベルのない学習データを識別（分類）し、識別結果（分類結果）の信頼度に応じて（例えば、確からしさが閾値以上の識別結果を）自動的にラベル付け（アノテーション）し、ラベル付けされた学習データで学習を行う手法である。半教師あり学習は、例えば、共訓練（Ｃｏ－Ｔｒａｉｎｉｎｇ、あるいはＭｕｌｔｉｖｉｅｗ）であってもよい。このとき、診断結果生成用の学習済モデルは、例えば、正常な被検体の医用画像を識別する第１の識別器と、特定の病変を含む医用画像を識別する第２の識別器とを用いて半教師あり学習（例えば、共訓練）して得た学習済モデルであってもよい。なお、診断目的に限らず、例えば撮影支援等を目的としてもよい。この場合、第２の識別器は、例えば、注目部位やアーチファクト領域等の部分領域を含む医用画像を識別するものであってもよい。
また、上述した様々な実施形態及び変形例に係る表示制御部１２５は、表示画面のレポート画面において、上述したような注目部位、アーチファクト領域、及び異常部位等の部分領域の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、異常部位を検出する場合には、制御部１０２は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｋｓ）や変分オートエンコーダー（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）を用いてもよい。例えば、医用画像の生成を学習して得た生成器と、生成器が生成した新たな医用画像と本物の医用画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。
ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された医用画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな医用画像を生成する。その後、入力された医用画像と生成された新たな医用画像との差分を異常部位として抽出（検出）することができる。また、ＶＡＥを用いる場合には、例えば、入力された医用画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな医用画像を生成する。その後、入力された医用画像と生成された新たな医用画像像との差分を異常部位として抽出することができる。
さらに、制御部１０２は、畳み込みオートエンコーダー（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ医用画像を学習させる。これにより、推定時に異常部位がある医用画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない医用画像が出力される。その後、ＣＡＥに入力された医用画像とＣＡＥから出力された医用画像の差分を異常部位として抽出することができる。
これらの場合、制御部１０２は、敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダーに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、制御部１０２は、高速に精度よく異常部位を検出することが期待できる。例えば、異常部位の検出精度の向上のために異常部位を含む医用画像を学習データとして数多く集めることが難しい場合であっても、比較的に数多く集め易い正常な被検体の医用画像を学習データとして用いることができる。このため、例えば、異常部位を精度よく検出するための学習を効率的に行うことができる。ここで、オートエンコーダーには、ＶＡＥやＣＡＥ等が含まれる。また、敵対的生成ネットワークの生成部の少なくとも一部がＶＡＥで構成されてもよい。これにより、例えば、同じようなデータを生成してしまう現象を低減しつつ、比較的鮮明な画像を生成することができる。例えば、制御部１０２は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダーに入力された医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部１２５は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダーに入力された医用画像との差に関する情報を、異常部位に関する情報として表示部１０３に表示させることができる。
また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタスキャン）断層画像とをセットとする入力データ等も考えられる。
なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
また、上述した推定結果と解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、操作者は、撮影直後であっても精度の良い結果を確認することができる。
また、例えば、特定の物体が認識されると、認識された物体を囲う枠がライブ動画像に重畳表示させるように構成されてもよい。このとき、物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、例えば、物体を囲う枠の色が変更される等のように強調表示されてもよい。これにより、検者は、物体をライブ動画上で容易に識別することができる。
なお、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。また、例えば、結果の精度が低い医用画像については、検者が該医用画像上に、学習済モデルが抽出した特徴量を可視化したマップ（注意マップ、活性化マップ）の一例である、特徴量をカラーで示したカラーマップ（ヒートマップ）を確認しながらラベル付け（アノテーション）した画像を入力データとして追加学習するように構成されてもよい。例えば、学習済モデルにおける結果を出力する直前等のレイヤー上のヒートマップにおいて、注目すべき箇所が検者の意図と異なる場合には、検者が注目すべきと考える箇所にラベル付け（アノテーション）した医用画像を追加学習してもよい。これにより、例えば、学習済モデルは、医用画像上の部分領域であって、学習済モデルの出力結果に対して比較的影響が大きな部分領域の特徴量を、他の領域よりも優先して（重みを付けて）追加学習することができる。
ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワークを用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダー（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。また、学習には、各ユニット（各ニューロン、あるいは各ノード）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。また、学習には、多階層のニューラルネットワークの各層に伝わったデータを、活性化関数（例えばＲｅＬｕ関数）が適用される前に、正規化する手法（バッチ正規化）が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。
なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である制御部１０２による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
また、上述した物体認識や、セグメンテーション、高画質化等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルが適用可能である。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
また、上述した物体認識や、セグメンテーション、高画質化等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。
また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン、あるいは各ノード）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
［変形例１０］
上述した様々な実施形態及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した種々の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。
なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。このようなプレビュー画像が表示される場合、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように制御部１０２を構成してもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。
これらの場合には、制御部１０２は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、駆動制御部１２４は、高画質な動画像が表示された状態で、セグメンテーション処理等により得た注目部位等の部分領域が表示領域における所定の位置になるように、参照ミラー等の撮影範囲を変更するための光学部材を駆動制御することができる。このような場合には、駆動制御部１２４は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照光を反射する参照ミラーであってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えばステージ部（不図示）であってもよい。また、駆動制御部１２４、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影（リスキャン）されるように、走査手段を駆動制御してもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各種調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。
また、上述した種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部１２６に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部１２６に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成してもよい。
なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。
また、例えば、スキャンパターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。
［変形例１１］
上述した実施形態及び変形例においては、各種学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力が実行可能なように構成されることがよい。そして、追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。
なお、追加学習の実行後の学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル（予備の学習済モデル）とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果（追加学習による変化の一例）、あるいは該複数の高画質画像の解析結果の比較結果（追加学習による変化の一例）が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（例えば、前眼部、後眼部等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、制御部１０２は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、制御部１０２は、選択された学習済モデルに対して追加学習を実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
なお、選択手段及び制御手段は、制御部１０２のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減することが有用である。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わないものとする。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
また、上述したような一致性の確認によるデータの保護は、追加学習用の学習データに限らず、医用画像を含むデータに適用可能である。また、複数の施設のサーバの間の医用画像を含むデータの取引が分散型のネットワークにより管理されるように画像管理システムが構成されてもよい。また、取引履歴と、前のブロックのハッシュ値とが一緒に記録された複数のブロックを時系列につなぐように画像管理システムが構成されてもよい。なお、一致性の確認等を行うための技術としては、量子ゲート方式等の量子コンピュータを用いても計算が困難な暗号（例えば、格子暗号、量子鍵配送による量子暗号等）が用いられてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムであってもよい。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。また、画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。
なお、各種学習済モデルについて、追加学習を行う際には、ＧＰＵを用いて高速に処理を行うことができる。ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができるため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵで処理を行うことが有効である。なお、追加学習の処理は、ＧＰＵとＣＰＵ等が協働して行ってもよい。
［変形例１２］
上述した様々な実施形態及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、音声認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。
また、検者からの指示は、表示部１０３における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部１０３における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部１０３に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、撮影パラメータの自動設定を行うか否かの実行命令及び当該命令用のボタンをアクティブ状態に変更するための実行命令等を正解データとする学習データであってもよい。なお、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス又はタッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、ＲＮＮを用いることができる。また、ＬＳＴＭやＱＲＮＮを用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。このとき、自然言語処理に関する技術としては、例えば、入力される文章毎に出力されるモデルが適用されてもよい。また、上述した種々の学習済モデルは、検者からの指示に限らず、検者に対する出力に適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。
また、自然言語処理に関する技術としては、文書データを教師なし学習により事前学習して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、事前学習して得た学習済モデルをさらに目的に応じて転移学習（あるいはファインチューニング）して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、例えば、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）が適用されてもよい。また、自然言語処理に関する技術としては、文章内の特定の単語を左右両方の文脈から予測することで、文脈（特徴量）を自ら抽出（表現）可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、入力される時系列データにおける２つのシーケンス（センテンス）の関係性（連続性）を判断可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、隠れ層にＴｒａｎｓｆｏｒｍｅｒのＥｎｃｏｄｅｒが用いられ、ベクトルのシーケンスが入力、出力されるモデルが適用されてもよい。
ここで、本変形例が適用可能な検者からの指示は、上述した様々な実施形態及び変形例に記載のような種々の画像や解析結果の表示の変更、Ｅｎ－Ｆａｃｅ画像の生成のための深度範囲の選択、追加学習用の学習データとして用いるか否かの選択、学習済モデルの選択、種々の学習済モデルを用いて得た結果の出力（表示や送信等）や保存等、に関する少なくとも１つの指示であれば何でもよい。また、本変形例が適用可能な検者からの指示は、撮影後の指示だけでなく、撮影前の指示であってもよく、例えば、種々の調整に関する指示、種々の撮影条件の設定に関する指示、撮影開始に関する指示であってもよい。また、本変形例が適用可能な検者からの指示は、表示画面の変更（画面遷移）に関する指示であってもよい。
なお、機械学習モデルとしては、ＣＮＮ等の画像に関する機械学習モデルとＲＮＮ等の時系列データに関する機械学習モデルとを組み合わせた機械学習モデルであってもよい。このような機械学習モデルでは、例えば、画像に関する特徴量と時系列データに関する特徴量との関係性を学習することができる。機械学習モデルの入力層側がＣＮＮで、出力層側がＲＮＮである場合には、例えば、医用画像を入力データとし、該医用画像に関する文章（例えば、病変の有無、病変の種類、次の検査のレコメンド等）を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、医用画像に関する医療情報が自動的に文章で説明されるため、医療経験が浅い検者であっても、医用画像に関する医療情報を容易に把握することができる。また、機械学習モデルの入力層側がＲＮＮで、出力層側がＣＮＮである場合には、例えば、病変、所見、診断等の医療に関する文章を入力データとし、該医療に関する文章に対応する医用画像を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、検者が確認したい症例に関係する医用画像を容易に検索することができる。
また、検者からの指示や検者に対する出力には、文字や音声等の文章を任意の言語に機械翻訳する機械翻訳エンジン（機械翻訳モデル、機械翻訳用の学習済モデル）が用いられてもよい。なお、任意の言語は、検者からの指示に応じて選択可能に構成されてもよい。また、任意の言語は、言語の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、自動選択された言語の種類を検者からの指示に応じて修正可能に構成されてもよい。機械翻訳エンジンには、例えば、上述した自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。例えば、機械翻訳エンジンに入力された文章が機械翻訳された後に、機械翻訳された文章を文字認識エンジン等に入力するように構成されてもよい。また、例えば、上述した種々の学習済モデルから出力された文章を機械翻訳エンジンに入力し、機械翻訳エンジンから出力された文章が出力されるように構成されてもよい。
また、上述した種々の学習済モデルが組み合わせて用いられてもよい。例えば、検者からの指示に対応する文字が文字認識エンジンに入力され、入力された文字から得た音声を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された文字が文字認識エンジンに入力され、入力された文字から得た音声が出力されるように構成されてもよい。また、例えば、検者からの指示に対応する音声が音声認識エンジンに入力され、入力された音声から得た文字を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された音声が音声認識エンジンに入力され、入力された音声から得た文字が表示部１０３に表示されるように構成されてもよい。このとき、検者に対する出力として文字による出力か音声による出力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示として文字による入力か音声による入力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示による選択によって、上述した種々の構成が採用されるようにしてもよい。
［変形例１３］
本撮影により取得された画像に関するラベル画像や高画質画像等は、操作者からの指示に応じて記憶部１２６に保存されてもよい。このとき、例えば、高画質画像を保存するための操作者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、又は最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、操作者からの指示に応じて編集可能な状態で表示されてもよい。なお、同様に、ラベル画像等についても、学習済モデルを用いた処理により生成された画像である情報を含むファイル名が表示されてもよい。
また、レポート画面等の種々の表示画面において、表示部１０３に高画質画像を表示させる際に、表示されている画像が高画質化モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、操作者は、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。例えば、画像セグメンテーション処理用の学習済モデルを用いたセグメンテーション結果の解析結果を表示する際にも、画像セグメンテーション用の学習済モデルを用いた結果に基づいた解析結果であることを示す表示が、解析結果とともに表示されてもよい。
このとき、レポート画面等の表示画面は、操作者からの指示に応じて、画像データとして記憶部１２６に保存されてもよい。例えば、高画質画像等と、これらの画像が学習済モデルを用いた処理により生成された画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部１２６に保存されてもよい。
また、高画質化モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部１０３に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、例えば画像セグメンテーション処理等上述した種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部１０３に表示されてもよい。
また、学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。なお、高画質化モデルを用いた処理だけでなく、例えば画像セグメンテーション処理等の上述した種々の学習済モデルを用いた処理により得た画像についても、同様に処理してよい。
また、レポート画面の初期表示画面として、高画質化処理ボタン等がアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、当該ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ－Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されてもよい。なお、当該ボタンが画像セグメンテーション処理の切り替えを表す場合に関しても、同様に処理されてよい。
［変形例１４］
上述した実施形態及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、所定領域検出結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、推定結果、解析結果、診断結果、所定領域検出結果、セグメンテーション結果）が生成されるように構成されてもよい。
また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、推定結果、解析結果、診断結果、所定領域検出結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルを用いて処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、所定領域検出結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。
なお、共通の画像が、第１の種類の学習済モデルと第２の種類の学習済モデルとに入力されることで、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を実行するように構成されてもよい。このとき、例えば、検者からの指示に応じて、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を一括して（連動して）実行するように構成されてもよい。また、入力させる画像の種類（例えば、高画質画像、物体認識結果、セグメンテーション結果、類似症例画像）、生成（あるいは表示）させる処理結果の種類（例えば、高画質画像、推定結果、診断結果、解析結果、物体認識結果、セグメンテーション結果、類似症例画像）、入力の種類や出力の種類（例えば、文字、音声、言語）等をそれぞれ検者からの指示に応じて選択可能に構成されてもよい。また、入力の種類は、入力の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、出力の種類は、入力の種類と対応する（例えば、同じ種類になる）ように自動選択可能に構成されてもよい。また、自動選択された種類を検者からの指示に応じて修正可能に構成されてもよい。このとき、選択された種類に応じて少なくとも１つの学習済モデルが選択されるように構成されてもよい。このとき、複数の学習済モデルが選択された場合には、選択された種類に応じて複数の学習済モデルの組み合わせ方（例えば、データを入力させる順番等）が決定されてもよい。なお、例えば、入力させる画像の種類と、生成（あるいは表示）させる処理結果の種類とが、異なるように選択可能に構成されてもよいし、同じである場合には異なるように選択することを促す情報を検者に対して出力するように構成されてもよい。また、各学習済モデルはどの場所で実行されてもよい。例えば、複数の学習済モデルのうちの一部がクラウドサーバで用いられ、他はフォグサーバやエッジサーバ等の別のサーバで用いられるように構成されてもよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。これらにより、例えば、硝子体、白内障、緑内障、角膜屈折矯正、外眼等の手術や、レーザ光凝固等の治療が、遠隔であってもリアルタイムに支援することができる。このとき、例えば、これらの手術や治療に関する装置により得た種々の医用画像の少なくとも１つを無線により受信したフォグサーバやエッジサーバ等が種々の学習済モデルの少なくとも１つを用いて得た情報を手術や治療に関する装置に無線で送信するように構成されてもよい。また、例えば、手術や治療に関する装置に無線で受信した情報が、上述したような光学系や光学部材の移動量（ベクトル）であってもよく、この場合、手術や治療に関する装置が自動制御されるように構成されてもよい。また、例えば、検者による操作の支援を目的として、検者の許可を伴う自動制御（半自動制御）として構成されてもよい。
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。また、上述したような種々の学習済モデルの処理による物体認識結果やセグメンテーション結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の医用画像が、既に機械学習等によって該複数の医用画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、医用画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、制御部１０２は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する類似症例画像の検索を行うことができる。また、例えば、表示制御部１２５は、種々の医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を表示部１０３に表示させることができる。このとき、類似症例画像は、例えば、学習済モデルに入力された医用画像の特徴量と類似する特徴量の画像である。また、類似症例画像は、例えば、学習済モデルに入力された医用画像において異常部位等の部分領域が含まれる場合には、異常部位等の部分領域の特徴量と類似する特徴量の画像である。このため、例えば、類似症例画像を精度よく検索するための学習を効率的に行うことができるだけでなく、医用画像において異常部位が含まれる場合には、検者は異常部位の診断を効率よく行うことができる。また、複数の類似症例画像が検索されてもよく、特徴量が類似する順番が識別可能に複数の類似症例画像が表示されてもよい。また、複数の類似症例画像のうち、検者からの指示に応じて選択された画像と該画像との特徴量とを含む学習データを用いて、類似症例画像検索用の学習済モデルが追加学習されるように構成されてもよい。
また、各種学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。
なお、上述した実施形態及び変形例に係る各種学習済モデルは制御部１０２に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御部１０２と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部１０２は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。
［変形例１５］
上述した様々な実施形態及び変形例による制御部１０２によって処理される医用画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。特に、上述した様々な実施形態及び変形例では、被検眼に係る医用画像を推定処理に用いた。これに関し、上述した様々な実施形態及び変形例に推定処理に用いられる医用画像に関する被検体は、被検眼に限られず、左右方向、上下方向、又は左右上下方向において対称性を有する被検体であればよく、例えば肺等の他の臓器であってもよい。ただし、第３実施形態に関する被形態は、対称性を有する被検体に限られなくてよい。なお、被検体を肺等の臓器とする場合には、撮影装置１０１は、例えば、内視鏡等の構成を有してよい。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底又は前眼部のＳＬＯ画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（３次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ－Ｆａｃｅ画像を含む。Ｅｎ－Ｆａｃｅ画像は、３次元のＯＣＴＡデータ（３次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）であってもよい。また、３次元のＯＣＴデータや３次元のモーションコントラストデータは、３次元の医用画像データの一例である。
ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。なお、略同一位置を測定光が複数回走査されるように走査手段を制御する際に、一つの走査（一つのＢスキャン）と次の走査（次のＢスキャン）との時間間隔（タイムインターバル）が変更（決定）されるように構成されてもよい。これにより、例えば、血管の状態によって血流速度が異なる場合があっても、血管領域を精度よく可視化することができる。このとき、例えば、検者からの指示に応じて、上記時間間隔が変更可能に構成されてもよい。また、例えば、検者からの指示に応じて、予め設定されている複数の時間間隔に対応する複数のモーションコントラスト画像から、いずれかのモーションコントラスト画像が選択可能に構成されてもよい。また、例えば、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータとを対応づけて記憶部１２６に記憶可能に構成されてもよい。また、例えば、表示制御部１２５、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータに対応するモーションコントラスト画像とを表示部１０３に表示させてもよい。また、例えば、上記時間間隔が自動的に決定、あるいは上記時間間隔の少なくとも１つの候補が決定されるように構成されてもよい。このとき、例えば、機械学習モデルを用いて、モーションコントラスト画像から、上記時間間隔が決定（出力）されるように構成されてもよい。このような機械学習モデルは、例えば、複数の時間間隔に対応する複数のモーションコントラスト画像を入力データとし、該複数の時間間隔から所望のモーションコントラスト画像を取得した際の時間間隔までの差を正解データとする学習データを学習することにより得ることができる。
また、Ｅｎ－Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（３次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影又は積算して生成される。Ｅｎ－Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを２次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を２次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施形態及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。なお、上述の各実施形態や変形例に係る構成を、これら撮影装置に適用することができる。この場合、上述の予測すべき被検眼の動きに対応する被検体の動きとしては、例えば、顔や体の動き、心臓の動き（心拍）等であってよい。
なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ－ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ－ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置を含んでよい。また、ＯＣＴ装置は、ライン光を用いたＬｉｎｅ－ＯＣＴ装置（あるいはＳＳ－Ｌｉｎｅ－ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置（あるいはＳＳ－Ｆｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、Ｄｏｐｐｌｅｒ－ＯＣＴ装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ－ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ－ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、病理顕微鏡ＳＬＯ装置や病理顕微鏡ＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ハンドヘルド型のＳＬＯ装置やハンドヘルド型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、カテーテルＳＬＯ装置やカテーテルＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ヘッドマウント型のＳＬＯ装置やヘッドマウント型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、双眼鏡型のＳＬＯ装置や双眼鏡型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置は、光学変倍可能な構成によって、撮影画角を変更可能なものであってもよい。また、ＳＬＯ装置は、ＲＧＢの各光源を用いて、１つの受光素子で時分割に受光する構成又は複数の受光素子で同時に受光する構成によって、カラー画像や蛍光画像を取得可能なものであってもよい。
また、上述の実施形態及び変形例では、制御部１０２はＯＣＴ装置１００の一部として構成されているが、制御部１０２はＯＣＴ装置１００と別体として構成されてもよい。この場合、制御部１０２は、ＯＣＴ装置１００の撮影装置１０１等とインターネット等を介して接続されてもよい。また、ＯＣＴ装置１００の構成は、上記の構成に限られず、ＯＣＴ装置に含まれる構成の一部を、例えばＳＬＯ撮影部等をＯＣＴ装置と別体の構成としてもよい。
なお、上述の実施形態３に係る推定処理用の意学習済モデルでは、時系列のデータを用いて学習を行っているため、入力される連続する時系列のデータ値間の傾きを特徴量の一部として抽出し、推定処理に用いているものと考えられる。音声認識用や文字認識用、ジェスチャー認識用等の学習済モデルでも同様に、入力される連続する時系列のデータ値間の傾きを特徴量の一部として抽出し、推定処理に用いているものと考えられる。このような学習済モデルは、具体的な数値の時間的な変化による影響を推定処理に用いることで、精度のよい推定を行うことができると期待される。また、上述の実施形態及び変形例に係る、推定処理用、高画質化用、セグメンテーション処理用、画像解析用、診断結果生成用の学習済モデルでも、断層画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推定処理に用いているものと考えらえる。
（その他の実施例）
本発明は、上述の実施形態及び変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
以上、実施形態及び変形例を参照して本発明について説明したが、本発明は上記実施形態及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
１０２：制御部（画像処理装置）、１２２：画像処理部（生成部）、１２３：推定部（出力部）

Claims (19)

  1. 被検体の医用画像を解析して得た解析マップであって、被検体の少なくとも一部の厚みを示す厚みマップ及び被検体の少なくとも一部の血管密度を示す血管密度マップの少なくとも一方を含む解析マップを画像処理して得た被検体の対称性マップを生成する生成部であって、被検体を異なる時間に撮影して得た複数の医用画像を解析して得た複数の解析マップを画像処理して得た複数の対称性マップ間の相関関係を示す相関マップを生成する生成部と、
    相関マップを用いた学習により得た学習済モデルを用いて、前記生成した相関マップから推定した疾患の進行に関する推定結果を出力する出力部と、
    を備える、画像処理装置。
  2. 前記医用画像は、３次元の断層画像、眼底写真、前眼部写真、ＳＬＯ画像、ＯＣＴＡ画像、及びＥｎ－Ｆａｃｅ画像の少なくとも１つを含む、請求項１に記載の画像処理装置。
  3. 前記出力部は、前記生成部が生成した対称性マップに加えて、視野計による計測結果、２次元の断層画像、３次元の断層画像、眼底写真、前眼部写真、ＳＬＯ画像、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像、被検体の医用画像を解析して得た情報を示す解析マップ、隅角情報、層厚のプロファイル又は特徴ベクトル、前記医用画像の特徴部を抽出した特徴マップ、及び患者データの少なくとも１つを用いて得た推定結果を出力する、請求項１又は２に記載の画像処理装置。
  4. 前記疾患は、緑内障、糖尿病性網膜症、及び加齢黄斑変性の少なくとも１つを含む、請求項１乃至３のいずれか一項に記載の画像処理装置。
  5. 前記生成部は、対称性マップを生成する前に前記医用画像の補正処理を行う、請求項１乃至４のいずれか一項に記載の画像処理装置。
  6. 前記補正処理は、平滑化処理、眼軸長に基づいた補正処理、基準となる層に基づいた層厚補正処理、幾何補正処理、エラー補正処理、エッジ強調処理、及びコントラスト調整処理の少なくとも１つを含む、請求項５に記載の画像処理装置。
  7. 前記生成部は、前記医用画像から抽出した領域の画像を用いて対称性マップを生成する、請求項１乃至６のいずれか一項に記載の画像処理装置。
  8. 前記学習済モデルは疾患に関する確率を出力し、
    前記出力部は、前記学習済モデルが出力した確率に基づいて推定された前記疾患についての推定結果を出力する、請求項７に記載の画像処理装置。
  9. 前記生成部は、診断対象とする疾患に応じて、画像処理する画像を選択する、請求項１乃至８のいずれか一項に記載の画像処理装置。
  10. 前記出力部は、複数段階の推定結果を出力する、請求項１乃至９のいずれか一項に記載の画像処理装置。
  11. 前記推定結果は、前記疾患の病期に関する推定結果を含む、請求項１乃至１０のいずれか一項に記載の画像処理装置。
  12. 前記学習済モデルは、複数の学習済モデルを含み、
    前記出力部は、診断対象とする疾患に応じて前記複数の学習済モデルのうちから選択された学習済モデルを用いて推定された推定結果を出力する、請求項１乃至１１のいずれか一項に記載の画像処理装置。
  13. 前記生成部は、複数の時間の対称性マップを比較することで、前記相関マップを生成する、請求項１乃至１２のいずれか一項に記載の画像処理装置。
  14. 前記出力部は、前記相関マップの時系列データから前記疾患の進行に関する推定を行う、請求項１乃至１３のいずれか一項に記載の画像処理装置。
  15. 前記学習済モデルは、単一時間の対称性マップから前記疾患を推定するための学習済モデルと、対称性マップの時系列データから生成された相関マップに基づいて前記疾患の進行を推定するための学習済モデルとを含む、請求項１乃至１４のいずれか一項に記載の画像処理装置。
  16. 前記出力部は、前記学習済モデルが注目した領域をマップ化した注意マップを出力する、請求項１乃至１５のいずれか一項に記載の画像処理装置。
  17. 前記出力部は、視野計による計測結果及び医用画像を用いた学習により得た学習済モデルを用いて、被検体の視野計による計測結果及び前記取得した医用画像から推定した疾患に関する推定結果を更に出力する、請求項１乃至１６のいずれか一項に記載の画像処理装置。
  18. 被検体の医用画像を解析して得た解析マップであって、被検体の少なくとも一部の厚みを示す厚みマップ及び被検体の少なくとも一部の血管密度を示す血管密度マップの少なくとも一方を含む解析マップを画像処理して得た被検体の対称性マップを生成する生成部であって、被検体を異なる時間に撮影して得た複数の医用画像を解析して得た複数の解析マップを画像処理して得た複数の対称性マップ間の相関関係を示す相関マップを生成することと、
    相関マップを用いた学習により得た学習済モデルを用いて、前記生成した相関マップから推定した疾患の進行に関する推定結果を出力することと、
    を含む、画像処理方法。
  19. コンピュータによって実行されると、該コンピュータに請求項１８に記載の画像処理方法の各工程を実行させるプログラム。
JP2020089180A 2020-05-21 2020-05-21 画像処理装置、画像処理方法、及びプログラム Active JP7413147B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020089180A JP7413147B2 (ja) 2020-05-21 2020-05-21 画像処理装置、画像処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020089180A JP7413147B2 (ja) 2020-05-21 2020-05-21 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021184169A JP2021184169A (ja) 2021-12-02
JP7413147B2 true JP7413147B2 (ja) 2024-01-15

Family

ID=78767402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020089180A Active JP7413147B2 (ja) 2020-05-21 2020-05-21 画像処理装置、画像処理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7413147B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582009B (zh) 2019-02-19 2023-09-15 富士通株式会社 训练分类模型的装置和方法及利用分类模型分类的装置
JP2023149113A (ja) * 2022-03-30 2023-10-13 株式会社神戸製鋼所 異常判定方法、異常時の処理方法、情報処理装置、溶接システム、およびプログラム
WO2023210497A1 (ja) * 2022-04-26 2023-11-02 ソニーグループ株式会社 診断支援装置、診断支援方法およびプログラム
JP7383245B1 (ja) * 2022-07-13 2023-11-20 株式会社 Sai 眼底画像を用いたうつ病リスク判定システム、機械学習モデル生成装置、うつ病リスク判定装置及びうつ病リスク判定方法
WO2024014461A1 (ja) * 2022-07-14 2024-01-18 学校法人東海大学 緑内障スクリーニング方法、眼科装置、プログラム、及び記録媒体
CN115311504B (zh) * 2022-10-10 2023-01-31 之江实验室 一种基于注意力重定位的弱监督定位方法和装置
JP7441391B1 (ja) 2023-08-21 2024-03-01 株式会社医療情報技術研究所 大規模言語モデルを用いた電子カルテシステム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013501553A (ja) 2009-08-10 2013-01-17 カール ツァイス メディテック アクチエンゲゼルシャフト 緑内障の組み合わせ解析
JP2013176497A (ja) 2012-02-29 2013-09-09 Kyoto Univ 眼底観察装置及び眼底画像解析装置
JP2014508340A (ja) 2011-01-05 2014-04-03 コーニンクレッカ フィリップス エヌ ヴェ 非対称性の自動定量化
JP2018512871A (ja) 2015-04-20 2018-05-24 キム・ソンチョン 標準物質として外部生体分子を用いた生体分子分析方法およびそのキット
JP2018094042A (ja) 2016-12-13 2018-06-21 キヤノンマーケティングジャパン株式会社 医用画像診断支援装置、その制御方法、及びプログラム
JP2018121886A (ja) 2017-01-31 2018-08-09 株式会社ニデック 画像処理装置、および画像処理プログラム
JP2018175227A (ja) 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
JP2019118814A (ja) 2017-12-28 2019-07-22 株式会社トプコン 機械学習ガイド付き撮影システム
JP2020043927A (ja) 2018-09-14 2020-03-26 富士フイルム株式会社 医用画像処理装置、方法およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013501553A (ja) 2009-08-10 2013-01-17 カール ツァイス メディテック アクチエンゲゼルシャフト 緑内障の組み合わせ解析
JP2014508340A (ja) 2011-01-05 2014-04-03 コーニンクレッカ フィリップス エヌ ヴェ 非対称性の自動定量化
JP2013176497A (ja) 2012-02-29 2013-09-09 Kyoto Univ 眼底観察装置及び眼底画像解析装置
JP2018512871A (ja) 2015-04-20 2018-05-24 キム・ソンチョン 標準物質として外部生体分子を用いた生体分子分析方法およびそのキット
JP2018094042A (ja) 2016-12-13 2018-06-21 キヤノンマーケティングジャパン株式会社 医用画像診断支援装置、その制御方法、及びプログラム
JP2018121886A (ja) 2017-01-31 2018-08-09 株式会社ニデック 画像処理装置、および画像処理プログラム
JP2018175227A (ja) 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
JP2019118814A (ja) 2017-12-28 2019-07-22 株式会社トプコン 機械学習ガイド付き撮影システム
JP2020043927A (ja) 2018-09-14 2020-03-26 富士フイルム株式会社 医用画像処理装置、方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Mijung Kim et al.，Computer-Aided Diagnosis and Localization of Glaucoma Using Deep Learning，[online]，2019年01月24日，https://ieeexplore.ieee.org/document/8621168
滝田 清 Kiyoshi Takita，ＯＣＴ画像から得られる網膜の層情報を用いた緑内障診断補助 Diagnostic Aid of Glaucoma Using Thickness of Layers Extracted from OCT Images，ＳＳＩＩ２０１２ 第１８回画像センシングシンポジウム 講演論文集 ［ＣＤ－ＲＯＭ］ The 18th Symposium on Sensing via Image Information，日本，画像センシング技術研究会，2012年06月18日

Also Published As

Publication number Publication date
JP2021184169A (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
JP7229881B2 (ja) 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP7413147B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20210104313A1 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
WO2021039339A1 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20210390696A1 (en) Medical image processing apparatus, medical image processing method and computer-readable storage medium
JP7269413B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
JP2021039748A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
US11922601B2 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
WO2020183791A1 (ja) 画像処理装置および画像処理方法
WO2020202680A1 (ja) 情報処理装置及び情報処理方法
WO2021029231A1 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2022155690A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7362403B2 (ja) 画像処理装置および画像処理方法
WO2020138128A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2021164535A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7406901B2 (ja) 情報処理装置及び情報処理方法
JP7478216B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2022121202A (ja) 画像処理装置および画像処理方法
JP2023010308A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220613

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231227

R151 Written notification of patent or utility model registration

Ref document number: 7413147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151