JP7250653B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP7250653B2
JP7250653B2 JP2019183106A JP2019183106A JP7250653B2 JP 7250653 B2 JP7250653 B2 JP 7250653B2 JP 2019183106 A JP2019183106 A JP 2019183106A JP 2019183106 A JP2019183106 A JP 2019183106A JP 7250653 B2 JP7250653 B2 JP 7250653B2
Authority
JP
Japan
Prior art keywords
image
tomographic image
tomographic
region
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019183106A
Other languages
English (en)
Other versions
JP2020058800A (ja
JP2020058800A5 (ja
Inventor
晃弘 櫛田
律也 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201980066849.XA priority Critical patent/CN112822972A/zh
Priority to PCT/JP2019/039676 priority patent/WO2020075719A1/ja
Publication of JP2020058800A publication Critical patent/JP2020058800A/ja
Priority to US17/224,562 priority patent/US11935241B2/en
Publication of JP2020058800A5 publication Critical patent/JP2020058800A5/ja
Application granted granted Critical
Publication of JP7250653B2 publication Critical patent/JP7250653B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0033—Operational features thereof characterised by user input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/005—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/60—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関するものである。
現在、光学機器を用いた眼科用機器として、様々なものが使用されている。例えば、眼を観察する光学機器として、前眼部撮影装置や、眼底カメラ、共焦点レーザー走査検眼鏡（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：ＳＬＯ）等、様々な機器が使用されている。
中でも、多波長光波干渉を利用した光コヒーレンストモグラフィ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ：ＯＣＴ）による光干渉断層撮影装置（ＯＣＴ装置）は、試料の断層画像を高解像度に得ることができる装置である。このため、ＯＣＴ装置は、眼科用機器として網膜の専門外来では必要不可欠な装置になりつつある。また、ＯＣＴ装置は、眼科用だけでなく、内視鏡等にも利用されている。ＯＣＴ装置は眼科診断等において、被検眼の眼底における網膜の断層画像や、角膜などの前眼部の断層画像を取得するために広く利用されている。
ＯＣＴ装置で撮影した断層画像の元データは、一般的に３２ビット程度の浮動小数点形式又は１０ビット以上の整数形式であり、非常に低輝度な情報から高輝度な情報まで含む高ダイナミックレンジのデータである。一方、通常のディスプレイに表示可能なデータは、例えば８ビット整数形式のデータであり、相対的に低ダイナミックレンジのデータである。従って、この高ダイナミックレンジな元データを、そのまま表示用の低ダイナミックレンジのデータに変換した場合、眼底部の診断に重要な網膜部のコントラストが大幅に低下してしまう。
そのため、一般的なＯＣＴ装置では、断層画像の元データを表示用のデータに変換する際に、低輝度側のデータをある程度捨てることで、網膜部の良好なコントラストを得ている。この場合、表示される断層画像において、低輝度の領域として示される硝子体部や脈絡膜部等に関する領域のコントラストが低下し、硝子体部や脈絡膜部の内部構造の観察が難しくなる。
一方、硝子体部や脈絡膜部の内部構造をより詳細に観察するために、硝子体部や脈絡膜部等に関する領域のコントラストを確保するように、断層画像の元データを階調変換すると、高輝度な網膜部の領域のコントラストが低下し、網膜部の観察が難しくなる。
近年では、被検眼の局所的な観察だけでなく、大局的な観察を行いたいというニーズがある。このようなニーズに関して、特許文献１では、断層画像をセグメンテーションし、特定した部分領域毎に表示条件を設定し、階調変換処理を行う方法が提案されている。
国際公開２０１４／２０３９０１
疾病眼では、層の消失、出血、及び白斑や新生血管の発生などがあるため、網膜の形状が不規則となる。そのため、画像特徴抽出の結果を、網膜の形状の規則性を利用して判断し網膜層の境界検出を行う従来のセグメンテーション処理の方法では、網膜層の境界検出を自動で行う際に、誤検出などが発生するという限界があった。この場合、セグメンテーション処理における誤検出等に起因して、被検眼の大局的な観察を行うための部分領域（観察対象）毎の階調変換処理等を適切に行えない場合があった。
そこで、本発明の目的の一つは、観察対象の領域毎に適切な画像処理が行われたような画像を生成できる画像処理装置、画像処理方法、及びプログラムを提供することである。
本発明の一実施態様に係る画像処理装置は、光干渉を利用して得た被検眼の第１の断層画像を取得する取得部と、光干渉を利用して得た被検眼の断層画像を入力データとし、該断層画像における網膜の領域と硝子体の領域と脈絡膜の領域とを含む複数の領域のコントラストよりも高いコントラストを有する該複数の領域の少なくともいずれかの領域を有する断層画像を正解データとして含む学習データによる学習を行って得た学習済モデルに入力される入力データとして前記取得された第１の断層画像を用いることにより、前記取得された第１の断層画像における網膜の領域と硝子体の領域と脈絡膜の領域とを含む複数の領域のコントラストよりも高いコントラストを有する該複数の領域を有する第２の断層画像を生成する高画質化部とを備え、前記学習データは、硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における該一方の領域を含む部分画像を入力データとし、該断層画像について、該一方の領域のコントラストを高くする画像処理が行われた断層画像における該一方の領域を含む部分画像を正解データとして含む学習データと、硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における硝子体及び脈絡膜のうち他方の領域を含む部分画像を入力データとし、該他方に対応する撮影モードで取得された被検眼の断層画像について、該他方の領域のコントラストを高くする画像処理が行われた断層画像における該他方の領域を含む部分画像を上下反転した画像を正解データとして含む学習データと、硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における網膜の領域を含む部分画像を入力データとし、該断層画像について、網膜の領域のコントラストを高くする画像処理が行われた断層画像における網膜の領域を含む部分画像を正解データとして、又は硝子体及び脈絡膜のうち他方に対応する撮影モードで取得された被検眼の断層画像について、網膜の領域のコントラストを高くする画像処理が行われた断層画像における網膜の領域を含む部分画像を上下反転した画像を正解データとして含む学習データとを含む。
本発明の他の実施態様に係る画像処理方法は、光干渉を利用して得た被検眼体の第１の断層画像を取得する工程と、光干渉を利用して得た被検眼の断層画像を入力データとし、該断層画像における網膜の領域と硝子体の領域と脈絡膜の領域とを含む複数の領域のコントラストよりも高いコントラストを有する該複数の領域の少なくともいずれかの領域を有する断層画像を正解データとして含む学習データによる学習を行って得た学習済モデルに入力される入力データとして前記取得された第１の断層画像を用いることにより、前記取得された第１の断層画像における網膜の領域と硝子体の領域と脈絡膜の領域とを含む複数の領域のコントラストよりも高いコントラストを有する該複数の領域を有する第２の断層画像を生成する工程とを含み、前記学習データは、硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における該一方の領域を含む部分画像を入力データとし、該断層画像について、該一方の領域のコントラストを高くする画像処理が行われた断層画像における該一方の領域を含む部分画像を正解データとして含む学習データと、硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における硝子体及び脈絡膜のうち他方の領域を含む部分画像を入力データとし、該他方に対応する撮影モードで取得された被検眼の断層画像について、該他方の領域のコントラストを高くする画像処理が行われた断層画像における該他方の領域を含む部分画像を上下反転した画像を正解データとして含む学習データと、硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における網膜の領域を含む部分画像を入力データとし、該断層画像について、網膜の領域のコントラストを高くする画像処理が行われた断層画像における網膜の領域を含む部分画像を正解データとして、又は硝子体及び脈絡膜のうち他方に対応する撮影モードで取得された被検眼の断層画像について、網膜の領域のコントラストを高くする画像処理が行われた断層画像における網膜の領域を含む部分画像を上下反転した画像を正解データとして含む学習データとを含む。

本発明の一つによれば、観察対象の領域毎に適切な画像処理が行われたような画像を生成できる。
本発明のさらなる特徴が、添付の図面を参照して以下の例示的な実施例の説明から明らかになる。
実施例１に係るＯＣＴ装置の概略的な構成例を示す。 実施例１に係る撮影部の概略的な構成例を示す。 実施例１に係る制御部の概略的な構成例を示す。 網膜部、硝子体部、及び脈絡膜部のセグメンテーションの説明図である。 一般的な表示用画像処理の説明図である。 網膜部を観察しやすくする変換処理の説明図である。 硝子体部及び脈絡膜部を観察しやすくする変換処理の説明図である。 学習データの一例を示す。 学習データの一例を示す。 学習済モデルの構成例を示す。 実施例１に係る一連の画像処理のフローチャートである。 学習データの別例を示す。 硝子体モードでの撮影の説明図である。 脈絡膜モードでの撮影の説明図である。 学習データの別例を示す。 実施例２に係る制御部の概略的な構成例を示す。 実施例２に係る一連の画像処理のフローチャートである。 注目したい領域を選択するための表示画面の一例を示す。 実施例３に係る制御部の概略的な構成例を示す。 実施例３に係る一連の画像処理のフローチャートである。 複数のＯＣＴＡのＥｎ－Ｆａｃｅ画像及び輝度の断層画像の一例を示す。 実施例４に係るユーザーインターフェースの一例を示す。 実施例４に係るユーザーインターフェースの一例を示す。 変形例１３に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。 変形例１３に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例及び変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。また、正解データとは、学習データ（教師データ）の出力データのことをいう。
なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
（実施例１）
図１乃至１３を参照して、実施例１に係るＯＣＴ装置について説明する。図１は、本実施例によるＯＣＴ装置の概略的な構成例を示す。
（本体構成）
ＯＣＴ装置１には、撮影部２０、制御部３０（画像処理装置）、入力部４０、及び表示部５０が設けられている。撮影部２０には、測定光学系２１、ステージ部２５、及びベース部２３が設けられている。測定光学系２１は、前眼部像、被検眼のＳＬＯ眼底像、及び断層像を取得することができる。測定光学系２１は、ステージ部２５を介して、ベース部２３に設けられている。ステージ部２５は、測定光学系２１を前後左右に移動可能に支持する。ベース部２３には、後述の分光器等が設けられている。
制御部３０は、撮影部２０及び表示部５０に接続され、これらを制御することができる。また、制御部３０は、撮影部２０等から取得した断層情報に基づいて断層画像の生成や画像処理などを行うことができる。なお、制御部３０は、インターネット等の任意のネットワークを介して、不図示の他の任意の装置と接続されてもよい。
また、制御部３０には入力部４０が接続されている。入力部４０は、操作者（検者）によって操作され、制御部３０への指示を入力するために用いられる。入力部４０は任意の入力手段を含んでよく、例えばキーボードとマウス等を含むことができる。表示部５０は、任意のディスプレイによって構成され、制御部３０による制御に従い、被検者の情報や各種画像等を表示することができる。
（撮影部の構成）
次に、図２を参照して、撮影部２０の構成について説明する。図２は、本実施例に係る撮影部２０の概略的な構成例を示す。
まず、測定光学系２１の構成について説明する。測定光学系２１においては、被検眼Ｅに対向するように対物レンズ２０１が配置され、その光軸上に第１ダイクロイックミラー２０２及び第２ダイクロイックミラー２０３が配置されている。これらのダイクロイックミラーによって、対物レンズ２０１からの光路が、ＯＣＴ光学系の光路Ｌ１、被検眼Ｅの観察とＳＬＯ眼底像の取得とを兼ねるＳＬＯ光学系と固視灯用の光路Ｌ２、及び前眼観察用の光路Ｌ３とに波長帯域毎に分岐される。
なお、本実施例では、第１ダイクロイックミラー２０２の反射方向に前眼観察用の光路Ｌ３が設けられ、透過方向にＯＣＴ光学系の光路Ｌ１、及びＳＬＯ光学系と固視灯用の光路Ｌ２が設けられている。また、第２ダイクロイックミラー２０３の反射方向に、ＯＣＴ光学系の光路Ｌ１が設けられ、透過方向にＳＬＯ光学系と固視灯用の光路Ｌ２が設けられている。しかしながら、各光学系の光路を設ける方向はこれに限られず、所望の構成に応じて任意に変更されてよい。
ＳＬＯ光学系と固視灯用の光路Ｌ２には、ＳＬＯ走査部２０４、レンズ２０５，２０６、ミラー２０７、第３ダイクロイックミラー２０８、フォトダイオード２０９、ＳＬＯ光源２１０、及び固視灯２１１が設けられている。なお、本実施例では、第３ダイクロイックミラー２０８の反射方向にＳＬＯ光源２１０が設けられ、透過方向に固視灯２１１が設けられている。しかしながら、第３ダイクロイックミラー２０８の反射方向に固視灯２１１が設けられ透過方向にＳＬＯ光源２１０が設けられてもよい。
ＳＬＯ走査部２０４は、ＳＬＯ光源２１０と固視灯２１１から発せられた光を被検眼Ｅ上で走査する走査部であり、Ｘ軸方向に走査するＸスキャナ、Ｙ軸方向に走査するＹスキャナを含む。本実施例では、Ｘスキャナは高速走査を行う必要があるためポリゴンミラーによって、Ｙスキャナはガルバノミラーによって構成されている。なお、ＳＬＯ走査部２０４の構成はこれに限られず、所望の構成に応じて任意に変更されてよい。
レンズ２０５は、ＳＬＯ光学系及び固視灯の焦点合わせのため、制御部３０によって制御される不図示のモータ等によって、図中の矢印で示される光軸方向に駆動されることができる。ミラー２０７は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、ＳＬＯ光源２１０による投影光と、被検眼Ｅからの戻り光とを分離することができる。第３ダイクロイックミラー２０８は、ＳＬＯ光源２１０への光路と固視灯２１１への光路とを波長帯域毎に分離する。
ＳＬＯ光源２１０は、例えば、７８０ｎｍ付近の波長の光を発生する。フォトダイオード２０９は、ＳＬＯ光源２１０から照射された投影光について、被検眼Ｅからの戻り光を検出する。固視灯２１１は、可視光を発生して被検者の固視を促すために用いられる。
ＳＬＯ光源２１０から発せられた投影光は、第３ダイクロイックミラー２０８で反射され、ミラー２０７を通過し、レンズ２０６，２０５を通り、ＳＬＯ走査部２０４によって、被検眼Ｅ上で走査される。被検眼Ｅからの戻り光は、投影光と同じ経路を戻った後、ミラー２０７によって反射され、フォトダイオード２０９へと導かれる。制御部３０は、ＳＬＯ走査部２０４の駆動位置及びフォトダイオード２０９からの出力に基づいて、ＳＬＯ眼底画像を生成することができる。
固視灯２１１から発せられた光は、第３ダイクロイックミラー２０８及びミラー２０７を透過し、レンズ２０６，２０５を通り、ＳＬＯ走査部２０４によって、被検眼Ｅ上で走査される。このとき、制御部３０は、ＳＬＯ走査部２０４の動きに合わせて固視灯２１１を点滅させることによって、被検眼Ｅ上の任意の位置に任意の形状をつくり、被検者の固視を促すことができる。
前眼観察用の光路Ｌ３には、レンズ２１２，２１３、スプリットプリズム２１４、及び赤外光を検知する前眼部観察用のＣＣＤ２１５が配置されている。ＣＣＤ２１５は、不図示の前眼観察用照射光の波長、具体的には９７０ｎｍ付近に感度を有する。スプリットプリズム２１４は、被検眼Ｅの瞳孔と共役な位置に配置されている。制御部３０は、ＣＣＤ２１５の出力に基づいて前眼部画像を生成することができる。制御部３０は、スプリットプリズム２１４を通った光に基づく前眼部のスプリット像を用いて、被検眼Ｅに対する測定光学系２１のＺ軸方向（前後方向）の距離を検出することができる。
ＯＣＴ光学系の光路Ｌ１には、被検眼Ｅの断層像を撮像するためのＯＣＴ光学系が設けられている。より具体的には、ＯＣＴ光学系は、被検眼Ｅの断層画像を生成するための干渉信号を得るために用いられる。
ＯＣＴ光学系の光路Ｌ１には、ＸＹスキャナ２１６、レンズ２１７，２１８、及び光ファイバー２２４のファイバー端が設けられている。ＸＹスキャナ２１６は、後述する測定光を被検眼Ｅ上で走査するためのＯＣＴ走査部である。ＸＹスキャナ２１６は、１枚のミラーとして図示されているが、Ｘ軸方向及びＹ軸方向の２軸方向に測定光を走査するための２枚のガルバノミラーによって構成される。なお、ＸＹスキャナ２１６の構成はこれに限られず、所望の構成に応じて任意に変更されてよい。例えば、１枚で二次元方向に光を偏向させることができるＭＥＭＳミラー等によって、ＸＹスキャナ２１６を構成してもよい。
レンズ２１７は、制御部３０によって制御される不図示のモータ等により、図中矢印で示される光軸方向に駆動されることができる。制御部３０は、不図示のモータ等によりレンズ２１７を駆動させることで、光カプラー２１９に接続されている光ファイバー２２４から出射される測定光を被検眼Ｅに焦点合わせすることができる。この焦点合わせによって、被検眼Ｅからの測定光の戻り光は、同時に光ファイバー２２４の先端に、スポット状に結像されて入射されることとなる。
次に、ＯＣＴ光源２２０からの光路、参照光学系、及び分光器２３０の構成について説明する。ＯＣＴ光源２２０は、光ファイバー２２５を介して光カプラー２１９に接続される。光カプラー２１９には、光ファイバー２２４，２２５，２２６，２２７が接続される。光ファイバー２２４，２２５，２２６，２２７は、光カプラー２１９に接続されて一体化しているシングルモードの光ファイバーである。
光ファイバー２２４のファイバー端は、ＯＣＴ光路Ｌ１上に配置され、測定光は光ファイバー２２４及び光ファイバー２２４に設けられた測定光側の偏光調整部２２８を通ってＯＣＴ光路Ｌ１に入射する。一方、光ファイバー２２６のファイバー端は、参照光学系の光路に配置され、後述する参照光は光ファイバー２２６及び光ファイバー２２６に設けられた参照光側の偏光調整部２２９を通って参照光学系の光路に入射する。参照光学系の光路には、レンズ２２３、分散補償ガラス２２２、及び参照ミラー２２１が設けられている。また、光ファイバー２２７は分光器２３０に接続される。
これらの構成によって、マイケルソン干渉系が構成される。なお、本実施例では、干渉系としてマイケルソン干渉系を用いたが、マッハツェンダー干渉系を用いてもよい。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉系を、光量差が比較的小さい場合にはマイケルソン干渉系を用いることができる。
ＯＣＴ光源２２０は、ＯＣＴによる測定に用いられる光を出射する。本実施例では、ＯＣＴ光源２２０として、代表的な低コヒーレント光源であるＳＬＤ（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）を用いた。また、本実施例におけるＳＬＤの中心波長は８５５ｎｍ、波長バンド幅は約１００ｎｍとした。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。また、光源の種類は、ここではＳＬＤを選択したが、低コヒーレント光が出射できればよく、ＡＳＥ（Ａｍｐｌｉｆｉｅｄ Ｓｐｏｎｔａｎｅｏｕｓ Ｅｍｉｓｓｉｏｎ）等も用いることができる。中心波長は眼を撮影することを鑑みて、近赤外光とすることができる。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長とすることができる。本実施例では、双方の理由から中心波長を８５５ｎｍとした。
ＯＣＴ光源２２０から出射された光は、光ファイバー２２５を通じて光カプラー２１９に入射する。光カプラー２１９に入射した光は、光カプラー２１９を介して、光ファイバー２２４側に向かう測定光と、光ファイバー２２６側に向かう参照光とに分割される。測定光は前述のＯＣＴ光学系の光路Ｌ１を通じ、被検体である被検眼Ｅに照射される。被検眼Ｅの反射や散乱による測定光の戻り光は、同じ光路を通じて光カプラー２１９に到達する。
一方、参照光は、光ファイバー２２６、レンズ２２３、及び測定光と参照光の分散を合わせるために挿入された分散補償ガラス２２２を介して参照ミラー２２１に到達し反射される。その後、参照光は、同じ光路を戻り、光カプラー２１９に到達する。ここで、参照ミラー２２１は、制御部３０によって制御される不図示のモータ等によって、図中矢印で示される光軸方向に調整可能に保持されている。
光カプラー２１９において、測定光と参照光は合波され干渉光となる。ここで、測定光と参照光は、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。制御部３０は、不図示のモータ等を制御し、参照ミラー２２１を光軸方向に移動させることで、被検眼Ｅによって変わる測定光の光路長に参照光の光路長を合わせることができる。
なお、測定光側の偏光調整部２２８及び参照光側の偏光調整部２２９は、光ファイバーをループ状にひきまわした部分を幾つか有する。偏光調整部２２８，２２９は、このループ状の部分を光ファイバーの長手方向を中心として回動させてファイバーに捩じりを加えることで、測定光と参照光の偏光状態を各々調整して合わせることができる。
光カプラー２１９で生じた干渉光は、光ファイバー２２７を介して、ベース部２３に設けられた分光器２３０に導かれる。分光器２３０には、レンズ２３４，２３２、回折格子２３３、及びラインセンサ２３１が設けられている。光ファイバー２２７から出射された干渉光は、レンズ２３４を介して平行光となった後、回折格子２３３で分光され、レンズ２３２によってラインセンサ２３１に結像される。制御部３０は、ラインセンサ２３１から出力された、干渉光に基づく干渉信号を用いて被検眼Ｅの断層画像を生成することができる。
以上のような構成により、撮影部２０を用いることで、被検眼Ｅの断層像を取得することができ、且つ、近赤外光であってもコントラストの高い被検眼ＥのＳＬＯ眼底像を取得することができる。
（断層画像の撮影方法）
次に、ＯＣＴ装置１を用いた断層画像の撮影方法について説明する。ＯＣＴ装置１では、制御部３０によりＸＹスキャナ２１６を制御することで、被検眼Ｅの所定部位の断層画像を撮影することができる。ここで、測定光を被検眼Ｅ上で走査する軌跡のことをスキャンパターン（走査パターン）と呼ぶ。このスキャンパターンには、例えば、一点を中心として縦横十字にスキャンするクロススキャンや、エリア全体を塗りつぶすようにスキャンし結果として三次元断層画像を得る３Ｄスキャン等がある。特定の部位に対して詳細な観察を行いたい場合はクロススキャンが適しており、網膜全体の層構造や層厚を観察したい場合は３Ｄスキャンが適している。
ここでは、３Ｄスキャンを実行した場合の撮影方法を説明する。まず、図中Ｘ軸方向（主走査方向）に測定光のスキャン（走査）を行い、被検眼ＥにおけるＸ軸方向の撮影範囲から所定の撮影本数の情報をラインセンサ２３１で取得する。
ここで、被検眼ＥのＸ軸方向の一点における深さ方向の断層情報を取得することをＡスキャンという。Ａスキャンで得られるラインセンサ２３１上の輝度分布を高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）し、ＦＦＴで得られた線状の輝度分布を表示部５０に示すために濃度情報に変換する。これにより、Ａスキャンで取得した情報に基づくＡスキャン画像を生成することができる。また、複数のＡスキャン画像を並べることで、二次元画像であるＢスキャン画像を取得することができる。
１つのＢスキャン画像を構成するための複数のＡスキャン画像を撮影した後、Ｙ軸方向（副走査方向）のスキャン位置を移動させて再びＸ軸方向のスキャンを行うことにより、複数のＢスキャン画像を取得することができる。複数のＢスキャン画像、又は複数のＢスキャン画像から構築した三次元断層画像を表示部５０に表示することで、検者が被検眼Ｅの三次元の断層の状態を観察することができる。検者は、当該画像に基づいて、被検眼Ｅの診断を行うことができる。ここでは、Ｘ軸方向のＢスキャン画像を複数得ることで三次元断層画像を取得する例を示したが、Ｙ軸方向のＢスキャン画像を複数得ることで三次元断層画像を取得してもよい。なお、走査方向はＸ軸方向及びＹ軸方向に限られず、Ｚ軸方向に直交するとともに互いに交差する軸方向であればよい。
（制御部の構成）
次に、図３を参照して制御部３０について説明する。図３は制御部３０の概略的な構成例を示す。制御部３０には、取得部３１０、画像処理部３２０、駆動制御部３３０、記憶部３４０、及び表示制御部３５０が設けられている。
取得部３１０は、撮影部２０から、ＣＣＤ２１５及びフォトダイオード２０９の出力信号、並びに被検眼Ｅの干渉信号に対応するラインセンサ２３１の出力信号のデータを取得することができる。なお、取得部３１０が取得する出力信号のデータは、アナログ信号でもデジタル信号でもよい。取得部３１０がアナログ信号を取得する場合には、制御部３０でアナログ信号をデジタル信号に変換することができる。
また、取得部３１０は、画像処理部３２０で生成された断層データ等の各種データや、断層画像、ＳＬＯ眼底画像、及び前眼部画像等の各種画像を取得することができる。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、ＯＣＴによる干渉信号にフーリエ変換を施した信号、及び該信号に任意の処理を施した信号等を含むものをいう。
さらに、取得部３１０は、画像処理すべき画像の撮影条件群（例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像の画像サイズ、画像フィルタ、及び画像のデータ形式に関する情報など）を取得できる。なお、撮影条件群については、例示したものに限られない。また、撮影条件群は、例示したもの全てを含む必要はなく、これらのうちの一部を含んでもよい。
具体的には、取得部３１０は、画像を撮影した際の撮影部２０の撮影条件を取得する。また、取得部３１０は、画像のデータ形式に応じて、画像を構成するデータ構造に保存された撮影条件群を取得することもできる。なお、画像のデータ構造に撮影条件が保存されていない場合には、取得部３１０は、別途撮影条件を保存している記憶装置等から撮影条件群を含む撮影情報群を取得することもできる。
また、取得部３１０は、被検者識別番号等の被検眼を同定するための情報を入力部４０等から取得することもできる。なお、取得部３１０は、記憶部３４０や、制御部３０に接続される不図示のその他の装置から各種データや各種画像、各種情報を取得してもよい。取得部３１０は、取得した各種データや画像を記憶部３４０に記憶させることができる。
画像処理部３２０は、取得部３１０で取得されたデータや記憶部３４０に記憶されたデータから断層画像を生成したり、生成又は取得した断層画像に画像処理を施したりすることができる。画像処理部３２０には、断層画像生成部３２１、及び高画質化部３２２が設けられている。
断層画像生成部３２１は、取得部３１０が取得した干渉信号のデータに対して波数変換やフーリエ変換、絶対値変換（振幅の取得）等を施して断層データを生成し、断層データに基づいて被検眼Ｅの断層画像を生成することができる。ここで、取得部３１０で取得される干渉信号のデータは、ラインセンサ２３１から出力された信号のデータであってもよいし、記憶部３４０や制御部３０に接続された不図示の装置から取得された干渉信号のデータであってもよい。なお、断層画像の生成方法としては公知の任意の方法を採用してよく、詳細な説明は省略する。
高画質化部３２２は、後述する学習済モデルを用いて、断層画像生成部３２１で生成された断層画像から高画質な断層画像を生成する。なお、高画質化部３２２は、撮影部２０を用いて撮影された断層画像等だけでなく、取得部３１０が、記憶部３４０や制御部３０に接続される不図示のその他の装置から取得した断層画像に基づいて高画質な断層画像を生成することもできる。
駆動制御部３３０は、制御部３０に接続されている撮影部２０のＯＣＴ光源２２０や、ＸＹスキャナ２１６、レンズ２１７、参照ミラー２２１、ＳＬＯ光源２１０、ＳＬＯ走査部２０４、レンズ２０５、固視灯２１１等の構成要素の駆動を制御することができる。
記憶部３４０は、取得部３１０で取得された各種データ、及び画像処理部３２０で生成・処理された断層画像等の各種画像やデータ等を記憶することができる。また、記憶部３４０は、被検者の属性（氏名や年齢など）や他の検査機器を用いて取得した計測結果（眼軸長や眼圧など）などの被検眼に関する情報、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータを記憶することができる。さらに、記憶部３４０は、正常データベースの統計情報を記憶することもできる。なお、これらの画像及び情報は、不図示の外部記憶装置に記憶する構成にしてもよい。また、記憶部３４０は、プロセッサーによって実行されることで制御部３０の各構成要素の機能を果たすためのプログラム等を記憶することもできる。
表示制御部３５０は、取得部３１０で取得された各種情報や画像処理部３２０で生成・処理された断層画像等の各種画像を表示部５０に表示させることができる。また、表示制御部３５０は、ユーザによって入力された情報等を表示部５０に表示させることができる。
制御部３０は、例えば汎用のコンピュータを用いて構成されてよい。なお、制御部３０は、ＯＣＴ装置１の専用のコンピュータを用いて構成されてもよい。制御部３０は、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及び光学ディスクやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリを含む記憶媒体を備えている。制御部３０の記憶部３４０以外の各構成要素は、ＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。記憶部３４０は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
なお、制御部３０が備えるＣＰＵ等のプロセッサー及びＲＯＭ等の記憶媒体は１つであってもよいし複数であってもよい。そのため、制御部３０の各構成要素は、少なくとも１以上のプロセッサーと少なくとも１つの記憶媒体とが接続され、少なくとも１以上のプロセッサーが少なくとも１以上の記憶媒体に記憶されたプログラムを実行した場合に機能するように構成されてもよい。なお、プロセッサーはＣＰＵやＭＰＵに限定されるものではなく、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等であってもよい。
次に、本実施例に係る断層画像の高画質化処理を説明するにあたり、図４及び５を参照して、セグメンテーション処理及び階調変換処理について説明する。
（セグメンテーション処理）
図４は、セグメンテーション処理により網膜層の各領域の境界が検出された断層画像の一例を示す。断層画像のセグメンテーション処理では、断層画像に含まれる各領域の境界を検出することができ、図４に示す断層画像４００では、硝子体部と網膜部の境界４０１、及び網膜部と脈絡膜部の境界４０２が検出されている。断層画像４００における境界４０１，４０２を検出することで、境界４０１と境界４０２の間における網膜部の領域４０３、境界４０１から浅層側にある硝子体部の領域４０４、及び境界４０２から深層側にある脈絡膜部の領域４０５を特定することができる。
セグメンテーション処理としては既知の任意の方法を用いることができる。一例では、まず、処理の対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用してメディアン画像及びＳｏｂｅｌ画像を生成する。次に、生成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャンに対応する断層データ毎にプロファイルを生成する。ここで、生成されるプロファイルは、メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。その後、Ｓｏｂｅｌ画像から生成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出することができる。
（階調変換処理）
次に、図５（ａ）乃至（ｄ）を参照して、硝子体部の領域４０４及び脈絡膜部の領域４０５、網膜部の領域４０３、又はこれらすべての領域におけるコントラストを強調する階調変換処理について説明する。図５（ａ）は、被検眼Ｅを撮影した元の断層画像（以下、オリジナルの断層画像）の一例として断層画像５００を示す。断層画像５００は、通常１０ビット以上の整数形式であり、非常に低輝度な情報から高輝度な情報まで含む高ダイナミックレンジのデータである。これに対し、上述のように、表示部５０に表示可能なデータは、例えば、８ビット整数形式等の低ダイナミックレンジのデータである。そのため、オリジナルの断層画像５００について表示用の低ダイナミックレンジのデータとなるように階調変換処理が行われる。
図５（ｂ）は、オリジナルの断層画像５００に対して、網膜部の領域が観察しやすいように、言い換えると、網膜部の領域のコントラストを確保するように、階調変換処理が行われた断層画像５０１を示す。ここで、図６（ａ）及び（ｂ）を参照して、網膜部の領域のコントラストを確保するための階調変換処理について説明する。
図６（ａ）は、断層画像５００における輝度値の出現頻度を示しており、網膜部の領域の輝度値に対応する輝度値の範囲６０１が示されている。なお、網膜部の領域の輝度値に対応する輝度値の範囲は、網膜部の領域について経験的に得られた平均的な輝度範囲等に基づいて決めてよい。当該階調変換処理では、図６（ｂ）に示すように、網膜部の領域の輝度値に対応する輝度範囲６０１が、表示用のデータに関する輝度値の広い範囲となるように変換処理を行う。これにより、網膜部の領域が観察しやすい表示用の断層画像５０１を生成することができる。
図５（ｃ）は、オリジナルの断層画像５００に対して、硝子体部及び脈絡膜部の領域が観察しやすいように、言い換えると、硝子体部及び脈絡膜部の領域のコントラストを確保するように、階調変換処理が行われた断層画像５０２を示す。ここで、図７（ａ）及び（ｂ）を参照して、硝子体部及び脈絡膜部の領域のコントラストを確保するための階調変換処理について説明する。
図７（ａ）は、断層画像５００における輝度値の出現頻度を示しており、硝子体部及び脈絡膜部の領域の輝度値に対応する輝度値の範囲７０１が示されている。なお、硝子体部及び脈絡膜部の領域の輝度値に対応する輝度値の範囲は、硝子体部及び脈絡膜部の領域について経験的に得られた平均的な輝度範囲等に基づいて決めてよい。当該階調変換処理では、図７（ｂ）に示すように、硝子体部及び脈絡膜部の領域の輝度値に対応する輝度範囲７０１が、表示用のデータに関する輝度値の広い範囲となるように変換処理を行う。これにより、硝子体部及び脈絡膜部の領域が観察しやすい表示用の断層画像５０２を生成することができる。
図５（ｄ）は、網膜部、硝子体部、及び脈絡膜部の領域が観察しやすいように、言い換えると、これらの領域のコントラストを確保するように階調変換処理が行われた断層画像５０３を示す。この場合には、まず、上述したセグメンテーション処理により、硝子体部と網膜部の境界４０１及び網膜部と脈絡膜部の境界４０２を検出し、網膜部の領域４０３、硝子体部の領域４０４、及び脈絡膜部の領域４０５を特定する。
その後、網膜部の領域４０３に対しては、図６（ｂ）に示すように、網膜部の領域に対応する輝度値の範囲６０１が、表示用のデータに関する輝度値の広い範囲となるように階調変換処理を行う。これに対し、硝子体部の領域４０４及び脈絡膜部の領域４０５に対しては、図７（ｂ）に示すように、硝子体部及び脈絡膜部の領域に対応する輝度値の範囲７０１が、表示用のデータに関する輝度値の広い範囲となるように階調変換処理を行う。これにより、網膜部、硝子体部、及び脈絡膜部の領域が観察しやすい表示用の断層画像５０３を生成することができる。
なお、硝子体部と脈絡膜部で同じ変換処理を行うだけでなく、硝子体部と脈絡膜部で異なる変換処理を行うこともできる。また、線形の変換処理を行うだけでなく、シグモイド変換やγ変換等のＳ字カーブの変換処理等を行うこともできる。
上述した網膜部、硝子体部、及び脈絡膜部の大局的な領域を観察しやすい断層画像を生成するための階調変換処理では、セグメンテーション処理により断層画像における領域を検出することが行われている。そのため、疾病眼において病変による層構造の変化に起因して、セグメンテーション処理による誤検出が生じると、階調変換処理が適切に行われず、大局的な領域を観察しやすい断層画像を生成できない場合がある。
これに対し、本実施例に係る制御部３０では、ディープラーニングなどの任意の機械学習アルゴリズムに従った機械学習モデルの学習済モデルを用いて、断層画像における領域毎に異なる画像処理が行われたような観察しやすい高画質な断層画像を生成する。学習済モデルを用いてセグメンテーション処理を行う場合、例えば、疾病眼において病変による層構造の変化が生じていても、学習した傾向に応じて適切に画像処理を行うことができる。
なお、本明細書における高画質な画像（高画質画像）とは、画像診断により適した画質の画像に変換された画像をいい、高画質化処理とは、入力された画像を画像診断により適した画質の画像に変換することをいう。ここで、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、撮影対象を観察しやすい色や階調で示していたり、ノイズが少なかったり、高コントラストであったり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。
（機械学習の学習）
ここで、図８（ａ）乃至１０を参照して、本実施例に係る学習済モデルについて説明する。まず、図８（ａ）乃至９（ｂ）を参照して、学習済モデルに関する教師データ（学習データ）について説明する。
教師データは、１つ以上の入力データと出力データとのペア群で構成される。本実施例では、具体的には、断層画像５００等のＯＣＴ装置によって取得されたオリジナルの断層画像を入力データとし、断層画像５０３等の大局的な観察が可能であるように画像処理を行った断層画像を出力データとしたペア群によって教師データを構成する。なお、出力データは、入力データとなる断層画像について画像処理を行った画像とすることができる。
まず、教師データを構成するペア群の１つを、図８（ａ）及び（ｂ）に示すオリジナルの断層画像８１０と高画質な断層画像８２０とした場合について説明する。この場合には、図８（ａ）及び（ｂ）に示すように、オリジナルの断層画像８１０の全体を入力データ、高画質な断層画像８２０の全体を出力データとして、ペアを構成する。なお、図８（ａ）及び（ｂ）に示す例では各画像の全体により入力データと出力データのペアを構成しているが、ペアはこれに限らない。
例えば、図９（ａ）及び（ｂ）に示すように、オリジナルの断層画像９１０のうちの矩形領域画像９１１を入力データ、高画質な断層画像９２０における対応する撮影領域である矩形領域画像９２１を出力データとして、ペアを構成してもよい。ここで、矩形領域画像９１１と矩形領域画像９２１は、断層画像９１０及び高画質な断層画像９２０において、互いに位置関係が対応する画像である。
なお、学習時には、スキャン範囲（撮影画角）、スキャン密度（Ａスキャン数、Ｂスキャン数）を正規化して画像サイズを揃えて、学習時の矩形領域サイズを一定に揃えることができる。また、図８（ａ）乃至９（ｂ）に示した矩形領域画像は、それぞれ別々に学習する際の矩形領域サイズの一例である。
また、矩形領域の数は、図８（ａ）及び（ｂ）に示す例では１つ、図９（ａ）及び（ｂ）に示す例では複数設定可能である。例えば、図９（ａ）及び（ｂ）に示す例において、断層画像９１０のうちの矩形領域画像９１２，９１３を入力データ、高画質な断層画像９２０における対応する撮影領域の矩形領域画像９２２，９２３を出力データとしてペアを構成することもできる。このように、１枚ずつの断層画像及び高画質な断層画像のペアから、互いに異なる矩形領域画像のペアを作成できる。なお、元となる断層画像及び高画質な断層画像において、矩形領域の位置を異なる座標に変えながら多数の矩形領域画像のペアを作成することで、教師データを構成するペア群を充実させることができる。
ここで、矩形領域画像９１１は、オリジナルの断層画像９１０における網膜部の領域の画像であり、矩形領域画像９２１は、大局的な観察が可能なように階調変換処理等の画像処理が行われた高画質な断層画像９２０における網膜部の領域の画像である。同様に、矩形領域画像９１２は、オリジナルの断層画像９１０における硝子体部の領域の画像であり、矩形領域画像９２２は高画質な断層画像９２０における硝子体部の領域の画像である。また、矩形領域画像９１３は、オリジナルの断層画像９１０における脈絡膜部の領域の画像であり、矩形領域画像９２３は高画質な断層画像９２０における脈絡膜部の領域の画像である。
なお、図９（ａ）及び（ｂ）に示す例では、離散的に矩形領域を示しているが、元となる断層画像及び高画質な断層画像を、隙間なく連続する一定の画像サイズの矩形領域画像群に分割することができる。また、元となる断層画像及び高画質な断層画像について、互いに対応する、ランダムな位置の矩形領域画像群に分割してもよい。このように、矩形領域として、より小さな領域の画像を入力データ及び出力データのペアとして選択することで、もともとのペアを構成する断層画像９１０及び高画質な断層画像９２０から多くのペアデータを生成できる。そのため、機械学習モデルのトレーニングにかかる時間を短縮することができる。
なお、出力データは、１つの断層画像から生成した高画質な断層画像に限らない。被検眼の同一部位を複数回撮影して取得した複数の断層画像を用いて加算平均処理等を行った断層画像について生成した表示用の断層画像を使用してもよい。
なお、矩形領域は、正方形に限定されず、長方形でもよい。さらには、矩形領域はＡスキャン１本分でもよい。また、学習時の出力データを準備する際には、あらかじめ決めた自動処理により生成するだけでなく、手動調整により、より良いデータを準備することができる。
さらに、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した学習済モデルが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、学習済モデルが画像診断に適さない画質の画像を生成する可能性を低減させることができる。
また、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した学習済モデルが、入力画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。
次に、本実施例に係る学習済モデルの一例として、入力された断層画像に対して、高画質化処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）について、図１０を用いて説明する。
図１０に示す学習済モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該学習済モデルの構成１００１に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。
畳み込み層は、設定されたフィルタのカーネルサイズや、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
なお、図１０に示す構成１００１に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度の高画質化処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、画質向上処理の精度が高かったり、画質向上処理の時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
なお、本実施例で用いるＣＮＮの構成１００１は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルである。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等してもよい。
このような機械学習モデルの学習済モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。例えば、教師データを用いてトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。本実施例に係る学習済モデルに、オリジナルの断層画像を入力すると、大局的な観察に用いられる、網膜部、硝子体部及び脈絡膜部が観察しやすい高画質な断層画像が出力される。
なお、断層画像の領域を分割して学習している場合、学習済モデルは、それぞれの矩形領域に対応する高画質な断層画像である矩形領域画像を出力する。この場合、高画質化部３２２は、まず、入力画像である断層画像を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、高画質化部３２２は、学習済モデルを用いて得た高画質な断層画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合する。これにより、高画質化部３２２は、入力された断層画像に対応する、高画質な断層画像を生成することができる。
（フローチャート）
次に、図１１を参照して、本実施例に係る一連の画像処理について説明する。図１１は、本実施例に係る一連の画像処理のフローチャートである。
まず、ステップＳ１１０１では、取得部３１０が、被検眼Ｅを撮影して得た断層情報を取得する。取得部３１０は、撮影部２０を用いて被検眼Ｅの断層情報を取得してもよいし、記憶部３４０や制御部３０に接続される他の装置から断層情報を取得してもよい。
ここで、撮影部２０を用いて被検眼Ｅの断層情報を取得する場合には、撮影モードの選択、スキャンパターン、スキャン範囲、フォーカス、及び固視灯位置などの各種撮影パラメータの設定、調整を行った後、被検眼Ｅのスキャンを開始することができる。
ステップＳ１１０２では、断層画像生成部３２１が、取得された被検眼Ｅの断層情報に基づいて、断層画像を生成する。なお、取得部３１０が、ステップＳ１１０１において、記憶部３４０や制御部３０に接続される他の装置から断層画像を取得する場合には、ステップＳ１１０２は省略されてよい。
ステップＳ１１０３では、高画質化部３２２が、学習済モデルを用いて、ステップＳ１１０２で生成された又はステップＳ１１０１で取得された断層画像から、領域毎に異なる画像処理が行われたような高画質な断層画像を生成する。
なお、学習済モデルが画像の領域を分割して学習している場合には、高画質化部３２２は、まず、入力画像である断層画像を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、高画質化部３２２は、学習済モデルを用いて得た高画質な断層画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合することで、最終的な高画質な断層画像を生成する。
ステップＳ１１０４では、表示制御部３５０が、ステップＳ１１０３で生成された高画質な断層画像を表示部５０に表示させる。表示制御部３５０による表示処理が終了すると、一連の画像処理が終了する。
このような処理によれば、学習済モデルを用いて異なる領域に異なる画像処理が行われたような高画質な断層画像を生成し、表示させることができる。特に本実施例では、疾病眼などにおいても、硝子体、脈絡膜及び網膜のコントラストが強調された、大局的な観察に適した画像を生成し、表示することができる。
上記のように、本実施例に係る制御部３０は、取得部３１０と、高画質化部３２２とを備える。取得部３１０は、被検体である被検眼Ｅの第１の断層画像（光干渉を利用した断層画像）を取得する。高画質化部３２２は、学習済モデルを用いて、第１の断層画像（第１の医用画像）から、第１の断層画像における異なる領域に異なる画像処理が施されたような第２の断層画像（第２の医用画像）を生成する。また、本実施例では、学習済モデルの学習データは、被検眼Ｅの領域に応じた階調変換処理が施された断層画像を含む。
このような構成によれば、学習済モデルを用いて異なる領域に異なる画像処理が行われたような高画質な断層画像を生成し、表示させることができる。特に本実施例では、疾病眼などにおいて、断層画像のセグメンテーションで良好な結果が得られない場合でも、網膜、硝子体、脈絡膜の内部構造を詳細に観察可能な表示画像を得ることができる。
また、本実施例では、高画質化部３２２が、学習済モデルを用いて、各領域が高画質化された高画質な断層画像を生成することができる。そのため、高画質化部３２２は、学習済モデルを用いて、第１の断層画像から、第１の断層画像における第１の領域と第１の領域とは異なる第２の領域との異なる領域が高画質化された第２の断層画像を生成することができる。ここで、例えば、第１の領域は網膜部の領域であってよく、第２の領域は硝子体部の領域であってよい。また、高画質化が行われる領域は２つに限られず、３つ以上であってもよい。この場合、例えば、高画質が行われる、第１及び第２の領域とは異なる第３の領域は脈絡膜部の領域であってよい。なお、高画質化が行われる各領域は、所望の構成に応じて任意に変更されてよい。この観点からも、本実施例に係る制御部３０は、観察対象の領域毎に適切な画像処理が行われたような画像を生成できる。
本実施例に係る学習済モデルでは、教師データの出力データとして、領域毎に適切な階調変換処理が行われた画像を用いたが、教師データはこれに限られない。例えば、教師データの出力データとして、断層画像の領域毎に、元画像群に対して加算平均等の重ね合わせ処理や最大事後確率推定処理（ＭＡＰ推定処理）を行うことで得られる高画質画像を用いてもよい。ここで、元画像とは入力データとなる断層画像のことをいう。
ＭＡＰ推定処理では、複数の画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値（画素値）を推定する。ＭＡＰ推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、ＭＡＰ推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、ＭＡＰ推定処理により得られた高画質画像を教師データとして学習を行った学習済モデルを用いることで、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
また、教師データの出力データとして、元画像に平均値フィルタ等を用いた平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、学習済モデルを用いることで、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、階調変換処理が行われた画像を教師データとした場合と同様の方法で行われてよい。
なお、教師データの入力データとして、撮影部２０と同じ画質傾向を持つ撮影装置から取得された画像を用いてもよい。また、教師データの出力データとして、逐次近似法等の高コストな処理によって得られた高画質画像を用いてもよい、入力データに対応する被検体を、撮影部２０よりも高性能な撮影装置で撮影することで取得した高画質画像を用いてもよい。さらに、出力データとして、被検体の構造等に基づくルールベースによるノイズ低減処理を行うことによって取得された高画質画像を用いてもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである１画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、学習済モデルの学習には、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を教師データとして用いてもよい。
さらに、教師データの出力データは、上述のような重ね合わせ処理やＭＡＰ推定処理等を施した画像や撮影部２０よりも高性能な撮影装置で撮影された画像に対して、観察対象の領域毎に異なる階調変換処理が行われた画像であってもよい。従って、教師データの出力データは、観察対象の領域毎に異なる階調変換処理と、他の高画質化に関する処理や高性能な撮影装置での撮影による断層画像との組み合わせを用いて生成された断層画像であってもよい。この場合には、より診断に適した断層画像を生成し、表示することができる。
また、本実施例では、オリジナルの断層画像を入力データとしているが、入力データはこれに限られない。例えば、網膜部が観察しやすいように階調変換された断層画像や硝子体部及び脈絡膜部が観察しやすいように階調変換された断層画像を入力データとしてもよい。この場合には、高画質化部３２２は、学習データの入力データに対応する、網膜部や硝子体部及び脈絡膜部が観察しやすいように階調変換された断層画像を学習済モデルに入力し、高画質な断層画像を生成することができる。
さらに、出力データを、各領域について適切な階調変換を行いやすいようなデータに調整した、高ダイナミックレンジのデータとしてもよい。この場合には、高画質化部３２２は、学習済モデルを用いて得た、高ダイナミックレンジのデータに適切な階調変換を行い高画質な断層画像を生成することができる。
なお、高画質化部３２２が、学習済モデルを用いて、表示部５０による表示に関して適切な階調変換が行われた高画質な画像を生成することについて述べたが、高画質化部３２２による高画質化処理はこれに限られない。高画質化部３２２は、画像診断により適した画質の画像を生成できればよい。
学習済モデルを用いて取得した断層画像では、学習の傾向に従って、実際には存在しない血管等の組織が描出されたり、存在するはずの組織が描出されなかったりする場合も起こり得る。そのため、表示制御部３５０は、学習済モデルを用いて取得した高画質な断層画像を表示させる際に、学習済モデルを用いて取得した断層画像である旨をともに表示させてもよい。この場合には、操作者による誤診断の発生を抑制することができる。なお、学習済モデルを用いて取得した画像である旨が理解できる態様であれば、表示の態様については任意であってよい。
（変形例１）
実施例１では、大局的な観察を行うことができるように階調変換処理が行われた断層画像の部分領域（矩形領域）画像を教師データの出力データとして用いる場合について説明した。これに対し、変形例１では、観察対象の領域毎に異なる断層画像を教師データの出力データとして用いる。以下、図１２（ａ）乃至（ｃ）を参照して、本変形例における教師データについて説明する。なお、本変形例に係る機械学習モデルの教師データ以外の構成や処理は実施例１と同様であるため、同じ参照符号を用いて説明を省略する。
図１２（ａ）は、教師データの入力データに係るオリジナルな断層画像１２１０の一例を示している。また、図１２（ａ）には、硝子体部の領域の矩形領域画像１２１２、網膜部の領域の矩形領域画像１２１１、及び脈絡膜部の領域の矩形領域画像１２１３が示されている。
図１２（ｂ）は、オリジナルな断層画像１２１０について網膜部の領域のコントラストを確保するように階調変換処理を行った断層画像１２２０を示している。また、図１２（ｂ）には、網膜部の領域の矩形領域画像１２１１と位置関係が対応する矩形領域画像１２２１が示されている。
図１２（ｃ）は、オリジナルな断層画像１２１０について硝子体部及び脈絡膜部の領域のコントラストを確保するように階調変換処理を行った断層画像１２３０を示している。また、図１２（ｃ）には、硝子体部の領域の矩形領域画像１２１２と位置関係が対応する矩形領域画像１２３２、及び脈絡膜部の領域の矩形領域画像１２１３と位置関係が対応する矩形領域画像１２３３が示されている。
本変形例では、オリジナルな断層画像１２１０における網膜部の領域の矩形領域画像１２１１を入力データとし、断層画像１２２０における網膜部の領域の矩形領域画像１２２１を出力データとして教師データの１つのペアを作成する。同様に、オリジナルな断層画像１２１０における硝子体部の領域の矩形領域画像１２１２を入力データとし、断層画像１２３０における硝子体部の領域の矩形領域画像１２３２を出力データとして教師データの１つのペアを作成する。また、オリジナルな断層画像１２１０における脈絡膜部の領域の矩形領域画像１２１３を入力データとし、断層画像１２３０における脈絡膜部の領域の矩形領域画像１２３３を出力データとして教師データの１つのペアを作成する。
このような場合にも、教師データの出力データとして、観察対象の領域毎に適切な階調変換処理が行われた断層画像を用いることができる。そのため、高画質化部３２２は、このような教師データにより学習を行った学習済モデルを用いて、実施例１と同様に、観察対象の領域毎に異なる画像処理が行われたような高画質な断層画像を生成することができる。
（変形例２）
実施例１では、オリジナルの断層画像について、撮影モードに関係なく階調変換処理等の高画質化処理が行われた断層画像を出力データとして、機械学習モデルの教師データとして用いた。ここで、ＯＣＴ装置では、撮影モードに応じて、断層画像における信号強度の強弱の傾向が異なる。そこで、変形例２では、観察対象の領域毎に当該領域について信号強度が高い傾向を有する撮影モードで取得した断層画像を教師データの出力データとして用いる。
以下、図１３（ａ）乃至１５（ｃ）を参照して、本変形例に係る教師データについて説明する。なお、本変形例に係る機械学習モデルの教師データ以外の構成や処理は実施例１と同様であるため、同じ参照符号を用いて説明を省略する。まず、ＯＣＴ装置１での撮影モード毎の撮影方法として、硝子体モード及び脈絡膜モードでの撮影方法を説明する。
（硝子体モードでの撮影方法）
図１３（ａ）乃至（ｃ）を参照して、ＯＣＴ装置１の硝子体モードでの撮影方法について説明する。硝子体モードでは、図１３（ａ）に示すように、参照光と測定光の光路長が一致する深さ方向（Ｚ軸方向）の位置Ｚ１が、撮影範囲Ｃ１０の深さ方向において浅い方（硝子体側）に位置するように参照ミラー２２１を移動して撮影を行う。
この場合、図１３（ｂ）に示すように、位置Ｚ１に対して、Ｚ方向にプラス方向の撮影範囲Ｃ１０に正像が取得され、マイナス方向の撮影範囲Ｃ１１に虚像が取得される。ＯＣＴ装置の硝子体モードでの撮影は、一般的に、撮影範囲Ｃ１０の正像を断層画像として取得して行われる。ここで、図１３（ｃ）に硝子体モードで取得される断層画像の一例である断層画像Ｃ１２を示す。なお、撮影範囲Ｃ１１側の虚像を断層画像Ｃ１２として取得することもできる。撮影範囲Ｃ１１側の虚像を断層画像Ｃ１２として取得した場合は、上下反転して表示してもよい。
ＯＣＴ装置では、参照光と測定光の光路長が一致する深さ方向の位置に近い領域ほど、当該領域について取得される信号強度が高くなる。そのため、硝子体モードで撮影した断層画像Ｃ１２では、位置Ｚ１に近い側、つまり、硝子体側の信号強度が高くなる。
（脈絡膜モードでの撮影方法）
次に図１４（ａ）乃至（ｃ）を参照して、ＯＣＴ装置の脈絡膜モードでの撮影方法について説明する。脈絡膜モードでは、図１４（ａ）に示すように、参照光と測定光の光路長が一致する深さ方向の位置Ｚ２が、撮影範囲の深さ方向に深い方（脈絡膜側）に位置するように参照ミラー２２１を移動して撮影を行う。
この場合、図１４（ｂ）に示すように、位置Ｚ２に対して、Ｚ方向にマイナス方向の撮影範囲Ｃ２０に正像が取得され、プラス方向の撮影範囲Ｃ２１に虚像が取得される。ＯＣＴ装置の脈絡膜モードでの撮影は、一般的に、撮影範囲Ｃ２１側の虚像を断層画像として取得して行われる。ここで、図１４（ｃ）に脈絡膜モードで取得される断層画像の一例である断層画像Ｃ２２を示す。なお、撮影範囲Ｃ２０側の正像を断層画像Ｃ２２として取得することもできる。また、撮影範囲Ｃ２１側の虚像を断層画像Ｃ２２として取得した場合は、上下反転して表示してもよい。
上述のように、ＯＣＴ装置では、参照光と測定光の光路長が一致する深さ方向の位置に近い領域ほど、当該領域について取得される信号強度が高くなる。そのため、脈絡膜モードで撮影した断層画像Ｃ２２では、位置Ｚ２に近い側、つまり、脈絡膜側の信号強度が高くなる。
本変形例では、このようなＯＣＴ装置の特性を鑑みて、機械学習モデルの教師データの出力データとして、観察対象の領域に応じた、特に当該領域の信号強度が高くなる傾向を有する撮影モードで取得した断層画像を用いる。より具体的には、ＯＣＴ装置においては、硝子体モードで撮影した断層画像では硝子体側の信号強度が高く、脈絡膜モードで撮影した断層画像では脈絡膜側の信号強度が高くなる。そのため、同一被検眼の同一部位を脈絡膜モードと硝子体モードで撮影し、入力データの部分領域画像（矩形領域画像）毎に、対応する部分領域の信号強度が高い断層画像を出力データとして用いる。言い換えると、本変形例では、学習済モデルの学習データは、被検体を撮影して得られる医用画像であって、該医用画像における異なる領域のいずれかに対応する撮影モードで取得された医用画像を含む。
図１５（ａ）は、硝子体モードで撮影した、教師データの入力データに係るオリジナルな断層画像１５１０の一例を示している。また、図１５（ａ）には、硝子体部の領域の矩形領域画像１５１１、及び脈絡膜部の領域の矩形領域画像１５１２が示されている。
図１５（ｂ）は、同一被検眼の同一部位を硝子体モードで撮影した断層画像について、網膜部、硝子体部、及び脈絡膜部の領域のコントラストを確保するように階調変換処理を行った断層画像１５２０を示している。また、図１５（ｂ）には、硝子体部の領域の矩形領域画像１５１１と位置関係が対応する矩形領域画像１５２１が示されている。
図１５（ｃ）は、同一被検眼の同一部位を脈絡膜モードで撮影した断層画像について、網膜部、硝子体部、及び脈絡膜部の領域のコントラストを確保するように階調変換処理を行った断層画像１５３０を示している。また、図１５（ｃ）には、脈絡膜部の領域の矩形領域画像１５１２と位置関係が対応する矩形領域画像１５３２が示されている。
本変形例では、オリジナルな断層画像１５１０における硝子体部の領域の矩形領域画像１５１１を入力データとし、断層画像１５２０における硝子体部の領域の矩形領域画像１５２１を出力データとして教師データの１つのペアを作成する。同様に、オリジナルな断層画像１５１０における脈絡膜部の領域の矩形領域画像１５１２を入力データとし、断層画像１５３０における脈絡膜部の領域の矩形領域画像１５３２を出力データとして教師データの１つのペアを作成する。なお、本変形例では、脈絡膜モードで撮影した断層画像１５３０は入力データに係るオリジナルな断層画像１５１０と上下反転しているため、矩形領域画像１５３２を上下反転した矩形領域画像を教師データの出力データとして用いる。
このような場合には、教師データの出力データとして、観察対象の領域に応じた、特に当該領域の信号強度が高い傾向を有する撮影モードで取得した断層画像に対して、領域に応じた階調変換処理が行われた断層画像を用いることができる。言い換えると、学習済モデルの学習データは、被検体を撮影して得られる医用画像であって、該医用画像における異なる領域のいずれかに対応する撮影モードで取得された医用画像に対して、該医用画像における異なる領域のいずれかに対応する階調変換処理が施された医用画像を含むことができる。高画質化部３２２は、このような教師データにより学習を行った学習済モデルを用いることで、観察対象の領域毎により高画質化されたような断層画像を生成することができる。
なお、教師データの入力データは、硝子体モードで撮影したオリジナルな断層画像に限られず、脈絡膜モードで撮影したオリジナルな断層画像であってもよい。この場合、硝子体モードで撮影した断層画像は入力データに係るオリジナルな断層画像と上下反転するため、硝子体モードで撮影した断層画像に係る矩形領域画像を上下反転した画像を教師データの出力データとして用いる。
また、各撮影モードで撮影された断層画像に適用される階調変換処理は、大局的な観察を行うことができるような、網膜部、硝子体部、及び脈絡膜部の領域のコントラストを確保するような階調変換処理に限られない。例えば、変形例１と同様に、硝子体モードで撮影された断層画像について、硝子体部の領域のコントラストを確保するような階調変換が行われた断層画像を教師データの出力データとして用いてもよい。同様に、脈絡膜モードで撮影された断層画像について、脈絡膜部の領域のコントラストを確保するような階調変換が行われた断層画像を教師データの出力データとして用いてもよい。
なお、網膜部の領域に関する教師データの出力データとしては、硝子体モードで撮影した断層画像に基づく出力データを用いてもよいし、脈絡膜モードで撮影した断層画像に基づく出力データを用いてもよい。また、撮影モードは、硝子体モード及び脈絡膜モードに限られず、所望の構成に応じて任意に設定されてよい。この場合にも、撮影モードに応じた断層画像における信号強度の強弱の傾向に基づいて、観察対象の領域毎に、当該領域の信号強度が高い傾向を有する断層画像を教師データの出力データとして用いることができる。
また、変形例１及び２においても、実施例１と同様に、教師データの入力データは、オリジナルな断層画像に限られず、任意の階調変換が行われた断層画像であってもよい。また、教師データの出力データは、階調変換が行われた断層画像に限られず、オリジナルな断層画像について階調変換を行いやすいような調整を行った断層画像であってもよい。
（変形例３）
実施例１では、高画質化部３２２は、１つの学習済モデルを用いて、対象画像の領域毎に異なる画像処理が行われたような高画質画像を生成した。これに対し、変形例３では、まず、高画質化部３２２は、入力データとなる断層画像について、第１の学習済モデルを用いて画素毎に領域のラベル付け（アノテーション）がなされたラベル画像を生成する。その後、高画質化部３２２は、生成したラベル画像について、第１の学習済モデルとは異なる第２の学習済モデルを用いて、領域に応じた画像処理がなされたような高画質画像を生成する。言い換えると、高画質化部３２２は、高画質画像（第２の医用画像）を生成するための学習済モデルとは異なる学習済モデルを用いて、入力データとなる断層画像（第１の医用画像）から、異なる領域について異なるラベル値が付されたラベル画像を生成する。また、高画質化部３２２は、高画質画像（第２の医用画像）を生成するための学習済モデルを用いて、ラベル画像から高画質画像を生成する。
本変形例では、第１の学習済モデルについて、断層画像を入力データとし、該断層画像の画素毎に領域のラベル付けがなされたラベル画像を出力データとした教師データを用いて学習を行う。なお、当該ラベル画像については、従来のセグメンテーション処理により適切に処理された画像を用いてもよいし、手動でラベル付けされたラベル画像を用いてもよい。ラベルは、例えば、硝子体ラベルや網膜ラベル、脈絡膜ラベル等であってよい。なお、ラベルは文字列で示されてもよいし、予め設定された各領域に対応する数値等であってもよい。また、ラベルは上記例に限られず、所望の構成に応じて任意の領域を示すものであってよい。
また、第２の学習済モデルについて、ラベル画像を入力データとし、該ラベル画像について画素毎のラベルに応じた高画質化処理を行った断層画像を出力データとした教師データを用いて学習を行う。なお、画素毎のラベルに応じた高画質化処理については、上述のような、観察対象の領域に応じた階調変換処理等を含むことができる。
このような場合には、高画質化部３２２は、第１及び第２の学習済モデルを用いて、実施例１と同様に、観察対象の領域毎に異なる画像処理が行われたような高画質な断層画像を生成することができる。また、学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そのため、本変形例のように、領域毎にラベル付けされた教師データを用いた学習済モデルを用いることで、より効果的に高画質化した画像を生成することが期待できる。
なお、本変形例に係る教師データについても、実施例１と同様に画像全体を用いてもよいし、矩形領域画像（部分画像）を用いてもよい。また、入力データ及び出力データは、所望の構成に応じて、任意の階調変換後の画像であってもよいし、階調変換前の画像であってもよい。
（変形例４）
実施例１では、高画質化部３２２は、学習済モデルを用いて得た断層画像の部分画像を統合して最終的な高画質な断層画像を生成する場合について説明した。特に、実施例１で説明した例では、学習済モデルを用いて得た部分画像は、学習の傾向に従って、観察対象の領域毎に異なる階調変換処理がなされたような画像である。そのため、部分画像を単純に統合すると、異なる領域が接している箇所（接続部分）とこれに隣接する領域（例えば、硝子体部の領域や網膜部の領域）の箇所とで、輝度の分布が著しく異なり、画像エッジが目立ってしまう場合がある。
そこで、変形例４では、高画質化部３２２が、学習済モデルを用いて得た部分画像を統合する際に、観察対象の領域の接続部分の画素値について、周囲の画素の画素値に基づいて、画像エッジが目立たなくなるように修正する。これにより、画像エッジによる違和感が軽減された、診断に適した画像を生成することができる。
この場合、高画質化部３２２は、観察対象の領域の接続部分について、公知の任意のブレンディング処理を施して輝度値を修正することができる。なお、高画質化部３２２は、観察対象の領域の接続部分に隣接する箇所について、ブレンディング処理を行ってもよい。また、画像エッジを目立たなくする処理はブレンディング処理に限られず、その他の任意の処理であってもよい。
（実施例２）
実施例１では、生成／取得した断層画像について一律に学習済モデルを用いた高画質化処理を施した。これに対し、実施例２に係るＯＣＴ装置では、断層画像について適用する画像処理を操作者の指示に応じて選択する。
以下、図１６乃至１８（ｃ）を参照して、本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係る制御部以外の構成は、実施例１に係るＯＣＴ装置１と同様であるため、同じ参照符号を用いて説明を省略する。以下、本実施例に係るＯＣＴ装置について、実施例１に係るＯＣＴ装置との違いを中心として説明する。
図１６は、本実施例に係る制御部１６００の概略的な構成例を示す。なお、制御部１６００において、画像処理部１６２０の高画質化部１６２２及び選択部１６２３以外の構成は、実施例１に係る制御部３０の構成と同様であるため、同じ参照符号を用いて説明を省略する。
画像処理部１６２０には、断層画像生成部３２１に加えて、高画質化部１６２２及び選択部１６２３が設けられている。選択部１６２３は、入力部４０を介して入力された操作者からの指示に応じて、断層画像に適用する画像処理を選択する。
高画質化部１６２２は、断層画像生成部３２１で生成された断層画像又は取得部３１０で取得された断層画像に、選択部１６２３によって選択された画像処理を適用し、高画質な断層画像を生成する。
次に、図１７を参照して本実施例に係る一連の画像処理について説明する。図１７は、本実施例に係る一連の画像処理のフローチャートである。なお、ステップＳ１７０１及びステップＳ１７０２は実施例１に係るステップＳ１１０１及びＳ１１０２と同様であるため説明を省略する。
ステップＳ１７０２において断層画像生成部３２１がオリジナルの断層画像を生成したら、処理はステップＳ１７０３に移行する。ステップＳ１７０３では、取得部３１０が、断層画像において注目したい領域又は断層画像について施されるべき処理の選択に関する操作者からの指示を取得する。なお、この際には、表示制御部３５０が、表示部５０に処理の選択肢を表示させ、操作者に選択肢を提示することができる。
ステップＳ１７０４では、選択部１６２３が、ステップＳ１７０３において取得された操作者からの指示に応じて、断層画像に適用されるべき画像処理（高画質化処理）を選択する。本実施例では、選択部１６２３は、操作者からの指示に応じて、網膜部に対する高画質化処理、硝子体／脈絡膜部に対する高画質化処理、又は画像全体に対する高画質化処理を選択する。
ステップＳ１７０４において、網膜部に対する高画質化処理が選択されると、処理はステップＳ１７０５に移行する。ステップＳ１７０５では、高画質化部１６２２が、オリジナルの断層画像について、上述したような網膜部の領域が観察しやすくなるような階調変換処理を行い、高画質な断層画像を生成する。
ステップＳ１７０４において、硝子体／脈絡膜に対する高画質化処理が選択されると、処理はステップＳ１７０６に移行する。ステップＳ１７０４では、高画質化部１６２２が、オリジナルの断層画像について、上述したような硝子体部及び脈絡膜部の領域が観察しやすくなるような階調変換処理を行い、高画質な断層画像を生成する。
ステップＳ１７０４において、画像全体に対する高画質化処理が選択されると、処理はステップＳ１７０７に移行する。ステップＳ１７０７では、高画質化部１６２２が、オリジナルの断層画像について、学習済モデルを用いて、網膜部、硝子体部及び脈絡膜部が観察しやすい高画質な断層画像を生成する。なお、本実施例に係る学習済モデルは実施例１に係る学習済モデルと同様であるため、学習済モデル及び学習データに関する説明を省略する。
ステップＳ１７０８では、表示制御部３５０が、ステップＳ１７０５、ステップＳ１７０６、又はステップＳ１７０７で生成された高画質な断層画像を表示部５０に表示させる。表示制御部３５０による表示処理が終了すると、一連の画像処理が終了する。
ここで、図１８（ａ）乃至（ｃ）を参照して、本実施例に係る操作方法について説明する。図１８（ａ）乃至（ｃ）は、注目すべき領域の選択肢と選択された領域に応じた高画質化処理が施された断層画像を含む表示画面の一例を示す。
図１８（ａ）は、注目すべき領域として網膜部の領域が選択された場合の表示画面１８００を示している。表示画面１８００には、選択肢１８０１及び網膜部の領域が観察しやすくなるように階調変換処理がなされた断層画像１８０２が表示されている。
操作者が注目したい領域として網膜部の領域を所望している場合には、操作者が入力部４０を介して、選択肢１８０１において、網膜、硝子体／脈絡膜、及び全体の３つの選択肢から、網膜を選択する。選択部１６２３は、操作者からの指示に応じて網膜部の領域に対する高画質化処理を選択し、高画質化部１６２２が断層画像について選択された高画質化処理を適用し、網膜部が観察しやすい断層画像１８０２を生成する。表示制御部３５０は、生成された網膜部が観察しやすい断層画像１８０２を表示画面１８００に表示する。
図１８（ｂ）は、注目すべき領域として硝子体部及び脈絡膜部の領域が選択された場合の表示画面１８１０を示している。表示画面１８１０には、選択肢１８１１及び硝子体部及び脈絡膜部の領域が観察しやすくなるように階調変換処理がなされた断層画像１８１２が表示されている。
操作者が注目したい領域として硝子体部及び脈絡膜部の領域を所望している場合には、操作者が入力部４０を介して、選択肢１８０１において、網膜、硝子体／脈絡膜、及び全体の３つの選択肢から、硝子体／脈絡膜を選択する。選択部１６２３は、操作者からの指示に応じて硝子体部及び脈絡膜部の領域に対する高画質化処理を選択し、高画質化部１６２２が断層画像について選択された高画質化処理を適用し、高画質な硝子体部及び脈絡膜部が観察しやすい断層画像１８１２を生成する。表示制御部３５０は、生成された硝子体部及び脈絡膜部が観察しやすい断層画像１８１２を表示画面１８１０に表示する。
図１８（ｃ）は、注目すべき領域として全体の領域が選択された場合の表示画面１８２０を示している。表示画面１８２０には、選択肢１８２１及び全体の領域が観察しやすくなるように階調変換処理がなされたような断層画像１８２２が表示されている。
操作者が注目したい領域として全体の領域を所望している場合には、操作者が入力部４０を介して、選択肢１８２１において、網膜、硝子体／脈絡膜、及び全体の３つの選択肢から、全体を選択する。選択部１６２３は、操作者からの指示に応じて画像全体に対する高画質化処理を選択し、高画質化部１６２２が断層画像について選択された高画質化処理を適用し、高画質な断層画像を生成する。この場合には、高画質化部１６２２は、学習済モデルを用いて画像全体が観察しやすい高画質な断層画像を生成する。表示制御部３５０は、生成された全体の領域が観察しやすい断層画像１８２２を表示画面１８２０に表示する。
上記のように、本実施例に係る制御部１６００は、操作者からの指示に応じて、取得部３１０で取得された第１の断層画像について適用する画像処理を選択する選択部１６２３を備える。高画質化部１６２２は、選択部１６２３によって選択された画像処理に基づいて、第１の断層画像について学習済モデルを用いずに階調変換処理を行い第３の断層画像（第３の医用画像）を生成する、又は、学習済モデルを用いて第１の断層画像から第２の断層画像を生成する。
このような構成によれば、制御部１６００は、操作者が注目したい領域に応じて、異なる画像処理が施された断層画像を観察することができる。特に、上述のように、学習済モデルを用いた高画質化処理では現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりする場合がある。このため、異なる画像処理が施された断層画像を対比して観察することで、誤診断を防止することができる。
また、上述のような、網膜部の領域について観察しやすくなるような階調変換処理や硝子体部及び脈絡膜部の領域について観察しやすくなるような階調変換処理は、セグメンテーション処理を前提としない。そのため、疾病眼においても適切な高画質化処理が期待できる。
本実施例では、ステップＳ１７０３において注目したい領域に関する操作者の指示を取得した後に、指示に応じた画像処理を行う例を説明した。しかしながら、操作者からの指示の取得と画像処理の順序はこれに限られない。あらかじめ、高画質化部１６２２によりオリジナルの断層画像について全ての選択肢の画像処理を行い、それぞれの高画質な断層画像を生成しておき、操作者の指示に応じて、表示する高画質な断層画像の切り替えのみを行ってもよい。この場合には、選択部１６２３は、表示すべき高画質な断層画像を選択する選択部として機能することができる。
また、予め設定された画像処理（デフォルトの画像処理）をオリジナルの断層画像に適用して高画質な断層画像を生成し、当該高画質な断層画像を表示した後に、操作者からの指示を取得してもよい。この場合には、デフォルトの画像処理以外の画像処理について操作者から指示を取得したら、当該指示に応じた画像処理を施した新たな高画質画像を表示することができる。
なお、硝子体部の領域及び脈絡膜部の領域で同じ画像処理を行う例で説明したが、硝子体部の領域と脈絡膜部の領域について別々の画像処理を行ってもよい。
また、画像処理は網膜部の領域に対する高画質化処理、硝子体部及び脈絡膜部の領域に対する高画質化処理、及び学習済モデルを用いた高画質化処理に限られない。例えば、上述したような、セグメンテーション処理を前提とした網膜部、硝子体部、及び脈絡膜部の領域について観察しやすくなるような階調変換処理を、画像処理の選択肢に含んでもよい。この場合には、セグメンテーション処理を前提とした画像処理により生成した高画質な断層画像と、学習済モデルを用いた画像処理により生成した高画質な断層画像等を対比して観察することができる。そのため、操作者は、セグメンテーション処理による誤検出や学習済モデルを用いて生成した断層画像における組織の真偽等を容易に判断することができる。
（実施例３）
実施例１では、学習済モデルを用いて高画質化処理を施した画像を表示した。これに対し、実施例３に係るＯＣＴ装置では、生成された高画質な断層画像における互いに異なる複数の領域のそれぞれに対して異なる解析条件を適用して画像解析を行い、画像結果を表示する。
以下、図１９及び２０を参照して、本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係る制御部以外の構成は、実施例１に係るＯＣＴ装置１と同様であるため、同じ参照符号を用いて説明を省略する。以下、本実施例に係るＯＣＴ装置について、実施例１に係るＯＣＴ装置との違いを中心として説明する。
図１９は、本実施例に係る制御部１９００の概略的な構成例を示す。なお、制御部１９００において、画像処理部１９２０の解析部１９２４以外の構成は、実施例１に係る制御部３０の構成と同様であるため、同じ参照符号を用いて説明を省略する。
画像処理部１９２０には、断層画像生成部３２１及び高画質化部３２２に加えて、解析部１９２４が設けられている。解析部１９２４は、高画質化部３２２によって生成された高画質な断層画像について、領域毎に設定された解析条件に基づいて、画像解析を行う。ここで、領域毎に設定される解析条件としては、例えば、網膜部の領域や脈絡膜部の領域では、層抽出や血管抽出、硝子体部の領域では硝子体や硝子体の剥離の検出が設定される。なお、解析条件は、あらかじめ設定されていてもよいし、操作者によって適宜設定されてもよい。
解析部１９２４は、解析条件として層抽出が設定されている場合には、当該解析条件が設定されている領域について層抽出を行い、抽出された層について層厚値計測等を行うことができる。また、解析部１９２４は、解析条件として血管抽出が設定されている場合には、当該解析条件が設定されている領域について血管抽出を行い、抽出された血管について血管密度計測等を行うことができる。さらに、解析部１９２４は、解析条件として硝子体や硝子体の剥離の検出が設定されている場合には、当該解析条件が設定されている領域について硝子体や硝子体の剥離の検出を行う。その後、解析部１９２４は、検出された硝子体や硝子体の剥離について定量化を行い硝子体や硝子体の剥離の厚みや、幅、面積、体積等を求めることができる。
なお、解析条件はこれらに限られず、所望の構成に応じて任意に設定されてよい。例えば、硝子体部の領域について硝子体の線維構造の検出が設定されてもよい。この場合には、解析部１９２４は、検出した硝子体の線維構造の定量化を行い、線維構造の厚みや、幅、面積、体積等を求めることができる。また、解析条件に従った解析処理も、上記処理に限られず所望の構成に応じて任意に設定されてよい。
表示制御部３５０は、解析部１９２４によって行われた画像解析の結果を、高画質な断層画像とともに又は高画質な断層画像とは別に表示部５０に表示させる。
次に、図２０を参照して本実施例に係る一連の画像処理について説明する。図２０は、本実施例に係る一連の画像処理のフローチャートである。なお、ステップＳ２００１乃至ステップＳ２００３は実施例１に係るステップＳ１１０１乃至Ｓ１１０３と同様であるため説明を省略する。
ステップＳ２００３において、ステップＳ１１０３と同様に高画質化部３２２が高画質な断層画像を生成したら、処理はステップＳ２００４に移行する。ステップＳ２００４では、解析部１９２４が、生成された高画質な断層画像についてセグメンテーション処理を行い、断層画像における異なる複数の領域を検出する。解析部１９２４は、複数の領域として、例えば、硝子体部の領域、網膜部の領域、及び脈絡膜部の領域等を検出することができる。なお、セグメンテーション処理の方法は既知の任意の方法を用いることができ、例えば、セグメンテーション処理は、ルールベースのセグメンテーション処理であってよい。ここで、ルールベースの処理とは既知の規則性、例えば網膜の形状の規則性等の既知の規則性を利用した処理をいう。
その後、解析部１９２４は、検出した各領域について設定された解析条件に基づいて、各領域について画像解析を行う。例えば、解析部１９２４は、解析条件に従って、当該解析条件が設定されている領域について、層抽出や血管抽出を行い、層厚や血管密度を算出する。なお、層抽出や血管抽出については、既知の任意のセグメンテーション処理等によって行われてよい。また、解析部１９２４は、解析条件に従って、硝子体や硝子体の剥離、硝子体の線維構造を検出し、これらの定量化を行ってもよい。なお、解析部１９２４は、硝子体や硝子体の剥離、硝子体の線維構造を検出に際しては、更なるコントラスト強調や２値化、モルフォロジー処理、境界線追跡処理等を行うことができる。
ステップＳ２００５では、表示制御部３５０が、解析部１９２４によって解析されたそれぞれの解析結果（例えば、層厚や血管密度、硝子体の面積等）を、高画質化部３２２が生成した高画質な断層画像とともに表示部５０に表示させる。なお、解析結果の表示の態様は所望の構成に応じて任意の態様で行われてよい。例えば、表示制御部３５０は、高画質な断層画像の各領域と対応付けて、各領域の解析結果を表示してよい。また、表示制御部３５０は、高画質な断層画像とは別に解析結果を表示部５０に表示させてもよい。表示制御部３５０による表示処理が終了すると、一連の画像処理が終了する。
このように、本実施例に係る制御部１９００は、高画質化部３２２が生成した高画質な断層画像（第２の断層画像）における互いに異なる領域のそれぞれについて、異なる解析条件を適用し、画像解析を行う解析部１９２４を備える。表示制御部３５０は、解析部１９２４による高画質な断層画像における互いに異なる複数の領域それぞれに対する解析結果を表示部５０に表示させる。
当該構成によれば、解析部１９２４は、高画質化部３２２によって生成された高画質な断層画像について画像解析を行うため、画像内の特徴等をより適切に検出し、より精度の高い画像解析を行うことができる。また、解析部１９２４は、領域毎に適切な画像処理が行われたような高画質な断層画像について、領域毎に設定された解析条件に従って画像解析を行うことで、各領域について適切な解析結果を出力することができる。このため、操作者は、被検眼についての適切な解析結果を迅速に取得することができる。
本実施例では、解析部１９２４は自動的に高画質な断層画像について、各領域についての解析条件に従った画像解析を行った。これに対し、解析部１９２４は、操作者の指示に応じて、高画質な断層画像に対する画像処理を開始してもよい。
また、本実施例に係る解析部１９２４は、実施例２に係る制御部１６００に適用されてもよい。この場合、解析部１９２４は、ステップＳ１７０５～ステップＳ１７０７で生成された断層画像について、上述した画像解析を行ってもよいし、ステップＳ１７０４で選択された観察したい領域についての画像処理のみを行ってもよい。なお、解析部１９２４は、高画質化に際してセグメンテーション処理が行われる場合には、当該セグメンテーション処理の結果を用いて、高画質な断層画像について上述の画像解析を行うことができる。
さらに、本実施例では、解析部１９２４が、高画質化部３２２によって生成された高画質な断層画像についてセグメンテーション処理を行い、互いに異なる領域を検出した。これに対して、例えば、実施例１の変形例３に係る制御部に解析部１９２４を適用する場合には、解析部１９２４は第１の学習済モデルを用いて得たラベル画像に基づいて、高画質な断層画像における異なる複数の領域を把握してもよい。
（変形例５）
また、画像処理部３２０，１６２０，１９２０は、断層画像について、セグメンテーション用の学習済モデルを用いてラベル画像を生成し、セグメンテーション処理を行ってもよい。ここでラベル画像とは、上述のように、断層画像について画素毎に領域のラベルが付されたラベル画像をいう。具体的には、画像に描出されている領域群のうち、任意の領域を特定可能な画素値（以下、ラベル値）群によって分けている画像のことである。ここで、特定される任意の領域には関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）や関心体積（ＶＯＩ：Ｖｏｌｕｍｅ Ｏｆ Ｉｎｔｅｒｅｓｔ）等が含まれる。
画像から任意のラベル値を持つ画素の座標群を特定すると、画像中において対応する網膜層等の領域を描出している画素の座標群を特定できる。具体的には、例えば、網膜を構成する神経節細胞層を示すラベル値が１である場合、画像の画素群のうち画素値が１である座標群を特定し、画像から該座標群に対応する画素群を抽出する。これにより、当該画像における神経節細胞層の領域を特定できる。
なお、セグメンテーション処理には、ラベル画像に対する縮小又は拡大処理を実施する処理が含まれてもよい。このとき、ラベル画像の縮小又は拡大に用いる画像補完処理手法は、未定義のラベル値や対応する座標に存在しないはずのラベル値を誤って生成しないような、最近傍法等を使うものとする。
ここで、セグメンテーション処理についてより詳細に説明する。セグメンテーション処理とは、画像に描出された臓器や病変といった、ＲＯＩやＶＯＩと呼ばれる領域を、画像診断や画像解析に利用するために特定する処理のことである。例えば、セグメンテーション処理によれば、後眼部を撮影対象としたＯＣＴの撮影によって取得された画像から、網膜を構成する層群の領域群を特定することができる。なお、画像に特定すべき領域が描出されていなければ特定される領域の数は０である。また、画像に特定すべき複数の領域群が描出されていれば、特定される領域の数は複数であってもよいし、又は、該領域群を含むように囲む領域１つであってもよい。
特定された領域群は、その他の処理において利用可能な情報として出力される。具体的には、例えば、特定された領域群のそれぞれを構成する画素群の座標群を数値データ群として出力することができる。また、例えば、特定された領域群のそれぞれを含む矩形領域や楕円領域、長方体領域、楕円体領域等を示す座標群を数値データ群として出力することもできる。さらに、例えば、特定された領域群の境界にあたる直線や曲線、平面、又は曲面等を示す座標群を数値データ群として出力することもできる。また、例えば、特定された領域群を示すラベル画像を出力することもできる。
ここで、セグメンテーション用の機械学習モデルとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を用いることができる。なお、本変形例に係る機械学習モデルとしては、例えば、図１０で示したようなＣＮＮ（Ｕ－ｎｅｔ型の機械学習モデル）や、ＣＮＮとＬＳＴＭ（Ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を組み合わせたモデルを用いることができる。また、機械学習モデルとしてＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。さらに、所望の構成に応じて、領域単位で物体認識を行う機械学習モデル等を用いることができる。領域単位で物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。なお、ここで例示した機械学習モデルについては、変形例３で述べた第１の学習済モデルに適用されてもよい。
また、セグメンテーション用の機械学習モデルの学習データは、断層画像を入力データとし、当該断層画像について画素毎に領域のラベルが付されたラベル画像を出力データとする。ラベル画像としては、例えば、内境界膜（ＩＬＭ）、神経線維層（ＮＦＬ）、神経節細胞層（ＧＣＬ）、視細胞内節外節接合部（ＩＳＯＳ）、網膜色素上皮層（ＲＰＥ）、ブルッフ膜（ＢＭ）、及び脈絡膜等のラベルが付されたラベル画像を用いることができる。なお、その他の領域として、例えば、硝子体、強膜、外網状層（ＯＰＬ）、外顆粒層（ＯＮＬ）、内網状層（ＩＰＬ）、内顆粒層（ＩＮＬ）、角膜、前房、虹彩、及び水晶体等のラベルが付された画像を用いてもよい。なお、ここで例示したラベル画像については、変形例３で述べた第１の学習済モデルに関する学習データの出力データとして用いられてもよい。
また、セグメンテーション用の機械学習モデルの入力データは断層画像に限られない。前眼部画像、ＳＬＯ眼底画像、眼底カメラ等を用いて得られた眼底正面画像、又は後述するＥｎ－Ｆａｃｅ画像やＯＣＴＡ正面画像等であってもよい。この場合、学習データは、各種画像を入力データとし、各種画像の画素毎に領域名等がラベル付けされたラベル画像を出力データとすることができる。例えば、学習データの入力データが眼底正面画像である場合には、出力データは、視神経乳頭の周辺部、Ｄｉｓｃ、及びＣｕｐ等のラベルが付された画像であってよい。なお、入力データは高画質化された画像であってもよいし、高画質化されていない画像であってもよい。
なお、出力データとして用いられるラベル画像は、医師等により断層画像において各領域にラベルが付された画像であってもよいし、ルールベースの領域検出処理により各領域にラベルが付された画像であってもよい。ただし、適切にラベル付けが行われていないラベル画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルを用いて得た画像も適切にラベル付けが行われていないラベル画像となってしまう可能性がある。そのため、そのようなラベル画像を含むペアを学習データから取り除くことで、学習済モデルを用いて適切でないラベル画像が生成される可能性を低減させることができる。ここで、ルールベースの領域検出処理とは、例えば網膜の形状の規則性等の既知の規則性を利用した検出処理をいう。
画像処理部３２０，１６２０，１９２０は、このようなセグメンテーション用の学習済モデルを用いて、セグメンテーション処理を行うことで、各種画像について特定の領域を高速に精度良く検出することが期待できる。なお、セグメンテーション用の学習済モデルは、変形例３で述べた第１の学習済モデルとして用いられてもよい。また、実施例３においては、解析部１９２４が、本変形例に係る学習済モデルを用いてセグメンテーション処理を行ってもよい。
なお、セグメンテーション用の学習済モデルは、入力データである各種画像の種類毎に用意されてもよい。さらに、セグメンテーション用の学習済モデルは、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよいし、撮影部位を関わらず学習を行ったものであってもよい。
また、Ｅｎ－Ｆａｃｅ画像やＯＣＴＡ正面画像を生成する際に、後述のように深度範囲が設定・指定される。このため、Ｅｎ－Ｆａｃｅ画像やＯＣＴＡ正面画像については、画像を生成するための深度範囲毎に学習済モデルが用意されてもよい。
なお、画像処理部３２０，１６２０，１９２０は、高画質化部３２２，１６２２が高画質化処理を行う前後の画像の少なくとも一方に対して、ルールベースのセグメンテーション処理又は学習済モデルを用いたセグメンテーション処理を行うことができる。これにより、画像処理部３２０は、当該少なくとも一方の画像における異なる領域を特定することができる。特に、画像処理部３２０，１６２０，１９２０は、高画質画像（第２の医用画像）を生成するための学習済モデルとは異なるセグメンテーション用の学習済モデル（第３の学習済モデル）を用いて、セグメンテーション処理を行う。これにより、当該少なくとも一方の画像における異なる領域を高速に精度良く特定することが期待できる。
（変形例６）
上述した実施例及び変形例に係る高画質化部３２２，１６２２によって学習済モデルを用いて得られた高画質画像は、操作者からの指示に応じて手動で修正されてもよい。例えば、高画質化モデルは、検者の指示に応じて、指定された領域の画像処理が変更された高画質画像を学習データとする追加学習により更新されてもよい。この場合、例えば、高画質化モデルを用いて生成した高画質画像において、硝子体部や脈絡膜部に対する階調変換処理がなされている領域について、網膜部に対する階調変換処理がなされるように修正した画像を追加学習用の学習データとすることができる。逆に、高画質化モデルを用いて生成した高画質画像において、網膜部に対する階調変換処理がなされている領域について、硝子体部や脈絡膜部に対する階調変換処理がなされるように修正した画像を追加学習用の学習データとすることができる。
また、高画質化モデルは、検者からの指示に応じて設定（変更）された割合の値を学習データとする追加学習により更新されてもよい。例えば、入力画像が比較的暗いときに、高画質画像に対する入力画像の割合を検者が高く設定する傾向にあれば、学習済モデルはそのような傾向となるように追加学習することになる。これにより、例えば、検者の好みに合った合成の割合を得ることができる学習済モデルとしてカスタマイズすることができる。
このとき、設定（変更）された割合の値を追加学習の学習データとして用いるか否かを、検者からの指示に応じて決定するためのボタンが表示画面に表示されていてもよい。これにより、制御部３０，１６００，１９００は、操作者の指示に応じて、追加学習の要否を決定することができる。また、学習済モデルを用いて決定された割合をデフォルトの値とし、その後、検者からの指示に応じて割合の値をデフォルトの値から変更可能となるように構成されてもよい。
なお、後述するように、学習済モデルはサーバ等の装置に設けられることもできる。この場合には、制御部３０，１６００，１９００は、追加学習を行うとする操作者の指示に応じて、入力された画像と上述の修正が行われた高画質画像を学習データのペアとして、当該サーバ等に送信・保存することができる。言い換えると、制御部３０，１６００，１９００は、操作者の指示に応じて、学習済モデルを備えるサーバ等の装置に追加学習の学習データを送信するか否かを決定することができる。
なお、上述の実施例や他の変形例で説明した各種学習済モデルについても、同様に操作者の指示に応じて手動で修正されたデータを学習データとして追加学習が行われてもよい。また、追加学習の要否の判断やサーバにデータを送信するか否かの判断も同様の方法で行われてよい。これらの場合にも、各処理の精度を向上させたり、検者の好みの傾向に応じた処理を行えたりすることが期待できる。
例えば、セグメンテーション用の学習済モデルについて、操作者の指示に応じて手動で修正されたデータを学習データとして追加学習が行われてもよい。また、追加学習の要否の判断やサーバにデータを送信するか否かの判断は、上述の方法と同様の方法で行われてよい。これらの場合にも、セグメンテーション処理の精度を向上させたり、検者の好みの傾向に応じた処理を行えたりすることが期待できる。
（変形例７）
上述した各実施例及び変形例において、画像処理部３２０，１６２０，１９２０は、三次元断層画像を用いて被検眼のＥｎ－Ｆａｃｅ画像やＯＣＴＡ正面画像を生成することもできる。この場合、表示制御部３５０は、生成されたＥｎ－Ｆａｃｅ画像やＯＣＴＡ画像を表示部５０に表示させることができる。また、解析部１９２４は、生成されたＥｎ－Ｆａｃｅ画像やＯＣＴＡ画像について解析を行うこともできる。
ここで、Ｅｎ－Ｆａｃｅ画像及びＯＣＴＡ正面画像について説明する。Ｅｎ－Ｆａｃｅ画像は、光干渉を用いて得た三次元断層画像における任意の深度範囲のデータをＸＹ方向に投影して生成した正面画像である。正面画像は、光干渉を用いて得たボリュームデータ（三次元断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影又は積算して生成される。
例えばＥｎ－Ｆａｃｅ画像は、ボリュームデータのうちの、二次元の断層画像についてのセグメンテーション処理により検出された網膜層に基づいて決定された深度範囲に対応するデータを二次元平面に投影して生成されることができる。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲（深度範囲）内における画素値の平均値、中央値又は最大値などの値を含むことができる。
Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、上述したルールベースのセグメンテーション処理の手法や変形例５で述べた学習済モデルを用いたセグメンテーション処理によって検出された網膜層に関する２つの層境界を基準として指定されてよい。また、当該深度範囲は、これらセグメンテーション処理によって検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。この際、操作者は、例えば、高画質化部３２２，１６２２によって高画質化された断層画像又は高画質化されていない断層画像上に重畳された、深度範囲の上限又は下限を示す指標を移動させる等により、深度範囲を変更することができる。
なお、生成される正面画像は、上述のような輝度値に基づくＥｎ－Ｆａｃｅ画像（輝度のＥｎ－Ｆａｃｅ画像）に限られない。生成される正面画像は、例えば、複数のボリュームデータ間のモーションコントラストデータについて、上述の深度範囲に対応するデータを二次元平面に投影又は積算して生成したモーションコントラスト正面画像であってもよい。ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。
また、ＯＣＴＡ正面画像を生成する際に用いられる三次元のＯＣＴＡデータ（ＯＣＴボリュームデータ）は、画像セグメンテーションに用いられる断層画像を含むボリュームデータと共通の干渉信号の少なくとも一部を用いて生成されてもよい。この場合には、ボリュームデータ（三次元の断層画像）と三次元のＯＣＴＡデータとが互いに対応することができる。そのため、ボリュームデータに対応する三次元のモーションコントラストデータを用いて、例えば、画像セグメンテーションにより検出された網膜層に基づいて決定された深度範囲に対応するモーションコントラスト正面画像が生成されることができる。
なお、Ｅｎ－Ｆａｃｅ画像又はＯＣＴＡ正面画像を生成する際に用いられるボリュームデータは、高画質化部３２２，１６２２によって高画質化された断層画像で構成されてもよい。言い換えると、画像処理部３２０，１６２０，１９２０は、高画質化した、異なる複数の位置で得た複数の断層画像からなるボリュームデータを用いて、Ｅｎ－Ｆａｃｅ画像又はＯＣＴＡ正面画像を生成してもよい。言い換えると、高画質化部３２２，１６２２によって高画質化処理を行う前後の画像が３次元のＯＣＴ断層画像である場合、画像処理部３２０，１６２０，１９２０は、高画質化処理後の画像の一部の深度範囲に対応する正面画像を生成することができる。これにより、画像処理部３２０，１６２０，１９２０は、高画質な３次元の断層画像に基づいて、高画質な正面画像を生成することができる。
（変形例８）
次に、図２１（ａ）乃至２３を参照して、変形例８に係る画像処理装置について説明する。上述の実施例及び変形例では、高画質化部３２２，１６２２は、高画質化用の学習済モデル（高画質化モデル）を用いて、断層画像について高画質化処理を行った。これに対し、高画質化部３２２，１６２２は、他の画像について高画質化モデルを用いて高画質化処理を行ってもよく、表示制御部３５０は、高画質化された各種画像を表示部５０に表示させてもよい。例えば、高画質化部３２２，１６２２は、輝度のＥｎ－Ｆａｃｅ画像やＯＣＴＡ正面画像等を高画質化処理してもよい。また、表示制御部３５０は、高画質化部３２２，１６２２によって高画質化処理された断層画像、輝度のＥｎ－Ｆａｃｅ画像、及びＯＣＴＡ正面画像の少なくとも１つを表示部５０に表示させることができる。なお、高画質化し表示する画像は、ＳＬＯ眼底画像や、不図示の眼底カメラ等で取得された眼底画像、蛍光眼底画像等であってもよい。
ここで、各種画像を高画質化処理するための高画質化モデルの学習データは、各種画像について、上述の実施例及び変形例に係る高画質化モデルの学習データと同様に、高画質化処理前の画像を入力データとし、高画質化処理後の画像を出力データとする。なお、学習データに関する高画質化処理については、上述の実施例及び変形例と同様に、例えば、加算平均処理や、平滑化フィルタを用いた処理、最大事後確率推定処理（ＭＡＰ推定処理）、階調変換処理等であってよい。また、高画質化処理後の画像としては、例えば、ノイズ除去とエッジ強調などのフィルタ処理を行った画像でもよいし、低輝度な画像から高輝度な画像とするようなコントラストが調整された画像を用いてもよい。さらに、高画質化モデルに係る教師データの出力データは、高画質な画像であればよいため、入力データである画像を撮影した際のＯＣＴ装置よりも高性能なＯＣＴ装置を用いて撮影された画像や、高負荷な設定により撮影された画像であってもよい。
また、高画質化モデルは、高画質化処理を行う画像の種類毎に用意されてもよい。例えば、断層画像用の高画質化モデルや輝度のＥｎ－Ｆａｃｅ画像用の高画質化モデル、ＯＣＴＡ正面画像用の高画質化モデルが用意されてよい。さらに、輝度のＥｎ－Ｆａｃｅ画像用の高画質化モデルやＯＣＴＡ正面画像用の高画質化モデルは、画像の生成に係る深度範囲（生成範囲）について異なる深度範囲の画像を網羅的に学習した学習済モデルであってよい。異なる深度範囲の画像としては、例えば、図２１（ａ）に示すように、表層（Ｉｍ２１１０）、深層（Ｉｍ２１２０）、外層（Ｉｍ２１３０）、及び脈絡膜血管網（Ｉｍ１９４０）などの画像が含まれてよい。また、輝度のＥｎ－Ｆａｃｅ画像用の高画質化モデルやＯＣＴＡ正面画像用の高画質化モデルは、異なる深度範囲毎の画像を学習した複数の高画質化モデルが用意されてもよい。なお、断層画像以外の画像について高画質化処理を行う高画質化モデルは、領域毎に異なる画像処理を行う高画質化モデルに限られず、画像全体に対して同一の画像処理を行う高画質化モデルであってもよい。
また、断層画像用の高画質化モデルを用意する場合には、異なる副走査方向（Ｙ軸方向）の位置で得られた断層画像を網羅的に学習した学習済モデルであってよい。図２１（ｂ）に示す断層画像Ｉｍ２１５１～Ｉｍ２１５３は、異なる副走査方向の位置で得られた断層画像の例である。ただし、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）が異なる場所を撮影した画像の場合には、撮影部位毎に別々に学習をするようにしてもよいし、撮影部位を気にせずに一緒に学習をするようにしてもよい。なお、高画質化する断層画像としては、輝度の断層画像と、モーションコントラストデータの断層画像とが含まれてよい。ただし、輝度の断層画像とモーションコントラストデータの断層画像においては画像特徴量が大きく異なるため、それぞれの高画質化モデルとして別々に学習を行ってもよい。
本変形例では、高画質化部３２２，１６２２が高画質化処理を行った画像を表示制御部３５０が表示部５０に表示を行う例について説明を行う。なお、本変形例では、図２２（ａ）及び（ｂ）を用いて説明を行うが表示画面はこれに限らない。経過観察のように、異なる日時で得た複数の画像を並べて表示する表示画面においても同様に高画質化処理（画質向上処理）は適用可能である。また、撮影確認画面のように、検者が撮影直後に撮影成否を確認する表示画面においても同様に高画質化処理は適用可能である。表示制御部３５０は、高画質化部３２２，１６２２が生成した複数の高画質画像や高画質化を行っていない低画質画像を表示部５０に表示させることができる。また、表示制御部３５０は、表示部５０に表示された複数の高画質画像や高画質化を行っていない低画質画像について、検者の指示に応じて選択された低画質画像及び高画質画像をそれぞれ表示部５０に表示させることができる。また、画像処理装置は、当該検者の指示に応じて選択された低画質画像及び高画質画像を外部に出力することもできる。
以下、図２２（ａ）及び（ｂ）を参照して、本変形例に係るインターフェースの表示画面２２００の一例を示す。表示画面２２００は画面全体を示し、表示画面２２００には、患者タブ２２０１、撮影タブ２２０２、レポートタブ２２０３、設定タブ２２０４が示されている。また、レポートタブ２２０３における斜線は、レポート画面のアクティブ状態を表している。本変形例においては、レポート画面を表示する例について説明する。
図２２（ａ）に示されるレポート画面には、ＳＬＯ眼底画像Ｉｍ２２０５、ＯＣＴＡ正面画像Ｉｍ２２０７，Ｉｍ２２０８、輝度のＥｎ－Ｆａｃｅ画像Ｉｍ２２０９、断層画像Ｉｍ２２１１，Ｉｍ２２１２、及びボタン２２２０が示されている。また、ＳＬＯ眼底画像Ｉｍ２２０５には、ＯＣＴＡ正面画像Ｉｍ２２０７に対応するＯＣＴＡ正面画像Ｉｍ２２０６が重畳表示されている。さらに、断層画像Ｉｍ２２１１，Ｉｍ２２１２には、それぞれＯＣＴＡ正面画像Ｉｍ２２０７，Ｉｍ２２０８の深度範囲の境界線２２１３，２２１４が重畳表示されている。ボタン２２２０は、高画質化処理の実行を指定するためのボタンである。ボタン２２２０は、後述するように、高画質画像の表示を指示するためのボタンであってもよい。
本変形例において、高画質化処理の実行はボタン２２２０を指定して行うか、データベースに保存（記憶）されている情報に基づいて実行の有無を判断する。初めに、検者からの指示に応じてボタン２２２０を指定することで高画質画像の表示と低画質画像の表示を切り替える例について説明する。なお、以下、高画質化処理の対象画像はＯＣＴＡ正面画像として説明する。
なお、ＯＣＴＡ正面画像Ｉｍ２２０７，Ｉｍ２２０８の深度範囲は、上述した従来のセグメンテーション処理又は学習済モデル用いたセグメンテーション処理により検出された網膜層の情報を用いて定められてよい。深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲としてもよいし、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。
検者がレポートタブ２２０３を指定してレポート画面に遷移した際には、表示制御部３５０は、低画質なＯＣＴＡ正面画像Ｉｍ２２０７，Ｉｍ２２０８を表示する。その後、検者がボタン２２２０を指定することで、高画質化部３２２，１６２２は画面に表示されているＯＣＴＡ正面画像Ｉｍ２２０７，Ｉｍ２２０８に対して高画質化処理を実行する。高画質化処理が完了後、表示制御部３５０は、高画質化部３２２，１６２２が生成した高画質画像をレポート画面に表示する。なお、ＯＣＴＡ正面画像Ｉｍ２２０６は、ＯＣＴＡ正面画像Ｉｍ２２０７をＳＬＯ眼底画像Ｉｍ２２０５に重畳表示しているものであるため、表示制御部３５０は、ＯＣＴＡ正面Ｉｍ２２０６についても高画質化処理した画像を表示させることができる。また、表示制御部３５０は、ボタン２２２０の表示をアクティブ状態に変更し、高画質化処理を実行したことが分かるような表示とすることができる。
ここで、高画質化部３２２，１６２２における処理の実行は、検者がボタン２２２０を指定したタイミングに限る必要はない。レポート画面を開く際に表示するＯＣＴＡ正面画像Ｉｍ２２０７，Ｉｍ２２０８の種類は事前に分かっているため、高画質化部３２２，１６２２は、表示される画面がレポート画面に遷移する際に高画質化処理の実行をしてもよい。そして、ボタン２２２０が押下されたタイミングで、表示制御部３５０が高画質画像をレポート画面に表示するようにしてもよい。さらに、検者からの指示に応じて、又はレポート画面に遷移する際に高画質化処理を行う画像の種類は２種類である必要はない。表示する可能性の高い画像、例えば、図２１（ａ）で示すような表層（Ｉｍ２１１０）、深層（Ｉｍ２１２０）、外層（Ｉｍ２１３０）、及び脈絡膜血管網（Ｉｍ２１４０）などの複数のＯＣＴＡ正面画像に対して処理を行うようにしてもよい。この場合、高画質化処理を行った画像を一時的にメモリに記憶、あるいはデータベースに記憶しておくようにしてもよい。
次に、データベースに保存（記録）されている情報に基づいて高画質化処理を実行する場合について説明する。データベースに高画質化処理の実行を行う状態が保存されている場合、レポート画面に遷移した際に、高画質化部３２２，１６２２が高画質化処理を実行して得た高画質画像を表示制御部３５０がデフォルトで表示部５０に表示させる。そして、表示制御部３５０が、ボタン２２２０をアクティブ状態としてデフォルトで表示させることで、検者に対しては高画質化処理を実行して得た高画質画像が表示されていることが分かるように構成することができる。検者は、高画質化処理前の低画質画像を表示したい場合には、ボタン２２２０を指定してアクティブ状態を解除することで、表示制御部３５０が低画質画像を表示部５０に表示させることができる。この際、検者は、表示される画像を高画質画像に戻したい場合には、ボタン２２２０を指定してアクティブ状態とすることで、表示制御部３５０が高画質画像を表示部５０に再び表示させる。
データベースへの高画質化処理の実行有無は、データベースに保存されているデータ全体に対して共通、及び撮影データ毎（検査毎）など、階層別に指定するものとする。例えば、データベース全体に対して高画質化処理を実行する状態を保存してある場合において、個別の撮影データ（個別の検査）に対して、検者が高画質化処理を実行しない状態を保存することができる。この場合、高画質化処理を実行しないとした状態が保存された個別の撮影データについては次回表示する際に高画質化処理を実行しない状態で表示を行うことができる。このような構成によれば、撮影データ単位（検査単位）で高画質化処理の実行の有無が指定されていない場合、データベース全体に対して指定されている情報に基づいて処理を実行することができる。また、撮影データ単位（検査単位）で指定されている場合には、その情報に基づいて個別に処理を実行することができる。
なお、撮影データ毎（検査毎）に高画質化処理の実行状態を保存するために、不図示のユーザーインターフェース（例えば、保存ボタン）を用いてもよい。また、他の撮影データ（他の検査）や他の患者データに遷移（例えば、検者からの指示に応じてレポート画面以外の表示画面に変更）する際に、表示状態（例えば、ボタン２２２０の状態）に基づいて、高画質化処理の実行を行う状態が保存されるようにしてもよい。
本変形例では、ＯＣＴＡ正面画像として、ＯＣＴＡ正面画像Ｉｍ２２０７，Ｉｍ２２０８を表示する例を示しているが、表示するＯＣＴＡ正面画像は検者の指定により変更することが可能である。そのため、高画質化処理の実行が指定されている場合（ボタン２２２０がアクティブ状態）における、表示する画像の変更について説明する。
表示する画像の変更は、不図示のユーザーインターフェース（例えば、コンボボックス）を用いて行うことができる。例えば、検者が画像の種類を表層から脈絡膜血管網に変更した場合には、高画質化部３２２，１６２２は脈絡膜血管網画像に対して高画質化処理を実行し、表示制御部３５０は高画質化部３２２，１６２２が生成した高画質な画像をレポート画面に表示する。すなわち、表示制御部３５０は、検者からの指示に応じて、第１の深度範囲の高画質画像の表示を、第１の深度範囲とは少なくとも一部が異なる第２の深度範囲の高画質画像の表示に変更してもよい。このとき、表示制御部３５０は、検者からの指示に応じて第１の深度範囲が第２の深度範囲に変更されることにより、第１の深度範囲の高画質画像の表示を、第２の深度範囲の高画質画像の表示に変更してもよい。なお、上述したようにレポート画面遷移時に表示する可能性の高い画像に対しては、既に高画質画像が生成済みである場合、表示制御部３５０は生成済みの高画質な画像を表示すればよい。
また、画像の種類の変更方法は上記したものに限らず、基準となる層やオフセットの値を変えて異なる深度範囲を設定したＯＣＴＡ正面画像を生成し、生成したＯＣＴＡ正面画像に高画質化処理を実行した高画質画像を表示させることも可能である。その場合、基準となる層、又はオフセット値が変更された時に、高画質化部３２２，１６２２は任意のＯＣＴＡ正面画像に対して高画質化処理を実行し、表示制御部３５０は高画質画像をレポート画面に表示する。なお、基準となる層やオフセット値の変更は、不図示のユーザーインターフェース（例えば、コンボボックスやテキストボックス）を用いて行われることができる。また、断層画像Ｉｍ２２１１，Ｉｍ２２１２にそれぞれ重畳表示している境界線２２１３，２２１４のいずれかをドラッグ（層境界を移動）することで、ＯＣＴＡ正面画像の深度範囲（生成範囲）を変更することもできる。
境界線をドラッグによって変更する場合、高画質化処理の実行命令が連続的に実施される。そのため、高画質化部３２２，１６２２は実行命令に対して常に処理を行ってもよいし、ドラッグによる層境界の変更後に実行するようにしてもよい。又は、高画質化処理の実行は連続的に命令されるが、次の命令が来た時点で前回の命令をキャンセルし、最新の命令を実行するようにしてもよい。
なお、高画質化処理には比較的時間がかかる場合がある。このため、上述したどのようなタイミングで命令が実行されたとしても、高画質画像が表示されるまでに比較的時間がかかる場合がある。そこで、検者からの指示に応じてＯＣＴＡ正面画像を生成するための深度範囲が設定されてから、高画質画像が表示されるまでの間、該設定された深度範囲に対応する低画質なＯＣＴＡ正面画像（低画質画像）が表示されてもよい。すなわち、上記深度範囲が設定されると、該設定された深度範囲に対応する低画質なＯＣＴＡ正面画像（低画質画像）が表示され、高画質化処理が終了すると、該低画質なＯＣＴＡ正面画像の表示が高画質画像の表示に変更されるように構成されてもよい。また、上記深度範囲が設定されてから、高画質画像が表示されるまでの間、高画質化処理が実行されていることを示す情報が表示されてもよい。なお、これらの処理は、高画質化処理の実行が既に指定されている状態（ボタン２２２０がアクティブ状態）を前提とする場合に適用される構成に限られない。例えば、検者からの指示に応じて高画質化処理の実行が指示された際に、高画質画像が表示されるまでの間においても、これらの処理を適用することが可能である。
本変形例では、ＯＣＴＡ正面画像として、異なる層に関するＯＣＴＡ正面画像Ｉｍ２２０７，Ｉｍ２１０８を表示し、低画質と高画質な画像は切り替えて表示する例を示したが、表示される画像はこれに限らない。例えば、ＯＣＴＡ正面画像Ｉｍ２２０７として低画質なＯＣＴＡ正面画像、ＯＣＴＡ正面画像Ｉｍ２２０８として高画質なＯＣＴＡ正面画像を並べて表示するようにしてもよい。画像を切り替えて表示する場合には、同じ場所で画像を切り替えるので変化がある部分の比較を行いやすく、並べて表示する場合には、同時に画像を表示することができるので画像全体を比較しやすい。
次に、図２２（ａ）及び（ｂ）を用いて、画面遷移における高画質化処理の実行について説明を行う。図２２（ｂ）は、図２２（ａ）におけるＯＣＴＡ正面画像Ｉｍ２２０７を拡大表示した画面例である。図２２（ｂ）においても、図２２（ａ）と同様にボタン２２２０を表示する。図２２（ａ）から図２２（ｂ）への画面遷移は、例えば、ＯＣＴＡ正面画像Ｉｍ２２０７をダブルクリックすることで遷移し、図２２（ｂ）から図２２（ａ）へは閉じるボタン２２３０で遷移する。なお、画面遷移に関しては、ここで示した方法に限らず、不図示のユーザーインターフェースを用いてもよい。
画面遷移の際に高画質化処理の実行が指定されている場合（ボタン２２２０がアクティブ）、画面遷移時においてもその状態を保つ。すなわち、図２２（ａ）の画面で高画質画像を表示している状態で図２２（ｂ）の画面に遷移する場合、図２２（ｂ）の画面においても高画質画像を表示する。そして、ボタン２２２０はアクティブ状態にする。図２２（ｂ）の画面から図２２（ａ）の画面に遷移する場合にも同様である。図２２（ｂ）において、ボタン２２２０を指定して低画質画像に表示を切り替えることもできる。
画面遷移に関して、ここで示した画面に限らず、経過観察用の表示画面、又はパノラマ用の表示画面など同じ撮影データを表示する画面への遷移であれば、高画質画像の表示状態を保ったまま遷移を行うことができる。すなわち、遷移後の表示画面において、遷移前の表示画面におけるボタン２２２０の状態に対応する画像が表示されることができる。例えば、遷移前の表示画面におけるボタン２２２０がアクティブ状態であれば、遷移後の表示画面において高画質画像が表示される。また、例えば、遷移前の表示画面におけるボタン２２２０のアクティブ状態が解除されていれば、遷移後の表示画面において低画質画像が表示される。なお、経過観察用の表示画面におけるボタン２２２０がアクティブ状態になると、経過観察用の表示画面に並べて表示される異なる日時（異なる検査日）で得た複数の画像が高画質画像に切り換わるようにしてもよい。すなわち、経過観察用の表示画面におけるボタン２２２０がアクティブ状態になると、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。
なお、経過観察用の表示画面の例を、図２３に示す。検者からの指示に応じてタブ２３０１が選択されると、図２３のように、経過観察用の表示画面が表示される。このとき、ＯＣＴＡ正面画像の深度範囲を、リストボックス２３０２，２３０３に表示された既定の深度範囲セットから検者が所望するセットを選択することで変更できる。例えば、リストボックス２３０２では網膜表層が選択され、また、リストボックス２３０３では網膜深層が選択されている。上側の表示領域には網膜表層のＯＣＴＡ正面画像の解析結果が表示され、また、下側の表示領域には網膜深層のＯＣＴＡ正面画像の解析結果が表示されている。深度範囲が選択されると、異なる日時の複数の画像について、選択された深度範囲の複数のＯＣＴＡ正面画像の解析結果の並列表示に一括して変更される。
このとき、解析結果の表示を非選択状態にすると、異なる日時の複数のＯＣＴＡ正面画像の並列表示に一括して変更されてもよい。そして、検者からの指示に応じてボタン２２２０が指定されると、複数のＯＣＴＡ正面画像の表示が複数の高画質画像の表示に一括して変更される。
また、解析結果の表示が選択状態である場合には、検者からの指示に応じてボタン２２２０が指定されると、複数のＯＣＴＡ正面画像の解析結果の表示が複数の高画質画像の解析結果の表示に一括して変更される。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、画像の表示から解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、画像の表示から解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、二次元マップ）の表示への変更であってもよい。
また、深度範囲の指定に用いる層境界の種類とオフセット位置をそれぞれ、ユーザーインターフェース２３０５，２３０６から一括して変更することができる。なお、層境界の種類やオフセット位置を変更するためのユーザーインターフェース２３０５，２３０６は一例であり、他の任意の態様のインターフェースを用いてよい。なお、断層画像も一緒に表示させ、断層画像上に重畳された層境界データを検者からの指示に応じて移動させることにより、異なる日時の複数のＯＣＴＡ正面画像の深度範囲を一括して変更してもよい。このとき、異なる日時の複数の断層画像を並べて表示し、１つの断層画像上で上記移動が行われると、他の断層画像上でも同様に層境界データが移動されてもよい。
また、画像投影法やプロジェクションアーチファクト抑制処理の有無を、例えば、コンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。
また、選択ボタン２３０７を選択して不図示の選択画面を表示させ、該選択画面上に表示された画像リストから選択された画像が表示されてもよい。なお、図２３の上部に表示されている矢印２３０４は現在選択されている検査であることを示す印であり、基準検査（Ｂａｓｅｌｉｎｅ）はＦｏｌｌｏｗ－ｕｐ撮影の際に選択した検査（図２３の一番左側の画像）である。もちろん、基準検査を示すマークを表示部に表示させてもよい。
また、「Ｓｈｏｗ Ｄｉｆｆｅｒｅｎｃｅ」チェックボックス２３０８が指定された場合には、基準画像上に基準画像に対する計測値分布（マップもしくはセクタマップ）を表示する。さらに、この場合には、それ以外の検査日に対応する領域に、基準画像に対して算出した計測値分布と当該領域に表示される画像に対して算出した計測値分布との差分計測値マップを表示する。計測結果としては、レポート画面上にトレンドグラフ（経時変化計測によって得られた各検査日の画像に対する計測値のグラフ）を表示させてもよい。すなわち、異なる日時の複数の画像に対応する複数の解析結果の時系列データ（例えば、時系列グラフ）が表示されてもよい。このとき、表示されている複数の画像に対応する複数の日時以外の日時に関する解析結果についても、表示されている複数の画像に対応する複数の解析結果と判別可能な状態で（例えば、時系列グラフ上の各点の色が画像の表示の有無で異なる）時系列データとして表示させてもよい。また、該トレンドグラフの回帰直線（曲線）や対応する数式をレポート画面に表示させてもよい。
本変形例においては、ＯＣＴＡ正面画像に関して説明を行ったが、本変形例に係る処理が適用される画像はこれに限らない。本変形例に係る表示、高画質化、及び画像解析等の処理に関する画像は、輝度のＥｎ－Ｆａｃｅ画像でもよい。さらには、Ｅｎ－Ｆａｃｅ画像だけではなく、Ｂ－スキャンによる断層画像、ＳＬＯ眼底画像、眼底画像、又は蛍光眼底画像など、異なる画像であってもよい。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。
例えば、Ｂ－スキャンによる断層画像を高画質化して表示する場合には、図２２（ａ）に示す断層画像Ｉｍ２２１１，Ｉｍ２２１２を高画質化して表示してもよい。また、ＯＣＴＡ正面画像Ｉｍ２２０７，Ｉｍ２２０８が表示されている領域に高画質化された断層画像が表示されてもよい。なお、高画質化され、表示される断層画像は、１つだけ表示されてもよいし、複数表示されてもよい。複数の断層画像が表示される場合には、それぞれ異なる副走査方向の位置で取得された断層画像が表示されてもよいし、例えばクロススキャン等により得られた複数の断層画像を高画質化して表示する場合には、異なる走査方向の画像がそれぞれ表示されてもよい。また、例えばラジアルスキャン等により得られた複数の断層画像を高画質化して表示する場合には、一部選択された複数の断層画像（例えば基準ラインに対して互いに対称な位置の２つの断層画像）がそれぞれ表示されてもよい。さらに、図２３に示されるような経過観察用の表示画面に複数の断層画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいて断層画像に高画質化処理を実行してもよい。
同様に、ＳＬＯ眼底画像を高画質化して表示する場合には、例えば、ＳＬＯ眼底画像Ｉｍ２２０５を高画質化して表示してよい。さらに、輝度のＥｎ－Ｆａｃｅ画像を高画質化して表示する場合には、例えば輝度のＥｎ－Ｆａｃｅ画像Ｉｍ２２０９を高画質化して表示してよい。さらに、図２３に示されるような経過観察用の表示画面に複数のＳＬＯ眼底画像や輝度のＥｎ－Ｆａｃｅ画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいてＳＬＯ眼底画像や輝度のＥｎ－Ｆａｃｅ画像に高画質化処理を実行してもよい。なお、断層画像、ＳＬＯ眼底画像、及び輝度のＥｎ－Ｆａｃｅ画像の表示は例示であり、これらの画像は所望の構成に応じて任意の態様で表示されてよい。また、ＯＣＴＡ正面画像、断層画像、ＳＬＯ眼底画像、及び輝度のＥｎ－Ｆａｃｅ画像の少なくとも２つ以上が、一度の指示で高画質化され表示されてもよい。
このような構成により、本変形例に係る高画質化部３２２，１６２２が高画質化処理した画像を表示制御部３５０が表示部５０に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、及び表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。
また、上述したように、複数の条件のうち少なくとも１つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも１つが選択された状態が維持されてもよい。例えば、表示制御部３５０は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン２２２０が指定されると）、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部３５０は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン２２２０の指定が解除されると）、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。
また、表示制御部３５０は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部３５０は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部３５０は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部３５０は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
また、高画質画像の表示が非選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部３５０は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、低画質画像の第１の種類の解析結果の表示を低画質画像の第２の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部３５０は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、高画質画像の第１の種類の解析結果の表示を高画質画像の第２の種類の解析結果の表示に変更してもよい。
なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、二次元マップ）の表示への変更であってもよい。
なお、本変形例では、高画質化部３２２，１６２２が高画質化モデルを用いて断層画像の画質を改善した高画質画像を生成した。しかしながら、高画質化モデルを用いて高画質画像を生成する構成要素は高画質化部３２２，１６２２に限られない。例えば、高画質化部３２２，１６２２とは別の第２の高画質化部を設け、第２の高画質化部が高画質化モデルを用いて高画質画像を生成してもよい。この場合、第２の高画質化部は、学習済モデルを用いて領域毎に異なる画像処理が行われた高画質画像ではなく、画像全体に対して同一の画像処理が行われた高画質画像を生成してもよい。この際、学習済モデルの出力データは、画像全体に対して同一の高画質化処理が行われた画像であってよい。なお、第２の高画質化部や第２の高画質化部が用いる高画質化モデルは、ＣＰＵやＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。
（変形例９）
表示制御部３５０は、高画質化部３２２，１６２２によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部５０に表示させることができる。また、表示制御部３５０は、検者からの指示に応じて、表示部５０上の表示を撮影画像（入力画像）から高画質画像に切り替えてもよい。すなわち、表示制御部３５０は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部３５０は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。
さらに、高画質化部３２２，１６２２が、高画質化モデルを用いた高画質化処理の開始（高画質化モデルへの画像の入力）を検者からの指示に応じて実行し、表示制御部３５０が、生成された高画質画像を表示部５０に表示させてもよい。これに対し、撮影装置（撮影部２０）によって入力画像が撮影されると、高画質化部３２２，１６２２が自動的に高画質化モデルを用いて入力画像に基づいて高画質画像を生成し、表示制御部３５０が、検者からの指示に応じて高画質画像を表示部５０に表示させてもよい。
なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部３５０は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部３５０は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。さらに、表示制御部３５０は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部３５０は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。さらに、表示制御部３５０は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部３５０は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
さらに、表示制御部３５０は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部３５０は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。
ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンディング処理して得た画像（例えば、二次元マップ）の表示への変更であってもよい。
なお、本変形例では、高画質化部３２２，１６２２が高画質化モデルを用いて断層画像の画質を改善した高画質画像を生成した。しかしながら、高画質化モデルを用いて高画質画像を生成する構成要素は高画質化部３２２，１６２２に限られない。例えば、高画質化部３２２，１６２２とは別の第２の高画質化部を設け、第２の高画質化部が高画質化モデルを用いて高画質画像を生成してもよい。この場合、第２の高画質化部は、学習済モデルを用いて領域毎に異なる画像処理が行われた高画質画像ではなく、画像全体に対して同一の画像処理が行われた高画質画像を生成してもよい。この際、学習済モデルの出力データは、画像全体に対して同一の高画質化処理が行われた画像であってよい。なお、第２の高画質化部や第２の高画質化部が用いる高画質化モデルは、ＣＰＵやＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。
また、変形例８では、表示画面のボタン２２２０のアクティブ状態に応じて、高画質化モデルを用いた高画質化処理が行われた画像が表示された。これに対し、ボタン２２２０のアクティブ状態に応じて、学習済モデルを用いたセグメンテーション処理の結果を用いた解析値が表示されるように構成してもよい。この場合、例えば、ボタン２２２０が非アクティブ状態（学習済モデルを用いたセグメンテーション処理が非選択状態）の場合には、表示制御部３５０は、セグメンテーション処理の結果を用いた解析結果を表示部５０に表示させる。これに対し、ボタン２２２０がアクティブ状態にされると、表示制御部３５０は、学習済モデルを用いたセグメンテーション処理の結果を用いた解析結果を表示部５０に表示させる。
このような構成では、学習済モデルを用いないセグメンテーション処理の結果を用いた解析結果と、学習済モデルを用いたセグメンテーション処理の結果を用いた解析結果が、ボタンのアクティブ状態に応じて切り替えて表示される。これらの解析結果は、それぞれ学習済モデルによる処理とルールベースによる画像処理の結果に基づくため、両結果には差異が生じる場合がある。そのため、これらの解析結果を切り替えて表示させることで、検者は両者を対比し、より納得できる解析結果を診断に用いることができる。
なお、セグメンテーション処理が切り替えられた際には、例えば、表示される画像が断層画像である場合には、層毎に解析された層厚の数値が切り替えられて表示されてよい。また、例えば、層毎に色やハッチングパターン等で分けられた断層画像が表示される場合には、セグメンテーション処理の結果に応じて層の形状が変化した断層画像が切り替えられて表示されてよい。さらに、解析結果として厚みマップが表示される場合には、厚みを示す色がセグメンテーション処理の結果に応じて変化した厚みマップが表示されてよい。また、高画質化処理を指定するボタンと学習済モデルを用いたセグメンテーション処理を指定するボタンは別々に設けられてもよいし、いずれか一方のも設けられてもよいし、両方のボタンを一つのボタンとして設けてもよい。
また、セグメンテーション処理の切り替えは、上述の高画質化処理の切り替えと同様に、データベースに保存（記録）されている情報に基づいて行われてもよい。なお、画面遷移時に処理についても、セグメンテーション処理の切り替えは、上述の高画質化処理の切り替えと同様に行われてよい。
（変形例１０）
上述した様々な実施例及び変形例における表示制御部３５０は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、表示制御部３５０は、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示部５０に表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、及びシュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。なお、画像解析処理は解析部１９２４によって行われてもよいし、解析部１９２４とは別の解析部によって行われてもよい。さらに、画像解析が行われる画像は、高画質化された画像であってもよいし、高画質化されていない画像であってもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、解析部１９２４又は別の解析部が、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成したものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。
また、学習データは、セグメンテーション処理により生成された領域ラベル画像と、それらを用いた医用画像の解析結果とを含んだものでもよい。この場合、画像処理部３２０，１６２０，１９２０は、例えば、解析結果生成用の学習済モデルを用いて、セグメンテーション処理を実行して得た結果（例えば、網膜層の検出結果）から、断層画像の解析結果を生成する、解析結果生成部の一例として機能することができる。言い換えれば、画像処理部３２０，１６２０，１９２０は、高画質画像（第２の医用画像）を生成するための学習済モデルとは異なる解析結果生成用の学習済モデル（第４の学習済モデル）を用いて、セグメンテーション処理により特定した異なる領域それぞれについて画像解析結果を生成することができる。
さらに、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は輝度のＥｎ－Ｆａｃｅ画像に対応し、モーションコントラスト正面画像はＯＣＴＡのＥｎ－Ｆａｃｅ画像に対応する。
また、高画質化用の学習済モデルを用いて生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化用の学習済モデルを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。
また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、操作者からの指示に応じて、解析結果生成用の学習済モデルを用いて得た解析結果が表示されるように構成されてもよい。
また、上述した実施例及び変形例における表示制御部３５０は、表示画面のレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果としては、特定された異常部位等の位置が画像上に表示されてもよいし、異常部位の状態等が文字等によって表示されてもよい。さらに、異常部位等の分類結果（例えば、カーティン分類）が診断結果として表示されてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。
なお、診断結果は、制御部３０，１６００，１９００が、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。
また、学習データは、セグメンテーション処理により生成された領域ラベル画像と、それらを用いた医用画像の診断結果とを含んだものでもよい。この場合、画像処理部３２０，１６２０，１９２０は、例えば、診断結果生成用の学習済モデルを用いて、セグメンテーション処理を実行して得た結果（例えば、網膜層の検出結果）から、断層画像の診断結果を生成する、診断結果生成部の一例として機能することができる。言い換えれば、画像処理部３２０，１６２０，１９２０は、高画質画像（第２の医用画像）を生成するための学習済モデルとは異なる診断結果生成用の学習済モデル（第５の学習済モデル）を用いて、セグメンテーション処理により特定した異なる領域それぞれについて診断結果を生成することができる。
さらに、高画質化用の学習済モデルを用いて生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化用の学習済モデルを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。
また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルを用いて得た診断結果が表示されるように構成されてもよい。
また、上述した様々な実施例及び変形例に係る表示制御部３５０は、表示画面のレポート画面において、上述したような注目部位、アーチファクト、及び異常部位等の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、異常部位を検出する場合には、画像処理部３２０，１６２０，１９２０は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）や変分オートエンコーダー（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）を用いてもよい。例えば、断層画像の生成を学習して得た生成器と、生成器が生成した新たな断層画像と本物の眼底正面画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。
ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された断層画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出することができる。また、ＶＡＥを用いる場合には、例えば、入力された断層画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出することができる。なお、入力データの例として断層画像を例として説明したが、眼底画像や前眼の正面画像等を用いてもよい。
さらに、画像処理部３２０，１６２０，１９２０は、畳み込みオートエンコーダー（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ画像を学習させる。これにより、推定時に異常部位がある画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない画像が出力される。その後、ＣＡＥに入力された画像とＣＡＥから出力された画像の差分を異常部位として抽出することができる。なお、この場合にも、断層画像だけでなく、眼底画像や前眼の正面画像等を入力データとして用いてもよい。
これらの場合、画像処理部３２０，１６２０，１９２０は、セグメンテーション処理等により特定した異なる領域それぞれについて敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダーに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、画像処理部３２０，１６２０，１９２０は、高速に精度よく異常部位を検出することが期待できる。ここで、オートエンコーダーには、ＶＡＥやＣＡＥ等が含まれる。
また、疾病眼では、疾病の種類に応じて画像特徴が異なる。そのため、上述した様々な実施例や変形例において用いられる学習済モデルは、疾病の種類毎又は異常部位毎にそれぞれ生成・用意されてもよい。この場合には、例えば、画像処理部３２０は、操作者からの被検眼の疾病の種類や異常部位等の入力（指示）に応じて、処理に用いる学習済モデルを選択することができる。なお、疾病の種類や異常部位毎に用意される学習済モデルは、網膜層の検出や領域ラベル画像等の生成に用いられる学習済モデルに限られず、例えば、画像の評価用のエンジンや解析用のエンジン等で用いられる学習済モデルであってもよい。このとき、画像処理部３２０，１６２０，１９２０は、別に用意された学習済モデルを用いて、画像から被検眼の疾病の種類や異常部位を識別してもよい。この場合には、画像処理部３２０，１６２０，１９２０は、当該別に用意された学習済モデルを用いて識別された疾病の種類や異常部位に基づいて、上記処理に用いる学習済モデルを自動的に選択することができる。なお、当該被検眼の疾病の種類や異常部位を識別するための学習済モデルは、断層画像や眼底画像等を入力データとし、疾病の種類やこれら画像における異常部位を出力データとした学習データのペアを用いて学習を行ってよい。ここで、学習データの入力データとしては、断層画像や眼底画像等を単独で入力データとしてもよいし、これらの組み合わせを入力データとしてもよい。
また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタスキャン）断層画像とをセットとする入力データ等も考えられる。
なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、処理の結果を向上することができる。例えば、推定時（予測時）において、広画角画像における複数の位置で異常部位が検出された場合に、各異常部位の拡大画像を順次表示可能に構成させる。これにより、複数の位置における異常部位を効率よく確認することができるため、例えば、検者の利便性を向上することができる。このとき、例えば、異常部位が検出された広画角画像上の各位置を検者が選択可能に構成され、選択された位置における異常部位の拡大画像が表示されるように構成されてもよい。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、操作者は、撮影直後であっても精度の良い結果を確認することができる。また、変形例９等で説明した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。
ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダー（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝播法）に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。
なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である画像処理部３２０，１６２０，１９２０による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵ又はＧＰＵのみにより演算が行われても良い。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いても良い。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルが適用可能である。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。
また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
また、高画質化モデル（高画質化用の学習済モデル）は、高画質化モデルにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。なお、これらの構成は、高画質化用の学習済モデルに限らず、上述した様々な学習済モデルに対しても適用可能である。また、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。
なお、上述した様々な実施例及び変形例において、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて被検眼の領域を検出する場合には、検出した領域毎に所定の画像処理を施すこともできる。例えば、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの領域を検出する場合を考える。この場合には、検出された少なくとも２つの領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は領域毎の疾病等をより適切に診断することができる。なお、検出された領域毎に異なる画像処理のパラメータを用いる構成については、例えば、学習済モデルを用いずに検出された被検眼の領域について同様に適用されてもよい。
（変形例１１）
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した高画質化用の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。
なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。このとき、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように構成されてもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。
これらの場合には、高画質化部３２２，１６２２は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、駆動制御部３３０は、高画質な動画像が表示された状態で、セグメンテーション処理等により特定した異なる領域のいずれかが表示領域における所定の位置になるように、参照ミラー２２１等の撮影範囲を変更する光学部材を駆動制御することができる。このような場合には、制御部３０，１６００，１９００は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照ミラー２２１等であってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えばステージ部２５であってもよい。
また、上述した学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体領域を好適に観察したい場合には、まず、フレーム上に硝子体領域ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化用の学習済モデルを用いて順次生成された高画質画像（高画質フレーム）を連続表示させるように構成してもよい。
なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせがある。さらに、位置合わせの手法としては、例えば、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせもある。またさらに、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）毎に生成した一次元投影像を用いた（Ｘ方向の）位置合わせ、二次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。
また、走査パターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。
（変形例１２）
上述した様々な実施例及び変形例においては、各種学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習中の学習済モデルに対する医用画像の入力を禁止することがよい。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習中には、予備の学習済モデルに対して医用画像の入力が実行できるようにすることがよい。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（肺、被検眼等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、画像処理部３２０，１６２０，１９２０は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、画像処理部３２０，１６２０，１９２０は、選択された学習済モデルに対して追加学習を実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
なお、選択手段及び制御手段は、制御部３０，１６００，１９００のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減することが有用である。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わないものとする。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
（変形例１３）
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、音声認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。
また、検者からの指示は、表示部５０における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部５０における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及び図２２（ａ）及び（ｂ）に示すようなボタン２２２０をアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。なお、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス又はタッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図２４（ａ）及び（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図２５（ａ）及び（ｂ）を参照して説明する。
図２４（ａ）は、機械学習モデルであるＲＮＮの構造を示す。ＲＮＮ２４２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘｔ２４１０が入力され、データｈｔ２４３０を出力する。ＲＮＮ２４２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図２４（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘｔ２４１０にはＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ２４２０より出力されるデータｈｔ２４３０には入力データに対応するＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。
しかしながら、ＲＮＮでは誤差逆伝播時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図２５（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ２５４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃｔ－１と出力データｈｔ－１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。
次に、図２５（ｂ）にＬＳＴＭ２５４０の詳細を示す。図２５（ｂ）においては、忘却ゲートネットワークＦＧ、入力ゲートネットワークＩＧ、及び出力ゲートネットワークＯＧが示され、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。また、図２５（ｂ）においては、セル更新候補ネットワークＣＵが示され、セル更新候補ネットワークＣＵは活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。
（変形例１４）
上述した様々な実施例及び変形例において、高画質画像やラベル画像等は、操作者からの指示に応じて記憶部に保存されてもよい。このとき、例えば、高画質画像を保存するための操作者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、又は最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、操作者からの指示に応じて編集可能な状態で表示されてもよい。なお、同様に、境界画像や領域ラベル画像等についても、学習済モデルを用いた処理により生成された画像である情報を含むファイル名が表示されてもよい。
また、レポート画面等の種々の表示画面において、表示部５０に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、操作者は、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。また、セグメンテーション処理用の学習済モデルを用いたセグメンテーション結果の解析結果を表示する際にも、セグメンテーション用の学習済モデルを用いた結果に基づいた解析結果であることを示す表示が、解析結果とともに表示されてもよい。
このとき、レポート画面等の表示画面は、操作者からの指示に応じて、画像データとして記憶部に保存されてもよい。例えば、高画質画像等と、これらの画像が学習済モデルを用いた処理により生成された画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部に保存されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、例えばセグメンテーション処理等上述した種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。
また、学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、例えばセグメンテーション処理等の上述した種々の学習済モデルを用いた処理により得た画像についても、同様に処理してよい。
また、レポート画面の初期表示画面として、図２２（ａ）及び（ｂ）に示すようなボタン２２２０がアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、ボタン２２２０がアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ－Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。なお、ボタン２２２０がセグメンテーション処理の切り替えを表す場合に関しても、同様に処理されてよい。
（変形例１５）
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）が生成されるように構成されてもよい。
また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第１の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルを用いて処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、画像処理部３２０，１６２０，１９２０は、高画質画像（第２の医用画像）を生成するための学習済モデルとは異なる類似症例画像検索用の学習済モデル（第６の学習済モデル）を用いて、セグメンテーション処理等により特定した異なる領域それぞれについて類似症例画像の検索を行うことができる。
（変形例１６）
なお、上記実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、撮影部２０で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。
また、上記実施例及び変形例における階調変換処理等の画像処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、撮影部２０で取得された干渉信号、干渉信号にフーリエ変換を施した信号、及び該信号に任意の処理を施した信号等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。
さらに、上記実施例及び変形例では、ＯＣＴ装置として、ＳＬＤを光源として用いたスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置について述べたが、本発明によるＯＣＴ装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置等の他の任意の種類のＯＣＴ装置にも本発明を適用することができる。また、ライン光を用いたＬｉｎｅ－ＯＣＴ装置（あるいはＳＳ－Ｌｉｎｅ－ＯＣＴ装置）に対して本発明を適用することもできる。また、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置（あるいはＳＳ－Ｆｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置）にも本発明を適用することもできる。
上記実施例及び変形例では、分割手段としてカプラーを使用した光ファイバー光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、撮影部２０の構成は、上記の構成に限られず、撮影部２０に含まれる構成の一部を撮影部２０と別体の構成としてもよい。
また、上記実施例及び変形例では、取得部３１０は、撮影部２０で取得された干渉信号や画像処理部３２０で生成された断層画像等を取得した。しかしながら、取得部３１０がこれらの信号や画像を取得する構成はこれに限られない。例えば、取得部３１０は、制御部３０，１６００，１９００とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。
また、各種学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。
なお、上記実施例及び変形例に係る各種学習済モデルは制御部３０，１６００、１９００に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御部３０，１６００、１９００と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部３０，１６００、１９００は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。
なお、上記実施例及び変形例では、被検眼の眼底部分に関する断層画像について説明したが、被検眼の前眼部に関する断層画像について上記画像処理を行ってもよい。この場合、断層画像において異なる画像処理が施されるべき領域には、水晶体、角膜、虹彩、及び前眼房等の領域が含まれる。なお、当該領域に前眼部の他の領域が含まれてもよい。また、眼底部分に関する断層画像についての領域は、硝子体部、網膜部、及び脈絡膜部に限られず、眼底部分に関する他の領域を含んでもよい。ここで、眼底部分に関する断層画像については、前眼部に関する断層画像よりも階調が広くなるため、上記実施例及び変形例に係る画像処理による高画質化がより効果的に行われることができる。
また、上記実施例及び変形例では、被検体として被検眼を例に説明したが、被検体はこれに限定されない。例えば、被検体は皮膚や他の臓器等でもよい。この場合、上記実施例及び変形例に係るＯＣＴ装置は、眼科装置以外に、内視鏡等の医療機器に適用することができる。
（変形例１７）
また、上述した様々な実施例及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施例及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（三次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ－Ｆａｃｅ画像を含む。Ｅｎ－Ｆａｃｅ画像は、三次元のＯＣＴＡデータ（三次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）でもよい。また、三次元のＯＣＴデータや三次元のモーションコントラストデータは、三次元の医用画像データの一例である。
ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。
また、Ｅｎ－Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（三次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影又は積算して生成される。Ｅｎ－Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを二次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。
なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ－ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ－ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ－ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ－ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ－ＯＣＴ）装置等を含んでよい。
また、上述の様々な実施例及び変形例に係る高画質化用の学習済モデルでは、断層画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推定処理に用いているものと考えらえる。同様に、セグメンテーション処理用や画像解析用、診断結果生成用の学習済モデルでも、断層画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推定処理に用いているものと考えらえる。一方で、音声認識用や文字認識用、ジェスチャー認識用等の学習済モデルでは、時系列のデータを用いて学習を行っているため、入力される連続する時系列のデータ値間の傾きを特徴量の一部として抽出し、推定処理に用いているものと考えられる。そのため、このような学習済モデルは、具体的な数値の時間的な変化による影響を推定処理に用いることで、精度のよい推定を行うことができると期待される。
（その他の実施例）
本発明は、上述の実施例及び変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
３０：制御部（画像処理装置）、３１０：取得部、３２２：高画質化部

Claims (16)

  1. 光干渉を利用して得た被検眼の第１の断層画像を取得する取得部と、
    光干渉を利用して得た被検眼の断層画像を入力データとし、該断層画像における網膜の領域と硝子体の領域と脈絡膜の領域とを含む複数の領域のコントラストよりも高いコントラストを有する該複数の領域の少なくともいずれかの領域を有する断層画像を正解データとして含む学習データによる学習を行って得た学習済モデルに入力される入力データとして前記取得された第１の断層画像を用いることにより、前記取得された第１の断層画像における網膜の領域と硝子体の領域と脈絡膜の領域とを含む複数の領域のコントラストよりも高いコントラストを有する該複数の領域を有する第２の断層画像を生成する高画質化部と、
    を備え、
    前記学習データは、
    硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における該一方の領域を含む部分画像を入力データとし、該断層画像について、該一方の領域のコントラストを高くする画像処理が行われた断層画像における該一方の領域を含む部分画像を正解データとして含む学習データと、
    硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における硝子体及び脈絡膜のうち他方の領域を含む部分画像を入力データとし、該他方に対応する撮影モードで取得された被検眼の断層画像について、該他方の領域のコントラストを高くする画像処理が行われた断層画像における該他方の領域を含む部分画像を上下反転した画像を正解データとして含む学習データと、
    硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における網膜の領域を含む部分画像を入力データとし、該断層画像について、網膜の領域のコントラストを高くする画像処理が行われた断層画像における網膜の領域を含む部分画像を正解データとして、又は硝子体及び脈絡膜のうち他方に対応する撮影モードで取得された被検眼の断層画像について、網膜の領域のコントラストを高くする画像処理が行われた断層画像における網膜の領域を含む部分画像を上下反転した画像を正解データとして含む学習データとを含む、画像処理装置。
  2. 操作者からの指示に応じて、前記第１の断層画像について適用する画像処理を選択する選択部を更に備え、
    前記高画質化部は、前記選択部によって選択された画像処理に基づいて、前記第１の断層画像について前記学習済モデルを用いずに階調変換処理を行い第３の断層画像を生成する、又は、前記学習済モデルを用いて前記第１の断層画像から前記第２の断層画像を生成する、請求項１に記載の画像処理装置。
  3. 前記高画質化部は、前記第２の断層画像において、前記第１の断層画像における前記複数の領域の接続部分の画素値を該接続部分の周囲の画素の画素値に基づいて、又は該周囲の画素の画素値を該接続部分の画素値に基づいて修正する、請求項１又は２に記載の画像処理装置。
  4. 前記学習済モデルの学習データは、被検眼を撮影して得られる断層画像における網膜の領域に対応する撮影モードで取得された断層画像に対して、該断層画像における硝子体の領域に対応する階調変換処理が施された断層画像を含む、請求項１乃至３のいずれか一項に記載された画像処理装置。
  5. 前記コントラストを高くする画像処理は、最大事後確率推定処理、及び階調変換処理のうちの一つの処理である、請求項１乃至４のいずれか一項に記載の画像処理装置。
  6. 前記第２の断層画像における前記複数の領域それぞれに対して異なる解析条件を適用する解析部と、
    前記第２の断層画像と、前記解析部による前記複数の領域それぞれに対する解析結果とを表示部に表示させる表示制御部と、を更に備える、請求項１乃至５のいずれか一項に記載の画像処理装置。
  7. 表示部の表示を制御する表示制御部を更に備え、
    前記表示制御部は、前記第２の断層画像とともに、前記第２の断層画像が前記学習済モデルを用いて生成された画像であることを前記表示部に表示させる、請求項１乃至６のいずれか一項に記載の画像処理装置。
  8. 前記第１の断層画像及び前記第２の断層画像の少なくとも一方の画像における複数の領域を特定する画像処理部を更に備え、
    前記画像処理部は、前記第２の断層画像を生成するための学習済モデルとは異なる学習済モデルに入力される入力データとして前記少なくとも一方の画像を用いることにより、前記少なくとも一方の画像における複数の領域を特定する、請求項１乃至７のいずれか一項に記載の画像処理装置。
  9. 前記第１の断層画像及び前記第２の断層画像の少なくとも一方の画像における複数の領域を特定する画像処理部と、
    前記第２の断層画像が動画像として表示された状態で、前記特定した複数の領域のいずれかが表示領域における所定の位置になるように、撮影範囲を変更する光学部材を駆動制御する駆動制御部と、を更に備える、請求項１乃至７のいずれか一項に記載の画像処理装置。
  10. 前記第１の断層画像及び前記第２の断層画像の少なくとも一方の画像における複数の領域を特定する画像処理部を更に備え、
    前記画像処理部は、前記第２の断層画像を生成するための学習済モデルとは異なる学習済モデルに入力される入力データとして前記少なくとも一方の画像を用いることにより、前記特定した複数の領域それぞれについて画像解析結果、又は前記特定した複数の領域それぞれについて診断結果を生成する、請求項１乃至７のいずれか一項に記載の画像処理装置。
  11. 前記第１の断層画像及び前記第２の断層画像の少なくとも一方の画像における複数の領域を特定する画像処理部を更に備え、
    前記画像処理部は、前記特定した複数の領域それぞれについて敵対的生成ネットワーク又はオートエンコーダーを用いて得た断層画像と、該敵対的生成ネットワーク又は該オートエンコーダーに入力された断層画像との差に関する情報を異常部位に関する情報として生成する、請求項１乃至７のいずれか一項の記載の画像処理装置。
  12. 前記第１の断層画像及び前記第２の断層画像の少なくとも一方の画像における複数の領域を特定する画像処理部を更に備え、
    前記画像処理部は、前記第２の断層画像を生成するための学習済モデルとは異なる学習済モデルに入力される入力データとして前記少なくとも一方の画像を用いることにより、前記特定した複数の領域それぞれについて類似症例画像の検索を行う、請求項１乃至７のいずれか一項に記載の画像処理装置。
  13. 前記第１の断層画像及び前記第２の断層画像は３次元のＯＣＴ断層画像であり、
    前記第２の断層画像の一部の深度範囲に対応する正面画像を生成する生成部を更に備える、請求項１乃至１２のいずれか一項に記載の画像処理装置。
  14. 硝子体及び脈絡膜のうちの前記一方は硝子体であり、前記他方は脈絡膜である、請求項１乃至１３のいずれか一項に記載の画像処理装置。
  15. 光干渉を利用して得た被検眼の第１の断層画像を取得する工程と、
    光干渉を利用して得た被検眼の断層画像を入力データとし、該断層画像における網膜の領域と硝子体の領域と脈絡膜の領域とを含む複数の領域のコントラストよりも高いコントラストを有する該複数の領域の少なくともいずれかの領域を有する断層画像を正解データとして含む学習データによる学習を行って得た学習済モデルに入力される入力データとして前記取得された第１の断層画像を用いることにより、前記取得された第１の断層画像における網膜の領域と硝子体の領域と脈絡膜の領域とを含む複数の領域のコントラストよりも高いコントラストを有する該複数の領域を有する第２の断層画像を生成する工程と、
    を含み、
    前記学習データは、
    硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における該一方の領域を含む部分画像を入力データとし、該断層画像について、該一方の領域のコントラストを高くする画像処理が行われた断層画像における該一方の領域を含む部分画像を正解データとして含む学習データと、
    硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における硝子体及び脈絡膜のうち他方の領域を含む部分画像を入力データとし、該他方に対応する撮影モードで取得された被検眼の断層画像について、該他方の領域のコントラストを高くする画像処理が行われた断層画像における該他方の領域を含む部分画像を上下反転した画像を正解データとして含む学習データと、
    硝子体及び脈絡膜のうち一方に対応する撮影モードで取得された被検眼の断層画像における網膜の領域を含む部分画像を入力データとし、該断層画像について、網膜の領域のコントラストを高くする画像処理が行われた断層画像における網膜の領域を含む部分画像を正解データとして、又は硝子体及び脈絡膜のうち他方に対応する撮影モードで取得された被検眼の断層画像について、網膜の領域のコントラストを高くする画像処理が行われた断層画像における網膜の領域を含む部分画像を上下反転した画像を正解データとして含む学習データとを含む、画像処理方法。
  16. プロセッサーによって実行されると、該プロセッサーに請求項１５に記載の画像処理方法の各工程を実行させるプログラム。
JP2019183106A 2018-10-10 2019-10-03 画像処理装置、画像処理方法及びプログラム Active JP7250653B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980066849.XA CN112822972A (zh) 2018-10-10 2019-10-08 图像处理装置、图像处理方法和程序
PCT/JP2019/039676 WO2020075719A1 (ja) 2018-10-10 2019-10-08 画像処理装置、画像処理方法及びプログラム
US17/224,562 US11935241B2 (en) 2018-10-10 2021-04-07 Image processing apparatus, image processing method and computer-readable medium for improving image quality

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018191449 2018-10-10
JP2018191449 2018-10-10

Publications (3)

Publication Number Publication Date
JP2020058800A JP2020058800A (ja) 2020-04-16
JP2020058800A5 JP2020058800A5 (ja) 2022-04-22
JP7250653B2 true JP7250653B2 (ja) 2023-04-03

Family

ID=70220597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019183106A Active JP7250653B2 (ja) 2018-10-10 2019-10-03 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11935241B2 (ja)
JP (1) JP7250653B2 (ja)
CN (1) CN112822972A (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP7250653B2 (ja) * 2018-10-10 2023-04-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP3660789B1 (en) * 2018-11-28 2020-11-25 Siemens Healthcare GmbH Model-based image reconstruction using analytic models learned by artificial-neural-networks
EP3716201A1 (en) * 2019-03-25 2020-09-30 Siemens Healthcare GmbH Medical image enhancement
JP7322358B2 (ja) * 2020-01-30 2023-08-08 富士通株式会社 情報処理プログラム、情報処理方法、及び情報処理装置
JP7385529B2 (ja) * 2020-06-10 2023-11-22 日立造船株式会社 検査装置、検査方法、および検査プログラム
JP7344847B2 (ja) * 2020-06-30 2023-09-14 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2022004447A1 (ja) * 2020-07-03 2022-01-06 ソニーグループ株式会社 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム
AU2021307604A1 (en) * 2020-07-15 2023-01-19 Alcon Inc. Digital image optimization for ophthalmic surgery
CA3194441A1 (en) 2020-09-30 2022-04-07 Marcus Emilio DEAYALA Retinal imaging system
WO2022080913A1 (en) * 2020-10-14 2022-04-21 Samsung Electronics Co., Ltd. Methods and systems for examining an eye to detect a disease
EP4247235A1 (en) * 2020-11-19 2023-09-27 Leica Microsystems Inc. Control system for oct imaging, oct imaging system and method for oct imaging
CN116508068A (zh) * 2020-11-30 2023-07-28 索尼半导体解决方案公司 学习装置、学习方法、成像装置、信号处理装置和信号处理方法
US11819275B2 (en) * 2020-12-16 2023-11-21 Canon Kabushiki Kaisha Optical coherence tomography apparatus, control method for optical coherence tomography apparatus, and computer-readable storage medium
US20220245554A1 (en) * 2021-02-03 2022-08-04 Disney Enterprises, Inc. Tagging Performance Evaluation and Improvement
CN114098632B (zh) * 2022-01-27 2022-11-29 北京鹰瞳科技发展股份有限公司 用于对眼底相机中的马达进行控制的方法及其相关产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151350A (ja) 2007-12-18 2009-07-09 Nec Corp 画像補正方法および画像補正装置
JP2015129987A (ja) 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。
JP2016195878A (ja) 2013-06-19 2016-11-24 株式会社トプコン 眼科撮影装置および眼科画像表示装置
JP2017055916A (ja) 2015-09-15 2017-03-23 キヤノン株式会社 画像生成装置、画像生成方法及びプログラム
WO2018055545A1 (en) 2016-09-23 2018-03-29 International Business Machines Corporation Prediction of age related macular degeneration by image reconstruction
US20180140257A1 (en) 2016-11-21 2018-05-24 International Business Machines Corporation Retinal Scan Processing for Diagnosis of a Subject

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09179977A (ja) 1995-12-21 1997-07-11 Shimadzu Corp 医用画像の階調自動処理装置
JP6086345B2 (ja) 2012-11-29 2017-03-01 国立大学法人大阪大学 眼科装置
JP6130723B2 (ja) * 2013-05-01 2017-05-17 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
JP6736270B2 (ja) * 2015-07-13 2020-08-05 キヤノン株式会社 画像処理装置及び画像処理装置の作動方法
JP6840520B2 (ja) * 2016-12-01 2021-03-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
TW201837894A (zh) 2017-02-15 2018-10-16 日商半導體能源研究所股份有限公司 半導體裝置及顯示系統
US10460440B2 (en) * 2017-10-24 2019-10-29 General Electric Company Deep convolutional neural network with self-transfer learning
GB2610712B (en) 2018-06-15 2023-07-19 Canon Kk Medical image processing apparatus, optical coherence tomography apparatus, learned model, learning apparatus, medical image processing method and program
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP7305401B2 (ja) * 2018-09-06 2023-07-10 キヤノン株式会社 画像処理装置、画像処理装置の作動方法、及びプログラム
JP7250653B2 (ja) * 2018-10-10 2023-04-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151350A (ja) 2007-12-18 2009-07-09 Nec Corp 画像補正方法および画像補正装置
JP2016195878A (ja) 2013-06-19 2016-11-24 株式会社トプコン 眼科撮影装置および眼科画像表示装置
JP2015129987A (ja) 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。
JP2017055916A (ja) 2015-09-15 2017-03-23 キヤノン株式会社 画像生成装置、画像生成方法及びプログラム
WO2018055545A1 (en) 2016-09-23 2018-03-29 International Business Machines Corporation Prediction of age related macular degeneration by image reconstruction
US20180140257A1 (en) 2016-11-21 2018-05-24 International Business Machines Corporation Retinal Scan Processing for Diagnosis of a Subject

Also Published As

Publication number Publication date
JP2020058800A (ja) 2020-04-16
US11935241B2 (en) 2024-03-19
CN112822972A (zh) 2021-05-18
US20210224997A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7229881B2 (ja) 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP7269413B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11887288B2 (en) Image processing apparatus, image processing method, and storage medium
JP7305401B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
JP7374615B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20220151483A1 (en) Ophthalmic apparatus, method for controlling ophthalmic apparatus, and computer-readable medium
JP2021037239A (ja) 領域分類方法
JP7362403B2 (ja) 画像処理装置および画像処理方法
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2022155690A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020138128A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7254682B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021164535A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2019230643A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020049828A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2022121202A (ja) 画像処理装置および画像処理方法
JP2023010308A (ja) 画像処理装置および画像処理方法
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
JP2020146433A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220414

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230322

R151 Written notification of patent or utility model registration

Ref document number: 7250653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151