JP7328489B2

JP7328489B2 - 眼科画像処理装置、および眼科撮影装置

Info

Publication number: JP7328489B2
Application number: JP2018166449A
Authority: JP
Inventors: 佳紀熊谷; 涼介柴; 祐輔坂下; 直樹竹野
Original assignee: Nidek Co Ltd
Current assignee: Nidek Co Ltd
Priority date: 2018-09-05
Filing date: 2018-09-05
Publication date: 2023-08-17
Anticipated expiration: 2038-09-05
Also published as: JP2020036837A

Description

眼科画像の処理を行う眼科画像処理装置、および眼科画像を撮影する眼科撮影装置に関する。

近年、深層学習による画像処理が成果を上げており、医療画像への応用が期待されている。

特開２０１７－１６２４３８号公報

ところで、深層学習を用いた画像処理モデルを作成するためには、画像と、それに対応する正解データの組を大量に作成して画像処理モデルに学習させる必要がある。しかしながら、大量の画像に対して正解を付与するアノテーション作業はユーザへの負担が大きかった。また、眼科画像は組織の形状等が複雑であり、アノテーションの難易度が高く、ユーザへの負担が大きかった。

本開示は、従来の問題点に鑑み、眼科画像に対するアノテーションを効率化できる眼科画像処理装置、および眼科撮影装置を提供することを技術課題とする。

上記課題を解決するために、本開示は以下のような構成を備えることを特徴とする。

（１）被検眼の眼科画像を処理する眼科画像処理装置であって、前記眼科画像を取得する画像取得手段と、前記眼科画像を処理する制御手段と、を備え、前記制御手段は、前記画像取得手段によって取得された前記眼科画像の中から、前記眼科画像における網膜層のセグメンテーションを行う画像処理モデルに学習させる学習用画像を、前記眼科画像を前記画像処理モデルに入力したときの、各画素がどの網膜層であるかを示す確率分布のエントロピーまたは各画素がどの網膜層であるかを示す確率分布の散布度によって選択することを特徴とする。
（２）被検眼の眼科画像を撮影する眼科撮影装置であって、前記眼科画像を撮影する撮影手段と、前記眼科撮影装置を制御する制御手段と、を備え、前記制御手段は、前記撮影手段によって撮影された前記眼科画像の中から、前記眼科画像における網膜層のセグメンテーションを行う画像処理モデルに学習させる学習用画像を、前記眼科画像を前記画像処理モデルに入力したときの、各画素がどの網膜層であるかを示す確率分布のエントロピーまたは各画素がどの網膜層であるかを示す確率分布の散布度によって選択することを特徴とする。

画像処理モデル構築装置、眼科画像処理装置、および眼科撮影装置の概略構成を示すブロック図である。画像処理モデルの入力と出力の例を示す図である。画像処理モデル構築処理の一例を示すフローチャートである。画像処理モデル構築処理の一例を示すフローチャートである。

＜実施形態＞
以下、本開示に係る実施形態について説明する。本開示の眼科画像処理装置は、被検眼の眼科画像を処理する。眼科画像処理装置は、例えば、画像取得部（例えば、制御部２１など）と、制御部（例えば、制御部２１など）を備える。画像取得部は、例えば、眼科画像を取得する。制御部は眼科画像を処理する。また、制御部は、画像取得部によって取得された眼科画像の中から、画像処理モデル（例えば、画像処理モデル１５）に学習させる学習用画像を選択する。

なお、制御部は、眼科画像を画像処理モデルに入力したときの出力に基づく評価値（例えば、迷い度）によって学習用画像を選択してもよい。評価値は、例えば、画像処理モデルの出力に関するエントロピーであってもよいし、標準偏差、変動係数、分散等であってもよい。

なお、制御部は、学習用画像に対するユーザのアノテーションによって付与されたアノテーション情報（例えば、ラベルなど）を取得してもよい。つまり、制御部は、学習用画像に対してユーザがアノテーションすることによって付与されたアノテーション情報を取得してもよい。なお、アノテーションは、例えば、学習用画像の各画素に対してラベルを付与することである。

なお、制御部は、学習用画像に対するアノテーション情報の候補（例えば、候補ラベル）を提示してもよい。例えば、制御部は、アノテーション情報の候補を表示部（例えば、表示部２８）などに表示させてもよい。アノテーション情報の候補は、学習用画像を画像処理モデルに入力したときの出力に基づいて作成されたものであってもよい。

なお、本開示は、眼科撮影装置に適用してもよい。例えば、被検眼の眼科画像を撮影する眼科撮影装置（例えば、眼科撮影装置３０）に適用してもよい。この場合、眼科撮影装置は、撮影部（例えば、眼科画像撮影部３４）と、制御部（例えば、制御部３１）を備えてもよい。撮影部は、眼科画像を撮影する。制御部は、眼科撮影装置を制御する。また、制御部は、撮影部によって撮影された眼科画像の中から、画像処理モデルに学習させる学習用画像を選択してもよい。この場合、制御部は、撮影部によって眼科画像が撮影される度に、画像処理モデルに学習させるための学習用画像を選択してもよい。

なお、眼科画像処理装置または眼科撮影装置は、学習用画像に対するアノテーションのためのインターフェイス（例えば、操作部２７、表示部２８、操作部３７、表示部３８など）を備えてもよい。この場合、制御部（例えば、制御部２１または制御部３１など）は、インターフェイスへの入力に基づいてアノテーション情報を取得してもよい。なお、制御部（例えば、制御部２１または制御部３１など）は、学習用画像に基づいて画像処理モデルを構築または更新してもよい。

＜実施例＞
以下、本開示における典型的な実施例の１つについて説明する。図１に示すように、本実施例の画像処理モデル構築システム１は、画像処理モデル構築装置１０、眼科画像処理装置２０、眼科撮影装置３０、および画像データベース（以下、画像ＤＢと略す）４０などを備える。画像処理モデル構築装置１０は、機械学習アルゴリズムによって画像処理モデル１５を訓練させることで、画像処理モデル１５を構築する。画像処理モデル１５は、例えば、被検眼における各々の組織の種類を確率変数とする確率分布を、入力された眼科画像の各領域毎（例えば画素毎）に出力する。この場合、画像処理モデル１５によって出力される確率分布に基づいて、眼科画像中の組織が識別される。また、画像処理モデル１５は、組織の識別結果を示すマッピング画像を出力してもよい。例えば、図２に示す画像処理モデル１５の例では、眼底断層画像が入力されることによって、網膜層ごとに色分けされたマッピング画像が出力される。いわゆる、網膜層のセグメンテーションである。眼科撮影装置３０は、被検眼の組織の画像である眼科画像を撮影する。画像ＤＢ４０は、眼科撮影装置３０によって撮影された眼科画像が記憶される。画像ＤＢ４０は、例えば、サーバなどである。

本実施例の画像処理モデル構築装置１０には、例えば、パーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。画像処理モデル構築装置１０は、例えば、眼科撮影装置３０が撮影した眼科画像と、眼科画像における少なくともいずれかの組織の種類を示すラベルとを利用して画像処理モデル１５を訓練させることで、画像処理モデル１５を構築する。なお、画像処理モデル構築装置１０として機能できるデバイスは、ＰＣに限定されない。例えば、眼科画像処理装置２０または眼科撮影装置３０が画像処理モデル構築装置１０として機能してもよい。また、複数のデバイスが、協働して画像処理モデルを構築してもよい。

また、本実施例の眼科画像処理装置２０にはＰＣが用いられる。しかし、眼科画像処理装置２０として機能できるデバイスも、ＰＣに限定されない。例えば、眼科撮影装置３０またはサーバ等が、眼科画像処理装置２０として機能してもよい。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置２０として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科撮影装置３０のＣＰＵ３２）が、協働して各種処理を行ってもよい。

また、本実施例では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。

＜画像処理モデル構築装置＞
画像処理モデル構築装置１０について説明する。画像処理モデル構築装置１０は、例えば、眼科画像処理装置２０または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。画像処理モデル構築装置１０は、各種制御処理を行う制御部１１を備える。制御部１１は、制御を司るコントローラであるＣＰＵ１２と、プログラムおよびデータ等を記憶することが可能な記憶装置１３を備える。記憶装置１３には、画像処理モデル構築処理を実行するための画像処理モデル構築プログラムが記憶されている。また、記憶装置１３には、ラベル付き画像が記憶されるラベル付き画像データベース（以下、ラベル付き画像ＤＢと略す）１４と、画像処理モデル１５が記憶される。なお、画像処理モデル構築装置１０は、図示なき通信手段によって他のデバイス（例えば、眼科画像処理装置２０および眼科撮影装置３０等）と接続される。

画像処理モデル構築装置１０は、操作部１７および表示部１８に接続されている。操作部１７は、ユーザＵが各種指示を画像処理モデル構築装置１０に入力するために、ユーザＵによって操作される。操作部１７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部１７と共に、または操作部１７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示部１８は、各種画像を表示する。表示部１８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。

画像処理モデル構築処理では、訓練データセットによって画像処理モデル１５が訓練されることで、眼科画像中の組織を識別するための確率分布を出力する画像処理モデル１５が構築される。訓練データセットには、入力側のデータ（入力用訓練データ）と出力側のデータ（出力用訓練データ）が含まれる。

画像処理モデル１５は、機械学習アルゴリズムに基づいて訓練データセットを学習する。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。

画像処理モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。画像処理モデルは、訓練データセットを用いて訓練されることで構築される。前述したように、訓練データセットは、入力用訓練データと出力用訓練データのセットである。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。

本実施例では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したいデータを生成するための出力層と、入力層と出力層の間の１つ以上の隠れ層を含む。各層には、複数のノード（ユニットとも言われる）が配置される。詳細には、本実施例では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）が用いられている。

一例として、本実施例で構築される画像処理モデル１５は、眼科画像中の領域（一次元領域、二次元領域、三次元領域、および、時間軸を含む四次元領域のいずれか）内において、特定の組織（例えば、特定の境界、特定の層、または特定の部位等）が存在する座標（一次元座標、二次元座標、三次元座標、および四次元座標のいずれか）を確率変数とする確率分布を、組織を識別するための確率分布として出力する。本実施例では、画像処理モデルに確率分布を出力させるために、ソフトマックス関数が適用されている。

また、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ：ＧＡＮ）が、機械学習アルゴリズムとして採用されてもよい。

＜眼科画像処理装置＞
眼科画像処理装置２０について説明する。眼科画像処理装置２０は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２０は、各種制御処理を行う制御部２１を備える。制御部２１は、制御を司るコントローラであるＣＰＵ２２と、プログラムおよびデータ等を記憶することが可能な記憶装置２３を備える。記憶装置２３には、眼科画像処理を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、画像処理モデル構築装置１０によって構築された画像処理モデルを実現させるプログラムが含まれる。眼科画像処理装置２０は、図示なき通信手段によって、眼科画像処理モデル構築装置１０、眼科撮影装置３０、画像ＤＢ４０などに接続されている。

眼科画像処理装置２０は、操作部２７および表示部２８に接続されている。操作部２７および表示部２８には、前述した操作部７および表示部８と同様に、種々のデバイスを使用することができる。

眼科画像処理装置２０は、眼科撮影装置３０、または画像ＤＢ４０から眼科画像を取得することができる。眼科画像処理装置２０は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科撮影装置３０、または画像ＤＢ４０から眼科画像を取得してもよい。この場合、制御部２１は、眼科画像を取得する画像取得手段として機能してもよい。また、眼科画像処理装置２０は、画像処理モデル構築装置１０によって構築された画像処理モデル１５を実現させるプログラム等を、通信手段等を介して取得してもよい。

＜眼科撮影装置＞
眼科撮影装置３０について説明する。本実施例では、眼科撮影装置３０として、ＯＣＴ装置を例示する。ただし、ＯＣＴ装置以外の眼科撮影装置（例えば、レーザ走査型検眼装置（ＳＬＯ）、眼底カメラ、シャインプルーフカメラ、または角膜内皮細胞撮影装置（ＣＥＭ）等）が用いられてもよい。

眼科撮影装置３０は、各種制御処理を行う制御部３１と、眼科画像撮影部３４を備える。制御部３１は、制御を司るコントローラであるＣＰＵ３２と、プログラムおよびデータ等を記憶することが可能な記憶装置３３を備える。

眼科画像撮影部３４は、被検眼の眼科画像を撮影するために必要な各種構成を備える。本実施例の眼科画像撮影部３４には、ＯＣＴ光源、ＯＣＴ光源から出射されたＯＣＴ光を測定光と参照光に分岐する分岐光学素子、測定光を走査するための走査部、測定光を被検眼に照射するための光学系、被検眼の組織によって反射された光と参照光の合成光を受光する受光素子等が含まれる。

眼科撮影装置３０は、被検眼の眼底の二次元断層画像および三次元断層画像を撮影することができる。詳細には、ＣＰＵ３２は、スキャンライン上にＯＣＴ光（測定光）を走査させることで、スキャンラインに交差する断面の二次元断層画像を撮影する。二次元断層画像は、同一部位の複数の断層画像に対して加算平均処理を行うことで生成された加算平均画像であってもよい。また、ＣＰＵ３２は、ＯＣＴ光を二次元的に走査することによって、組織における三次元断層画像を撮影することができる。例えば、ＣＰＵ３２は、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数の二次元断層画像を取得する。次いで、ＣＰＵ３２は、撮影された複数の二次元断層画像を組み合わせることで、三次元断層画像を取得する。

＜画像処理モデル構築処理＞
画像処理モデル構築システム１は、図３のフローチャートに示すように、ステップＳ１～ステップＳ８の流れで画像処理モデルを作成する。以下、各ステップについて説明する。

（Ｓ１：ラベル無し画像の入力）
ステップＳ１では、ラベルの付いていない眼科画像であるラベル無し画像が、眼科撮影装置３０から画像ＤＢ４０に大量に入力される。例えば、眼科撮影装置３０によって撮影されたラベル無し画像が通信手段を介して自動的に送信される。または、ユーザＵによって選択されたラベル無し画像が眼科撮影装置３０に入力されてもよい。眼科撮影装置３０としてＯＣＴ装置が用いられる場合、例えば、網膜層のセグメンテーションの行われていない断層画像がラベル無し画像として画像ＤＢ４０に入力される。

（Ｓ２：ランダムに画像選択）
ステップＳ２において、眼科画像処理装置２０の制御部２１は、画像ＤＢ４０に記憶された大量のラベル無し画像のうち一部をランダムに選択し、画像処理モデル１５に学習させるための学習用画像としてユーザＵに提供する。例えば、制御部２１は、選択したラベル無し画像を表示部２８に表示してもよい。

（Ｓ３：ラベル付け）
ステップＳ３では、眼科画像処理装置２０の制御部２１によって提供された学習用画像に対して、ユーザＵがラベル付け（アノテーション）を行う。ラベル（アノテーション情報）は、組織の識別情報などである。ユーザＵは、例えば、ラベル無し画像の各画素に対してラベル付けを行う。ユーザＵは、例えば、ペイントツールなどによって網膜層ごとの領域に断層画像を塗り分ける作業を行う。ユーザＵは、眼科画像処理装置２０の操作部２７および表示部２８などを用いてラベル付けを行ってもよいし、画像処理モデル構築装置１０の操作部１７および表示部１８などを用いてラベル付けを行ってもよい。また、眼科撮影装置３０が操作部３７および表示部３８を備えている場合、ユーザＵは、それらを用いてラベル付けを行ってもよい。

（Ｓ４：ラベル付き画像の入力）
ステップＳ４では、ユーザＵによってラベル付けされたラベル付き画像が、ラベル付き画像ＤＢ１４に入力される。例えば、眼科画像処理装置２０は、ユーザＵによってラベル付けされたラベル付き画像を画像処理モデル構築装置１０に送信する。画像処理モデル構築装置１０のＣＰＵ１２は、眼科画像処理装置２０から受信したラベル付き画像をラベル付き画像ＤＢ１４に記憶する。

（Ｓ５：ラベル付き画像の学習）
ステップＳ５において、画像処理モデル構築装置１０は、ラベル付き画像ＤＢ１４に記憶されたラベル付き画像を画像処理モデル１５に学習させる。例えば、ラベル付き画像の画像のみを入力し、その結果がラベルの情報と近づくように画像処理モデル１５の内部パラメータ（重み）が調整される。

（Ｓ６：モデルの評価）
ステップＳ６では、画像処理モデル構築装置１０は、画像処理モデル１５の精度を評価する。例えば、予め正解の用意された眼科画像を画像処理モデル１５に入力し、そのときの出力と、正解との比較によって評価する。また、画像処理モデル１５に眼科画像を入力し、そのときの出力が適正かどうか、ユーザＵが確認することで評価してもよい。画像処理モデル構築装置１０は、画像処理モデル１５の評価が良ければ画像処理モデルの構築処理を終了し、評価が悪ければステップＳ７の処理に移る。

（Ｓ７：迷い度の算出）
ステップＳ７において、眼科画像処理装置２０は、学習途中の画像処理モデル１５に画像ＤＢ４０のラベル無し画像を入力し、この画像に対する画像処理モデル１５の迷い度を算出させる。

本実施例では、迷い度として、各画素がどの網膜層であるかを示す確率分布Ｐのエントロピー（平均情報量）が算出される。エントロピーは、不確実性、乱雑さ、無秩序の度合いを表す。エントロピーは、以下の式（１）で与えられる。エントロピーＨ（Ｐ）は、０≦Ｈ（Ｐ）≦ｌｏｇ（事象の数）の値を取り、確率分布Ｐが偏っている程小さな値になる。つまり、エントロピーＨ（Ｐ）が小さい程、画像処理モデル１５は迷わずに組織を識別できていることになる。組織が正確に識別される場合の確率分布のエントロピーは、０となる。また、組織の識別が困難になる程、エントロピーＨ（Ｐ）は増大する。従って、迷い度として確率分布ＰのエントロピーＨ（Ｐ）を用いることで、画像処理モデル１５が識別困難な画像（つまり、学習させるべき画像）を判定することができる。

ただし、エントロピー以外の値が迷い度として採用されてもよい。例えば、取得された確率分布Ｐの散布度を示す標準偏差、変動係数、分散等の少なくともいずれかが迷い度として使用されてもよい。確率分布Ｐ同士の差異を図る尺度であるＫＬダイバージェンス等が迷い度として使用されてもよい。また、取得された確率分布Ｐの最大値が迷い度として使用されてもよい。また、取得された確率分布Ｐの最大値と、２番目に大きい値の差が迷い度として使用されてもよい。

（Ｓ８：迷い度で画像選択）
ステップＳ８において、眼科画像処理装置２０は、ステップＳ７において算出した迷い度に基づいて画像を画像処理モデル１５に学習させるための学習用画像を選択する。例えば、迷い度の高い画像の上位数枚を選択し、ユーザＵに提供する。画像処理モデル構築システム１は、画像処理モデル１５の精度が改善するまでステップＳ３～ステップＳ８を繰り返す。

なお、本実施例の画像処理モデル構築システム１は、ユーザＵのラベル付けを簡略化するためにステップＳ３のラベル付けを以下に説明する流れ（Ｓ３０１～Ｓ３０３）で行ってもよい（図４参照）。

（Ｓ３０１：候補ラベル作成）
ステップＳ３０１において、眼科画像処理装置２０は、迷い度に基づいて選択した学習用画像を画像処理モデル１５に入力して候補ラベルを作成する。つまり、学習途中である画像処理モデル１５に学習用画像（ラベル無し画像）を入力したときの出力をその学習用画像のラベルとする。

（Ｓ３０２：候補ラベル付加）
ステップＳ３０２において、眼科画像処理装置２０は、ステップＳ３０１で作成した候補ラベルを学習用画像に付加する。

（Ｓ３０３：候補ラベル確認・修正）
ステップＳ３０３において、ユーザＵは画像処理モデル構築システム１によって提供された学習用画像と、その候補ラベルを比較し、候補ラベルが学習用画像に対して適切か否かを確認する。候補ラベルが適切であれば、それを学習用画像のラベルとする。候補ラベルが適切でなければ、候補ラベルを修正するか、新たにラベルを作成する。

以上のように、画像処理モデル構築システム１は、大量のラベル無し画像から選択された一部の画像のみを学習することによって、アノテーションの量を減らしつつ、効率的に精度の高い画像処理モデル１５の構築を行うことができる。また、画像処理モデル構築システム１は、学習用画像にラベル候補を付加することによって、アノテーションを簡略化し、ユーザの負担を減らすことができる。特に、セグメンテーションの対象となる領域が小さく、形状が複雑で境界の区別がつきにくい眼科画像において、アノテーションの量が減り、作業が簡略化されることで、アノテーションの漏れや間違いが生じる可能性を低減できる。

画像処理モデル１５の作成が容易になることで、病院または医師などの小規模単位での画像処理モデル１５の作成が可能となり、各ユーザに適した画像処理モデル１５を作成することができる。また、研究目的での画像処理モデル１５の利用も促進される。

なお、以上の説明では、網膜層のセグメンテーションモデルの作成を例としたが、それ以外の画像識別や回帰モデル（例えば、数値を出力するモデル）に適用することも可能である。

なお、学習用画像を選択する場合、画像ＤＢ４０に記憶されたラベル無し画像の一部を切り出して学習用画像としてもよい。例えば、画像から検出された特徴部（病変部など）を切り出してもよいし、画像の迷い度が大きい部分を切り出してもよい。

なお、学習用画像を選択するときの選択基準として、眼科画像に付加されている付加情報であってもよい。付加情報としては、例えば、撮影されている被検眼の病名、眼科撮影装置３０で撮影したときの撮影条件などである。例えば、眼科画像処理装置２０は、できるだけ異なる病名または撮影条件の眼科画像が画像処理モデル１５に学習されるように学習用画像を選択する。例えば、眼科画像処理装置２０は、画像ＤＢ４０に記憶された画像の中で、他に比べて数が少ない病名または撮影条件の眼科画像を優先して学習用画像として選択してもよい。

また、学習用画像を選択するときの選択基準として、眼科画像の信号の強さ、または信号の良好さを示す指標（例えば、ＳＳＩ（ＳｉｇｎａｌＳｔｒｅｎｇｔｈＩｎｄｅｘ）またはＱＩ（ＱｕａｌｉｔｙＩｎｄｅｘ）等）が用いられてもよい。この場合、例えば、ＣＰＵ２２は、取得した指標が閾値以下である場合、適正な画像ではないと判定し、学習用画像の選択肢から排除してもよい。

なお、画像処理モデル１５に入力される眼科画像には、種々の画像を用いることができる。例えば、眼科画像は、ＯＣＴ装置によって撮影された被検眼の組織の二次元断層画像または三次元断層画像であってもよい。断層画像は、ＯＣＴ装置以外の装置（例えばシャインプルーフカメラ等）によって撮影されてもよい。また、眼科画像は、眼底カメラによって撮影された二次元正面画像、レーザ走査型検眼装置（ＳＬＯ）によって撮影された二次元正面画像等であってもよい。眼科画像は、ＯＣＴ装置によって撮影された三次元断層画像のデータに基づいて生成される二次元正面画像（所謂「Ｅｎｆａｃｅ画像」）であってもよい。また、眼科画像は、同一位置から異なる時間に取得された複数のＯＣＴデータを処理することで得られるモーションコントラストデータから作成される二次元正面画像（所謂「モーションコントラスト画像」）であってもよい。二次元正面画像とは、撮影光の光軸の方向から組織を撮影した二次元の画像である。また、撮影対象となる組織も適宜選択できる。例えば、被検眼の眼底、前眼部、隅角等のいずれかを撮影した画像が眼科画像として用いられてもよい。

１画像処理モデル構築システム
１０画像処理モデル構築装置
２０眼科画像処理装置
３０眼科撮影装置

Claims

被検眼の眼科画像を処理する眼科画像処理装置であって、
前記眼科画像を取得する画像取得手段と、
前記眼科画像を処理する制御手段と、を備え、
前記制御手段は、前記画像取得手段によって取得された前記眼科画像の中から、前記眼科画像における網膜層のセグメンテーションを行う画像処理モデルに学習させる学習用画像を、前記眼科画像を前記画像処理モデルに入力したときの、各画素がどの網膜層であるかを示す確率分布のエントロピーまたは各画素がどの網膜層であるかを示す確率分布の散布度によって選択することを特徴とする眼科画像処理装置。
被検眼の眼科画像を撮影する眼科撮影装置であって、
前記眼科画像を撮影する撮影手段と、
前記眼科撮影装置を制御する制御手段と、を備え、
前記制御手段は、前記撮影手段によって撮影された前記眼科画像の中から、前記眼科画像における網膜層のセグメンテーションを行う画像処理モデルに学習させる学習用画像を、前記眼科画像を前記画像処理モデルに入力したときの、各画素がどの網膜層であるかを示す確率分布のエントロピーまたは各画素がどの網膜層であるかを示す確率分布の散布度によって選択することを特徴とする眼科撮影装置。