JP7246862B2 - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents
画像処理装置、画像処理装置の制御方法及びプログラム Download PDFInfo
- Publication number
- JP7246862B2 JP7246862B2 JP2018080767A JP2018080767A JP7246862B2 JP 7246862 B2 JP7246862 B2 JP 7246862B2 JP 2018080767 A JP2018080767 A JP 2018080767A JP 2018080767 A JP2018080767 A JP 2018080767A JP 7246862 B2 JP7246862 B2 JP 7246862B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pole
- boundary line
- boundary
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Description
被検眼の眼底血管画像における無血管領域の1つの極を決定する極決定手段と、
前記決定された1つの極に基づいて、前記眼底血管画像を直交座標画像とは異なる座標画像に変換する座標変換処理を実行する座標変換手段と、
前記異なる座標画像における前記1つの極に対応する前記無血管領域の1つの境界線候補を決定し、前記1つの境界線候補に基づいて決定された少なくとも1つの極に対応する少なくとも1つの境界線候補を決定し、前記少なくとも1つの境界線候補に基づいて前記無血管領域の境界線を決定する境界線決定手段と、を備える。
以下、図面を参照しながら、第一実施形態について説明する。なお、本実施形態に係る画像処理装置は、入力された眼底血管画像に関して中心窩無血管性域(Foveal Avascular Zone:FAZ)や、無灌流領域(Non Perfusion Area:NPA)等の注目領域にある無血管領域の特定を行う。例えば、本実施形態に係る画像処理装置は、無血管領域の一例であるNPAの中に極を設定(決定)し、直交座標の眼底血管画像から極座標の眼底血管画像に変換する座標変換処理を実行する座標変換手段を備える。すなわち、本実施形態に係る座標変換手段は、決定された極に基づいて、眼底血管画像を直交座標画像とは異なる座標画像に変換する座標変換処理を実行する。ここで、直交座標画像とは異なる座標画像とは、例えば、極座標画像、球面座標画像(3次元の極座標画像)、円柱座標画像である。また、決定された極は、極座標の原点となる。そして、本実施形態に係る画像処理装置は、異なる座標画像における無血管領域の境界線を決定する境界線決定手段を備える。本実施形態は、極座標で表現されている眼底血管画像でNPA内の極を起点として最初のエッジ(端)を見つけることによって、NPAの境界線や領域を特定する方法例を示している。以下、図面を参照しながら、第一実施形態に係る画像処理装置を備える画像処理システムについて説明する。
本実施形態の断層画像撮影装置100における測定光学系及び分光器の構成について図2(b)を用いて説明する。まず、測定光学系100-1の内部について説明する。被検眼200に対向して対物レンズ201が設置され、その光軸上に第1ダイクロイックミラー202及び第2ダイクロイックミラー203が配置されている。これらのダイクロイックミラーによってOCT光学系の光路250、SLO光学系と固視灯用の光路251、及び前眼観察用の光路252とに波長帯域ごとに分岐される。
本実施形態の画像処理装置101の構成について図1を用いて説明する。画像処理装置101は、断層画像撮影装置100に接続されたパーソナルコンピュータ(PC)であり、画像取得部101-01、記憶部101-02、撮影制御部101-03、画像処理部101-04、表示制御部101-05を備える。また、画像処理装置101は、演算処理装置CPUが画像取得部101-01、撮影制御部101-03、画像処理部101-04及び表示制御部101-05を実現するソフトウェアモジュールを実行することで機能を実現する。本発明はこれに限定されず、例えば、画像処理部101-04をASIC等の専用のハードウェアで実現してもよいし、表示制御部101-05をCPUとは異なるGPU等の専用プロセッサを用いて実現してもよい。また、断層画像撮影装置100と画像処理装置101との接続は、ネットワークを介した構成であってもよい。
ステップS310において、画像処理部101-04は、眼底血管画像であるモーションコントラスト画像を取得する。画像処理部101-04は外部記憶部102にすでに記憶されている眼底血管画像を取得してもよいが、本実施形態において、測定光学系100-1を制御して、取得された断層像からモーションコントラスト画像生成し取得する例を示す。これらの処理の詳細説明を、後述する。または、本実施形態において、この取得方法に限定するものではなく、眼底血管画像の取得であれば、その他の方法でもよい。または本実施形態での眼底血管画像として図5(A)が示すようなモーションコントラスト画像を例として説明をするが、それに限らず、その他の眼底血管画像、例えばフルオレセイン血管造影画像、インドシアニングリーン(indocyanine green: ICG)血管造影画像、OCT血管造影画像その他のような眼底血管画像でもよい。
ステップS320において、強調部101-461は、ノイズの影響を最小にして、眼底血管画像の画像強調を行う。この処理の具体説明は以下の通りである。
1) ステップS310で取得された眼底血管画像にnarrow window sizeのGaussian Low Pass Filter(LPF)をかけて、Light-Filtered OCTA image(LF-OCTA画像)を生成する。ここでは、narrow window sizeは3ピクセルとする。
2) ステップS310で取得された眼底血管画像にwide window sizeのGaussian Low Pass Filter(LPF)をかけて、Strong-Filtered OCTA image(SF-OCTA画像)を生成する。ここでは、wide window sizeは85ピクセルとする。
3) LF-OCTAをSF-OCTAで割り算を行い、Relative Variation OCTA(RV-OCTA)画像を生成する。
4) 特定の閾値RL(ratio limit)を用いて、RV-OCTAの二値化を行う。すなわち、強調部101-461は、眼底血管画像に対して二値化処理を実行することにより、眼底血管画像における血管構造を強調する強調処理を実行する。ここでは、閾値RLを、1とする。RV-OCTAの各ピクセル値がRL以下であればそのピクセルをゼロにする。さもなければ、そのピクセルを1にする。
5) 二値化された画像に、morphological filterをかける。ここでは、kernel size =3のopen-close処理を行う。この処理によって画像上のノイズを減らし、血管構造の連続性を改善する。図5(B)はこのステップの処理結果の例を示す。
ステップS330において、極決定手段の一例である画像処理部101-04は、眼底血管画像内の無血管領域の極を決定する。ここでは、極の決定方法として、入力部103が取得する不図示のユーザーの操作による方法とする。具体的に、画像処理装置101が表示部104にOCTA画像を表示し、ユーザーがマウス、キーボード、タッチスクリーンまたはその他の入力デバイスを用いてOCTA画像内のNPAの一点を選択するとその操作は入力部103が取得し、選択された情報を画像処理装置101に送る。ただし、本実施形態ではこの方法に限定することなく、眼底血管画像または眼底画像の解析結果に基づいて自動的に極を決定する方法を用いてもよい。たとえば、
‐ OCTA画像の構造解析を行い、解析結果に基づいて中心窩を検出する。
‐ OCTA画像にStrong low pass filterをかけ、解析結果に基づいてminimum intensityの領域を検出する。
‐ その他のmodalityの眼底画像(例:SLOや、眼底カメラ画像)の解析結果を用いて検出する。
等、検出された領域内の一点を極として決定しても良い。
ステップS340において、領域特定手段の一例である画像処理部101-04は、ステップS330で決定された極を用いて、その極を含むNPA領域の特定を行う。このとき、決定された極は、極座標の原点となる。なお、NPA領域の特定は、決定された極に基づいて、NPA領域の境界線が決定されることにより実行される。また、ステップS330において、位置決定手段の一例である画像処理部101-04は、被検眼の眼底血管画像に対する検者からの指示に応じて、眼底血管画像における無血管領域の位置を決定しても良い。このとき、ステップS340において、境界線決定手段の一例である画像処理部101-04は、決定された位置に基づいて、無血管領域の境界線を決定しても良い。このとき、決定された位置は、境界線を決定するための位置に相当する。これらの処理の詳細説明を、後述する。
ステップS350において、画像処理部101-04は、ステップS340で特定されたNPA情報を記憶部101-02へ送り、記憶部101-02はNPA情報を記憶する。さらに、ステップS350において、記憶部101-02は、記憶されたNPA情報と、眼底血管画像を表示部104へ送り、眼底血管画像にNPA情報を重ねて、表示をする。すなわち、表示制御部101-05は、特定されたNPA領域を示す情報を眼底血管画像に重畳した状態で表示部104に表示させる。また、表示制御部101-05は、決定されたNPA領域の境界線を示す情報を眼底血管画像に重畳した状態で表示部104に表示させる。なお、これらの情報は、例えば、領域の外枠を示す線や、領域の内部を示す色であることが好ましいが、領域が識別可能であればどのような表示であっても良い。このとき、表示制御部101-05は、NPA領域に関する計測値を眼底血管画像に重畳した状態で表示部104に表示させても良い。また、検者からの指示に応じて、決定されたNPA領域の境界線を示す情報の位置が変更可能に構成されることが好ましい。これにより、検者の利便性が向上するため、診断効率も向上する。
ステップS311において、画像制御部101-03は、操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCTA画像の撮影条件を設定する。具体的には
1)検査セットの選択もしくは登録
2)選択した検査セットにおけるスキャンモードの選択もしくは追加
3)スキャンモードに対応する撮影パラメータ設定
の手順からなり、本実施形態では以下のように設定してS302において適宜休憩を挟みながら(同一撮像条件の)OCTA撮影を所定の回数だけ繰り返し実行する。
2)OCTAスキャンモードを選択
3)以下の撮影パラメータを設定
3-1)走査パターン:Small Square
3-2)走査領域サイズ:3x3mm
3-3)主走査方向:水平方向
3-4)走査間隔:0.01mm
3-5)固視灯位置:中心窩
3-7)1クラスタあたりのBスキャン数:4
3-6)コヒーレンスゲート位置:硝子体側
3-7)既定表示レポート種別:単検査用レポート
なお、検査セットとは検査目的別に設定した(スキャンモードを含む)撮像手順や、各スキャンモードで取得したOCT画像やOCTA画像の既定の表示法を指す。これにより、黄斑疾患眼向けの設定がなされたOCTAスキャンモードを含む検査セットが「Macular Disease」という名前で登録される。登録された検査セットは外部記憶部102に記憶される。
ステップS312において、入力部103は、操作者から撮影開始の指示を取得すると、ステップS311で指定した撮影条件による繰り返しOCTA撮影を開始する。撮影制御部101-03は、断層画像撮影装置100に対してステップS311で操作者が指示した設定に基づいて繰り返しOCTA撮影を実施することを指示し、断層画像撮影装置100が対応するOCT断層画像を取得する。なお、本実施形態では本ステップにおける繰り返し撮像回数を3回とする。これに限らず、繰り返し撮像回数は任意の回数に設定してよい。また、本発明は繰り返し撮影間の撮影時間間隔が各繰り返し撮影内の断層像の撮影時間間隔よりも長い場合に限定されるものではなく、両者が略同一である場合も本発明に含まれる。また、断層画像撮影装置100はSLO画像の取得も行い、SLO動画像に基づく追尾処理を実行する。本実施形態において繰り返しOCTA撮影における追尾処理に用いる基準SLO画像は1回目の繰り返しOCTA撮影において設定した基準SLO画像とし、全ての繰り返しOCTA撮影において共通の基準SLO画像を用いる。また、OCTA繰り返し撮影中は、ステップS311で設定した撮影条件に加えて
・左右眼の選択
・追尾処理の実行有無
についても同じ設定値を用いる(変更しない)ものとする。
ステップS313において、画像取得部101-01及び画像処理部101-04は、S302で取得されたOCT断層画像に基づいてモーションコントラスト画像を生成する。まず断層画像生成部101-11は画像取得部101-01が取得した干渉信号に対して波数変換及び高速フーリエ変換(FFT)、絶対値変換(振幅の取得)を行うことで1クラスタ分の断層画像を生成する。
ステップS314において、画像処理部101-04は、繰り返しOCTA撮影を通して得られたモーションコントラスト画像群を3次元的に位置合わせし、加算平均することで高コントラストな合成モーションコントラスト画像を生成する。なお、合成処理は単純加算平均に限定されない。例えば各モーションコントラスト画像の輝度値に対して任意の重みづけをした上で平均した値でもよいし、中央値をはじめとする任意の統計値を算出してもよい。また位置合わせ処理を2次元的に行う場合も本発明に含まれる。なお、合成部101-42が合成処理に不適なモーションコントラスト画像が含まれているか否かを判定した上で、不適と判定したモーションコントラスト画像を除いて合成処理を行うよう構成してもよい。例えば、各モーションコントラスト画像に対して評価値(例えば脱相関値の平均値や、fSNR)が所定の範囲外である場合に、合成処理に不適と判定すればよい。
ステップS315において、画像処理装置101は取得した画像群(SLO画像や断層画像)と該画像群の撮影条件データや、生成した3次元及びモーションコントラスト正面画像と付随する生成条件データ、を検査日時、披検眼を同定する情報と関連付けて外部記憶部102へ保存する。
ステップS341において、座標変換部101-462は、決定された極に基づいて、直交座標のOCTA画像から極座標のOCTA画像への変換をする。すなわち、座標変換部101-462は、決定された極に基づいて、眼底血管画像を直交座標画像から極座標画像(直交座標画像とは異なる座標画像の一例)に変換する座標変換処理を実行する。角度ステップδθの値は、OCTA画像のサイズSとピクセル寸法pに依存する。極座標でloss-less imageを生成する角度ステップは、式(3)のようにコサイン法から算出することができる。
ステップS342において、境界線決定手段の一例である抽出部101-462は、ステップS341で生成された極座標画像から、NPAの境界線抽出を行う。極(極画像の一番下の端)を起点として最初に見つかったエッジをNPAの境界線候補とする。その最初のエッジは、図6の中で点線によって表されている。
ステップS343において、平滑化処理手段の一例である抽出部101-462は、ステップS342で抽出されたNPA境界線候補の平滑化処理を行う。ここでの平滑化処理では、10度のwindow sizeのmoving median filter(移動メディアンフィルタ)を用いる。この平滑化処理の目的は、ステップS343で抽出された境界線候補のspike(スパイク、特異点)を削除することである。これらのスパイクは、血管構造の不連続性から発生されて、NPA境界線としてふさわしくないとされる。図6の実線は、平滑化処理後のNPA境界線を示す。本実施形態での平滑化処理とmoving median filterを用いて説明をしたが、この方法に限らず、例えば移動平均法、Savitzky-Golayフィルタ、フーリエ変換法に基づくフィルタ等でもよい。
ステップS344において、座標変換部101-464は、ステップS343で抽出された極座標のNPA境界線画像を、直交座標へ変換する。
ステップS345において、生成手段の一例である計測部101-463はNPA領域のマスク画像を生成する。計測部101-463はステップS344で生成された直交座標のNPA境界線を用いて、NPA境界線内のピクセルを白ピクセルにして、それ以外のピクセルを黒ピクセルにすることで、NPAマスク画像の生成をする。NPAマスク画像の白い領域がNPA領域とする。図7は、NPAマスク画像の例を示す。
なお、本実施形態では、ステップS342においてNPAの境界線抽出の処理例を説明したが、その方法に限る必要はない。図8(A)は、OCTA画像にノイズがある場合の例を示す。この例のように、極10はノイズ20(2ピクセルノイズ)に割り当てられた場合、極座標に変換した後に、ノイズ20は、図8(B)が示すように極座標画像のRadius=0に相当する。そして、最初のエッジはR=0になるので、正しいNPAの境界線抽出ができない。この問題を避けるため、ステップS342での処理はピクセルが非信号ピクセル(ピクセル値がゼロに等しい)か否を確認し、次のようする:最初のエッジを探索する際に、Radius=0は信号ピクセル(ピクセルに信号がある)である場合に、非信号ピクセルを見つかるまで順次にRadius値をインクリメントする。非信号ピクセルを見つかった後に、さらに信号ピクセルを見つかるまで順次にRadius値をインクリメントし、最初の信号ピクセルを見つかったらそれをNPAの境界線にする。さらに、その他の処理方法でもよい。例えば、極を決定する際にそのピクセルに信号がある場合、周辺の非信号ピクセルを探索し、非信号ピクセルを極として利用する、等の方法でもよい。
なお、本実施形態では、ステップS343においてNPAの境界線平滑化の処理例に固定のwindow sizeのmoving median filterを用いた処理例説明したが、その方法に限る必要はない。ここでは、図9を用いて、極からNPA境界線までの距離に基づいてwindow sizeを決定する例を説明する。図9(A)は、直交座標系のOCTA画像のNPA領域を示す。図9(A)では、実線100と実線120はNPA境界線である。図9(B)は、同じ画像の極座標画像を示す。直交座標ではギャップ110と130は同じ大きさであるが、極140からの距離により、極座標画像でのギャップ110と130の大きさは大きく異なる、即ち、ギャップ110はギャップ130より大きくなる。ここで、moving median filter のwindow sizeを式(4)のようにする。
なお、本実施形態では、眼底血管画像としてOCTA画像を用いて説明を行ったが、これに限ることがなく、その他の眼底血管画像、例えば、フルオレセイン血管造影画像、ICGA血管造影画像、またはその他の造影眼底画像でもよい。
第一実施形態においては、極座標OCTA画像を生成し、NPA境界線を抽出して、NPA領域特定方法の説明を行った。ただし、NPA領域特定は一つの極に基づいて算出されたものであるので、画像のノイズの影響が受けやすくなっている。本実施形態では、NPA領域特定をよりロバストに行うために、複数の極に基づいて、それぞれからNPA領域を特定し、各々のNPA領域特定結果を用いて、最終NPA領域を特定する。すなわち、本実施形態に係る極決定手段は、無血管領域の1つの極を決定し、1つの極に対応する無血管領域の境界線に基づいて少なくとも1つの極を決定する。また、本実施形態に係る境界線決定手段は、1つの極及び少なくとも1つの極を含む複数の極に対応する複数の境界線に基づいて、無血管領域の1つの境界線を決定する。
ステップS850において、極決定手段の一例である画像処理部101-04は、前ステップで特定されたNPA領域から追加する極候補を取得する。すなわち、極決定手段は、ステップS830で最初に1つの極(第一極)を決定し、1つの極とは異なる少なくとも1つの極(複数の極のうち他の少なくとも1つの極)を決定する。ここでは、縮小されたNPA領域を用いる一例を説明する。本実施形態では、図12が示すように、縮小率=0.6;縮小中心:領域の重心とする。次に、縮小された領域の輪郭から複数の点(複数の位置)を選定する。ここでは、輪郭線上に、略等間隔に置かれた30点を、複数の極(中心点)候補とする。ただし、本実施形態では縮小率と中心の決定はこちらの方法で限定することなく、例えば、縮小率=0.9;縮小中心:領域内にランダムにしてもよい。さらに、固定の極点数を例として説明をするが、こちらに限ることなく、例えば、輪郭線の大きさに応じて点数を決定しても良い。なお、本実施形態では、複数の極候補を決定する方法は上記の方法に限定することなく、例えば、NPA領域内に2次元的に等間隔に極候補を置いてもよい。または、その他の方法でもよい。
ステップS860において、画像処理部101-04は、ステップS850で算出された複数の極候補から一つの候補を選択する。ここでは、その極候補を、極(J)、またはJ番目の候補と言う。最初の候補は、J=1とする。
ステップS870において、画像処理部101-04は、ステップS860で選択された極(J)を用いて、NPA(J)領域を特定する。この処理は第一実施形態におけるステップS340と同じであるので、ここでの説明を省略する。極(J)を用いて特定されたNPA領域は、NPA(J)、または中間NPA領域と言う。
ステップS880において、画像処理部101-04は、ステップS870で極(J)を用いて特定された中間NPA(J)領域を記憶部101-02に保存する。
ステップS890において、画像処理部101-04は、ステップS850で取得された複数の極の次の候補があるか否かを判断する。次の候補がある場合は、それを極(J+1)とし、処理はステップS860へ進む。ステップS850で取得されたすべての極からそれぞれの中間NPAの特定が終わっていれば、処理はステップS900へ進む。
ステップS900において、境界線決定手段の一例である画像処理部101-04は、ステップS880で保存された、すべての中間NPA領域を用いて、最終NPA領域を合成する。すなわち、本実施形態に係る境界線決定手段は、複数の極に対応する複数の境界線で規定される複数の領域を合成することにより、1つの境界線を決定する。本実施形態では、合成方法として、各中間NPA領域の合算を行い、さらに各ピクセル(NPA領域内の位置)に共通になったNPA領域の枚数を重みとする。図13は、その一例を示す。そして、一定の重み以上(例:極候補数の半分)のあるピクセル(位置)が最終NPA領域とする。なお、その他の合成方法でもよい。例えば、すべての中間NPA領域のAND処理をしてもよい。
ステップS910において、画像処理部101-04は、ステップS900で合成された最終NPAの精度は十分かどうかを判断する。本実施形態では、合成された最終NPAから再度追加候補を行う例を説明する。すなわち、ステップS850からステップS900の処理ループを再度実行する。ここでは、最終NPAの精度を上げるため、ステップS850からステップS900の処理ループを2回実行する。なお、ここでは固定の回数(2回)を例として説明したが、その他の固定の回数でもよい。また、例えば、すべての処理ループから得られたNPA合成結果を用いて、さらに新たなNPAを合成してもよい。ステップS910で、処理ループをもう一度回すなら処理はS850へ戻る。NPA合成は十分であれば、処理はステップS920へ進む。具体的には、1つの極に対応する無血管領域の境界線と、複数の極に対応する複数の境界線に基づいて決定された1つの境界線との間の変化を示す値が閾値以上である場合には、不十分であると判断する。すなわち、本実施形態に係る極決定手段は、変化を示す値が閾値以上である場合には、少なくとも1つの極を追加する極として再度決定する。また、変化を示す値が閾値未満である場合には、十分であると判断する。すなわち、本実施形態に係る極決定手段は、変化を示す値が閾値未満である場合には、少なくとも1つの極の決定を終了する。なお、変化を示す値は、例えば、境界線で規定される領域の面積である。
ステップS920において、画像処理部101-04は、ここまでの処理で算出されたNPA領域情報を記憶部101-02に保存する。
なお、本実施形態では、ステップS341において角度ステップδθの値は、OCTA画像のサイズSとピクセル寸法pに依存し、角度ステップδθとして固定値を用いたが、固定値に限る必要がなく、可変にしてもよい。例えばNPA境界線上で、サンプリングポイントがほぼ等間隔になるように角度ステップδθ(i)を決めてもよい。そして、サンプリング角度θ(i)=θ(i-1)+δθ(i)とする。次の処理は、その一例である。ステップS342において、画像処理部101-04は、NPA境界線を抽出した後に、その境界線上でそれぞれのサンプリングポイント(i)が等間隔(またはほぼ等間隔)になるように、角度ステップδθ(i)を特定する。そして、ステップS870で再度NPA特定処理が実行されると、ステップS341の座標変換に、角度ステップδθ(i)を利用する。図10は、その一例を示す。または、ステップS342において、サンプル角度θ(i)は抽出したNPA境界線までの距離R(j)に基づいて算出してもよい。次はその一例である。まずサンプル角度θ(0) =0度でのNPA境界線までの距離R(0)を算出し、K(0) = θ(0) x R(0)とする。そして、θ(i) = K(i-1) / R(i-1)とする。ただし、角度θ(i)はラジアン単位である。
なお、本実施形態では、ステップS850において前ステップで特定されたNPA領域の極座標上の境界線の一次微分の解析結果に基づいて、追加する極候補を取得してもよい。図14を用いて、その一例の説明をする。図14(A)は、極座標でのNPA領域の境界線を示す。そして、図14(B)は、その境界線に対応する一次微分の結果を示す。そして、極候補は、一次微分に現れたピークに基づいて確定する。ここでは、閾値=3ピクセルとする。図14(B)での点線が閾値を示す。ただし、ここでは固定の閾値を用いて説明するが、その値に限定するものではなく、例えば、角度ステップδθに依存させても良いし、またはその他の値でもよい。その一次微分の値は、±閾値を超えた位置に基づいて極候補を確定する。例として、図14(B)の一次微分のピークがあるθAとθBを用いて、説明をする。図15は、θAとθBを含む図14(A)の部分拡大である。距離RAは、角度(θA+Δθ)の位置の距離Rとする。そして、追加する極候補Aは、(θA+Δθ、γRA)とする。同様に、極候補Bは、(θB―Δθ、γxRB)とする。角度θに対して、Δθを足すか引くかは、一次微分が真か負かに基づいて決める。ここでの説明は、Δθ=7.5度、γ=0.78とするが、その他、経験に基づいて決められた値でもよい。γ=1.0に近いほど、複雑な領域の特異点に近いところで極候補を置くことができる。
なお、本実施形態では、ステップS910において、固定の回数を例として説明したが、この方法に限定するものではない。例えば、ステップS900でのNPA合成結果の変化に基づいて処理ループを再度実行するかどうかの判定をするのも良い。すなわち、NPA合成結果と前処理ループの結果と比較して、その差が少なければ、処理ループをやめてもよい。次に、その一例の説明を行う。処理ループkのNPA領域面積値はA(k)とする。そして、変化ΔA=100%x(A(k)-A(k-1))/ A(k-1)とする。変化ΔAが閾値=5%以下であれば、処理ループを終了とする。ここでは、終了条件の閾値は5%にしたが、例えば条件変化ΔAは、処理時間やNPA領域の複雑化に基づいて閾値を決定してもよい。また、NPA領域面積値A(k)が収束傾向にあれば、処理ループを終了してもよい。例えば、処理ループkの変化ΔA(k)の変化(すなわちΔA(k)―ΔA(k-1))が閾値以下であれば、処理を終了することにしてもよい。
第二実施形態においては、最初に推定されたNPA領域、NPA(0)から複数の極に基づいて、それぞれからNPA領域を特定し、各々のNPA領域特定結果を用いて、最終NPA領域を特定する方法の説明を行ったが、画像強調処理は、ステップS820で行っていた。本実施形態では、画像強調処理は、最初に推定されたNPA領域、NPA(0)に基づいて行う例を説明する。本実施形態に係る画像処理装置の構成は第一実施形態と同じなので、説明を省略する。本実施形態の画像処理装置による本システム全体の動作処理は、第二実施形態と同じなので、説明を省略する。ただし、ステップS860とステップS870のあいだにステップS865を追加する。ステップS865の動作説明は次である。
ステップS865において、強調部101-461は、ノイズの影響を最小にして、眼底血管画像の画像強調を行う。ステップS865はステップS320と同じであるが、二値化処理(ステップS320の詳細処理4)が異なるので、ここで詳細説明をする。閾値RLは、NPA(0)の解析結果に基づいて決定する。すなわち、閾値RL=NF + 3xSDとする。ただし、NF(noise floor)は、領域NPA(0)内の画素値の平均値である。SDは、領域NPA(0)内の画素値の標準偏差値である。以上、本実施形態の眼底血管画像のNPA領域特定手順の詳細説明を終了する。以上の構成によって、眼底血管画像(OCTA画像)の注目領域であるNPA領域の情報に基づいて二値化処理を行うことで、NPA領域を特定するためのノイズの影響を減らすことができ、信号である血管情報が強調され、NPA領域の境界線の特定精度がさらによくすることが可能である。
第二実施形態においては、2次元の眼底血管画像に基づいて2次元のNPA領域の特定方法の説明を行った。本実施形態では、3次元の眼底血管画像に基づいて3次元のNPA領域の特定を行う例を説明する。本実施形態に係る画像処理装置の構成は第一実施形態と同じなので、説明を省略する。本実施形態の画像処理装置による本システム全体の動作処理は、第二実施形態と同じなので、説明を省略する。ただし、ステップS320、ステップS341、ステップS344とステップS850の処理が異なるので、ここで詳細説明を行う。
本実施形態のステップS320において、強調部101-461は、ノイズの影響を最小にして、3次元的に、眼底血管画像の画像強調を行う。本実施形態のステップS320で用いるLPF処理は、3次元フィルタを用いる。その他の処理も、同様に3次元的に行う。
本実施形態のステップS341において、座標変換部101-462は、決定された極に基づいて、直交座標の3次元OCTA画像から球面座標(3次元の極座標)の3次元OCTA画像への変換をする。このとき、決定された極は、3次元の極座標の原点となる。
本実施形態のステップS344において、座標変換部101-462は、決定された極に基づいて、球面座標の3次元OCTA画像から直交座標の3次元OCTA画像への変換をする。
本実施形態のステップS850において、画像処理部101-04は、前ステップで特定された3次元のNPA領域から追加する極候補を取得する。ここでは、縮小された3次元NPA領域の体積の境界面を利用する。そして、処理は、2次元的処理と類似処理を行う。ただし、こちらの方法に限ることなく、その他、3次元的な処理方法でもよい。
なお、本実施形態では、3次元座標変換には球面座標を用いて説明を行ったが、その他の3次元座標を用いても良い。例えば、3次元直交座標から、円柱座標への座標変換を用いても良い。この場合は、LPF等の処理は2次元的に行ってもよい。解剖学的に網膜は球体よりも、円柱に近い形をしているので、こちらの方法でより適切に処理を行うことができる。以上の構成によって、3次元眼底血管画像(OCTA画像)から3次元のNPA領域を特定することが可能になり、NPAの体積等、の解析を行うことも可能になる。
上記の各実施形態では、本発明を画像処理装置101として実現したが、本発明の実施形態は画像処理装置101のみに限定されるものではない。例えば、本発明はシステム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることができる。
Claims (13)
- 被検眼の眼底血管画像における無血管領域の1つの極を決定する極決定手段と、
前記決定された1つの極に基づいて、前記眼底血管画像を直交座標画像とは異なる座標画像に変換する座標変換処理を実行する座標変換手段と、
前記異なる座標画像における前記1つの極に対応する前記無血管領域の1つの境界線候補を決定し、前記1つの境界線候補に基づいて決定された少なくとも1つの極に対応する少なくとも1つの境界線候補を決定し、前記少なくとも1つの境界線候補に基づいて前記無血管領域の境界線を決定する境界線決定手段と、
を備えることを特徴とする画像処理装置。 - 前記座標変換手段は、前記決定された境界線を示す境界線画像を前記異なる座標画像から前記直交座標画像に変換することを特徴とする請求項1に記載の画像処理装置。
- 前記境界線決定手段は、前記決定された境界線の平滑化処理を実行する平滑化処理手段を更に備え、
前記座標変換手段は、前記平滑化処理して得た境界線を示す境界線画像を前記異なる座標画像から前記直交座標画像に変換することを特徴とする請求項2に記載の画像処理装置。 - 被検眼の眼底血管画像における無血管領域の1つの極を決定し、前記1つの極に対応する前記無血管領域の1つの境界線候補に基づいて少なくとも1つの極を決定する極決定手段と、
前記少なくとも1つの極に対応する少なくとも1つの境界線候補に基づいて、前記無血管領域の境界線を決定する境界線決定手段と、
を備えることを特徴とする画像処理装置。 - 前記1つの境界線候補と前記少なくとも1つの境界線候補とで規定される複数の領域を合成することにより、前記1つの境界線を決定することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記極決定手段は、前記眼底血管画像に対する検者からの指示、又は、前記眼底血管画像または前記被検眼の眼底画像の解析結果に基づいて、前記無血管領域の極を決定することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 被検眼の眼底血管画像に対する検者からの1つの指示に応じて、前記眼底血管画像における無血管領域の複数の位置を決定する位置決定手段と、
前記決定された複数の位置に基づいて、前記無血管領域の境界線を決定する境界線決定手段と、
を備えることを特徴とする画像処理装置。 - 前記決定された境界線を示す情報を前記眼底血管画像に重ねた状態で表示手段に表示させる表示制御手段を更に備え、
検者からの指示に応じて、前記決定された境界線を示す情報の位置が変更可能に構成されることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 前記決定された境界線により特定される領域に関する計測値を算出する計測手段を更に備え、
前記表示制御手段は、前記計測値を前記眼底血管画像に重ねた状態で前記表示手段に表示させることを特徴とする請求項8に記載の画像処理装置。 - 少なくとも極決定手段と座標変換手段と境界線決定手段を備えた画像処理装置の制御方法であって、
前記極決定手段が、被検眼の眼底血管画像における無血管領域の1つの極を決定する工程と、
前記座標変換手段が、前記決定された1つの極に基づいて、前記眼底血管画像を直交座標画像とは異なる座標画像に変換する座標変換処理を実行する工程と、
前記境界線決定手段が、前記異なる座標画像における前記1つの極に対応する前記無血管領域の1つの境界線候補を決定し、前記1つの境界線候補に基づいて決定された少なくとも1つの極に対応する少なくとも1つの境界線候補を決定し、前記少なくとも1つの境界線候補に基づいて前記無血管領域の境界線を決定する工程と、
を有することを特徴とする画像処理装置の制御方法。 - 少なくとも極決定手段と境界線決定手段を備えた画像処理装置の制御方法であって、
前記極決定手段が、被検眼の眼底血管画像における無血管領域の1つの極を決定し、前記1つの極に対応する前記無血管領域の1つの境界線候補に基づいて少なくとも1つの極を決定する工程と、
前記境界線決定手段が、前記少なくとも1つの極に対応する少なくとも1つの境界線候補に基づいて、前記無血管領域の境界線を決定する工程と、
を有することを特徴とする画像処理装置の制御方法。 - 少なくとも極決定手段と境界線決定手段を備えた画像処理装置の制御方法であって、
被検眼の眼底血管画像に対する検者からの1つの指示に応じて、前記極決定手段が前記眼底血管画像における無血管領域の複数の位置を決定する工程と、
前記決定された複数の位置に基づいて、前記境界線決定手段が前記無血管領域の境界線を決定する工程と、
を有することを特徴とする画像処理装置の制御方法。 - 請求項10乃至12のいずれか1項に記載の画像処理装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018080767A JP7246862B2 (ja) | 2018-04-19 | 2018-04-19 | 画像処理装置、画像処理装置の制御方法及びプログラム |
PCT/JP2019/015413 WO2019203056A1 (ja) | 2018-04-19 | 2019-04-09 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018080767A JP7246862B2 (ja) | 2018-04-19 | 2018-04-19 | 画像処理装置、画像処理装置の制御方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019187551A JP2019187551A (ja) | 2019-10-31 |
JP2019187551A5 JP2019187551A5 (ja) | 2021-05-27 |
JP7246862B2 true JP7246862B2 (ja) | 2023-03-28 |
Family
ID=68239986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018080767A Active JP7246862B2 (ja) | 2018-04-19 | 2018-04-19 | 画像処理装置、画像処理装置の制御方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7246862B2 (ja) |
WO (1) | WO2019203056A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7419042B2 (ja) * | 2019-11-29 | 2024-01-22 | キヤノン株式会社 | 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013208394A (ja) | 2012-03-30 | 2013-10-10 | Canon Inc | 光干渉断層撮影装置及びその方法 |
US20140073917A1 (en) | 2012-09-10 | 2014-03-13 | Oregon Health & Science University | Quantification of local circulation with oct angiography |
JP2016028781A (ja) | 2013-03-15 | 2016-03-03 | 株式会社トプコン | 眼科画像処理装置および眼科イメージング装置 |
JP2017006179A (ja) | 2015-06-16 | 2017-01-12 | 株式会社ニデック | Oct信号処理装置、oct信号処理プログラム、およびoct装置 |
JP2017047127A (ja) | 2015-09-04 | 2017-03-09 | 株式会社ニデック | Octモーションコントラストデータ解析装置、octモーションコントラストデータ解析プログラム。 |
-
2018
- 2018-04-19 JP JP2018080767A patent/JP7246862B2/ja active Active
-
2019
- 2019-04-09 WO PCT/JP2019/015413 patent/WO2019203056A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013208394A (ja) | 2012-03-30 | 2013-10-10 | Canon Inc | 光干渉断層撮影装置及びその方法 |
US20140073917A1 (en) | 2012-09-10 | 2014-03-13 | Oregon Health & Science University | Quantification of local circulation with oct angiography |
JP2016028781A (ja) | 2013-03-15 | 2016-03-03 | 株式会社トプコン | 眼科画像処理装置および眼科イメージング装置 |
JP2017006179A (ja) | 2015-06-16 | 2017-01-12 | 株式会社ニデック | Oct信号処理装置、oct信号処理プログラム、およびoct装置 |
JP2017047127A (ja) | 2015-09-04 | 2017-03-09 | 株式会社ニデック | Octモーションコントラストデータ解析装置、octモーションコントラストデータ解析プログラム。 |
Non-Patent Citations (1)
Title |
---|
Mohammad Sultan Mahmud, et al.,Review of speckle and phase variance optical coherence tomography to visualize microvascular networks,Journal of Biomedical Optics,2013年04月24日,Vol. 18, No. 5,pp. 050901-1-050901-13 |
Also Published As
Publication number | Publication date |
---|---|
WO2019203056A1 (ja) | 2019-10-24 |
JP2019187551A (ja) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020058800A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7009265B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7220509B2 (ja) | 眼科装置及び眼科画像処理方法 | |
JP2019177032A (ja) | 眼科画像処理装置、および眼科画像処理プログラム | |
JP6633468B2 (ja) | 血流計測装置 | |
JP7195745B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020039430A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017140302A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020054812A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2017069019A1 (ja) | 血流計測装置 | |
JP7246862B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
JP7106304B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6646021B2 (ja) | 眼科画像処理装置 | |
JP7157221B2 (ja) | 眼科情報処理装置及び眼科撮影装置 | |
JP6866167B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20210049742A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP2018191761A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7387812B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7068366B2 (ja) | 血流計測装置 | |
JP7297133B2 (ja) | 眼科情報処理装置及び眼科撮影装置 | |
JP2019208845A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7327954B2 (ja) | 画像処理装置および画像処理方法 | |
JP6992030B2 (ja) | 画像生成装置、画像生成方法およびプログラム | |
JP7013201B2 (ja) | 光干渉断層撮影装置、画像処理装置及びその方法 | |
JP2023128334A (ja) | 情報処理装置、光コヒーレンストモグラフィ装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210413 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220615 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221220 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221228 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230315 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7246862 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |