JP6594499B2 - 画像処理装置及び画像処理装置の作動方法 - Google Patents
画像処理装置及び画像処理装置の作動方法 Download PDFInfo
- Publication number
- JP6594499B2 JP6594499B2 JP2018146716A JP2018146716A JP6594499B2 JP 6594499 B2 JP6594499 B2 JP 6594499B2 JP 2018146716 A JP2018146716 A JP 2018146716A JP 2018146716 A JP2018146716 A JP 2018146716A JP 6594499 B2 JP6594499 B2 JP 6594499B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- processing apparatus
- positions
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 135
- 238000000034 method Methods 0.000 title claims description 84
- 230000003287 optical effect Effects 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 15
- 210000000601 blood cell Anatomy 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 33
- 238000003384 imaging method Methods 0.000 description 30
- 230000003044 adaptive effect Effects 0.000 description 23
- 230000000295 complement effect Effects 0.000 description 23
- 239000002131 composite material Substances 0.000 description 19
- 230000007547 defect Effects 0.000 description 15
- 238000000605 extraction Methods 0.000 description 13
- 238000007689 inspection Methods 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000012014 optical coherence tomography Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 8
- 210000000608 photoreceptor cell Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 210000001525 retina Anatomy 0.000 description 7
- 238000010187 selection method Methods 0.000 description 7
- 230000004075 alteration Effects 0.000 description 6
- 239000000835 fiber Substances 0.000 description 6
- 239000013307 optical fiber Substances 0.000 description 6
- 210000001210 retinal vessel Anatomy 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010009 beating Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000004126 nerve fiber Anatomy 0.000 description 2
- 108091008695 photoreceptors Proteins 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 210000003583 retinal pigment epithelium Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- WBMKMLWMIQUJDP-STHHAXOLSA-N (4R,4aS,7aR,12bS)-4a,9-dihydroxy-3-prop-2-ynyl-2,4,5,6,7a,13-hexahydro-1H-4,12-methanobenzofuro[3,2-e]isoquinolin-7-one hydrochloride Chemical compound Cl.Oc1ccc2C[C@H]3N(CC#C)CC[C@@]45[C@@H](Oc1c24)C(=O)CC[C@@]35O WBMKMLWMIQUJDP-STHHAXOLSA-N 0.000 description 1
- 206010002329 Aneurysm Diseases 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
眼部の深さ方向に対して交差する方向において前記眼部の異なる複数の位置それぞれで異なる時間に撮影して得た複数のOCT断層画像データから得られた代表画像であって、前記複数の位置に対応する複数の代表画像の特性の前記深さ方向を含む複数の方向に関する連続性を示す情報が所定の条件を満たすように、前記複数の位置それぞれで前記複数のOCT断層画像データから得られる複数の画像のうち少なくとも1つの画像を選択する選択手段と、
前記選択された少なくとも1つの画像により得られた代表画像であって、前記複数の位置に対応する複数の代表画像を用いて、広範囲の画像を生成する画像生成手段と、を備える。
本実施形態に係る画像処理装置は、異なる位置の複数の画像(画像群)の相対位置と輝度特性とのうち少なくとも一つの連続性に基づいて、画像群の適合度を判定する。最も適合度の高いフレームもしくは画像を選択して貼り合わせ表示することにより、撮影対象領域(撮影範囲)を略同一条件で観察できるように構成したものである。
図2(a)は、本実施形態に係る画像処理装置10を含むシステムの構成図である。図2(a)に示すように画像処理装置10は、SLO像撮像装置20やデータサーバ40と、光ファイバ、USBやIEEE1394等で構成されるローカル・エリア・ネットワーク(LAN)30を介して通信可能に接続されている。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して通信可能に接続される構成であってもよいし、あるいは画像処理装置10がSLO像撮像装置20に直接接続されている構成であってもよい。
次に、図3を用いて補償光学系を備えたSLO像撮像装置20の構成を説明する。まず、201は光源であり、SLD光源(Super Luminescent Diode)を用いた。本実施例では眼底撮像と波面測定のための光源を共用しているが、それぞれを別光源とし、途中で合波する構成としても良い。光源201から照射された光は、単一モード光ファイバー202を通って、コリメータ203により、平行な測定光205として照射される。照射された測定光205はビームスプリッタからなる光分割部204を透過し、補償光学の光学系に導光される。
次に、図4を用いて画像処理装置10のハードウェア構成について説明する。図4において、301は中央演算処理装置(CPU)、302はメモリ(RAM)、303は制御メモリ(ROM)、304は外部記憶装置、305はモニタ、306はキーボード、307はマウス、308はインターフェースである。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置304に記憶されている。これらの制御プログラムやデータは、CPU301による制御のもと、バス309を通じて適宜RAM302に取り込まれ、CPU301によって実行され、以下に説明する各部として機能する。画像処理装置10を構成する各ブロックの機能については、図5のフローチャートに示す画像処理装置10の具体的な実行手順と関連付けて説明する。
画像取得部111は、SLO像撮像装置20に対して、広画角画像Dl、高倍率画像Dhjおよび対応する固視標位置Fl、Fhの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置Fl及びFhを設定して広画角画像Dl及び高倍率画像Dhjを取得する。なお、撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。
位置合わせ部131は、広画角画像Dlと高倍率画像Dhjとの位置合わせを行い、広画角画像Dl上の高倍率画像Dhjの相対位置を求める。高倍率画像Dhj間で重なり領域がある場合には、該重なり領域に関しても画像間類似度を算出し、最も画像間類似度が最大となる位置に高倍率画像Dhj同士の位置を合わせる。
個別画像判定部132が、フレームの輝度値やフレーム間の移動量に基づいて適合度の判定処理を行う。さらに選択部134が適合度の判定結果に基づいて選択処理(決定処理)を行い、個別画像を形成する。ここで、個別画像は、動画像の各フレームを全て重ね合わされた画像でも良いし、選択された1枚のフレームでも良い。また、ノイズ等が比較的少ない複数の画像が選択され、選択された画像が重ね合わされた画像でも良い。本ステップの処理については、図7(a)に示すフローチャートを用いて後に詳しく説明する。
S530で形成された個別画像に基づいて、画像群判定部133が画像群(異なる位置の隣接する複数の画像)の間の相対位置及び相対輝度に基づいて適合度を判定し、選択部134が最も適合度の高い組み合わせの画像を選択して貼り合わせ画像を形成する。本実施形態では、選択部134が各取得位置で画像群判定部133が最も適合度の高いと判定した組み合わせのフレーム区間を選択して重ね合わせ画像を生成し、貼り合わせ画像を形成する。本ステップの処理については、図7(b)に示すフローチャートを用いて後に詳しく説明する。
表示制御部135は、S520において得られた位置合わせパラメータの値及びS540において選択された領域もしくはフレームもしくは画像に基づき、広画角画像Dl上に高倍率画像群Dhjを表示する。ここで、表示制御部135は、複数の高倍率画像Dhjが取得されている場合に高倍率画像間の濃度差を補正して表示してもよい。任意の公知の輝度補正法を適用でき、本実施形態では各高倍率画像DhjにおいてヒストグラムHjを生成し、ヒストグラムHjの平均と分散が高倍率画像Dhj間で共通した値になるように各高倍率画像Dhjの輝度値を線形変換することにより濃度差を補正する。なお、高倍率画像間の輝度補正法はこれに限らず、任意の公知の輝度補正法を用いてよい。さらに、表示倍率については、指示取得部140を通じて操作者が指定した高倍率画像を拡大してモニタ305に表示する。
指示取得部140は、広画角画像Dl、選択部134によって選択された高倍率画像Dhj、固視標位置Fl、Fh、S520において取得された位置合わせパラメータ値をデータサーバ40へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード306やマウス307を介して操作者により入力される。保存が指示された場合はS570へ、保存が指示されなかった場合はS580へと処理を進める。
画像処理部130は、検査日時、披検眼を同定する情報、広画角画像Dl、選択部134によって選択された高倍率画像Dhjと固視標位置Fl、Fh、位置合わせパラメータ値を関連付けてデータサーバ40へ送信する。
指示取得部140は、画像処理装置10による広画角画像Dlと高倍率画像Dhjに関する処理を終了するか否かの指示を外部から取得する。この指示は、キーボード306やマウス307を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはS510に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理を)行う。
次に、図7(a)に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
個別画像判定部132は、指示取得部140を通じて適合度判定基準を取得する。ここで、判定基準としては、以下の項目a)〜d)が挙げられる。
b)画質(S/N比等)の適正値の範囲
c)参照フレームに対する移動量が適正範範囲であること
d)フォーカス位置が適正範囲にあること
ここで、本実施形態では、a)を適合度として取得する。これは、瞬目や、固視位置が極端にずれて測定光が眼底に届かないといった要因で発生する低輝度フレームを除外するためである。
個別画像判定部132は、高倍率SLO画像Dhjの各フレームに対してS710で取得した基準に従って適合度を判定する。本実施形態では、a)が各々適正範囲であれば1、適正範囲外であれば−1とする。
選択部134は、S720で判定された適合度に基づいて撮影位置単位で表示のために使用する画像(動画像の場合はフレーム)を選択し、画像を形成する。本実施形態では高倍率画像は図6(c)に示すように視細胞を撮影した動画像とし、該動画像から重ね合わせ画像を形成するものとする。ここで、個別画像の形成方針としては、以下の項目(i)と(ii)が挙げられる。
(i)重ね合わせ枚数を最大化する(画質優先)
(ii)重ね合わせ画像の面積を最大化する(画像欠け防止優先)
次に、図7(b)に示すフローチャートを参照しながら、S540で実行される処理の詳細について説明する。
画像群判定部133は、S730で形成された画像群をS520で実行された位置合わせパラメータに基づいて貼り合わせし、該画像群の相対位置及び輝度特性に基づいて画像群としての適合度を判定する。なお、本実施形態では画像群は図6(g)に示すような9つの重ね合わせ画像で構成され、左上からラスター走査(ジグザグ走査)の順で画像番号jが増加するものとする。貼り合わせ画像(画像群)の適合度に関する判定方針を優先度順に表記すると以下のようになる。
1.貼り合わせ画像内に画像欠け領域を生じない
2.画質が撮影位置によってばらつかない
3.できるだけ多くの枚数で重ね合わせを行う
(貼り合わせ画像の面積−画像欠けの面積)/(貼り合わせ画像の面積)
を算出する。
選択部134は、S740で判定された適合度に基づき、該適合度が最も高くなるように各高倍率画像における画像選択を行い、選択された画像に基づいて画像群の形成処理を行う。具体的には、以下の手順で画像選択(フレームもしくは領域の選択)を行い、画像群の形成処理を行う。
(4)画像欠けがある場合は画像欠け領域の位置を求める。
(6)補完(代替)データがある場合は、補完データのうち最も画質の良い(重ね合わせ枚数の多い)補完データで画像欠け領域を置き換え、(8)を実行する(選択部134による画像内の領域選択処理に相当する)
(7)補完(代替)データがない場合は、画像欠け領域が解消されるよう画像欠け領域が含まれる画像もしくは該領域に隣接する辺を持つ画像の選択フレームを変更する。もし画像欠け領域を解消するフレームの選択法が複数ある場合は、最も重ね合わせ枚数が多くなるフレーム選択法を用いる。
なお、同一検査の同一撮影位置で動画像がNt回(Nt≧2)取得されている場合には、S730において(1〜Nt回目のうちで)最も適合度の高い動画像を選択しておき、S750における画像選択の(5)において画像欠け領域に対する他の撮影回での代替データの有無を調べ、代替データのうち最も画質の良い代替データで置き変える。それでも画像欠け領域がある場合に隣接画像の重複領域での代替データの有無を調べるようにすればよい。なお、本実施形態では画像群としての適合度の判定に基づいて形成される
貼り合わせ画像は静止画像(重ね合わせ画像)としたが、本発明はこれに限定されない。例えば、隣接する動画像の端部や重なり領域におけるデータの補完性を考慮した適合度判定を行った上で、図6(j)に示すように動画像を貼り合わせ表示してもよい。
(i)画像処理装置10に対して図2(b)に示すような時相データ取得装置50を接続し、動画像と同時に時相データを取得しておく。時相データとは、例えば脈波計により取得された生体信号データである。時相データを参照することで各動画像の心周期、すなわち再生すべき周期が得られる。動画像のフレーム補間処理によって該再生周期を動画像間で同一に揃えておく。
再生フレーム数が撮影位置によってばらつかない
できるだけ多くのフレーム数(周期)の動画像を貼り合わせ表示する
(iv)S750の画像群としての画像形成処理の(6)(7)(8)において選択されるフレームは、連続したフレーム区間とする。
本実施形態に係る画像処理装置は、第1実施形態のように隣接する高倍率画像の相対位置や輝度特性の連続性に基づき画像群の適合度を判定するのではなく、隣接する高倍率画像から抽出された画像特徴の連続性に基づき画像群の適合度を判定するよう構成したものである。具体的には、高倍率SLO画像から抽出された傍中心窩の毛細血管領域の連続性に基づいて画像群の適合性を判定する。
個別画像判定部132がフレームの輝度値やフレーム間の移動量に基づいて適合度の判定処理を行う。さらに選択部134が適合度の判定結果に基づいて選択処理(決定処理)を行い、個別画像を形成する。本ステップの処理については、図10(a)に示すフローチャートを用いて後に詳しく説明する。
S530で形成された個別画像に基づいて、画像群判定部133が画像特徴の画像間の連続性に基づいて適合度を判定し、画像選択部134が最も適合度の高い組み合わせの画像を選択し、貼り合わせ画像を形成する。本ステップの処理については、図10(b)に示すフローチャートを用いて後に詳しく説明する。
表示制御部135は、S520において得られた位置合わせパラメータ値を用いて、S540で形成した貼り合わせ画像を表示する。本実施形態では、図9(b)のような毛細血管を抽出した画像の貼り合わせ表示を行う。
次に、図10(a)に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。なお、S1010〜S1020は、第1実施形態におけるS710〜S720と同様であるので、説明は省略する。
選択部134は、S1020で判定された適合度に基づいて撮影位置単位で表示のために使用する画像(動画像の場合はフレーム)を選択し、画像を形成する。本実施形態では高倍率画像は毛細血管を撮影した動画像とし、該動画像から毛細血管領域を抽出した画像(以下、毛細血管画像と表記)を形成するものとする。
(ii)毛細血管領域の面積を最大化する(画像欠け防止優先)
(i)の場合、S720で選択された全てのフレームを用いて毛細血管を抽出する。また、(ii)の場合、S720で選択されたフレームのうち少しでも位置ずれのあるフレームを除外する。例えば図6(c)の場合には、2〜4フレーム目が除外される。画像欠けは生じないものの、毛細血管の抽出に用いられるフレーム数が減るため画質は(i)の場合より下がりやすい。ここで、本実施形態では、S1020で算出された適合度が1のフレームを選択するとともに、(i)の方針、すなわち該選択された全てのフレームにおいて画素値が正である領域のみを用いて毛細血管領域を抽出する。
画像特徴取得部136は、高倍率画像Dhjから毛細血管を検出し、検出された毛細血管領域から無血管領域の境界を検出する。本実施形態では、まず毛細血管を高倍率画像Dhjから以下の手順で血球成分の移動範囲として特定する。
次に図10(b)に示すフローチャートを参照しながら、S540で実行される処理の詳細について説明する。
画像群判定部133は、高倍率画像Dhjから取得された画像特徴(毛細血管領域)に関して以下の指標を算出し、該指標値に基づいて画像群としての適合度を判定する。
/(S1040にて設定した無血管領域境界候補点列の長さの総和)
選択部134は、S1050で判定された適合度に基づき、該適合度が最も大きくなるように各高倍率画像における画像選択を行い、選択された画像に基づいて画像群の形成処理を行う。
(4´)画像特徴欠けがある場合は画像特徴欠け領域の位置を求める。
(6´)補完(代替)データがある場合は、補完データのうち最も画質の良い(毛細血管抽出に用いるフレーム数の多い)補完データで画像特徴欠け領域を置き換え、(8´)を実行する
(7´)補完(代替)データがない場合は、画像特徴欠け領域が解消されるよう画像特徴欠け領域が含まれる画像もしくは該領域に隣接する辺を持つ画像の選択フレームを変更する。もし画像特徴欠け領域を解消するフレームの選択法が複数ある場合は、最も選択されるフレーム数が多くなるフレーム選択法を用いる。
なお、画像群としての適合度を算出するために用いられる画像特徴は無血管領域境界に限定されず、任意の画像特徴を利用してよい。例えば、図9(c)に示すように視神経乳頭部を撮影した4枚の高倍率画像の画像群としての適合度を判定する場合には、閾値処理により陥凹部を検出し該陥凹部の境界位置の連続性に基づいて画像群としての適合度を判定できる。
本実施形態に係る画像処理装置は、異なる撮影位置の高倍率な補償光学OCT断層画像を貼り合わせ表示する際に、撮影(解析)対象領域と比較した場合の観察(解析)不能領域の少なさに基づいて画像群としての適合度を判定する。
画像取得部111は断層像撮像装置60に対して、広画角画像Dlと高倍率画像Dhj、及び対応する固視標位置Fl、Fhの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置Fl及びFhを設定して広画角画像Dl及び高倍率画像Dhjを取得する。なお本実施形態では高倍率画像をDhjを同じ撮影位置でNp回(本実施形態ではNp=3とする)繰り返し撮影するものとし、例えば、同一撮影位置で複数回撮影され、n回目に撮影された高倍率画像をDhj_n、と表記する。また撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。
位置合わせ部131は、広画角画像Dlと高倍率画像Dhj_nとの位置合わせを行い、広画角画像Dl上の高倍率画像Dhj_nの位置を決定する。まず、位置合わせ部133は記憶部120から高倍率画像Dhj_nの撮影時に用いた固指標位置Fhを取得し、該固視標位置からの相対距離に基づいて広画角画像Dlと高倍率画像Dhj_nとの位置合わせにおける位置合わせパラメータの探索初期点を設定する。高倍率画像Dhj_n間で重なり領域がある場合には、該重なり領域に関して画像間類似度を算出し、画像間類似度が最大となる位置に高倍率画像Dhj_n同士の位置を合わせる。
個別画像判定部132がフレームの輝度値やフレーム間の移動量に基づいて適合度の判定処理を行う。さらに選択部134が適合度の判定結果に基づいて選択処理(決定処理)を行い、個別画像を形成する。ここで、判定基準の取得と適合度判定法は第1実施形態(のS710及びS720)と同であるため省略する。次に、判定された適合度に基づいて選択部134が撮影位置単位で表示のために使用する画像を選択し、画像を形成する。本実施形態では高倍率画像は図12(a)に示すような3次元の断層画像とする。ここでは撮影位置をわかりやすくするために高倍率画像間の重なりは省略して表示している。
(i)S/N比を最大化する(画質優先)
S510で取得された同一撮影位置の断層画像のうち、最もS/N比の高い画像を選択し、画素値のないスライスが含まれる領域(画像端部)は画素値を0に設定する。高画質であるものの、画像欠けが生じやすい。
S510で取得された3次元断層画像(計3つ)のうち、最も画像端の0埋め処理の少ない3次元断層画像を選択する。画像欠けは生じないものの、必ずしもS/N比が高いとは限らないため画質は(i)の場合より下がりやすい。
S530で形成された個別画像に基づいて、画像群判定部133が画像群の適合度を判定し、画像選択部134が最も適合度の高い組み合わせの画像を選択して貼り合わせ画像を形成する。なお、本実施形態では画像群の左上からラスター走査(ジグザグ走査)の順で画像番号jが増加するものとする。貼り合わせ画像(画像群)の適合度に関する判定方針を優先度順に表記すると以下のようになる。
2.できるだけ高画質な貼り合わせ画像を形成する
上記のうち、1は貼り合わせ画像内を同一条件で観察可能にするために設定される条件である。ここで、画像群としての適合度を判定しない場合には、例えば撮影位置ごとに画像欠け領域を生じないようにフレームを選択する必要があり、画像群の適合度判定に基づいて貼り合せ画像を生成する場合に比べて上記条件2に関して画質の低い貼り合せ画像を形成することになってしまう。そこで隣接する3次元断層画像の端部や重なり領域におけるデータの連続性や補完性を考慮した適合度判定を行うことで、1を満たしつつ、より高画質な貼り合わせ画像を得ることが可能になる。
(貼り合わせ3次元画像の体積(画素数)−画像欠けの体積(画素数))
/(貼り合わせ3次元画像の体積(画素数))
を算出する。
(貼り合わせ2次元画像の面積―画像欠けの面積)
/(貼り合わせ2次元画像の面積)
を判定してもよい。
(4)画像欠けがある場合は画像欠け領域の位置を求める。
(6)補完(代替)データがある場合は、補完データのうち最も画質の良い(S/N比の高い)補完データで画像欠け領域を置き換えて画像貼り合せ処理を行う。
表示制御部131は、S540で形成された貼り合わせ画像をモニタ305に表示する。
画像取得部111は、データサーバ40に対し過去のSLO画像Dsjf(f=1,2,...,n−1)、固視標位置Fsf、SLO画像Dsjfに対応する位置合わせパラメータ値の転送を要求する。データサーバ40は、該要求に対応するデータを画像処理装置10に転送し、記憶部120に保存する。本実施形態では、n=4とする。
位置合わせ部131は、広画角画像D2f(f=1,2,...,n)と高倍率画像D1jfとの位置合わせを行い、広画角画像D2f上の高倍率画像D1jfの相対位置を求めて高倍率画像D1jfの貼り合わせ画像が生成される。
画像群判定部133が異なる検査で撮影(解析)された領域と比較した場合の観察(解析)不能領域の少なさに基づいて画像群としての適合度を判定し、画像選択部134が最も適合度の高い組み合わせの画像を選択し、貼り合わせ画像を形成する。
貼り合わせ画像内に画像欠け領域を生じない
画質が撮影位置によってばらつかない
異なる検査で撮影(解析)された領域と比較した場合に観察(解析)不能領域を生じにくくする
(i)撮影位置ごとにS730の(ii)の方針で貼り合わせ画像を生成した場合、上記条件2を満たせない場合が生じる。また
(ii)(i)を満たし、かつ条件2を満たすようにした場合、最も重ね合わせ枚数の少ない画像の重ね合わせ枚数に合わせることになるため、画像群としての適合度を判定して画像を選択する場合よりも画質が低下してしまう。そこで、隣接する画像の端部や重なり領域におけるデータの連続性や補完性を考慮した適合度判定を行うことで、条件1〜3を満たしつつ、より高画質な貼り合わせ画像を得る(多くの枚数で重ね合わせを行う)ことが可能になる。
((1)で生成した貼り合わせ画像の面積−画像欠けの面積)
/((1)で生成した貼り合わせ画像の面積)
を算出する。なお、比較対象領域の設定法はこれに限定されず、任意の比較領域を設定してよい。また、手動で比較対象領域を設定しても良い。選択部134は、画像群としての適合度に基づき、該適合度が最も高くなるように各高倍率画像における画像選択を行い、選択された画像に基づいて画像群の形成処理を行う。
(4)画像欠けがある場合は画像欠け領域の位置を求める。
(6)補完(代替)データがある場合は、補完データのうち最も画質の良い(重ね合わせ枚数の多い)補完データで画像欠け領域を置き換え、(8)を実行する
(7)補完(代替)データがない場合は、画像欠け領域が解消されるよう画像欠け領域が含まれる画像もしくは該領域に隣接する辺を持つ画像の選択フレームを変更する。もし画像欠け領域を解消するフレームの選択法が複数ある場合は、最も重ね合わせ枚数が多くなるフレーム選択法を用いる。
なお、本実施形態では画像群としての適合度の判定に基づいて形成される
貼り合わせ画像は静止画像(重ね合わせ画像)としたが、本発明はこれに限定されない。例えば、隣接する動画像の端部や重なり領域におけるデータの補完性を考慮した適合度判定を行った上で、図6(j)に示すように動画像を貼り合わせ表示してもよい。
(i)画像処理装置10に対して図2(b)に示すような時相データ取得装置50を接続し、動画像と同時に時相データを取得しておく。時相データとは、例えば脈波計により取得された生体信号データである。時相データを参照することで各動画像の再生周期が得られる。動画像のフレーム補間処理によって該再生周期を動画像間(撮影位置間もしくは検査間、もしくはその両方)で同一に揃えておく。
(iv)画像群としての画像形成処理の(6)(7)(8)において選択されるフレームは、連続したフレーム区間とする。
表示制御部135は、S520で得られた位置合わせパラメータ及びS540で形成された画像群を用いて、広画角画像D2n上に高倍率画像D1jnを貼り合わせ表示する。
上述の実施形態では画像群を1つ撮影して適合度を判定する場合について述べたが、本発明の実施形態はこれに限定されない。すなわち、図14(a)(b)に示すように1回の検査で複数の画像群を撮像する場合には、各画像群で上述の実施形態と同様にして画像を仮選択した後、画像群間の適合度を判定して該画像群間の適合度に基づいて画像を選択してもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (23)
- 眼部の深さ方向に対して交差する方向において前記眼部の異なる複数の位置それぞれで異なる時間に撮影して得た複数のOCT断層画像データから得られた代表画像であって、前記複数の位置に対応する複数の代表画像の特性の前記深さ方向を含む複数の方向に関する連続性を示す情報が所定の条件を満たすように、前記複数の位置それぞれで前記複数のOCT断層画像データから得られる複数の画像のうち少なくとも1つの画像を選択する選択手段と、
前記選択された少なくとも1つの画像により得られた代表画像であって、前記複数の位置に対応する複数の代表画像を用いて、広範囲の画像を生成する画像生成手段と、
を備えることを特徴とする画像処理装置。 - 前記選択手段は、前記複数の代表画像の相対位置と輝度特性と画像特徴とのうち少なくとも1つの連続性を示す情報が所定の条件を満たすように、前記複数の位置それぞれで前記複数の画像から少なくとも1つの画像を選択することを特徴とする請求項1に記載の画像処理装置。
- 前記選択手段は、前記複数の代表画像の端部と重なり領域とのうち少なくとも1つにおける前記複数の代表画像の特性の連続性を示す情報が所定の条件を満たすように、前記複数の位置それぞれで前記複数の画像から少なくとも1つの画像を選択することを特徴とする請求項1または2に記載の画像処理装置。
- 前記選択手段は、前記複数の代表画像を張り合わせて得た前記広範囲の画像の面積と無血管領域境界の長さとのうち少なくとも1つが前記連続性を示す情報として所定の条件を満たすように、前記複数の位置それぞれで前記複数の画像から少なくとも1つの画像を選択することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記複数の代表画像を張り合わせて得た前記広範囲の画像と前記複数の画像それぞれの画像よりも広い画角である広画角画像とを比較する比較手段を更に備え、
前記選択手段は、前記比較手段による比較結果に基づいて、前記複数の位置それぞれで前記複数の画像から少なくとも1つの画像を選択することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 眼部の深さ方向に対して交差する方向において前記眼部の異なる複数の位置それぞれで異なる時間に撮影して得た複数のOCT断層画像データから得られた代表画像であって、前記複数の位置に対応する複数の代表画像の画像群としての前記深さ方向を含む複数の方向に関する適合度を示す情報に基づいて、前記複数の位置それぞれで前記複数のOCT断層画像データから得られる複数の画像のうち少なくとも1つの画像を選択する選択手段と、
前記選択された少なくとも1つの画像により得られた代表画像であって、前記複数の位置に対応する複数の代表画像を用いて、広範囲の画像を生成する画像生成手段と、
を備えることを特徴とする画像処理装置。 - 前記選択手段は、同一検査または異なる検査の画像間の相対位置、輝度特性の連続性、画質の類似度、画像特徴の少なくとも1つが前記適合度を示す情報として所定の条件を満たすように、前記複数の位置それぞれで前記複数の画像から少なくとも1つの画像を選択することを特徴とする請求項6に記載の画像処理装置。
- 前記選択手段は、前記画像群として異なる倍率の画像の画像群が得られている場合、各倍率の画像群の適合度を判定した上で、画像群間の相対位置、輝度特性の連続性、画質の類似度、の少なくとも一つを異なる倍率の画像群間の適合度として所定の条件を満たすように、前記複数の位置それぞれで前記複数の画像から少なくとも1つの画像を選択することを特徴とする請求項6または7に記載の画像処理装置。
- 前記複数の代表画像を張り合わせて得た前記広範囲の画像を表示手段に表示させる表示制御手段を更に備えることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記選択された少なくとも1つの画像における血球の移動速度を計測する計測手段を更に備えることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記選択手段は、前記複数の代表画像の類似度が閾値以上になるように、前記少なくとも1つの画像を選択することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
- 前記深さ方向に関する連続性または適合度に関する情報は、前記複数の位置に対応する複数の代表画像のうち隣接画像間の層境界の連続性または適合度に関する情報であることを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
- 前記深さ方向とは異なる方向に関する連続性または適合度に関する情報は、前記複数のOCT断層画像データから得た複数の投影画像を用いて得られることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
- 眼科装置と通信可能に接続され、前記眼科装置により異なる時間に前記眼部の異なる複数の位置それぞれで複数回撮影して得た複数のOCT断層画像データを取得する取得手段を更に備えることを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
- 前記眼科装置は、前記眼部において測定光を走査する走査光学系を更に備え、
前記取得手段は、前記眼部における前記複数の位置それぞれで繰り返し前記測定光が走査されるように前記走査光学系が制御されることにより、前記複数の位置それぞれで前記複数のOCT断層画像データを取得することを特徴とする請求項14に記載の画像処理装置。 - 前記眼科装置は、前記眼部において測定光を走査する走査光学系を更に備え、
前記取得手段は、前記眼部における前記複数の位置それぞれで繰り返し前記測定光が走査されるように前記眼部を固視するための固視標の位置が制御されることにより、前記複数の位置それぞれで前記複数のOCT断層画像データを取得することを特徴とする請求項14に記載の画像処理装置。 - 前記眼科装置は、測定光と前記眼部からの戻り光とのうち少なくとも一つの光の波面を補正する波面補正デバイスを更に備え、
前記取得手段は、前記波面が補正された光を用いて前記眼部における前記複数の位置それぞれで複数回撮影して得た前記複数のOCT断層画像データを取得することを特徴とする請求項14乃至16のいずれか1項に記載の画像処理装置。 - 前記広範囲の画像は、前記複数の画像のうち1つの画像の撮影範囲よりも広い範囲の画像であることを特徴とする請求項1乃至17のいずれか1項に記載の画像処理装置。
- 前記複数のOCT断層画像データは、3次元OCT断層画像データであることを特徴とする請求項1乃至18のいずれか1項に記載の画像処理装置。
- 前記代表画像は、選択または決定された1つの画像と、選択または決定された複数の画像を重ね合わせて得た画像とのいずれかであることを特徴とする請求項1乃至19のいずれか1項に記載の画像処理装置。
- 眼部の深さ方向に対して交差する方向において前記眼部の異なる複数の位置それぞれで異なる時間に撮影して得た複数のOCT断層画像データから得られた代表画像であって、前記複数の位置に対応する複数の代表画像の特性の前記深さ方向を含む複数の方向に関する連続性を示す情報が所定の条件を満たすように、前記複数の位置それぞれで前記複数のOCT断層画像データから得られる複数の画像のうち少なくとも1つの画像を選択する工程と、
前記選択された少なくとも1つの画像により得られた代表画像であって、前記複数の位置に対応する複数の代表画像を用いて、広範囲の画像を生成する工程と、
を有することを特徴とする画像処理装置の作動方法。 - 眼部の深さ方向に対して交差する方向において前記眼部の異なる複数の位置それぞれで異なる時間に撮影して得た複数のOCT断層画像データから得られた代表画像であって、前記複数の位置に対応する複数の代表画像の画像群としての前記深さ方向を含む複数の方向に関する適合度を示す情報に基づいて、前記複数の位置それぞれで前記複数のOCT断層画像データから得られる複数の画像のうち少なくとも1つの画像を選択する工程と、
前記選択された少なくとも1つの画像により得られた代表画像であって、前記複数の位置に対応する複数の代表画像を用いて、広範囲の画像を生成する工程と、
を有することを特徴とする画像処理装置の作動方法。 - 請求項21または22に記載の画像処理装置の作動方法の各工程をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018146716A JP6594499B2 (ja) | 2018-08-03 | 2018-08-03 | 画像処理装置及び画像処理装置の作動方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018146716A JP6594499B2 (ja) | 2018-08-03 | 2018-08-03 | 画像処理装置及び画像処理装置の作動方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014181342A Division JP6463048B2 (ja) | 2014-09-05 | 2014-09-05 | 画像処理装置及び画像処理装置の作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018164814A JP2018164814A (ja) | 2018-10-25 |
JP6594499B2 true JP6594499B2 (ja) | 2019-10-23 |
Family
ID=63922247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018146716A Expired - Fee Related JP6594499B2 (ja) | 2018-08-03 | 2018-08-03 | 画像処理装置及び画像処理装置の作動方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6594499B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5735790B2 (ja) * | 2010-12-02 | 2015-06-17 | 株式会社ニデック | 眼科撮影装置 |
JP5845608B2 (ja) * | 2011-03-31 | 2016-01-20 | 株式会社ニデック | 眼科撮影装置 |
JP2013070941A (ja) * | 2011-09-29 | 2013-04-22 | Nidek Co Ltd | 眼科撮影装置 |
JP6101048B2 (ja) * | 2012-02-20 | 2017-03-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
WO2014103501A1 (ja) * | 2012-12-28 | 2014-07-03 | 興和株式会社 | 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを格納した記録媒体 |
JP6108827B2 (ja) * | 2012-12-28 | 2017-04-05 | キヤノン株式会社 | 眼科装置および位置合わせ方法 |
-
2018
- 2018-08-03 JP JP2018146716A patent/JP6594499B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2018164814A (ja) | 2018-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6108827B2 (ja) | 眼科装置および位置合わせ方法 | |
JP6463048B2 (ja) | 画像処理装置及び画像処理装置の作動方法 | |
JP6463047B2 (ja) | 眼科装置及び眼科装置の作動方法 | |
US9517004B2 (en) | Information processing apparatus, information processing method and computer readable storage medium | |
JP5822485B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、slo装置、およびプログラム | |
JP5289219B2 (ja) | 撮影装置及びその制御方法 | |
JP6504903B2 (ja) | 眼科撮像装置、その作動方法、及びコンピュータプログラム | |
JP2018114121A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6594499B2 (ja) | 画像処理装置及び画像処理装置の作動方法 | |
JP6882242B2 (ja) | 眼科装置およびその制御方法 | |
JP2018023818A (ja) | 眼科観察装置 | |
JP2013166072A (ja) | 画像処理装置及び画像処理方法 | |
JP6732093B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム | |
JP6419238B2 (ja) | 眼科装置および位置合わせ方法 | |
JP6636188B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム | |
JP6465930B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム | |
JP2018023816A (ja) | 眼科観察装置 | |
WO2020209012A1 (ja) | 画像解析方法及び画像解析装置 | |
JP2019054990A (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190924 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6594499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |