JP6259391B2

JP6259391B2 - 画像解析装置、画像解析システム、画像解析装置の制御方法およびプログラム

Info

Publication number: JP6259391B2
Application number: JP2014255440A
Authority: JP
Inventors: 康文 ▲高▼間
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-12-17
Filing date: 2014-12-17
Publication date: 2018-01-10
Anticipated expiration: 2029-08-28
Also published as: JP2015071083A

Description

本発明は、眼科装置に関する。

光干渉断層計（以下、ＯＣＴ（Optical Coherence Tomography）と呼ぶ）などと称される装置が知られている。ＯＣＴによれば、断層画像を撮像できるため、例えば、網膜の複数の層の厚みを定量的に計測することが期待されている。また、例えば、緑内障の進行と層の厚み（以下、層厚と呼ぶ場合もある）には、相関があることが知られているため、眼科医療現場では、病気の診断や経過観察に網膜の層厚を正確に計測できる技術が要望されている。

緑内障などの眼病の診断には、図６に示すように、内境界膜（Inner Limiting Membrane：ＩＬＭ）から網膜色素上皮（Retinal Pigment Epithelium：ＲＰＥ）までの厚みを計測する。また、神経線維層（Nerve Fiver Layer：ＮＦＬ）の厚みを計測することもある。また更に、ＮＦＬに対して神経節細胞層（Ganglion Cell Layer）と内網状層（Inner Plexiform Layer）とを加えたＧＣＣ（Ganglion Cell Complex）の厚みを計測する場合もある。

従来、このような層の厚みとして、図６に示すような断層画像のｙ方向（縦方向）が用いられてきた（特許文献１）。また、層厚の経時変化を観察し易くするために、凹凸のあるＩＬＭを平らにすべく断層画像の画素を縦方向に移動させる技術も提案されている（特許文献２）。

特開２００９−６６０１５号公報特開２００７−２２５３４９号公報

しかし、網膜の形状は、患者に固有であり、例えば、図６に示すように、断層画像に写る網膜が斜めに傾いていたり、図７に示すように、湾曲していたりする。この場合、画像を縦方向に計測し、それにより得られる層厚の値は、網膜本来の層厚と異なってしまう。そのため、緑内障の診断時に誤った層厚を提示したり、撮像毎に異なる層厚を計測したりしてしまう可能性があった。

そこで、本発明は、上記問題点に鑑みてなされたものであり、正確に層の厚みを計測することを目的とする。

上記課題を解決するため、本発明の一態様は、
被検眼の網膜の断層像を取得する断層像取得手段と、
前記断層像に含まれる層境界の所定の点において、前記所定の点における層厚の第１の計測方向と比較対象となる層厚の計測方向との比較、または前記第１の計測方向の層厚と比較対象となる層厚との比較に基づいて、前記第１の計測方向および前記第１の計測方向とは異なる第２の計測方向のうち出力すべき層厚の計測方向を判定する判定手段と、
前記判定手段により出力すべきと判定された計測方向の層厚を出力する出力手段と、
を備え、前記第１の計測方向は前記層境界の法線方向であることを特徴とする。

本発明によれば、層の傾き及び湾曲度に基づいて層の厚みを計測する方向を決定し、その方向に沿って層厚を計測する。これにより、本構成を有さない場合よりも、層の形状を考慮した精度の高い計測が可能になる。

本発明の一実施の形態に係わる画像解析装置を配して構成した画像処理システムの全体構成の一例を示す図。図１に示す画像解析装置１０の機能的な構成の一例を示す図。断層画像への基準点の設定の仕方の一例を示す図。層厚の計測方法の概要の一例を示す図である。図１に示す画像解析装置１０における動作の一例を示すフローチャート。網膜の断層画像の一例を示す図。網膜の断層画像の一例を示す図。

以下、本発明に係わる画像解析装置、その計測方法及びプログラムの一実施の形態について添付図面を参照して詳細に説明する。なお、本実施形態においては、網膜の断層画像を解析し、その層の厚み（以下、層厚と呼ぶ場合もある）を計測する場合を例に挙げて説明するが、解析の対象となる断層画像は、必ずしも網膜である必要はなく、層が含まれる画像であればよい。

図１は、本発明の一実施の形態に係わる画像解析装置を配して構成した画像処理システムの全体構成の一例を示す図である。

画像処理システムは、画像解析装置１０と、断層画像撮像装置２２と、データサーバ２１とを具備して構成される。これら装置は、例えば、ＬＡＮ（Local Area Network）２３を介して通信可能に接続されている。なお、通信形態は、ＬＡＮ２３に限られず、装置間の通信が行なえるのであれば、特に問わない。

断層画像撮像装置２２は、例えば、ＯＣＴ等で実現され、眼部の断層像を撮像する。断層画像撮像装置２２では、例えば、１回の撮像で複数の断層画像を取得し、これら取得した断層画像を順番に並べる。これにより、網膜のボリュームデータを再構成することができる。断層画像撮像装置２２では、ユーザ（例えば、技師や医師）操作に応じて被検者（患者）の断層画像を撮像し、撮像により得られた断層画像を画像解析装置１０へ出力する。

データサーバ２１は、各種データを格納する。例えば、断層画像撮像装置２２により撮像された断層画像等を格納する。そのため、画像解析装置１０においては、このデータサーバ２１から断層画像を取得する場合もある。

画像解析装置１０は、断層画像撮像装置２２又はデータサーバ２１から断層画像を取得し、それを解析する。具体的には、網膜の断層画像を取得し、網膜の層厚を計測する。この計測手法の詳細については後述するが、例えば、層の境界の形状に基づいて層厚を計測する方向を決定し、その方向に沿って層厚を計測する。

以上が、画像処理システムの全体構成の一例についての説明であるが、図１に示す画像処理システムの構成は、あくまで一例であり、これに限られない。例えば、データサーバ２１を省略してもよい。なお、上記説明した、画像解析装置１０、断層画像撮像装置２２、データサーバ２１には、コンピュータが内蔵されている。コンピュータには、ＣＰＵ等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、キーボード、マウス、ディスプレイ、ボタン又はタッチパネル等の入出力手段、等も具備される。これら各構成手段は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。

図２は、図１に示す画像解析装置１０の機能的な構成の一例を示す図である。

画像解析装置１０は、画像入力部１１と、基準点設定部１２と、計測方法決定部１３と、方向ベクトル算出部１４と、方向ベクトル修正部１５と、計測部１６とを具備して構成される。

画像入力部１１は、断層画像撮像装置２２又はデータサーバ２１から断層画像を取得し、それを装置内に入力する。

基準点設定部１２は、画像入力部１１により入力された断層画像に対して層厚の計測に用いる基準点を設定する。基準点設定部１２には、層抽出部１２ａが具備される。層抽出部１２ａは、断層画像から層を抽出する。より詳細には、断層画像内から厚みの計測対象となる層の境界を抽出する。本実施形態においては、ＩＬＭ（内境界膜）とＲＰＥ（網膜色素上皮）とを抽出する。ここで、基準点設定部１２においては、図３に示すように、抽出されたＲＰＥ上（層の境界上）に複数の基準点を設定する。

計測方法決定部１３は、基準点設定部１２により設定された複数の基準点の座標を用いて網膜の平坦度を求める。そして、求めた平坦度に基づいて層厚を縦方向に計測するか、又はＲＰＥの形状の法線方向に計測するかを決定する。ここで、湾曲度は、ＲＰＥの形状を直線ｙ＝ａｘ＋ｂで近似した直線とＲＰＥ上の各基準点との最短距離のうち最も長い距離を用いて表現する。つまり、ＲＰＥが湾曲しているほど直線と基準点との最短距離は長くなり、湾曲度は大きくなる。計測方法決定部１３においては、算出した湾曲度と近似直線との傾きａがユーザにより設定された閾値以下であれば、網膜がほぼ平坦であり且つその傾きは小さいと判断し、層厚の計測を縦方向に行なう旨決定する。なお、縦方向へ計測を行なう場合、計測方向ベクトルは、全ての基準点において、断層画像のｙ軸方向となる。一方、湾曲度又は傾きａが上記閾値を越えていれば、計測方法決定部１３においては、層厚の計測を、図３に示すようなＲＰＥの形状の法線方向に行なう旨決定する。この場合、計測方向ベクトルの算出が必要となる。

方向ベクトル算出部１４は、基準点設定部１２により設定されたＲＰＥ上の基準点各々において層厚を計測する方向を示すベクトル（計測方向ベクトル）を算出する。具体的には、ＲＰＥ上の各基準点における法線ベクトルを算出し、当該算出した法線ベクトルに基づいて基準点各々に対応した計測方向ベクトルを求める。法線ベクトルの算出に際しては、まず、図４に示すように、ＲＰＥ上の基準点を頂点とする三角パッチ集合（平面）を生成する。そして、各パッチを構成する２つのベクトルの外積を計算し、パッチの単位法線ベクトルを求める。計測方向ベクトルは、各基準点を共有するパッチの単位法線ベクトルの平均を計算することによって求める。この処理を全ての基準点において実行する。これにより、各基準点における層厚の計測方向ベクトルが算出される。

方向ベクトル修正部１５は、各基準点において、計測方向ベクトルの誤りを検出し、当該検出した誤りを修正する。具体的には、（１）隣接する複数の計測方向ベクトルのばらつきが所定範囲内であるか、（２）近傍にある複数の層厚のばらつきが所定範囲内にあるかの条件を用いる。また更に、（３）層境界面の近似モデルを用いて推定した計測方向ベクトルと、計測方向ベクトルとの類似度が所定範囲内にあるか、の３つの条件の少なくとも１つを用いて誤りのある計測方向ベクトルを検出し、当該検出した誤りを修正する。方向ベクトル修正部１５では、まず、基準点における計測方向ベクトルと隣接する基準点の計測方向ベクトルとの内積を計算し、（１）の条件を判定する。内積が所定の閾値以下であれば、計測方向ベクトルが誤っていると判定する。計測方向ベクトルが連続して誤っている場合、（１）の条件では判定できない。そこで、（２）の条件を（１）の条件に付け加える。この場合、まず、方向ベクトル算出部１４により算出した計測方向ベクトルを用いて層厚を計測する。計測した層厚が近傍の基準点における層厚と所定の閾値以上異なっていれば、その基準点の計測方向ベクトルは誤っていると判定する。（３）の条件を用いて判定する場合、各基準点における近似モデルの法線ベクトルと計測方向ベクトルとの内積が、所定の閾値以下であれば、計測方向ベクトルが誤っていると判定する。ある基準点の計測方向ベクトルが誤っていると判定された場合、その基準点の計測方向ベクトルを近傍の基準点の計測方向ベクトルから補間したベクトルと置き換える。これにより、当該補間によって修正された計測方向ベクトルが、方向ベクトル修正部１５から計測部１６へ出力される。

計測部１６は、基準点から計測方向に伸びる直線と、抽出されたＩＬＭとの交点までの距離を計測する。そして、その距離をその基準点における層厚として出力する。計測部１６は、全ての基準点に対してこの処理を行なう。

次に、図５を用いて、図１に示す画像解析装置１０における動作の一例について説明する。

画像解析装置１０は、画像入力部１１において、断層画像撮像装置２２で撮像された複数の断層画像を装置内に入力する（Ｓ１０１）。具体的には、複数の断層画像をその撮像順に並べた網膜ボリュームデータを入力する。図２に示すように、網膜ボリュームデータの座標系は、断層画像の横方向をｘ軸とし、縦方向をｙ軸とし、また、断層画像が並べられる方向をｚ軸とする。再構成された網膜ボリュームデータは、画像入力部１１から基準点設定部１２に出力される。

次に、画像解析装置１０は、層抽出部１２ａにおいて、Ｓ１０１で入力された網膜ボリュームデータからＩＬＭとＲＰＥを抽出する（Ｓ１０２）。これらを抽出するためには、まず、網膜ボリュームデータからエッジ成分を検出し、その連結性に基づいて何本かの線分を層境界の候補として抽出する。そして、これらの候補の中から、一番上の線分をＩＬＭ、一番下の線分をＲＰＥとする。なお、層の境界を抽出する方法は、特に問わず、網膜ボリュームデータから層の境界を抽出できるのであれば、どのような方法を用いてもよい。

ＩＬＭ及びＲＰＥの抽出後、画像解析装置１０は、基準点設定部１２において、基準点を設定する（Ｓ１０３）。具体的には、図３に示すように、複数の基準点をＲＰＥ上に等間隔に設定する。各基準点の座標は、基準点設定部１２から計測方法決定部１３、方向ベクトル算出部１４、方向ベクトル修正部１５、計測部１６に出力される。

続いて、画像解析装置１０は、計測方法決定部１３において、基準点設定部１２から出力された基準点の座標を用いて網膜の湾曲度を算出し、その算出結果に基づいて層厚の計測方法を決定する（Ｓ１０４）。なお、計測方法の決定の仕方については、上述で説明したため、ここではその説明については省略する。

Ｓ１０４の結果、網膜の層厚の計測を縦方向に行なう旨決定された場合（Ｓ１０５でＮＯ）、画像解析装置１０は、計測部１６において、当該決定に基づいて網膜の層厚を計測する（Ｓ１０９）。一方、網膜の層厚の計測を法線方向に行なう旨決定された場合（Ｓ１０５でＹＥＳ）、画像解析装置１０は、方向ベクトル算出部１４において、計測方向ベクトルを算出する（Ｓ１０６）。上述した通り、ＲＰＥ上の各基準点における法線ベクトルを算出し、当該算出した法線ベクトルに基づいて計測方向ベクトルを求める。

計測方向ベクトルの算出が済むと、画像解析装置１０は、方向ベクトル修正部１５において、当該算出された計測方向ベクトルの中から誤っている計測方向ベクトルを修正する（Ｓ１０８）。なお、計測方向ベクトルの修正については、上述で説明したため、ここではその説明については省略する。

その後、画像解析装置１０は、計測部１６において、方向ベクトル算出部１４により算出された計測方向ベクトルと、方向ベクトル修正部１５により修正された計測方向ベクトルとを用いて、各基準点における層厚を計測する（Ｓ１０９）。具体的には、各計測方向ベクトルとＩＬＭの三角パッチの交点を求め、その交点が三角パッチの内部に含まれることを、直線と面の交差判定によって判定する。交点が含まれている場合、その交点から基準点までの３Ｄユークリッド距離を層厚とする。

以上説明したように本実施形態によれば、網膜の層境界の形状に基づいて当該層厚を計測する方向を決定し、その方向に沿って層厚を計測する。これにより、網膜が大きく傾斜又は湾曲している場合であっても、層厚を正確に計測できる。すなわち、ＲＰＥの形状から網膜の平坦度を計算し、層厚の計測方法を決定する。そして、ＲＰＥ上に設定した複数の基準点における層厚の計測方向ベクトルを算出し、ＩＬＭとこれらのベクトルとの交点を求める。基準点から交点までの距離が、各基準点における層厚となる。このように層厚の計測を行なうことにより、網膜の形状を考慮した精度の高い層厚の計測が可能になる。

なお、上記実施形態においては、網膜全体（ＩＬＭからＲＰＥまで）の層厚を計測する場合を例に挙げて説明したが、これに限られない。例えば、ＮＦＬ（神経線維層）やＧＣＣなど網膜を構成する他の層の厚みの計測を行なうこともできる。この場合、例えば、ＲＰＥをＮＦＬ下端、ＧＣＣ下端など、厚みを計測したい層の下端に置き換えれば良い。

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

例えば、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０：画像解析装置、１１：画像入力部、１２：基準点設定部、１２ａ：層抽出部、１３：計測方向決定部、１４：方向ベクトル算出部、１５：方向ベクトル修正部、１６：計測部

Claims

被検眼の網膜の断層像を取得する断層像取得手段と、
前記断層像に含まれる層境界の所定の点において、前記所定の点における層厚の第１の計測方向と比較対象となる層厚の計測方向との比較、または前記第１の計測方向の層厚と比較対象となる層厚との比較に基づいて、前記第１の計測方向および前記第１の計測方向とは異なる第２の計測方向のうち出力すべき層厚の計測方向を判定する判定手段と、
前記判定手段により出力すべきと判定された計測方向の層厚を出力する出力手段と、
を備え、前記第１の計測方向は前記層境界の法線方向であることを特徴とする画像解析装置。
前記層厚は神経線維層の層厚であることを特徴とする請求項１に記載の画像解析装置。
前記判定手段は、前記断層像に含まれる層境界の前記所定の点を含む複数の点それぞれにおいて前記第１の計測方向および前記第２の計測方向のうち出力すべき層厚の計測方向を判定することを特徴とする請求項１又は２に記載の画像解析装置。
前記比較対象となる層厚の計測方向は、前記断層像に含まれる層境界の所定の点以外の点における層厚の計測方向または層境界の近似モデルを用いて推定された前記所定の点における層厚の計測方向であることを特徴とする請求項１乃至３の何れか１項に記載の画像解析装置。
前記判定手段は、前記第１の計測方向を示すベクトルと前記比較対象となる層厚の計測方向を示すベクトルとの内積が閾値以下の場合に、前記第２の計測方向を出力すべき層厚の計測方向と判定することを特徴とする請求項１乃至４の何れか１項に記載の画像解析装置。
前記比較対象となる層厚は、前記断層像に含まれる層境界の所定の点以外の点における層厚であることを特徴とする請求項１乃至５の何れか１項に記載の画像解析装置。
前記判定手段は、前記第１の計測方向の層厚と前記比較対象となる層厚との差が閾値以上の場合に、前記第２の計測方向を出力すべき層厚の計測方向と判定することを特徴とする請求項１乃至６の何れか１項に記載の画像解析装置。
前記断層像に含まれる層境界を抽出する抽出手段を更に備えることを特徴とする請求項１乃至４の何れか１項に記載の画像解析装置。
被検眼の網膜の断層像を撮像する断層像撮像手段と、
前記断層像に含まれる層境界を抽出する抽出手段と、
前記抽出手段により抽出された層境界の所定の点において、前記所定の点における層厚の第１の計測方向と比較対象となる層厚の計測方向との比較、または前記第１の計測方向の層厚と比較対象となる層厚との比較に基づいて、前記第１の計測方向および前記第１の計測方向とは異なる第２の計測方向のうち出力すべき層厚の計測方向を判定する判定手段と、
前記判定手段により出力すべきと判定された計測方向の層厚を出力する出力手段と、
を備え、前記第１の計測方向は前記層境界の法線方向であることを特徴とする画像解析システム。
前記層厚は神経線維層の層厚であることを特徴とする請求項９に記載の画像解析システム。
断層像取得手段と判定手段と出力手段とを備えた画像解析装置の制御方法であって、
前記断層像取得手段によって、被検眼の網膜の断層像を取得する断層像取得工程と、
前記判定手段によって、前記断層像に含まれる層境界の所定の点において、前記所定の点における層厚の第１の計測方向と比較対象となる層厚の計測方向との比較、または前記第１の計測方向の層厚と比較対象となる層厚との比較に基づいて、前記第１の計測方向および前記第１の計測方向とは異なる第２の計測方向のうち出力すべき層厚の計測方向を判定する判定工程と、
前記出力手段によって、前記判定手段により出力すべきと判定された計測方向の層厚を出力する出力工程と、
を備え、前記第１の計測方向は前記層境界の法線方向であることを特徴とする画像解析装置の制御方法。
前記層厚は神経線維層の層厚であることを特徴とする請求項１１記載の制御方法。
請求項１１または請求項１２に記載の制御方法の各工程をコンピュータに実行させることを特徴とするプログラム。