WO2017209024A1

WO2017209024A1 - 涙液状態評価方法およびその装置

Info

Publication number: WO2017209024A1
Application number: PCT/JP2017/019840
Authority: WO
Inventors: 克己薮崎
Original assignee: 興和株式会社
Priority date: 2016-05-30
Filing date: 2017-05-29
Publication date: 2017-12-07
Also published as: EP3466319A1; WO2017209024A9; US20200315446A1; JPWO2017209024A1; JP6814799B2; US11266308B2; EP3466319A4

Abstract

ドライアイの重症度等を客観的に評価判断するための涙液評価方法およびその装置を提供する。涙液干渉縞画像の所定領域における色情報を取得し、取得した前記色情報から色の多様性を示す数値を算出し、算出された色の多様性を示す数値を涙液状態の評価のための指標とする。

Description

涙液状態評価方法およびその装置

　本発明は涙液の油層によって発生する干渉縞の色の多様性を利用して涙液の状態を評価する方法および装置に関する。

　眼球、ならびに、まぶたは涙液によって、異物の侵入、乾燥、摩擦による損傷などから保護されている。涙液はその大半を占める水と糖たんぱく質（ムチン）からなる液層とそれを覆う油層の２層からなっており、油層は液相が直接空気に触れることを防ぐことにより液相の蒸発を防いでいる。油層の成分はまぶたに存在するマイボーム腺から分泌される。加齢や炎症、ならびに、擦傷などによりマイボーム腺が損傷すると正常な油層の形成が起こらなくなり、ドライアイといわれる症状の原因となる。そのため、涙液の油層を評価することはドライアイの重症度の診断に有効である。

　涙液の油層を評価する方法として、油層で形成される干渉縞を撮影し、その状態を目視判断して５段階の指標（グレード）に分けて診断するための装置および方法が提案されている（特許文献１、特許文献２）。涙液の干渉縞も基本的にはシャボン玉、あるいは、水面に張った薄層の油膜などで観察されるものと同じであるが、涙液の場合は油層の表面で反射した光と油層の下面と液層の境界で反射した光とが干渉して干渉縞を形成している。

　液層に累層した油層が安定していて厚みが均一な場合は光の干渉が起こらずに涙液の画像はモノトーンの灰色に見える（グレード１）。油層の厚みが薄くなるにつれ、つまり、ドライアイの症状がすすむにつれて、油層の厚みと光の波長の長さが干渉を起こす条件に重なり干渉縞が見え始める。最初、異なった灰色の干渉縞が見えるが（グレード２）、油層の厚みが不均一になると、様々な色の干渉縞が発生し（グレード３）、さらに油層が不均一になることで、これら多彩な色の干渉縞が入り乱れる（グレード４）。重症のドライアイでは油層の形成が著しく損なわれていて、もはや、干渉縞は認められず、全体的に灰色に見えるが、グレード１とは画像の滑らかさが明らかに異なっており、それを指標にグレード５と判断できる。

特開平９－２０１３３４号公報特開２０１１－１５６０３０号公報

　しかしながら、このような目視によるドライアイのグレード判定は正確な診断をできるようになるまでに熟達を要す。また、仮に熟達した観察者であったとしても、先入観や錯覚で診断結果の判定にバラツキがでたり、異なる観察者間でその個々の主観により判定結果に相違が発生したりする問題があった。そのため、涙液の油層の状態を目視によるグレード判定に似た方法を用いて自動的に数値化できる手法が望まれていた。

　さらに、涙液画像は画像が連続した映像としても得ることができるが、目視による涙液状態の診断をする限りにおいては、時間的・空間的な解析は不可能であり、測定データに内含される涙液の流動性や状態の変遷などといった情報を動的に解析することができなかった。

　本発明は以上のような従来の問題点に鑑みてなされたものであり、涙液干渉縞画像における色の多様性から涙液の状態を評価する涙液状態評価方法およびその装置を提供するものである。

　本発明に係る涙液状態評価方法およびその装置は、以下に示すステップまたは手段を備えるものである。
（１）涙液干渉縞画像の所定領域における色情報を取得し、取得した前記色情報から色の多様性を示す数値を算出し、算出された色の多様性を示す数値を涙液状態の評価のための
指標とするものである。
（２）上記（１）において、前記色情報とは、一つの画素が持つ赤、緑、青（Ｒ，Ｇ，Ｂ）の色要素の少なくとも１つ以上の輝度であり、前記色の多様性を示す数値とは、複数の画素におけるそれぞれの輝度のばらつきである。
（３）上記（２）において、前記輝度のばらつきとは、輝度の分散または輝度の標準偏差とする場合が多いが、それに限定されることなく、類似のあるいは統計的に同等の数値であればよいので、ばらつきを示す数値は適宜選択すればよい。
（４）上記（１）において、前記色情報は色相であってよく、また、前記色の多様性を示す数値とは、前記所定領域を所定の区分に区分けし要素数が空でない区分数と空の区分数の割合であってよい。
（５）上記（１）乃至（４）において、前記涙液干渉縞画像とは、動画像を構成する連続する複数のフレーム画像であり、前記フレーム画像ごとに、所定領域における色情報を取得し、取得した前記色情報から色の多様性を示す数値を算出するものである。
　なお、ここでは色情報について、上記（２）に記したように輝度値で表現される場合（ＲＧＢの値）と、上記（４）で記したように色相で表現される場合（色相リング等）と、について説明したが、本発明はこれらに限定されるものではなく、色情報をどのように表現するかは種々の方法があり適宜選択すればよい。

　本発明は、以下の効果を奏する。注目する画像中の領域に含まれる画素の色情報をもとにその領域の色の多様性を判断することにより、涙液の干渉縞の状態を数値化することができ、その色の多様性を示す数値を涙液の状態を評価するための指標として利用することができる。そのため、観察者の主観や経験等によらずに、客観的に涙液の状態（ドライアイの重症度や角膜上のどの部位で涙液の状態が悪いか）を評価することができる。

　また、涙液干渉縞画像を無数の領域に分解して、各々の領域について色の多様性に係る数値を算出する、または、各画素、あるいは、少数の画素集団に対してそれを取り囲む領域について色の多様性に係る数値を算出するようにすることで、涙液の状態の平面的（あるいは、空間的）な分布について評価することができる。これにより、角膜上のどの部位で涙液の状態が悪いかを容易、かつ、客観的に知ることができる。

　さらには、動画像中における２フレーム以上の画像を取り出して解析することにより、涙液の状態の時間的推移について解析して評価することができる。これにより、時間的に涙液の状態が悪くなっていく速度など、涙液の状態を別の指標で評価することができる。

色の多様性を所定の領域にどれだけの色が含まれるかを指標に評価した結果を示す図である。色の多様性をＲＧＢ色空間の色要素、すなわち、赤、緑、青を用いて色の多様性を色のばらつき（標準偏差）から求めた例を示す図である。画像解析を行う際の最小のユニットである格子の大きさを変化させた際に涙液の状態をどの程度の空間情報として抽出できるかを示した模式図である。画像解析を行う際に画像を格子状に分割せず、注目画素を含んで取り囲む領域の輝度の標準偏差から注目画素に与える色の多様性を求める方法を示す図である。涙液干渉縞の映像を用いて、各フレームの画像に対して色の多様性を算出し、動的に解析した一例を示す図である。涙液画像取得手段の構成の概略図である。

　以下、実施例を交えて本発明の実施の形態を説明する。本発明は画像全体領域、あるいは、画像中に設けられた少なくとも１つ以上の小領域について、当該領域中のすべて、あるいは、一部の画素について色情報を取得し、少なくとも２つ以上の画素からなる色情報の多様性を算出することにより、涙液の干渉縞が当該領域内で持つ色の多様性をもとにして涙液の状態を判定するものである。

＜画像の取得＞
　眼表面の涙液の画像を取得するための装置（涙液干渉縞画像取得装置）については、撮影した涙液の干渉縞を示す画像をデジタルデータとして記録できるものであればよく、従来既知のものを適宜用いればよい。例えば、図６に概略を示すように、涙液干渉縞画像取得装置は、白色ＬＥＤ等で構成される光源１１から発せられ、絞りを通過した光線は、順にレンズ１２、スプリッタ１３、対物レンズ１４を経て、被検者の被検眼の前眼部１５に集光される。前眼部１５からの反射光は、対物レンズ１４およびスプリッタ１４を通過し、結像レンズ１６を経て撮像素子１７上に結像される。撮像素子１７に結像された撮影データは、画像処理エンジンによる所定の処理が施され、画像データ、動画像データに変換される。

　涙液干渉縞画像取得装置は、本発明に係る涙液状態評価装置と物理的又は論理的に接続される。当該涙液状態評価装置は、データを演算および処理する処理手段、涙液干渉縞画像取得手段により取得された画像データ、動画像データおよびその他のデータを記憶する記憶手段を備えるものであり、当該記憶手段には、本発明を実施するためのコンピュータプログラムや所定のデータがそれぞれ記憶されており、処理手段は、当該コンピュータプログラム等による所定の命令に従ってデータの処理を行うものである。

＜画像の色情報取得＞
　以下、涙液状態評価装置の具体的な処理について述べる。以上のように得られた涙液の干渉縞の画像データ（涙液干渉縞画像）から色情報を取得し、その色情報の多様性を算出し、涙液の状態の評価の指標とするものである。使用する色情報としては、多くの電子画像機器で用いられている方式である、赤、緑、青の３色の色要素（ＲＧＢ色空間の数値）を用いてもよいし、あるいは、より直感的に色を表すことができる色相を用いる色空間、具体的には「ＨＳＶ色空間」や「ＨＬＳ色空間」による数値を用いてもよい。

　一般的に、色相（Ｈ）の取得は、以下の式に示されるように、ＲＧＢ色空間の数値から変換されることが知られているので、これを利用すればよい。
（Max=Rのとき）
　　H = 60 * (G - B) / (max - min)
（Max=Gのとき）
　　H = (60 * (B - R) / (max - min)) + 120
（Max=Bのとき）
　　H = (60 * (R - G) / (max - min)) + 240

　また、別の方法として、波長ごとの画像を取得できる特別な機器を使用して得てもよい。具体例としては、透過する光の波長を漸次、あるいは、段階的に変化させることができる分光フィルターをモノクロのカメラと接続して、分光フィルターごとの画像を取得して求める方法がある。

　さらには、色情報から算出される二次的な数値を求めて使用してもよい。具体的には、ＲＧＢ色空間においては赤、緑、青の少なくとも１つ以上の色要素の輝度をそのまま、あるいは、所定の方法により処理してグレースケール階調にしたものが挙げられる。例えば、ヒトの色覚にあったグレースケールを作成する方法として、赤、緑、青それぞれの輝度に対して、それぞれ所定の係数（例えば、赤「０．２９８９１２」、緑「０．５８６６１１」、青「０．１１４４７８」）を掛け合わせた後に足し合わせて算出する方法が知られているが、このようにしてもよい。

　また、それぞれの色要素における輝度のいずれかを単独で使用、あるいは、２つ以上を組み合わせて算出するようにしてもよい。例えば、平均値による場合、２つ以上の色要素を単に平均して算出してもよいし、各要素に対して異なる所定の重み付け係数をかけ合わせて与えてもよい。また、色相を用いる色空間、例えば、ＨＳＶ色空間においては、明度（Ｖ）をそのまま、あるいは、適宜加工して使用するようにすればよい。

＜色の多様性の算出＞
　前記のような方法により取得した色情報から色の多様性を算出する方法としては、例えば、画像中のある所定の領域（区分）にどれだけ多くの色が含まれるかを算出する方法、あるいは、前記の方法で取得した色情報の少なくとも１つ以上の要素について領域内でどれぐらいばらつきがあるかを算出する方法などを挙げることができる。

　まず、前者について「ＨＳＶ色空間」などの色相を扱うことができる色空間を用いた場合について説明する。色相を所定の数に分割した区分を作り、画像中の所定領域内の各画素の色相を色情報として取得し、その色情報を区分ごとに区分けする。そして、それぞれの区分について入った要素の数をカウントし、それぞれの区分ごと所定の閾値よりも小さい場合はその区分は空であったとして、空ではなかった区分の数を計数する。これにより色情報の多様性を評価できる。

　また、後者について、すなわち、取得した色情報の少なくとも１つ以上の要素について領域内でどれぐらいばらつきがあるかを調べる方法について説明する。ＲＧＢ色空間の色情報を画像内の所定の領域内の各画素について調べ、赤、緑、青の少なくとも１つ以上の色要素の強度が領域内部でどれぐらいばらついているかを評価することにより得る。ばらつきに関しては、各要素の値から得られる分散値を用いてもよいし、そこから算出される偏差による値（標準偏差等）を用いてもよい。これらの値は必要により任意に選択して用いればよい。

＜画像中における色の多様性算出の対象領域＞
　このように得られた涙液干渉縞画像の色情報の多様性は画像全体に対して算出するようにしてもよいが、あるいは、涙液干渉縞画像を格子状に任意に区分して、それぞれの格子内の領域について色の多様性を算出するようにしてもよい。

　画像全体、または、区分された領域が大きい場合、計算にかかるコストが低いため、複数の涙液干渉縞画像を即時的に解析し数値を表示することができる。

　一方、格子状に区分した領域の数を増やし、大きさを小さくすることによって、より微小領域における色の多様性を評価することが可能である。この場合、区分された領域の数が増加するにしたがって計算コストが増大するため、解析の即時性は失われていく。

　また、画像中の各画素、あるいは、いくつかの隣接する画素を一纏めにした画素領域とし、その周囲の画素、あるいは、画素領域について色情報の多様性を求めるようにしてもよい。このようにして求めた色情報の多様性は、画像を格子状に区分けする前述の方法よりもさらに解像度が高く、且つ、空間的位置情報が元の涙液画像と完全に一致しているという利点がある一方、多大な計算コストがかかるため即時性は低い。そのため、一度記録した画像や映像に対して詳細な解析を行う場合に用いるのがよい。
なお、色の多様性を計算する際、元の涙液干渉縞画像を、適宜、拡大、または、縮小してもよい。拡大の方法としてはバイリニア法、バイキュービック法、Ｌａｎｃｚｏｓ法など間を埋める画素の輝度を関数で補完する方法が好ましい。拡大の効果としては、それぞれの部位によって異なる状態の情報を、より詳細に取得できることにある。一方、縮小の方法としてはニアレストネイバー法、バイリニア法、バイキュービック法、Ｌａｎｃｚｏｓ法などいずれの方法を用いてもよく、縮小の効果として解析時間の短縮がある。これらは必要に応じて使い分ければよい。

　涙液干渉縞画像から、格子、あるいは、画素、または、画素集合などの領域ごとに得られた色の多様性は、２次元に配置することにより涙液の状態を示す画像として保存、表示するようにしてもよい。画像化する際には多様性の値によって輝度を増加、あるいは、減少させるグレースケールで表現してもよいし、違いをより認知しやすくするために多様性の値をもとにして得られたヒートマップカラーを用いてもよい。

　また、このようにして得られた涙液干渉縞画像における色の多様性を単一の画像だけではなく、撮影時間が異なる２枚以上の画像（静止画像）や映像（動画像）に対して同様に解析していくことで、時間的・空間的な涙液の状態の解析が可能となり、涙液の状態が観察領域のどの部分から劣化していくのか、あるいは、涙液がどれぐらいの流動性を持っているのか、さらには、涙液がどの時点で崩壊するのかなど、動的な解析を非侵襲的に行うことができる。こうした解析によれば、ドライアイの重症度の診断において、単なるグレード評価だけでなく、ドライアイの症状の角膜上における位置関係や進行状況等についての詳細な情報を得ることができ、その後の治療に活かすことが可能となる。

　図１ＡおよびＢは、涙液干渉縞画像の色の多様性を評価する方法として、ＨＳＶ色空間を用い、目視判定においてグレード１と判別された画像（図１Ａ）と、目視判定においてグレード４と判別された画像（図１Ｂ）をそれぞれ用意し、画像の中心部分の３２０×３２０画素の領域について含まれる各画素について色相を色情報として求め、その色情報が色相を１８０分割した区分のどこに属すかを調べてヒストグラムを作成し、要素数が空でない区分の割合を算出したものである。

　結果として、グレードが低い画像（グレード１、図１Ａ）においては、要素数が空でない区分の割合は低く、グレードが高い画像（グレード４、図１Ｂ）においては、要素数が空でない区分の割合は高いという結果となった。

　また、さまざまなグレードからなる計１５枚の画像について、前述の方法と同様の方法で評価した結果を表１に示す。

　この表1に示されたデータをグラフ化したところ、図１Ｃに示すような結果となった。ややばらつきは大きいものの、グレードと要素数が空でない区分の間には正の相関が認められた。すなわち、グレード１と判断された涙液干渉縞画像は、要素数が空でない区分の割合は低い、つまり色の多様性が低いと評価でき、グレードが高くなるにつれて、要素数が空でない区分の割合が高くなる、つまり色の多様性が高くなっていくと評価できることがわかる。

　続いて、ＲＧＢ色空間を用いて評価を行った結果を図２に示す。実施例１で使用したものと同じ画像を用い、実施例１と同じく画像の中心部分の３２０×３２０画素の領域について含まれる各画素について、赤、青、緑の輝度値のヒストグラムを作成し、ヒストグラムのばらつきを標準偏差に注目して評価した。

　その結果、グレードの低い画像では領域内のＲＧＢ各要素の輝度の標準偏差は小さかったが（図２Ａ）、グレードが高い画像では大きな標準偏差を示した（図２Ｂ）。

　実施例１に用いたものと同じように計１５枚の画像を評価した結果を表２に示す。

　またこの表２のデータについて赤色要素の標準偏差、ならびに、３色の要素の標準偏差の平均値についてグレードに対してマッピングした結果を図３Ｃおよび図３Ｄに示す。これらに示すように、いずれにおいても高い正の相関を示し、かつ、実施例１による方法よりもばらつきが小さい良好な結果を得た。

　これらの結果から、涙液干渉縞の色の標準偏差は色の多様性を評価するのに適した指標であることがわかる。ある領域における輝度の標準偏差が大きいということは、色の多様性が高いと評価でき、一方、標準偏差が小さいということは、色の多様性が低いと評価できるものである。このように、涙液干渉縞画像における色の多様性を評価するための指標として輝度の標準偏差は優れた指標であり、グレード評価に類似した数値化を行うことが可能であることがわかる。

　図３は、ある涙液干渉縞画像について、画像全体（Ａ）、画像を４分割（Ｂ）、１６分割（Ｃ）、６４分割（Ｄ）、２５６分割（Ｅ）したときに得られる色の多様性を示した一例である。数値は各領域が示す色の多様性を示す値であり、０から９までの１０段階の数値をとる。ここでは、小さな格子を用いることにより涙液干渉縞における微小な変化を検出可能であることを示している。色の多様性が６以上の場合を涙液の状態が悪いと判断し、その区分に関しては区分内に×印を付与してある。

　画像全体が１つの格子である場合、４という１０段階評価で中程度の値となっているが、格子の辺の長さを２分の１、４分の１、８分の１、１６分の１と小さくするに従って解像度が増加するため、微小領域における涙液の状態を把握することができる。

　また、この他、図４に示すように、画像を領域化するのではなく、個々の画素、あるいは、画素の集合に注目して、それらを取り囲む周囲の画素の色の多様性を求めることで、元の涙液干渉縞画像と同等の解像度で涙液の状態を評価することが可能である。図４Ａは、ある涙液干渉縞画像における各画素の輝度の数値を示すものであり、図４Ｂは、ある画素とその画素を取り囲む画素を標本として標準偏差を算出したものである。

　図４Ｂに示す例では、注目画素１およびこれを取り囲む領域１における標準偏差は、「２．２」と小さいが、注目画素２およびこれを取り囲む領域２においては「７．１」と大きいため、領域１と比較して領域２の方が色の多様性が高く、領域２の方が涙液の状態が悪いと判断することができる。こうして、涙液の状態について、角膜上の具体的な位置ごとに把握し、評価することができる。

　実施例３における涙液の状態を干渉縞の色の多様性から評価する方法において、周辺画素の持つ色から各画素の色の多様性を評価する方法を用いて涙液干渉縞の映像の評価を行った。具体的に、ある涙液干渉縞の映像の各フレームの画像について、赤、緑、青（ＲＧＢ）の３要素について注目画素を中心に含む５×５の合計２５画素の値から輝度の標準偏差をそれぞれ求めたのち平均した値を算出した。

　このように、映像の各フレームの画像に対して前記の方法で色の多様性を評価したところ、図５に示すような、角膜上の涙液において下まぶた側から亀裂が入り、その亀裂が成長していく過程を捉えることができた。

　図５Ａは涙液干渉縞画像の下部の亀裂を含む領域における水平方向の色の多様性、図５Ｂは水平に対して垂直方向の色の多様性の時間経過を見たものである。亀裂付近はさまざまな色が出現するため、干渉縞の色の多様性が増加するものであるが、水平方向には亀裂の多様性が増加しないものの、垂直方向には増加していく、即ち、亀裂が下まぶた側から上方に陥入していくことがわかる。これにより、角膜のどこの位置で涙液が崩壊するのか、また、どのタイミングで涙液が崩壊するのかを解析することが可能になり、涙液全体を見てグレードの判断をするよりも詳細な診断が可能となる。

　実施例３、ならびに実施例４記載の方法で得られる涙液干渉縞の色の多様性として赤色と青色の標準偏差を計算し、青色の標準偏差を赤色の標準偏差で除算する方法を検討した。赤色の標準偏差はグレード４までは直線的に増加するがグレード５においては涙液干渉縞画像が全体的に暗いため小さい数値となってしまう。一方、青色の標準偏差はグレード５まで増加するので、青色の標準偏差を赤色の標準偏差で除算することによりグレード５の画像を特異的に検出することが可能であった。

　以上、本発明について説明したが、本発明は上述の実施例に限定されず種々の変形した形での応用が可能なものである。上述の説明では、涙液干渉縞画像取得装置と涙液状態評価装置とが別々のハードウェアであるように記載したが、涙液干渉縞画像取得装置と画像処理装置とは、一体のハードウェアとして構成されていてもよいし、内蔵する情報処理のための処理手段や記憶手段等は、涙液干渉縞画像取得装置と涙液状態評価装置とで各々備えても、一部兼用としてもよい。涙液状態評価装置として涙液干渉縞画像に対して、これまで説明してきた処理を行える構成であればよい。
　また、輝度の標準偏差を算出する領域については、画像全体でも良いし、格子状に分割した画像の小片（区分）でも良いし、また、各々の画素とその周辺領域から算出しても良い。
　このように領域を画像全体、画像全体を無数の領域に分解し各々の分割された領域、または、各画素、あるいは、少数の画素集団に対してそれを取り囲む領域、を適宜選択し、干渉縞の色の状態を領域単位で解析して数値化する方法により、涙液の状態の平面的（、あるいは、空間的）な分布について評価することができる。

　本発明は涙液の干渉縞画像を用いるドライアイの重症度の診断において涙液の状態を観察者の力量によらずに客観的に数値化する方法として利用することが可能である。特に、従来の目視によるグレード判定では困難であった涙液の時間的空間的遷移を動的解析することが可能であり、また従来提案されている、涙液の干渉縞画像の色情報（輝度値や色相）をそのまま評価する方法に比べて、輝度のばらつきという指標または色相のヒストグラムを用いて色の多様性を評価する本発明に係る方法を利用することにより、より詳細な診断と症状に合わせた治療ができるようになることが期待できる。

Claims

　涙液干渉縞画像の所定領域における色情報を取得し、
　取得した前記色情報から色の多様性を示す数値を算出し、
　算出された色の多様性を示す数値を涙液状態の評価のための指標とする涙液状態評価方法。
　前記色情報とは、画素が持つ赤、緑、青の色要素の少なくとも１つ以上の輝度であり、
　前記色の多様性を示す数値とは、前記輝度のばらつきである、請求項１に記載の涙液状態評価方法。
　前記輝度のばらつきとは、輝度の分散または輝度の標準偏差である請求項２に記載の涙液状態評価方法。
　前記色情報とは、画素が持つ色相であり、
　前記色の多様性を示す数値とは、色相を所定の区分に区分けし要素数が空でない区分数と空の区分数の割合であることを特徴とする請求項１に記載の涙液状態評価方法。
　前記涙液干渉縞画像とは、動画像を構成する複数のフレーム画像であり、前記フレーム画像ごとに、所定領域における色情報を取得し、取得した前記色情報から色の多様性を示す数値を算出することを特徴とする請求項１乃至４のいずれか１項に記載の涙液状態評価方法。
　涙液干渉縞画像の所定領域における色情報を取得する手段と、
　取得した前記色情報から色の多様性を示す数値を算出する算出手段と、を備え、
　前記算出手段で算出された色の多様性を示す数値を涙液状態の評価のための指標とする涙液状態評価装置。