JP7448470B2 - 画像分類装置の作動方法、装置及びプログラム - Google Patents

Description

本発明は、画像の分類方法、そのための装置及びプログラムに関する。

眼球、ならびに、瞼は、涙液によって異物の侵入、乾燥、摩擦による損傷などから保護されている。涙液層はその大半を占める水と糖たんぱく質（ムチン）からなる液層とそれを覆う油層の２層によって涙液層をなし、油層は液層が直接空気に触れることを防ぐことにより液層の水分の蒸発を防いでいる。油層の成分は瞼に存在するマイボーム腺から分泌される。加齢や炎症、ならびに、擦傷などによりマイボーム腺が損傷すると正常な油層の形成が起こらなくなって液層が保持できなくなることなどを理由にドライアイといわれる症状を引き起こす。

ドライアイは、「涙液減少型」、「蒸発亢進型」のタイプに分類することができる。それぞれにタイプについて概説すると、「涙液減少型」とは、分泌される涙液量が減少するなどの理由により液層の水分が不足するタイプであり、「蒸発亢進型」とは、油層の不足により液層の水分の蒸発が亢進してしまうことにより引き起こされるドライアイのタイプである。

ドライアイの診断については、従来から、被検者の角膜を撮影することより得られる涙液層干渉縞画像を用いることがある。角膜は、上記のとおり、油層及び液層からなる涙液層に覆われているため、撮影した画像には、その涙液による干渉縞が表れる。健常者およびドライアイのタイプによってもその涙液層干渉縞に一定の特徴が表れるため、これをドライアイの診断に利用するものである。

涙液層干渉縞画像の取得のための眼科装置については、例えば、特許文献１等に記載の技術が知られており、また、特許文献２には、近年一般的に利用されている機械学習による画像認識、画像分類に係る装置、方法等が記載されている。

画像認識、画像分類に関する機械学習の手法としては、「Ｂａｇ ｏｆ ｖｉｓｕａｌ ｗｏｒｄｓ」、「Ｂａｇ ｏｆ ｆｅａｔｕｒｅｓ」、「Ｂａｇ ｏｆ ｋｅｙｐｏｉｎｔｓ」などと称される手法が知られている。

この手法による主な画像認識、分類については、おおよそ、「１．学習用画像における特徴点からの局所特徴量の抽出」、「２．局所特徴量のクラスタリングによる「ｖｉｓｕａｌ ｗｏｒｄｓ」の作成」、「３．局所特徴量のベクトル量子化」、「４．ベクトル量子化による特徴量を「ｖｉｓｕａｌ ｗｏｒｄｓ」によりヒストグラム化」、「５．分類器による分類」のような手順となる。

具体的には、まず学習用画像における特徴点から局所特徴量を抽出する。局所特徴量とは、特徴点におけるエッジやコーナーとして表れる勾配（ベクトル）情報などである。画像中における局所特徴点の決定については、領域範囲及び位置をランダムに設定する方法、又は、固定的に設定する方法、もしくは、学習用画像について複数のスケールで平滑化し、平滑化後の各スケール間における差分を取ることにより画像におけるエッジ、コーナーといった特徴が表れる領域を特徴点として決定する方法などがある。

得られた局所特徴量をクラスタリングし、「ｖｉｓｕａｌ ｗｏｒｄｓ ｄｉｃｔｉｏｎａｒｙ」（「コードブック」とも呼ばれる。）を作成する。クラスタリングの代表的な手法として、ｋ平均法（ｋ－ｍｅａｎｓ）が知られている。

続いて学習用画像における特徴点から抽出された局所特徴量をベクトル量子化し、作成した「ｖｉｓｕａｌ ｗｏｒｄ」によりヒストグラム化する。ヒストグラム化された情報がその画像の特徴情報（特徴ベクトル）として示されることとなる。

画像（試験画像）を分類する場合も、基本的には上記と同様の処理を行う。最終的に作成された試験画像に係るヒストグラム化された情報がその試験画像の特徴情報となる。以上により、学習用として蓄積された特徴情報と試験画像の特徴情報とに基づき分類器により画像の分類が可能となるが、分類器（分類手法）としては、例えば、特許文献２や特許文献３に記載があるように、サポートベクターマシン（Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）や、その他、ＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅ）等、様々な手法が提案されている。

特許第３５５６０３３号公報 特開２００９－２５８９５３号公報 特許第５１７６７７３号公報 国際公開第２０１９００９２７７号

以上が一般的な機械学習を利用した画像分類であるが、涙液層干渉縞画像によるドライアイのタイプの分類を行う場合、従来の一般的な画像分類の手法では、望ましい結果を得ることが非常に困難である。

原因として、涙液層干渉縞画像をドライアイのタイプ別に分類しようとする場合、抽出される特徴点およびそこから得られる特徴量が、必ずしもドライアイのタイプの分類において着目すべき特徴ではない、ということが考えられる。

例えば、車、クラシックギター等といった画像であれば、輪郭や色彩等に関する差が特徴差として強く検出されるため画像分類のための特徴情報が分りやすいものとなり、結果として、高精度の分類が可能である。しかしながら、涙液層干渉縞画像においては、基本となるような構造やパターンが見られないため、大きな特徴差が表れない場合も多い。そのため、涙液層干渉縞画像については、本来着目すべき特徴に特徴点が設定されない、または、適切な特徴量が抽出できないという問題がある。

また、従来のドライアイのタイプの分類については、眼科医等の観察者の知識や経験に基づく部分が大きいため、そうした知識や経験等にかかる観察者の主観的な影響を受けてしまうため、そうした観察者によるバイアスの少ない客観的で安定した分類を支援する方法や装置等が求められるところである。

本発明は、こうした従来の問題点に鑑みてなされたものであり、以下のステップもしくは手段を含む画像分類装置の作動方法、画像分類装置及びプログラムである。
（１）ドライアイのタイプにより分類された複数の学習用涙液層干渉縞画像から特徴量を取得するステップと、前記特徴量から前記ドライアイのタイプに画像を分類するためのモデルを前記ドライアイのタイプに応じてそれぞれ構築し、前記モデルから前記ドライアイのタイプに応じた分類器を得るステップと、試験用涙液層干渉縞画像から特徴量を取得するステップと、前記試験用涙液層干渉縞画像から取得した特徴量により前記分類器によって前記試験用涙液層干渉縞画像を前記ドライアイのタイプにより分類する分類処理を行うステップと、を有する画像分類装置の作動方法であって、前記特徴量は、画像の色に関する情報であって、色彩、色の多様性、色の鮮やかさ、局所的な色のばらつきに係る情報のうちの少なくとも一の情報であって、
前記モデルは、前記特徴量の種類の数を次元数とする特徴ベクトルである、ことを特徴とする。
（２）上記（１）において、前記色彩に係る情報とは、赤色及び青色輝度画像の少なくともいずれか一方の輝度平均に基づく情報である。
（３）上記（１）又は（２）において、前記色の多様性に係る情報とは、赤及び青色輝度画像の少なくともいずれか一方の輝度の標準偏差に基づく情報である。
（４）上記（１）乃至（３）のいずれかにおいて、前記色の鮮やかさに係る情報とは、画素の輝度の差分値に基づく情報である。
（５）上記（１）乃至（４）のいずれかにおいて、前記局所的な色のばらつきとは、注目画素の輝度と前記注目画素の周辺画素の輝度から算出される標準偏差に基づく情報である。
（６）上記（１）乃至（５）のいずれかにおいて、前記試験用涙液層干渉縞画像が動画像の場合、所定の複数フレームについて前記分類処理を行い、最頻の結果を前記動画像による試験用涙液層干渉縞画像の分類結果とする。
（７）上記（１）乃至（６）のいずれかにおいて、前記学習用涙液層干渉縞画像および前記試験用涙液層干渉縞画像における所定領域から特徴量を取得する。
（８）上記（１）乃至（７）のいずれかにおいて、前記学習用涙液層干渉縞画像および前記試験用涙液層干渉縞画像とは、開瞼検知から一定時間の動画像、もしくは、開瞼検知から一定時間内の任意のタイミングで取得された１以上の静止画である。
（９）上記（８）において、前記一定時間とは、５秒間である請求項１乃至９のいずれか１項に記載の画像分類方法。

本発明では、機械学習による画像の分類にあたり、画像における色とその多様性、色の鮮やかさ、局所的な色のばらつき等を示す情報を特徴量として利用して分類するので、特徴差が検出され難い画像の分類、例えば、涙液層干渉縞画像からドライアイのタイプ（特に「健常者」「涙液減少型」「蒸発亢進型」）の分類が可能となる。また、特に涙液層干渉縞画像におけるドライアイタイプの分類にあたっては、従来の一般的な機械学習法よりも、観察者の主観を排した客観的な分類の指標、分類結果を提供することができる。また本発明では、涙液層の崩壊が検知される前に取得された画像に対しても本発明の処理を施すので、完全な涙液層の崩壊が生じていない状態の眼の状態を計測していることになり、それにより、ごく軽度な崩壊や、崩壊に準ずるような症状、崩壊の予兆や傾向、などを検知することも期待できる。

涙液層干渉縞画像取得装置の構成の概略図である。 ドライアイのタイプによる涙液層干渉縞画像の一例を示す説明図である。 本発明に係る処理の流れの一例を示すフロー図である。 本発明に係る特徴量をマッピングした一例を示すグラフである。 本発明に係る実施例１の分類結果に基づくＦ値によるグラフである。 本発明に係る実施例２の分類結果に基づくＦ値によるグラフである。 涙液層干渉縞画像における対象領域の一部における各画素の色情報（輝度値）の一例と、所定の局所領域から注目画素の標準偏差を算出した結果の一例を示す図である。

［涙液層干渉縞画像の取得］
角膜表面における涙液層の干渉縞画像を取得するための装置（涙液層干渉縞画像取得装置）については、撮影した画像をデジタルデータとして記録できるものであればよく、従来既知のものを適宜用いればよい。例えば、図１に概略を示すように、涙液層干渉縞画像取得装置は、光源１１から発せられ、絞りを通過した光線は、順にレンズ１２、スプリッタ１３、対物レンズ１４を経て、被検者の被検眼の前眼部１５に集光される。前眼部１５からの反射光は、対物レンズ１４およびスプリッタ１３を通過し、結像レンズ１６を経て撮像素子１７上に結像される。撮像素子１７に結像された撮影データは、画像処理エンジンによる所定の処理が施され、静止画像データ、動画像データに変換される。

涙液層干渉縞画像取得装置は、本発明に係る画像分類装置と物理的又は論理的に接続される。当該画像分類装置は、データを演算および処理する処理手段、涙液層干渉縞画像取得装置により取得された画像データ、動画像データおよびその他のデータを記憶する記憶手段を備えるものであり、当該記憶手段には、本発明を実施するためのコンピュータプログラムや所定のデータがそれぞれ記憶されており、処理手段は、当該コンピュータプログラム等による所定の命令に従ってデータの処理を行うものである。

なお、以下の説明については、涙液層干渉縞画像は、一定時間にわたって撮影された複数の連続するフレームからなる動画像、又は、静止画像の両方の意味を含むものであり、画像分類装置自体又はこれに接続された記憶装置に記憶されているものとする。

ここで、涙液層干渉縞画像の取得については、開瞼検知から一定時間経過時間経過時に自動的に涙液層干渉縞画像の取得を完了させるようにしてもよい。特に、近年、開瞼から涙液層の崩壊が検知されるまでの時間である「ＢＵＴ（Ｂｒｅａｋ Ｕｐ Ｔｉｍｅ）」が、５秒以下である場合をドライアイと診断する、という診断基準が日本を含むアジア地区で採択されていることから、一定時間を５秒として、開瞼検知から５秒経過時に自動的に涙液層干渉縞画像の取得を完了するようにしてもよい。

また、開瞼検知から、所定の時間間隔毎（たとえば、０．５秒毎）に涙液層干渉縞画像を静止画像として取得するようにしてもよい。さらに、順次その涙液層干渉縞画像を解析し、一定時間経過前に涙液層の崩壊が検知された場合、その時点で、涙液層干渉縞画像の取得を完了するようにしてもよい。以下、具体的に説明する。

開瞼検知については、従来既知の方法を適宜利用できるが、具体的には、たとえば、特許文献４に記載の方法が知られている。これは、通常、瞬きが行われる場合、閉瞼による画像中の輝度の大幅な低下と、開瞼による輝度の大幅な上昇が起こるが、この、瞬きの閉瞼により当該輝度平均値の大幅な低下と、開瞼による上昇を利用し、この輝度平均値に対して所定の閾値を設定して、輝度平均値がその閾値以上に変化した時点を開瞼時として検出するようにする方法である。

閾値については、画像中における所定領域のＲＧＢ各色要素の輝度の平均値とするのが好適であるが、これに限定されない。開瞼検知のための閾値は、任意に設定してもよく、また、２以上の色要素の輝度から適宜演算して得た値に基づいて検出してもよい。カラー画像の輝度をそのまま利用してもよいし、グレースケール階調に変換した画像の輝度等を利用してもよい。

ただ、この開瞼時検知において所定領域の輝度の平均値を用いているのが好適な理由は、この閾値の設定を適正に行うことができるためである。取得された涙液層干渉縞画像は、被検者の目の状態、例えば、角膜の状態やまつ毛の量やその長さ、周囲の光量など様々な要因によって、明るさが一定ではないではないので、閾値を一律に定めるのが困難であるためである。

そのため、涙液層干渉縞画像における所定領域の輝度の平均値を閾値の設定に利用することで、画像自体の明るさ（輝度の大小）に関わらず、画像に応じた適正な閾値とすることができる。具体的には、涙液層干渉縞画像から得られた輝度値の最小値と最大値との中央値を閾値として設定するようにしてもよいし、最小値から所定値を加算、または、最大値から所定を減算した値を閾値としてもよい。瞬きにおける輝度平均値が示す変動の変動幅に収まる値を設定できる方法であればよい。

上述してきたとおり、涙液層干渉縞画像の取得にあたっては、開瞼検知からタイマーにより一定時間（たとえば、５秒間）経過時に涙液層干渉縞画像の取得を完了させてもよい。また、この一定時間経過前であっても、被検者による瞬きを１回または複数回検知したら涙液層干渉縞画像の取得を完了させるようにしてもよい。被検者の瞬き検知は、上記開瞼検知とほぼ同様に、開瞼時と閉瞼時の画像における輝度の大幅な変化を利用するようにしてよく、具体的には、画像の所定領域の輝度の平均値、もしくは、任意の値と、所定の閾値とを比較することにより瞬きを検知するようにすることができる。

また、上述のとおり、開瞼検知から所定時間間隔毎（たとえば、０．５秒毎）に、涙液層干渉縞画像を静止画像として取得し、その画像中に涙液層の崩壊が検知できるか否かを順次解析し、涙液層の崩壊が検知された時点で、涙液干渉縞画像の取得を完了するようにしてもよい。ここで、涙液層の崩壊の検知については、従来既知の方法、例えば慣用されているエッジ検出法やハフ変換法などを適宜利用できるが、本実施例では特許文献４に記載の方法で説明する。これは、涙液層干渉縞画像における色のばらつきを示す値を算出しこれを評価する方法であり、具体的には、涙液層干渉縞画像のＲＧＢ色空間の輝度を画像内の所定の領域内の各画素について調べ、赤、緑、青の少なくとも１つ以上の色要素の強度が領域内部でどれぐらいばらついているかを評価する方法である。以下に具体的に示す。

この色のばらつきに関しては、各色要素の輝度から得られる分散値や偏差（標準偏差等）、もしくは、それら分散値や標準偏差等による値を領域内の画素の輝度の平均値で除算した値（変動係数）を用いることができる。これらの値は必要により任意に選択して用いればよい。

色のばらつきを示す値の算出は、画像全体（全画素）に対して算出するようにしてもよいが、注目画素およびこれに隣接する画素を一纏めにした画素を局所領域とし、その局所領域について色情報の多様性を求めるようにするのが好適である。このようにして求めた色のばらつきを示す値は、画像全体に対して算出する場合と比較して解析の即時性は低いながら、解像度が高く、且つ、空間的位置情報が元の画像と一致しているため、涙液層の崩壊の位置や面積の特定に資する。具体的に図７Ａ及びＢを参照しつつ説明する。

図７Ａは、ある画像の対象領域における注目画素とその注目画素を囲む８画素による３×３の計９画素が示す領域について輝度の標準偏差を算出している場合を示す模式図である。図７Ａの各数値は、当該画像の一部における各画素の輝度の数値を示すものである。

図７Ａに示す「領域１」は、注目画素１およびそれを取り囲む画素からなる計９画素（３×３画素）からなる領域からなり、当該領域１において標準偏差を算出し注目画素１に出力する。これを図７Ａのような輝度を持つ画像の対象領域にスキャンした結果を示すのが図７Ｂである。

つまり、注目画素とこれを中心とする所定の画素からなる局所領域における輝度等の色情報の標準偏差を注目画素に出力するフィルタにより、画像の対象領域（全体又は所望の一部）をスキャンして画素毎に出力された標準偏差を記憶する。

ここで、図７ＡおよびＢにおいて、具体的な数値を確認すると、領域１において注目画素１に出力された標準偏差を見てみると「２．２」と小さいが、領域２における注目画素２に出力された値は「７．１」と大きい。原則として、涙液層の状態悪化の程度が進むほど、色のばらつきが高くなる傾向にあるので、図３に示すデータにあっては、領域１と比較して領域２の方が色のばらつきが高いため、領域２の方が涙液層の状態が悪いと判断できることになる。

なお、ここで、ドライアイ重症度グレード５を示すような涙液層崩壊が広範囲にわたる重症の被検者の場合、上述のような輝度等による色情報の分散や標準偏差により算出された数値のみだと涙液層崩壊を適切に判定できない場合がある。涙液層崩壊箇所は崩壊していない箇所と比較して輝度が一定でばらつきが少ない。このため涙液層の崩壊箇所が広範囲に及ぶと上述したような分散や標準偏差によるばらつきを示す値が大きくならない箇所が増え、結果として涙液崩壊が検出できない、もしくは、実態にそぐわないような軽症と判定されるおそれがあるためである。

そのため、以下の「式１」により算出される変動係数、すなわち、上述のように得られる輝度の分散や標準偏差による値をその領域における輝度の平均値で除算することにより得られる数値を用いるようにしてもよい。
[式１]
変動係数 ＝ 輝度の標準偏差 ／ 輝度平均値

なお、これまでの説明では、図７は、注目画素およびそれを取り囲む画素による局所領域における標準偏差もしくは変動係数等の色のばらつきを示す値を注目画素毎にそれぞれ出力しているが、注目画素に出力せずに、その局所領域を一つの区分とみて、この区分毎に標準偏差を出力するようにしてもよい。また、当該領域又は区分は、３×３の計９画素に限るものではなく、任意の数の画素の集合であってよいのは勿論である。

以上のとおり、色のばらつきを示す値は、所定領域における色情報（輝度等）のばらつき、すなわち、分散又は標準偏差等の偏差を求めることにより得られるものであり、また、これらの他、所定の領域における色情報のばらつきを示す値を所定領域における色情報の平均値で除算した値、すなわち、変動係数によるものである。

涙液層の崩壊を検知するか否かの判定は、上述のようにして得た、分散、標準偏差、変動係数等による色のばらつきを示す値に基づいて判定するものである。例えば、標準偏差等の色のばらつきを示す値が所定の閾値以上を示す画素または区分の数をカウントし、そのカウント数が所定閾値以上の場合に涙液層の崩壊が起こっていると判定する。

別の方法としては、例えば、標準偏差等の色のばらつきを示す値が所定の閾値以上を示す画素または区分の面積を算出し、その面積が所定の閾値以上の場合に涙液層の崩壊が起こっていると判定するようにしてもよい。

また、抽出画像のスキャン対象領域全体に占める標準偏差等の色のばらつきを示す値が所定の閾値以上を示す画素または区分の割合で判定してもよい。抽出画像のスキャン対象領域全体の画素数若しくは面積に占める色のばらつきを示す値が所定の閾値以上を示す画素の数若しくは面積の割合が所定以上の場合に涙液層の崩壊があったと判定するようにしてもよい。

ただし、抽出画像における元の色情報が不適切であること等から算出される色のばらつきを示す値がノイズを含む可能性が否定できないため、色のばらつきを示す値が所定の閾値以上を示す画素または区分と判定されても、それが一の連続する領域として所定の大きさ（面積）に満たないものは除外するようにしてもよい。

上述のような涙液層の崩壊を検知するための解析処理を、開瞼検知から所定時間（０．５秒）間隔毎に静止画像として取得された涙液層干渉縞画像に対して行い、涙液層の崩壊が検知されたと判定された場合は、その時点で、涙液層干渉縞画像の取得を完了するようにしてよい。たとえば、開瞼検知から０．５秒経過時の涙液層干渉縞画像（静止画像）について涙液層の崩壊が検知された場合は、それ以後の涙液層干渉縞画像の取得を止める。涙液層の崩壊が検知されない場合は、さらに０．５秒（開瞼検知から１秒後）の涙液層干渉縞画像を取得し、これに対し、同様の涙液層の崩壊を検知するための解析処理を行う。これを繰り返し行い、一定時間（たとえば５秒）経過しても涙液層の崩壊が検知されたと判定されなかった場合は、その一定時間をもって、涙液層干渉縞画像の取得を完了する。

上述のようにして得られた涙液干渉縞画像についてドライアイのタイプ別に分類する処理について以下説明する。ドライアイのタイプ別に分類する処理に使用される涙液層干渉縞画像は、一定時間撮影された動画像における任意の、もしくは、全てのフレームに対して行うようにすることができる。また、上述のようにして得られた０．５秒間隔毎などの所定時間間隔毎に取得された静止画像全てに対して行ってもよい。もしくは、涙液層の崩壊が検知された静止画像、または、この直前に取得された静止画像のどちらか片方、もしくは、両方について行うことにしてもよい。あるいは、開瞼検知から５秒経過時に取得された静止画像、または、動画像にあっては開瞼検知から５秒経過時にあたるフレームに対して行うようにしてもよい。

［画像の色情報］
本発明において用いる色情報としては、例えば、多くの電子画像機器で用いられている方式である、赤、緑、青の３色の色要素（ＲＧＢ色空間の数値）を用いる方法がある。具体的には、各画素の色情報とは、画素が持つ赤、緑、青の色要素の輝度である。

なお、以下の説明は、ＲＧＢ色空間における輝度を用いる場合を元に例に説明するが、本発明において、色情報は、ＲＧＢ色空間における数値に限るものではなく、ＨＳＶ色空間、ＨＳＢ色空間、ＨＬＳ色空間、あるいはＨＳＬ色空間などで規定される輝度、あるいは、明度を使用することを否定するものではない。

［本発明における特徴量］
そこで、本発明については、涙液層干渉縞画像について以下のような特徴量を用いることで、機械学習のよる涙液層干渉縞画像のドライアイタイプの分類の精度向上を可能にした。本発明で用いることのできる特徴量は、例えば以下のものが挙げられる。
（１）Ｒｅｄ［ＡＶＧ］：画像を光の三原色の３つの層に分け、そのうちの赤色の輝度画像について、解析対象領域の画素の輝度の平均値を求めたものである。
（２）Ｒｅｄ［ＳＤ］：上記の赤色輝度画像の解析対象領域の画素輝度のばらつきを標準偏差として求めたものである。
（３）Ｂｌｕｅ［ＡＶＧ］：青色輝度画像に対して平均値を求めたものである。
（４）Ｂｌｕｅ［ＳＤ］：青色輝度画像に対して標準偏差を求めたものである。
（５）Ｄｉｆｆ［ＡＶＧ］：解析対象領域内の全ての画素に対して以下を行う。
（ａ）注目画素の赤、緑、青の各輝度の値を得る。
（ｂ）それら３つの値のうちの最大値から最小値を差し引いた差分値を求める。（例えば各色の輝度が「赤：１９２、緑：１８４、青：１６４」の場合の差分値は「差分値＝１９２－１６４＝２８」となる。）
（ｃ）これを領域内すべての画素に対して計算して差分画像を得る。
（ｄ）得られた画像に対して領域内の画素輝度の平均値を求めたものが「Ｄｉｆｆ［ＡＶＧ］」である。
（６）Ｄｉｆｆ［ＳＤ］：上記（５）－（ｃ）で得た差分画像に対して、解析対象領域内の画素輝度の標準偏差を求めたものである。
（７）√Ａｒｅａ：上記（５）－（ｃ）で得た差分画像に対して、解析対象領域内の画素がある閾値よりも大きかった画素の総数を得、その総数（＝面積）の平方根を算出した値である。
（８）ＳＤ［ＲＥＤ］：赤色輝度画像の解析対象領域において以下を行う。
（ａ）注目画素から半径Ｒ（Ｒは任意の値）の範囲に含まれる画素の輝度のばらつきを標準偏差として得る。
（ｂ）得られた値をその画素の部位（Ｘ，Ｙ座標）の値として記録し、これを解析対象領域全体に対して行い標準偏差画像を生成する。
（ｃ）標準偏差画像の解析対象領域において標準偏差画像の輝度値のばらつきを算出したものがSD[RED]である。
（９）ＳＤ［ＢＬＵＥ］：青色輝度画像の解析対象領域において上記（８）と同様の処理を行って標準偏差を算出する。
（１０）Ｒａｔｉｏ［ＵＰＰＥＲ］：解析対象領域内の上方の所定画素に対して以下を行う。
（ａ）注目画素の赤、緑、青の輝度から上記（５）－（ｂ）と同様に輝度値の最大成分値と最小成分値を得る。
（ｂ）赤、緑、青の全ての輝度値が閾値以上の場合に以下を行う。
Ｒａｔｉｏ＝ｍａｘ／ｍｉｎ。すなわち、得られた最大値を最小値で除した値を「Ｒａｔｉｏ」とする。
（ｃ）Ｒａｔｉｏ値がある閾値より大きい画素の数を計数したものが「Ｒａｔｉｏ［ＵＰＰＥＲ］」である。
（１１）Ｒａｔｉｏ［ＢＯＴＴＯＭ］：解析対象領域内の下方の所定の画素に対して上記（１０）と同様のことを行い「Ｒａｔｉｏ［ＢＯＴＴＯＭ］」を得る。

本発明における特徴量の意味を説明する前に、ドライアイの分類について詳細に説明する。本発明に係る画像分類装置においては、「健常者」、「涙液減少型」「蒸発亢進型」の３パターンに涙液層干渉縞画像を分類することを主眼としている。当該３タイプの涙液層干渉縞画像を図２に示す。なお実際に取得される涙液層干渉縞画像はカラー画像であるので、その色彩的な特徴等を含め以下に説明する。

「健常者」の涙液層干渉縞画像は、一般的に、干渉縞は確認できるものの、全体的に色彩の変化に乏しく、グレー系色単色に近い見え方をする。「涙液減少型」は、対照的に、油層の厚みにもよるもの、赤系、青系、緑系、グレー系等の色が入り混じって表れ、さらに涙液の亀裂や欠損部分が明るい白系色として表れ、これを囲む輪郭のように黒系色が線状もしくは点状に部分的に表れる。「蒸発亢進型」は、全体的な色としては若干赤みを帯びたグレー系色として表れ、部分的に涙液の亀裂が白系色で線状に表れる。

これら３パターンの特徴を前提に、本発明における特徴量を説明する。「Ｒｅｄ［ＡＶＧ］」と「Ｂｌｕｅ［ＡＶＧ］」は、涙液層干渉縞画像の「色彩」に係る情報であり、色とその明るさを見る指標の一つとなる。すなわち、健常者の涙液層干渉縞は、縞模様は存在するが比較的明るいグレー系色単色に近いため、「Ｒｅｄ［ＡＶＧ］」と「Ｂｌｕｅ［ＡＶＧ］」は共に高い値を示すもののその差は小さい。「蒸発亢進型」の涙液層干渉縞は、若干「Ｒｅｄ［ＡＶＧ］」が「Ｂｌｕｅ［ＡＶＧ］」より高い値を示す。「涙液減少型」の涙液層干渉縞は、鮮やかな干渉色を示すが、特に赤系色を示す領域が大きいため、「Ｒｅｄ［ＡＶＧ］」が他のドライアイタイプより高い値となる。

「Ｒｅｄ［ＳＤ］」、「Ｂｌｕｅ［ＳＤ］」は、涙液層干渉縞画像の「色の多様性」を示す情報である。基本的には「Ｒｅｄ［ＡＶＧ］」、「Ｂｌｕｅ［ＡＶＧ］」との関係と同様の傾向を示すが、涙液層干渉縞の色の変化が大きくなっている場合には高い値を示す。

以上のとおり「Ｒｅｄ［ＡＶＧ］」、「Ｂｌｕｅ［ＡＶＧ］」、「Ｒｅｄ［ＳＤ］」および「Ｂｌｕｅ［ＳＤ］」の４特徴量は、ドライアイタイプを大まかに分類するパラメータとしての意味を持つ。

「Ｄｉｆｆ［ＡＶＧ］」、「Ｄｉｆｆ［ＳＤ］」は、干渉縞の「色の鮮やかさ」の程度を示すものであり、色彩が鮮やかなほど大きな値を示す。そのため、特に、「涙液減少型」の涙液層干渉縞画像の認識に意味を持つ。「√Ａｒｅａ」は同様に輝度の差分値を利用するものであるため「涙液減少型」干渉縞が画像の認識精度向上のための補助的な意味を持つ。

「ＳＤ［ＲＥＤ］」、「ＳＤ［Ｂｌｕｅ］」は、注目画素近傍における輝度のばらつき、つまり、画像における「局所的な色のばらつき」を示す。そのため、上記「Ｒｅｄ［ＳＤ］」、「Ｂｌｕｅ［ＳＤ］」は、大域的な輝度のばらつきを示すものであるが、「ＳＤ［ＲＥＤ］」、「ＳＤ［Ｂｌｕｅ］」は、局所的な輝度のばらつき、すなわち、涙液の亀裂により強い影響が表れるという違いがある。「健常者」の涙液層干渉縞画像は亀裂が起こり難いためこの「ＳＤ［ＲＥＤ］」、「ＳＤ［Ｂｌｕｅ］」は小さい値となるが、「涙液減少型」および「蒸発亢進型」の涙液層干渉縞画像においては、大きな値となる。「ＳＤ［ＲＥＤ］」、「ＳＤ［Ｂｌｕｅ］」は、涙液の亀裂等の異常があるか否かの判定に大きく寄与するパラメータとしての意味を持つ。

「Ｒａｔｉｏ［ＵＰＰＥＲ］」、「Ｒａｔｉｏ［ＢＯＴＴＯＭ］」は、上記の「Ｄｉｆｆ［ＡＶＧ］」や「√Ａｒｅａ」と類似した機能を持つ特徴量であるが、「涙液減少型」の涙液層干渉縞画像には、明瞭な縞模様を表さないものや小さな領域の縞が画像の上部、或いは、下部に形成される場合がある。「Ｄｉｆｆ［ＡＶＧ］」や「√Ａｒｅａ」では、解析対象領域全体を対象としているため、こうした局所的な少変化を捉えにくいが、「Ｒａｔｉｏ［ＵＰＰＥＲ］」、「Ｒａｔｉｏ［ＢＯＴＴＯＭ］」は、解析対象領域を更に絞ることもあり、こうした少変化を捉えやすく、結果として「涙液減少型」タイプの認識向上に寄与する特徴量である。

［Ｓ１ 解析対象領域の確定］
本発明における画像分類の処理の流れの一例を図３に示す。画像分類装置は、それぞれのドライタイプ涙液層干渉縞画像を学習用画像について解析を行うが、涙液層干渉縞画像は、角膜が曲率を有するため、涙液層干渉縞が表れている領域とその周囲の輝度が著しく低い暗領域とが存在するため、この暗領域は不要な領域として除外し涙液層干渉縞が表れている領域（一般的には画像中央に略円形領域として表れる。）を解析対象領域とするのが望ましい。また、特に涙液層干渉縞画像の上方に表れることの多い、瞼や睫毛による欠失部分も不要な領域として解析対象領域から除外するのが望ましい。

解析不要領域の除外の具体的な方法は、特に拘るものではないが、例えば、閾値を設けて涙液層干渉縞画像の画素の輝度が閾値以下の画素は解析対象から除外する方法がある。閾値は、予め決めた固定値もしくは涙液層干渉縞画像の画素の輝度の平均値などに基づき算出される動的な値でもよい。または、涙液層干渉縞と周囲の黒色領域との境界はエッジとして強く表れるので、これを検出することにより解析対象領域を決定する方法でもよい。

［Ｓ２ 学習用涙液層干渉縞画像の特徴量の取得］
画像分類装置は、その「健常者」の涙液層干渉縞画像の解析対象領域について上記特徴量を取得し記憶する。本発明における特徴量は上記のとおり１１種類を例示したが、これを全て用いなくてもよいし、更に所定の演算を加えたものを特徴量として採用してもよい。取得する特徴量の種類を増加させる程、一般的に分類の精度が向上するが、処理速度やリソース等も考慮し適切な種類の特徴量を適宜選択し取得するようにしてよい。

このように、画像分類装置は、「健常者」のものとして診断が決定している涙液層干渉縞画像について上記に説明した所定の特徴量を取得し、取得した特徴量をそれぞれ記憶する。更に、同様に「涙液減少型」の涙液層干渉縞画像、「蒸発亢進型」の涙液層干渉縞画像について同様に特徴量取得を行う。

［Ｓ３ 画像分類のためのモデルの構築］
Ｓ２によって、予め定めた特徴量の種類と取得された特徴量とが関連付けて記憶される。これにより、涙液層干渉縞画像は、特徴量の種類の数を次元とする特徴ベクトルで表現することができる。たとえば、ある「健常者」の涙液層干渉縞画像について、「Ｒｅｄ［ＡＶＧ］」、「Ｂｌｕｅ［ＡＶＧ］」、「Ｒｅｄ［ＳＤ］」および「Ｂｌｕｅ［ＳＤ］」の４種類の特徴量を解析取得しているとすると、この涙液層干渉縞画像はこれら４種類の量として定義される４次元の特徴ベクトルとして表現することができる。

以上の処理により、画像分類装置は、「健常者」の涙液層干渉縞画像に係る複数の特徴ベクトル、同様に、「涙液減少型」の涙液層干渉縞画像に係る複数の特徴ベクトル、「蒸発亢進型」の涙液層干渉縞画像に係る複数の特徴ベクトルを記憶蓄積することにより、これらドライアイタイプの分類のための情報を学習したこととなる。

つまり、画像分類装置は、上記の処理の結果、上記のような特徴量を要素とする特徴ベクトルのうち「健常者」の涙液層干渉縞を示すもの、同様に、「涙液減少型」の涙液層干渉縞を示すもの、および、「蒸発亢進型」の涙液層干渉縞を示すものを認識している（識別可能な状態で記憶している）ことになる。図４に、把握を容易にするため２次元による特徴ベクトルのマッピング結果の一例を示す。つまり、涙液層干渉縞画像は、採用した特徴量の数を次元数とするベクトル空間における特徴ベクトルであり、学習用の涙液層干渉縞画像から取得したこれら特徴ベクトルが画像を判別、分類するためのモデルとなる。

［Ｓ４ 試験用涙液層干渉縞画像の特徴量の取得と分類器による分類］
Ｓ２及びＳ３の学習の処理を経た画像分類装置は、上記のとおり、未知の画像分類のための前提情報を記憶しているため、上記に挙げたようなサポートベクターマシンやＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅ）といった既に一般に知られている分類器（分類手法）を適宜用いることができる。

上記のとおり、「Ｓ２ 学習用涙液層干渉縞画像の特徴量の取得」において、画像分類装置は、学習用の涙液層干渉縞画像の特徴量を取得して記憶しているため、それら特徴量を要素とする特徴ベクトルにより画像分類のためのモデルを構築できる。

画像分類装置は、試験用の涙液層干渉縞画像についても、「Ｓ２ 学習用涙液層干渉縞画像の特徴量の取得」のとおり、所定の特徴量を取得する。画像分類装置は、学習用の涙液層干渉縞画像によるモデルと、取得された試験用の涙液層干渉縞画像の特徴量に基づき、分類器により試験用の涙液層干渉縞画像を分類する。

［比較例１］
比較例１として、画像の機械学習による分類法として一般的な「Ｂａｇ ｏｆ ｖｉｓｕａｌ ｗｏｒｄｓ法」を用いて涙液層干渉縞画像を用いたドライアイタイプ分類法を評価した。比較例１において用いた涙液層干渉縞画像は、ドライアイの各タイプ（健常者、涙液減少型、蒸発亢進型）について、それぞれ４６画像（静止画像）の計１３８画像を用意した。これら涙液層干渉縞画像について、各タイプの３１画像（合計９３画像）を学習用に、各タイプの１５画像（合計４５画像）を試験用に２分して画像分類装置が上記のように学習を行った。

偶然選出されたファイルの組み合わせによる正解値の結果の良し悪しが確立したモデルの評価に影響することを避けるため、各タイプ３１の学習用画像の選出をランダムに行い、残りの１５画像を試験用画像として評価を行う試行を合計１０回行い、その平均値をモデルの良し悪しの判断に利用した。

以上の分類の結果を示す。モデルの信頼性をはかる統計的尺度の一つとしてＦ値が一般に知られており、以下のとおり算出される。
Ｆ値（Ｆ－ｍｅａｓｕｒｅ）＝２ × 適合率 × 再現率 ／ （適合率 ＋ 再現率）

本比較例におけるＦ値の具体的数値は、健常者：０．５８７、涙液減少型：０．６６９、蒸発亢進型：０．５４９であった。また、比較例１について、偶然の一致を排除した、医師の診断結果に対する真の一致率として算出されたＫａｐｐａ係数は、０．３６７であり、一般的な機械学習による画像分類モデルは本件においては有効ではないことが示された。

［実施例１］
実施例１において用いた涙液層干渉縞画像は、比較例１に使用したものと同一の画像セットを利用し、比較例１記載の方法により画像を２分して画像分類装置が上記比較例１と同様に、ドライアイの各タイプ（健常者、涙液減少型、蒸発亢進型）について、それぞれ４６画像（静止画像）の計１３８画像の涙液層干渉縞画像について、各タイプの３１画像（合計９３画像）を学習用に、各タイプの１５画像（合計４５画像）を試験用に２分して学習を行った。

実施例１において利用した特徴量は、上記に紹介した１１種類（「Ｒｅｄ［ＡＶＧ］」、「Ｒｅｄ［ＳＤ］」、「Ｂｌｕｅ［ＡＶＧ］」、「Ｂｌｕｅ［ＳＤ］」、「Ｄｉｆｆ［ＡＶＧ］」、「Ｄｉｆｆ［ＳＤ］」、「√Ａｒｅａ」、「ＳＤ［ＲＥＤ］」、「ＳＤ［ＢＬＵＥ］」、「Ｒａｔｉｏ［ＵＰＰＥＲ］」、「Ｒａｔｉｏ［ＢＯＴＴＯＭ］」）すべてを利用している。

ここで、各特徴量における閾値等は以下のとおりである。
「√Ａｒｅａ」における閾値：「４３」。
「ＳＤ［ＲＥＤ］」における半径Ｒ：「５」。
「Ｒａｔｉｏ［ＵＰＰＥＲ］」における画素領域：解析対象領域内の上方２２０画素。
「Ｒａｔｉｏ［ＵＰＰＥＲ］」（上記（ｂ））の閾値：「９２」。
「Ｒａｔｉｏ［ＵＰＰＥＲ］」（上記（ｃ））の「Ｒａｔｉｏ値」に係る閾値：「１．１５」。
「Ｒａｔｉｏ［ＢＯＴＴＯＭ］」における画素領域：解析対象領域内の下方３００画素。他の閾値等は「Ｒａｔｉｏ［ＵＰＰＥＲ］」と同様。

また、実施例１でも比較例１と同様に、偶然選出されたファイルの組み合わせによる正解値の結果の良し悪しが確立したモデルの評価に影響することを避けるため、各タイプ３１の学習用画像の選出をランダムに行い、残りの１５画像を試験用画像として評価を行う試行を合計１０回行い、その平均値をモデルの良し悪しの判断に利用した。

実施例１の分類結果を図５に示す。実施例１におけるＦ値の具体的数値は、「健常者：０．８４５」、「涙液減少型：０．９８１」、「蒸発亢進型：０．８１５」である。また、本実施例について、（比較例１記載の場合）Ｋａｐｐａ係数は、「０．８２０」であり、ほぼ完ぺきなモデルであることを示した。

［実施例２］
実施例１で確立した機械学習モデルを利用した臨床試験を行い、本モデルがドライアイのタイプ診断に有用であるかを確認した。ここでは実施例１で使用した各タイプ４６画像（静止画像）の計１３８画像を学習用画像として使用し、実施例１記載の方法により分類装置が上記のように学習を行った。すべての画像を利用した理由は使用する画像が多いほど正解率が向上するためである。

分類する試験画像は、学習用画像より取得日付の新しい計１００動画像を用意（内訳：「健常者」３３動画像，「涙液減少型」３３動画像，「蒸発亢進型」３４動画像）し、それぞれにつき開瞼後５秒間の０．５秒間隔の１０画像を静止画像として切り出して、これらについてドライアイのタイプ判定（タイプ分類）を行った。

分類の評価基準としては、開瞼後５秒間の０．５秒間隔の１０画像のうち、開瞼後３秒から５秒の間の後半の計５画像における判定結果のうち最頻のタイプをその試験画像の分類結果とした。例えば、当該５画像の判定の結果が「健常者／蒸発亢進型／蒸発亢進型／蒸発亢進型／健常者」のような場合には、その試験画像は、最頻の「蒸発亢進型」として分類する。

以上の結果を図６に示す。本実施例におけるＦ値の具体的数値は、「健常者：０．７６２」、「涙液減少型：０．９５４」、「蒸発亢進型：０．８０６」である。また、本実施例について、偶然の一致を排除した、医師の診断結果に対する真の一致率として算出されたＫａｐｐａ係数は、「０．７６０」であり、本機械分類モデルがドライアイタイプ診断に極めて有効であることを示している。

以上説明してきたが、本発明は、上記の説明および実施例に限定されない。以上は、本発明の主たる用途としてドライアイのタイプの分類を挙げ、これについて説明しているが、本発明の用途はこれに限定されるものではない。ドライアイのタイプの分類以外の用途に応用する場合には、その用途に応じて適切なパラメータ（特徴量）を選択して利用すれば良い。

涙液層干渉縞画像に関し、実施例１では、学習用画像、ならびに、分類される試験画像として複数の静止画像を用意している。一方、実施例２では、分類される試験画像については動画像を用意しているが、学習用画像としては静止画像を用いている。このように試験対象の画像は静止画像であってもよいし、動画像であってもよい。また、再生される動画像（ライブ放映に係る動画像であっても、記録された動画像の再生であってもよい）のある時刻を医師が示し、その時点の静止画像を動画像から切り出して学習用画像に加えていくのであってもよい。学習用画像として動画像から静止画像を切り出して使用する場合、フレームを任意に切り出すようにしてもよいし、切り出したフレームについて所定の演算、例えば、色の補正、ピントボケの補正、解析不要部分の除去等、を施したものを利用するようにしてもよい。

本発明によれば、涙液層干渉縞画像によるドライアイのタイプ別の分類が客観的、且つ、自動的に行うことが可能となり、ドライアイのタイプの診断の客観的な指標となることが期待される。

Claims (11)

1. ドライアイのタイプにより分類された複数の学習用涙液層干渉縞画像から特徴量を取得するステップと、
   前記特徴量から前記ドライアイのタイプに画像を分類するためのモデルを前記ドライアイのタイプに応じてそれぞれ構築し、前記モデルから前記ドライアイのタイプに応じた分類器を得るステップと、
   試験用涙液層干渉縞画像から特徴量を取得するステップと、
   前記試験用涙液層干渉縞画像から取得した特徴量により前記分類器によって前記試験用涙液層干渉縞画像を前記ドライアイのタイプにより分類する分類処理を行うステップと、を有する画像分類装置の作動方法であって、
   前記特徴量は、画像の色に関する情報であって、色彩、色の多様性、色の鮮やかさ、局所的な色のばらつきに係る情報のうちの少なくとも一の情報であって、
   前記モデルは、前記特徴量の種類の数を次元数とする特徴ベクトルである、
   ことを特徴とする画像分類装置の作動方法。
2. 前記色彩に係る情報とは、赤色及び青色輝度画像の少なくともいずれか一方の輝度平均に基づく情報であることを特徴とする請求項１に記載の画像分類装置の作動方法。
3. 前記色の多様性に係る情報とは、赤及び青色輝度画像の少なくともいずれか一方の輝度の標準偏差に基づく情報であることを特徴とする請求項１又は２に記載の画像分類装置の作動方法。
4. 前記色の鮮やかさに係る情報とは、画素の輝度の差分値に基づく情報であることを特徴とする請求項１乃至３のいずれか１項に記載の画像分類装置の作動方法。
5. 前記局所的な色のばらつきとは、注目画素の輝度と前記注目画素の周辺画素の輝度から算出される標準偏差に基づく情報であることを特徴とする請求項１乃至４いずれか１項に記載の画像分類装置の作動方法。
6. 前記試験用涙液層干渉縞画像が動画像の場合、所定の複数フレームについて前記分類処理を行い、最頻の結果を前記動画像による試験用涙液層干渉縞画像の分類結果とすることを特徴とする請求項１乃至５に記載の画像分類装置の作動方法。
7. 前記学習用涙液層干渉縞画像および前記試験用涙液層干渉縞画像における所定領域から特徴量を取得する請求項１乃至６のいずれか１項に記載の画像分類装置の作動方法。
8. 前記学習用涙液層干渉縞画像および前記試験用涙液層干渉縞画像とは、開瞼検知から一定時間の動画像、もしくは、開瞼検知から一定時間内の任意のタイミングで取得された１以上の静止画である請求項１乃至７のいずれか１項に記載の画像分類装置の作動方法。
9. 前記一定時間とは、５秒間である請求項８に記載の画像分類装置の作動方法。
10. 請求項１乃至９のいずれか１項に記載の方法を実行する画像分類装置。
11. 請求項１乃至９のいずれか１項に記載の方法をコンピュータに実行させる画像分類プログラム。

Images