JPWO2019031569A1 - 涙液層の動態評価方法およびその装置 - Google Patents

涙液層の動態評価方法およびその装置 Download PDF

Info

Publication number
JPWO2019031569A1
JPWO2019031569A1 JP2019535709A JP2019535709A JPWO2019031569A1 JP WO2019031569 A1 JPWO2019031569 A1 JP WO2019031569A1 JP 2019535709 A JP2019535709 A JP 2019535709A JP 2019535709 A JP2019535709 A JP 2019535709A JP WO2019031569 A1 JPWO2019031569 A1 JP WO2019031569A1
Authority
JP
Japan
Prior art keywords
image
break
break detection
tear film
detection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019535709A
Other languages
English (en)
Other versions
JP7104941B2 (ja
Inventor
則彦 横井
則彦 横井
友香 杉浦
友香 杉浦
克己 薮崎
克己 薮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KYOTO PREFECTURAL UNIVERSITY OF MEDICINE
Kowa Co Ltd
Original Assignee
KYOTO PREFECTURAL UNIVERSITY OF MEDICINE
Kowa Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KYOTO PREFECTURAL UNIVERSITY OF MEDICINE, Kowa Co Ltd filed Critical KYOTO PREFECTURAL UNIVERSITY OF MEDICINE
Publication of JPWO2019031569A1 publication Critical patent/JPWO2019031569A1/ja
Application granted granted Critical
Publication of JP7104941B2 publication Critical patent/JP7104941B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/101Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the tear film
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

涙液層破壊、特にブレイクアップパターンについて動態的に評価する方法および装置の提供。連続する複数のフレームからなる涙液層干渉縞画像について涙液層の動態評価を行う方法であり、涙液層の破壊箇所を検出する画像である第1のブレイク検出画像、第2のブレイク検出画像、第3のブレイク検出画像、第4のブレイク検出画像のうち少なくとも一の画像を作成するブレイク検出画像作成ステップと、前記ブレイク検出画像作成ステップにより作成された画像が所定のブレイクアップパターンに該当するか否かを判定する判定ステップと、前記判定ステップにより判定された判定結果を集計する集計ステップと、前記集計ステップによる集計結果に基づき前記涙液層干渉縞画像のブレイクアップパターンを評価する評価ステップと、を含む。

Description

本発明は、涙液層干渉縞画像の動態評価に関する方法および装置であり、特に、涙液層の破壊パターン(ブレイクアップパターン)を評価する方法および装置に関する発明である。
眼球、ならびに、眼瞼は、涙液によって異物の侵入、乾燥、摩擦による損傷などから保護されている。涙液層はその大半を占める水と糖たんぱく質(ムチン)からなる液層とそれを覆う油層の2層によって構成され、油層は液層が直接空気に触れることを防ぐことにより液層の水分の蒸発を防いでいる。油層の成分は眼瞼に存在するマイボーム腺から分泌される。加齢や炎症、ならびに、外傷などによりマイボーム腺が損傷すると正常な油層の形成が起こらなくなって液層が保持できなくなることなどを理由にドライアイと呼ばれる眼疾患が引き起こされる。
ドライアイのタイプには、「涙液減少型」、「BUT短縮型」、「蒸発亢進型」、「水濡れ性低下型」がある。それぞれのドライアイのタイプについて概説すると、涙液減少型とは、分泌される涙液量が減少するタイプであり、BUT短縮型とは、瞬きから涙液層の破壊までの時間であるBUT(Break Up Time)が短いタイプである。蒸発亢進型とは、涙液の蒸発が亢進してしまうことにより引き起こされるタイプであり、水濡れ性低下型とは、角膜表面の水濡れ性が低下しているために引き起こされるタイプである。これらのうち蒸発亢進型と水濡れ性低下型のドライアイは、一般に、BUT短縮型に含まれる。
ここで、涙液層干渉縞画像に係るドライアイのタイプを定量的に分類するための眼科装置および画像分類方法が特許文献1に記載されている。特許文献1によれば、NIBUT(Non−Invasive Break Up Time)と、油層伸展初速度とを計測し、それらNIBUTと油層伸展初速度との相関によりドライアイのタイプを分類している。なお、NIBUTとは、フルオレセイン等の蛍光色素で染色しないで、非侵襲的に(Non−Invasive)計測するBUTである。
特許文献1によれば、NIBUTと油層伸展初速度に応じて、「涙液減少型ドライアイ(ATD:Aqueous Tear Deficient Dry Eye)」、「BUT短縮型ドライアイ」、「蒸発亢進型ドライアイ」、「治療後のATD」、「正常」の5タイプに分類できる例が記載されている。
一方、こうした涙液減少型、BUT短縮型、蒸発亢進型、水漏れ性低下型といったドライアイのタイプとは別に、涙液層の動態に基づく涙液層の破壊パターン(ブレイクアップパターン)の分類をすることができる。
ブレイクアップパターンに関する特徴をまとめたものを図1に示す。図1にはブレイクアップパターンとして4パターンを挙げている。図1中、最も左の列に掲載のブレイクアップパターンは、「エリアブレイク」(Area break)と呼ばれるパターンである。エリアブレイクは、涙液減少型ドライアイに見られるブレイクアップパターンで、開瞼中における涙液層の破壊が角膜広範囲にわたって出現し、油層伸展が見られないか見られても、角膜下方に限局しており、涙液減少型ドライアイの中でも重症度の高いパターンである。
続いて、図1中、左から2番目の列に掲載のブレイクアップパターンは「ラインブレイク」(Line break)と呼ばれるパターンである。ラインブレイクも涙液減少型ドライアイに見られるブレイクアップパターンであるが、油層伸展中に、特に角膜下方に涙液層の破壊が出現し、さらに、その破壊は縦方向に線状に表れる特徴を持つ。さらに、図1中、左から3番目の列に掲載のブレイクアップパターンは、「ディンプルブレイク」(Dimple break)と呼ばれるパターンである。ディンプルブレイクは、BUT短縮型ドライアイにおける水濡れ性低下型ドライアイに見られるブレイクアップパターンの1つであり、その特徴としては、油層伸展中において、主に角膜の下方から中央にかけて類線状の涙液層の破壊が生じるパターンである。
さらに、図1中、最も右の列に掲載のブレイクアップパターンは、「スポットブレイク」(Spot break)と呼ばれるパターンである。スポットブレイクは、開瞼中に角膜中央及び上方の位置に出現することが多い水濡れ性低下型のBUT短縮型ドライアイに該当し、その特徴として涙液層の破壊が「類円形」状に出現する傾向にあるパターンである。
特開2011−156030号公報
特許文献1の装置及び方法では、涙液層破壊の過程によりブレイクアップパターンについて評価、分類するなどといった、涙液層の破壊を動態的に評価することはできなかった。
本発明は、こうした従来の問題点に鑑みてなされたものであり、取得した涙液層干渉縞画像に対する視覚的、動的な評価を可能とし、ブレイクアップパターンを評価し分類することができる装置及び方法である。
本発明に係る涙液層の動態評価方法及びその装置は、以下に示すステップおよび手段を含むものである。
(1)連続する複数のフレームからなる涙液層干渉縞画像について涙液層の動態評価を行う方法であり、涙液層の破壊箇所を検出する画像である第1のブレイク検出画像、第2のブレイク検出画像、第3のブレイク検出画像、第4のブレイク検出画像のうち少なくとも一の画像を作成するブレイク検出画像作成ステップと、前記ブレイク検出画像作成ステップにより作成された画像が所定のブレイクアップパターンに該当するか否かを判定する判定ステップと、前記判定ステップにより判定された判定結果を集計する集計ステップと、前記集計ステップによる集計結果に基づき前記涙液層干渉縞画像のブレイクアップパターンを評価する評価ステップと、を含む。
(2)上記(1)において、前記ブレイク検出画像作成ステップが前記第1のブレイク検出画像を作成するステップとして、エッジを抽出するエッジ抽出ステップと、
縦方向のブレイクを強調する縦方向強調ステップと、所定の領域内の画素の色情報から色のばらつきを示す値を算出するステップと、算出された前記色のばらつきを示す値に基づく経過画像を作成する経過画像ステップと、作成された経過画像における画素の連結領域を抽出する抽出ステップと、を含む。
(3)上記(1)または(2)において、前記ブレイク検出画像作成ステップが前記第2のブレイク検出画像を作成するステップとして、エッジを抽出するエッジ抽出ステップと、縦方向のブレイクを強調する縦方向強調ステップと、前記エッジまたは前記縦方向のブレイクを強調するステップと、所定の領域内の画素の色情報から色のばらつきを示す値を算出するステップと、算出された前記色のばらつきを示す値に基づく経過画像を作成する経過画像ステップと、作成された経過画像における画素の連結領域を抽出する抽出ステップと、含む。
(4)上記(1)乃至(3)において、前記ブレイク検出画像作成ステップが前記第3のブレイク検出画像を作成するステップとして、所定の領域内の画素の色情報から変動係数を算出するステップと、算出された変動係数に基づく変動係数画像を作成する変動係数画像作成ステップと、前記変動係数画像における画素の連結領域を抽出する抽出ステップと、を含む。
(5)上記(1)乃至(4)において、前記ブレイク検出画像作成ステップが前記第4のブレイク検出画像を作成するステップとして、画像を正規化する正規化ステップと、エッジを抽出するエッジ抽出ステップと、画素の輝度に基づき二値化する二値化ステップと、二値化された画像における画素の連結領域を抽出する抽出ステップと、を含む。
(6)上記(1)乃至(5)において、前記ブレイク検出画像作成ステップは、画素の色情報と閾値との比較により解析不要画素を除外するステップを含む。
(7)上記(2)乃至(6)において、前記抽出ステップとは、所定の条件を満たす画素の連結領域を抽出するステップである。
(8)上記(1)乃至(7)において、前記涙液層干渉縞画像において開瞼を検出する開瞼検出ステップと、を含み、前記開瞼検出ステップによる開瞼の検知から所定時間範囲、または、所定の枚数範囲に該当するフレームであることを、前記ブレイク検出画像作成ステップが前記第4のブレイク検出画像を作成する条件とする。
(9)上記(1)乃至(8)において、前記ブレイク検出画像作成ステップは、まず前記第3ブレイク検出画像を作成し、作成された前記第3ブレイク検出画像に対する前記判定ステップの判定に応じてその他の第1、第2、および、第4のブレイク検出画像の作成の要否が判断される。
(10)上記(2)乃至(9)において、前記判定ステップとは、前記ブレイク検出画像作成ステップにより作成された画像における前記連結領域の総数と総面積の少なくとも一方と、所定の閾値との比較により判定する。
(11)上記(1)乃至(10)において、前記評価ステップとは、前記集計ステップによる集計結果に基づき、最も多いブレイクアップパターンを前記涙液層干渉縞画像のブレイクアップパターンと評価する。
(12)上記(1)乃至(10)において、前記評価ステップとは、前記集計ステップによる集計結果に基づき、対象とした総フレーム数に占める割合と閾値との比較により前記涙液層干渉縞画像のブレイクアップパターンを評価する。
(13)上記(1)乃至(12)において、前記評価ステップとは、前記集計ステップによる集計結果に基づき、より重症度の高いブレイクアップパターンを前記涙液層干渉縞画像のブレイクアップパターンと評価する。
本発明によれば、涙液層干渉縞画像、特に、動画像の解析により、涙液層破壊の様子が動的に、かつ、視覚的に把握でき、さらに、その涙液層破壊の様子や過程といった態様からブレイクアップパターンの評価、分類をすることができる。
ブレイクアップパターンについてまとめた表である。 涙液層干渉縞画像取得装置の構成の概略図である。 ブレイクアップパターンのうちディンプルブレイク検出のためのブレイク検出画像1の作成フロー図である。 ブレイク検出画像1の作成フローの各段階における画像の一例である。 涙液層干渉縞画像から抽出された抽出画像の対象領域の一部における各画素の色情報(輝度値)の一例と、判定値算出のための局所領域および算出結果を示す図である。 ブレイクアップパターンのうちラインブレイク検出のためのブレイク検出画像2の作成フロー図である。 ブレイク検出画像2の作成フローの各段階における画像の一例である。 ブレイクアップパターンのうちエリアブレイク検出のためのブレイク検出画像3の作成フロー図である。 ブレイク検出画像3の作成フローの各段階における画像の一例である。 ブレイクアップパターンのうちスポットブレイク検出のためのブレイク検出画像4の作成フロー図である。 ブレイク検出画像4の作成フローの各段階における画像の一例である。 ブレイク検出画像4におけるBlob抽出の条件の一例を概念的に示す模式図である。 涙液層干渉縞画像におけるブレイクアップパターンの評価までのフロー図である。
[涙液層干渉縞画像の取得]
角膜表面における涙液層の干渉縞画像を取得するための装置(涙液層干渉縞画像取得装置)については、撮影した画像をデジタルデータとして記録できるものであればよく、従来既知のものを適宜用いればよい。例えば、図2に概略を示すように、涙液層干渉縞画像取得装置は、光源11から発せられ、絞りを通過した光線は、順にレンズ12、スプリッタ13、対物レンズ14を経て、被検者の被検眼の前眼部15に集光される。前眼部15からの反射光は、対物レンズ14およびスプリッタ13を通過し、結像レンズ16を経て撮像素子17上に結像される。撮像素子17に結像された撮影データは、画像処理エンジンによる所定の処理が施され、静止画像データ(以下、単に「画像データ」と称する)、動画像データに変換される。
涙液層干渉縞画像取得装置は、本発明に係る涙液層評価装置と物理的又は論理的に接続される。当該涙液層評価装置は、データを演算および処理する処理手段、涙液層干渉縞画像取得装置により取得された画像データ、動画像データおよびその他のデータを記憶する記憶手段を備えるものであり、当該記憶手段には、本発明を実施するためのコンピュータプログラムや所定のデータがそれぞれ記憶されており、処理手段は、当該コンピュータプログラム等による所定の命令に従ってデータの処理を行うものである。
このように得られた涙液層干渉縞画像についてドライアイのブレイクアップパターンの評価、分類のための処理について以下説明する。なお、以下の説明については、特に断らない限り、涙液層干渉縞画像とは、所定の時間にわたって撮影された複数の連続するフレームからなる動画像であって、涙液層評価装置自体又はこれに接続された記憶装置に記憶されているものとする。
[画像の色情報]
まず、本発明において用いることが出来る色情報について説明する。色情報としては、例えば、多くの電子画像機器で用いられている方式である、赤、緑、青の3色の色要素(RGB色空間の数値)を用いる方法がある。
具体的には、各画素の色情報とは、画素が持つ赤、緑、青の色要素の輝度または明度であり、RGB色空間における赤、緑、青の少なくとも1つ以上の色要素の輝度をそのまま用いてもよいし、グレースケール階調に変換したものを用いるなどしてもよい。
また、色情報は必要に応じて演算を施した数値であってもよい。例えば、それぞれの色要素における輝度の2つ以上を組み合わせて算出するようにしてもよいし、2つ以上の色要素を平均して算出してもよいし、各要素に対して異なる所定の重み付け係数をかけ合わせて与えてもよい。
あるいは、赤、緑、青の3色の色要素から個別に変動係数を算出し、その中の最大の値を使用したり、最小の値を使用したり、2番目に大きい数値を使用したりしてもよい。
なお、以下の説明は、RGB色空間における輝度を用いる場合を元に例に説明するが、本発明において、色情報は、RGB色空間における数値に限るものでないことは勿論であり、HSV色空間、HSB色空間、HLS色空間、あるいはHSL色空間などで規定される輝度、あるいは、明度を使用してもよい。
以下、個々の処理の内容について具体的に説明する。本発明においては、ディンプルブレイク、ラインブレイク、エリアブレイク、または、スポットブレイクの検出のためのブレイク検出画像1乃至4の作成について述べる。後述するが、ブレイク検出画像1乃至4の作成は、涙液層干渉縞画像のフレーム単位に行われるものである。なお、以下の説明において、単に「ブレイク」という場合には、原則として、涙液層の破壊(ブレイクアップ)を意味するものとする。
[ブレイク検出画像1]
ここで述べるブレイク検出画像1の取得方法は、特にディンプルブレイクを検出するためのものであり、その手順を図3に示す。なお、図4(A)乃至(F)はブレイク検出画像1の作成の各過程における一例を示す写真である。
<S11:エッジ抽出>
ディンプルブレイクは、図4(A)に示すように、角膜上の広範囲にわたって類線状に表れるが、このブレイク部分はそれ以外のブレイクの無い部分と比べて白色が強く外観されるように、ブレイク部分とそれ以外の部分との間に輝度等の色情報において変化が見られる。
このため、色情報の変化が大きい部分を抽出するエッジ抽出を行うことで、ブレイク部分を抽出することができる。エッジ抽出の手法としては、キャニー法、一次微分法、ソーベル法、ラプラシアン法などが従来から知られており、これらを適宜利用できる。これにより、図4(B)に示すような、エッジ抽出画像を得ることができる。
<S12:解析エリア限定>
エッジ抽出画像には、図4(B)のように、角膜の輪郭が円弧状に表れる。涙液層干渉縞画像は、通常、角膜上部分は明るくそれ以外の部分は暗く表れるので、その輪郭はエッジとして抽出されてしまうからである。
図4(C)に示すように、角膜輪郭部分は、涙液層の破壊を示す箇所ではないので解析の対象としないように除外することが望ましい。ここで、角膜輪郭部分を解析の対象から除外するには、例えば、角膜と背景との輝度の差など角膜輪郭部分に現れる特徴から角膜輪郭部分を検出することによって、動的に角膜輪郭部分を認識する。そして、認識された該当部分を背景色と同一の色情報に変更する方法や、角膜輪郭として認識された該当部分内のみを解析エリアとすれば良い。また、ここで例示した方法の他、従来既知の方法も用いることができる。さらに、涙液層干渉縞画像に映り込んでいる、例えば、「まつ毛」や「油滴」に由来する黒点など、解析結果に悪影響を与える可能性のある画素領域については、あらかじめ除外するようにしてもよい。
<S13:縦方向ブレイクの強調>
ディンプルブレイクは、縦方向の線状のブレイクが特徴的であることから、当該縦方向ブレイクを強調するため処理を施すことが望ましい。
縦方向のブレイクを強調するためには、エッジ抽出画像について、注目画素とそれに隣接する画素との輝度等の色情報の差分を用いる。具体的には、スキャンし、ある注目画素の色情報と横方向に隣接する画素の色情報の差分と、注目画素の色情報と縦方向に隣接する画素の色情報の差分を得た後、横方向の差分から縦方向の差分を減算した値を注目画素の色情報として返すことにより縦方向に変化する部分を強調した縦方向強調画像(図4(D))を得ることができる。
<S14:色のばらつきを示す値による画像の作成>
前述のとおり得た縦方向強調画像の画素の色情報に基づいて色のばらつきを示す値を算出し、その色のばらつきを示す値に基づく画像を作成する。
色のばらつきに関しては、各色要素の輝度等の色情報から得られる分散値や偏差(標準偏差等)、あるいは変動係数を適宜用いることができる。
色のばらつきを示す値の算出は、注目画素およびこれに隣接する画素を一纏めにした画素を局所領域とし、その局所領域について算出するのが好適である。このようにして求めた色のばらつきを示す値は、解像度が高く、且つ、空間的位置情報が元の画像と一致しているため、ブレイクの位置や面積の特定に資する。具体的に図5A及びBを参照しつつ説明する。
図5Aは、ある画像の対象領域における注目画素とその注目画素を囲む8画素による3×3の計9画素が示す領域について輝度の標準偏差を算出している場合を示す模式図である。図5Aの各数値は、前述のとおり得た画像の一部における各画素の色情報(輝度)の数値を示すものである。
図5Aに示す「領域1」は、注目画素1およびそれを取り囲む画素からなる計9画素(3×3画素)からなる領域からなり、当該領域1において標準偏差を算出し注目画素1に出力する。これを図5Aのような輝度等の色情報を持つ画像の対象領域にスキャンした結果を示すのが図5Bである。
つまり、注目画素とこれを中心とする所定の画素からなる局所領域における輝度等の色情報の標準偏差等の色のばらつきを示す値を注目画素に出力するフィルタにより、前述のとおり得た画像の対象領域(全体又は所望の一部)をスキャンして画素毎に出力された値を記憶する。
ここで、図5AおよびBにおいて、具体的な数値を確認すると、領域1において注目画素1に出力された標準偏差を見てみると「2.2」と小さいが、領域2における注目画素2に出力された値は「7.1」と大きい。原則として、涙液層の状態が悪いブレイク近傍は色のばらつきを示す値が大きくなる傾向にある。
なお、これまでの説明では、図5は、注目画素およびそれを取り囲む画素による局所領域における標準偏差等の色のばらつきを示す値を注目画素毎にそれぞれ出力しているが、注目画素に出力せずに、その局所領域を一つの区分とみて、この区分毎に標準偏差等の色のばらつきを示す値を出力するようにしてもよい。また、当該局所領域又は区分は、3×3の計9画素に限るものではなく、任意の数の画素の集合であってよい。
以上のとおり、ブレイク検出画像1における色のばらつきを示す値は、所定領域における色情報(輝度等)のばらつき、すなわち、分散又は標準偏差等を求めることにより得られるものである。
画素毎に出力された色のばらつきを示す値に基づいて画像を作成する。例えば、画像の各画素の色のばらつきを示す値を所定の閾値と比較し閾値以上の画素を抽出し、色のばらつきを示す値に応じた色情報(輝度等)としてグレースケール処理する。色のばらつきを示す値が大きいほど高輝度なり小さくになるにつれて低輝度となるように適宜調整するなどすればよい。閾値未満の画素については色情報をゼロとする、もしくは背景色と同一の色情報とするなどの処理を施してもよい。このように色のばらつきを示す値に基づく画像グレースケール画像(図4(E))が取得できる。
<S15:ラベリング(Blobの抽出)>
これまでのステップにより得られた画像についてラベリングを行い、画素の連結領域、すなわち、「Blob」の抽出を行う。ラベリングの手法については本発明の要旨ではないので詳述しないが、共通する論理状態の画素のBlobを認識し抽出できる方法であればよく、従来既知の手法を適宜用いることができる。
単にBlobを抽出するのではなく、ブレイク部分とは無関係な部分などノイズを除外するため、ラベリングにより抽出された各Blobの画素数と所定の閾値とを比較し、当該閾値以上のBlobのみ抽出するようにしてもよい。
また、ディンプルブレイクは、線状に伸展するブレイクであることから、円形度が高いBlobはブレイクではない可能性が高いため、こうしたBlobを除外するのが望ましい。Blobの円形度は以下の「式1」により算出される値が大きいほど円形度が高いため、閾値を設けて、円形度が低いBlobのみ抽出するようにしてもよい。
(式1)
円形度=4π×(Blobの画素数)÷(Blobの周囲長)2
さらに、ディンプルブレイクは、線状のブレイクであるため、Blobの縦横比に基づいて線状に表れているBlobのみ抽出するようにしてもよい。
なお、後述するラインブレイクも縦方向に伸展する線状のブレイクであるという点においてディンプルブレイクと共通する特徴と持っている。その一方で、ディンプルブレイクは、ブレイクの縦方向の長さはラインブレイクより一般的に長く、また、ディンプルブレイクは縦方向だけでなく横方向に伸展するブレイクも出現するという違いがある。
ディンプルブレイクを検出しようとするこのブレイク検出画像1の作成にあたっては、こうした違いを利用して、例えば、抽出されたBlobの縦方向長さが所定の閾値以上のBlobを抽出するようにしてもよいし、また、所定の閾値以上の横方向長さを持つBlobを抽出するようにしてもよい。
以上のステップにより、たとえば、図4(F)に示すように、ブレイク検出画像1が作成される。
[ブレイク検出画像2]
ここから、ブレイク検出画像2の作成の手順について説明する。このブレイク検出画像2は、特に、ラインブレイクを検出するためのものである。図6は、ブレイク検出画像2の作成のフローであり、以下、各ステップにおける処理の内容について説明する。ブレイク検出画像2の作成手順は、ブレイク検出画像1の作成手順と共通する部分が多いが、共通部分については前述のブレイク検出画像1の処理内容と同様であるため、説明を適宜省略する。図7(A)乃至(G)は、ブレイク検出画像2の作成の各過程における一例を示す写真である。
<S21:エッジ抽出>
ラインブレイクは、図7(A)に示すように、角膜の下方に集中的に線状に表れるので、この特徴を利用して涙液層破壊箇所を抽出するためエッジ抽出を行う。詳細は、前述の「ブレイク検出画像1における<S11:エッジ抽出>」のとおりであり、当該エッジ抽出後の画像の一例は図7(B)のとおりである。
<S22:解析エリア限定>
ブレイク検出画像1と同様、図7(C)に示すように、角膜の輪郭が円弧状に表れてしまうので、これを除外する処理を行う。詳細は、前述の「ブレイク検出画像1における<S12:解析エリア限定>」のとおりである。
<S23:縦方向ブレイクの強調>
ディンプルブレイクと同じくラインブレイクも、特徴として、縦方向の線状のブレイクが特徴的であることから、当該縦方向ブレイクを強調する処理を施した縦方向強調画像を得ることが望ましい。詳細は、前述の「ブレイク検出画像1における<S13:縦方向ブレイクの強調>」のとおりであり、得られる縦方向強調画像の一例は、図7(D)のとおりである。
<S24:ブレイク部分の強調(オプション)>
必須の処理ではないが、ラインブレイクは他のブレイクアップパターンと比べて線状に短く、角膜上の狭い範囲に涙液層の破壊が出現するものであるため、当該破壊部分を強調する処理をしてもよい。
例えば、図7(E)に示すように、前述のとおり抽出されているエッジを膨張させる処理ができる。その他、収縮する方法、あるいは、抽出されているエッジ内を所定の色情報で塗り潰す方法、などの方法を利用することができる。
<S25:色のばらつきを示す値による画像の作成>
「S24」あるいは「S23」までの処理で得られた画像について、色情報のばらつきを示す値に基づく画像(図7(F))を作成する処理である。詳細は、前述の「ブレイク検出画像1における<S14:色のばらつきを示す値による画像の作成>」のとおりである。
<S26:ラベリング(Blobの抽出)>
これまでに得られた画像についてBlobを抽出するラベリングを行う。適宜ノイズを除外する処理も含め、手法は、前述の「ブレイク検出画像1における<S15:ラベリング(Blobの抽出)>」とほぼ同様である。
ただ、ブレイク検出画像2は、ラインブレイク検出のための画像であるため、ブレイク検出画像2におけるBlobの抽出は、以下のとおりである。
ここで、ラインブレイクは、線状に伸展するブレイクであることから、円形度が高いBlobはブレイクではない可能性が高いためこうしたBlobを除去するのが望ましい点は、前述のブレイク検出画像1の場合と同様であるので、前述と同様に、円形度が低いBlobのみ抽出するようにしてもよい。また、同様にBlobの縦横比に基づき縦長線状と評価できるBlobのみ抽出するようにしてもよい。
ただ、ラインブレイクは、前述のとおり、ディンプルブレイクと比較して、ブレイクの縦方向の長さがディンプルブレイクより短い傾向にあるので、例えば、縦横比に基づいて縦長線状と評価できるBlobのうち縦方向長さが閾値未満のBlobを抽出するようにしてもよい。
以上のステップにより、たとえば、図7(G)に示すように、ブレイク検出画像2が作成される。
[ブレイク検出画像3]
続いて、ブレイク検出画像3の作成手法について説明する。このブレイク検出画像3は、特に、エリアブレイクを検出するためのものである。図8はブレイク検出画像3の作成フローであり、以下、各処理の内容について説明する。図9の各写真は、ブレイク検出画像3の作成の各過程における一例である。
<S31:変動係数に基づく画像の作成>
エリアブレイクは、図9(A)に示すように、広範囲に亘って出現し、ドライアイとしても重症を示すものである。
前述の「ブレイク検出画像1」に係る<S14:色のばらつきを示す値による画像の作成>において説明したが、ここでは、色のばらつきを示す値をそのまま用いるのではなく、色のばらつきを示す値を領域内の画素の輝度の平均値で除算した値を用いるのが好適である。例えば、色のばらつきを示す値として、輝度の標準偏差を用いる場合、その値である変動係数は、「式2」のようになる。
(式2)
変動係数 = 輝度の標準偏差 / 輝度平均値
ドライアイ重症度グレード5と診断され得るエリアブレイクのようにブレイクが広範囲にわたる重症の被検眼の場合、前述のような輝度等による色情報の分散や標準偏差により算出された数値のみだとブレイクを適切に判定できない場合がある。
これは、エリアブレイクが出現するような重症ドライアイの場合、涙液層破壊箇所は破壊していない箇所と比較して輝度が一定でばらつきが少ない。このため涙液層の破壊箇所が広範囲に及ぶと上述したような分散や標準偏差によるばらつきを示す値が大きくならない箇所が増え、結果としてブレイクが適当に検出できない、もしくは、実態にそぐわないような軽症と判定されるおそれがあるためである。
変動係数の算出については、ブレイク検出画像1における<S14:色のばらつきを示す値による画像の作成>において説明したように、注目画素およびこれに隣接する画素からなる局所領域とし、その局所領域の輝度等の色情報に基づいて算出する。
注目画素とこれを中心とする所定の画素からなる局所領域において輝度等の色情報の標準偏差等の色のばらつきを示す値を算出し、さらに、当該局所領域中の画素の色情報の平均値を算出し、算出された色のばらつきを示す値を平均値で除算することにより得られる変動係数を注目画素に出力するフィルタにより、涙液層干渉縞画像の対象領域(全体又は所望の一部)をスキャンして画素毎に変動係数を取得する。変動係数に基づき、閾値との比較により二値化してもよいし、グレースケール化してもよい。
<S32:解析エリア限定>
二値化画像には、図9(B)に示すように角膜の輪郭が円弧状に表れるため、図9(C)に示すような当該円弧状部分を除外する処理を行う。この処理については、前述の「ブレイク検出画像1における<S12:解析エリア限定>」と同様である。
<S33:ラベリング(Blobの抽出)>
前述のとおり得た二値化画像についてBlobを抽出するラベリングを行う。ラベリングの手法については本発明の要旨ではないので詳述しないが、二値化画像中の連結する画素をBlobとしてそれぞれ抽出できる方法であれば従来既知の手法を適宜用いることができるのは、前述と同様である。
また、ここでも前述同様、エリアブレイクによるブレイクとは無関係なBlobを除外するようにするのが望ましい。例えば、各Blobの画素数と所定の閾値とを比較し、当該閾値以上のBlobのみを抽出するようにすればよい。
以上のステップにより、たとえば、図9(D)に示すように、ブレイク検出画像3が作成される。
[ブレイク検出画像4]
続いて、ブレイク検出画像4の作成手法について説明する。このブレイク検出画像4は、特に、スポットブレイクを検出するためのものである。図10はブレイク検出画像4の作成フローであり、以下、各処理の内容について説明する。図11の各写真は、スポットブレイクが出現している画像の一例を示す元画像(図11(A))、および、この元画像に対するブレイク検出画像4の作成の各ステップにおいて作成される画像の一例を示すものである。
<S41:解析エリア限定>
解析エリアの限定については、前述の「ブレイク検出画像1における<S12:解析エリア限定>」と同様である。このステップ「<S41:解析エリア限定>」により作成される画像の一例を図11(B)に示す。
ここで、スポットブレイクは、角膜上中央から上方にかけて出現するブレイクであるため、画像の下方領域は解析エリアから除外するようにしてもよい。
<S42:画像の正規化>
スポットブレイクは、「類円形」に出現する傾向があるものの、その形状は様々であり、さらに、画像の明るさが画像ごとに異なることにより輝度変化が小さくなるため、本来抽出したいスポットブレイクの出現箇所をエッジとして抽出できない場合がある。たとえば、全体的に暗い画像の場合、ブレイク出現箇所とそうでない箇所との輝度変化を捉えに難くなるため、ブレイク出現箇所を抽出することが困難となり、また、全体的に明るい画像の場合は、逆に、ブレイク出現箇所ではない箇所をエッジと誤って認識してしまう場合がある。
そこで、画像のコントラストと明るさが一律となるように、画像の輝度分布が、「ある平均値±標準偏差」となるように、画像を正規化する処理を行う。ここで、正規化のための元となる輝度分布は、上記<S41:解析エリア限定>のステップを施した後の画像において、解析対象となった画素の集合により構成される。
具体的には、たとえば、輝度70以上の画素からなる正規分布を画像正規化後には輝度分布が「150±30」となるようにする。ただし、この数値に限定されるものではなく、適宜変更してよい。このステップ「<S42:画像の正規化>」により作成される画像の一例を、図11(C)に示す。
<S43:エッジ抽出>
こうして得られた正規化後の画像に対し、エッジ抽出を行う。具体的には、たとえば、「ソーベル法」を用いる場合、適宜重み付けした「3×3」の水平用方向微分用カーネルと垂直方向微分用カーネルを用い、走査させることで、垂直(縦)方向および水平(横)方向のエッジをそれぞれ抽出する。ただし、エッジ抽出の手法は、これに限定されるものではなく、前述の「ブレイク検出画像1における<S11:エッジ抽出>」において挙げた各種手法を変更して利用できる。このステップ「<S43:エッジ抽出>」により作成される画像の一例を、図11(D)に示す。
<S44:二値化>
ブレイク出現箇所の検出を容易にするために、前述のとおりエッジ抽出した画像に対し、二値化処理を行う。具体的には、閾値を「100」とし、この閾値と各画素の輝度とを比較することにより行う。このステップ「<S44:二値化>」により作成されるエッジ抽出画像の一例を、図11(E)に示す。
<S45:ラベリング(Blobの抽出)>
前述の「<S44:二値化>」により得られた二値化画像に対し、ラベリングにより所定の条件を満たすBlobを抽出する処理を行う。ただ、ブレイクの出現箇所とは関係ないBlobの抽出を抑制するため、Blobの面積(画素数)が閾値未満である場合、そのBlobは除外するのが望ましい。
ここで、スポットブレイクの出現箇所を示すBlobをより適切に抽出する方法は複数あるが、一つの方法としては、前述のとおり、スポットブレイクは「類円形」の形状を有していることから、閾値以上の面積(画素数)を有するBlobのうち、円形度が所定の範囲内となるBlobのみを残すようにする方法がある。円形度は、一般的に知られているように、前述した「式1」で算出される数値を利用すればよく、閾値と算出された円形度との比較により、そのBlobの抽出、または、除外の要否を判別すればよい。
また、スポットブレイクは、「類円形」形状のほか、「U字」形状や「U字」を上下に伸ばしたような縦長にみえる形状を有していることも多い。そこで、図12に示すように、Blobを囲む方形領域を設定し、設定された方形領域内にさらに一の方形の小領域を設定する。小領域は、その小領域の1辺のみを方形領域のある1辺と接するように設定される。
具体的には、たとえば、方形領域の所定の辺を「辺1」とし、この辺1を三等分した長さを小領域の平行する2辺の長さとし、方形領域の「辺1」に直交する辺を二等分した長さを小領域の他の2辺の長さに設定することができる。ただし、小領域の各辺の長さはこれに限定されない。
このように、Blobに設定された小領域内におけるBlobの占める比率を算出し、その比率が閾値未満の場合、そのBlobはスポットブレイク出現箇所である可能性が高いため、当該Blobを抽出する。一方、その比率が閾値以上の場合、スポットブレイク出現箇所ではない可能性が高いので、当該Blobは除外する。小領域に占めるBlobの比率に対する閾値および条件は、「30%未満」とするのが検出結果として優良だが、これに限定されない。
また、スポットブレイク以外のブレイク、たとえば、ラインブレイクやディンプルブレイクによるブレイクの検出を抑制するために、Blobの外周幅あるいは高さが閾値以上となるBlobは除外するようにしてもよい。
以上のステップにより、たとえば、図11(F)に示すように、ブレイク検出画像4が作成される。
以上、ブレイク検出画像1乃至4の4パターンの画像作成手順を説明してきたが、図13を参照しつつ、以下、ブレイクアップパターンの判定および評価までの手順について説明する。
[解析対象の涙液層干渉縞画像]
解析の対象となる涙液層干渉縞画像(動画像)において、解析は動画像におけるフレーム単位で行うので、用意した動画像の各フレーム元画像に対し順次以下の手順に従い処理を行う。
<F1:「ブレイク検出画像3」の作成>
まず、エリアブレイクの検出のため、前述の「ブレイク検出画像3」に説明したステップ「S31乃至S33」に従い、「ブレイク検出画像3」の作成を行う。
<F2:エリアブレイク検出の判定>
作成されたブレイク検出画像3について、当該ブレイク検出画像3に抽出される画素のBlobについて、「Blobの総数」と「Blobの総面積(総画素数)」とを取得し、「Blobの総数」と「Blobの総面積」とが所定の閾値との比較による条件を満たしているか否かを判定する。たとえば、ブレイク検出画像3における「Blobの総数」については「20未満」で、「Blobの総面積」については「5,000以上」などとすることができる。ただし、閾値および条件は、これに限定される必要ななく、適宜変更してよい。
「<F2:エリアブレイク検出の判定>」において、「ブレイク検出画像3」が条件を満たす場合、エリアブレイクが検出されたものと判定する。
<F3:開瞼時から所定範囲のフレームに該当するか否かの判別>
「<F2:エリアブレイク検出の判定>」で、「ブレイク検出画像3」が条件を満たさない場合、さらに、そのフレームが所定のフレームに該当するか否かを判別する。具体的には、開瞼後0.1秒から0.5秒後に該当するフレームに該当するかどうかを判別し、該当する場合は、後述する「<F4:「ブレイク検出画像4」の作成>」に進む。
「<F4:「ブレイク検出画像4」の作成>」は、スポットブレイク検出のための手順であるが、スポットブレイクは、開瞼後すぐに出現するブレイクであるため、スポットブレイクについては、開瞼後所定の範囲に該当するフレームについてのみ解析するのが有用であるためである。
また、開瞼の検知の手法については、特に限定するものではないが、たとえば、閉瞼時の涙液層干渉縞画像は、全体的に輝度が著しく低い状態となっているため、開瞼時と比較して輝度変化の判別が容易であるため、こうした輝度変化を検知して開瞼時を検出し、開瞼時から所定の時間範囲に該当するフレームか否かを判別する。
なお、たとえば、開瞼が検知されたフレームから「3番目から15番目のフレーム」というように、フレームの順番、および、枚数によりその範囲を設定してもよい。
<F4:「ブレイク検出画像4」の作成>
スポットブレイクの検出のため、前述の「ブレイク検出画像4」に説明したステップ「S41乃至S46」に従い、「ブレイク検出画像4」の作成を行う。
<F5:スポットブレイク検出の判定>
作成されたブレイク検出画像4について、ブレイク検出画像4に抽出されているBlobについて、「Blobの総数」と「Blobの総面積(総画素数)」とを取得し、「Blobの総数」と「Blobの総面積」とが所定の閾値との比較による条件を満たしているか否かを判定する。たとえば、ブレイク検出画像4における「Blobの総数」については「20未満」で、「Blobの総面積」については「125,000未満」などとすることができる。ただし、閾値および条件は、これに限定される必要ななく、適宜変更してよい。
「<F5:スポットブレイク検出の判定>」で、「ブレイク検出画像4」が条件を満たす場合、スポットブレイクが検出されたものと判定する。
<F6,F8:「ブレイク検出画像1」および「ブレイク検出画像2」の作成>
ディンプルブレイク、「ラインブレイク」検出のため、前述の「ブレイク検出画像1」および「ブレイク検出画像2」を作成する。
ここで、「ブレイク検出画像1」および「ブレイク検出画像2」の作成については、同一の元画像について、一方が作成される場合は、他方も作成するようにする。「ブレイク検出画像1」および「ブレイク検出画像2」により検出される「ディンプルブレイク」、「ラインブレイク」は、混在して出現することも多いため、一方が検出されたからといって他方の可能性を切り捨てるのは適当でないからである。
「<F6,F8:「ブレイク検出画像1」および「ブレイク検出画像2」の作成>」までのフローのとおり、「<F2:エリアブレイク検出の判定>」において「エリアブレイクの検出が否定」された場合、および「<F3:開瞼時から所定範囲のフレームに該当するか否かの判別>」において「開瞼時から所定時間範囲のフレーム」に「該当しない」場合には、そのフレームについて、「ブレイク検出画像1」および「ブレイク検出画像2」の両方の作成を行う。
このように、「ブレイク検出画像1」および「ブレイク検出画像2」については、同一のフレームについて両方を作成するようにするが、その作成の順序は問わない、「ブレイク検出画像1」と「ブレイク検出画像2」のどちらを先に作成するようにしてもよいし、並行して作成の処理を行うようにしてもよい。
<F7,F9:ディンプルブレイク、ラインブレイク検出の判定>
作成されたブレイク検出画像1について、「ディンプルブレイク検出の判定(F7)」を、また、作成されたブレイク検出画像2について、「ラインブレイク検出の判定(F9)」をそれぞれ行う。
ブレイク検出画像1に対する「ディンプルブレイク検出の判定(F7)」については、当該ブレイク検出画像1に抽出されているBlobについて、「Blobの総数」と「Blobの総面積(総画素数)」とを取得し、「Blobの総数」と「Blobの総面積」とが所定の閾値との比較による条件を満たしているか否かを判定する。たとえば、ブレイク検出画像1の「Blobの総数」に係る閾値は「4未満」で、「Blobの総数総面積」に係る閾値は「10,000未満」とすることができる。ただし、閾値および条件は、これに限定される必要ななく、適宜変更してよい。
ブレイク検出画像2に対する「ラインブレイク検出の判定(F9)」については、当該ブレイク検出画像2に抽出されているBlobについて、「Blobの総数」と「Blobの総面積(総画素数)」とを取得し、「Blobの総数」と「Blobの総面積」とが所定の閾値との比較による条件を満たしているか否かを判定する。たとえば、「Blobの総数」に係る閾値は「10未満」で、「Blobの総面積」に係る閾値は「7,000未満」とすることができる。ただし、閾値および条件は、これに限定される必要ななく、適宜変更してよい。
ブレイク検出画像1が所定の条件を満たす場合、「ディンプルブレイク」が検出されたものと判定する。また、ブレイク検出画像2が所定の条件を満たす場合、「ラインブレイク」が検出されたものと判定する。
<F10:集計>
フレーム毎に判定された判定結果を集計する。集計の方法は、特に限定しないが、『エリアブレイク,ディンプルブレイク,ラインブレイク』などの項目を設け、「<F2:エリアブレイク検出の判定>」において、エリアブレイクと判定された場合には、エリアブレイクの数を加算するなど、判定結果に応じた数をカウントアップしてもよい。
また、各フレームとフレーム毎の判定結果を関連付けて記憶するようにしてもよい。こうすることで、どのタイミングでどのブレイクアップパターンが出現したのかを確認することができる。
なお、「<F2:エリアブレイク検出の判定>」、「<F5:スポットブレイク検出の判定>」、「<F7:ディンプルブレイク検出の判定>」および「<F9:ラインブレイク検出の判定>」において、いずれにも判定されないフレームについては、単純に「いずれのブレイクアップパターンにも該当しないフレーム」として判定するようにしてもよい。また、ブレイク検出画像1乃至4が検出しようとしている、ディンプルブレイク、ラインブレイク、エリアブレイク、および、スポットブレイク以外にもブレイクアップパターンは存在するので、本実施例において、いずれのブレイクアップパターンにも該当しないフレームについて、さらに、ブレイク検出画像1乃至4とは別のブレイクアップパターンを検出するためのブレイク検出画像の作成および判定を行ってもよいし、それでもブレイクアップパターンの検出がされないフレームについては、ブレイクが検出されない「健常」を示すフレームとして判定するようにしてもよい。
スポットブレイクについては、単に「スポットブレイクの検出の有無」のみを記憶するようにしてもよい。また、「ディンプルブレイク」と「ラインブレイク」の両方が検出されたと判定されたフレームについては、「ディンプルブレイク」と「ラインブレイク」の両方が検出されたことが認識可能なように記憶するようにしてもよい。
以上を各フレームについて順次行う(図13の「F11」、「F12」)。
<F13:涙液層干渉縞画像のブレイクアップパターンの評価>
以上、各フレームについて判定されたブレイクアップパターンの集計結果に基づき、最終的に、解析対象の涙液層干渉縞画像がどのブレイクアップパターンに該当するかを評価する方法について述べる。
第1の方法は、涙液層干渉縞画像全体(もしくは任意に切り出された連続フレーム全体)中において、集計結果におけるフレーム数、もしくは、割合から、最も多いブレイクアップパターンをその涙液層干渉縞画像のブレイクアップパターンと評価する方法である。
第1の方法については、例えば、解析された涙液層干渉縞画像全体(もしくは任意に切り出された連続フレーム全体)の、「91%がエリアブレイク、0.5%がディンプルブレイク、8.5%がラインブレイク」と集計される場合、最も割合の多いエリアブレイクをその涙液層干渉縞画像のブレイクアップパターンと評価する。
第2の方法は、解析された涙液層干渉縞画像全体(もしくは任意に切り出された連続フレーム全体)中におけるブレイクアップパターンの出現割合と所定の閾値との比較により評価する方法である。
例えば、閾値として20%を設定し、解析された涙液層干渉縞画像全体(もしくは任意に切り出された連続フレーム全体)に対して、「91%がエリアブレイク、0.5%がディンプルブレイク、8.5%がラインブレイク」として検出された場合に、その閾値(20%)未満であるブレイクアップパターン、すなわち、ディンプルブレイクおよびラインブレイクを除き、エリアブレイクを涙液層干渉縞画像のブレイクアップパターンと評価する、などとしてもよい。
また、第2の方法については、閾値以上に該当するパターンが複数ある場合には、どれか一つのブレイクアップパターンであると評価せず、該当する複数のブレイクアップパターンであると評価してもよい。あるいは、閾値以上に該当するブレイクアップパターンが複数ある場合に、別の指標と比較して一つのブレイクアップパターンとして評価してもよい。別の指標として、検出割合や重症度などが利用できる。重症度は、ブレイクアップパターンごとに予め設定しておけばよい。
第3の方法は、解析された涙液層干渉縞画像全体(もしくは任意に切り出された連続フレーム全体)における集計結果から、より重症度の高いブレイクアップパターンをその涙液層干渉縞画像のブレイクアップパターンと評価する方法である。重症度は、ブレイクアップパターンごとに予め設定しておけばよい。
なお、どれか一つのブレイクアップパターンとして評価分類することなく、複数のブレイクアップパターンに該当するものと評価するようにしてもよい。また、集計されたブレイクアップパターン別の割合をグラフ等で示すなど、視覚的に評価し易い表示にしてもよい。
スポットブレイクの集計を「検出の有無」で記憶している場合、前述のいずれかの方法で評価されたブレイクアップパターンの他、スポットブレイクの検出の有無を付加するようにしてもよい。また、前述第3の方法のように、ドライアイの重症度に応じて評価する方法においては、検出されたブレイクアップパターンのうち、スポットブレイクが最も重症度が高い場合には、その涙液層干渉縞画像におけるブレイクアップパターンの評価をスポットブレイクと評価するようにしてもよい。
以上、本発明の実施例について説明してきたが、本発明は上述の実施の例に限定されず種々の変形した形での応用が可能なものである。
ブレイク検出画像1乃至4として4種類の作成手順について説明したが、これらブレイク検出画像は常に4種類すべて作成される必要はない。1乃至3種類のブレイク検出画像のみを作成するようにしてもよい。例えば、1種類だけ作成される場合、その評価はその1種類が示すブレイクアップパターンに該当する否かといった評価を行うようにするなど、必要に応じて判定、集計、および、評価の内容、および、手順を適宜変更すればよい。
また、例えば、色のばらつきを示す値を算出するにあたり、元の画像を、適宜、拡大、または、縮小してもよい。拡大の方法としてはバイリニア法、バイキュービック法、Lanczos法など間を埋める画素の輝度を関数で補完する方法が好ましい。拡大の効果としては部位によるより詳細な状態を取得できることにある。一方、縮小の方法としてはニアレストネイバー法、バイリニア法、バイキュービック法、Lanczos法などいずれの方法を用いてもよく、縮小の効果として解析時間の短縮がある。これらは必要に応じて使い分ければよい。
前述の「ブレイク検出画像1及び2」に係る説明においては、処理の順序として、「エッジ抽出」を先に、その後「縦方向ブレイクの強調」を行うようにしているが、この順序は入れ替えてもよい。つまり、「縦方向ブレイクの強調」の後に「エッジ抽出」を行ってもよい。
前述の説明におけるブレイク検出画像1乃至4の作成に関しては、いずれも「解析エリア限定」および「ラベリング(Blobの抽出)」の各ステップを行っているが、処理の具体的な内容は前述の説明に限定されない。前述の説明では、「解析エリア限定」において、解析不要とされる角膜輪郭部分などを除去するようにしているが、「解析エリア限定」において角膜輪郭部分などの解析不要部分の特定のみを行い、「ラベリング(Blobの抽出)」において、特定された解析不要部分に該当するBlobを抽出しないようにするようにしてもよい。
前述の説明において、閾値に係る条件として、「以下」、「以上」、「未満」などの語を説明の便宜上用いているが、閾値に係る条件は、記載のとおりに限定されるものではない。閾値を用いる場合、涙液層干渉縞画像における所定の値と閾値との比較により該当、または、非該当を判定できればよい。
本発明は涙液層干渉縞画像を用いるドライアイのサブタイプの診断のために、特に、ブレイクアップパターンの客観的、非侵襲的、且つ、効率的な評価を可能とするものである。

Claims (14)

  1. 連続する複数のフレームからなる涙液層干渉縞画像について涙液層の動態評価を行う方法であり、
    涙液層の破壊箇所を検出する画像である第1のブレイク検出画像、第2のブレイク検出画像、第3のブレイク検出画像、第4のブレイク検出画像のうち少なくとも一の画像を作成するブレイク検出画像作成ステップと、
    前記ブレイク検出画像作成ステップにより作成された画像が所定のブレイクアップパターンに該当するか否かを判定する判定ステップと、
    前記判定ステップにより判定された判定結果を集計する集計ステップと、
    前記集計ステップによる集計結果に基づき前記涙液層干渉縞画像のブレイクアップパターンを評価する評価ステップと、
    を含む涙液層の動態評価方法。
  2. 前記ブレイク検出画像作成ステップが前記第1のブレイク検出画像を作成するステップとして、
    エッジを抽出するエッジ抽出ステップと、
    縦方向のブレイクを強調する縦方向強調ステップと、
    所定の領域内の画素の色情報から色のばらつきを示す値を算出するステップと、
    算出された前記色のばらつきを示す値に基づく経過画像を作成する経過画像ステップと、
    作成された経過画像における画素の連結領域を抽出する抽出ステップと、
    を含むことを特徴とする請求項1に記載の涙液層の動態評価方法。
  3. 前記ブレイク検出画像作成ステップが前記第2のブレイク検出画像を作成するステップとして、
    エッジを抽出するエッジ抽出ステップと、
    縦方向のブレイクを強調する縦方向強調ステップと、
    前記エッジまたは前記縦方向のブレイクを強調するステップと、
    所定の領域内の画素の色情報から色のばらつきを示す値を算出するステップと、
    算出された前記色のばらつきを示す値に基づく経過画像を作成する経過画像ステップと、
    作成された経過画像における画素の連結領域を抽出する抽出ステップと、
    を含むことを特徴とする請求項1又は2に記載の涙液層の動態評価方法。
  4. 前記ブレイク検出画像作成ステップが前記第3のブレイク検出画像を作成するステップとして、
    所定の領域内の画素の色情報から変動係数を算出するステップと、
    算出された変動係数に基づく変動係数画像を作成する変動係数画像作成ステップと、
    前記変動係数画像における画素の連結領域を抽出する抽出ステップと、
    を含むことを特徴とする請求項1乃至3のいずれか1項に記載の涙液層の動態評価方法。
  5. 前記ブレイク検出画像作成ステップが前記第4のブレイク検出画像を作成するステップとして、
    画像を正規化する正規化ステップと、
    エッジを抽出するエッジ抽出ステップと、
    画素の色情報に基づき二値化する二値化ステップと、
    二値化された画像における画素の連結領域を抽出する抽出ステップと、
    を含むことを特徴とする請求項1乃至4のいずれか1項に記載の涙液層の動態評価方法。
  6. 前記ブレイク検出画像作成ステップは、画素の色情報と閾値との比較により解析不要画素を除外するステップを含むことを特徴とする請求項1乃至5のいずれか1項に記載の涙液層の動態評価方法。
  7. 前記抽出ステップとは、前記第1乃至第4のブレイク検出画像に応じた所定の条件を満たす画素の連結領域を抽出するステップである請求項2乃至6のいずれか1項に記載の涙液層の動態評価方法。
  8. 前記涙液層干渉縞画像において開瞼を検出する開瞼検出ステップと、を含み、
    前記開瞼検出ステップによる開瞼の検知から所定時間範囲、または、所定の枚数範囲に該当するフレームであることを、前記ブレイク検出画像作成ステップが前記第4のブレイク検出画像を作成する条件とすることを特徴とする請求項1乃至7のいずれか1項に記載の涙液層の動態評価方法。
  9. 前記ブレイク検出画像作成ステップは、まず前記第3ブレイク検出画像を作成し、
    作成された前記第3ブレイク検出画像に対する前記判定ステップの判定に応じてその他の第1、第2、および、第4のブレイク検出画像の作成の要否が判断される請求項1乃至8に記載の涙液層の動態評価方法。
  10. 前記判定ステップとは、
    前記ブレイク検出画像作成ステップにより作成された画像における前記連結領域の総数と総面積の少なくとも一方と、所定の閾値との比較により判定するステップである請求項2乃至7のいずれか1項に記載の涙液層の動態評価方法。
  11. 前記評価ステップとは、
    前記集計ステップによる集計結果に基づき、最も多いブレイクアップパターンを前記涙液層干渉縞画像のブレイクアップパターンと評価する請求項1乃至10のいずれか1項に記載の涙液層の動態評価方法。
  12. 前記評価ステップとは、
    前記集計ステップによる集計結果に基づき、対象とした総フレーム数に占める割合と閾値との比較により前記涙液層干渉縞画像のブレイクアップパターンを評価する請求項1乃至10のいずれか1項に記載の涙液層の動態評価方法。
  13. 前記評価ステップとは、
    前記集計ステップによる集計結果に基づき、より重症度の高いブレイクアップパターンを前記涙液層干渉縞画像のブレイクアップパターンと評価する請求項1乃至12のいずれか1項に記載の涙液層の動態評価方法。
  14. 請求項1乃至13のいずれか一項に記載の方法を実行する涙液層の動態評価装置。
JP2019535709A 2017-08-10 2018-08-09 涙液層の動態評価方法およびその装置 Active JP7104941B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017155026 2017-08-10
JP2017155026 2017-08-10
PCT/JP2018/029860 WO2019031569A1 (ja) 2017-08-10 2018-08-09 涙液層の動態評価方法およびその装置

Publications (2)

Publication Number Publication Date
JPWO2019031569A1 true JPWO2019031569A1 (ja) 2020-08-20
JP7104941B2 JP7104941B2 (ja) 2022-07-22

Family

ID=65271346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019535709A Active JP7104941B2 (ja) 2017-08-10 2018-08-09 涙液層の動態評価方法およびその装置

Country Status (4)

Country Link
US (1) US11369264B2 (ja)
EP (1) EP3666168B1 (ja)
JP (1) JP7104941B2 (ja)
WO (1) WO2019031569A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028234A (zh) * 2019-12-30 2020-04-17 执鼎医疗科技(杭州)有限公司 人眼泪膜破裂检测方法
WO2024057943A1 (ja) * 2022-09-14 2024-03-21 興和株式会社 涙液層評価装置、涙液層評価プログラム及び涙液層評価方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309889A (ja) * 2000-05-01 2001-11-06 Nidek Co Ltd 眼科装置
JP2011156030A (ja) * 2010-01-29 2011-08-18 Kyoto Prefectural Public Univ Corp 眼科装置及び画像分類方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000254099A (ja) * 1999-03-11 2000-09-19 Canon Inc 眼科装置
JP4404648B2 (ja) * 2004-01-27 2010-01-27 株式会社ニデック 眼科装置
JP4440142B2 (ja) * 2005-03-02 2010-03-24 Kddi株式会社 割符画像生成方法、復号方法、割符画像生成装置および復号装置
US8256898B2 (en) * 2009-06-12 2012-09-04 The Regents Of The University Of California Method and device for tear film analysis
US8909327B1 (en) 2010-06-23 2014-12-09 Allergan, Inc. Instrument and method for diagnosing dry eye in a patient
WO2015073986A1 (en) * 2013-11-15 2015-05-21 Tearscience, Inc. Ocular tear film peak detection and stabilitzation detection systems and methods for determining tear film layer characteristics
JP2017136212A (ja) * 2016-02-03 2017-08-10 株式会社ニデック 眼科装置
US11107214B2 (en) * 2017-05-01 2021-08-31 Kyoto Prefectural Public University Corporation Method and device for evaluating tear fluid layer dynamics
CN110831490A (zh) * 2017-07-04 2020-02-21 兴和株式会社 泪液层评价方法、计算机程序、装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309889A (ja) * 2000-05-01 2001-11-06 Nidek Co Ltd 眼科装置
JP2011156030A (ja) * 2010-01-29 2011-08-18 Kyoto Prefectural Public Univ Corp 眼科装置及び画像分類方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SZCZESNA, D.H. ET AL.: "Interferometric measurements of dynamic changes of tear film", J BIOMED OPT, vol. May/June 2006, vol.11, no.3, JPN7022001282, pages 034028, ISSN: 0004737178 *
横井則彦ほか: "涙液層動態と画像解析 現状と課題", 日本の眼科, vol. 第86巻、第4号, JPN7022001281, 20 April 2015 (2015-04-20), pages 21 - 26, ISSN: 0004737177 *

Also Published As

Publication number Publication date
WO2019031569A1 (ja) 2019-02-14
JP7104941B2 (ja) 2022-07-22
EP3666168B1 (en) 2023-11-15
EP3666168A1 (en) 2020-06-17
EP3666168A4 (en) 2021-04-28
US20200367743A1 (en) 2020-11-26
US11369264B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
Rapantzikos et al. Detection and segmentation of drusen deposits on human retina: Potential in the diagnosis of age-related macular degeneration
JP5572407B2 (ja) 眼科装置及び画像分類プログラム
JP7448470B2 (ja) 画像分類装置の作動方法、装置及びプログラム
Muramatsu et al. Automated selection of major arteries and veins for measurement of arteriolar-to-venular diameter ratio on retinal fundus images
JP7388924B2 (ja) 涙液層評価方法、コンピュータプログラム、装置
CN110996759B (zh) 泪液状态评价方法、计算机程序、装置
JP7084001B2 (ja) 涙液層の動態評価方法およびその装置
Macgillivray et al. Fractal analysis of the retinal vascular network in fundus images
JP6814799B2 (ja) 涙液状態評価方法およびその装置
Mittal et al. Automated detection and segmentation of drusen in retinal fundus images
Celik et al. Bioimage informatics approach to automated meibomian gland analysis in infrared images of meibography
JP7104941B2 (ja) 涙液層の動態評価方法およびその装置
Bharali et al. Detection of hemorrhages in diabetic retinopathy analysis using color fundus images
Rapantzikos et al. Nonlinear enhancement and segmentation algorithm for the detection of age-related macular degeneration (AMD) in human eye's retina
Liu et al. Automatic classification of pathological myopia in retinal fundus images using PAMELA
Gadermayr et al. Getting one step closer to fully automatized celiac disease diagnosis
Llorens-Quintana et al. Automated image processing algorithm for infrared meibography
WO2024057943A1 (ja) 涙液層評価装置、涙液層評価プログラム及び涙液層評価方法
Huang et al. Edge-directed inference for microaneurysms detection in digital fundus images
CA3222336A1 (en) System and method for detecting and classifying retinal microaneurysms
KONSTANTINOS et al. DETECTION AND SEGMENTATION OF DRUSEN DEPOSITS ON RETINA IMAGES

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220630

R150 Certificate of patent or registration of utility model

Ref document number: 7104941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150