JP7464518B2 - 涙液観察装置、情報処理装置、プログラム及び学習モデル生成方法 - Google Patents

涙液観察装置、情報処理装置、プログラム及び学習モデル生成方法 Download PDF

Info

Publication number
JP7464518B2
JP7464518B2 JP2020218083A JP2020218083A JP7464518B2 JP 7464518 B2 JP7464518 B2 JP 7464518B2 JP 2020218083 A JP2020218083 A JP 2020218083A JP 2020218083 A JP2020218083 A JP 2020218083A JP 7464518 B2 JP7464518 B2 JP 7464518B2
Authority
JP
Japan
Prior art keywords
tear
light
subject
image
health
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020218083A
Other languages
English (en)
Other versions
JP2022102984A (ja
Inventor
善朗 岡崎
則彦 横井
守 巖淵
裕祥 川田
中 李
大道 岡崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ELRISE CORPORATION
KYOTO PREFECTURAL UNIVERSITY OF MEDICINE
Original Assignee
ELRISE CORPORATION
KYOTO PREFECTURAL UNIVERSITY OF MEDICINE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ELRISE CORPORATION, KYOTO PREFECTURAL UNIVERSITY OF MEDICINE filed Critical ELRISE CORPORATION
Priority to JP2020218083A priority Critical patent/JP7464518B2/ja
Priority to PCT/JP2021/048180 priority patent/WO2022138912A1/ja
Publication of JP2022102984A publication Critical patent/JP2022102984A/ja
Application granted granted Critical
Publication of JP7464518B2 publication Critical patent/JP7464518B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、涙液観察装置、情報処理装置、プログラム及び学習モデル生成方法に関し、特に非接触で涙液の状態を観察するものである。
近年、VDT(Visual Display Terminal)作業者及びコンタクトレンズ装用者の増加、冷暖房による部屋の乾燥等の環境要因によりドライアイ患者が増加している。また、スマートフォンを始めとするVDTの普及に伴い、日常的にスマートフォン(以下、スマホ)を長時間見続けるなどによって目を酷使した結果、ドライアイなど目の健康が損なわれる人が増えている。さらに、今後、電子ゲームや遠隔医療などに用いられるヘッドマウントディスプレイ(HMD)形のVR端末を長時間用いることにより、眼の健康が損なわれる可能性が予想され、ドライアイ患者はさらに増加することが予想される。ドライアイは、様々な要因による涙液及び角膜上皮の慢性疾患であり、眼不快感や視機能異常を伴うものである。ドライアイの適切な診断と治療のためには、眼の涙液の状態を正確に把握する必要がある。しかし、眼の健康の重要なパラメータである涙液の状態について、日常の中で自分自身で把握する手段がなく、病院の専用装置でしか評価できないのが現状である。
涙液には、量及び質の側面があり、いずれの異常もドライアイを引き起こす。これまで、臨床の現場において眼の涙液の量を評価するには、例えば濾紙を下眼瞼に挟み、濾紙に涙を染み込ませるシルマー試験が知られている。この方法によれば、染み込んだ涙により濾紙が濡れた長さを測定することにより、涙液の分泌量を測定することができる。また、眼の表面に貯留している涙液量を評価する方法としては、下眼瞼縁に溜まった涙液を染色し涙液メニスカス高(TMH:Tear Meniscus Height)を細隙灯顕微鏡により測定することなどが行われている。
一方、涙液の質の評価法としては、涙液を染色し角膜の表面の涙液層が破壊するまでの時間を測定する涙液膜破壊時間(BUT:Tear Film Breakup Time)の測定が行われている。しかし、これらの濾紙や色素を用いる涙液の量や質の評価においては、眼に少なからず刺激が加わるため、ドライアイの直接原因となっている自然な眼の涙液の情報を評価しているとは言い難い。また、眼に刺激が加わることは、被検者に対して苦痛を与えることもありうる。眼の表面に貯留した涙液量の減少は、ドライアイの最も重要な原因の1つとなるため、涙液貯留量を非侵襲的に評価できる方法が模索されている。
特許文献1には、非接触でドライアイの簡易的診断を行う眼科装置が提案されている。この眼科装置によれば、白色光源からの白色光が被検眼の涙液(涙液は表面から油層、液層の2層からなる)の油層に導かれる。涙液層に反射された反射光は、CCDカメラに受光される。眼科装置は、油層の表面及び裏面においてそれぞれ反射される反射光の干渉現象による干渉模様のカラー画像を取得する。干渉模様のカラー画像は、モニターに表示される。検者は、モニターに表示される涙液層の干渉模様のカラー画像を観察することにより、被検眼の油層の動きや涙液層の破壊の様子などを知ることができ、非接触でドライアイの簡易的診断を行なうことができる。
特開平7-136120号公報
しかし、特許文献1に係る眼科装置は、被検者の涙液を診断するために検者が必要であり、被検者自身が涙液の状態を観察することができない。また、被検眼に白色光を照射し、その反射による干渉模様を撮像するにあたり、CCDカメラを設置し、被検眼を撮像に適当な位置にする必要がある。つまり、眼科装置のあご台に被検者のあごが載せられ、眼科装置の装置本体を被検眼に対し微動させて、被検眼の涙液の油層の表面及び裏面に反射した反射光がレンズを介してCCD受光面に来るように眼科装置は操作される。また、眼科装置において、白色光は、眼科装置にリンク機構により取り付けられた固視灯により照射される。固視灯は、被検者が固視できる位置に調整して配置される。眼科装置は、涙液の脂質層の表面と裏面の反射光がコントラストよく干渉模様を形成するために、固視灯及びCCDカメラの位置を微調する必要があり、撮像が困難で手間がかかるという課題があった。そのため、被検者は、必要なときに被検眼の状態の把握ができないという課題があった。
本発明は、上記の課題を解決するものであり、涙液の撮像を被検者自身により行い、被検眼の状態の把握を容易に行える涙液観察装置、情報処理装置、プログラム及び学習モデル生成方法を提供することを目的とする。
本発明の涙液観察装置は、被検眼を撮像する撮像装置と、被検者の顔面の前記被検眼を含む領域に対向させる凹面を内側に有する被覆部と、前記被検眼に向かって光を照射する発光体と、を備え、前記発光体は、前記被覆部の内側に設置された面光源であり、前記被覆部は、前記被検者の前記顔面に向けられる先端部と、前記凹面の一部に設けられ、前記撮像装置に前記被検眼の表面に反射した反射光を導く導光部と、を備えるものである。
本発明の情報処理装置は、上記の涙液観察装置で撮像された涙液画像から涙液健康度を推定する情報処理装置であって、撮像された前記涙液画像を取得し、前記涙液画像から前記涙液健康度を算出する評価部と、前記涙液健康度を出力する出力部と、を備えるものである。
本発明のプログラムは、コンピュータを、上記の情報処理装置を構成する各部として機能させるためのものである。
本発明の学習モデル生成方法は、被検者の角膜に光を照射した状態で撮像された実績涙液画像と、前記実績涙液画像に対応する教師ラベルとしての涙液健康度と、を含む教師データを取得し、前記教師データを用いて、上記の涙液観察装置で撮像された涙液画像を入力とし、涙液健康度を出力とする学習モデルを生成するものである。
本発明に係る涙液観察装置によれば、被検者自身の手で涙液画像を容易に取得することができる。また、得られた涙液画像を基にして涙液健康度を眼科医などの検者の診察を受けることなく涙液の状態の評価が可能となり、被検者は日常生活の中で目の状態を把握することができる。
実施の形態1に係る涙液観察装置100の斜視図である。 図1の涙液観察装置100の断面図である。 実施の形態1に係る照射部10の凹面21と被検眼61との関係を説明する模式図である。 実施の形態1に係る照射部10を用いて角膜表面62を撮像した涙液画像である。 実施の形態1に係る涙液観察装置100を用いて被検眼61を撮像している状態の一例である。 実施の形態1に係る照射部10の断面の模式図である。 実施の形態1に係る照射部10の変形例の断面の模式図である。 実施の形態1に係る照射部10の変形例の断面の模式図である。 実施の形態1の変形例に係る照射部10Bを用いて被検眼61を撮像している状態の一例である。 評価指標(2)の一例の説明図である。 実施の形態2に係る涙液健康度推定システム1000のハードウェア構成を示す図である。 実施の形態2に係る情報処理装置90の機能構成の一例を示す図である。 実施の形態2に係る涙液健康度の推定方法の一例を示す図である。 情報処理装置90が涙液健康度の推定を実行する推定処理手順を示すフローチャートである。 情報処理装置90が涙液健康度を推定する学習モデルの学習処理手順を示すフローチャートである。 実施の形態2に係る学習モデルの生成において教師データとして用いられるデータセットの一例である。 ドライアイと睡眠の質及び量との相関関係を示す図である。 ドライアイと運動との相関関係を示す図である。 ドライアイとNIBUTとの相関関係の例を示す図である。 NIBUTとスマートフォン使用時間との相関関係の例を示す図である。 実施の形態3に係る涙液健康度推定システム1000が有する学習モデルの機械学習の概念図である。 実施の形態3に係る涙液健康度推定システム1000が有する学習モデルから最適化シミュレーションにより改善すべき因子を推定する方法の概念図である。 実施の形態3に係る涙液健康度推定システム1000による涙液健康度のシミュレーション処理手順の一例を示すフローチャートである。 実施の形態4に係る涙液観察装置400の構造の模式図である。
以下に、本発明に係る涙液観察装置、情報処理装置、プログラム及び学習モデル生成方法の実施の形態について説明する。なお、図面の形態は一例であり、本発明を限定するものではない。また、各図において同一の符号を付したものは、同一のまたはこれに相当するものであり、これは明細書の全文において共通している。さらに、以下の図面では各構成部材の大きさの関係が実際のものとは異なる場合がある。
実施の形態1.
図1は、実施の形態1に係る涙液観察装置100の斜視図である。図2は、図1の涙液観察装置100の断面図である。図2の断面は、照射部10の導光部24の中心を含む断面である。図1に示されるように、涙液観察装置100は、例えば、スマートフォン等の携帯通信端末90aに照射部10を組み合わせて構成される。ただし、涙液観察装置100は、携帯通信端末90aに照射部10を組み合わせた構成のみに限定されるものではなく、以下に説明する構成であっても良い。例えばパーソナルコンピュータなどの情報処理装置に照射部10を接続して構成されるもの、又は情報処理装置及び照射部10を一体にして構成された眼科測定専用の機器であっても良い。実施の形態1においては、涙液観察装置100は、被検者60(図5及び図9を参照)が自らの手で測定対象である被検眼61(図3等を参照)に向けた状態で保持できるものとして、撮像装置91(図6等を参照)を有する携帯通信端末90aと被検眼61に光を照射する照射部10とを備える。涙液観察装置100は、照射部10を用いて被検眼61に光を照射しながら、携帯通信端末90aが備える撮像装置91により被検眼61の表面の撮像を行うものである。
(照射部10)
照射部10は、被検眼61を含む被検者60の顔面の少なくとも一部の領域を覆う被覆部20と、被覆部20を携帯通信端末90aに固定するための固定具30と、を備える。図1に示される照射部10は、携帯通信端末90aに装着され、被覆部20を被検者60の顔面に向けて、角膜表面62に光を照射した状態で携帯通信端末90aを用いて撮像を行う。
被覆部20は、円錐形状に形成されており、先端部22から根元部27に向かうに従い外径が小さくなっている。被覆部20の内側の面は、先端部22から見たときに凹んだ面である凹面21を有する。実施の形態1において、凹面21は円錐面である。先端部22から見て凹面21の奥には導光部24が設けられている。導光部24は、凹面21に開口している孔であり、携帯通信端末90aの撮像装置91に被検眼61の表面に反射した反射光を導く。固定具30には、導光部24と接続されている孔36が設けられている。
照射部10は、被覆部20の先端部22を被検眼61に向けて使用するものであり、先端部22を被検者60の被検眼61の周囲に接触させても良い。このようにして撮影することで、例えばスマートフォンなどの携帯通信端末90aを手に持って被検眼61の撮像をする際にも、撮像装置91と被写体である被検眼61の位置関係がぶれることなく、安定して撮影することができる。先端部22は、例えば柔らかい樹脂製のアイピースが設けられている。先端部22のアイピース22aは、一部分が外側に突出しているタブ部22bが形成されていても良く、被検者60の顔面の凹みに追従して被検眼61の周囲を隙間なく覆えるように形成されている。また、先端部22のうち顔面に接触する部分は、シリコンゴム又はガーゼなどの柔らかい部材で構成されていると良い。このように構成されることで、先端部22を顔面に接触させたときに、鼻及び目の周りの骨の凹凸があっても、先端部22は形状が変形し、安定した接触が可能となる。また、被覆部20の顔面に接触させる部位は、図1に示される先端部22以外の形態でもよく、例えば突起部(図示無し)が設けられており、顔面に接触させる突起部の先端部がシリコンゴム又はガーゼのような柔らかい素材で構成されても良い。
凹面21には、発光体21aが設けられている。実施の形態1において発光体21aは、円錐面に沿って貼り付けられている発光シートである。円錐面を形成する発光シートは、例えば、有機若しくは無機EL(Electro luminescence)シート、蛍光シート、ファイバー発光シート、畜光シート、LEDシート、又はLCDシートを用いると良い。つまり、発光シートは、フレキシブルな素材で形成されており、面発光するシートを用いると良い。発光体21aは、被検眼61に直接向けられるため、明るすぎると目を開けた状態を維持するのが困難になるなどの不具合が生じるため、実施の形態1に係る発光体21aのように発光シートの表面から発光することが望ましい。また、発光体21aは、LEDを円錐面上に複数設け、拡散板をLEDの上に配置して構成しても良い。このとき、拡散板は、指向性を有するLEDからの光を拡散し、被検眼61を向いた面の輝度を略均一化させ、凹面全体を発光させる。
図2に示されるように、被覆部20は、凹面21を形成し、発光シートを支持する筐体23を備える。筐体23は、例えば樹脂製の成形品であり、内側面に発光シートが貼り付けられ、先端部22にアイピース22aが取り付けられる。筐体23は、円錐形状に形成されており、円錐形状の頂点となる側に導光部24となる孔が設けられている。被覆部20は、凹面21に配置された発光体21aが発光して光を被検眼61に照射し、筐体23とアイピース22aとにより光が被覆部20と顔面とにより形成される空間の外部に漏れるのを抑制している。
固定具30は、ヒンジ部32と、携帯通信端末90aを挟みこむ挟持部35a及び35bと、挟持部35a及び35bとの間を開くための操作部34と、を備える。ヒンジ部32は、軸を中心にして回動自在に構成されている。固定具30は、例えば弾性部材(図示なし)を備えており、弾性部材の弾性力により挟持部35aと35bとが近づく方向に荷重が掛かるように構成されている。図2に示されるように、一方の挟持部35aには、孔36が設けられており、被覆部20の導光部24と連通している。孔36の中心は、携帯通信端末90aの撮像装置91の開口の中心と合うように配置される。他方の挟持部35bに設けられた押圧部33は、携帯通信端末90aの撮像装置91の開口が設置されている正面90aaの裏側に位置する背面90abに当接される。押圧部33は、ヒンジ構造により挟持部35に対し回動自在に取り付けられている。押圧部33が回動することにより押圧部33は、背面90abに垂直に力が掛かるように構成されている。押圧部33は、厚み寸法又は形状が異なる携帯通信端末90aであっても、孔36の位置と撮像装置91の開口とが合った状態で、背面90abを押圧し、照射部10を携帯通信端末90aに固定する。
実施の形態1において、固定具30は、図2に示されるように挟持部35a及び35bにより携帯通信端末90aを挟みこんで固定するクリップ構造であるが、異なる形態であってもよい。例えば、固定具30は、ネジを締めこんで携帯通信端末90aを挟みこむ構造、又は吸盤などにより携帯通信端末90aの正面90aaに貼り付く構造を有するものであっても良い。
(被覆部20の構造)
図3は、実施の形態1に係る照射部10の凹面21と被検眼61との関係を説明する模式図である。照射部10は、被覆部20が被検眼61を含む顔面の一部を覆うように配置され、被検眼61に光を照射する。照射部10の使用時においては、被覆部20の凹面21は、被検眼61の角膜表面62に対向するように配置される。凹面21の発光体21aは、発光して角膜表面62の全体に均一に光を照射する。発光体21aは、実質的に表面全体が均一に白色に発光するものが望ましい。凹面21に配置された発光体21aは、表面全体が均一に発光することにより、角膜表面62の全体に均一に光を照射し、光を角膜表面62に反射させることができる。照射部10は、角膜表面62にある涙液層に光を反射させるものである。照射部10が角膜表面62の全体に光を照射し、撮像装置91は角膜表面62の全体又はほぼ全体に作られた発光体21aの虚像を撮像する。発光体21aの虚像は、例えば白色で実質的に均一であるため、角膜表面62にある涙液層の各部の状態を評価するのに適している。
角膜表面62にある涙液層は、表面に位置する油層と角膜表面62側に位置する液層との2つの層から形成されている。照射部10は、角膜表面62に光を照射し、油層の表面及び裏面のそれぞれに反射する光の干渉により生じる干渉模様を観察する。角膜表面62に分布する涙液層による干渉模様を極力均一な条件で観察するため、角膜表面62は、均一に光を照射されるのが望ましい。従って、発光体21aは、図3(a)に示すような、角膜表面62をオフセットしたドーム状の曲面であることが望ましい。角膜表面62は、図3において円弧Sで表されている曲面を有する。凹面21の発光体21aは、角膜表面62が形成する曲面の中心Cと角膜表面62の端縁63a及び63bとを結んだ仮想線b及びcと交差するように配置される。なお、角膜表面62の曲面は、球面に近似している。
図3においては、被検眼61の上下方向についての発光体21a配置を表示しているが、中心Cと角膜表面62の端縁63a及び63bの任意の点を結んだ仮想線は、凹面21の発光体21aと交差する。なお、角膜表面62の端縁63a及び63bは、開瞼時に角膜表面62が露出した状態における角膜表面62の端縁63のうち上下方向の端縁63である。図3においては上下方向の端縁63a及び63bのみを表示しているが、水平方向及び斜め方向も含めて角膜表面62の端縁63全周において、上下方向の端縁63a及び63bと同様に仮想線が凹面21の発光体21aと交差する。つまり、図3における角膜表面62と発光体21aとの位置関係は、上下方向だけでなくその他の方向においても同様に成立する。
図3(a)に示すように、発光体21aは、角膜表面62のオフセット面であることが望ましいが、この場合、表面形状の成形が困難で製造コストが高くなる。従って、図3(b)~図3(e)に示すように、発光体21aの表面は、角膜表面62の曲面の中心Cと端縁63とを通る仮想線と交差するように構成されていれば、角膜表面62のオフセット面以外の形状の面光源であっても良い。
図3(b)に示される発光体21aは、図1及び2に示される照射部10の発光体21aを模式的に表している。図3(b)において発光体21aは、円錐面で構成され、円錐面の頂点に導光部24が設置されている。図3(b)に示される発光体21aは、被検眼61と撮像装置91との間に配置され、角膜表面62の曲面の中心Cと端縁63とを通る仮想線が交差するように設置されている。ここで、中心Cを通る仮想線上における、角膜表面62から発光体21aまでの距離Lを規定したときに、端縁63を通る仮想線上の距離Lと端縁63ではない角膜表面62上の点を通る仮想線上の距離L1とを比較する。図3(b)においては、発光体21aが球面ではなく円錐面を形成しているため、距離Lと距離L1とを比較すると距離L1の方が長い。しかし、人の顔面の一部を覆う程度の大きさの被覆部20であれば、その差は小さい。よって、面光源である発光体21aを均一に発光させることができれば、角膜表面62に対して実質的に均一に光を照射できる。
図3(c)に示される発光体21aは、図3(b)と同様に円錐面であるが、導光部24が円錐面の先端側に配置されている。導光部24は、必ずしも発光体21aの中心である必要はなく、光が照射された角膜表面62を撮像することができれば被覆部20の凹面21のどの位置に開口されていても良い。
図3(d)に示される発光体21aは、平面である。発光体21aが平面であっても、角膜表面62からの距離L及び発光体21aの光の強度を調整することにより、角膜表面62に光を実質的に均一に照射することができる。発光体21aが平面である場合、発光体21aの端においては、角膜表面62の端縁63からの距離Lが遠い。そのため、平面の発光体21aは、図3(a)~(c)の発光体21aと比較して外径rが大きくなりやすく、面積も広くなりやすい。
図3(e)に示される発光体21aは、有底筒状に形成されている。有底筒状に形成された発光体21aは、外径rが大きくなることはないが、発光体21aを構成する面21p及び面21qの面積が大きくなりやすい。有底筒状の発光体21aは、例えば平面の発光シートと円筒状に丸めた発光シートを組み合わせることにより、容易に製造できる。
図4は、実施の形態1に係る照射部10を用いて角膜表面62を撮像した涙液画像である。図1、図2、図3(a)、図3(b)、図3(d)、及び図3(e)に示されている照射部10は、発光体21aの中央部、つまり角膜表面62の曲面の中心Cと角膜の中央の点とを通る仮想線上に導光部24が設置されている。そのため、図4に示されるように、図1、図2、図3(a)、図3(b)、図3(d)、及び図3(e)に示されている照射部10を用いて光を照射して撮像された涙液画像は、角膜の中央部に導光部24が映り込んでいる。従って、導光部24が映り込んだ涙液画像の中央部は、発光体21aの光による干渉模様が撮像できていない。
しかし、図3(a)~(e)に示される発光体21aによれば、導光部24が映り込んだ部分を除く角膜表面62の全体に光を照射できる。そのため、照射部10により撮像した画像は、図4に示すように、角膜表面62のほぼ全域にわたり発光体21aの虚像が作られており、角膜表面62の各部に存在する涙液による干渉模様の分布が確認できる。また、角膜表面に格子状のパターンを投影し、その格子の曲がり具合を画像解析することにより、涙液層の形状変化や乱れを計測することができる角膜トポグラフィーという技術がある。実施の形態1に係る涙液観察装置100は、角膜トポグラフィーと同様に発光面に格子状のパターンを設けることで、涙液層の乱れを可視化し易くすることができる。具体的には、発光体21aの表面に格子状に線を描いても良いし、格子状のパターンを描いた透明なシート(図示無し)を、発光体21aの上に配置しても良い。なお、透明なシートは、光源となる発光体21aに隣接して配置される形態に限定されず、発光体21aと被写体となる角膜表面62の間に配置されていればよい。
(照射部10による撮像方法)
図5は、実施の形態1に係る涙液観察装置100を用いて被検眼61を撮像している状態の一例である。被検者60は、自ら涙液観察装置100を手に持ち、被覆部20の先端部22を顔面に当接させる。被覆部20は、顔面のうち被検眼61を含む一部の領域を覆う。携帯通信端末90aを保持する向きは、図5(a)に示すように縦方向でもよいし、図5(b)に示すように横方向でもよい。図5(b)に示すように携帯通信端末90aの長手方向を横向きにした場合は、被検者60は、被覆部20により覆われていない他方の眼61aで携帯通信端末90aに設けられた画面を確認しながら撮像することができる。
実施の形態1に係る涙液観察装置100の使用手順は、具体的には以下の様に行う。まず、被検者60は、携帯通信端末90aを動画撮影状態にし、被検者60自身の手で携帯通信端末90aを持ち、被検眼61に向ける。被検者60は、照射部10の被覆部20の先端部22を顔面に押し当て、被覆部20により被検眼61を覆う。
被検眼61を覆い、携帯通信端末90aを動画撮影状態にし、被検者60は、被検眼61の眼瞼を一度軽く閉じる。そして、被検者60は、眼瞼を開け、10秒間開瞼し続ける。携帯通信端末90aの撮像装置91は、開瞼している期間の角膜表面62の涙の動きを撮影する。このとき、角膜表面62の涙液層には、発光体21aから投影された白色光が照射される。白色光は、涙液層のうち表面にある油層の表面と裏面とでそれぞれ反射し、表面での反射光と裏面での反射光とが互いに干渉し、角膜表面62に干渉模様を呈する。撮像装置91は、その干渉模様を撮影する。
涙液層のような薄膜界面での反射光の干渉は、次の式(1)で表される。
Figure 0007464518000001
ここで、d:涙液層の厚さ、θ:光の入射角、m=0,1,2,3,…、λ:光の波長、n:涙液層の屈折率、である。
図4に示されるように、撮像された画像Pには、角結膜の広い範囲に分布する涙液層の各層の反射による干渉像が表れている。図4において、角膜表面62の中央部に位置する比較的黒く表示されている領域fは、撮像装置91に導光する導光部24が映り込んでおり涙液層からの反射がほぼ得られないため、それ以外の領域を評価する。
図4に示されている干渉模様Kは、油層の状態、即ち油層の有無、油層の厚みとその変化、角膜表面62における涙液の流れ、及び涙液の粘性の影響を受けて変化する。
また、被検者60が開瞼を10秒間維持することにより、涙液観察装置100は、ドライアイの判定に必須である涙液層の破壊を観察することもできる。
つまり、被検者60は、涙液観察装置100を用いて撮像された角膜表面62の干渉模様を観察することで、自身の涙液の状態を確認できる。従来の眼科装置で角膜表面62の涙液を観察する場合、検者(通常は眼科医)が被検者60の被検眼61の位置を調整しながら観察する必要がある。一方、実施の形態1に係る涙液観察装置100は、被検者60が自分で測定位置を合わせながら角膜表面62を撮像できる。被検者60は、例えば携帯通信端末90aの画面に映る映像を見ながら、涙液観察装置100の位置を微調整し、最適な位置に持っていくことができる。
(照射部10の変形例)
図6は、実施の形態1に係る照射部10の断面の模式図である。図7及び図8は、実施の形態1に係る照射部10の変形例の断面の模式図である。実施の形態1に係る照射部10は、発光体21aにより被覆部20の先端部22側に位置する被検眼61に光を照射し、導光部24の奥に配置されている撮像装置91で被検眼61を撮像する。発光体21aは、固定具30に設置された電源部38から配線38aを介して電力が供給され、発光する。電源部38は、バッテリーであり、インバータ39において直流電流を交流電流に変換して発光体21aに電力を供給する。発光体21aにより光が照射された被検眼61に反射した光は、導光部24の内部に配置されたレンズ37により集光され撮像装置91で撮像される。
図7に示されている変形例である照射部10Aは、照射部10と比較して導光部24の内部にプリズム28を配置し、導光部24に進入した光を反射させて撮像装置91に導光している。プリズム28は、導光部24の内部において光が進入する位置に配置される。そして、導光部24に光が進入する方向に対し垂直方向にもう1つのプリズム28が配置される。導光部24に進入した光は、第1のプリズム28Aの反射面28aで垂直に曲げられ、更に第2のプリズム28Bの反射面28aで垂直に曲げられ、撮像装置91に進入する。導光部24に進入する光の入射方向において、導光部24の入口側に配置されている第1のプリズム28Aの奥には、第2発光体21bが配置されており、第1のプリズム28Aを透過して角膜表面62に光を照射する。第2発光体21bは、導光部24の周りに配置されている第1発光体21aとは別に設置されている発光シートであり、電源部38から配線38bを介して電力が供給される。第1のプリズム28Aの反射面28aは、第2発光体21bの光を透過するように、例えばハーフミラーで構成されている。このように構成されることにより、変形例に係る照射部10Aは、図4に示されている画像の領域fに相当する領域も発光体21aにより光が照射され、涙液による干渉模様を観察することができる。
図8に示されている変形例に係る照射部10Bは、撮像装置91を一体に備える。照射部10Bは、被覆部20が照射部10及び10Aと同様に構成されているが、固定具30を有していない。被覆部20の根元部には撮像装置91が内部に配置されている筐体93が設けられ、さらに電源部38、インバータ39、及び通信部40が筐体93に一体に設けられている。通信部40は、例えば携帯通信端末90aなどの外部の機器と通信し、撮像装置91で撮像したデータを送信する。照射部10Bで撮像された画像は、携帯通信端末90aで確認することができる。なお、通信部40と通信する外部の機器は、携帯通信端末90aのみに限定されるものではなく、例えばパソコンなどの情報処理装置であっても良い。通信部40は、無線通信により通信するが、有線通信であっても良い。
図9は、実施の形態1の変形例に係る照射部10Bを用いて被検眼61を撮像している状態の一例である。変形例に係る照射部10Bは、被検者60の手に保持され、被検眼61に向けられる。被検者60は、照射部10Bが向けられていない他方の眼61aで携帯通信端末90aの画面を確認することができる。なお、以下の説明において、照射部10、10A及び10Bを総称して照射部10と称する場合がある。
(涙液健康度の推定について)
被検者60は、自分の涙の健康度を把握するために、例えば次の涙液の評価指標(1)~(4)のうち1つ以上の指標について、照射部10を用いて自ら撮像した涙液画像と、予め準備された実績涙液画像とを被検者60が見比べることが出来る。評価指標は、(1)開瞼後の干渉像の色、(2)開瞼後に涙液油層が到達する位置(図10を参照)、(3)開瞼開始から涙液層破壊像が観察されるまでの時間及びその破壊パターン、(4)開瞼から目を閉じてしまうまでの時間、である。上記の評価指標に基づき涙液健康度をスコアリングする際の考え方の一例を表1に示す。
Figure 0007464518000002
上記表1に示すように、評価指標(1)~(4)に対しそれぞれスコアを5段階に設定し、涙液の健康度が最も高いものを5点、最も低いものを1点とする。例えば、(1)開瞼後の干渉縞が灰色で均一、(2)開瞼後の涙液油層の上方伸展の範囲は角膜全体、(3)開瞼後10秒間涙液層の破壊像が観察されない、(4)開瞼後10秒間眼を開け続けられる、場合は涙液の健康度は5点となる。被検者60は(1)~(4)の1つ以上の項目について、予めスコアリングされた参照動画と照射部10により撮像した画像とを見比べることにより、涙液健康度をスコアリングできる(文献:Yokoi, N.; Takeshita, Y.; Kinoshita, S. Correlation of tear lipid layer interference patterns with the diagnosis and severity of dry eye. American Journal of Ophthalmology. 1996, 122(6), 818-824. 横井則彦. DR-1 による涙液層の評価. Frontiers in Dry Eye. 2012, 7(2), 50-55. 他)。
図10は、評価指標(2)の一例の説明図である。開瞼後に涙液油層は、上眼瞼とともに上に引き上げられるが、涙液量が足りない場合は涙液油層が角膜全体に十分に行き渡らない。よって、評価指標(2)においては、例えば涙液の干渉像が角膜全体に行き渡っているか(表1のスコア5点)、図10に示される到達位置64aを超える(表1のスコア4点)、同程度(表1のスコア3点)、又は到達位置64aより下(表1のスコア2点)か、涙液の上方進展が確認できないか(表1のスコア1点)の何れに該当するかを被検者60は、判定する。例えば、涙液の干渉像が、図10の到達位置64bに到達していればスコア2点、到達位置64cであればスコア1点と判定する。
なお、評価指標(1)~(4)は、一例であり、適宜変更することができる。また、実施の形態1においては、涙液健康度のスコアを上記の5水準に分類しているが、評価指標に応じて水準の数は、任意のn水準に適宜変更しても良い。
以上のように、実施の形態1に係る涙液観察装置100は、被検眼61を撮像する撮像装置91と、被検者60の顔面の被検眼61を含む領域に対向させる凹面を有する被覆部20と、被検眼61に向かって光を照射する発光体21aと、を備える。発光体21aは、被覆部20の凹面21に設置され、被覆部20は、被検者60の顔面に向けられる先端部22と、凹面21の一部に設けられ、撮像装置91に被検眼61の表面に反射した反射光を導く導光部24と、を備えるものである。このように構成されることにより、被検者60は、自らの手で被検眼61の角膜表面62の広い範囲に実質的に均一な光を照射しながら撮像でき、角膜表面62の状態を容易に確認することができる。
実施の形態1に係る涙液観察装置100において、発光体21aは、面光源である。このように構成されることにより、被検眼61の角膜表面62に実質的に均一な光がむらなく照射されるため、角膜表面62の各部において、同じ条件下での涙液層の干渉模様を撮像することが可能となる。通常、平面の発光体又は点光源などの光源から凸面である角結膜に光を照射すると、凸面で広がって反射するため、角結膜上に作られる光源の虚像は小さくなる。実施の形態1においては、凹面21に配置された発光体21aが面光源であり、例えば円錐形状となっている発光体21aで被検眼61を覆いつつ近接配置される。これにより、角膜表面62のほぼ全体に光源の虚像が作られ、角膜表面62のほぼ全体の涙液の情報を得ることができる。表1(2)において評価指標とされている開瞼後に涙液油層が到達する位置の観察においては、角膜表面62の下部から上部まで伸展移動する涙液の動態を観察する必要がある。そのため、表1(2)の評価を行うにあたっては角膜の出来るだけ広い範囲を観察する必要があり、実施の形態1に係る照射部10及び涙液観察装置100によれば、表1(2)の評価指標を適切に評価できる。
なお、従来より一般的な涙液検査においても、角膜表面62上の出来るだけ広い範囲の涙液を観察する必要があり、これはフルオレセイン染色により行われている。しかし、フルオレセイン染色による涙液観察は、染色により角膜表面62の広い範囲を観察できるものの、薬品を角膜表面62に滴下して行うものであり、観察するときには涙液の状態が変化してしまうため、適切な涙液の状態を観察することができない。一方、実施の形態1に係る涙液観察装置100によれば、角膜表面62を非侵襲な状態で観察できるため、角膜表面62のほぼ全体にわたって涙液の状態を適切に評価できるという利点がある。
実施の形態1に係る涙液観察装置100において、発光体21aは、導光部24の周囲に配置される。このように構成されることにより、導光部24は、発光体21aの中央に配置することができ、角膜表面62を正面から撮像することができ、涙液層の観察の精度を向上させることができる。
実施の形態1に係る涙液観察装置100において、発光体21aは、導光部24の周囲に配置される第1発光体21aと、導光部24に配置される第2発光体21bと、を含む。そして、導光部24は、内部に設置され当該導光部24に入射した光を撮像装置91に反射する反射面28aと、を備える。第2発光体21bは、導光部24の内部であって反射面28aの奥に配置される。このように構成されることにより、涙液観察装置100の照射部10は、導光部24も光源とすることができる。これにより、撮像装置91により撮像された画像は、光が照射されていない部分がなく、角膜表面62の全体を同時に観察することができる。
実施の形態1に係る涙液観察装置100において、発光体21aは、凹面21に設置された発光シートである。このように構成されることにより、凹面21は、コストを掛けずに所望の形状に形成できる。特に、薄い発光シートは、面が均一に発光し、容易に円錐形状にすることができるため、涙液観察装置100の光源として適している。
実施の形態1に係る涙液観察装置100において、発光体21aは、被検眼61の角膜の露出している部分の端縁63と角膜表面62が成す曲面の中心Cとを結んだ仮想線b及びcを規定したときに、凹面21と仮想線b又はcとが交差する各点を含む領域に配置されている。これにより、発光体21aは、眼球の角膜表面62よりも広い領域を照射できる。これにより、涙液観察装置100は、角膜表面62の端縁63までの領域の全体に光を照射した状態の画像が得られる。なお、上記の凹面21の発光体21aの配置は、被覆部20の先端部22の少なくとも一部が被検者60の顔面の一部に当接した状態で実現されると良い。これにより、涙液観察装置100は、角膜表面62、照射部10及び撮像装置91の位置が安定し、精度の良い撮像及び涙液観察が可能となる。
実施の形態1に係る涙液観察装置100は、固定具30を更に備え、撮像装置91は、携帯通信端末90aに設置され、固定具30は、導光部24から撮像装置91に導光するように、携帯通信端末90aを挟みこんで固定される。これにより、涙液観察装置100は、様々な携帯通信端末90aと照射部10とを組み合わせて構成される。被検者60が自分の所有する携帯通信端末90aを涙液観察装置100として利用できるため、涙液観察装置100は、利便性が高いものになっている。
実施の形態1に係る涙液観察装置100は、被覆部20の先端部22が撮像装置91の最短撮影距離よりも遠くに配置されている。最短撮影距離は、撮像装置91がピントを合わせられる最短距離を意味している。涙液観察装置100は、被覆部20の先端部22に顔面を当接させた状態で角膜表面62を撮影できるようにするべく、導光部24に接写用レンズ37を備えていても良い。これにより、涙液観察装置100は、被覆部20を顔面に押し付けた状態で安定させつつ、撮像装置91により鮮明な涙液画像を得ることができる。
実施の形態2.
実施の形態2に係る涙液健康度推定システム1000は、実施の形態1に係る涙液観察装置100を用いて角膜表面62の画像を取得し、情報処理装置90においてその画像を基に涙液健康度を推定するものである。実施の形態2においては、実施の形態1に対する変更点を中心に説明する。
図11は、実施の形態2に係る涙液健康度推定システム1000のハードウェア構成を示す図である。情報処理装置90は、実施の形態1に係る涙液観察装置100の携帯通信端末90aに相当するものである。情報処理装置90は、下記のハードウェア構成を備える。H11は、CPUであり、演算装置及び制御装置として機能し、システムバス(H20)に接続された各種デバイスの制御を行う。H12は、ROMであり、BIOS(Basic Input/Output System)のプログラムやブートプログラムを記憶する。H13は、RAMであり、CPUであるH11の主記憶装置として使用される。H14は外部メモリであり、情報処理装置90が処理するプログラム及び涙液健康度推定に必要な情報が格納される。入力部(H15)は、タッチパネル、キーボード、マウス、コントローラー又は音声入力装置であり、情報等の入力に係る処理を行う。表示部(H16)は、CPU(H11)からの指示に従って情報処理装置90の演算結果を表示装置に出力する。なお、表示装置は、液晶表示装置、有機EL表示装置、プロジェクタ又はLEDインジケータなど、種類は問わない。H17は、通信インターフェイスであり、ネットワークを介して情報通信を行うものであり、通信インターフェイスは、USB等を用いた有線による通信又は無線通信等種類は問わない。H18は入出力部(I/O)であり、外部カメラ(H19b)と接続されている。なお、H19aは、内蔵カメラである。H27はセンサであり、例えば環境センサ(温度、湿度、気圧、照度、近接、指紋、心拍数又は接触を検知するセンサ、マイク、RGBカメラ、NFCセンサ、磁気通信、赤外線カメラなど)、モーションセンサ(加速度又は重力を検知するもの、ジャイロ(回転、動き、位置)、磁気(磁石との距離、速度、加速度)を検知するもの、位置を検知するもの(GPS、地磁気(電子コンパス))、その他、物質や物性を特定することの可能なセンサを含む)である。
内蔵カメラ(H19a)は、図2、図6及び図7に示される携帯通信端末90aに搭載された撮像装置91に相当する。また、外部カメラ(H19b)は、図8に示される照射部10に搭載された撮像装置91に相当するものであり、図2、図6及び図7に示される形態においては存在しなくともよい。また、表示部(H16)は、例えば携帯通信端末90aの表示装置92に相当する。
情報処理装置90Bは、例えばインターネットを介して接続されるサーバー等の外部装置であり、情報処理装置90の通信インターフェイス(H17)と通信インターフェイス(H22)により接続されている。情報処理装置90Bは、情報処理装置90と同様にCPU(H23)、ROM(H24)、RAM(H25)及び外部メモリ(H26)を備える。なお、外部の情報処理装置90Bを第2情報処理装置と称する場合がある。
図12は、実施の形態2に係る情報処理装置90の機能構成の一例を示す図である。図13は、実施の形態2に係る涙液健康度の推定方法の一例を示す図である。実施の形態2に係る情報処理装置90のカメラ(H19a又はH19b)は、被検眼61の画像を撮像する。撮像された画像は、動画であり外部メモリ(H14)などに記録される。記憶される画像は、動画でも静止画でも良い。静止画の場合には、例えば開瞼直後の画像から一定秒数後の画像を差し引いた差分画像でも良いし、又は開瞼後一定秒数後の画像のみを用いても良い。画像が動画の場合、画像のうち涙液健康度の推定に必要な部分のみが記録されても良い。カメラ(H19a又はH19b)は、図2、図6~図8に示す撮像装置91に相当する。カメラ(H19a又はH19b)は、情報処理装置90に内蔵されている内蔵カメラ(H19a)であっても、入出力部であるI/O(H18)を介して接続された外部カメラ(H19b)であっても良い。情報処理装置90は、図13に示すように、撮像装置91により撮像されたデータから涙液健康度を推定するものである。
図13に示すように、評価部101は、撮像装置91で撮像された画像を処理する。図12に示される評価部101の特徴抽出部102は、入力された画像を必要な画像に処理し外部メモリ(H14)に記録する。特徴抽出部102においては、入力された画像から特徴データが抽出される。特徴データは、被検眼61の状態を、n水準のスコアの何れかに分類するために必要な画像である。特徴データとして抽出された画像は、例えば表1に示される評価指標(1)~(4)に基づいてn水準(表1においては5水準)に分類可能な特徴が表れているものである。n水準のスコアは、機械学習において特徴量として用いてもよい。評価部101は、情報処理装置90が備えるCPU(H23)、ROM(H24)、RAM(H25)及び外部メモリ(H26)により実現される。又は、図12の評価部101は、外部の情報処理装置90Bにより実現されても良い。
特徴データは、
(1)涙液層が有する涙液油層に光が反射して生ずる干渉縞模様の有無及び前記干渉縞模様の色に関する情報、
(2)開瞼後に前記涙液油層が高さ方向に引き上げられる最高到達点の情報、
(3)前記涙液層が破壊されるまでの涙液破壊時間(BUT)の情報、及び
(4)前記被検眼の開瞼開始から閉瞼までの開瞼時間の情報の少なくとも1つを含む画像である。これらの特徴データは、撮像装置91で撮像された画像から各評価指標に対応して、少なくとも1つの画像が抽出される。なお、特徴データである抽出された画像は、学習モデルによる画像認識により抽出されても良い。
特徴データは、評価指標に基づき評価され、変換部103で特徴ベクトルに変換される。又は、特徴データは、評価指標に基づき評価され、変換部103で数値化される。
(特徴抽出部102及び変換部103の学習モデル)
評価部101における特徴データの抽出及び特徴ベクトルへの変換は、例えばニューラルネットワークなどの機械学習アルゴリズムを用いて生成された学習モデルを用いて行う。ここでいう学習モデルとは、例えば画像から入力画像に対応する結果を出力するニューラルネットワークに基づくネットワーク構造とそのパラメータとする。学習モデルは、具体的にはCNN(畳込みニューラルネットワーク)である。また、学習(パラメータの更新)とは、学習モデルの入力側の層に画像を設定し、出力画像の層に画像に対する正解値を設定し、ニューラルネットワークを経由して算出される出力が設定した正解値に近づくようにニューラルネットワークのパラメータを調整する処理を指す。
図12の特徴抽出部102及び変換部103による処理は、教師データを用いて生成された学習モデルにより行うことができる。学習モデルの生成は、実施の形態1に係る涙液観察装置100を用いて撮像された様々な条件の実績涙液画像と実績涙液画像に教師ラベルとして紐づけられたスコアとから構成される教師データを用いて作成される。例えば、教師データは、実績涙液画像を人の手により評価し、例えば表1に示される評価指標と判断基準に基づき1~5までのスコアを実績涙液画像と紐づけして作成される。例えば、実績涙液画像が「涙液の上方伸展位置が1/2以下である」、「開瞼後10秒以内に涙液破壊が見られる」、等の状態にある場合には、涙液の量と質が悪い状態にあると判断し、低い数値パラメータを設定する。一方、実績涙液画像が「涙液の情報伸展が角膜全体に広がる」、「開瞼後10秒間に涙液破壊が見られない」等の状態にある場合には、当該涙液画像の涙液の質と量は良好状態にあると判断し、高い数値パラメータを設定する。また、類似の状態であっても、その具体的状況に応じて異なるスコアを設定しても良い。
処理部104は、特徴ベクトル、画像が撮影された環境情報、被検者の属性及び行動データを基に涙液健康度を求める。処理部104においては、画像を基に得られた特徴ベクトルに加え、画像が撮影された環境情報、被検者の属性及び行動データなどの関連情報(メタデータ)も入力され、涙液健康度が出力される。涙液健康度は、例えば画像と、画像に付随した関連情報の実績から作成された基準に基づき判定される。関連情報とは、撮像時の環境情報、被検者の属性及び行動データで構成される。画像に付随したこれらの関連情報は、全てドライアイに関連することが分かっており、涙液及び涙液健康度に関係するパラメータである。処理部104においては、関連情報の少なくとも1つ以上を用いる。
以下に画像に付随する関連情報の一例を示す。
(1)被検者の属性情報
性別、年齢、既往症、コンタクトレンズ装用の有無、ドライアイの質問表(DEQS/OSDI)の回答、うつ病の質問表Self-rating depression scale (SDS)への回答。
(2)被検者の行動データ
撮影前24時間の睡眠時間、VDT使用時間、歩数(活動量)、などのヘルスデータ。
(3)測定環境情報
湿度温度、季節時期、測定機種、設定情報、撮影日時、など。
処理部104は、涙液画像から得られた特徴ベクトルと測定環境情報、被検者の属性及び被検者の行動データとを入力として、学習モデルを用いて涙液健康度スコアを出力する。学習モデルは、ニューラルネットワークなど機械学習アルゴリズムを利用して生成される。学習モデルは、実績涙液画像から得られる特徴ベクトルと測定環境情報、被検者の属性及び被検者行動データなどの関連情報を入力とし、涙液健康度を教師ラベルとして紐づけされた教師データを用いて生成される。
なお、評価部101は、入力を涙液画像及び涙液画像に付随する関連情報とし、出力を涙液健康度とする学習モデルを用いても良い。評価部101は、具体的にはCNN(畳込みニューラルネットワーク)が用いられる。評価部101がCNNである場合、処理部104は、畳み込みニューラルネットワークの「全結合層(分類器)」に相当する部分となり、ここには涙液画像から得られた特徴ベクトルとともに上記の関連情報が入力される。このように、涙液画像に付随する関連情報に基づき分類する場合、実施の形態1のように涙液画像のみを見比べる場合に比べ、涙液の健康度の推定精度が向上する。例えば、前日の睡眠時間が8時間の時の涙液画像と、睡眠時間が1時間の時の涙液画像が似たような画像であったとする。このとき睡眠時間という要因を加味して評価部101が解析するによって、睡眠時間が1時間の場合の涙液画像の方が、睡眠時間が8時間の場合の涙液画像よりも健康状態が悪いと判断する。このように、測定画像だけでなく生活ログデータを総合的に解析し、より正確な涙液の健康状態を推定することが出来る。この場合、複数の種類の入力情報の中から特徴を見つけ出すマルチモーダル学習の手法を用いても良い。
表示装置92は、評価部101から出力された涙液健康度を出力し、被検者60に示す。表示装置92は、携帯通信端末90aに一体に設けられた画面であるが、パソコンの画面などその他の機器に表示させても良い。
(涙液健康度の推定フロー)
図14は、情報処理装置90が涙液健康度の推定を実行する推定処理手順を示すフローチャートである。次に、実施の形態2における涙液健康度推定の処理手順について説明する。以下の説明では、各工程(ステップ)について先頭にSを付けて表記する。ただし、情報処理装置90は必ずしもこのフローチャートで説明するすべてのステップを行わなくても良い。以下、フローチャートは、コンピュータである図11のCPU(H11)が外部メモリ(H14)で格納されているコンピュータプログラムを実行することにより実現されるものとする。
まず、S1の前に、情報処理装置90は、システムの初期化を行う。すなわち、外部メモリ(H14)からプログラムを読み込み、情報処理装置90を動作可能な状態にする。
S1では、撮像装置91により対象となる被検眼61を撮像する。撮像の開始は、被検者60が携帯通信端末90aを操作して手動で操作して行う。又は、被検眼61が画像の所定の位置に納まり、画像のピントが合った状態を情報処理装置90が判定して撮像を開始させても良い。撮像の終了は、例えば所定時間経過又は手動による終了の指示等により行う。
S2では、S1で撮像された画像を外部メモリ(H14)に記録する。
S3では、記録された画像を基に被検眼61の涙液健康度を推定する。涙液健康度の推定は、撮像装置91a又は91bにより撮像された画像を入力とし、評価部101において学習モデルを用いて処理され、涙液健康度が出力される。
S4では、評価部101において推定された涙液健康度が表示装置92に表示される。
なお、図14におけるフローは、情報処理装置90の内部のCPU(H11)、ROM(H12)、RAM(H13)及び外部メモリ(H14)により実行、処理されても良い。ただし、情報処理装置90Bが情報処理装置90に接続されている場合、通信インターフェイス(H17及びH22)を介して通信を行い、涙液画像を情報処理装置90Bに送信し、外部のサーバー等である情報処理装置90Bの外部メモリ(H26)に記録されている学習モデルを用いて涙液健康度の推定を行っても良い。このとき情報処理装置90Bの内部のCPU(H23)、ROM(H24)、RAM(H25)及び外部メモリ(H26)が、評価部101として機能し、図14のS1~S4の涙液健康度の推定フローを実施する。
(涙液健康度推定のための学習モデルの学習フロー)
図15は、情報処理装置90が涙液健康度を推定する学習モデルの学習処理手順を示すフローチャートである。次に、実施の形態2における涙液健康度推定のための学習モデルの学習フローの処理手順について説明する。以下の説明では、各工程(ステップ)について先頭にSを付けて表記する。
まず、S11の前に、情報処理装置90は、システムの初期化を行う。すなわち、外部メモリH14からプログラムを読み込み、情報処理装置90を動作可能な状態にする。
S11では、撮像装置91により対象となる被検眼61を撮像する。撮像の開始は、被検者60が携帯通信端末90aを操作して手動で操作して行う。又は、被検眼61が画像の所定の位置に納まり、画像のピントが合った状態を情報処理装置90が判定して撮像を開始させても良い。撮像の終了は、例えば所定時間経過又は手動による終了の指示等により行う。
S12では、S1で撮像された画像を外部メモリ(H14)に記録する。
S13では、記録された涙液画像について被検眼61の涙液健康度の解析(アノテーション)を行う。図14に示すフローで評価部101において記録された涙液画像について学習モデルを用いて涙液健康度推定が行われるが、被検者60が涙液画像についての正解データを入力することにより、涙液画像についての新たな教師ラベルを紐づけしアノテーションする。
S14では、学習モデルのチューニングが行われる。涙液画像及び特徴ベクトルと涙液画像に付随する関連情報とを入力とし、被検者60が新たに紐づけした正解データを教師ラベルとし、学習モデルのパラメータが変更される。例えば、評価部101は、図14に示すフローで推定された涙液健康度と、被検者60が入力した正解データと、を比較する。被検者60は、涙液健康度推定システム1000を用いて自身の被検眼61の涙液健康度の推定を繰り返し行うとともに、S13において被検者60がアノテーションを実施することにより、学習モデルのパラメータが被検者60に合わせてチューニングされる。涙液健康度推定システム1000は、学習済みの涙液健康度推定モデルだけで被検者60の涙液健康度を推定することもできるが、図15の学習フローにより被検者60ごとにデータを蓄積し、被検者60ごとに学習モデルを作成することができる。
S14においてパラメータが変更された学習モデルは、情報処理装置90の外部メモリ(H14)に記録される。又は、情報処理装置90と外部の情報処理装置90Bとが接続されている場合には学習モデルは、外部メモリ(H26)に記録されても良い。記録されたパラメータが変更された学習モデルは、次回の涙液健康度の推定時に推定フローで使用される。
図15に示されたプロセスは情報処理装置90の端末内で行っても良いし、インターネットを介してクラウド上で行っても良い。なお、本例では学習モデルをCNN(畳込みニューラルネットワーク)としたが、機械学習を用いた涙液の健康度を推定する方法であれば、どの手法を用いても良い。
図16は、実施の形態2に係る学習モデルの生成において教師データとして用いられるデータセットの一例である。図16に示されているデータセットは、ある時刻t1、t2、…、tnに撮像された像t1、像t2、…、像tnのn個の涙液画像と、その涙液画像に付随する関連情報と、涙液健康度とから構成されている。関連情報としては、睡眠時間、スマホの使用時間、自覚症状の評価、が含まれている。自覚症状の評価は、被検者が感じるドライアイの程度を例えば10段階で評価したものである。なお、自覚症状の評価は、任意のn水準で表しても良い。
図17は、ドライアイと睡眠の質及び量との相関関係を示す図である。図17に示されPSQIは睡眠の質と量を効率的に計測する手法である。《参考文献: Kawashima, M., Uchino, M., Yokoi, N., Uchino, Y., Dogru, M., Komuro, A., & Tsubota, K. (2016). The association of sleep quality with dry eye disease: the Osaka study. Clinical ophthalmology (Auckland, NZ), 10, 1015.》。図17のPSQIのスコアが高くなるほど睡眠が悪いことを意味する。図17においては、DED(Dry eye diseas)、non-DEDに比べて睡眠の質が悪いことを示している。よって、睡眠時間は、涙液健康度と相関性が高く、図16においては、教師データのデータセットに含まれている。また、睡眠時間のデータは、涙液健康度の推定においても、涙液画像に付随する関連情報として評価部101に入力されることが望ましい。睡眠時間は、被検者60の手により入力部(H15)で入力されても良いし、センサ(H27)により検知された情報から推定された睡眠時間が入力されても良い。
図18は、ドライアイと運動との相関関係を示す図である。図18の縦軸である運動強度指数MET(Metabolic equivalent)スコアが高い方が身体活動量が多いことを意味する(参考文献:川島素子, ライフスタイル介入アプローチ、新しい眼科32(7):973-978,2015)。図18によれば、非ドライアイでは運動習慣がドライアイ群に比べて多いことを示している。また、別の文献では、運動習慣の多いと涙液分泌量が多いことも示されている。これにより、運動習慣に関するデータは、涙液健康度の推定において、涙液画像に付随する関連情報として評価部101に入力されることが望ましい。運動習慣に関するデータは、具体的にはMETスコアでもよいし、被検者60自身による運動時間の入力、又はセンサ(H27)により検知された情報から推定された運動強度であっても良い。
図19は、ドライアイとNIBUTとの相関関係の例を示す図である。図19の縦軸がドライアイの自覚症状の度合いを示し、横軸がNIBUT(非侵襲的涙液膜破壊時間)を示している《参考文献:Pult et al, The relationship between clinical signs and dry eye symptoms. Eye(25) 502-510(2011)》。図20は、NIBUTとスマートフォン使用時間との相関関係の例を示す図である。図20の縦軸がNIBUT(非侵襲的涙液破壊時間)であり、横軸がスマホの使用時間を示している《参考文献: J H Choi ,et al, The influences of ocular surface, smartphone use on the status of the tear film and PLoS ONE 13(10):e0206541, 2018》。図19及び図20によれば、ドライアイの自覚症状と涙液健康度が相関することがわかる。
図16~20を用いて説明したように、ドライアイと、睡眠時間、運動量、及びスマートフォンの使用時間などのVDT時間とは相関が認められる。実施の形態2に係る涙液健康度推定システム1000においては、評価部101に対する入力データとして、涙液画像だけでなく涙液画像に付随した関連情報が入力される。関連情報に、上記の睡眠時間、運動量、及びVDT時間に関する情報を含むことにより、涙液健康度推定システム1000は、推定の精度が向上する。また、これらの関連情報を用いて涙液健康度推定モデルに学習させることにより、精度の高い涙液健康度の推定ができる学習モデルを生成することができる。
実施の形態3.
実施の形態3に係る涙液健康度推定システム1000は、実施の形態2において推定された涙液健康度を改善又は最大化するため示唆を行うものである。実施の形態3においては、実施の形態1及び2に対する変更点を中心に説明する。
実施の形態3に係る涙液健康度推定システム1000は、図15のフローで学習した涙液健康度推定のための学習モデルについて、例えば睡眠時間、スマートフォン使用時間などの因子が涙液健康度に対してどの程度寄与度を有するのかを求める。言い換えると、涙液健康度が因子にどのように依存するのかを求める。涙液健康度推定システム1000は、図14のフローで推定された涙液健康度を改善又は最大化するシミュレーションを行い、涙液健康度を改善又は最大化するための因子の値及び携帯通信端末90aの制御に関する示唆を得る。
図21は、実施の形態3に係る涙液健康度推定システム1000が有する学習モデルの機械学習の概念図である。学習モデルから涙液健康度を改善又は最大化するための因子の値及び携帯通信端末90aの制御に関する示唆情報を得るには複数の方法があるが、例えば「機械学習モデルの解釈」と「最適化シミュレーション」とにより行う。図21に示すように「機械学習モデルの解釈」では、涙液健康度を推定する学習モデルから得られる因子の重要度及び特徴量の部分依存などを計算する。
図22は、実施の形態3に係る涙液健康度推定システム1000が有する学習モデルから最適化シミュレーションにより改善すべき因子を推定する方法の概念図である。「最適化シミュレーション」では、制御ができない因子については固定し、制御可能な変数(因子)について一定の値の範囲制限を設けて、その範囲の中で涙液健康度を改善及び最大化するために有効な因子を求める。例えば、図22において、涙液画像、年齢、及び性別は制御ができない因子であるため値を固定する。そして、制御可能である因子である睡眠時間は、0時間以上12時間以内という制限を設けてその制約の中で涙液健康度を改善又は最大化する値を求める。
上記のように、涙液健康度推定システム1000は、涙液健康度を改善又は最大化するための因子の寄与度、値、及び制御に関する示唆を得て、それを被検者60に提供することができる。被検者60は、被検者60それぞれに応じて、涙液健康度を改善又は最大化するためにどの因子をどの程度変えれば良いかの改善情報を得ることができる。その改善情報は、それぞれの被検者60にとって、涙液健康度を改善するアクションに繋がる。
例えば、ある被検者60の年齢、睡眠時間、及び6時間を超えるVDT作業時間が、涙液健康度低下に影響することが分かった場合、例えば、携帯通信端末90aは、VDT作業時間が6時間を超えるとアラームで知らせ、改善のための生活習慣の提案をする。なお、上記の場合においてVDT作業時間は、スマートフォン使用時間のことを意味する。
実施の形態3に係る涙液健康度推定システム1000による涙液健康度のシミュレーションは、例えば実施の形態2において説明した涙液画像に付随する関連情報(メタデータ)の各因子を変動させて実施できる。図22にも示したように、睡眠時間だけでなく、スマートフォンの使用時間、活動量(運動強度)も涙液健康度のシミュレーションの対象となる因子である。
図23は、実施の形態3に係る涙液健康度推定システム1000による涙液健康度のシミュレーション処理手順の一例を示すフローチャートである。実施の形態3に係る涙液健康度推定システム1000による涙液健康度のシミュレーションは、S21では、撮像装置91により対象となる被検眼61を撮像する。S22では、S1で撮像された画像を外部メモリ(H14)に記録する。S23では、記録された画像を基に被検眼61の涙液健康度を推定する。そして、被検眼61の涙液健康度が望ましい涙液健康度でない場合、望ましい涙液健康度を得るための改善すべき因子を探索する。改善すべき因子は、上記のように例えば睡眠時間、VDT作業時間、又は被検者の活動量などであり、図21及び図22に示されている涙液健康度推定モデルにおいて、改善すべき因子をどのように変動させたときに涙液健康度が望ましい値になるかを推定される。
S24では、記録された画像を基にS23において推定した被検眼61の涙液健康度を表示する。S25においては、S23において行われた、どの因子を変動させると涙液健康度が望ましい値になるかを推定した結果を被検者に提案として表示する。以上のような手順で解析を行うことにより、被検者60の涙液状態をどのように改善すべきか探索することができ、被検者60は涙液健康度を把握しつつ、改善するための指標を得られる。
実施の形態4.
実施の形態4に係る涙液観察装置400は、実施の形態1に係る涙液観察装置100の形態を変更し、ヘッドマウントディスプレイ(HMD)形にしたものである。実施の形態4においては、実施の形態1に対する変更点を中心に説明する。
図24は、実施の形態4に係る涙液観察装置400の構造の模式図である。図24の涙液観察装置400は、説明のため一部の構造を透視して表示している。涙液観察装置400は、固定具450により被検者60の頭部に固定自在に構成され、被検眼61の前方に画面492が配置されるように構成されている。涙液観察装置400には、視線追跡などを目的として、前眼部を撮影するカメラ491を有する。カメラ491は、実施の形態1に係る撮像装置91に相当するものであり、被検眼61の角膜表面62を撮像できる。画面492は、全体を白色に均一に発光させることができ、角膜表面62に照射することができる。画面492からの光は、実施の形態1に係る発光体21aと同様に角膜表面62の全域に照射され、その反射光はカメラ491により撮像される。画面492は、被検者60側から見て凹面に形成されていても良い。また、画面492と被検眼61との間にレンズが配置されていても良い。
VR(Virtual Reality)又はMR(Mixed Reality)なヘッドマウントディスプレイを用いたゲーム又は遠隔医療などの作業は、目を長時間酷使することで涙液健康度が低下することが懸念される。上記の涙液観察装置400によれば、ヘッドマウントディスプレイを用いた作業中に定期的に実施の形態1又は実施の形態2において説明した涙液健康度推定システム1000により涙液健康度を確認することができる。また、必要に応じて、眼の健康を改善させるアクションに関する情報もヘッドマウントディスプレイの使用者に提供することができる。
10 照射部、10A 照射部、10B 照射部、20 被覆部、21 凹面、21a (第1)発光体、21b 第2発光体、21p 面、21q 面、22 先端部、22a アイピース、22b タブ部、23 筐体、24 導光部、27 根元部、28 プリズム、28A 第1のプリズム、28B 第2のプリズム、28a 反射面、30 固定具、32 ヒンジ部、33 押圧部、34 操作部、35 挟持部、35a 挟持部、35b 挟持部、36 孔、37 (接写用)レンズ、38 電源部、38a 配線、38b 配線、39 インバータ、40 通信部、60 被検者、61 被検眼、61a 眼、62 角膜表面、63 端縁、63a 端縁、63b 端縁、64a 到達位置、64b 到達位置、64c 到達位置、90 情報処理装置、90B 情報処理装置、90a 携帯通信端末、90aa 正面、90ab 背面、91 撮像装置、91a 撮像装置、92 表示装置、93 筐体、100 涙液観察装置、101 評価部、102 特徴抽出部、103 変換部、104 処理部、400 涙液観察装置、450 固定具、491 カメラ、492 画面、1000 涙液健康度推定システム。

Claims (7)

  1. 被検眼を撮像する撮像装置と、
    被検者の顔面の前記被検眼を含む領域に対向させる凹面を内側に有する被覆部と、
    前記被検眼に向かって光を照射する発光体と、を備え、
    前記発光体は、
    前記被覆部の内側に設置された面光源であり、
    前記被覆部は、
    前記被検者の前記顔面に向けられる先端部と、
    前記凹面の一部に設けられ、前記撮像装置に前記被検眼の表面に反射した反射光を導く導光部と、を備え、
    前記発光体は、
    前記凹面に設置され、るとともに
    前記導光部の周囲に配置され、
    前記導光部の周囲に配置される第1発光体と、
    前記導光部に配置される第2発光体と、を含み、
    前記導光部は、
    内部に設置され当該導光部に入射した光を前記撮像装置に反射する反射面を備え、
    前記第2発光体は、
    前記導光部の内部であって、前記導光部への前記光の入射方向において前記反射面の奥に配置される涙液観察装置。
  2. 前記発光体は、
    前記凹面に設置された発光シートであり、
    前記被検眼の角膜の露出している部分の端縁と前記角膜が成す曲面の中心とを結んだ仮想線を規定したときに、前記凹面と前記仮想線とが交差する各点を含む領域に配置されており、
    固定具を更に備え、
    前記撮像装置は、
    携帯通信端末に設置され、
    前記固定具は、
    前記導光部から前記撮像装置に導光するように、前記携帯通信端末を挟みこんで固定され、
    前記被覆部の前記先端部は、
    前記被検者の前記顔面に当接されるアイピースが形成され、
    前記被検者の頭部に前記被覆部を固定自在にする固定具をさらに備え、
    前記発光体は、
    表示装置として機能させ、
    前記被覆部の前記先端部は前記撮像装置の最短撮影距離よりも遠くに配置されており、
    前記導光部は、
    接写用レンズを備える、請求項1に記載の涙液観察装置。
  3. 請求項1又は請求項2に記載の涙液観察装置で撮像された涙液画像から涙液健康
    度を推定する情報処理装置であって、
    撮像された前記涙液画像を取得し、前記涙液画像から前記涙液健康度を算出する評価部と、
    前記涙液健康度を出力する出力部と、を備え、
    前記評価部は、
    前記涙液画像を入力データとして取得し、前記涙液健康度を出力する涙液健康度推定モデルを備え、
    前記涙液健康度推定モデルは、
    既に前記涙液健康度が評価された前記涙液画像である実績涙液画像を入力とし、前記実績涙液画像に対応する前記涙液健康度を出力とする教師データにより学習させた学習モデルであり、
    前記教師データは、
    更に、前記実績涙液画像に関するメタデータを入力とし、
    前記メタデータは、
    前記被検者の属性情報、行動データ、及び前記涙液画像が撮像された環境情報のうち少なくとも1つの因子を含み、
    前記評価部に入力される前記入力データは、
    取得された前記涙液画像に関する前記メタデータを含む情報処理装置。
  4. 前記メタデータを構成する前記因子を変動させて前記涙液健康度推定モデルに入力し、
    前記涙液健康度推定モデルから出力される前記涙液健康度が最大化する前記因子の値を求める、請求項3に記載の情報処理装置。
  5. 前記評価部は、
    前記涙液画像から特徴データを抽出する特徴抽出部を備え、
    前記特徴データをn水準のスコアに変換し、前記スコアを基に前記涙液健康度を算出する処理部と、を備える、請求項3又は請求項4に記載の情報処理装置。
  6. 被検者の角膜に光を照射した状態で撮像された実績涙液画像と、前記実績涙液画像に対応する教師ラベルとしての涙液健康度と、を含む教師データを取得し、
    前記教師データを用い、請求項1又は請求項2に記載の涙液観察装置で撮像された涙液画像を入力し、
    涙液健康度を出力とし、
    前記教師データは、
    前記被検者の属性情報、前記被検者の行動データ、及び前記実績涙液画像が撮像された環境情報であるメタデータのうち少なくとも1つを含む、学習モデルを生成する学習モデル生成方法。
  7. 前記教師データは、
    前記実績涙液画像から抽出された特徴データを含み、
    前記特徴データは、
    涙液層が有する涙液油層に光が反射して生ずる干渉縞模様の有無及び前記干渉縞模様の色に関する情報、開瞼後に前記涙液油層が高さ方向に引き上げられる最高到達点の情報、
    前記涙液層が破壊されるまでの破壊時間の情報、及び前記被検眼の開瞼開始から閉瞼までの開瞼時間の情報のうち少なくとも1つを含む、請求項に記載の学習モデル生成方法。
JP2020218083A 2020-12-26 2020-12-26 涙液観察装置、情報処理装置、プログラム及び学習モデル生成方法 Active JP7464518B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020218083A JP7464518B2 (ja) 2020-12-26 2020-12-26 涙液観察装置、情報処理装置、プログラム及び学習モデル生成方法
PCT/JP2021/048180 WO2022138912A1 (ja) 2020-12-26 2021-12-24 涙液観察装置、情報処理装置、プログラム及び学習モデル生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020218083A JP7464518B2 (ja) 2020-12-26 2020-12-26 涙液観察装置、情報処理装置、プログラム及び学習モデル生成方法

Publications (2)

Publication Number Publication Date
JP2022102984A JP2022102984A (ja) 2022-07-07
JP7464518B2 true JP7464518B2 (ja) 2024-04-09

Family

ID=82158031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020218083A Active JP7464518B2 (ja) 2020-12-26 2020-12-26 涙液観察装置、情報処理装置、プログラム及び学習モデル生成方法

Country Status (2)

Country Link
JP (1) JP7464518B2 (ja)
WO (1) WO2022138912A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015027008A (ja) 2013-07-29 2015-02-05 富士通株式会社 情報処理装置、及びプログラム
US20180092534A1 (en) 2015-10-02 2018-04-05 Tareq Issam Nabhan System and method for ophthalmological imaging adapted to a mobile processing device
JP2019025257A (ja) 2017-08-04 2019-02-21 エルライズ株式会社 眼科測定装置、及び眼科測定システム
WO2019168142A1 (ja) 2018-03-02 2019-09-06 興和株式会社 画像分類方法、装置及びプログラム
WO2019193051A1 (en) 2018-04-04 2019-10-10 Aston University Ophthalmic device
WO2019232575A1 (en) 2018-06-05 2019-12-12 Cylite Pty Ltd Apparatus and method for in-vivo measurement of corneal biomechanical response
US20200375451A1 (en) 2019-05-29 2020-12-03 University Of Rochester Methods and Systems for Quantitative Ocular Surface Diagnostics

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015027008A (ja) 2013-07-29 2015-02-05 富士通株式会社 情報処理装置、及びプログラム
US20180092534A1 (en) 2015-10-02 2018-04-05 Tareq Issam Nabhan System and method for ophthalmological imaging adapted to a mobile processing device
JP2019025257A (ja) 2017-08-04 2019-02-21 エルライズ株式会社 眼科測定装置、及び眼科測定システム
WO2019168142A1 (ja) 2018-03-02 2019-09-06 興和株式会社 画像分類方法、装置及びプログラム
WO2019193051A1 (en) 2018-04-04 2019-10-10 Aston University Ophthalmic device
WO2019232575A1 (en) 2018-06-05 2019-12-12 Cylite Pty Ltd Apparatus and method for in-vivo measurement of corneal biomechanical response
US20200375451A1 (en) 2019-05-29 2020-12-03 University Of Rochester Methods and Systems for Quantitative Ocular Surface Diagnostics

Also Published As

Publication number Publication date
WO2022138912A1 (ja) 2022-06-30
JP2022102984A (ja) 2022-07-07

Similar Documents

Publication Publication Date Title
CN113164036B (zh) 用于眼科测试和测量的方法、设备和系统
KR101785255B1 (ko) 형상 구별 시력 평가 및 추적 시스템
JP6557707B2 (ja) 眼科測定装置、及び眼科測定システム
US20070123794A1 (en) Biological information acquisition and presentation kit, and pupillary diameter measurement kit
CN105662343B (zh) 一种干眼检测手持成像装置及干眼检测设备
KR102379061B1 (ko) 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치
CN110520032A (zh) 虚拟现实设备及其方法
KR102344493B1 (ko) 인공 지능 기반의 스마트 안진 검사 시스템, 방법 및 프로그램
US20210315453A1 (en) Visual field examination method and system based on virtual reality
KR102295587B1 (ko) 가상현실 기반의 시야검사 방법 및 시스템
US11185224B2 (en) Ocular monitoring headset
JP7464518B2 (ja) 涙液観察装置、情報処理装置、プログラム及び学習モデル生成方法
WO2024038134A1 (en) Methods and devices in performing a vision testing procedure on a person
US20220230749A1 (en) Systems and methods for ophthalmic digital diagnostics via telemedicine
Mariakakis et al. Ocular symptom detection using smartphones
WO2022225037A1 (ja) 検査システム、検査装置、検査方法、および検査プログラム
CN112587083B (zh) 视觉处理方法、装置及计算机存储介质
Das et al. Retinal based automated healthcare framework via deep learning
Mariakakis et al. Making Medical Assessments Available and Objective Using Smartphone Sensors
Islam et al. BinoVFAR: An Efficient Binocular Visual Field Assessment Method using Augmented Reality Glasses
Baritz Eye Movement Analysis System in Relation to Biomechanical Perturbations

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230914

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240328

R150 Certificate of patent or registration of utility model

Ref document number: 7464518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150