JP7214270B2 - 眼球内部組織の状態推定装置およびその方法 - Google Patents

眼球内部組織の状態推定装置およびその方法 Download PDF

Info

Publication number
JP7214270B2
JP7214270B2 JP2021538069A JP2021538069A JP7214270B2 JP 7214270 B2 JP7214270 B2 JP 7214270B2 JP 2021538069 A JP2021538069 A JP 2021538069A JP 2021538069 A JP2021538069 A JP 2021538069A JP 7214270 B2 JP7214270 B2 JP 7214270B2
Authority
JP
Japan
Prior art keywords
eyeball
shadow
light
optic
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021538069A
Other languages
English (en)
Other versions
JPWO2021199772A1 (ja
Inventor
ニーラム コーシック
佳那 竹山
一博 羽根
敬 佐々木
徹 中澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Original Assignee
Tohoku University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC filed Critical Tohoku University NUC
Publication of JPWO2021199772A1 publication Critical patent/JPWO2021199772A1/ja
Application granted granted Critical
Publication of JP7214270B2 publication Critical patent/JP7214270B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、眼球の内部組織の状態を推定する装置およびその方法に関する。
眼球の内部組織に向かって光を照射し、対象組織を撮像する方法が知られている。たとえば、異なる照明点から眼球組織に向かって照射ビームを照射し、網膜および虹彩のうちの少なくとも一方から後方散乱した光を瞳孔から集め、眼底の画像を取得する眼球組織の撮像システムが提案されている。このシステムによれば、眼底の画像を処理して位相コントラスト画像を取得し、この位相コントラスト画像から眼球組織の情報を抽出することができる(特許文献1参照)。
特表2019-518511号公報
しかしながら、上記のような眼球組織の撮像システムでは、位相コントラスト画像を取得するために、2つの異なる照明点から撮像された少なくとも2つの画像が必要である。さらに、眼球組織の情報を抽出するために、2つの画像の強度から位相コントラスト画像を計算し、この位相コントラスト画像を所定の関数のアルゴリズムを用いて再構成し、光の位相および吸収情報のみを含む画像を取得する必要がある。このように、眼球組織の情報を抽出するために、複数の眼底の画像に対して複数の処理を施すことが必要となるため、複雑である。
本発明の目的の一つは、眼球の内部組織の状態を簡便に、かつ、高い精度で推定することである。
なお、この目的に限らず、後述する「発明を実施するための形態」に示す各構成から導き出される作用および効果であって、従来の技術では得られない作用および効果を奏することも、本件の他の目的として位置付けることができる。
一つの側面では、眼球内部組織の状態推定装置は、生体の眼球の外部である第一の位置に配置され、前記眼球の内部の視神経乳頭に向かって光を照射する第一光照射部と、前記眼球の内部で反射される光を撮像する撮像部と、を備えるとともに、前記撮像部で得られた第一撮像情報から前記視神経乳頭に関する影情報を取得し、前記影情報から影の長さを取得し、前記影の長さから前記視神経乳頭の陥凹部の深さを求め、前記求めた視神経乳頭の陥凹部の深さから前記視神経乳頭の状態を推定する処理部を備え、前記第一の位置は、前記第一光照射部が照射する光の光軸が前記眼球の光軸に対して所定の角度で傾斜する位置である。
他の側面では、第一光照射部と、撮像部と、処理部とを備える眼球内部組織の状態推定装置の作動方法は、眼球内部組織の状態推定装置が、前記第一光照射部で、生体の眼球の外部である第一の位置から前記眼球の内部の視神経乳頭に向かって光を照射するステップと、眼球内部組織の状態推定装置が、前記撮像部で、前記眼球の内部で反射される光を撮像するステップとを含む。さらに、眼球内部組織の状態推定装置が、前記処理部で、前記撮像された第一撮像情報から前記視神経乳頭に関する影情報を取得し、前記影情報から影の長さを取得し、前記影の長さから前記視神経乳頭の陥凹部の深さを求め、前記求めた視神経乳頭の陥凹部の深さから前記視神経乳頭の状態を推定するステップとを含み、前記光を照射するステップの前記第一の位置は、前記第一光照射部が照射する光の光軸が前記眼球の光軸に対して所定の角度で傾斜する位置である。
本発明によれば、眼球の内部組織の状態を簡便に、かつ、高い精度にて推定できる。
図1は、第一実施形態の眼球内部組織の状態推定装置の構成を示す図である。 図2は、図1の本体の内部構造を概略的に示す断面図である。 図3は、図2の光照射ユニットおよび撮像ユニットが用いる光学系を表す図である。 図4は、図1の制御装置の構成および各装置の機能を表すブロック図である。 図5は、第一実施形態で撮像された画像を示す図であり、図5Aに影を抽出した印付けがされた画像の例を示す。図5Bに図5Aの画像から影の大きさを取得する手法を示す。 図6は、第二実施形態における本体の内部構造を概略的に示す断面図である。 図7は、第二実施形態の光照射ユニットおよび撮像ユニットが用いる光学系を表す図である。 図8は、第二実施形態で撮像された画像を示す図である。 図9は、モデルアイを用いた検証結果を示す図である。図9Aに影を抽出した印付けがされた画像の例を示し、図9Bに図9Aの画像から影の大きさを取得する手法を示す。 図10は、本状態推定装置および光干渉断層計(OCT)による測定結果を比較した結果を示す。図10Aに眼底カメラを使用して撮像した除核豚眼の画像を示し、図10Bに図10Aの画像の強度正規化画像を示す。さらに、図10Cに図10Bの画像にK-平均法を用いたクラスタリングアルゴリズムを適用した画像を示し、図10Dに図10Cの画像に微分処理を行なった画像を示す。
以下、本発明の、眼球内部組織の状態推定装置およびその方法に関する実施形態について説明する。
眼圧の上昇などの影響で、視神経乳頭付近での形状の変化を伴う進行性の視神経萎縮が起こり、その進行過程で、視神経線維が損傷を受け、視野喪失を生じる緑内障という病気がある。緑内障の進行中に、視神経線維が消失するため、多くの場合、視野喪失が発生する以前に、図2に示す、視神経が収束する視神経乳頭44の陷凹が深くなる。よって、視神経乳頭の3次元形状やその時間的変化を観察することで緑内障を発見することができる。
特に、緑内障は加齢に伴って発症しやすくなる。緑内障が発症すると、徐々に視神経が障害され視野が狭くなる。しかし、緑内障の症状は、初期段階では、患者によって自覚されにくい。このため、緑内障は、治療の開始が遅れやすい。
視神経乳頭の測定手法としては、光干渉断層計(OCT)を用いた眼底3次元画像解析が知られているが、高価で、専門病院などにしか備えられていないのが現状で、日常的に人々が検査のために用いることはできない。上記のように、緑内障は、自覚されにくいもののため、自覚症状が現れ、専門病院に来院する頃には失明など手遅れになることがあり、多くの人々が日常的に緑内障の発症を簡便に検査することができる機器の開発は重要である。
本実施形態では、緑内障の発症を早期に簡便に検査するために、眼球の内部組織、特に、対象組織の一例として、視神経乳頭の状態を精度よく推定する手法を例として説明する。
本実施形態では、説明で用いる図面の方向を下記のように定義する。
水平方向を前後方向(図中には前方を「F」で示すとともに後方を「B」で示す)および左右方向(図中には左方を「L」で示すとともに右方を「R」で示す)に細別して説明する。左右方向については、後方から前方へ向いた状態を基準に左右を定める。また、鉛直方向のうち重力の作用方向を下方(図中には「D」で示す)とし、下方の反対方向を上方(図中には「U」で示す)とする。
[1.第一実施形態]
[1-1.眼球内部組織の状態推定装置の構成]
図1に示すように、本実施形態では、本体2と、制御装置3とを備える眼球内部組織の状態推定装置1を説明する。
ここでは、本体2および制御装置3は、無線で接続される例を示しているが、有線で接続されてもよい。
本体2は、撮像した画像を制御装置3に送信する。本例では、眼球の内部で反射された光を撮像した画像が送信される。本体2は、光照射ユニット10と、撮像ユニット20とを備える。光照射ユニット10と、撮像ユニット20とは一体の構造になっている。
本体2は、被検者が手で持ち運びできる程度の大きさであり、例えば、携帯機器のカメラに取り付けることで使用することも可能である。
制御装置3は、本体2から画像を受信し、画像から眼球の内部組織の状態を推定する。
[1-2.本体2の内部構造]
図2に示すように、光照射ユニット10は、筐体11を有する。
ここでは、筐体11には、後方の面に孔12が設けられている。眼球の測定は、左右それぞれ測定するため、ここでは、孔12は1つ設けられているが、両方の眼球の測定を同時に行いたい場合は、左右方向に並んで2つ設けるようにしてもよい。孔12は、生体の眼4の周辺をそれぞれ囲むことができる程度の大きさを有する。孔12が被検者の眼4の位置に合うように、筐体11の後面を被検者の顔面に接触させると、生体の眼4の周辺と筐体11とで閉空間が形成される。
なお、孔12と被検者の顔面に接触させる面との間には、孔12の周囲にゴムなどの可撓性の部材を設けるのが好ましい。眼4の周辺の顔面を可撓性の部材が接触することで、外部からの迷光を減らし、また、可撓性部材の変形により、撮像ユニット20の光軸を被検者の眼4に簡便に合せることができる。
筐体11の内部には、照明が設けられている。照明は、赤外線LEDである。照明の波長は、可視光などでも良いが、被検者に眩しさを感じさせないため、および、皮膚などを通して照射する際の光の侵入長などから、赤外光が好ましい。本実施形態では、一般的に行われているような、照明光を、レンズを通して角膜から入射させるものではなく、直接、眼球40の強膜や、眼球40周囲の皮膚を通して照射するものである。このため、眼の検査で用いられるような瞳孔拡張のための散瞳薬が不要である。ここでは例えば、850nm波長のLEDを使用している。照明は、筐体11内部の上方の位置に設置されているため、この照明を「上方照明L」(第一光照射部)と称する。また、上方照明Lの設置位置を「上方位置P1」(第一の位置)と称する。上方位置P1については後述する。なお、ここでは上方位置P1で説明を行うが、照明の位置は光が強膜や、眼球周囲の皮膚を通して入射できる位置であれば上方位置P1に限定されず、下方位置や、右方位置、左方位置いずれの位置でも可能である。本実施形態では、主に、強膜や眼球40周囲の皮膚を介した斜め/軸外照明を使用する。また、照明は固定されるものに限らず、例えば、筐体内で孔12の外周周辺に、回転する部材に照明を設置して、照射位置が適切な位置になるように移動可能なものであってもよい。
撮像ユニット20は、筒体21を備える。筒体21の内部には、第一レンズR1と、第二レンズR2と、カメラ22と、撮像素子23とが設けられている。
ここでは、第一レンズR1および第二レンズR2は、既存の眼科用対物レンズである。第一レンズR1は、筐体11の前方の面と筒体21の後方の面とが接続する境界に設けられている。第二レンズR2は、筒体21の前後方向の中央領域に設けられている。第一レンズR1および第二レンズR2は、眼球40の内部で反射された光を集光しカメラ22へ中継するためのものである。
第二レンズR2の前方には、カメラ22が設けられている。カメラ22は、第二レンズR2からの光を取り込んで、撮像された画像を取得する。カメラ22は、撮像素子23を備える。撮像素子23は、撮像対象を結像し、結像した光の明暗を電気信号に変換する。電気信号に変換された画像は、制御装置3に送信される。撮像ユニット20は、撮像部の一例である。
[1-3.光学系]
図2および図3を参照して、光照射ユニット10および撮像ユニット20が用いる光学系を説明する。
はじめに、図2を参照して、眼4の構造を簡単に説明する。眼球40は、複数の膜で保護されている。膜は、眼球の外側から強膜、脈絡膜、網膜41の順番に並んでいる。瞳孔42から眼球40の中に入った光は、網膜41の視細胞で感知され、網膜41に張り巡らされた視神経43を通って脳に伝達され、映像になる。網膜を覆っている視神経43は、眼球の奥の方で1本の太い束に収束する。視神経43が1本の束に収束する箇所は、視神経乳頭44という。視神経乳頭44は、陥凹していることが多い。言い換えると、視神経乳頭44の形状はクレーター状とみなすことができる。
上方照明Lは、筐体11の内部に、照明の光軸Oが、眼球40の瞳孔42を水平に通過する光軸(眼球の光軸)Oに対して、上方向に所定の傾斜角度θ1で傾斜するように設置されている。その所定の傾斜角度θ1は、上方照明Lからの光が、眼球40の瞳孔42以外の部位に入射して眼底45を照射するように、例えば45°に設定されている。言い換えると、上方照明Lが設置されている上方位置P1は、筐体11の孔12に対して上方に45°傾斜する位置である。
図3に示すように、上方照明Lは、上方位置P1から眼球40の内部に向かって光を照射する。ここでは、上方照明Lから照射された光は、直接、眼球40の強膜、および/又は、眼球40周辺の皮膚を通過して、網膜41に達し、眼球40の内部の視神経乳頭44を含む眼底45に照射される。眼球40に入射した光は、眼球40の内部で多少散乱するが、光の大部分は、眼底45で反射され、瞳孔42から眼球40の外部に出射する。
撮像ユニット20の第一レンズR1(収差補正レンズ)は、瞳孔42から眼球40の外部に出射された光を集光する。第二レンズR2(収差補正レンズ)は、第一レンズR1からの光を撮像素子23に中継する。
眼底45の撮像範囲は、画角θ2と焦点距離Fによって決定される。画角θ2は、撮像範囲の広さを角度で表したものである。図2に示すように、焦点距離Fとは、ここでは、眼底45から反射した光が集まる焦点Fと第一レンズR1の中心との距離を言う。眼底45を広い範囲で撮像するためには、焦点距離Fを短く設定する必要がある。本実施形態では、画角θ2が60°になるように、焦点距離Fを定めている。
なお、第一レンズR1および第二レンズR2の光軸の中心軸は、筒体21の中心軸と合致している。
図3に示すように、カメラ22は、第二レンズR2から中継された光をレンズ(不図示)で集光する。集光された光は、撮像素子23で受光され、結像される。本実施形態では、上方照明Lのみからの光を照射して眼底45を撮像するため、撮像された画像は「単一照明画像I」(第一撮像情報)と称する。
[1-4.制御装置の構成]
図4を参照して、制御装置3の構成を説明する。
制御装置3は、処理装置30と記憶装置34とを備える。処理装置30は、記憶装置34に記憶されたプログラムを実行することにより、後述する機能を実現する。本例では、処理装置30は、CPU(Central Processing Unit)である。なお、処理装置30は、DSP(Digital Signal Processor)、又は、プログラム可能な論理回路装置(PLD;Programmable Logic Device)により構成されていてもよい。処理装置30は処理部の一例である。
記憶装置34は、情報を読み書き可能に記憶する。例えば、記憶装置34は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Disk)、半導体メモリ、および、有機メモリの少なくとも1つを備える。なお、記憶装置34は、フレキシブルディスク、光ディスク、光磁気ディスク、および、半導体メモリ等の記録媒体と、記録媒体から情報を読み取り可能な読取装置と、を備えていてもよい。
なお、制御装置3は、集積回路(例えば、LSI(Large Scale Integration)等)により実現されてよい。
[1-5.処理装置の機能]
図4に示すように、処理装置30の機能は、影情報取得部31と、パラメータ取得部32と、状態推定部33とを備える。
影情報取得部31は、撮像ユニット20から取得した単一照明画像Iから視神経乳頭44の輪郭形状および影S(影情報)を取得する。(本発明において、「影」は物体などにより光線が遮られた際に生じる暗部をいう。)上方照明Lから照射された光は、視神経乳頭44に対して斜めに当たる。上述したように、視神経乳頭44は陥凹しているため、陥凹の深さに応じて、光が照射された方向から、陥凹内に影Sが形成される。このため、眼底45から反射した光を撮像した単一照明画像Iには、視神経乳頭44の陥凹の影Sが含まれる。影Sを含む単一照明画像Iは、眼底45を立体的に撮像した画像といえるため、準3D画像とも称される。
図5Aに、単一照明画像Iの例を示す。図5Aは豚の目を本実施形態の装置1を用いて実際に測定したものである。
影情報取得部31は、単一照明画像Iの中で明度の低い領域を影Sとして抽出(特定、取得)する。また、同時に、視神経乳頭44の輪郭を抽出する。影情報取得部31は、所定の閾値等を用いて、影Sを抽出すると、影Sとその周辺領域とを含む範囲に印をつける。図5Aに示すように、ここでは、破点で印付けがされている。
パラメータ取得部32は、影情報取得部31が取得した影Sから、影の大きさL(第一パラメータ)を取得する。影の大きさLは、詳細には、上方照明Lの光が照射された方向から視神経乳頭44の陥凹(陥凹部)に伸びる形で形成する影の長さL(陥凹の縁から、光が照射された(進行する)方向に伸びる影のうち最も長い長さ。)である。この影の長さLは、得られた画像Iから直接求めてもよい。しかし、直接求める方法では、影の縁が不明確な場合、正確に求めるのが難しい場合がある。本実施形態では、図5Bを参照して、影Sの長さLの算出(取得)手法を説明する。
(0)前提として、パラメータ取得部32は、予め、影情報取得部31が取得した影Sを含む単一照明画像Iの一部(破線で囲まれた領域;図5A参照)の画像を拡大し、既存のソフトウェアを用いて影Sを強調する処理を行なう。
(1)影Sの長さLの取得は、2つの円又は楕円(以下、「第一の円C1」および「第二の円C2」と称する)を用いて行なう。円C1,C2の大きさは、影Sを内包することができる程度の大きさが望ましい。
まず、影Sの一方の弧(円周の孤の一部)が第一の円C1に内接されるように、影Sを第一の円C1で囲む。詳細には、視神経乳頭44の陥凹部の輪郭(好ましくは、内輪郭;ここで、内輪郭とは、特にクレーター状の陥凹部の内縁を言う。)に沿う形で影Sを第一の円C1で囲むことが望ましい。但し、形状が不明確な場合、視神経乳頭44の陥凹部の輪郭の一部を形成する影Sの輪郭(周縁)の一部に、第一の円C1の円弧の一部が沿うように、第一の円C1を影S上に配置する。
(2)さらに、影Sのもう一方の弧(円周の孤の他部)が第二の円C2に内接されるように、影Sを第二の円C2で囲む。詳細には、視神経乳頭44の陥凹部の内輪郭に対向する影Sの輪郭(周縁)の一部に、第二の円C2の円弧の一部が沿うように、第二の円C2を影S上に配置する。但し、形状が不明確な場合、第一の円C1の円弧の一部が沿う影Sの輪郭(周縁)の一部に対向する影Sの輪郭に、第二の円C2の円弧が沿うように、第二の円C2を影S上に配置する。ここで、第二の円C2が重ねられる影Sの輪郭の一部とは、第一の円C1が重ねられた影Sの輪郭の一部とは異なる。よって、第二の円C2の円弧は、第一の円C1の円弧と二点で交差する。
(3)そして、第一の円C1の円弧と第二の円C2の円弧に囲まれた影Sの長さを測定する。ここでは、(図2及び図3における)上方向UをY軸、左方向LをX軸とする仮想座標を、その原点оが、一方の円の中心と一致または略一致し、二つの円C1,C2の円弧が交差する点どうしを結んだ線がY軸に平行になるように、単一照明画像Iに重ねる。そして、影SのX軸方向の幅である二つの円の円弧上の点の間の距離、すなわちX軸と交差する第二の円C2の円弧上の点と第一の円C1の円弧上の点との間の距離を測定する。換言すれば、影Sの長さは、第一の円C1と第二の円C2とで囲まれた領域の幅であって、交差した円C1,C2の円弧の頂点どうしを結んだ線と略垂直な線の長さである。これにより、精度よく影の長さLが取得される。
次に、パラメータ取得部32は、影の長さLと、視神経乳頭の大きさD(直径;第二パラメータ)とに基づいて、この大きさDとは異なる視神経乳頭44の大きさを表す値d(深さ;第三パラメータ)を取得(算出)する。
ここで、視神経乳頭44の陥凹部の形状は、クレーター状の放物曲面、楕円、或いは、球面にモデル化できると仮定する。このような形状に傾斜光が入射した場合、陥凹部に厳密にその直径Dの半分の長さの影が得られた場合、陥凹部の深さdは、2次元平面投影図で得られた影の長さLおよび傾斜角度θ1で、以下の単純な数式1により表される。
Figure 0007214270000001
しかし、上記式は、非常に深い陥凹部や、浅い陥凹部には使用できない。また、複雑な楕円(円)形である視神経乳頭44の陥凹部に、陥凹部に厳密にその直径Dの半分の長さの影を得ることは、非常に困難なことである。直径Dの半分より短い、又は、長い影は、任意の補正係数を用いて修正する手段もあるが正確とは言えない。
そこで、本実施形態では、視神経乳頭44の陥凹部を第一の円C1を直径Dとする放物曲面、楕円、或いは、球面とし、影が形成する形状を第二の円C2として、それぞれを方程式として表した計算から導かれた結果を用いる。
ここで、視神経乳頭44の大きさDは、視神経乳頭44の直径Dであり、ここでは、所定の文献値(ヒトの場合、一般的な直径は1.5mmである。)を用いる。なお、眼底写真から視神経乳頭44の直径を推計して、その値を用いてもよい。また、値dは、詳細には、視神経乳頭44の陥凹の深さdである。視神経乳頭44の陥凹部が第一の円C1を直径Dとする放物曲面、或いは、球面とし、影が形成する形状を第二の円C2としたとき、影の長さLと、視神経乳頭44の直径Dと、視神経乳頭44の陥凹の深さdとの関係は、数式2により表される。
Figure 0007214270000002
また、視神経乳頭44の陥凹部が楕円形であった場合は、影の長さLと、視神経乳頭44の直径Dと、視神経乳頭44の陥凹の深さdとの関係は、数式3により表される。
Figure 0007214270000003
図2に示したように、上方照明Lの照明の光軸Oは、45°の傾斜角度θ1で眼球40に入射しているため、tanθ1=1である。従って、上記数式に、影の長さL、視神経乳頭44の直径D、角度θ1を挿入することで、視神経乳頭44の陥凹の深さdを取得することができる。このうち、視神経乳頭44の直径Dおよび角度θ1は予め設定されている値であるため、実質的には、影の長さLを取得するだけで、視神経乳頭44の陥凹の深さdを取得することが可能である。
状態推定部33は、パラメータ取得部32が取得した視神経乳頭44の陥凹の深さdを取得し、視神経乳頭44の状態を推定する。状態推定部33は、たとえば、取得された深さdを、一般的な値(例えば臨床的に得られた平均値)や、被検者の眼4毎に以前の検査時に得られた値と比較することで、視神経乳頭44の状態が正常であるか異常であるかを推定する。
[1-6.記憶装置の機能]
図4に示すように、記憶装置34の機能は、記憶部35を備える。
記憶部35は、視神経乳頭44の状態推定のため用いられる種々の情報を記憶する。記憶部35は、たとえば、撮像ユニット20で撮像された単一照明画像I、影情報取得部31が印付けした単一照明画像I、パラメータ取得部32で用いるおよび取得されたパラメータD、d、L、状態推定部33における推定結果などを含む情報を記憶する。更に、後述する照射調整部37において検出した結果などの情報を記憶する。
[1-7.動作]
眼球内部組織の状態推定方法について説明する。
まず、本体2の孔12を眼球40の位置に合わせ、本体2の筐体11の後方の面を被検者の顔面に接触させる。
次に、筐体11内部の上方照明Lから眼球40内部の視神経乳頭44に向かって光を照射する。上方照明Lの照明の光軸Oは、眼球40の光軸Oに対して上方に45°傾斜している。
上方照明Lから照射された光は、眼球40の眼底45で反射され、眼球40の瞳孔42から出射される。出射された光は、撮像ユニット20の第一レンズR1および第二レンズR2で集光され、カメラ22で撮像される。
カメラ22で撮像された単一照明画像Iは、撮像ユニット20の撮像素子23で電気信号に変換され、処理装置30に送信される。
なお、撮像された眼底画像が所期の位置より大きくずれている場合は、被検者が本体2の方向をずらすことで、所期の位置に簡便に調整できる。
処理装置30の影情報取得部31は、取得した単一照明画像Iから視神経乳頭44の影Sを取得する。
処理部30のパラメータ取得部32は、影情報取得部31が取得した視神経乳頭44の陥凹に形成される影Sの長さLを取得する。影Sの長さLは、二つの円C1,C2を用いて取得される。
パラメータ取得部32は、影の長さLと、視神経乳頭44の直径Dと、上方照明Lの傾斜角度θ1とに基づいて、視神経乳頭44の陥凹の深さdを取得する。
処理部30の状態推定部33は、深さdに基づいて視神経乳頭44の状態を推定する。
[1-8.作用および効果]
本実施形態の眼球内部組織の状態推定装置は、上述のような構成を備えるため、下記のような作用および効果を得ることができる。
(1)これによれば、被検者が正視している間に、照射された光によって視神経乳頭44の陥凹に形成された影Sが含まれた単一照明画像Iを取得できる。この結果、視神経乳頭44の状態を簡便に、かつ、高い精度で推定できる。
(2)更に、影Sの長さLと、視神経乳頭44の直径Dとから、視神経乳頭44の陥凹の深さdを取得できる。特に、本実施形態では視神経乳頭44の直径Dは文献値を採用したため、影の長さLを取得するだけでよい。よって、視神経乳頭44の状態を推定するために必要なパラメータは少なくて済む。
(3)影Sの長さLは、2つの円を用いて抽出することができ、専門的な知識(特に数学の知識)を必要としない。よって、視神経乳頭44の状態を推定するために必要なパラメータをシンプルな手法で取得できる。
(4)上方照明Lから眼球40に対して斜めに光を照射することで、強制的に瞳孔42を大きく広げることなく、眼球40の眼底45を撮像できる。よって、被検者への負担が少ない。
[2.第二実施形態]
第二実施形態に係る眼球内部組織の状態推定装置およびその方法について、図4、図6および図7を参照して説明する。本実施形態に係る状態推定装置は、第一実施形態に係る状態推定装置に対して、照明を複数備える点で相違する。以下、第一実施形態と共通する構成には同一の符号を付し、その説明は省略する。
[2-1.本体2の内部構造]
図6に示すように、筐体11は、その内部に、上方照明Lに加え、下方の位置に設置された下方照明L(第二光照射部)を備える。照明L,Lはいずれも赤外線LEDである。
下方照明Lは、上方照明Lと同様に、照明の光軸Oが、眼球40の瞳孔42を水平に通過する光軸(眼球の光軸)Oに対して、下方向に所定の傾斜角度θ1で傾斜するように設置されている。その所定の傾斜角度θ1は、上方照明Lと同様に、例えば45°に設定されている。
[2-2.光学系]
図7を参照して、光照射ユニット10および撮像ユニット20が用いる光学系を説明する。
上方照明Lは、上方位置P1から光を照射し、同時に、下方照明Lは、下方位置P2(第二の位置)から光を照射する。上方照明Lおよび下方照明Lから眼球40内部の視神経乳頭44に向かって照射された光は、直接、眼球40の強膜、および/又は、眼球40周辺の皮膚を通過して、網膜41に達し、眼底45で反射され、瞳孔42から眼球40の外部に出射される。出射された光は撮像ユニット20で集光され、撮像される。撮像ユニット20で撮像された画像は、2つの光を撮像したものであるため、「複数照明画像I」(第二撮像情報)と称する。複数照明画像Iは、撮像ユニット20から処理装置30に送信される。
[2-3.制御装置の構成]
図4に示すように、制御装置3は、更に、照明制御装置36(調整部)を備える。照明制御装置36の機能は、照射調整部37を備える。照射調整部37は、撮像ユニット20から複数照明画像Iを取得し、この複数照明画像Iに基づいて、照明L,Lを調整する。
図8に、複数照明画像Iの例を示す。
照射調整部37は、この複数照明画像I中の明度から照明L,Lの照射状態を検出する。ここでは、複数照明画像Iは、画像内の左側に光が強く当たっていることが分かる。また、視神経乳頭44が撮像されているが(破線で囲んだ領域)、複数照明画像I内には明度が低い箇所が複数存在する。
照射調整部37は、照明L,Lの照射状態から、照明L,Lの向きや照射強度を調整する。従って、第一実施形態に記載した照明L,Lの傾斜角度θ1は、45°から変更されることがある。傾斜角度θ1を変更することで、画像の明度をより強調することができる。
さらに、照射調整部37は、上方照明Lおよび下方照明Lのいずれを用いて単一照明画像Iを取得するかを決定してもよい。
[2-4.作用および効果]
(5)上方照明Lおよび下方照明Lを同時に照射することで、眼底45について広角の複数照明画像Iを取得することができる。よって、撮像したい視神経乳頭44の位置や角度等を精度よく把握できる。
(6)複数照明画像Iに基づいて、上方照明Lおよび下方照明Lを調整するため、より明確な影Sが含まれる単一照明画像Iを得ることができる。よって、眼球40内部の視神経乳頭44の状態をより一層高い精度で推定できる。
[3.変形例]
[3-1.変形例1]
上述の実施形態はあくまでも例示に過ぎず、この実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、適宜組み合わせることもできる。
たとえば、2つの照明L,Lのそれぞれから時間を異にして眼球40に光を照射し、それぞれ単一照明画像Iを取得してもよい。この場合、照射調整部37は、取得した単一照明画像Iどうしを比較することで、各照明L,Lを調整してもよい。さらに、照射調整部37は、いずれの照明Lを用いてさらに単一照明画像Iを取得するかを決定してもよい。また、各2つの照明L,Lで得られた単一照明画像Iからそれぞれ影の長さLを求め、比較、或いは、平均値をとるなどして、より測定精度を高めてもよい。
あるいは、照明の数は3つ以上であってもよい。この場合、眼底45全体について異なる画像を取得できる。また、照明の位置は上方および下方に限定されず、左方および右方であってもよい。
照明は赤外線LEDではなく、可視光LEDを用いてもよい。可視光を用いると、網膜41を含む眼底45における動脈の状態を推定することができる。網膜41下部に影が見える場合には、眼底45における動脈の異常が推定される。影の長さによって、動脈の出血や血栓の有無を判断することが可能である。
[3-2.変形例2]
ここで、図5A,図5Bおよび図8に示されるようなモノクロ画像から、画像の影を正確に認定するのが困難な場合がある。その原因としては、例えば、陥凹部の位置や陥凹部の形状が考えられる。陥凹部の位置が原因となる例は、視神経乳頭の中心付近にはほとんど陥凹部が存在せず、視神経乳頭の中心以外の部分に陥凹部が存在する場合である。この場合には、視神経乳頭の内縁の影の濃淡だけでは、正確に陥凹部の位置(輪郭)を認定するのが難しい。また、陥凹部の形状が原因となる例は、陥凹内に形成される影領域が明瞭でない場合である。光源から光線が照射された物体が形成する影は、主に、物体が完全に光線を遮る場合にできる影(本影)と、物体が部分的に光線を遮る場合にできる影(半影)とに分けられ、半影は本影に比べて明瞭でない。視神経乳頭44の陥凹部の表面は平坦でないため、陥凹内には陥凹部の表面形状に応じて半影が生じる場合が多い。このため、半影が生じている画像から正確に影を検出するには、画像のピクセルを特定の数の類似または非類似のグループに分割するクラスタリングベースのアルゴリズムを用いた手法を適用するのが好ましい。例えば、最も一般的なクラスタリングのアルゴリズムである、K-平均法(K-means clustering)等を用いるのが好ましい。また、K-平均法等の処理を行った画像を、更に、微分処理してもよい。このように画像を処理することで、より、影領域を明確に特定することができる。
[4.検証結果]
[4-1.検証1]
視神経乳頭の陥凹部の影の長さから深さが正確に算出されるかを検証した。図9A,図9Bを参照し、解析結果を評価する。
[眼球内部組織の状態推定装置の光学設計]
本実証における状態推定装置1は、図6および図7に示した構造と同一である。詳細には、2つのIR-LED(波長850nm)を光源とし、それぞれ光軸に対し45°の角度位置になるように配置した。LEDからの照明光は、熱障害の懸念がない強度であり、強膜を通過すると拡散し、眼球40の内部領域を均一に照らすことができる。第一レンズR1(対物レンズ)として、78D ophthalmic lens(外角視野60°、焦点距離8mm)(Righton、日本)を使用した。また、第二レンズR2として収差補正レンズ用いた。カメラ22として、Webカメラ(Logitech HD ProウェブカメラC920)のカメラセンサのカラーフィルタをIRフィルタに置き換えることにより、IRイメージング用に変更した。設計した状態推定装置は手のひらサイズの携帯可能な軽量の大きさであり、図9A,図9Bに示すような、優れた眼底画像の撮像能力を有していた。
[影の長さによる深さの算出]
検証では、3Dプリンタを使用してモデルアイを作成した。モデルアイの視神経乳頭の寸法は、直径3mm、深さ1.5mmとした。目の瞳孔として機能する目のレンズとして、焦点距離24mmの収差補正レンズを使用した。モデルアイの目は水で満たされている。状態推定装置1を用いてモデルアイの測定を行った。
図9Aおよび図9Bに示すように、モデルアイの画像では、眼底画像同様、光の影を撮像することができた。得られた影の画像を、本実施形態に記載の手法を用いて解析した。モデルアイは球面状であるので、数式2を用いた。解析により算出された深さは、設計された深さと一致する1.50mmであった。
したがって、本実施形態に記載の手法を用いて実際の視神経乳頭の深さを影の長さから求めることができ、この深さから視神経乳頭の状態を推定できることが確認できた。
[4-2.検証2]
[視神経乳頭の深さの測定結果の比較]
視神経乳頭の深さについて、本実施形態の状態推定装置1を用いた測定結果と、既存のOCTを用いた測定結果とを比較した。
サンプルとして、摘出された3つのブタの眼球を用意した。
OCT画像で測定された視神経乳頭の断面画像を解析したところ、これらサンプルの測定された断面点での深さは183μm~490μmの範囲で変化していた。
次に、ブタの眼球を本実施形態の状態推定装置1を用いて測定を行った。図10Aは、本実施形態の状態推定装置1を用いて得られたブタの眼球のモノクロ画像である。傾斜光照明により視神経乳頭の影が得られた。ブタの眼球の視神経乳頭の形状は、楕円形であることが知られている。そのため、数式3を用いて視神経乳頭の深さを求めた。
さらに、正確な影を求めるにあたり、画像処理を行った。図10Bは、1画素を8bit(256レベル)の強度で正規化された強度画像である。図10Cは、K-平均法を1000回繰り返して得られた画像である。K-平均法により、影の部分とそうでない部分とを明確に分離することができた。
より正確に影の長さを求めるために、図10Cの画像を微分処理した。図10Dは、微分処理により得られた、微分K-平均法による画像である。微分処理により特定された影の領域は破線で囲まれた領域であった。視神経乳頭の直径は約2.1mmであった。また、この画像の斜光照明の角度は45°であった。数式3を用いて、様々な影の断面での視神経乳頭の深さを計算したところ、視神経乳頭の深さは179μm~350μmまで変化していた。この値の範囲は、OCTで求まったブタの眼球の視神経乳頭の深さの値の範囲とよく一致(重複)していた。
以上より、本実施形態の状態推定装置1を用いることで、OCTのような高価な装置を用いることなく、簡易的に、OCTと同等の視神経乳頭の深さを求めることができ、本実施形態の状態推定装置1が、簡易的な検査装置として、優れていることが実証できた。
また、本実施形態の状態推定装置1で得られた値から、視神経乳頭の容積と、面積を計算することもできる。また影から得られた形状により、視神経乳頭の形状を3D再構成することもでき、緑内障を含む様々な眼疾患の進行を日常の診断で、簡易的に検出できる可能性がある。
1 眼球内部組織の状態推定装置
2 本体
3 制御装置
4 眼
10 光照射ユニット
11 筐体
12 孔
20 撮像ユニット(撮像部)
21 筒体
22 カメラ
23 撮像素子
30 処理装置(処理部)
31 影情報取得部
32 パラメータ取得部
33 状態推定部
34 記憶装置
35 記憶部
36 照明制御装置(調整部)
37 照射調整部
40 眼球
41 網膜
42 瞳孔
43 視神経
44 視神経乳頭
45 眼底
P1 上方位置(第一の位置)
P2 下方位置(第二の位置)
上方照明(第一光照射部)
下方照明(第二光照射部)
照明の光軸
眼球の光軸
焦点
焦点距離
θ1 傾斜角度
θ2 画角
R1 第一レンズ
R2 第二レンズ
単一照明画像(第一撮像情報)
複数照明画像(第二撮像情報)
C1 第一の円
C2 第二の円
S 影(影情報)
L 影の長さ(第一パラメータ)
D 視神経乳頭の直径(第二パラメータ)
d 視神経乳頭の陥凹の深さ(第三パラメータ)

Claims (9)

  1. 生体の眼球の外部である第一の位置に配置され、前記眼球の内部の視神経乳頭に向かって光を照射する第一光照射部と、
    前記眼球の内部で反射される光を撮像する撮像部と、を備えるとともに、
    前記撮像部で得られた第一撮像情報から前記視神経乳頭に関する影情報を取得し、前記影情報から影の長さを取得し、前記影の長さから前記視神経乳頭の陥凹部の深さを求め、前記求めた視神経乳頭の陥凹部の深さから前記視神経乳頭の状態を推定する処理部を備え、
    前記第一の位置は、前記第一光照射部が照射する光の光軸が前記眼球の光軸に対して所定の角度で傾斜する位置である、
    眼球内部組織の状態推定装置。
  2. 前記処理部は、
    記影のさと、前記視神経乳頭の大きさとに基づいて、前記視神経乳頭の陥凹部の深さを取得し、
    前記視神経乳頭の陥凹部の深さから前記視神経乳頭の状態を推定する、
    請求項1に記載の眼球内部組織の状態推定装置。
  3. 前記影のさの取得は、
    つの円を用いて前記影の大きさを取得することを含む、
    請求項2に記載の眼球内部組織の状態推定装置。
  4. 前記所定の角度が45度である、請求項1~3のいずれか一項に記載の眼球内部組織の状態推定装置。
  5. 前記第一光照射部に加え、更に、
    前記第一の位置とは異なる第二の位置に配置され、前記眼球の内部の前記視神経乳頭に向かって光を照射する第二光照射部を備えるとともに、
    前記第一光照射部および前記第二光照射部の照射を調整する調整部を備える、
    請求項1~4のいずれか一項に記載の眼球内部組織の状態推定装置。
  6. 前記撮像部は、
    前記第一光照射部および前記第二光照射部から前記眼球の内部の前記視神経乳頭に向かって同時に照射され、前記眼球の内部で反射される光を撮像した第二撮像情報を取得し、
    前記調整部は、前記第二撮像情報に基づいて、前記第一光照射部および前記第二光照射部の照射を調整する、
    請求項5に記載の眼球内部組織の状態推定装置。
  7. 前記第一の位置は、前記光が強膜、又は、眼球周囲の皮膚を通して入射できる位置である、請求項1~6のいずれか一項に記載の眼球内部組織の状態推定装置。
  8. 前記影情報は、クラスタリングのアルゴリズムを用いた画像処理手段により、影の部分と影でない部分とを分離して得られる、請求項1~7のいずれか一項に記載の眼球内部組織の状態推定装置。
  9. 第一光照射部と、撮像部と、処理部とを備える眼球内部組織の状態推定装置の作動方法であって、
    眼球内部組織の状態推定装置が、前記第一光照射部で、生体の眼球の外部である第一の位置から前記眼球の内部の視神経乳頭に向かって光を照射するステップと、
    眼球内部組織の状態推定装置が、前記撮像部で、前記眼球の内部で反射される光を撮像するステップと、
    眼球内部組織の状態推定装置が、前記処理部で、前記撮像された第一撮像情報から前記視神経乳頭に関する影情報を取得し、前記影情報から影の長さを取得し、前記影の長さから前記視神経乳頭の陥凹部の深さを求め、前記求めた視神経乳頭の陥凹部の深さから前記視神経乳頭の状態を推定するステップとを含み、
    前記光を照射するステップの前記第一の位置は、前記第一光照射部が照射する光の光軸が前記眼球の光軸に対して所定の角度で傾斜する位置である、
    眼球内部組織の状態推定装置の作動方法。
JP2021538069A 2020-03-31 2021-02-18 眼球内部組織の状態推定装置およびその方法 Active JP7214270B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020064949 2020-03-31
JP2020064949 2020-03-31
PCT/JP2021/006219 WO2021199772A1 (ja) 2020-03-31 2021-02-18 眼球内部組織の状態推定装置およびその方法

Publications (2)

Publication Number Publication Date
JPWO2021199772A1 JPWO2021199772A1 (ja) 2021-10-07
JP7214270B2 true JP7214270B2 (ja) 2023-01-30

Family

ID=77928315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021538069A Active JP7214270B2 (ja) 2020-03-31 2021-02-18 眼球内部組織の状態推定装置およびその方法

Country Status (2)

Country Link
JP (1) JP7214270B2 (ja)
WO (1) WO2021199772A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269539A (ja) 2000-12-01 2002-09-20 Shigehiro Masui 画像処理装置、画像処理装置方法、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにこれを用いた診断支援システム
JP2002542863A (ja) 1999-04-29 2002-12-17 トルサナ・ディアベテス・ディアグノスティクス・アー/エス 基底部画像の解析
JP2010187746A (ja) 2009-02-16 2010-09-02 Canon Inc 眼底カメラ
JP2019518511A (ja) 2016-05-13 2019-07-04 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ (ウ・ペ・エフ・エル)Ecole Polytechnique Federale De Lausanne (Epfl) 傾斜照明による網膜の吸収、位相および暗視野撮像のためのシステム、方法、および装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04295329A (ja) * 1991-03-25 1992-10-20 Sony Corp 瞳欠陥検査器
JP2000083902A (ja) * 1998-09-16 2000-03-28 Koonan:Kk 眼球撮影装置
JP4901620B2 (ja) * 2007-07-19 2012-03-21 興和株式会社 眼底検査画像解析システム、及び眼底検査画像解析プログラム
JP2014036207A (ja) * 2012-08-10 2014-02-24 Fujitsu Ltd 深さ検知方法、エッチング方法、深さ検知装置及びエッチング装置
JP2018054296A (ja) * 2016-09-26 2018-04-05 株式会社村田製作所 路面検査装置、路面検査方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002542863A (ja) 1999-04-29 2002-12-17 トルサナ・ディアベテス・ディアグノスティクス・アー/エス 基底部画像の解析
JP2002269539A (ja) 2000-12-01 2002-09-20 Shigehiro Masui 画像処理装置、画像処理装置方法、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにこれを用いた診断支援システム
JP2010187746A (ja) 2009-02-16 2010-09-02 Canon Inc 眼底カメラ
JP2019518511A (ja) 2016-05-13 2019-07-04 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ (ウ・ペ・エフ・エル)Ecole Polytechnique Federale De Lausanne (Epfl) 傾斜照明による網膜の吸収、位相および暗視野撮像のためのシステム、方法、および装置

Also Published As

Publication number Publication date
JPWO2021199772A1 (ja) 2021-10-07
WO2021199772A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
AU2016204944B2 (en) Photorefraction ocular screening device and methods
JP6040224B2 (ja) 眼の撮像を改善するシステムおよび方法
JP5026741B2 (ja) 眼科用検査装置の操作方法
JP5582772B2 (ja) 画像処理装置及び画像処理方法
JP6685151B2 (ja) 眼科装置
US20100201944A1 (en) Adaptive infrared retinoscopic device for detecting ocular aberrations
JP6580448B2 (ja) 眼科撮影装置及び眼科情報処理装置
WO2017094243A1 (en) Image processing apparatus and image processing method
JP6940349B2 (ja) 眼科装置
Sousa de Almeida et al. Computer-aided methodology for syndromic strabismus diagnosis
EP3595535A1 (en) A system and method of artificial intelligence and tomography imaging of human cornea
JP2021023686A (ja) 眼科装置、その制御方法、プログラム、及び、記録媒体
JP6864914B2 (ja) プルキンエ計測器及び自動評価方法
KR101693802B1 (ko) 눈물막 기름층 분석 장치
JP2020103433A (ja) 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム
JP7214270B2 (ja) 眼球内部組織の状態推定装置およびその方法
JP6789700B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
JP6736734B2 (ja) 眼科撮影装置及び眼科情報処理装置
JP6637743B2 (ja) 眼科装置
CN210494034U (zh) 中医目诊仪光源装置
JP2017217119A (ja) 眼科装置、および眼科装置制御プログラム
WO2022097621A1 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
WO2023238729A1 (ja) 眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体
JP7391586B2 (ja) 眼科システム
CN117241721A (zh) 用于检测眼底反射的设备及方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210628

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220615

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220802

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221028

C876 Explanation why request for accelerated appeal examination is justified

Free format text: JAPANESE INTERMEDIATE CODE: C876

Effective date: 20221028

C305 Report on accelerated appeal examination

Free format text: JAPANESE INTERMEDIATE CODE: C305

Effective date: 20221121

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221122

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221129

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221227

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230111

R150 Certificate of patent or registration of utility model

Ref document number: 7214270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150