JP6784019B2 - 眼底撮影装置および眼科用情報処理プログラム - Google Patents

眼底撮影装置および眼科用情報処理プログラム Download PDF

Info

Publication number
JP6784019B2
JP6784019B2 JP2015236083A JP2015236083A JP6784019B2 JP 6784019 B2 JP6784019 B2 JP 6784019B2 JP 2015236083 A JP2015236083 A JP 2015236083A JP 2015236083 A JP2015236083 A JP 2015236083A JP 6784019 B2 JP6784019 B2 JP 6784019B2
Authority
JP
Japan
Prior art keywords
fundus
image
light
eye
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015236083A
Other languages
English (en)
Other versions
JP2017099718A (ja
Inventor
雅幸 芳野
雅幸 芳野
登輝夫 上野
登輝夫 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidek Co Ltd
Original Assignee
Nidek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidek Co Ltd filed Critical Nidek Co Ltd
Priority to JP2015236083A priority Critical patent/JP6784019B2/ja
Publication of JP2017099718A publication Critical patent/JP2017099718A/ja
Application granted granted Critical
Publication of JP6784019B2 publication Critical patent/JP6784019B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本開示は、被検者眼の眼底を撮影する眼底撮影装置および眼科用情報処理プログラムに関する。
被検者眼の眼底を撮影する撮影装置が知られている(例えば特許文献1参照)。特許文献1の眼底撮影装置は、被写体の色を忠実に再現するため、可視光による撮影を2回行う。1回目の撮影は信号増幅手段の増幅率の決定に用い、2回目の撮影にて本撮影を行う。
特開2001−352555号公報
ところで、被検者眼の中間透光体(硝子体、水晶体、前房、角膜等)の混濁や色素沈着は、撮影画像の画質に影響し易い。例えば、中間透光体が混濁していると撮影画像全体が不鮮明となり易い。これにより、血管の走行状態、患部の状態等を把握し難くなり易い。
本開示は、被検者眼の中間透光体が混濁していても、被検者眼の眼底を好適に診断できる眼底撮影装置および眼科用情報処理プログラムを提供することを技術課題とする。
上記課題を解決するために、本発明は以下のような構成を備えることを特徴とする。
(1) 被検者眼の眼底を撮影する眼底撮影装置は、被検者眼の眼底に撮影光を投光する投光手段と、前記撮影光の投光形状を変更する形状変更手段と、前記被検者眼の眼底を撮影して眼底画像を得る撮影手段と、前記被検者眼の中間透光体の混濁情報であって、前記投光形状とは異なる情報である混濁情報を取得する混濁情報取得手段と、前記眼底画像の画像処理を実行する画像処理手段と、を備え、前記画像処理手段は、前記混濁情報による混濁の程度に応じたコントラスト調整と前記投光形状に応じたコントラスト調整とを画像処理として実行する、ことを特徴とする。
(2) 眼科用情報処理プログラムは、情報処理装置のプロセッサに実行されることによって、被検者眼の眼底画像を入力する第1ステップと、前記眼底画像の撮影時の撮影光の投光形状に関する情報を入力する第2ステップと、前記被検者眼の中間透光体の混濁情報であって、前記投光形状とは異なる情報である混濁情報を入力する第3ステップと、前記眼底画像に対して前記混濁情報による混濁の程度に応じたコントラスト調整と前記投光形状に応じたコントラスト調整とを画像処理として実行する第3ステップと、前記画像処理を行った眼底画像を出力する第4ステップと、を情報処理装置に実行させることを特徴とする。
(3) 被検者眼の眼底を撮影する眼底撮影装置は、被検者眼の眼底に撮影光を投光する投光手段と、前記撮影光の投光形状を変更する形状変更手段と、前記被検者眼の眼底を撮影して眼底画像を得る撮影手段と、前記眼底画像の画像処理を実行する画像処理手段と、を備え、前記画像処理手段は、前記投光形状に応じたコントラスト調整を画像処理として実行する、ことを特徴とする。
(4) 眼科用情報処理プログラムは、情報処理装置のプロセッサに実行されることによって、被検者眼の眼底画像を入力する第1ステップと、前記眼底画像の撮影時の撮影光の投光形状に関する情報を入力する第2ステップと、前記眼底画像に対して前記投光形状に応じたコントラスト調整を画像処理として実行する第3ステップと、前記画像処理を行った眼底画像を出力する第4ステップと、を情報処理装置に実行させることを特徴とする。

本開示によれば、被検者眼の中間透光体が混濁していても、被検者眼の眼底を好適に診断できる眼底撮影装置および眼科用情報処理プログラムを提供できる。
本実施形態の眼底撮影装置の光学系の概略構成図である。 図1の眼底撮影装置の制御系の概略構成図である。 撮影全体の流れを説明するフローチャートである。 徹照撮影に係わるフローチャートである。 眼底画像の画像処理に係わるフローチャートである。 徹照画像の図である。 眼底画像の図である。 信号の入出力関係を説明する図である。 本実施形態の画像処理を説明する図である。 図9の画像処理による撮影画像の変化を説明する図である。 変容例の画像処理を説明する図である。
以下、図面を用いて、本開示における典型的な実施形態を説明する。図1は本実施形態に係る眼底撮影装置1(眼科撮影装置)の光学系の概略構成図である。図2は、本実施形態の眼底撮影装置1の制御系の概略構成図である。なお、本実施形態の眼底撮影装置1は無散瞳型眼底カメラと呼ばれることがある。
本実施形態の眼底撮影装置1の光学系は、眼底照明光学系10、眼底観察・撮影光学系20、徹照用投光光学系30(投光手段)、および前眼部観察・徹照撮影光学系40(撮影手段)を含む。本実施形態の眼底照明光学系10は、被検者眼Eの眼底を照明するために用いられる。本実施形態の眼底観察・撮影光学系20は、被検者眼Eの眼底を観察・撮影するために用いられる。本実施形態の徹照用投光光学系30は、被検者眼Eの中間透光体(硝子体、水晶体、前房、角膜等)を眼底側から照明するために用いられる。本実施形態の前眼部観察光学系・徹照撮影光学系40は、被検者眼Eの徹照像、または被検者眼Eの前眼部像を撮像するために用いられる。本実施形態の眼底撮影装置1は更に、固視標呈示光学系50を含む。本実施形態の固視標呈示光学系50は、被検者眼Eの視線を誘導するために用いられる。
<眼底照明光学系>
本実施形態の眼底照明光学系10は、撮影照明光学系10a(投光手段)と観察照明光学系10bを含む。本実施形態の撮影照明光学系10aは、被検者眼Eの眼底に撮影光を投光するために用いられる。本実施形態では、撮影光として可視光を投光する。本実施形態の観察照明光学系10bは、被検者眼Eの眼底に観察光を投光するために用いられる。本実施形態では、観察光として赤外光を投光する。
本実施形態の撮影照明光学系10aは、撮影光源91、コンデンサレンズ11、リングスリット14、リレーレンズ15、黒点板16、リレーレンズ17、孔あきミラー18、および対物レンズ21を含む。本実施形態の撮影照明光学系10aは更に、ダイクロイックミラー13を含む。本実施形態の撮影光源91は、撮影光の光源として用いられる。本実施形態の撮影光源91は可視光を発する。本実施形態の撮影光源91はフラッシュ光(換言するなら閃光でありパルス光)を出射できる。撮影光源91としてフラッシュランプ、LED(白色LED)等を用いてもよい。
本実施形態のダイクロイックミラー13は、コンデンサレンズ11とリングスリット14の間に配置されている。本実施形態のダイクロイックミラー13は、撮影光源91からの光(可視光)を透過して、観察光源92からの光(赤外光)を反射する特性を有する。本実施形態のリングスリット14は、被検者眼Eの瞳孔と共役な位置に配置されている。なお、本実施形態の眼底撮影装置1は、撮影光量の調光手段を備えている。本実施形態の制御部80は、撮影光源91が発する光量を調整できる。
撮影光源91を発した撮影光は、コンデンサレンズ11、ダイクロイックミラー13の順で介してリングスリット14に当たる。リングスリット14の開口部を通過した撮影光は、リレーレンズ15、黒点板16、リレーレンズ17の順で介して孔あきミラー18で反射する。孔あきミラー18で反射した撮影光は、対物レンズ21を介して被検者眼Eの瞳孔にリング形状で一旦集光する。瞳孔に集光した撮影光(リング形状)は眼底に向かうにつれて拡散して眼底を照明する。このようにして撮影光(可視光)による被検者眼Eの眼底の照明が行われる。
本実施形態の観察照明光学系10bは、ダイクロイックミラー13から対物レンズ21までの光学系を、撮影照明光学系10aと共用する。本実施形態の観察照明光学系10bは、観察光源92とコンデンサレンズ12を含む。本実施形態の観察光源92は赤外光(中心波長880nm)を発する。本実施形態の観察光源92は連続光を出射できる。観察光源92として、LED(赤外LED)、電球(ハロゲンランプ等)等を用いてもよい。なお、観察光源92を発した観察光は、コンデンサレンズ12を介してダイクロイックミラー13で反射する。ダイクロイックミラー13で反射した観察光はリングスリット14に当たる。以降は前述した撮影光と同様であるため説明を省略する。
<眼底観察・眼底撮影光学系>
次いで眼底観察・撮影光学系20を説明する。本実施形態の眼底観察・撮影光学系20は、眼底撮影光学系20aと眼底観察光学系20bを含む。本実施形態の眼底撮影光学系20aは、被検者眼Eの眼底を撮影するために用いられる。本実施形態の眼底観察光学系20bは、被検者眼Eの眼底を観察するために用いられる。本実施形態では、観察照明光学系10bと眼底観察光学系20bとを組合せた眼底観察手段により、被検者眼Eの眼底を観察光(赤外光)で観察できる。また、本実施形態では、撮影照明光学系10aと眼底撮影光学系20aとを組合せた眼底撮影手段により、被検者眼Eの眼底を撮影光(可視光)で撮影できる。
本実施形態の眼底撮影光学系20aは、対物レンズ21、撮影絞り22、フォーカシングレンズ23、結像レンズ24、および受光素子93を含む。本実施形態では、孔あきミラー18の開口近傍に撮影絞り22を配置している。本実施形態の撮影絞り22には、円形状の開口部が形成されている。本実施形態では、撮影絞り22の開口部の中心を撮影光軸L1が通る。フォーカシングレンズ23には移動機構86が接続されている。フォーカシングレンズ23は移動機構86により、撮影光軸L1に沿って移動可能である。本実施形態の受光素子93は、被検者眼Eの眼底と共役な位置に配置されている。本実施形態の受光素子93は二次元撮像素子である。本実施形態の受光素子93は可視域の感度を有する。例えば、受光素子93にCMOSイメージセンサーを用いてもよい。
被検者眼Eの眼底で反射した撮影光(換言するなら眼底を発する光)は、対物レンズ21、撮影絞り22、フォーカシングレンズ23、結像レンズ24の順で介して受光素子93に集光する。このようにして撮影光(可視光)による被検者眼Eの眼底の撮影(撮像)が行われる。換言するなら、本実施形態の眼底撮影装置1は、眼底撮影光学系20aを用いて、被検者眼Eの眼底像(図7参照)を取得できる。
次いで、眼底観察光学系20bを説明する。本実施形態の眼底撮影光学系20aと眼底観察光学系20bとは、対物レンズ21から跳ね上げミラー25までの光学系を共用する。本実施形態の眼底観察光学系20bは、ダイクロイックミラー41、跳ね上げミラー25、ダイクロイックミラー26、結像レンズ27、および受光素子94を含む。
本実施形態のダイクロイックミラー41(波長選択性ミラー)は、対物レンズ21と孔あきミラー18の間に斜設されている。ダイクロイックミラー41は光路分岐部材である。本実施形態のダイクロイックミラー41は、眼底観察用の波長(中心波長880nm)を含む波長900nm以下の光を透過して、徹照撮影用および前眼部観察用の波長(中心波長940nm)の光を反射する特性を有する。なお、本実施形態のダイクロイックミラー41は固視標光(詳細は後述する)も透過できる。
本実施形態のダイクロイックミラー41には挿脱機構85が接続されている。ダイクロイックミラー41は挿脱機構85により、撮影光軸L1上に挿脱可能である。本実施形態のダイクロイックミラー41は、制御部80の制御により、観察時(眼底観察時、前眼部観察時、徹照撮影時)には撮影光軸L1上に挿入されて、眼底撮影時には撮影光軸L1上から離脱される。
本実施形態の跳ね上げミラー25には挿脱機構87が接続されている。跳ね上げミラー25は挿脱機構87により、撮影光軸L1上に挿脱可能である。本実施形態の跳ね上げミラー25は、制御部80の制御により、観察時(眼底観察時、前眼部観察時、徹照撮影時)には撮影光軸L1上に挿入されて、眼底撮影時には撮影光軸L1上から離脱される。本実施形態のダイクロイックミラー26は、赤外光(眼底観察光)を反射して可視光(固視標光)を透過する特性を有する。本実施形態の受光素子94は、被検者眼Eの眼底と共役な位置に配置されている。本実施形態の受光素子94は二次元撮像素子である。本実施形態の受光素子94は赤外域の感度を有する。例えば、受光素子94にCMOSイメージセンサーを用いてもよい。
被検者眼Eの眼底で反射した観察光(換言するなら眼底を発する光)は、前述した撮影光と同様に結像レンズ24まで進み、跳ね上げミラー25で反射する。跳ね上げミラー25で反射した観察光は、ダイクロイックミラー26で反射した後に、結像レンズ27を介して受光素子94に集光する。このようにして観察光(赤外光)による被検者眼Eの眼底の観察(撮像)が行われる。
<固視標呈示光学系>
次いで、固視標呈示光学系50を説明する。本実施形態の眼底観察光学系20bと固視標呈示光学系50とは、対物レンズ21からダイクロイックミラー26までの光学系を共用する。本実施形態の固視標呈示光学系50は、レンズ28と固視標光源95を含む。本実施形態の固視標光源95は、被検者眼Eの眼底と共役な位置に配置されている。本実施形態の固視標光源95は可視光(例えば緑色)を発する。本実施形態の固視標光源95はLCD(液晶ディスプレイ)である。制御部80の制御により、LCDには固視標(例えば塗り潰された円)が表示される。本実施形態の固視標呈示光学系50は、被検者眼Eに呈示する固視標の呈示位置を変更できる。
固視標光源95を発した固視標光(可視光)は、レンズ28、ダイクロイックミラー26の順で介して跳ね上げミラー25で反射する。跳ね上げミラー25で反射した固視標光は、結像レンズ24、フォーカシングレンズ23、撮影絞り22、ダイクロイックミラー41、対物レンズ21の順で介して被検者眼Eの眼底に集光する。このようにして被検者眼Eへの固視標の呈示(換言するなら被検者眼Eの眼底への固視標像の投影)が行われる。
<徹照用投光光学系>
次いで、本実施形態の徹照用投光光学系30(照射手段)を説明する。本実施形態の徹照用投光光学系30は、対物レンズ21とダイクロイックミラー41を眼底観察・撮影光学系20等と共用する。本実施形態の徹照用投光光学系30は、フィールドレンズ42、ハーフミラー31、開口絞り32、コンデンサレンズ33、および徹照光源97を含む。なお、本実施形態の徹照光源97は、被検者眼Eの眼底と共役な位置に配置されている。しかし、例えば、被検者眼Eの瞳孔と共役な位置に徹照光源97が配置されていてもよい。
本実施形態の徹照光源97は複数の光源を含む。詳細には、本実施形態の徹照光源97は、一対の光源(第1徹照光源97a,第2徹照光源97b)を含む。第1徹照光源97aと第2徹照光源97bの其々は、徹照用投光光学系30の光軸L2から離れた位置に配置されており、各々の徹照光源(97a,97b)から出射された照明光は、被検眼に対して異なる入射角度で入射される。詳細には、第1徹照光源97aと第2徹照光源97bとは、光軸L2に対して対称な位置に配置されている。
本実施形態の徹照光源97は赤外光(中心波長940nm)を発する。例えば徹照光源97として、LED(発光ダイオード)、SLD(スーパールミネッセント・ダイオード)等を用いてもよい。本実施形態の開口絞り32は、被検者眼Eの瞳孔と共役な位置に配置されている。本実施形態では、開口絞り32に形成されている開口部の中心を光軸L2が通る。本実施形態の開口絞り32は、被検者眼Eの瞳孔を通過する徹照用の照明光(徹照光源97からの光)の光束径を制限するために用いられる。
徹照光源97を発する徹照用の照明光は、コンデンサレンズ33、開口絞り32、ハーフミラー31、フィールドレンズ42の順で介してダイクロイックミラー41で反射する。ダイクロイックミラー41で反射した徹照用の照明光は、対物レンズ21を介して被検者眼Eの眼底に集光する。なお、本実施形態の徹照用の照明光は、対物レンズ21から平行光で出射される。なお、本実施形態の徹照撮影では、眼底で反射した照明光が二次光源となり、被検者眼Eの中間透光体を眼底側から照明する。
以上のようにして被検者眼Eへの徹照用の照明光の投光が行われる。なお、本実施形態では、第1徹照光源97aと第2徹照光源97bの各々は、狭光束の光を発する。例えば、徹照用投光光学系30の被検者眼Eの角膜と共役となる位置に絞りを設けて、徹照用の照明光の角膜通過領域(角膜通過位置)を制限してもよい。なお、本実施形態では、徹照撮影時に、第1徹照光源97aと第2徹照光源97bとが交互に点灯される。
<前眼部観察・徹照撮影光学系>
次いで、前眼部観察・徹照撮影光学系40を説明する。本実施形態の前眼部観察・徹照撮影光学系40は、対物レンズ21からハーフミラー31までの光学系を徹照用投光光学系30と共用する。本実施形態の前眼部観察・徹照撮影光学系40は、絞り43、リレーレンズ44、および受光素子96を含む。本実施形態の受光素子96は、被検者眼Eの前眼部(例えば瞳孔)と共役な位置に配置されている。本実施形態の受光素子96は二次元撮像素子である。本実施形態の受光素子96は赤外域の感度を有する。例えば、受光素子96にCMOSイメージセンサーを用いてもよい。なお、本実施形態の眼底撮影装置1は、前眼部観察用の観察光源45(中心波長940nm)を備えている。
被検者眼Eからの光(波長900nmを超える波長の光)は、対物レンズ21を介した後にダイクロイックミラー41で反射する。ダイクロイックミラー41で反射した光は、フィールドレンズ42を介した後にハーフミラー31で反射する。ハーフミラー31で反射した光は、絞り43、リレーレンズ44の順で介して受光素子96に集光する。本実施形態では、被検者眼Eの前眼部を観察する際には観察光源45を点灯して、被検者眼Eの前眼部像を受光素子96で撮像する。つまり、本実施形態では、観察光源45と前眼部観察・徹照撮影光学系40とを組合せた前眼部観察手段により、被検者眼Eの前眼部像を赤外光で撮像する。
一方で、本実施形態では、被検者眼Eの徹照像を撮影する際には徹照光源97を点灯して、被検者眼Eの徹照像を受光素子96で撮像する。つまり、本実施形態では、徹照用投光光学系30と前眼部観察・徹照撮影光学系40とを組合せた徹照撮影手段により、被検者眼Eの徹照像を取得できる。なお、本実施形態では、ダイクロイックミラー41が撮影光軸L1上に挿入された状態で、前眼部観察と徹照撮影とが行われる。
なお、本実施形態では、徹照用の照明光の波長として940nmを用いている。しかし、徹照用の照明光の波長はこれに限るものではない。例えば、徹照用の照明光の波長として880nmを用いてもよい。この場合、例えば、観察光源92には中心波長830nmの赤外光を発せさせる。そして、ダイクロイックミラー41の特性を、波長850nm以下の光を透過すると共に、波長850nmを超える波長の光を反射する特性にすればよい。
<制御系>
図2を併用して、本実施形態の制御部80を説明する。本実施形態の制御部80は、CPU81、RAM82、ROM83、および不揮発性メモリ84等を含む。CPU81は、眼底撮影装置1における各部の制御を司る。RAM82は、各種情報を一時的に記憶する。ROM83には、各種プログラム、初期値等が記憶されている。不揮発性メモリ84は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。例えば、制御部80に着脱可能に装着されるUSBメモリ、制御部80に内蔵されたフラッシュROM等を、不揮発性メモリ84として使用してもよい。眼底撮影装置1の撮影に関するパラメータの値を不揮発性メモリ84に記憶してもよい。本実施形態の制御部80は、眼底画像を不揮発性メモリ84(記憶手段)に記憶する。詳細には、本実施形態の制御部80は記憶制御手段であり、一例として、眼底画像と混濁情報とを関連付けて記憶手段(不揮発性メモリ84等)に記憶する。記憶手段として、RAM82、または他の状態保持媒体(例えばハードディスク等)を用いてもよい。眼底撮影装置1と優先又は無線にて接続された情報処理装置(パーソナルコンピュータ等)を記憶手段として用いてもよい。
本実施形態の制御部80には、徹照光源97(第1徹照光源97a,第2徹照光源97b)、受光素子96、挿脱機構85、移動機構86、受光素子94、固視標光源95、挿脱機構87、受光素子93、観察光源92、撮影光源91、モニタ88(表示手段)、スイッチ部89、およびI/F部98が接続される。本実施形態の制御部80は、モニタ88の表示内容を制御する表示制御手段としての機能を有する。本実施形態の制御部80は、被検者眼Eの眼底像(撮影画像,観察画像)、前眼部観察像、徹照像等をモニタ88に表示する。本実施形態のスイッチ部89は操作入力手段である。本実施形態のスイッチ部89は、モニタ88に表示させる観察像(前眼部観察像,眼底観察像)の切り換え、撮影開始、白内障モード選択等の、検者の操作を受け付ける。本実施形態の制御部80はI/F部98を用いて、撮影画像(被検者眼Eの眼底像)等を眼底撮影装置1の外部に転送できる。
なお、本実施形態の制御部80は、撮影画像(眼底像)に対して画像処理を行う画像処理手段である。また、本実施形態の制御部80は、複数の徹照画像を、画像処理を用いて合成処理を行う画像処理手段である。また、本実施形態の制御部80は、徹照用の照明光を被検者眼Eに対して各々異なる入射角度で順次照射させるために、徹照光源97を制御する照射制御手段である。
<被検者眼の撮影>
次いで、図3を用いて、本実施形態の眼底撮影装置1を用いた、被検者眼Eの撮影(徹照撮影および眼底撮影)を説明する。検者は、モニタ88に表示される前眼部観察像を観察しながら図示なきジョイスティック等を操作して、眼底撮影装置1の光学系を被検者眼Eにアライメントしてゆく。検者は、被検者眼Eへのアライメントが略完了したら、スイッチ部89を操作して、モニタ88の表示を眼底観察像に切り替える。検者は、モニタ88に表示される眼底観察像を観察しながら、被検者眼Eへの精密なアライメントを行う。なお、検者は、スイッチ部89を操作して、固視標呈示位置の変更(撮影する眼底部位の誘導)、フォーカシングレンズ23の移動によるフォーカシング等を適宜行う。
次いで検者は、眼底撮影装置1の光学系を被検者眼Eの眼底にアライメントしたら、スイッチ部89を操作して撮影を開始する。撮影開始の操作がされると、スイッチ部89は撮影開始信号(トリガ信号)を発行する(ステップS101)。制御部80は、撮影開始信号を検出すると徹照撮影を開始する(ステップS102)。なお、制御部80は、徹照撮影を開始する直前に、前眼部観察用(アライメント用)の観察光源45を消灯する。
本実施形態の徹照像(徹照画像)について説明する。徹照用投光光学系30(照射手段)により眼底に投光された光は、眼底で反射して、被検者眼Eの中間透光体を眼底側から照らす。被検者眼Eの中間透光体が混濁していない場合の徹照像は、瞳孔内が明るく写り易い。一方で、被検者眼Eの中間透光体が混濁している場合の徹照像は、瞳孔内の混濁している箇所(瞳孔内の一部または全体)が暗く写り易い。なお、瞳孔よりも外側の領域は、眼底からの光が虹彩で減光されるため暗く写る。
図4と図6を併用して、本実施形態の徹照撮影を詳細に説明する。なお、図6では混濁箇所をハッチング領域で示しているが、あくまで例示である。例えば、中間透光体の混濁として、中間透光体全体が混濁する場合がある。
ステップS201にて制御部80は、第1徹照光源97aを点灯(第2徹照光源97bは消灯)する。次いで、ステップS202にて制御部80は、受光素子96の出力信号を入力して第1の徹照画像(図6(a)参照)を得る。なお、第1の徹照画像には、第1徹照光源97aを発した光による角膜輝点像(プルキンエ像)が重畳している。次いでステップS203にて制御部80は、第2徹照光源97bを点灯(第1徹照光源97aは消灯)する。次いで、ステップS204にて制御部80は、受光素子96の出力信号を入力して第2の徹照画像を得る(図6(b)参照)。なお、第2の徹照画像には、第2徹照光源97bを発した光によるからの光による角膜輝点像(プルキンエ像)が重畳している。
次いで、ステップS205にて制御部80は、第1の徹照画像と第2の徹照画像とを画像処理にて合成し、合成画像(図6(c)参照)を生成する。詳細には、制御部80は、第1の徹照画像から角膜輝点像が写り込んでいる領域S1を検出する。次いで制御部80は、第2の徹照画像から領域S2内の画像データを切り出す。なお、領域S2は、領域S1に対応した領域である。次いで制御部80は、第2の徹照画像から切り出した画像データにて領域S1内のデータを書き換える。このようにして、本実施形態の制御部80は合成画像(1枚の徹照画像)を生成する。画像処理により生成した合成画像は、不要情報(角膜輝点像)の重畳が抑制されている。
つまり、本実施形態の眼底撮影装置1は、被検者眼Eに照明光を照射するための徹照用投光光学系30(照射手段)と、徹照用投光光学系30にて照射された照明光による眼底での反射光により照明された水晶体を含む被検者眼Eの前眼部を撮影する前眼部観察・徹照撮影光学系40(撮影手段)を備えている。また、本実施形態の制御部80は、前眼部の撮影のための一回の撮影開始信号を受けて徹照用投光光学系30による照明光を被検者眼Eに対して各々異なる入射角度で順次照射させると共に、各々異なる入射角度で順次照射させた照明光によって前眼部観察・徹照撮影光学系40にて撮影される複数の徹照画像(撮影画像情報)を、画像処理を用いて合成処理を行い角膜輝点像情報が取り除かれた徹照画像(前眼部画像情報)を生成する。これにより、例えば、徹照像撮影において手間なく角膜反射輝点等の不要光の影響を抑制した徹照像の撮影を行うことができる。
なお、照明光を異なる入射角度で照射する場合、例えば、固視誘導された被検眼の視軸に対して異なる入射角度で照明光を入射してもよい。また、照明光を異なる入射角度で照射する場合、例えば、徹照用投光光学系30内部の駆動によって入射角度を変えてもよい。より具体的には、複数の徹照光源を設けてもよいし、徹照光源を移動させてもよい。また、光路中に配置された開口絞りを移動させてもよい。
例えば、本実施形態の眼底撮影装置1の徹照用投光光学系30は、被検者眼Eに対して各々異なる入射角度で照明光が入射されるように設けられた第1徹照光源97aと第2徹照光源97bを含む。制御部80は、撮影開始信号を受けて第1徹照光源97aと第2徹照光源97bとを順次点灯制御する。これにより、例えば、光軸をずらして徹照撮影を行った後に、眼底撮影を行うために装置と被検眼との位置合わせを改めて行う手間を抑制できる。
なお、本実施形態では2つの徹照光源97(第1徹照光源97a,第2徹照光源97b)を交互に点灯して2枚の徹照画像を得る。しかし、徹照光源の数が3つ以上であり、3枚以上の徹照画像を取得してもよい。また、例えば、被検者眼Eとの間に配置した開口絞りの開口部を変位させて、1つの徹照光源から発した光(徹照用の照明光)の被検者眼Eへの投光角度(投光条件)を変化させてもよい。
なお、照明光を異なる入射状態で照射する手法としては、照明光を被検者眼Eに対して各々異なる入射角度で照射する手法に限定されず、照明光を異なる入射位置で照射してもよい。この場合、例えば、角膜頂点位置に対して異なる入射位置にて照明光を照射してもよい。入射位置を変更する構成としては、例えば、アライメント誘導手段が用いられてもよい。より具体的には、アライメント誘導手段により、被検者眼Eと眼底撮影装置1の光学系との位置関係を変化させつつ複数の徹照画像を取得してもよい。例えば、眼底撮影装置1の光学系を被検者眼Eに対して自動でアライメントする自動アライメント手段(アライメント誘導手段)を、眼底撮影装置1が備えてもよい。この場合、制御部は自動アライメント手段を制御して、1回目の徹照画像の取得時と2回目の徹照画像の取得時とで、被検者眼Eに対する光学系のアライメント位置を変えて自動撮影すればよい。制御部は、取得した2つの徹照画像を用いて、本実施形態と同様な合成画像を生成すればよい。なお、この場合、徹照光源は1つであってもよい。もちろん、本実施形態と同様に徹照光源を複数備えて、交互点灯させつつ複数の徹照画像を取得してもよい。なお、アライメント誘導手段の態様はこれに限るものではない。アライメント誘導手段により、複数枚の徹照画像を取得する際の、被検者眼Eと眼底撮影装置1の光学系との位置関係を変化できればよい。換言するなら、アライメント誘導手段により、徹照撮影用の照明光を、被検者眼Eに対して各々異なる入射位置で順次照射できればよい。
なお、本実施形態では、2枚の徹照画像から1枚の徹照画像を生成する。しかし、3枚以上の徹照画像から1枚の徹照画像を生成してもよい。また、本実施形態では、第1徹照光源97aと第2徹照光源97bとが光軸L2に対して対称な位置に配置されている。しかし、複数の光源が、光軸L2に対して非対称に配置されていてもよい。なお、孔あきミラー18よりも受光素子93側に徹照光源97を配置して、徹照光源97を発した光が、孔あきミラー18の開口部を通過して被検者眼Eに投光されてもよい。本実施形態では対物レンズ21を介して徹照用の照明光を投光するが、対物レンズ21を介さずに徹照用の照明光を投光してもよい。
図3に戻る。ステップS103にて制御部80は、眼底撮影を行う。詳細には、制御部80は、ダイクロイックミラー41および跳ね上げミラー25を撮影光軸L1上から退避させた後に撮影光源91を点灯させる。次いで制御部80は、受光素子93の出力信号を取得して被検者眼Eの眼底画像(カラー眼底像)を得る。次いで、ステップS104にて制御部80は、ステップS102で生成した合成画像(徹照画像)の解析を行う。詳細には、制御部80は、徹照画像を解析して、混濁箇所のサイズ、混濁濃度、中間透光体の明るさ等の情報を得る。中間透光体への色素沈着を解析してもよい。なお、解析の際に、WHO分類(白内障のグレード)、Emery−Little分類等を利用してもよい。例えば、中間透光体の混濁度合い(5段階)を解析結果としてもよい。
次いで、ステップS105にて制御部80は、ステップS103で取得した眼底画像とステップS104の解析結果(混濁情報)とを関連付けて不揮発性メモリ84に記憶する。次いで、ステップS106にて制御部80は、眼底画像と徹照画像(合成画像)をモニタ88に表示する。検者は、モニタ88に表示された眼底画像等を観察する。なお、モニタ88には眼底画像のみが表示されてもよい。また、眼底画像と共に、ステップS104の解析結果(例えば被検者眼Eの混濁度合い)が表示されてもよい。なお、徹照撮影のタイミングは、ステップS102で示したタイミングに限るものではない。例えば、被検者眼Eへのアライメント中(撮影開始信号の入力前)、または眼底撮影後に徹照撮影を行ってもよい。
<眼底像の画像処理>
次いで、図5を用いて、本実施形態の眼底撮影装置1の制御部80が実行する、眼底像の画像処理を説明する。検者は、中間透光体の混濁を考慮した眼底画像を確認する場合には、スイッチ部89を操作して、撮影画像の表示モードを通常表示モードから白内障モードへと切り換える。ステップS301にて制御部80は、スイッチ部89の出力信号を監視して、表示モードの選択状態を判定する。制御部80は、白内障モードが選択されていると判定するとステップS302に進む。ステップS302にて制御部80は、不揮発性メモリ84から眼底画像(および混濁情報)を読み出して、撮影画像に対して画像処理を行う。
図8〜図10を併用して、ステップS302にて制御部80が実行する画像処理を説明する。図8は、本実施形態の画像処理に係わるデータの流れを説明する図である。図9は、本実施形態の制御部80が行う画像処理の説明図である。図10は、本実施形態の画像処理による眼底像データの変化を説明する図である。
本実施形態の制御部80は、眼底像データIMGと混濁情報データINFを入力し、眼底像データIMG’を出力する(図8参照)。本実施形態の眼底像データIMGおよび眼底像データIMG’は、3000×4000ピクセルで構成されている。なお、各ピクセルはR/G/B各々の256段階(階調値0〜階調値255)の階調を有する。
本実施形態の画像処理は、256階調の画像信号を入力して、入力信号に対応した256階調の画像信号を出力する。つまり、画像信号の階調変換を行う。図9の横軸は制御部80の入力信号(眼底像データIMG)を示し、同図の縦軸は制御部80の出力信号(眼底像データIMG’)を示す。なお、R/G/B各々に対して同じ階調変換特性を用いた階調変換が行われる。図9にて符号NORで示す点線は、制御部80が階調変換を行わない場合(つまり、1:1の入出力関係)を例示している。図9にて符号U1〜U3で示す実線及び点線は、制御部80が階調変換を行う場合の階調変換特性を例示している。なお、図9に示す階調変換特性は、眼底像データのガンマ特性がγ=1.0の場合として示している。階調変換特性は、眼底像データのガンマ特性に応じて適宜変更すればよい。
本実施形態の制御部80は、被検者眼Eの中間透光体の混濁の程度に応じた階調変換(コントラスト調整)を行う。詳細には、本実施形態の制御部80は、被検者眼Eの中間透光体の混濁の程度に応じて、入出力特性を変化させる。例えば、制御部80は、軽度の混濁では符号U1で示す階調変換特性を用い、中間程度の混濁では符号U2で示す階調変換特性を用いる。また、重度の混濁では符号U3で示す階調変換特性を用いる。本実施形態の制御部80は、被検者眼Eの混濁の程度が強まるほど、眼底像のコントラストを強める画像処理を行う。換言するなら、本実施形態の制御部80は、被検者眼Eの混濁の程度に応じて、画像処理に用いるパラメータを変化させている。
符号U3(図9参照)の階調変換特性を用いて画像処理を行った場合の眼底像データの特性を、図10に例示する。なお、図10(a)は眼底像データIMG(画像処理前の眼底画像)のヒストグラムであり、図10(b)は眼底像データIMG’(画像処理後の眼底画像)のヒストグラムである。図10の横軸は階調値(値範囲:0〜255)を示し、同図の縦軸はピクセル数を示している。なお、図10(a)と図10(b)は共に、眼底像の明度を示している。
画像処理前(図10(a))と画像処理後(図10(b))を対比すると、画像処理後の方が階調値の高いピクセル数が増している。換言するなら、画像処理を行うことで階調値の分布が広がっている。つまり、画像処理が行われたことで、眼底像のコントラストが強調されている。例えば、被検者眼Eの混濁情報(混濁の程度)を考慮したコントラスト強調を行うことで、眼底画像の階調の飽和を抑制できる。また、被検者眼Eの混濁情報を考慮したコントラスト強調を行うことで、コントラスト強調のし過ぎ、コントラスト強調の不足等を抑制できる。
図5に戻る。ステップS303にて制御部80は、画像処理を行った撮影画像(眼底像データIMG’)をモニタ88に表示する。検者はモニタ88に表示された眼底像を観察する。以上のように、眼底画像(眼底像データIMG)に対して、被検者眼Eの中間透光体の混濁情報を考慮した画像処理が行われる。本実施形態では、一度記憶した撮影画像に対して、中間透光体の混濁情報(混濁の程度)を考慮した画像処理を行う。検者は、中間透光体の混濁情報を考慮した画像処理の実行を、被検者眼Eの撮影後に選択できる。つまり、検者は、通常モードによる眼底像(眼底像データIMG)の表示と白内障モードによる眼底像(眼底像データIMG’)の表示とを、被検者眼Eの撮影後に選択的に表示(観察)できる。なお、画像処理を行った撮影画像(眼底像データIMG’)を、不揮発性メモリ84等の記憶手段に記憶してもよい。
なお、ここで示した画像処理は一例に過ぎない。眼底画像(眼底像データ)に対して、被検者眼Eの中間透光体の混濁情報を考慮した画像処理が行われればよい。例えば、眼底画像に対する画像処理として、眼底画像に含まれる特定の色(例えば赤色)に対する階調変換を行ってもよい。また、被検者眼Eの中間透光体の混濁情報を考慮して、眼底画像に対する画像処理として、色調変換、色相変換等を行ってもよい。撮影画像全体の明るさ(明度)を変える画像処理を行ってもよい。
<変容例>
次いで、図11を用いて、変容例の眼底撮影装置を説明する。変容例の眼底撮影装置は、リングスリット14のリング幅を可変にできる機構(形状変更手段)を有し、リングスリット14のリング幅を変更させることで撮影時における撮影光の投光形状を変更する装置であり、リングスリット14の形状情報を撮影画像に関連付けて記憶する。例えば、眼底撮影装置1が、リングスリット14の形状を切り換え可能な場合(つまり、眼底撮影装置がリングスリット14の形状変更手段を備える場合)、制御部80は、眼底撮影時に使用したリングスリット14の形状情報を撮影画像に関連付けて不揮発性メモリ84に記憶する。制御部80は、撮影画像とリングスリットの形状情報とを入力して、撮影画像に対して、リングスリット14の形状情報を考慮した画像処理を行う。
図11は、変容例の眼底撮影装置の制御部80が実行する、撮影画像に対する画像処理を説明する図である。制御部80は、リングスリット14の形状が小瞳孔用(開口部が大きい)であることを考慮して、撮影画角35°から撮影画角45°の領域(図11ではハッチングで示している)のコントラストを強調する。例えば、眼底像にフレアが重畳すると、眼底像が不明瞭となり易い。変容例では、小瞳孔用のリングスリット14により眼底像の周辺部にフレアが重畳し易くなることを考慮して、撮影画像に対する画像処理を行う。これにより、検者は、眼底像の周辺部の状態を観察し易くなる。もちろん、撮影画像に混濁情報とリングスリットの形状に関する情報とを関連付けて記憶してもよい。つまり、被検者眼Eの混濁の程度を考慮した画像処理と組み合わせてもよい。
以上説明したように、本実施形態の眼底撮影装置1は、被検者眼Eの眼底を撮影して眼底画像を得る撮影手段と、被検者眼Eの中間透光体の混濁情報を取得する混濁情報取得手段と、眼底画像と前記混濁情報とを関連付けて記憶する記憶手段とを備えている。これにより、例えば、被検者眼Eの眼底画像を用いた診断等を行う際に、被検者眼Eの中間透光体の混濁を考慮することができる。
また、本実施形態の眼底撮影装置1は、眼底画像の画像処理を実行する画像処理手段を備えている。画像処理手段は、混濁情報による混濁の程度に応じたコントラスト調整を画像処理として実行する。これにより、例えば、眼底画像に対して適切な画像処理を行い易くなる。よって、中間透光体が混濁していても、患部や血管などを観察し易くなる。
また、変容例の眼底撮影装置は、被検者眼Eの眼底に撮影光を投光する投光手段と、撮影光の投光形状を変更する形状変更手段とを備えている。記憶手段は、投光形状に関する情報を前記眼底画像に関連付けて記憶する。画像処理手段は、投光形状に関する情報を用いたコントラスト調整を画像処理として実行する。これにより、例えば、眼底像に不要光が重畳し易い投光条件であっても、被検者眼Eの眼底を観察し易くなる。
なお、本実施形態の眼底撮影装置1は、眼底像および混濁情報の取得と、眼底像の画像処理を行う。しかし、例えば、眼底撮影装置1は眼底像と混濁情報の取得(および関連付けた記憶)のみを行い、パーソナル・コンピュータ等の情報処理端末が眼底像の画像処理を行ってもよい。もちろん、本実施形態の眼底画像に対する画像処理のみを用いてもよい。つまり、情報処理装置(眼底撮影装置,パーソナル・コンピュータ等)のプロセッサに実行されることによって、被検者眼の眼底画像を入力する第1ステップと、被検者眼の中間透光体の混濁情報を入力する第2ステップと、眼底画像に対して混濁情報による混濁の程度に応じたコントラスト調整を画像処理として実行する第3ステップと、画像処理を行った眼底画像を出力(記憶,転送,表示等)する第4ステップと、を情報処理装置に実行させる眼科用情報処理プログラムのみを用いてもよい。なお、本実施形態では、眼底撮影としてカラー撮影を行う。しかし、眼底撮影として蛍光撮影(例えば自発蛍光撮影)を行ってもよい。
なお、本実施形態では、被検者眼Eの徹照像を撮影して、中間透光体の混濁情報を取得した。しかし、混濁情報の取得方法はこれに限るものではない。例えば、水晶体に向けてレーザ光を収束させて投光し、水晶体内部の分子によるレーザ光の散乱光を検出してもよい(例えば、特開平08−206067号公報を参照)。また、例えば、シャインプルーフの原理に基づいて被検者眼Eの前眼部を撮影してもよい(例えば、特開平04−096730号公報参照)。また、例えば、赤外光にて観察する眼底像を解析(例えば、血管とその他の眼底部位の濃度差)して、中間透光体の混濁情報を取得してもよい。
なお、本実施形態では、眼底撮影装置1として眼底カメラを用いた。しかし、例えば、眼底撮影装置がSLO(走査型レーザー検眼鏡)であってもよい。画像処理を行う眼底像は平面像に限るものではない。例えば、画像処理を行う眼底像が断層像であってもよい。つまり、眼底撮影装置がOCT(光干渉断層計)であってもよい。眼底撮影装置が眼底画像と混濁情報を関連付けて記憶すればよい。また、眼底撮影装置又は眼底撮影システムが混濁情報による混濁の程度に応じたコントラスト調整を画像処理として実行すればよい。
なお、本実施形態で示した徹照撮影(図4,図6参照)を、眼底撮影装置以外の眼科装置で行ってもよい。例えば、かかる徹照撮影を眼屈折力測定装置等の眼科撮影装置で行ってもよい。被検者眼Eへの投光条件を異ならせた徹照撮影を連続して行い、不要光(角膜反射光等)の重畳を抑制した合成画像(徹照画像)を生成できればよい。
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲及びこれと均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1:眼底撮影装置
10:眼底照明光学系
20:眼底観察・撮影光学系
30:徹照用投光光学系
40:前眼部観察・徹照撮影光学系
80:制御部
97a:第1徹照光源
97b:第2徹照光源

Claims (4)

  1. 被検者眼の眼底に撮影光を投光する投光手段と、
    前記撮影光の投光形状を変更する形状変更手段と、
    前記被検者眼の眼底を撮影して眼底画像を得る撮影手段と、
    前記被検者眼の中間透光体の混濁情報であって、前記投光形状とは異なる情報である混濁情報を取得する混濁情報取得手段と、
    前記眼底画像の画像処理を実行する画像処理手段と、
    を備え、
    前記画像処理手段は、前記混濁情報による混濁の程度に応じたコントラスト調整と前記投光形状に応じたコントラスト調整とを画像処理として実行する、
    ことを特徴とする眼底撮影装置。
  2. 情報処理装置のプロセッサに実行されることによって、
    被検者眼の眼底画像を入力する第1ステップと、
    前記眼底画像の撮影時の撮影光の投光形状に関する情報を入力する第2ステップと、
    前記被検者眼の中間透光体の混濁情報であって、前記投光形状とは異なる情報である混濁情報を入力する第3ステップと、
    前記眼底画像に対して前記混濁情報による混濁の程度に応じたコントラスト調整と前記投光形状に応じたコントラスト調整とを画像処理として実行する第3ステップと、
    前記画像処理を行った眼底画像を出力する第4ステップと、
    を情報処理装置に実行させることを特徴とする眼科用情報処理プログラム。
  3. 被検者眼の眼底に撮影光を投光する投光手段と、
    前記撮影光の投光形状を変更する形状変更手段と、
    前記被検者眼の眼底を撮影して眼底画像を得る撮影手段と、
    前記眼底画像の画像処理を実行する画像処理手段と、
    を備え、
    前記画像処理手段は、前記眼底画像に対して前記投光形状に応じたコントラスト調整を画像処理として実行する、
    ことを特徴とする眼底撮影装置。
  4. 情報処理装置のプロセッサに実行されることによって、
    被検者眼の眼底画像を入力する第1ステップと、
    前記眼底画像の撮影時の撮影光の投光形状に関する情報を入力する第2ステップと、
    前記眼底画像に対して前記投光形状に応じたコントラスト調整を画像処理として実行する第3ステップと、
    前記画像処理を行った眼底画像を出力する第4ステップと、
    を情報処理装置に実行させることを特徴とする眼科用情報処理プログラム。
JP2015236083A 2015-12-02 2015-12-02 眼底撮影装置および眼科用情報処理プログラム Active JP6784019B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015236083A JP6784019B2 (ja) 2015-12-02 2015-12-02 眼底撮影装置および眼科用情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015236083A JP6784019B2 (ja) 2015-12-02 2015-12-02 眼底撮影装置および眼科用情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2017099718A JP2017099718A (ja) 2017-06-08
JP6784019B2 true JP6784019B2 (ja) 2020-11-11

Family

ID=59016023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015236083A Active JP6784019B2 (ja) 2015-12-02 2015-12-02 眼底撮影装置および眼科用情報処理プログラム

Country Status (1)

Country Link
JP (1) JP6784019B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3756127B2 (ja) * 2002-04-19 2006-03-15 株式会社トプコン 眼科撮影装置
KR101069930B1 (ko) * 2008-10-09 2011-10-05 황호식 각막 혼탁도 측정 장치 및 측정 방법
JP6357851B2 (ja) * 2013-05-01 2018-07-18 株式会社ニデック 眼科装置
JP2015146961A (ja) * 2014-02-07 2015-08-20 キヤノン株式会社 眼科装置及び眼科装置の制御方法

Also Published As

Publication number Publication date
JP2017099718A (ja) 2017-06-08

Similar Documents

Publication Publication Date Title
US10039450B2 (en) Ophthalmologic apparatus
JP5371472B2 (ja) 眼科装置
US20130208243A1 (en) Ophthalmologic apparatus, method for controlling ophthalmologic apparatus, and storage medium
JP5170625B2 (ja) 赤外光眼底撮影方法および装置
JP6388440B2 (ja) 眼科装置
JP4850561B2 (ja) 眼科装置
JP2016185192A (ja) 眼科装置及び眼科装置の制御方法
JP2017099717A (ja) 眼科撮影装置
WO2018135175A1 (ja) 眼科装置
JP2014079392A (ja) 眼科撮影装置
JP6003234B2 (ja) 眼底撮影装置
JP2014083095A (ja) 眼科撮影装置、眼科撮影装置の制御方法、プログラム
US20160089027A1 (en) Method for photographically observing and/or documenting the fundus of an eye, and fundus camera
JP6788445B2 (ja) 眼科装置
JP6739183B2 (ja) 眼科装置
JP6713297B2 (ja) 眼科装置
JP5522841B2 (ja) 眼底撮影装置
JP6784019B2 (ja) 眼底撮影装置および眼科用情報処理プログラム
JP6912554B2 (ja) 眼科装置
JP7118197B2 (ja) 眼科装置
JP6958367B2 (ja) 眼底撮影装置
JP6959158B2 (ja) 眼科装置
JP7171162B2 (ja) 眼科撮影装置
JP6664992B2 (ja) 眼科撮影装置
JP6844949B2 (ja) 眼科装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200923

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201006

R150 Certificate of patent or registration of utility model

Ref document number: 6784019

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150