JP6625193B2 - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents

情報処理装置、情報処理装置の制御方法及びプログラム Download PDF

Info

Publication number
JP6625193B2
JP6625193B2 JP2018214952A JP2018214952A JP6625193B2 JP 6625193 B2 JP6625193 B2 JP 6625193B2 JP 2018214952 A JP2018214952 A JP 2018214952A JP 2018214952 A JP2018214952 A JP 2018214952A JP 6625193 B2 JP6625193 B2 JP 6625193B2
Authority
JP
Japan
Prior art keywords
image
layer thickness
data
region
sector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018214952A
Other languages
English (en)
Other versions
JP2019042529A (ja
Inventor
井上 宏之
宏之 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018214952A priority Critical patent/JP6625193B2/ja
Publication of JP2019042529A publication Critical patent/JP2019042529A/ja
Application granted granted Critical
Publication of JP6625193B2 publication Critical patent/JP6625193B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本発明は、例えば眼科用機器に代表される光干渉断層装置より得られる情報を処理する情報処理装置、情報処理装置の制御方法、及びプログラムに関するものである。
現在、光学機器を用いた眼科用機器として、様々なものが使用されている。例えば、眼を観察する光学機器として、前眼部撮影機、眼底カメラ、共焦点レーザー走査検眼鏡(Scanning Laser Ophthalmoscope:SLO)等、様々な機器が使用されている。中でも、多波長光波干渉を利用した光コヒーレンストモグラフィ(Optical Coherence Tomography:OCT)による光断層画像撮像装置は、試料の断層像を高解像度に得ることができる装置である。このため、眼科用機器として網膜の専門外来では必要不可欠な装置になりつつある。また、眼科用だけでなく、内視鏡等にも利用されている。以下、これをOCT装置と記す。OCT装置は眼科診断等において、被検眼の眼底における網膜の断層像や、角膜などの前眼部の断層像を取得するために広く利用されている。
OCT装置は、低コヒーレント光である測定光を、参照光と測定光に分け、測定光を被検査物に照射し、その被検査物からの戻り光と参照光を干渉させ、その干渉光のスペクトル情報から被検査物の断層を測定することができる。現在のOCT装置では、上記の干渉光のスペクトル情報から奥行き方向の情報を得ることができるスペクトラムドメイン(Spectrum Domain:SD)−OCTが一般的に利用されている。以下、本発明ではSD−OCT装置を単にOCT装置と記す。
OCT装置は測定光を、サンプル上に走査することで、高解像度の断層像を得ることができ、特定の領域に対し測定光を1次元走査することで2次元画像を取得する。そして、2次元断層画像取得のための1次元走査を、位置をずらしながら繰り返し取得することで3次元画像(ボリュームデータ)を得る。
ここで、人の眼の網膜は複数の層で構成されていることが知られており、眼科診断ではボリュームデータに基づいて層構造を読影したり、病変部の状態を確認したりする。また、網膜のボリューム画像データにおいて、病変部の状態を確認するためには、断層像を表示する他、網膜の層構造を画像解析し、層厚グラフや層厚マップ等を表示することが有効である(特許文献1)。さらに、算出した層厚を健常眼の層厚データ(Normative Data Base:NDB)と比較することも、病変部の状態確認に有効である。
しかしながら、スペクトル情報を利用して被検査物の断層像を得ようとする場合、その演算途中で行うフーリエ変換の特性上、ゲートと呼ばれる測定光路と参照光路とが等しい位置を基準として正規の断層像に対する折り返し像が生じてしまうことが知られている。そして、被検査物の断層像が、ゲート位置とクロスしてしまうような場合、正規の断層像と折り返された断層像とが重なり合い二重像となってしまう。
断層像が二重像となる場合、画像解析によるサンプルの層構造識別は困難となる。このため、二重像となった領域の層厚解析データを適正にユーザに提示することができない可能性がある。そこで、特許文献1では、折り返し像が正規の断層像に重なった状態で撮影されるのを防ぐため、適正撮影可能範囲の外に被検査物の断層像が出た場合に警告を出す眼科装置が開示されている。
特開2012−071113号公報 特開2011−092290号公報
しかしながら、特許文献2に開示の眼科装置を用いた場合でも、ユーザは折り返し像が生じた状態で撮影を行う可能性がある。これは、ゲート位置から遠ざかるほど信号強度の低下などで、断層像が不明瞭となるため、ユーザは意図的に着目部位をゲート位置に近付けて撮影を行うことがあるからである。また、人の眼の網膜は、平面ではなく湾曲した形状であるため、着目した部位から離れた領域では、断層像がゲート位置とクロスし折り返し像が生じてしまう可能性がある。さらに、強度近視など網膜の湾曲が強い場合、網膜全体を折り返し像が生じない状態で撮影することが困難な場合もある。
そこで、本発明は、上記の課題に鑑み、層厚データを適切にユーザに提示し、検査効率の向上が期待される情報を処理する情報処理装置、情報処理装置の制御方法、及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明の一態様に係る情報処理装置は、
被検査物の断層像を取得する取得手段と、
前記断層像において折り返し像が発生していない領域及び折り返し像が発声している領域を判別する判別手段と、
前記折り返し像が発生していない領域を識別可能とする解析画像データを生成する生成手段と、
前記生成手段により生成された前記解析画像データ表示手段に表示させる表示制御手段と、を備えることを特徴とする。
本発明に係る情報処理装置、情報処理装置の制御方法、及びプログラムによれば、折返し像が解析画像データへ影響を与える可能性のある領域を明示することができるため、ユーザは信頼性の高い解析画像データのみに着目することができ、診断効率の向上につながる。
本発明に係る層厚マップの説明図である。 (a)は本発明に係る光干渉断層装置の全体概要図、(b)は本発明に係る光干渉断層装置のブロック図、(c)は本発明に係る光干渉断層装置の画像取得部である測定光学系の説明図である。 本発明に係る光干渉断層装置の撮像前のリアルタイム画像(動画像)を表示する撮影画面の説明図である。 本発明に係る光干渉断層装置の断層画像を詳細に表示するレポート画面の説明図である。 人眼の網膜構造の説明図である。 (a)は本発明に係る層厚マップの生成フロー、(b)及び(c)は本発明に係る有意領域の決定方法の説明図である。 本発明に係る層厚マップ表示の変形例の説明図である。 IS/OS−RPEの有意領域特定方法の説明図である。 (a)および(c)〜(e)は本発明に係る比較層厚マップの説明図、(b)は本発明に係る比較層厚マップの生成フローである。 (a)および(c)〜(g)は本発明に係るセクター層厚データの説明図、(b)はセクター層厚データの生成フローである。 (a)は本発明に係る比較セクター層厚データの説明図、(b)は比較セクター層厚データの生成フローである。
(本体構成)
図2(a)は、本実施形態に係る光断層画像撮像装置の側面図である。200は光干渉断層装置、900は前眼部像および被検眼の2次元像および断層像を取得するための取得部(測定光学系)、950は移動部としてのステージ部で、画像取得部900をXYZ方向に不図示のモータを用いて移動可能とする。951は後述の分光器を内蔵するベース部である。
画像取得部900は、後に詳述するが、被検体の画像を取得するための光を被検体上で走査させ、被検体を撮像することで被検体の画像を取得するものである。
925はパソコンであり、断層画像の構成や、ステージ部の制御とともにアライメント動作の制御等を行う。更に後述する画像領域の特定や層構造の解析、有意領域の特定、解析画像データの生成、モニタへの表示制御等を行う。926はハードディスクで、患者情報と各種撮影データを記憶する患者情報記憶部を兼ね、断層撮像用のプログラムや参照層厚データを予め記憶する記憶部である。
928は、表示部であるモニタであり、929はパソコンへの指示を行う入力部であり、具体的にはキーボードとマウスから構成される。即ち、モニタ928は、後述する撮影画面、レポート画面を時分割する単一の共通モニタで、画像取得部900側ではなくパソコン925側に設けられる。
323は顔受けであり、不図示のモータによる上下動が可能な顎受け324、額当て325、後述の対物レンズの高さ方向の移動範囲中心に設けられた目高線326を備えている。被検者の顎を顎受け324に載せ、額を額当て325に当て、被検者の眼の高さが目高線326と略一致するように被検者の顔を固定することで、被検眼を取得部900に概略位置決めすることができる。
(ブロック図)
本実施形態における情報処理装置の構成を示すブロック図について図2(b)を用いて説明する。本実施例に係る情報処理を行うそれぞれの動作の詳細については後述する。
930は断層像生成部であり、取得部900により得られた後述の参照光の信号に基づいて断層像を生成する。
931は画像範囲特定部であり、断層像生成部930により形成された断層像を解析し、被検査物の所定部位に相当する画像領域を特定する。なお、画像領域とはモニタ928に表示される画像の領域を示し、画像領域のサイズは例えば一定である。画像範囲特定部931は、本発明における、断層像において検査を要する被検査物の被検査部位に相当する部分を画像領域に特定する特定手段に相当する。
932は層構造解析部であり、断層像生成部930により形成された断層像を解析し、被検査物の層構造を識別する。層構造解析部932は、本発明における解析手段に相当する。
933は有意領域判別部であり、画像範囲特定部931により形成された画像領域および層構造解析部932により形成された層構造に基づいて、有意領域を設定する。ここで、有意領域は本発明における特徴的な構成であり、詳細は後述する。有意領域判別部933は、本発明において画像領域の領域周辺部と断層画像との位置関係に基づいて有意領域と非有意領域を決定する判別手段に相当する。なお、この位置関係の詳細については後述する。
934は解析画像生成部であり、画像範囲特定部931により形成された画像領域や層構造解析部932により形成された層構造、有意領域判別部934により形成された有意領域、記憶部926に記憶された参照層厚データに基づいて、解析画像データを生成する。ここで、解析画像データは、被検査物の層厚をカラーマップとして表示する層厚マップや、被検査物を幾つかの領域に分割し、各々の領域(セクター)における特定の層厚の平均値データを表示するセクター層厚データなどである。解析画像生成部935は、本発明における生成手段に相当する。
935は表示制御手段であり、解析画像生成部934により生成された解析画像データを、表示手段であるモニタ928へ表示する制御を行う。また、後述するように、該表示制御手段は、断層像に基づく画像データと非有意領域に関するデータとを併せて表示する表示形態を指定してモニタ928に表示させる。
(測定光学系および分光器の構成)
本実施形態の測定光学系および分光器の構成について図2(c)を用いて説明する。まず、画像取得部900の内部について説明する。被検眼107に対向して対物レンズ135−1が設置され、その光軸上に第1ダイクロックミラー132−1および第2ダイクロイックミラー132−2が配置されている。これらのダイクロイックミラーによってOCT光学系の光路351、被検眼の観察と2次元画像の取得とを兼ねるSLO光学系と固視灯用の光路352、および前眼観察用の光路353とに波長帯域ごとに分岐される。
SLO光学系と固視灯用の光路352はSLO走査手段133、レンズ135−3および135−4、ミラー132−5、第3ダイクロイックミラー132−3、フォトダイオード173、SLO光源174、固視灯191を有している。ミラー132−5は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源174による照明光と、被検眼からの戻り光とを分離する。第3ダイクロイックミラー132−3はSLO光源174および固視灯191への光路へと波長帯域ごとに該光路を分離する。SLO走査手段133は、SLO光源174と固視灯191から発せられた光を被検眼107上で走査するものであり、X方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施形態では、Xスキャナは高速走査を行う必要があるためポリゴンミラーによって、Yスキャナはガルバノミラーによって構成されている。レンズ135−3はSLO光学系および固視灯の焦点合わせのため、不図示のモータによって駆動される。SLO光源174は780nm付近の波長の光を発生する。フォトダイオード173は、被検眼からの戻り光を検出する。固視灯191は可視光を発生して被検者の固視を促すものである。
SLO光源174から発せられた光は、第3ダイクロイックミラー132−3で反射され、ミラー132−5を通過し、レンズ135−4、135−3を通り、SLO走査手段133によって、被検眼107上で走査される。被検眼107からの戻り光は、投影光と同じ経路を戻ったのち、ミラー132−5によって反射され、フォトダイオード173へと導かれる。固視灯191は第3ダイクロイックミラー132−3、ミラー132−5を透過し、レンズ135−4、135−3を通り、SLO走査手段133によって、被検眼107上で走査される。このとき、SLO走査手段の動きに合わせて固視灯191を点滅させることによって、被検眼107上の任意の位置に任意の形状をつくり、被検者の固視を促す。
前眼観察用の光路353において、135−2、135−10はレンズ、140はスプリットプリズム、171は赤外光を検知する前眼部観察用のCCDである。このCCD171は、不図示の前眼観察用照射光の波長、具体的には970nm付近に感度を持つものである。スプリットプリズム140は、被検眼107の瞳孔と共役な位置に配置されており、被検眼107に対する画像取得部900のZ方向(前後方向)の距離を、前眼部のスプリット像として検出することができる。
OCT光学系の光路351は、前述の通りOCT光学系を成しており、被検眼107の断層画像を撮像するためのものである。より具体的には、断層画像を形成するための干渉信号を得るものである。134は光を被検眼上で走査するためのXYスキャナである。XYスキャナ134は1枚のミラーとして図示してあるが、XY2軸方向の走査を行うガルバノミラーである。
135−5、135−6はレンズであり、そのうちレンズ135−5は、光カプラー131に接続されているファイバー131−2から出射するOCT光源101からの光を、被検眼107に焦点合わせするために不図示のモータによって駆動される。この焦点合わせによって、被検眼107からの戻り光は同時にファイバー131−2の先端に、スポット状に結像されて入射されることとなる。
次に、OCT光源101からの光路と参照光学系、分光器の構成について説明する。101はOCT光源、132−4は参照ミラー、115は分散補償用ガラス、131は光カプラー、131−1〜4は光カプラーに接続されて一体化しているシングルモードの光ファイバー、135−7はレンズ、180は分光器である。
これらの構成によってマイケルソン干渉系を構成している。OCT光源101から出射された光は、光ファイバー131−1を通じ、光カプラー131を介して光ファイバー131−2側の測定光と、光ファイバー131−3側の参照光とに分割される。測定光は前述のOCT光学系光路351を通じ、観察対象である被検眼107に照射され、被検眼による反射や散乱により同じ光路を通じて光カプラー131に到達する。
光カプラー131によって、測定光と参照光は合波され干渉光となる。ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー132−4は、不図示のモータおよび駆動機構によって光軸方向に調整可能に保持され、被検眼107によって変わる測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー131−4を介して分光器180に導かれる。
また、139−1は、光ファイバー131−2中に設けられた測定光側の偏光調整部である。139−2は、光ファイバー131−3中に設けられた参照光側の偏光調整部である。これらの偏光調整部は光ファイバーをループ状にひきまわした部分を幾つか持っている。このループ状の部分をファイバーの長手方向を中心として回動させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることが可能である。
分光器180はレンズ135−8、135−9、回折格子181、ラインセンサ182から構成される。光ファイバー131−4から出射された干渉光はレンズ135−8を介して平行光となった後、回折格子181で分光され、レンズ135−9によってラインセンサ182に結像される。
以上述べたOCT光学系は、本発明において被検査物に測定光を照射して断層像を取得する取得手段に対応する。
次に、OCT光源101の周辺について説明する。OCT光源101は、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。中心波長は855nm、波長バンド幅は約100nmである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。
光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等を用いることができる。中心波長は眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長であることが望ましい。双方の理由から中心波長855nmとした。
本実施形態では干渉系としてマイケルソン干渉系を用いたが、マッハツェンダー干渉系を用いても良い。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉系を、光量差が比較的小さい場合にはマイケルソン干渉系を用いることが望ましい。
以上のような構成により、被検眼の断層像を取得することができ、かつ、近赤外光であってもコントラストの高い被検眼の2次元画像を取得することができる。
(断層画像の撮像方法)
光干渉断層装置200を用いた断層画像の撮像方法について説明する。光干渉断層装置200はXYスキャナ134を制御することで、被検眼107の所定部位の断層画像を撮像することができる。ここで、断層像取得光を被検眼中で走査する軌跡のことをスキャンパターン(走査パターン)と呼ぶ。このスキャンパターンには、例えば、一点を中心として縦横十字にスキャンするクロススキャンや、エリア全体を塗りつぶすようにスキャンし結果として3次元断層像(ボリューム画像)を得る3Dスキャンなどがある。特定の部位に対して詳細な観察を行いたい場合はクロススキャンが適しており、網膜全体の層構造や層厚を観察したい場合は3Dスキャンが適している。
ここでは、3Dスキャンを実行した場合の撮像方法を説明する。まず、図中X方向に測定光のスキャン(走査)を行い、被検眼におけるX方向の撮像範囲から所定の撮像本数の情報をラインセンサ182で撮像する。X方向のある位置で得られるラインセンサ182状の輝度分布を高速フーリエ変換(Fast Fourier Transform:FFT)し、FFTで得られた線状の輝度分布をモニタ928に示すために濃度情報に変換する。これをAスキャン画像と呼ぶ。
また、この複数のAスキャン画像を並べた2次元の画像をBスキャン画像と呼ぶ。1つのBスキャン画像を構成するための複数のAスキャン画像を撮像した後、Y方向のスキャン位置を移動させて再びX方向のスキャンを行うことにより、複数のBスキャン画像を得る。
複数のBスキャン画像、あるいは複数のBスキャン画像から構築した3次元画像(ボリュームデータ)を以下に述べるモニタ928に表示することで検者が被検眼の診断に用いることができる。ここでは、X方向のBスキャン画像を複数得ることで3次元画像を得る例を示したが、Y方向のBスキャン画像を複数得ることで3次元画像を得てもよい。
このとき、フーリエ変換の原理上の特性から、特定の位置、具体的には測定光路長と参照光路長とが等しくなる位置(ゲート位置)を基準とした対象形となる断層像が形成される。また、ゲート位置を基準とした周期的な断層像が形成される。そのため、検者に観察しやすい断層画像とするために、特定の領域(画像領域)を切り出して表示することが必要である。
(撮影画面の構成)
図3を用いて本実施形態に係る撮影画面2000について説明する。撮影画面2000は、所望の被検眼像を得るために、各種の設定および調整を行う画面であり、撮像前にモニタ928に表示される画面である。
2400は患者情報表示部であり、本画面で撮影を行う患者の情報、例えば患者ID、患者名、年齢、性別などを表示する。2001は被検眼の左右を切り替えるボタンであり、L、Rボタンを押すことにより、左右眼の初期位置に画像取得部900を移動する。2101は前眼部観察用のCCD171によって得られた前眼部観察画面であり、前眼部観察画面2101上の任意の点をマウスでクリックすることで、その点を画面の中心にするよう画像取得部900を移動させ、該画像取得部900と被検眼107との位置合わせを行う。2012はスキャンパターン表示画面であり、撮影時に行うスキャンパターンの概要が表示されている。2201はフォトダイオード173によって得られた被検眼の2次元画像表示画面、2301は取得された断層画像を確認するための断層画像表示画面である。2004は開始ボタンであり、このボタンを押すことで断層像および2次元画像の取得が開始され、2次元画像表示画面2201および断層画像表示画面2301に取得した被検眼像がリアルタイムで表示される。このとき、2次元画像表示画面2201内に表示される枠2202は、撮影時に断層像を取得する範囲である。また、縦方向の中心部にある横向きの矢印線2203は、断層画像表示画面2301に表示されている断層像を取得している被検眼上の位置およびスキャン方向を示している。
ここで、断層画像表示画面2301の外枠体2302は、本発明における画像領域を示している。画像領域2302の図中左辺および右辺はスキャン範囲2202と同境界であり、上辺は測定光路長と参照光路長が等しい位置(ゲート位置)であり、下辺は上辺から所定の長さだけ離れた位置である。
それぞれの画像の近傍に配置されているスライダは、調整を行うためのものである。スライダ2103は被検眼に対する取得部のZ方向の位置を調整するもの、スライダ2203はフォーカス調整を行うもの、スライダ2303はコヒーレンスゲートの位置を調整するものである。フォーカス調整は、眼底に対する合焦調整を行うために、レンズ135−3および135−5を図示の方向に移動する調整である。コヒーレンスゲート調整は、断層画像が断層画像表示画面の所望の位置で観察されるために、参照ミラー132−4を図示の方向に移動する調整である。これにより、OCT光学系における断層像と参照光路との光路長差が変更されるため、断層画像表示画面2301中の断層像は上下方向に移動し、検者は断層画像、より詳細には被検査部位を断層画像表示画面の所望の位置に配置するように画像領域を特定することができる。
これらの調整操作により、検者は最適な撮像が行える状態を創出する。2003は撮像ボタンであり、各種調整が終了したときに、このボタンを押すことで所望の撮像が行われる。
(レポート画面の構成)
図4を用いて本実施形態に係るレポート画面4000について説明する。レポート画面4000は、モニタ928に表示される画面であり、撮像した被検眼像および画像解析データを詳細に確認する画面である。
4001は患者情報表示部であり、本画面で表示されている患者の情報、例えば患者ID、患者名、生年月日、性別、人種などを表示する。4100は2次元画像表示画面であり、SLO像もしくは、取得された断層画像から再構築或いは再構成した被検眼画像であるプロジェクション像が表示される。4200は断層画像表示画面であり、取得された断層画像が表示される。2次元画像表示画面4100には、断層画像表示画面4200に表示されている断層像を取得した際の走査軌跡の概要図が矢印4102として重畳表示される。さらに、後述するセクターデータのもととなるグリッド4103が重畳表示される。
4300は層厚マップ、4400は比較層厚マップ、4500はセクター層厚データ、4600は比較セクター層厚データである。以下では、これらについて詳細に説明する。
(層厚マップ)
図1を用いて本実施形態に係る層厚マップについて説明する。
ここで、人の網膜は、図5に示すように硝子体、内境界膜(ILM)、神経線維層(NFL)、神経節細胞層(GCL)、内網状層(IPL)、内顆粒層(INL),外網状層(OPL)、外顆粒層(ONL)、IS/OS−RPE(視細胞内節外節接合部−網膜色素上皮)と呼ばれる構造などで構成されている。そして、例えば緑内障の診断には、NFL、GCLとIPLとを合わせた神経節細胞複合体(GCC、登録商標)と呼ばれる層の厚み分布が重要であることが知られている。上記診断には、層厚マップと呼ばれる画像解析データが有効である。これは、特定の層の厚みの大小を色の変化として表示したものである。
層厚マップについて、図1を用いて説明する。ここでは、図1(a)に示すような折返し像を含む断層像のボリュームデータの場合に生成される層厚マップについて説明する。図1(c)は、本発明で特徴的な有意領域を設定しない場合の層厚マップの概要図である。4301は2次元画像、4300は層厚マップ、4310は層厚に対応する色を示したカラースケールである。層厚マップ4300の領域内は、特定の層の層厚解析結果に基づいた層厚を、カラースケール4310に対応する色で表現している。これにより、ユーザは層厚の分布を容易かつ直感的に観察することができ、診断を効率的に行うことができる。なお、図1(c)では、塗りつぶす色を半透明色とし、2次元画像4301に重畳して表示している。
しかしながら、断層像の折返し像が生じている部分は、層構造の解析が困難となるため、4300の周縁部のように0μmと表示されることや、不連続なデータとなる可能性があり、その信頼性は低いデータとなる場合がある。このようなデータをユーザに提示すると、ユーザは層厚に異常がある部位であるのか、それとも折返し像による層厚算出の失敗なのかを逐次確認しなければならず、診断効率が低下してしまう恐れがある。
これに対し、図1(b)に本発明で特徴的な有意領域を設定した場合の層厚マップを示す。4301は2次元画像、4300は層厚マップ、4310は層厚に対応する色を示したカラースケール、4320は有意領域以外の領域(マスキング領域)を示すインジケータである。層厚マップ4300中のマスキング領域4303で示すように、折返し領域を識別しユーザに明示することで、ユーザは信頼性の高いデータのみを容易に認識することができる。このため、折返し像による層厚算出の失敗を確認する必要が無く、真に異常がある部位のみに着目することができ、診断効率を向上させることができる。
次に図6を用いて、本実施形態に係る層厚マップの生成フローについて説明する。まずステップS1にて開始した後、ステップS2にて取得部900により断層像のボリュームデータが取得され、断層像生成部930によって断層像が生成される。
次に、ステップS3にて画像範囲特定部931は、ステップS2にて生成された断層像に対して画像領域を設定する。ここで、画像領域とは、前述のように断層像生成時のフーリエ変換により生ずる周期的な断層像から一部分を切り出す領域のことであり、レポート画面4000における断層画像表示画面4200の外枠、および層厚マップ4300の外枠4302である。すなわち、画像領域とは、モニタ928における断層像が表示される領域である画像表示領域と等価である。
次に、ステップS4にて層構造解析部932は被検査物の層構造を解析する。層構造の解析は、各層の反射率の違いにより信号強度が異なることを利用することで各層を識別することができる。
次に、ステップS5にて有意領域判別部933は有意領域の特定を行う。有意領域判別部933は、特定の層と画像領域との位置関係に基づいて、有意領域を設定する。ここで、その有意領域判別部の具体的な動作について、図6(b)を用いて説明する。ここでは、GCCを層厚測定対象として、ILMと画像領域上辺との位置関係を算出する例を説明する。T1、T2、T3、・・・、T(n−1)、Tnは、ボリュームデータを構成している各断層像を示している。ここで、断層像T1に着目する。まず、有意領域判別部933は、断層像の図中左右方向の中心位置C1を設定する。次に、中心位置C1から図中左右方向にそれぞれILMと画像領域上辺との交点を求める。そして、左右それぞれの交点の座標をM1LおよびM1Rとする。このM1LとM1Rの間の領域は、折返し像の生じていない有意領域であり、信頼性の高い層厚を得ることができる領域である。一方、有意領域外の領域は折返し像が生じ、正規像との二重像となっているため、得られる層厚の信頼性は低い可能性がある。ILMと画像領域上辺との交点を求めることは、例えば、モニタ928における断層像が表示される領域である画像表示領域の周縁部(例えば上端)に断層像に含まれる所定の層(例えばILM)が接している点を求めることと等価である。
上記と同じ方法を用い、各断層像について、上辺とILMとの交点M2L、M3L、・・・、MnLおよびM2R,M3R、・・・、MnRを求める。ここで、断層像T3のように、着目している層と画像領域の上辺が交差しない場合は、画像領域の左右の境界がそれぞれM3LおよびM3Rのように交点として設定される。また、断層像Tnのように、着目している層が全域において折返し像となっている場合は、層構造解析部932はILMを識別することができないため、中心点CnがそれぞれMnLおよびMnRのように交点として設定される。上記によって、ボリュームデータを構成する断層像全てに対して交点を設定後、各交点をつなぎあわせることで、図6(c)に示すような有意領域1000および有意領域外の領域1001を得ることができる。
上述の方法で有意領域判別部933がステップS5にて有意領域を特定したのちステップS6に進み、解析画像生成部934はステップS4で得られた層構造と、ステップS5にて得られた有意領域に基づいて、層厚マップデータを生成する。具体的には、有意領域内のAスキャンデータに対しては、層構造をもとに特定の層、ここではGCCの厚みを測定し、それに対応するカラーデータを保持する。一方、有意領域外のAスキャンデータに対しては、マスキング領域を示すカラーデータ或いはパターンを保持する。ステップS6で層厚マップデータを生成した後、ステップS7でレポート画面4000に表示し、ステップS8で終了する。
上述のフローにより層厚マップを生成することで、ユーザは折返し像が層厚解析データに影響を与えている可能性のある領域を瞬時に判別できる状態で、眼科診断に有用な層厚マップを観察できるため、診断効率の向上につながる。
ここで、上述のステップS6にてマスキング領域に対して層厚測定は行わなかったが、マスキング領域に対しても層厚測定を行っても良い。その際、マスキング領域に対してもカラーデータを保持させ、その上にマスキング領域を示すカラーデータ或いはパターンを半透明で重畳する。この表示例を図7(a)に示す。図7(a)のような層厚マップとすることで、ユーザは画像領域全体の層厚分布を確認できるとともに、信頼性の高い有意領域を識別することができる。
また、マスキング領域は特定の色或いはパターンで塗りつぶさなくてもよく、図7(b)に示すように、その境界線4304のみを層厚マップ中に描画し、ユーザに識別可能な表示としてもよい。
上記の層厚マップの説明では、GCCの層厚を例として説明したが、GCC以外の層でもよい。眼科診断ではGCCの他に、IS/OS−RPE層にも着目することが多い。これは、加齢黄斑変性等の診断にRPEにおける脈絡膜新生血管の有無などの観察が有効だからである。したがって、図示しない層選択手段によって、解析を行う層を選択できるようにするのが望ましい。
この場合の有意範囲の特定方法を図8を用いて説明する。IS/OS−RPE層に対して有意範囲を設定する場合、上述のフローによるとIS/OSラインと画像範囲との交点1100を求め、そこから有意領域を設定することとなる。しかしながら、IS/OSラインとILMの折返し像との交点1101と、交点1100との間は、折返し像が正規の断層像とクロスしているため、層厚の解析が困難である。したがって、IS/OSラインがILMの折返し像と交差する点1101に基づいて有意領域を設定することが望ましい。ここで、交点1101の求め方について一例を紹介する。
まず、ILMと画像領域上辺との交点1102を求める。次に、1102点と同じX位置でのIS/OSラインとの交点1103を求める。そして、そのZ位置とILMとの交点1104を求める。ここで、局所的に見た網膜の各層を直線に近似し、かつ各層は平行であると仮定すると、交点1102と交点1101までの距離1106は、交点1102と交点1104との距離1105の半分である。上記の計算によって、交点1101を推定することができる。ILMを有しない層厚解析に対して、上記のような方法で有意領域を設定することで、折返し像によって層厚測定に影響が出る可能性のある領域を効率的に除きつつ、有意領域をできるだけ広げてユーザに提示することが可能である。
(層厚マップNDB)
次に、比較層厚マップ4400について図9を用いて説明する。比較層厚マップは、参照となる層厚マップと、前記の層厚マップを比較した結果を表示するものである。ここで、参照となる層厚マップは、標準的な人眼網膜の層厚マップや、同一患者の過去の層厚マップ、同一患者の左右眼他方の層厚マップであり、予め記憶部926に記憶されている。
図9(a)を用いて比較層厚マップの構成を説明する。4400は比較層厚マップ、4410は比較層厚データに対応する色を示したカラースケール、4420は有意領域以外の領域(マスクされた領域又はマスキング領域)を示すインジケータである。
比較層厚マップ4400においても、層厚マップと同様にマスキング領域4403で示すように、折返し領域を識別しユーザに明示することで、ユーザは信頼性の高いデータのみを容易に認識することができる。
次に、図9(b)を用いて、比較層厚マップの作成フローについて説明する。ステップS101からステップS105までは上述の層厚マップのステップS1からステップS5までと同様の動作であるので説明を省略する。
ステップS105で有意領域を設定した後、ステップS106で解析画像生成部934は記憶部926から参照層厚マップを呼び出す。ステップS107で解析画像生成部934は、S104で生成された層構造から層厚マップを生成し、その各位置の層厚に対するS106で呼び出された参照層厚マップの厚みに基づいて参照層厚に対する割合を算出し、比較層厚マップの元となるデータを生成する。
そして、ステップS105で生成された有意領域と組み合わせ、前述の層厚マップと同様カラーマップによる比較層厚マップを生成する。この比較層厚マップの例を図9(a)に示す。図9(a)では、マスキング領域をパターンで塗りつぶした例を示しているが、前述の層厚マップと同様に、カラーデータの上に半透明のパターンを重畳する表示方法(図9(c))や境界線のみを表示方法(図9(d))でも良い。上述では、参照層厚データに対する割合データを生成する例を示したが、図9(e)のように差分量データを生成し表示してもよい。
なお、参照層厚データとして用いられるデータには、健常眼の層厚データや、同一眼の過去検査データ、同一患者の左右他方眼データなどが挙げられる。健常眼の層厚データはNormative Data Base(NDB)と呼ばれ、人種や年齢別の健常眼の層厚データとなっている。このNDBと該当患者の層厚を比較することで、患者の層厚の異常を容易に確認することが可能となる。特に、GCCの層厚に着目することで、緑内障の診断に非常に有効であることが知られている。
また、同一眼の過去の検査データは経過観察に有用であり、層厚の経時変化を容易に確認することが可能となる。このため、緑内障の進行状況の診断などに用いられる。さらに、同一患者の左右他方眼を参照層厚データとして用いる場合は、片眼に異常が有る場合に有用である。
上記のように、比較層厚マップに対しても有意領域を設定しユーザに提示することで、ユーザは折返し像の無い状態での信頼性の高いデータを容易に判別することができる状態で眼科診断に有用な比較層厚マップを観察できるため、診断効率の向上につながる。
(セクターデータ)
次に、図10を用いて、セクター層厚データの構成について説明する。図10(a)の4501は、前述のグリッド4103によって被測定物を分割した際の、各セクター内の層厚平均値を示したセクター層厚データである。図10(a)の4502は、複数の近接する複数のセクター領域を組み合わせた際の、各セクター内の層厚平均値を示したセクター層厚データである。図10(a)の4503は、全てのセクター領域を組み合わせた際の、セクター内の層厚平均値を示したセクター層厚データである。
次に、図10(b)を用いて、セクター層厚データを生成し表示する動作フローについて説明する。ステップS201からステップS205までは上述の層厚マップのステップS1からステップS5までと同様の動作であるので説明を省略する。ステップS205で有意領域を設定した後、ステップS206で解析画像生成部934はステップS204で得られた層構造と、グリッド4103のデータをもとにセクターを生成し、そのセクターを構成する全ての層厚データから各セクターの層厚平均値を算出する。次に、ステップS205で生成された有意領域の情報に基づき、ステップS206でセクター層厚データを生成し、ステップS207で表示する。
ここで、セクター層厚データの表示方法は、図10(a)で示された数字のみの表示に限ることは無い。例えば、図10(c)に示すように、各セクターをその層厚に対応する色で塗りつぶすように表示してもよい。また、図10(d)に示すように、二次元画像や前述の層厚マップに重畳する形式で表示しても良い。
次に、セクター領域と有意領域外の領域(マスキング領域)とが重なっている場合について説明する。図10(e)に示すように、マスキング領域4511が、セクター領域4510に掛かっている場合、図10(f)および(g)のような形式で表示することで、ユーザは折返し像によって層厚データに影響を与えている可能性があるデータと、そうでないデータを瞬時に識別することができる。図10(f)の4521のセクターは、そのセクター領域全てがマスキング領域に内包されていることを、セクター内の色情報で示している。即ち、有意領域に内包されているセクター領域と、内包されているセクター領域以外のセクター領域とで表示する色を変更している。また、図10(f)の4522のセクターは、そのセクター領域の一部がマスキング領域に重なっていることを、セクター内の色情報で示している。
ここで、セクター4512とセクター4513では、異なる色によってセクターを表示しているが、マスキング領域と重なっているか否かという識別のみができれば良い場合は、同一の表示色であってもよい。このような表示方法にすることで、ユーザは一目で折返し像による影響の可能性があるのか否かを判別することができる。また、図10(g)では、数字の表示形態を変更した例を示している。図10(g)の4531のセクターは、そのセクター領域全てがマスキング領域に内包されていることを、セクター内の層厚データを示す数字に囲み文字を使用することで示唆している。また、図10(g)の4532のセクターは、そのセクター領域の一部がマスキング領域に重なっていることを、セクター内の層厚データを示す数字に括弧を使用することで示唆している。このような表示方法にすることで、二次元画像や層厚マップに重畳する形式で表示した場合でも、見易いセクター層厚データを提供できる。
ここで、上記ステップS206でセクター層厚平均値を算出する際、そのセクターを構成する全ての層厚データから平均値を算出する例を示したが、セクター内かつ有意領域内の層厚データのみを用いて平均値を算出しても良い。これにより、折返し像が層厚データに与える影響を排除することが可能となる為、信頼度の高いセクター層厚データとすることができる。なお、この際には、図10(f)や(g)のような表示方法にて、マスキング領域によって計算に用いるデータを選別した旨をユーザに通知することが望ましい。
(セクターNDB)
次に、比較セクター層厚データ4600について図11を用いて説明する。ここで、参照となるセクター層厚データ(参照用層厚)は、標準的な人眼網膜のセクター層厚データや、同一患者の過去のセクター層厚データ、同一患者の左右眼他方のセクター層厚データであり、予め記憶部926に記憶されている。
図11(a)を用いて比較セクター層厚データについて説明する。図11(a)の4601は、前述のグリッド4103によって被測定物を分割した際の、各セクター内の層厚平均値を示したセクター層厚データと対応する参照セクター層厚データとを比較し、その割合を表示している。
図11(a)の4602は、複数の近接する複数のセクター領域を組み合わせた際の、各セクター内の層厚平均値を示したセクター層厚データと対応する参照セクター層厚データとを比較し、その割合を表示している。図11(a)の4503は、全てのセクター領域を組み合わせた際の、セクター内の層厚平均値を示したセクター層厚データと対応する参照セクター層厚データとを比較し、その割合を表示している。
次に、図11(b)を用いて、セクター層厚データを生成し表示する動作フローについて説明する。ステップS301からステップS305までは上述の層厚マップのステップS1からステップS5までと同様の動作であるので説明を省略する。ステップS305で有意領域を設定した後、ステップS306で解析画像生成部934は記憶部926から参照セクター層厚データを呼び出す。
次に、ステップS307で解析画像生成部は、前述のS206と同様にセクター層厚データを生成し、その各セクター位置の層厚に対するS306で呼び出された参照セクター層厚データの厚みに基づいて参照層厚に対する割合を算出し、比較セクター層厚データの元となるデータを生成する。そして、ステップS305で生成された有意領域と組み合わせ、比較セクター層厚データを生成する。このデータをステップS308で表示する。
ここで、比較層厚データの表示方法は図11(a)の他に、図10(c)のように算出値に対応する色でセクター領域を塗りつぶした表示方法や、図10(d)のように二次元画像や層厚マップに重畳する表示方法もある。
また、マスキング領域がセクター領域に重なっている場合についても、セクター領域とマスキング領域の位置関係によって、図10(f)のようにセクター内の色情報を変更する方法や、図10(g)のように、文字の表示形態を変更する方法などがある。
ここで、比較層厚データの表示方法は図11(a)の他に、図10(c)のように算出値に対応する色でセクター領域を塗りつぶした表示方法や、図10(d)のように二次元画像や層厚マップに重畳する表示方法もある。
上述では、参照セクター層厚データに対する割合データを生成する例を示したが、前述の比較層厚マップと同様に、差分量データを生成し表示してもよい。
なお、参照層厚データとして用いられるデータには、比較層厚マップと同様に、健常眼の層厚データや、同一眼の過去検査データ、同一患者の左右他方眼データなどが挙げられる。
さらに、上記ステップS206でセクター層厚平均値を算出する際、そのセクターを構成する全ての層厚データから平均値を算出する例を示したが、前述のようにセクター内かつ有意領域内の層厚データのみを用いて平均値を算出しても良い。
以上のように、層厚マップやセクター層厚データにおいて、折返し像による影響の可能性の有無をユーザに提示することで、ユーザは被検眼の病変部位に着目することができ、診断効率を向上させることができる。
以上述べたように、本発明によれば、被検査物が複数の層で構成されていても、各層に対して適切な層厚をユーザに提示することができ、更に、層厚マップにおける表示方法を色や境界線で表示することで、折返し像が層厚解析データへ影響している可能性がある領域を認識し易くすることができる。
また、本発明によれば、セクター層厚データにおける表示方法を文字形態や色で表示することで、折返し像が層厚解析データへ影響している可能性がある領域を認識し易くすることができる。
更に、本発明によれば、折返し像によるセクター層厚データへの影響を取り除くことができるため、セクター層厚データの信頼性を向上させることができる。
[その他の実施例]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理についても本発明の一形態を構成する。
更に、本件は上記の実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変形、変更して実施することができる。例えば、上記の実施例では、被測定物が眼の場合について述べているが、眼以外の皮膚や臓器等の被測定物に本発明を適用することも可能である。この場合、本発明は眼科装置以外の、例えば内視鏡等の医療機器としての態様を有する。従って、本発明は眼科装置に例示される検査装置として把握され、被検眼は被検査物の一態様として把握されることが望ましい。
107・・被検眼、101・・OCT光源、133・・SLOスキャナ、134・・OCTスキャナ、174・・SLO光源、900・・画像取得部、925・・パソコン、926・・ハードディスク、928・・モニタ、930・・画像生成部、931・・画像範囲特定部、932・・層構造解析部、933・・有意領域判別部、934・・解析画像生成部、935・・表示制御手段、950・・ステージ部、4000・・レポート画面、4300・・層厚マップ、4302・・画像領域、4303・・マスキング領域、4310・・カラースケール、4320・・マスキング領域インジケータ、4400・・比較層厚マップ、4500・・セクター層厚データ、4600・・比較セクター層厚データ

Claims (7)

  1. 被検査物の断層像を取得する取得手段と、
    前記断層像において折り返し像が発生していない領域及び折り返し像が発生している領域を判別する判別手段と、
    前記折り返し像が発生していない領域を識別可能とする解析画像データを生成する生成手段と、
    前記生成手段により生成された前記解析画像データを表示手段に表示させる表示制御手段と、を備えることを特徴とする情報処理装置。
  2. 前記解析画像データは、特定の層に関する層厚マップであることを特徴とする請求項1に記載の情報処理装置。
  3. 照層厚マップを記憶する記憶手段を更に備え、
    前記解析画像データは、前記参照層厚マップに対応する前記層厚マップの割合もしくは差分量を含
    むことを特徴とする請求項に記載の情報処理装置。
  4. 前記生成手段は、前記折り返し像が発生していない領域の前記層厚マップをカラーマップとして生成し、
    前記折り返し像が発生している領域の前記層厚マップ前記折り返し像が発生していない領域の前記層厚マップとは異なる色もしくはパターンとすることを特徴とする請求項又はに記載の情報処理装置。
  5. 前記生成手段は、前記折り返し像が発生している領域の周縁部に境界線を描画した前記層厚マップを生成することを特徴とする請求項乃至のいずれか1項に記載の情報処理装置。
  6. 被検査物の断層像を取得する取得工程と、
    前記断層像において折り返し像が発生していない領域及び折り返し像が発生している領域を判別する判別工程と、
    前記折り返し像が発生していない領域を識別可能とする解析画像データを生成する生成工程と、
    前記生成工程により生成された前記解析画像データを表示手段に表示させる表示制御工程と、を含むことを特徴とする情報処理装置の制御方法。
  7. 請求項に記載の制御方法の各工程をコンピュータに実行させることを特徴とするプログラム。
JP2018214952A 2018-11-15 2018-11-15 情報処理装置、情報処理装置の制御方法及びプログラム Active JP6625193B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018214952A JP6625193B2 (ja) 2018-11-15 2018-11-15 情報処理装置、情報処理装置の制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018214952A JP6625193B2 (ja) 2018-11-15 2018-11-15 情報処理装置、情報処理装置の制御方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017080656A Division JP6437038B2 (ja) 2017-04-14 2017-04-14 情報処理装置、情報処理装置の制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019042529A JP2019042529A (ja) 2019-03-22
JP6625193B2 true JP6625193B2 (ja) 2019-12-25

Family

ID=65815937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018214952A Active JP6625193B2 (ja) 2018-11-15 2018-11-15 情報処理装置、情報処理装置の制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6625193B2 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006022045A1 (ja) * 2004-08-26 2006-03-02 National University Corporation Nagoya University 光干渉断層装置
JP5192250B2 (ja) * 2008-02-04 2013-05-08 株式会社トプコン 眼底観察装置
CA2746382C (en) * 2008-12-19 2020-01-07 University Of Miami System and method for early detection of diabetic retinopathy using optical coherence tomography
JP5415902B2 (ja) * 2009-10-27 2014-02-12 株式会社トプコン 眼科観察装置
JP6180073B2 (ja) * 2010-08-31 2017-08-16 キヤノン株式会社 画像処理装置及びその制御方法、並びに、プログラム
JP2012161545A (ja) * 2011-02-09 2012-08-30 Panasonic Corp 光断層画像取得装置
EP2687150A1 (en) * 2012-07-20 2014-01-22 Canon Kabushiki Kaisha Method, apparatus and program for detecting a region in an OCT scan of an object affected by a reflection artifact
JP6108890B2 (ja) * 2013-03-15 2017-04-05 キヤノン株式会社 画像処理システム、画像処理方法及びプログラム。

Also Published As

Publication number Publication date
JP2019042529A (ja) 2019-03-22

Similar Documents

Publication Publication Date Title
JP6130723B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP6865788B2 (ja) 眼科装置
JP6321430B2 (ja) 眼科装置
JP5842330B2 (ja) 眼底光凝固レーザ装置
JP5306493B2 (ja) 眼科装置および眼科装置の制御方法並びにプログラム
JP5324839B2 (ja) 光画像計測装置
JP6412707B2 (ja) 眼科装置
JP6429447B2 (ja) 情報処理装置、比較方法、位置合わせ方法及びプログラム
JP5792977B2 (ja) 画像処理装置、画像処理方法、眼科装置及び医療システム
JP6188296B2 (ja) 画像処理装置及び画像処理方法
JP6415030B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6624641B2 (ja) 眼科装置
JP6057620B2 (ja) 光断層画像撮像装置、画像処理装置及び光断層画像の表示方法
JP2019088382A (ja) 画像処理装置、眼科撮影装置、画像処理方法、及びプログラム
JP2014147501A (ja) 光断層撮像装置およびその制御方法
JP6499398B2 (ja) 眼科装置および制御方法
JP2014048126A (ja) 撮像装置および撮像方法
JP2016221111A (ja) 画像処理装置及び画像処理方法
JP5241878B2 (ja) 眼科システム、眼科装置、制御方法およびプログラム
JP6437038B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP6625193B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2017221741A (ja) 画像生成装置、画像生成方法およびプログラム
JP5970833B2 (ja) 眼科解析装置及びプログラム
JP6308723B2 (ja) 制御装置及びその作動方法、並びに、プログラム
JP6701250B2 (ja) 眼科撮影装置及びその制御方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191126

R151 Written notification of patent or utility model registration

Ref document number: 6625193

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151