JP7327954B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP7327954B2
JP7327954B2 JP2019044262A JP2019044262A JP7327954B2 JP 7327954 B2 JP7327954 B2 JP 7327954B2 JP 2019044262 A JP2019044262 A JP 2019044262A JP 2019044262 A JP2019044262 A JP 2019044262A JP 7327954 B2 JP7327954 B2 JP 7327954B2
Authority
JP
Japan
Prior art keywords
image
motion contrast
range
data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019044262A
Other languages
English (en)
Other versions
JP2020146135A (ja
Inventor
悦朗 和田
弘樹 内田
律也 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019044262A priority Critical patent/JP7327954B2/ja
Publication of JP2020146135A publication Critical patent/JP2020146135A/ja
Application granted granted Critical
Publication of JP7327954B2 publication Critical patent/JP7327954B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、画像処理装置および画像処理方法に関する。
生体などの測定対象の断層画像を非破壊かつ非侵襲で取得する方法として、光干渉断層撮影法(Optical Coherence Tomography:以下、「OCT」と称する)が実用化されている。このOCTを用いた撮影を行う撮影装置(以下、「OCT装置」と称する)は、特に眼科領域において被検眼の眼底における網膜の断層画像を取得して、網膜の眼科診断を行う場合などにおいて広く利用されている。
このOCT装置では、測定対象から反射した光と参照光とを干渉させて、その干渉した光の強度の時間依存性または波数依存性を解析することにより、測定対象の断層画像を得ている。このようなOCT装置としては、参照鏡の位置を変えることで測定対象の深さ情報を得るタイムドメインOCT装置や、広帯域光源を使用したスペクトラルドメインOCT(Spectral Domain OCT:以下、「SD-OCT」と称する)装置、発振波長を変えることができる波長可変光源装置を光源として使用した波長掃引光コヒーレンストモグラフィー(Swept Source Optical Coherence Tomography:以下、「SS-OCT」と称する)装置などが知られている。なお、SD-OCTとSS-OCTは、総称してFD-OCT(Fourier Domain OCT)と呼ばれる。
近年、このFD-OCTを用いた血管造影法が提案されており、これは、OCT Angiography(以下、「OCTA」と称する)と呼ばれている。
現代の臨床医療において一般的な血管造影法である蛍光造影は、体内に蛍光色素(例えば、フルオレセインまたはインドシアニングリーン)の注入を必要とし、蛍光色素の通り道となる血管を2次元的に表示するものである。しかしながら、造影剤に対する副作用が出ることがあり、吐き気、発疹、咳が出ることや、まれにショック症状を起こす場合もあり、この蛍光造影にはリスクを伴う。一方で、OCTAは、非侵襲で血管造影を可能にし、血管ネットワークを3次元的に表示することが可能である。さらに、OCTAは、例えば、測定対象を被検眼の眼底とした場合に微小血管を描出することができるため、注目を集めている。
このOCTAは、血管領域の検出方法の違いにより、従来から血流による強度のバラツキを利用した方法や血流による位相と強度の変化を利用した方法など、複数の方法が提案されている。特許文献1では、検出した血管領域を断層画像にプロットすることで血流情報断面画像(モーションコントラスト断層画像)を生成する方法、および、血流情報断面画像の信頼度を判定する方法について開示されている。
また、網膜表層血管内のモーションコントラストが深層側(網膜深層や網膜外層・脈絡膜)に映り込み、実際には血管の存在しない深層側の領域に高い脱相関値が生じる現象であるプロジェクションアーチファクトが知られている。非特許文献1では、Step-down Exponential Filtering法を用いて、モーションコントラストデータにおけるプロジェクションアーチファクトを低減する手法が開示されている。これは、減衰係数を用いてモーションコントラストデータを補正することにより、モーションコントラストデータにおけるプロジェクションアーチファクトを低減する手法である。
特開2017-144047号公報
Mahmud et al.;"Review of speckle and phase variance optical coherence tomography to visualize microvascular networks",Journal of Biomedical Optics 18(5),050901(May 2013)
このように、被検者の所定部位のモーションコントラスト画像を生成する際、プロジェクションアーチファクトを血流情報として誤って提示する場合があり、医師の診断精度の低下や誤診を招く可能性がある。そのため、プロジェクションアーチファクトを低減した状態で画像を観察したいという要望がある。しかしながら、プロジェクションアーチファクトを完全に低減することは難しい。このため、プロジェクションアーチファクトの低減処理を行うことによっても、医師の診断精度の低下や誤診を招く可能性がある。
本発明の目的の一つは、上記課題に鑑み、アーチファクトの低減処理が仮に上手くいかなかったとしても、検者が医用画像を好適に観察可能となるように構成することである。
本発明に係る画像処理装置の一つは、
被検者の所定範囲のモーションコントラストデータにおけるプロジェクションアーチファクトの低減処理を適用するか否かを選択する選択手段と、
前記選択手段による選択の結果に対応する前記所定範囲のモーションコントラスト画像を表示手段における表示画面に表示させるとともに、前記選択の結果に対応する前記所定範囲のモーションコントラスト情報が重畳された状態で所定部位の輝度断層画像を前記表示画面に表示させる表示制御手段と、を有し、
前記表示制御手段が、第1の範囲のモーションコントラスト画像と第2の範囲のモーションコントラスト画像を表示し、前記第1の範囲のモーションコントラスト情報と前記第2の範囲のモーションコントラスト情報がそれぞれ重畳された前記所定部位の第1と第2の輝度断層画像を同時に表示する。
本発明の一つによれば、アーチファクトの低減処理が仮に上手くいかなかったとしても、検者が医用画像を好適に観察可能となるように構成することができる。
本実施形態に係る撮影装置の概略構成の一例を示す図である。 本実施形態に係る撮影装置の撮影時に表示部に表示される撮影画面の一例を示す図である。 本実施形態に係る撮影装置の撮影におけるスキャンパターンの一例を説明するための図である。 本実施形態に係る撮影装置の駆動方法を示し、干渉信号取得処理の具体的な処理手順の一例を示すフローチャートである。 本実施形態に係る撮影装置の駆動方法を示し、干渉信号の具体的な信号処理手順の一例を示すフローチャートである。 本実施形態を示し、図5のステップS216におけるセグメンテーション結果の一例を示す図である。 本実施形態を示し、図5のステップS217において生成されたOCTAのen-face画像の一例を示す図である。 本実施形態を示し、プロジェクションアーチファクト低減に関する表示の一例を示す図である。 本実施形態に係る画像処理装置の一例を示す図である。 本実施形態に係る投影範囲と層境界の関係を示す図である。
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。
[撮影装置の概略構成]
図1は、本実施形態に係る撮影装置100の概略構成の一例を示す図である。ここで、本実施形態に係る撮影装置100は、光干渉断層撮影法(OCT)を用いた撮影を行う撮影装置(OCT装置)である。具体的に、本実施形態に係る撮影装置100としては、例えば、SD-OCT装置やSS-OCT装置などを適用することができるが、以下に説明する撮影装置100としては、SS-OCT装置を適用した場合の例について説明する。また、以下の説明では、血管が存在する測定対象として被検眼Eの眼底Erを適用した例について説明を行うが、本発明においてはこれに限定されるものではなく、血管が存在する測定対象であれば如何なるものも適用可能である。また、図1には、被検眼Eの水晶体Elも図示されている。
本実施形態に係る撮影装置100は、図1に示すように、波長掃引光源11、走査型レーザー検眼鏡(Scanning Laser Ophthalmoscope:以下、「SLO」と称する)用のSLO光源12、OCT干渉部20、検出部30、コンピュータ40、測定アーム50、参照アーム60、表示部70、SLO光学系80、前眼部撮影部90、ダイクロイックミラー105、対物レンズ106、照明光源107、及び、内部固視灯110を有して構成されている。
波長掃引光源11は、射出される光の周波数が掃引される光源である。SLO光源12は、本実施形態に係る撮影装置100において必須の光源ではないが、SLO画像を取得するために設けられている。
OCT干渉部20は、干渉光を生成する構成である。検出部30は、OCT干渉部20で生成された干渉光を検出する構成である。コンピュータ40は、撮影装置100における駆動を統括的に制御したり、各種の情報処理を行ったりする。例えば、コンピュータ40は、検出部30で検出した干渉光に基づいて被検眼Eの眼底Erの情報を取得する。表示部70は、コンピュータ40の制御に基づいて、各種の情報や各種の画像などを表示する。
SLO光学系80は、被検眼Eの眼底Erからの反射光を得るための構成である。前眼部撮影部90は、被検眼Eの前眼部を撮影する構成である。
<OCT測定系の構成>
OCT干渉部20は、カプラ21及び22を有して構成されている。
まず、カプラ21は、波長掃引光源11から射出された光を被検眼Eの眼底Erへ照射する測定光と参照光とに分岐する。ここで、本例においては、その分岐比を2:8程度とし、測定光:参照光=2:8である。
カプラ21で分岐された測定光は、測定アーム50を経由して被検眼Eの眼底Erに照射される。より具体的には、測定アーム50に入射した測定光は、偏光コントローラ51で偏光状態を整えられた後、コリメータ52から空間光として射出される。その後、測定光は、X走査スキャナー53、レンズ54及び55、Y走査スキャナー56、ダイクロイックミラー103、レンズ57、フォーカスステージ59に固定されたフォーカスレンズ58、対物レンズ106を介して、被検眼Eの眼底Erに照射される。なお、X走査スキャナー53及びY走査スキャナー56は、被検眼Eの眼底Erを測定光で走査する機能を有する走査手段である。この走査手段によって、測定光の眼底Erへの照射位置が変えられる。また、ダイクロイックミラー103は、波長1000nm~1100nmの光を反射し、それ以外の光を透過する特性を有する。そして、被検眼Eの眼底Erからの後方散乱光(反射光)は、再び上述の光学経路を辿り、測定アーム50から射出される。そして、カプラ21を経由してカプラ22に入射する。この際、上述した分岐比に従って眼底Erからの戻り光の8割がカプラ22に導かれる。
一方、カプラ21で分岐された参照光は、参照アーム60を経由し、カプラ22に入射する。より具体的には、参照アーム60に入射した参照光は、偏光コントローラ61で偏光状態を整えられた後、コリメータ62から空間光として射出される。その後、参照光は、分散補償ガラス63、光路長調整光学系64、分散調整プリズムペア65を通り、コリメータレンズ66を介して光ファイバーに入射され、参照アーム60から射出されてカプラ22に入射する。
カプラ22で測定アーム50を経由した被検眼Eの反射光と参照アーム60を通った参照光とが干渉する。そして、その干渉光を検出部30で検出する。検出部30は、差動検出器31と、A/D変換器32を有して構成されている。
まず、検出部30では、カプラ22で干渉光を発生させた後すぐに分波された干渉光を差動検出器31で検出する。そして、差動検出器31で電気信号に変換されたOCT干渉信号をA/D変換器32でデジタル信号に変換する。ここで、図1の撮影装置100では、干渉光のサンプリングは、波長掃引光源11の中に組み込まれたkクロック発生部が発信するkクロック信号に基づいて等光周波数(等波数)間隔で行われる。そして、A/D変換器32が出力したデジタル信号は、コンピュータ40に送られる。
以上は、被検眼Eのある1点における断層に関する情報の取得プロセスであり、このように被検眼Eの奥行き方向の断層に関する情報を取得することを「A-scan」と呼ぶ。また、A-scanと直交する方向で被検眼Eの断層に関する情報、即ち2次元画像を取得するための走査方向を「B-scan」、さらに、A-scan及びB-scanのいずれの走査方向とも直交する方向に走査することを「C-scan」と呼ぶ。これは、3次元断層画像を取得する際に眼底Erの面内を2次元ラスター走査する場合、高速な走査方向がB-scanとなり、B-scanをその直交方向に並べて走査する低速な走査方向がC-scanとなる。A-scan及びB-scanを行うことにより2次元の断層画像が得られ、A-scan、B-scan及びC-scanを行うことにより3次元の断層画像が得られる。B-scan、C-scanは、上述したX走査スキャナー53、Y走査スキャナー56により行われる。
なお、X走査スキャナー53及びY走査スキャナー56は、それぞれ、回転軸が互いに直交するように配置された偏向ミラーで構成されている。X走査スキャナー53はX軸方向の走査を行い、Y走査スキャナー56はY軸方向の走査を行う。X軸方向及びY軸方向の各方向は、被検眼Eの眼球の眼軸方向に対して垂直な方向で、互いに垂直な方向である。また、B-scan、C-scanのようなライン走査方向と、X軸方向またはY軸方向とは、一致していなくてもよい。このため、B-scan、C-scanのライン走査方向は、撮影したい2次元の断層画像或いは3次元の断層画像に応じて、適宜決めることができる。
<SLO測定系の構成>
SLO光源12から出射された光は、SLO光学系80を介して被検眼Eの眼底Erへ照射される。より具体的には、SLO光学系80に入射した光は、コリメータ81から平行光として空間へ射出される。その後、穴あきミラー101の穴あき部を通過し、レンズ82を介し、X走査スキャナー83、レンズ84及び85、Y走査スキャナー86を介し、ダイクロイックミラー102に到達する。なお、X走査スキャナー83及びY走査スキャナー86は、SLO用の走査手段の一例であり、共通のXY走査スキャナーとしてOCT用のX走査スキャナー53及びY走査スキャナー56の構成としてもよい。ダイクロイックミラー102は、760nm~800nmの光を反射し、それ以外の光を透過する特性を有する。ダイクロイックミラー102において反射された光は、OCT測定系と同様の光路を経由し、被検眼Eの眼底Erに到達する。
被検眼Eの眼底Erを照射した測定光は、眼底Erで反射・散乱され、上述の光学経路を辿って穴あきミラー101に達する。穴あきミラー101で反射された光は、レンズ87を介して,アバランシェフォトダイオード(以下、「APD」と称する)88で受光されて電気信号に変換され、コンピュータ40に送られる。ここで、穴あきミラー101の位置は、被検眼Erの瞳孔位置と共役となっており、眼底Erに照射された測定光が反射・散乱された光のうち、被検眼Eの瞳孔周辺部を通った光が、穴あきミラー101によって反射される。
<前眼部測定系の構成>
前眼部測定系は、波長860nm程度の照明光を発するLEDからなる照明光源107により被検眼Eの前眼部を照射する。被検眼Eの前眼部で反射され光は、対物レンズ106を介してダイクロイックミラー105に達する。ダイクロイックミラー105は、820nm~920nmの光を反射し、それ以外の光を透過する特性を有する。ダイクロイックミラー105で反射された光は、前眼部撮影部90のレンズ91、92及び93を介し、前眼部カメラ94で受光される。前眼部カメラ94で受光された光は電気信号に変換され、コンピュータ40に送られる。
<内部固視灯110>
内部固視灯110は、内部固視灯用表示部111及びレンズ112を有して構成されている。内部固視灯用表示部111としては、複数の発光ダイオード(LD)がマトリックス状に配置されたものを用いる。この発光ダイオードの点灯位置は、撮影したい部位に合わせて変更される。内部固視灯用表示部111からの光は、レンズ112を介し、被検眼Erに導かれる。内部固視灯用表示部111から出射される光は520nm程度であり、設定した所望のパターンが表示される。
<コンピュータ40>
生成手段の一例であるコンピュータ40は、デジタル信号に変換した干渉信号を信号処理し、上述した光干渉断層画像(輝度断層画像)や、血流情報断面画像(モーションコントラスト断層画像)、3次元血流情報(3次元モーションコントラスト画像)、いわゆるen-face画像を含む血流情報正面画像(モーションコントラスト正面画像)を生成する。なお、モーションコントラスト断層画像、3次元モーションコントラスト画像、モーションコントラスト正面画像といった画像は、モーションコントラスト画像の一例である。また、3次元モーションコントラスト画像は、3次元の医用画像の一例である。ここで、光干渉断層画像を生成する処理を行うコンピュータ40は、第1の生成手段を構成する。また、血流情報断面画像を生成する処理を行うコンピュータ40は、第2の生成手段を構成する。また、3次元血流情報を生成する処理を行うコンピュータ40は、第3の生成手段を構成する。また、血流情報正面画像を生成する処理を行うコンピュータ40は、第4の生成手段を構成する。また、コンピュータ40で行われる具体的な信号処理の内容については後述する。なお、第1乃至第4の生成手段は、1つのコンピュータで構成されても良いし、複数のコンピュータを通信可能に接続することにより構成されても良い。
また、生成手段の一例であるコンピュータ40は、APD88から送られてくるデジタル信号に変換されたSLOの眼底信号を処理し、SLO画像を生成する。また、コンピュータ40は、前眼部カメラ94から送られてくる信号を処理し、前眼部画像を生成する。
そして、表示制御手段の一例であるコンピュータ40による信号処理の結果得られた光干渉断層画像や血流情報断面画像、3次元血流情報、血流情報正面画像、SLO画像及び前眼部画像などの情報は、表示部70によって表示される。
ここで、本実施形態における画像処理装置の概略について図9を用いて説明する。なお、コンピュータ40は、本実施形態における画像処理装置の一例であり、本処理は主にコンピュータ40において処理される内容である。まず、断層画像取得手段901は、断層画像を取得し、血流情報取得手段902および血流画像生成手段903に通知する。血流情報取得手段902は断層画像から血流情報を生成し、血流画像生成手段903およびプロジェクションアーチファクト(PA)低減手段904に通知する。PA低減手段904は血流情報からPA低減した血流情報を生成し、血流画像生成手段903に通知する。血流情報生成手段903は断層画像および血流情報またはPA低減した血流情報から血流画像を生成し、表示手段906に通知する。投影範囲指定手段905は指定した投影範囲を表示手段906に通知する。表示手段906は、投影範囲の値に従って表示する血流画像を選択して表示する。
[OCTAスキャンエリアの設定]
図2は、本実施形態に係る撮影装置100の撮影時に表示部70に表示される撮影画面200の一例を示す図である。この撮影画面200の表示領域201には、コンピュータ40により生成された前眼部画像202、SLO画像(眼底画像)203及び光干渉断層画像206が表示される。
まず、前眼部画像202に基づいて、被検眼Eに対して撮影装置100を測定光の光軸方向にアライメントする。この際、アライメントは、検者が手動で行ってもよいし、前眼部画像202を認識しながら、コンピュータ40が自動で行ってもよい。
次いで、SLO画像203が最適になるように、フォーカス調整を行う。この際、フォーカス調整は、フォーカス調整部205を用いて検者が手動で行ってもよいし、SLO画像203に基づきコンピュータ40が自動で行ってもよい。
また、OCTAスキャンエリアは、例えば、眼底画像であるSLO画像203上に表示されるガイド204より指定することができる。ガイド204は、任意のサイズ・形状・位置が設定可能であり、例えば、6mm×6mmの四角形や、直径5mmの円に内接する放射状パターン、16mmのラインパターンなどが選択できるようになっている。そして、例えばコンピュータ40は、ガイド204により指定されたOCTAスキャンエリアの任意の断層画像を光干渉断層画像206として表示する。
その後、光干渉断層画像206が最適となるように、ゲート調整を行う。この際、ゲート調整は、ゲート調整部207を用いて検者が手動で行ってもよいし、光干渉断層画像206に基づきコンピュータ40が自動で行ってもよい。
[スキャンパターン]
図3は、本実施形態に係る撮影装置100の撮影におけるスキャンパターンの一例を説明するための図である。
OCTAでは、血流によるOCT干渉信号の時間変化を計測するため、血管が存在する測定対象の同じ場所で複数回の計測が必要となる。本実施形態に係る撮影装置100の撮影では、血管が存在する測定対象の同じ場所でのBスキャンをm回繰り返しつつ、n箇所のY位置に移動するスキャンを行う。図3には、この具体的なスキャンパターンが示されている。
図3に示すように、本実施形態に係る撮影装置100は、眼底平面上でy1~ynのn箇所のY位置について、それぞれ、Bスキャンを繰り返しm回ずつ実施する。この際、mの値が大きいと、同じ場所での計測回数が増えるため、血流の検出精度が向上する。その一方で、スキャン時間が長くなり、スキャン中の被検眼Eの動き(固視微動)により画像にモーションアーチファクトが発生する問題と被検者の負担が増える問題とが生じる。本実施形態では、両者のバランスを考慮してm=5として実施する。なお、撮影装置100のAスキャン速度や被検眼Eの動き量に応じて、mの値を自由に変更して設定してもよい。
図3において、pは、1つのBスキャンにおけるAスキャンのサンプリング数を示している。即ち、p×nにより平面画像サイズが決定される。p×nが大きいと、同じ計測ピッチであれば広範囲に亘りスキャンができるが、その一方でスキャン時間が長くなり、上述したモーションアーチファクトが発生する問題及び被検者の負担が増える問題が生じる。また、図3において、Δxは隣り合うX位置の間隔(xピッチ)であり、Δyは隣り合うY位置の間隔(yピッチ)である。本実施形態では、図3においてΔxで示すxピッチは、眼底Erにおける照射光のビームスポット径(眼底ビームスポット径)の1/2として設定し、例えば10μmとする。この際、xピッチを眼底ビームスポット径の1/2より小さくしても、生成する画像の精細度を高くする効果は小さい。また、図3においてΔyで示すyピッチは、スキャン時間短縮のために、例えば20μmとする。
このxピッチ及びyピッチに関しては、眼底ビームスポット径を大きくすると精細度は悪化するが、小さなデータ容量で広い範囲の画像を取得することができる。臨床上の要求に応じて、このxピッチ及びyピッチを自由に変更して設定してもよい。
[干渉信号取得手順]
図4は、本実施形態に係る撮影装置100の駆動方法を示し、干渉信号取得処理の具体的な処理手順の一例を示すフローチャートである。
まず、ステップS101において、コンピュータ40は、図3に示すポジションyiのインデックスiを定義(設定)する。
続いて、ステップS102において、コンピュータ40は、スキャン位置をポジションyiに移動するとともにX走査を開始する制御を行う。
続いて、ステップS103において、コンピュータ40は、血管が存在する測定対象の略同一断面を繰り返し撮影することに相当する繰り返しBスキャンのインデックスjを定義(設定)する。
続いて、ステップS104において、コンピュータ40は、繰り返しBスキャンの回数をmに設定する。
続いて、ステップS105において、コンピュータ40は、Bスキャン信号を取得する制御を行う。具体的に、差動検出器31がAスキャン毎に干渉信号を検出すると、コンピュータ40は、A/D変換器32を介して干渉信号を取得する。そして、コンピュータ40は、Aスキャンの干渉信号をpサンプル分取得することで、これを1つのBスキャン分の干渉信号とする。
続いて、ステップS106において、コンピュータ40は、インデックスjが所定数(m)に達したか否かを判断する。即ち、ポジションyiでのBスキャンがm回繰り返し行われたか否かを判断する。この判断の結果、インデックスjが所定数(m)に達しておらず、ポジションyiでのBスキャンが未だm回繰り返し行われていない場合には、ステップS104に戻り、繰り返しBスキャンのインデックスjをインクリメントした後、ステップS105へ進む。
一方、ステップS106の判断の結果、インデックスjが所定数(m)に達し、ポジションyiでのBスキャンがm回繰り返し行われた場合には、ステップS107に進む。
ステップS107に進むと、コンピュータ40は、インデックスiが所定の計測ライン数(n)に達したか否かを判断、即ちn箇所の全てのy位置でBスキャンを実施したか否かを判断する。この判断の結果、インデックスiが所定の計測ライン数(n)に達していない場合には、ステップS102に戻り、ポジションyiのインデックスiをインクリメントした後、ステップS103へ進む。
一方、ステップS107の判断の結果、インデックスiが所定の計測ライン数(n)に達した場合には、ステップS108に進む。
ステップS108に進むと、コンピュータ40は、バックグラウンドデータを取得する制御を行う。具体的に、撮影装置100は、シャッター104を閉じた状態で、例えば100回のAスキャンを計測し、コンピュータ40は、この100回のAスキャンで得られたデータを平均化して記憶する。なお、バックグラウンドの測定回数は、この100回に限定されるものではない。
ステップS108の処理が終了すると、干渉信号取得処理に係る図4のフローチャートの処理が終了する。
[信号処理手順]
図5は、本実施形態に係る撮影装置100の駆動方法を示し、干渉信号の具体的な信号処理手順の一例を示すフローチャートである。詳細には、図5は、干渉信号が入力されたコンピュータ40が、その干渉信号を信号処理した結果として3次元血流情報を得て、血流情報のen-face画像を出力するまでのフローチャートである。ここでのen-face画像とは、被検眼Eの特定の網膜層を2次元的に表現する画像とする。
本実施形態では、OCTAのen-face画像を生成するために、モーションコントラスト特徴量を計算する必要がある。ここで、モーションコントラストとは、被検体組織のうち、流れのある組織(例えば血液)と流れのない組織との間の対比と定義する。そして、モーションコントラストを表現する特徴量をモーションコントラスト特徴量と定義する。このモーションコントラスト特徴量については後述する。
以下、図5の説明を行う。
まず、ステップS201において、コンピュータ40は、図3に示すポジションyiのインデックスiを定義(設定)する。
続いて、ステップS202において、コンピュータ40は、ポジションyiにおける繰り返しBスキャンによる干渉信号(m枚分)を抜き出す処理を行う。
続いて、ステップS203において、コンピュータ40は、繰り返しBスキャンのインデックスjを定義(設定)する。
続いて、ステップS204において、コンピュータ40は、j番目のBスキャンデータを抜き出す処理を行う。
続いて、ステップS205において、コンピュータ40は、図4のステップS108で取得したバックグラウンドデータを上述の干渉信号から減算する。
続いて、ステップS206において、コンピュータ40は、ステップS205でバックグラウンドデータが減算された干渉信号をフーリエ変換する。この際、本実施形態では、高速フーリエ変換(Fast Fourier Transform:FFT)を用いる。
続いて、ステップS207において、コンピュータ40は、ステップS206において実行したフーリエ変換によって得られた信号の絶対値の2乗を計算する。この計算で得られた値が当該Bスキャンの断層画像のIntensityとなる。
続いて、ステップS208において、コンピュータ40は、インデックスjが所定数(m)に達したか否かを判断する。即ち、ポジションyiでのBスキャンのIntensity計算がm回繰り返し行われたか否かを判断する。この判断の結果、インデックスjが所定数(m)に達しておらず、ポジションyiでのBスキャンのIntensity計算が未だm回繰り返し行われていない場合には、ステップS204に戻り、同一Y位置での繰り返しBスキャンのIntensity計算を繰り返す。
一方、ステップS208の判断の結果、インデックスjが所定数(m)に達し、ポジションyiでのBスキャンのIntensity計算がm回繰り返し行われた場合には、ステップS209に進む。
ステップS209に進むと、コンピュータ40は、あるポジションyiにおける繰り返しBスキャンのmフレームの中で、画像の類似度を計算する。具体的に、例えば、コンピュータ40は、あるポジションyiにおける繰り返しBスキャンのmフレームの中から任意の1枚のフレームをテンプレートとして選定し、当該テンプレートと選定されなかった残りのm-1枚のフレームとの相関度を算出する。この際、テンプレートとして選定された1枚のフレームにおける相関度は、例えば100%(1.0)とすることができる。以上の処理は、略同一断面における複数の光干渉断層画像の中から1枚の光干渉断層画像を選定し、当該1枚の光干渉断層画像と選定されなかった残りの光干渉断層画像との相関度を算出することにより、各光干渉断層画像の相関度を算出することに相当する。この際、コンピュータ40は、各光干渉断層画像について層を認識する層認識処理を行い、この層の認識結果に基づいて相関度を算出するようにしてもよい。
続いて、ステップS210において、コンピュータ40は、ステップS209で算出した相関値に基づいて、あるポジションyiにおける繰り返しBスキャンのmフレーム(複数の光干渉断層画像)の中から、相関度が所定の閾値以上である相関の高いフレーム(光干渉断層画像)を選択する。この際、所定の閾値は、任意に設定が可能であるが、被検者の瞬きや固視微動によって画像としての相関が低下したフレームを除去することができるように設定する。
上述したように、OCTAでは、被検体組織のうち、流れのある組織(例えば血液)と流れのない組織との間の対比を、画像間の相関値に基づき区別する技術である。即ち、流れの無い組織は画像間で相関が高いという前提の上で流れのある組織を抽出するため、画像として相関が低い場合、モーションコントラスト特徴量を計算する際に誤検出となり、あたかも画像全体が流れのある組織であるかのように判定されてしまう。このステップ210では、こうした誤検出を回避するために、予め相関の低い画像を除去し、相関の高い画像のみを選択するようにしている。この画像選択の結果、同一ポジションyiで取得されたmフレームの画像は適宜取捨選択され、qフレームの画像となる。ここで、qの取りうる値は、1≦q≦mである。
続いて、ステップS211において、コンピュータ40は、ステップS210においてあるポジションyiにおける繰り返しBスキャンのmフレームの中から選択した相関の高いqフレームの位置合わせを行う。
具体的に、まず、コンピュータ40は、選択したqフレームのうち、任意の1枚のフレームをテンプレートとして選定する。ここでは、選択したqフレームについて互いに全ての組み合わせについて相関を計算し、フレーム別に相関係数の和を求め、その和が最大となるフレームを選定してもよい。
次いで、コンピュータ40は、テンプレートでフレーム毎に照合を行って位置ずれ量(δX,δY,δθ)を求める。より詳細には、コンピュータ40は、テンプレート画像の位置と角度を変えながら、類似度を表す指標であるNormalized Cross-Correlation(NCC)を計算し、この値が最大となるときの画像位置の差を位置ずれ量として求める。
なお、本実施形態では、類似度を表す指標は、テンプレートとフレーム内の画像の特徴の類似性を表す尺度であれば、種々の変更が可能である。例えば、Sum of Absolute Difference(SAD)、Sum of Squared Difference(SSD)、Zero-means Normalized Cross-Correlation(ZNCC)、Phase Only Correlation(POC)、Rotation Invariant Phase Only Correlation(RIPOC)等を用いてもよい。
次いで、コンピュータ40は、位置ずれ量(δX,δY,δθ)に応じて位置補正をテンプレート以外のq-1枚のフレームに適用し、qフレームの位置合わせを行う。なお、qが1である場合には、このステップS211の処理は実行されない。
ステップS211の処理が終了すると、ステップS212及びS213の処理に進む。
ステップS212に進むと、コンピュータ40は、モーションコントラスト特徴量を計算する。本実施形態では、コンピュータ40は、ステップS210で選択し、ステップS211で位置合わせを行ったqフレームのIntensity画像間において、同じ位置のピクセル毎に分散値を計算し、その分散値をモーションコントラスト特徴量とする。なお、モーションコントラスト特徴量の求め方は種々あり、本実施形態においては、モーションコントラスト特徴量としては、同一Y位置での複数のBスキャン画像の各ピクセルの輝度値の変化を表す指標であれば適用が可能である。また、q=1の場合、即ち、瞬きや固視微動の影響のために画像として相関が低く、同一ポジションyiの位置においてモーションコントラスト特徴量の計算が不可能な場合には、異なる処理を行う。例えば、モーションコントラスト特徴量を0として本ステップを終了してもよいし、ポジションyiの前後のyi-1,yi+1の画像におけるモーションコントラスト特徴量が得られる場合、その前後の分散値から補間してモーションコントラスト特徴量を求めてもよい。また、特徴量の計算ができなかったY位置を記憶しておき、自動で再スキャンを行ってもよい。或いは、自動の再スキャンを行うことをせず、再測定を促す警告を出してもよい。
また、ステップS213に進むと、コンピュータ40は、ステップS211で位置合わせされたIntensity画像を平均化し、Intensity平均化画像を生成する。
ステップS212及びS213の処理が終了すると、ステップS214に進む。
ステップS214に進むと、コンピュータ40は、ステップS212で算出したモーションコントラスト特徴量について閾値処理を行う。本実施形態では、この閾値処理に用いる閾値は、ステップS213で生成されたIntensity平均化画像から、ノイズフロアでランダムノイズのみが表示されているエリアを抽出し、標準偏差σを計算して、ノイズフロアの平均輝度+2σの値を設定する。コンピュータ40は、各Intensityが当該閾値以下の領域に対応したモーションコントラスト特徴量の値を0に設定する。ステップS214の閾値処理により、ランダムノイズによるIntensity変化に由来するモーションコントラストを除去することにより、ノイズを軽減することができる。なお、ステップS214の閾値処理で用いる閾値は、その値が小さい程、モーションコントラストの検出感度が上がる一方、ノイズ成分も増す。また、閾値が大きい程、ノイズは減るが、モーションコントラスト検出の感度は下がる。本実施形態では、閾値をノイズフロアの平均輝度+2σとして設定したが、閾値はこれに限定されるものではない。
続いて、ステップS215において、コンピュータ40は、インデックスiが所定数(n)に達したか否かを判断する。即ち、n箇所の全てのY位置において、画像相関度算出処理(S209)、画像選択処理(S210)、位置合わせ処理(S211)、モーションコントラスト特徴量計算処理(S212)、Intensity平均化画像生成処理(S213)、及び、閾値処理(S214)を行ったか否かを判断する。この判断の結果、インデックスiが所定数(n)に達していない場合には、ステップS202に戻る。
一方、ステップS215の判断の結果、インデックスiが所定数(n)に達した場合には、ステップS216に進む。この時点で、全てのY位置でのBスキャン画像におけるIntensity平均化画像とモーションコントラスト特徴量の3次元ボリュームデータ(3次元血流情報)が取得されたことになる。
ステップS216に進むと、コンピュータ40は、ステップS213で生成したIntensity平均化画像から、被検眼Eの網膜のセグメンテーションを行って、セグメンテーションデータを生成する。この被検眼Eの網膜のセグメンテーションについて具体的に以下に説明する。
コンピュータ40は、Intensity平均化画像から抜き出した、処理の対象とする断層画像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して画像を生成する(以下、それぞれ、「メディアン画像」、「Sobel画像」ともいう)。次いで、コンピュータ40は、生成したメディアン画像とSobel画像から、Aスキャン毎にプロファイルを作成する。具体的に、メディアン画像では輝度値のプロファイル、Sobel画像では勾配のプロファイルとなる。次いで、コンピュータ40は、Sobel画像から作成したプロファイル内のピークを検出する。次いで、コンピュータ40は、検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することにより、被検眼Eの網膜層の各領域の境界を抽出する。
図6は、本実施形態を示し、図5のステップS216におけるセグメンテーション結果の一例を示す図である。この図6は、あるy位置におけるIntensity平均化画像における層境界である。
図6に示す例では、セグメンテーションの結果、6層を検出している。6層の内訳は、[1]神経線維層(NFL)、[2]神経節細胞層(GCL)+内網状層(IPL)を合わせた層、[3]内顆粒層(INL)+外網状層(OPL)を合わせた層、[4]外顆粒層(ONL)+外境界膜(ELM)を合わせた層、[5]Ellipsoid Zone(EZ)+Interdigitation Zone(IZ)+網膜色素上皮(RPE)を合わせた層、[6]脈絡膜(Choroid)である。また、それぞれの層境界は[i]内境界膜(ILM)、[ii]神経線維層(NFL)と神経節細胞層(GCL)の境界(NFL/GCL)、[iii]内網状層(IPL)と内顆粒層(INL)の境界(IPL/INL)、[iv]外網状層(OPL)と外顆粒層(ONL)の境界(OPL/ONL)、[v]外境界膜(ELM)、[vi]網膜色素上皮(RPE)と脈絡膜(Choroid)の境界(RPE/Choroid)である。なお、本実施形態で説明したセグメンテーションは一例であり、ダイクストラ法を利用したセグメンテーションなど、その他の方法を用いてもよい。また、検出する層の数は任意に選ぶことができる。
ここで、再び、図5の説明に戻る。
ステップS216の処理が終了すると、ステップS217に進む。
ステップS217に進むと、コンピュータ40は、ステップS216で生成したセグメンテーションデータに基づき、OCTAのen-face画像を生成する。具体的に、コンピュータ40は、モーションコントラスト特徴量のボリュームデータから、例えば、図6に示す[2]神経節細胞層(GCL)+内網状層(IPL)を合わせた層、に対応するエリアを切り出し、各Aスキャンについて、モーションコントラスト特徴量の代表値を決定する。ここで、Aスキャンについての代表値の決め方は、平均値、最大値、中央値のいずれでもよい。このAスキャンついての代表値を2次元的(X方向,Y方向)にプロットすることにより、図6に示す[2]神経節細胞層(GCL)+内網状層(IPL)を合わせた層に対応するOCTAのen-face画像が生成される。
図7は、本実施形態を示し、図5のステップS217において生成されたOCTAのen-face画像の一例を示す図である。本例では、セグメンテーションデータより、図6に示す[2]神経節細胞層(GCL)+内網状層(IPL)を合わせた層を切り出してOCTAのen-face画像を生成し、眼底血管を描出している。なお、モーションコントラスト特徴量のボリュームデータを切り出す層をセグメンテーションデータから選択することにより、任意の層のOCTAのen-face画像を生成することができる。
ステップS217の処理が終了すると、干渉信号の具体的な信号処理手順に係る図5のフローチャートの処理が終了する。
[プロジェクションアーチファクトの低減処理]
ここで、前述の図5のステップS212で取得したモーションコントラスト特徴量に対して、例えば非特許文献1で開示されているようにStep-down Exponential Filtering法を用いて、モーションコントラスト特徴量におけるプロジェクションアーチファクトの低減処理(以下、PAR:Projection Artifact Removal)を行う。これにより、PARを適用したモーションコントラスト特徴量のボリュームデータを取得することができる。また、ステップS217において切り出すモーションコントラスト特徴量のボリュームデータとして、PARを適用したモーションコントラスト特徴量のボリュームデータを使用することにより、PARを適用したOCTAのen-face画像を生成することができる。
[血流情報の表示]
図8(a)は、本実施形態を示し、表示部70に表示されるOCTA撮影結果画面1000の一例を示す図である。なお、OCTA撮影結果画面1000は、撮影結果を様々な形で表示するためのレポート画面の一例である。このOCTA撮影結果画面1000の表示領域1001には、プリセットした投影範囲(被検者の所定部位の深さ方向における任意の範囲)を選択する投影範囲選択部1002があり、投影範囲を選択することで投影範囲詳細指定部1009に層境界および調整値が設定される。プリセットされた投影範囲には、例えばSuperficial(“内境界膜(ILM)”と“内網状層(IPL)と内顆粒層(INL)の境界(IPL/INL)”の間)やDeep(“内網状層(IPL)と内顆粒層(INL)の境界(IPL/INL)”と“外境界膜(ELM)”の間)などがあり、任意の投影範囲をプリセット登録して使用してもよい。また、投影範囲詳細指定部1009によって任意の投影範囲を直接指定してもよい。なお、投影範囲詳細指定部1009(あるいは投影範囲選択部1002)は、被検者の所定部位の深さ方向(Z方向)における任意の範囲を指定する指定手段の一例である。例えば、指定手段は、マウスやタッチパネル等のユーザインターフェースを用いた検者からの指示に応じて、被検者の所定部位の深さ方向(Z方向)における任意の範囲を指定することができる。このとき、例えば、指定手段は、検者からの指示に応じて、光干渉断層画像やモーションコントラスト断層画像といった断層画像上において、少なくとも1つの層境界の位置を指定・変更することにより、任意の範囲を指定しても良い。また、例えば、指定手段は、検者からの指示に応じて、任意の層境界からのオフセット量を指定・変更することにより、任意の範囲を指定しても良い。
また、表示領域1001には、投影範囲詳細指定部1009によって指定した投影範囲の血流情報正面画像1003と、血流情報断面画像1005が表示される。また、表示領域1001には、血流情報正面画像1003の部位を指定するためのマーカに相当するガイド1004が配置されており、このガイド1004を用いて任意のYポジションを指定し、ガイド1004で指定された部位に対応する断面に係る血流情報断面画像1005を表示することができるようになっている。なお、ガイド1004は、血流情報正面画像1003上にラインとして表示され、例えばマウスによるドラッグ操作でY座標を指定することが可能である他、表示領域1001に配置される数値入力部から直接座標を指定することも可能である。血流情報断面画像1005には、抽出された血管1006が表示される。なお、血管1006は、Intensity画像や層境界画像と重畳表示されてもよい。また、血管1006は、被検者の所定部位のモーションコントラスト情報の一例である。
また、PAR切替ボタン1008は、血流情報正面画像1003および血流情報断面画像1005(血管1006)に対するPARの適用状態を示している。図8(a)はPAR適用時の例であり、血流情報正面画像1003および血流情報断面画像1005はプロジェクションアーチファクト1007が低減された状態で表示されている。PAR切替ボタン1008を押下することで、血流情報正面画像1003および血流情報断面画像1005をPAR非適用の状態に切り替えて表示することができる。また、各画像においてPARの適用状態が識別できるように、各画像上にPARの適用状態を文字列で表示してもよいし、色やマークを用いて識別できるようにしてもよい。なお、PAR切替ボタン1008は、被検者の所定部位のモーションコントラストデータにおけるプロジェクションアーチファクトの低減処理を適用するか否かを選択する選択手段の一例である。例えば、選択手段は、マウスやタッチパネル等のユーザインターフェースを用いた検者からの指示に応じて、PARの適否を選択することができる。このとき、例えば、選択手段は、被検者の所定部位の深さ方向における複数の異なる範囲に対応する複数のモーションコントラスト正面画像それぞれに対して、PARの適否を選択しても良い。また、例えば、選択手段は、PARの適否だけでなく、PARを適用して得たモーションコントラスト正面画像と、PAR非適用のモーションコントラスト正面画像とを並べて表示させる状態に遷移するモードを選択しても良い。
また、表示制御手段は、選択手段による選択の結果に対応する被検者の所定部位のモーションコントラスト画像を表示手段における表示画面に表示させるとともに、選択の結果に対応する所定部位のモーションコントラスト情報(例えば、血管を示す色表示)が重畳された状態で所定部位の輝度断層画像を表示画面に表示させることができる。これにより、アーチファクトの低減処理が上手くいかなかったとしても、検者が医用画像を好適に観察可能となるように構成することができる。このとき、表示制御手段は、選択手段による選択の変更に応じて、表示画面に表示されるモーションコントラスト画像を、変更された選択の結果に対応する所定部位のモーションコントラスト画像に変更するとともに、表示画面に表示される輝度断層画像に重畳されたモーションコントラスト情報を、変更された選択の結果に対応する所定部位のモーションコントラスト情報に変更するように表示制御することができる。このとき、モーションコントラスト画像と輝度断層画像上のモーションコントラスト情報との両方の表示が連動して変更されれば良く、例えば、一方の表示を変更した場合に他方の表示が同期して変更されても良い。これにより、表示画面に表示される異なる複数の医用画像に対するアーチファクトの低減処理の適否の選択において、検者の操作性が向上する。また、表示制御手段は、例えば、選択手段によりPAR適用が選択された後に、PAR処理が実行されることにより得た画像を表示手段に表示させても良い。このとき、生成手段は、選択手段によるPAR適否の選択結果だけでなく、被検者の所定部位の深さ方向(Z方向)における任意の範囲の指定結果(指定された範囲)も用いることにより、モーションコントラスト正面画像を生成しても良い。また、表示制御手段は、例えば、選択手段によりPAR適用が選択された後に、予めPAR処理を実行して得たPARを適用して得たモーションコントラスト画像を表示手段に表示させても良い。これにより、表示制御手段は、選択手段によるPAR適否の選択結果に対応するモーションコントラスト画像を表示手段に表示させることができる。例えば、表示制御手段は、PAR適用が選択された場合には、PARを適用して得たモーションコントラスト画像を表示手段に表示させることができる。また、例えば、表示制御手段は、PAR非適用が選択された場合には、PAR非適用のモーションコントラスト画像を表示手段に表示させることができる。なお、表示制御手段は、選択手段による選択結果に応じて、表示手段における所定の表示領域に表示される画像を、選択結果に対応する被検者の所定部位のモーションコントラスト画像に変更するように制御することもできる。
本実施形態では、PAR切替ボタン1008により血流情報正面画像1003および血流情報断面画像1005の両方のPARの適用状態を切り替えることを想定しているが、片方の画像を選択して、選択した画像のみPARの適用状態を切り替えるようにしてもよい。また、本実施形態では、PAR切替ボタン1008を使用してPARの適用状態を切り替えているが、各画像を選択して、不図示のメニュー画面からPARの適用状態の切り替えを行ってもよい。
また、血流情報正面画像1003および血流情報断面画像1005の代わりに、3次元血流情報を3D表示するなど、別の画像や情報を表示させてもよい。
[PAR適用状態の切り替え]
先述の通り、プロジェクションアーチファクトとは、網膜表層血管内のモーションコントラストが深層側(網膜深層や網膜外層・脈絡膜)に映り込み、実際には血管の存在しない深層側の領域に高い脱相関値が生じる現象である。そのため、深層側と比べて表層側にはプロジェクションアーチファクトが発生しづらく、表層側でPARを適用することによる効果は薄い。逆に、表層側においてはPARを適用しない方が好ましい場合がある。そこで、投影範囲選択部1002において、DeepなどPARの効果の大きい深層側を選択した場合、PAR切替ボタン1008の初期値を適用(ON)とし、逆にSuperficialなどPARの効果の薄い表層側を選択した場合、PAR切替ボタン1008の初期値を非適用(OFF)とする。これにより、各投影範囲において、適したPARの適用状態で観察が可能である。このとき、表示制御手段は、被検者の所定部位の深度範囲(深さ方向における撮影範囲の一部)が変更された場合、変更された深度範囲に対応するモーションコントラスト正面画像を表示画面に表示させることができる。さらに、選択手段は、変更された深度範囲に応じて、アーチファクトの低減処理を適用するか否かを選択することができる。
また、投影範囲詳細指定部1009によってPAR切替ボタンの初期値を変更してもよい。例えば、図10(a)に示すように、指定した投影範囲の下端が外網状層(OPL)と外顆粒層(ONL)の境界(OPL/ONL)、よりも上側に位置するときには、投影範囲は表層側であるとして、PAR切替ボタン1008の初期値を非適用(OFF)にする。逆に、図10(b)に示すように、投影範囲の上端が外網状層(OPL)と外顆粒層(ONL)の境界(OPL/ONL)よりも下側に位置するときには、投影範囲が深層側であるとして、PAR切替ボタン1008の初期値を適用(ON)にする。
また、特定の条件下でのみPARの適用状態を切り替えられるようにしてもよい。例えば、投影範囲が深層側の場合には、PAR切替ボタン1008を表示する。一方、投影範囲が表層側の場合には、PAR切替ボタン1008を非表示とすることで、表層側においてPARを適用できないようにしてもよい。これは、表層側ではPAの影響が深層側程大きくないので、PAを上手く低減できない可能性がある状況においては、PARをわざわざ適用する必要がないためである。
また、特定の層を含む場合や網膜表層からの相対位置などを条件としてPAR切替ボタン1008の初期値を変更してもよい。また、撮影部位(黄斑、視神経乳頭など)や疾患(緑内障、加齢黄斑変性など)などを条件としてPAR切替ボタン1008の初期値を変更してもよい。例えば、表層に太い血管が多い部位においては、その部位の深層においてPAの影響が大きく生じる。このため、表層に太い血管が多い部位では、初期設定としてPAR適用とする方が良い可能性がある。一方、表層に細い血管が多い部位においては、その部位の深層においてPAの影響は小さい。このため、表層に細い血管が多い部位では、PAを上手く低減できない可能性がある状況を考慮すると、初期設定としてPAR非適用とする方が良い可能性がある。
[複数画像を同時に表示]
図8(b)ではPARの適用状態が異なる血流情報正面画像1003および血流情報断面画像1005を上下に並べて表示した例である。図8(b)上部は投影範囲選択部1002でDeep(深層側)を選択しており、PAR切替ボタン1008は適用(ON)である。そのため、上部の血流情報正面画像1003および血流情報断面画像1005はPARが適用されている。一方、図8(b)下部は投影範囲選択部1002でSuperficial(表層側)を選択しており、PAR切替ボタン1008は非適用(OFF)である。そのため、下部の血流情報正面画像1003および血流情報断面画像1005はPARは適用されていない。以上のように、並べて表示することで、異なる投影範囲を異なるPARの適用状態で同時に観察することが可能である。
また、図8(b)上部および下部の投影範囲選択部1002およびPAR適用ボタン1008はそれぞれ独立に変更することが可能である。例えば、上部と下部で同じ投影範囲(例えばDeep)を選択した後、下部のPAR切替ボタン1008で下部の血流情報正面画像1003および血流情報断面画像1005のみPARの適用状態を切り替えてもよい。これにより、同じ投影範囲を異なるPARの適用状態で同時に観察することが可能である。例えば、PAR適用画像とPAR非適用画像とを同一画面上に並べて表示できるため、検者は、これらの画像を比較することができる。これにより、検者は、例えば、PAR適用画像において、PARで消し過ぎてしまっている部分等を、PAR非適用画像を観察することによって、補完して観察することができる。
[プロジェクションアーチファクトの表示]
図8(a)(b)において、低減するプロジェクションアーチファクト1007を便宜上破線で表現しているが、実際には、低減するプロジェクションアーチファクト1007の表示方法については問わない。例えば、プロジェクションアーチファクト1007を完全に表示しなくてもよいし、血管1006と識別できるように太さや色、透明度などを変えて表示してもよいし、識別子を付けてもよい。例えば、PAR非適用画像では、血管領域のようであるが、本当は表層の血管によるPAであることを、検者が容易に識別することができる。一方、PAR適用画像では、本当はPAが存在している領域を、検者が容易に識別することができる。これにより、例えば、検者による誤診断の可能性を低減しつつ、診断効率を向上することができる。
(変形例1)
上述した様々な実施形態におけるアーチファクトは、プロジェクションアーチファクトに限らず、他のアーチファクトであっても良い。アーチファクトは、例えば、被検眼の動きによって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であっても良い。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でも良い。
また、上述した様々な本実施形態における表示画面は、レポート画面に限らず、例えば、撮影確認画面、経過観察用の表示画面、撮影前の各種調整用のプレビュー画面(各種のライブ動画像が表示される表示画面)等の少なくとも1つの表示画面であっても良い。
(変形例2)
上述した様々な実施形態及び変形例において、プロジェクションアーチファクトの低減処理を行う際には、背景技術でも述べた通り、減衰係数を用いてモーションコントラストデータを補正することができる。ここで、減衰係数は、所定部位の深度方向(Z方向)における位置及びその交差方向(XY方向)における位置の関数である。なお、減衰係数を表す関数は、線形関数でも良いし、非線形関数でも良い。このとき、減衰係数は、予め決められた関数であることが一般的ではあるが、これに限らない。例えば、減衰係数は、検者からの指示に応じて、減衰係数を表す関数を変更可能としても良い。例えば、横軸が位置を示し、縦軸が強度を示すグラフ上の減衰係数を示す関数のライン(例えば、曲線)をドラッグ等により移動することで、該関数を変更可能としても良い。これにより、検者からの指示に応じて決定(変更)された減衰係数を用いて補正されたモーションコントラストデータを用いることができる。このため、検者は、自分が診断し易いと考える、自分好みのPAR適用画像を生成・観察することができる。
また、モーションコントラスト正面画像等の医用画像を入力データとし、アーチファクトの低減処理のための減衰係数等の補正係数を正解データ(教師データ)とする学習データにより機械学習して得た学習済モデルが用いられても良い。すなわち、補正係数生成手段の一例であるコンピュータ40が、上記学習済モデルを用いて、所定部位の医用画像から新たな補正係数を生成するように構成されても良い。このとき、上記学習済モデルは、例えば、検者からの指示に応じて決定(変更)された補正係数を正解データとする学習データにより追加学習して得た学習済モデルであっても良い。また、上記学習済モデルは、例えば、検者からの指示に応じて該新たな補正係数(学習済モデルを用いて得た補正係数)から変更された補正係数を正解データとする学習データにより追加学習して得た学習済モデルであっても良い。これにより、例えば、医用画像に対して検者が好む補正係数の傾向が考慮された新たな補正係数を取得することができる。すなわち、検者にカスタマイズされた補正係数生成手段を精度良く構成することができる。このため、検者の診断効率を向上することができる。
ここで、機械学習には、例えば、多階層のニューラルネットワークから成る深層学習(Deep Learning)がある。また、多階層のニューラルネットワークの少なくとも1層には、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いることができる。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出(表現)可能なモデルであれば何でも良い。また、学習済モデルは、追加学習により更新されることで、例えば、操作者に適したモデルとしてカスタマイズされても良い。もちろん、本変形例における学習済モデルは、追加学習して得た学習済モデルには限定されず、医用画像と補正係数に関する情報とを含む学習データにより学習して得た学習済モデルであれば何でも良い。
また、上述した学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであっても良い。このとき、学習データに含まれる入力データは、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像(あるいは輝度断層画像)をセットとする入力データや、眼底の断層画像(Bスキャン画像)及びカラー眼底画像(あるいは蛍光眼底画像)をセットとする入力データ等が考えられる。また、異なる種類の複数の医療画像は、異なるもモダリティ、異なる光学系、異なる原理等により取得されたものであれば何でも良い。また、上述した学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであっても良い。このとき、学習データに含まれる入力データは、例えば、眼底の断層画像(Bスキャン画像)と前眼部の断層画像(Bスキャン画像)とをセットとする入力データや、眼底の黄斑の3次元OCT画像と眼底の視神経乳頭のサークルスキャン(またはラスタスキャン)断層画像とをセットとする入力データ等が考えられる。なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であっても良い。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであっても良い。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであっても良い。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであっても良い。
なお、上述した学習済モデルを用いて得た新たな補正係数を初期設定として、検者からの指示に応じて、補正係数を変更可能に構成しても良い。また、検者からの指示に応じて、変更された補正係数を追加学習の学習データとして用いるか否かを選択可能に構成しても良い。また、アーチファクトの低減処理の適用が選択されることにより、該低減処理の適用が選択されたときに設定(変更)された補正係数を追加学習の学習データとして用いるとことも連動して選択されるように構成されても良い。
(変形例3)
上述した様々な実施形態及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも1つのフレーム毎に上述した学習済モデルが用いられるように構成されても良い。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されても良い。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。なお、複数のライブ動画像は、例えば、XYZ方向のアライメントのための前眼部の動画像、眼底観察光学系のフォーカス調整やOCTフォーカス調整のための眼底の正面動画像、OCTのコヒーレンスゲート調整(測定光路長と参照光路長との光路長差の調整)のための眼底の断層動画像等である。
また、上述した学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部に記憶(保存)された動画像であっても良い。このとき、例えば、記憶部に記憶(保存)された眼底の断層動画像の少なくとも1つのフレーム毎に位置合わせして得た動画像が表示画面に表示されても良い。例えば、硝子体を好適に観察したい場合には、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択し、選択された基準フレームに対して他のフレームが位置合わせされた動画像が表示画面に表示されても良い。
(変形例4)
上述した様々な実施形態及び変形例においては、学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力(推論・予測)することが難しい可能性がある。このため、追加学習中の学習済モデルに対する医用画像の入力を禁止することが良い。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意しても良い。このとき、追加学習中には、予備の学習済モデルに対して医用画像の入力が実行できるようにすることが良い。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えれば良い。また、問題があれば、予備の学習済モデルが用いられるようにしても良い。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしても良い。具体的には、第1の撮影部位(肺、被検眼等)を含む学習データを用いて得た第1の学習済モデルと、第1の撮影部位とは異なる第2の撮影部位を含む学習データを用いて得た第2の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する選択手段を有しても良い。このとき、操作者からの指示に応じて、選択された学習済モデルに対応する撮影部位(ヘッダの情報や、操作者により手動入力されたもの)と該撮影部位の撮影画像とがペアとなるデータを(例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して)検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行する制御手段と、を有しても良い。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざん、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出しても良い。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。
(変形例5)
上述した様々な実施形態及び変形例において、検者からの指示は、手動による指示(例えば、ユーザインターフェース等を用いた指示)以外にも、音声等による指示であっても良い。このとき、例えば、機械学習により得た音声認識エンジンを含む機械学習エンジンが用いられても良い。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力による指示であっても良い。このとき、例えば、機械学習により得た文字認識エンジンを含む機械学習エンジンが用いられても良い。また、検者からの指示は、ジェスチャーによる指示であっても良い。このとき、機械学習により得たジェスチャー認識エンジンを含む機械学習エンジンが用いられても良い。ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも1層には、例えば、再帰型ニューラルネットワーク(RNN:Recurrernt Neural Network)を用いることができる。
(変形例6)
上述した様々な実施形態及び変形例においては、被検査物は被検眼に限らず、被検者の所定部位であればどこでも良い。また、被検者の所定部位の正面画像は、医用画像であれば、何でも良い。このとき、処理される医用画像は、被検者の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造(形態)を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、OCTA画像、ドップラーOCT画像、fMRI画像、及び超音波ドップラー画像等の血流動態(血流量、血流速度等)を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼(被検眼)、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、OCTで取得したデータ(3次元のOCTデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したEn-Face画像を含む。なお、En-Face画像は、3次元のOCTAデータ(3次元のモーションコントラストデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したOCTAのEn-Face画像(モーションコントラスト正面画像)であっても良い。また、3次元のOCTデータや3次元のモーションコントラストデータは、3次元の医用画像データの一例である。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、X線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、以下の実施形態に係る撮影装置は、少なくとも、X線撮影装置、CT装置、MRI装置、PET装置、SPECT装置、SLO装置、OCT装置、OCTA装置、眼底カメラ、及び内視鏡等を含む。
なお、OCT装置としては、タイムドメインOCT(TD-OCT)装置やフーリエドメインOCT(FD-OCT)装置を含んでよい。また、フーリエドメインOCT装置はスペクトラルドメインOCT(SD-OCT)装置や波長掃引型OCT(SS-OCT)装置を含んでよい。また、SLO装置やOCT装置として、波面補償光学系を用いた波面補償SLO(AO-SLO)装置や波面補償OCT(AO-OCT)装置等を含んでよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
なお、上述した様々な実施形態及び変形例は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (13)

  1. 被検者の所定範囲のモーションコントラストデータにおけるプロジェクションアーチファクトの低減処理を適用するか否かを選択する選択手段と、
    前記選択手段による選択の結果に対応する前記所定範囲のモーションコントラスト画像を表示手段における表示画面に表示させるとともに、前記選択の結果に対応する前記所定範囲のモーションコントラスト情報が重畳された状態で所定部位の輝度断層画像を前記表示画面に表示させる表示制御手段と、を有し、
    前記表示制御手段が、第1の範囲のモーションコントラスト画像と第2の範囲のモーションコントラスト画像を表示し、前記第1の範囲のモーションコントラスト情報と前記第2の範囲のモーションコントラスト情報がそれぞれ重畳された前記所定部位の第1と第2の輝度断層画像を同時に表示することを特徴とする画像処理装置。
  2. 前記表示制御手段は、前記選択手段による選択の変更に応じて、前記表示画面に表示される前記モーションコントラスト画像を、前記変更された選択の結果に対応する前記所定範囲のモーションコントラスト画像に変更するとともに、前記表示画面に表示される前記輝度断層画像に重畳された前記モーションコントラスト情報を、前記変更された選択の結果に対応する前記所定範囲のモーションコントラスト情報に変更するように表示制御することを特徴とする請求項1に記載の画像処理装置。
  3. 前記表示制御手段は、前記低減処理の適用が選択された後に、前記低減処理が適用されたモーションコントラストデータを用いて得た前記モーションコントラスト画像を前記表示画面に表示させるとともに、前記低減処理が適用されたモーションコントラストデータを用いて得た前記モーションコントラスト情報が重畳された状態で前記輝度断層画像を前記表示画面に表示させることを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記低減処理の適用が選択された後に前記モーションコントラストデータに前記低減処理を適用することにより、前記モーションコントラスト画像と前記モーションコントラスト情報とを生成する生成手段を更に有し、
    前記表示制御手段は、前記生成されたモーションコントラスト画像を前記表示画面に表示させるとともに、前記生成されたモーションコントラスト情報が重畳された状態で前記輝度断層画像を前記表示画面に表示させることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記所定部位の深さ方向における任意の範囲を指定する指定手段を更に有し、
    前記生成手段は、前記選択の結果及び前記指定された範囲に基づいて、前記所定範囲のモーションコントラスト正面画像を生成することを特徴とする請求項4に記載の画像処理装置。
  6. 前記生成手段は、前記モーションコントラスト画像として、モーションコントラスト断層画像とモーションコントラスト正面画像と3次元モーションコントラスト画像との少なくとも1つを生成することを特徴とする請求項4または5に記載の画像処理装置。
  7. 前記表示制御手段は、前記所定部位の深度方向の範囲が変更された場合、前記変更された範囲に対応する前記モーションコントラスト正面画像を前記表示画面に表示させ、
    前記選択手段は、前記変更された範囲に応じて、前記低減処理を適用するか否かを選択することを特徴とする請求項5に記載の画像処理装置。
  8. 前記選択手段は、検者からの指示に応じて、前記低減処理を適用するか否かを選択することを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  9. 医用画像を入力データとし、アーチファクトの低減処理のための補正係数を正解データとする学習データにより学習して得た学習済モデルを用いて、前記所定部位の医用画像から、新たな補正係数を生成する補正係数生成手段を更に有することを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  10. 前記学習済モデルは、検者からの指示に応じて決定された補正係数を正解データとする学習データにより追加学習して得た学習済モデルであることを特徴とする請求項に記載の画像処理装置。
  11. 前記学習済モデルは、検者からの指示に応じて前記新たな補正係数から変更された補正係数を正解データとする学習データにより追加学習して得た学習済モデルであることを特徴とする請求項または10に記載の画像処理装置。
  12. 被検者の所定範囲のモーションコントラストデータにおけるプロジェクションアーチファクトの低減処理を適用するか否かを選択する工程と、
    前記選択する工程における選択の結果に対応する前記所定範囲のモーションコントラスト画像を表示手段における表示画面に表示させるとともに、前記選択の結果に対応する前記所定範囲のモーションコントラスト情報が重畳された状態で所定部位の輝度断層画像を前記表示画面に表示させる工程と、を有し、
    前記表示させる工程において、第1の範囲のモーションコントラスト画像と第2の範囲のモーションコントラスト画像を表示し、前記第1の範囲のモーションコントラスト情報と前記第2の範囲のモーションコントラスト情報がそれぞれ重畳された前記所定部位の第1と第2の輝度断層画像を同時に表示することを特徴とする画像処理方法。
  13. 請求項12に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
JP2019044262A 2019-03-11 2019-03-11 画像処理装置および画像処理方法 Active JP7327954B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019044262A JP7327954B2 (ja) 2019-03-11 2019-03-11 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019044262A JP7327954B2 (ja) 2019-03-11 2019-03-11 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2020146135A JP2020146135A (ja) 2020-09-17
JP7327954B2 true JP7327954B2 (ja) 2023-08-16

Family

ID=72431175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019044262A Active JP7327954B2 (ja) 2019-03-11 2019-03-11 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP7327954B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017127506A (ja) 2016-01-21 2017-07-27 キヤノン株式会社 画像形成方法及び装置
WO2017143300A1 (en) 2016-02-19 2017-08-24 Optovue, Inc. Methods and apparatus for reducing artifacts in oct angiography using machine learning techniques
JP2017196306A (ja) 2016-04-28 2017-11-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP2018191761A (ja) 2017-05-15 2018-12-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20190073532A1 (en) 2017-09-06 2019-03-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017127506A (ja) 2016-01-21 2017-07-27 キヤノン株式会社 画像形成方法及び装置
WO2017143300A1 (en) 2016-02-19 2017-08-24 Optovue, Inc. Methods and apparatus for reducing artifacts in oct angiography using machine learning techniques
JP2017196306A (ja) 2016-04-28 2017-11-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP2018191761A (ja) 2017-05-15 2018-12-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20190073532A1 (en) 2017-09-06 2019-03-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Also Published As

Publication number Publication date
JP2020146135A (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6624945B2 (ja) 画像形成方法及び装置
KR20210041046A (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델
WO2020036182A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
US9408532B2 (en) Image processing apparatus and image processing method
JP7478216B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
US10165939B2 (en) Ophthalmologic apparatus and ophthalmologic apparatus control method
JP7362403B2 (ja) 画像処理装置および画像処理方法
JP7374615B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2018019771A (ja) 光コヒーレンストモグラフィ装置、および光コヒーレンストモグラフィ制御プログラム
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2023009257A (ja) 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム
JP7220509B2 (ja) 眼科装置及び眼科画像処理方法
JP2017158836A (ja) 眼科装置および撮像方法
JP7096116B2 (ja) 血流計測装置
JP7246862B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
WO2020054524A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2020049231A (ja) 情報処理装置及び情報処理方法
JP2020054812A (ja) 画像処理装置、画像処理方法及びプログラム
JP7297952B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7327954B2 (ja) 画像処理装置および画像処理方法
JP2022111263A (ja) 画像処理装置、画像処理方法及びプログラム
JP2019146683A (ja) 情報処理装置、情報処理方法およびプログラム
US20210049742A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230803

R151 Written notification of patent or utility model registration

Ref document number: 7327954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151