JP6927724B2 - 表示制御装置、表示制御方法、及びプログラム - Google Patents

表示制御装置、表示制御方法、及びプログラム Download PDF

Info

Publication number
JP6927724B2
JP6927724B2 JP2017059446A JP2017059446A JP6927724B2 JP 6927724 B2 JP6927724 B2 JP 6927724B2 JP 2017059446 A JP2017059446 A JP 2017059446A JP 2017059446 A JP2017059446 A JP 2017059446A JP 6927724 B2 JP6927724 B2 JP 6927724B2
Authority
JP
Japan
Prior art keywords
unit
follow
display control
point
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017059446A
Other languages
English (en)
Other versions
JP2018161230A (ja
Inventor
雄治 服部
雄治 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2017059446A priority Critical patent/JP6927724B2/ja
Publication of JP2018161230A publication Critical patent/JP2018161230A/ja
Application granted granted Critical
Publication of JP6927724B2 publication Critical patent/JP6927724B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本発明は、被検眼の眼特性データを経時的に取得して得られた経過観察データを表示部に表示させる表示制御装置、表示制御方法、及びプログラムに関する。
眼科では、光干渉断層計(OCT:optical coherence tomography)、眼底カメラ、及びレーザ走査検眼鏡(SLO:scanning laser ophthalmoscope)等の眼科装置を用いて、被検眼の同一部位における画像を経時的に取得(異なる検査日時で取得)することで、被検眼の各種の眼特性の経過観察を行っている(特許文献1参照)。
例えばOCTを用いた経過観察では、眼底の二次元断層画像が複数回に亘って経時的に取得されると共に、経時的に取得された二次元断層画像に基づいて眼底の層厚の時系列的な変化を示す経過観察データが得られる。そして、この経過観察データに基づくグラフ等をモニタに表示させることで、検者は、被検眼の眼底の層厚の経過観察を行うことができる。
特開2010−246904号公報
ところで、眼底の層厚の経過観察を行う検者は、モニタに表示される経過観察データのグラフ上で層厚の変化が生じている場合、この変化が発生した時点での眼底の詳細な状態を示す状態情報、例えばOCTで得られた眼底の二次元断層画像の確認を行うのが通常である。この際に、OCTで得られた眼底の二次元断層画像は、所定のサーバ(データベース)に格納されている。このため、検者が所望の二次元断層画像をサーバ内から探し出す必要があり、操作に手間が掛かるという問題がある。
本発明はこのような事情に鑑みてなされたものであり、経過観察を行う際の操作性を著しく向上させることができる表示制御装置、表示制御方法、及びプログラムを提供することを目的とする。
本発明の目的を達成するための表示制御装置は、同一の被検眼の眼特性データを経時的に取得して得られた経過観察データを、表示部に表示させる表示制御部と、表示部に表示されている経過観察データ内の確認点を指定する第1指定操作を受け付ける第1操作受付部と、第1操作受付部が受け付けた第1指定操作に応じて、被検眼の状態を示す状態情報であって且つ経時的に取得された状態情報を記憶した第1記憶部から、確認点に最も近いタイミングで取得された状態情報を取得する情報取得部と、を備え、表示制御部は、情報取得部が取得した状態情報を表示部に表示させる。
この表示制御装置によれば、第1指定操作を行うだけで第1記憶部から確認点に最も近いタイミングで取得された状態情報を自動的に取得し、取得した状態情報を表示部に表示させることができる。
本発明の他の態様に係る表示制御装置において、表示部に表示されている経過観察データ内のコメント入力点を指定する第2指定操作と、第2指定操作で指定されたコメント入力点に対するコメントの入力操作と、を受け付ける第2操作受付部と、第2指定操作で指定されたコメント入力点の経過観察データ内での位置を示す位置情報と、入力操作で入力されたコメントとを関連付けて第2記憶部に記憶させる記憶制御部と、を備え、表示制御部は、経過観察データを表示部に再表示させる場合、第2記憶部内の位置情報及びコメントに基づき、再表示させる経過観察データ内のコメント入力点に対応する位置にコメントを表示させる。これにより、経過観察データを表示部に再表示させる場合に、検者は、経過観察データ内に表示されるコメントに基づき、何らの操作を行うことなく必要な情報が得られる。
本発明の他の態様に係る表示制御装置において、状態情報は、眼科装置により取得された被検眼の観察部位の画像であり、眼特性データは、画像を解析して得られるものである。経過観察データ(眼特性データ)と、第1指定操作に応じて表示部に表示される画像(状態情報)とに密接な関連性があるので、検者は、第1指定操作に応じて表示部に表示される画像(状態情報)から被検眼の状態(異常)を正確に判断することができる。
本発明の他の態様に係る表示制御装置において、画像は、観察部位の複数の二次元断層画像と、複数の二次元断層画像に基づき生成された観察部位の三次元画像とを含み、情報取得部は、第1指定操作に応じて、最も近いタイミングで取得された二次元断層画像及び三次元画像の少なくとも一方を第1記憶部から取得し、表示制御部は、情報取得部が取得した少なくとも一方を表示部に表示させる。検者は、第1指定操作に応じて表示部に表示される二次元断層画像及び三次元画像から被検眼の状態(異常)を正確に判断することができる。
本発明の他の態様に係る表示制御装置において、表示部に三次元画像が表示されている場合に、三次元画像内の指定点を指定する第3指定操作を受け付ける第3操作受付部を備え、情報取得部は、第3操作受付部で第3指定操作を受け付けた場合、指定点に対応する二次元断層画像を第1記憶部から取得し、表示制御部は、第3指定操作に応じて情報取得部が取得した二次元断層画像を表示部に表示させる。これにより、検者は、三次元画像内の所望位置における二次元断層画像を簡単に確認することができる。
本発明の他の態様に係る表示制御装置において、第1指定操作で指定された確認点の経過観察データ内での位置を示す第2位置情報を記憶する第3記憶部を備え、表示制御部は、経過観察データを表示部に再表示させる場合に、第3記憶部内の第2位置情報に基づき、再表示させる経過観察データ内に確認点を識別可能な表示態様で表示させる。これにより、検者は、過去の第1指定操作で指定した経過観察データ内の確認点の位置を容易に判別できるので、過去の第1指定操作で確認した状態情報を表示部に再表示させることができる。
本発明の他の態様に係る表示制御装置において、表示制御部は、経過観察データと、情報取得部が取得した状態情報と、を表示部に同時表示させる。これにより、経過観察データと状態情報との対比を容易に行うことができる。
本発明の目的を達成するための表示制御方法は、表示制御部が、同一の被検眼の眼特性データを経時的に取得して得られた経過観察データを、表示部に表示させる表示制御工程と、第1操作受付部が、表示部に表示されている経過観察データ内の確認点を指定する第1指定操作を受け付ける第1操作受付工程と、情報取得部が、第1操作受付部で受け付けた第1指定操作に応じて、被検眼の状態を示す状態情報であって且つ経時的に取得された状態情報を記憶した第1記憶部から、確認点に最も近いタイミングで取得された状態情報を取得する情報取得工程と、を有し、表示制御工程では、表示制御部が情報取得部により取得された状態情報を表示部に表示させる。
本発明の目的を達成するためのプログラムは、コンピュータを、同一の被検眼の眼特性データを経時的に取得して得られた経過観察データを、表示部に表示させる表示制御部と、表示部に表示されている経過観察データ内の確認点を指定する第1指定操作を受け付ける第1操作受付部と、第1操作受付部が受け付けた第1指定操作に応じて、被検眼の状態を示す状態情報であって且つ経時的に取得された状態情報を記憶した第1記憶部から、確認点に最も近いタイミングで取得された状態情報を取得する情報取得部として機能させるプログラムであって、表示制御部は、情報取得部が取得した状態情報を表示部に表示させるプログラムである。
本発明の表示制御装置、表示制御方法、及びプログラムは、経過観察を行う際の操作性を著しく向上させることができる。
被検眼の眼底の層厚の経過観察に用いられる眼科用観察システムの概略図である。 サーバの一例を示した説明図である。 コンピュータの機能を示す機能ブロック図である。 モニタに表示される経過観察画面の一例を説明するための説明図である。 「確認点指定操作」で指定される層厚グラフ上の確認点を説明するための説明図である。 「確認点指定操作」に応じてモニタに表示される詳細画面を説明するための説明図である。 サーバの操作情報格納部内の操作情報の一例を示した説明図である。 「表示指定操作」に応じた詳細画面内での二次元断層画像の表示の切り替えを説明するための説明図である。 「入力点指定操作」で指定される層厚グラフ上のコメント入力点、及び「コメント入力操作」で入力されるコメントを説明するための説明図である。 「確認点指定操作」及び「コメント入力操作」の後で表示制御部によりモニタに再表示される経過観察画面の一例を示した説明図である。 経過観察画面の再表示制御の流れを示すフローチャートである。 眼科用観察システムを構成するコンピュータによるモニタの表示制御の流れを示すフローチャートである。 詳細画面の他の実施例を説明するための説明図である。
[眼科用観察システムの構成]
図1は、被検眼Eの眼底の層厚の経過観察に用いられる眼科用観察システム10の概略図である。なお、被検眼Eの眼底は本発明の観察部位に相当し、眼底の層厚は本発明の眼特性データに相当する。眼科用観察システム10は、眼科観察装置12と、サーバ13(データベースともいう)と、コンピュータ14及びモニタ15と、を備える。
眼科観察装置12は、本発明の眼科装置に相当するものであり、OCTユニットと眼底カメラユニットとを含む、OCTと眼底カメラとの複合機である。眼底カメラユニットは、従来の眼底カメラとほぼ同様の光学系を備え、OCTユニットは、従来のOCTとほぼ同様の光学系を備える。
眼科観察装置12は、被検眼Eの眼底の複数の二次元断層画像18の取得と、被検眼Eの眼底を撮影した眼底写真19の取得と、を複数回に亘って経時的に行う。眼科観察装置12は、新たな複数の二次元断層画像18及び眼底写真19を取得する毎に、取得した複数の二次元断層画像18及び眼底写真19をサーバ13へ逐次出力する。
また、眼科観察装置12は、新たな複数の二次元断層画像18を取得する毎に、複数の二次元断層画像18から被検眼Eの眼底の三次元画像20(三次元断層画像ともいう)を生成すると共に、複数の二次元断層画像18を解析して被検眼Eの眼底の各位置の層厚を検出する。ここでいう眼底の層厚とは、眼底の1層又は複数層の層厚、或いは眼底の全層の層厚のいずれであってもよい。
なお、三次元画像20の生成方法及び眼底の層厚の検出方法は公知技術であるので具体的な説明は省略する。眼科観察装置12は、新たな三次元画像20を生成する毎に、生成した三次元画像20をサーバ13へ逐次出力する。また、眼科観察装置12は、眼底の各位置の層厚を検出する毎に、例えば眼底の各位置の層厚の平均値である層厚21(眼底内の特定位置の層厚でも可)をサーバ13へ逐次出力する。
さらに眼科観察装置12は、被検眼Eの眼底の各位置の層厚を検出する毎に、眼底の層厚の二次元分布を示す層厚マップ22を生成し、生成した層厚マップ22をサーバ13へ逐次出力する。
サーバ13は、被検者の診療情報等を格納した医療支援用のサーバ(データベース)である。このサーバ13は、眼科観察装置12と後述のコンピュータ14とにそれぞれ接続されている。
図2は、サーバ13の一例を示した説明図である。図2に示すように、サーバ13は、眼科観察装置12から逐次入力される被検眼Eの眼底の複数の二次元断層画像18、眼底写真19、三次元画像20、層厚21、及び層厚マップ22等を、被検者ID(identification)に関連付けて被検者別に記憶する。なお、被検者IDは、被検者に対して割り振られた被検者の固有識別情報である。
サーバ13には、被検者ID毎に、経過観察データ格納部F1、眼底写真及び層厚マップ格納部F2、二次元断層画像格納部F3、三次元画像格納部F4、及び操作情報格納部F5等が仮想的に設けられている。
経過観察データ格納部F1には、被検眼Eの眼底の層厚の経過観察データ25が記憶される。経過観察データ25は、眼科観察装置12から逐次入力される層厚21をその「取得日時」の順に記憶したものである。なお、図中では図面の煩雑化を防止するため、「取得日時」、「指定日」、及び「入力日時」等の「日時」の時間に関する記載は省略している(以下、同じ)。
眼底写真及び層厚マップ格納部F2には、眼科観察装置12から逐次入力される眼底写真19及び層厚マップ22がそれぞれの「取得日時」の順に記憶される。
二次元断層画像格納部F3は、後述の三次元画像格納部F4と共に本発明の第1記憶部を構成する。この二次元断層画像格納部F3には、眼科観察装置12から逐次入力される複数の二次元断層画像18がその「取得日時」の順に記憶される。
三次元画像格納部F4には、眼科観察装置12から逐次入力される三次元画像20がその「取得日時」の順に記憶されている。また、三次元画像格納部F4には、三次元画像20内での複数の二次元断層画像18の位置を示す画像構成情報20aが、各三次元画像20にそれぞれ対応付けて記憶されている。既述の通り、三次元画像20は複数の二次元断層画像18に基づき生成されたものであり、画像構成情報20aを参照することで、三次元画像20内の各位置に対応する二次元断層画像18を判別できる。画像構成情報20aは、眼科観察装置12から三次元画像20と共にサーバ13に入力される。なお、画像構成情報20aは、三次元画像20にタグ情報として付されていてもよい。
操作情報格納部F5は、本発明の第2記憶部及び第3記憶部に相当する。この操作情報格納部F5には、コンピュータ14から入力される後述の操作情報48(図7参照)が記憶される。
図1に戻って、コンピュータ14は、本発明の表示制御装置に相当する。このコンピュータ14には、既述のサーバ13の他に、モニタ15と、操作部27とが接続している。コンピュータ14は、操作部27での操作に応じて、サーバ13から経過観察データ25等を取得すると共に、取得した経過観察データ25に基づく経過観察画面40等(図4参照)をモニタ15に表示させる。
モニタ15は、本発明の表示部に相当するものであり、例えば液晶モニタなどの公知の各種モニタ(ディスプレイ)が用いられる。なお、モニタ15は、コンピュータ14と一体に設けられていてもよい。操作部27は、例えばキーボード及びマウスが用いられるが、他の操作部材を用いてもよい。
[コンピュータの構成]
図3は、コンピュータ14の機能を示す機能ブロック図である。図3に示すように、コンピュータ14は、制御部30及びメモリ31(ハードディスクドライブ等のストレージデバイスを含む)を備えている。制御部30は、例えばCPU(Central Processing Unit)又はFPGA(field-programmable gate array)等を含む各種の演算部等から構成された演算回路である。制御部30は、メモリ31から読み出したプログラム32を実行することで、モニタ15の表示制御と、サーバ13に対するアクセス制御(サーバ13からの情報取得及びサーバ13への情報記憶)とを行う。
制御部30は、メモリ31から読み出したプログラム32を実行することで、操作受付部35、情報取得部36、表示制御部37、及び記憶制御部38として機能する。
操作受付部35は、本発明の第1操作受付部、第2操作受付部、及び第3操作受付部に相当する。操作受付部35は、操作部27に入力された各種の入力操作を受け付ける。これら各種の入力操作には、「表示操作」と、「確認点指定操作」と、「表示指定操作」と、「入力点指定操作」及び「コメント入力操作」とが含まれる。
「表示操作」は、後述の経過観察画面40(図4参照)をモニタ15に表示させるための入力操作である。「確認点指定操作」は、本発明の第1指定操作に相当するものであり、モニタ15に経過観察画面40が表示されている状態で行われる。この「確認点指定操作」は、モニタ15に表示されている経過観察画面40内で後述の確認点45(図5参照)を指定するための入力操作である。
「表示指定操作」は、本発明の第3指定操作に相当するものであり、モニタ15に三次元画像20が表示されている状態で行われる。この「表示指定操作」は、モニタ15に表示されている三次元画像20内で後述の指定点51(図8参照)を指定するための入力操作である。
「入力点指定操作」は、本発明の第2指定操作に相当するものであり、モニタ15に経過観察画面40が表示されている状態で行われる。この「入力点指定操作」は、モニタ15に表示されている経過観察画面40内で後述のコメント入力点53(図9参照)を指定するための入力操作である。また、「コメント入力操作」は、前述の「入力点指定操作」に引き続き行われるものであり、後述のコメント54(図9参照)を入力するための入力操作である。
情報取得部36は、サーバ13から各種情報(データ及び画像等)の取得を行う。この情報取得部36は、操作受付部35が既述の「表示操作」、「確認点指定操作」、及び「表示指定操作」のいずれかを受け付けた場合に、サーバ13から各種情報を取得して、取得した各種情報を表示制御部37に出力する。
表示制御部37は、モニタ15による画像表示を制御する。この表示制御部37は、操作受付部35が「表示操作」、「確認点指定操作」、及び「表示指定操作」のいずれかを受け付けた場合に、情報取得部36から入力された各種情報に基づき、後述の経過観察画面40(図4参照)を含む被検眼Eの眼底の経過観察に係る各種画像(画面)をモニタ15に表示させる。また、表示制御部37は、サーバ13の操作情報格納部F5に記憶されている操作情報48(図7参照)を参照して、モニタ15による経過観察画面40の表示(再表示)を制御する(図10参照)。
記憶制御部38は、サーバ13の操作情報格納部F5に記憶されている操作情報48(図7参照)への各種情報の記憶を制御する。この記憶制御部38は、操作受付部35が「確認点指定操作」及び「コメント入力操作」のいずれかを受け付けた場合に操作情報48への各種情報の記憶を行う。
<表示操作に係る制御>
情報取得部36は、操作受付部35が「表示操作」を受け付けた場合、サーバ13の経過観察データ格納部F1から経過観察データ25を取得し、且つ眼底写真及び層厚マップ格納部F2から眼底写真19及び層厚マップ22を間引いて取得する。情報取得部36は、サーバ13から取得した経過観察データ25と、眼底写真19及び層厚マップ22とを表示制御部37へ出力する。
表示制御部37は、操作受付部35が「表示操作」を受け付けた場合に、情報取得部36から入力された経過観察データ25と、眼底写真19及び層厚マップ22とに基づき、経過観察画面40(図4参照)を生成し、この経過観察画面40をモニタ15に表示させる。
図4は、モニタ15に表示される経過観察画面40の一例を説明するための説明図である。図4に示すように、経過観察画面40内には、層厚グラフ41と、眼底写真19及び層厚マップ22と、カーソル42と、が表示される。
層厚グラフ41は、情報取得部36から経過観察データ25を取得した表示制御部37によって生成される。この層厚グラフ41は、経過観察データ25内の各層厚21の時系列的な変化を示すグラフである。なお、経過観察画面40内に表示する層厚グラフ41の種類は、特に限定されず、任意の種類のグラフを採用してもよい。
眼底写真19及び層厚マップ22は、層厚グラフ41内の同じ取得日時の層厚21にそれぞれ関連付けて経過観察画面40内に表示される。なお、経過観察画面40内に表示される眼底写真19及び層厚マップ22は、原画像又はサムネイル画像のいずれであってもよい。
カーソル42は、後述の「確認点指定操作」、「表示指定操作」、及び「入力点指定操作」で用いられる。表示制御部37は、操作部27で行われたカーソル42の移動操作(例えばマウスの移動操作)を操作受付部35が受け付けた場合、この移動操作に応じて経過観察画面40内でのカーソル42の位置を移動させる。これにより、層厚グラフ41内の所望の点までカーソル42を移動させることができる。
<確認点指定操作に係る制御>
図5は、「確認点指定操作」で指定される層厚グラフ41上の確認点45を説明するための説明図である。図6は、「確認点指定操作」に応じてモニタ15に表示される詳細画面46を説明するための説明図である。
図5に示すように、「確認点指定操作」は、モニタ15に経過観察画面40が表示されている状態で、層厚グラフ41上の任意(所望)の確認点45をカーソル42で指定する操作である。このような確認点45としては、例えば層厚グラフ41上で層厚(層厚21)に急激な変化が生じている点のように、被検眼Eの眼底の詳細な状態(二次元断層画像18及び三次元画像20)の確認を要する層厚グラフ41上の点が挙げられる。
情報取得部36は、カーソル42で層厚グラフ41上の確認点45が指定(選択)されている状態で、操作受付部35が「確認点指定操作」を受け付けた場合、サーバ13の二次元断層画像格納部F3及び三次元画像格納部F4にアクセスする。
次いで、情報取得部36は、層厚グラフ41上での各層厚21のデータと確認点45との位置関係に基づき、この確認点45に最も近いタイミングで取得された二次元断層画像格納部F3内の二次元断層画像18と、三次元画像格納部F4内の三次元画像20とをそれぞれ検索する。これにより、情報取得部36は、確認点45に最も近いタイミングで取得された複数の二次元断層画像18の中のいずれか1つ(例えば眼底の中心等の予め定めた特定位置の二次元断層画像18)をサーバ13の二次元断層画像格納部F3から取得する。また、情報取得部36は、確認点45に最も近いタイミングで取得された三次元画像20をサーバ13の三次元画像格納部F4から取得する。そして、情報取得部36は、サーバ13から取得した二次元断層画像18及び三次元画像20を表示制御部37へ出力する。
図6に示すように、表示制御部37は、操作受付部35が「確認点指定操作」を受け付けた場合、情報取得部36から取得した二次元断層画像18及び三次元画像20に基づき、被検眼Eの眼底の詳細な状態を示す詳細画面46を生成し、この詳細画面46を既述の経過観察画面40とは別ウィンドウでモニタ15に表示させる。これにより、モニタ15に、経過観察画面40と詳細画面46とが同時表示される。
詳細画面46には、確認点45に最も近いタイミングで取得された1つの二次元断層画像18と三次元画像20とが含まれる。ここで、被検眼Eの眼底の層厚21は、二次元断層画像18から得られたものであり、三次元画像20も各二次元断層画像18に基づき生成されたものであるので、層厚21と、二次元断層画像18及び三次元画像20との間には、密接な関連性がある。このため、検者は、詳細画面46に表示される二次元断層画像18と三次元画像20に基づき、確認点45に最も近いタイミングでの被検眼Eの眼底の詳細な状態を確認できる。すなわち、二次元断層画像18及び三次元画像20は、本発明の状態情報に相当する。
なお、表示制御部37は、操作受付部35が受け付けたカーソル42の移動操作に応じて、経過観察画面40内にあるカーソル42を詳細画面46内に移動させ、この詳細画面46内でカーソル42の位置を移動させる。これにより、三次元画像20内の所望の点にカーソル42を移動させることができる。
図7は、サーバ13の操作情報格納部F5内の操作情報48の一例を示した説明図である。図7に示すように、操作情報48には、「確認点情報」と「コメント情報」とが含まれている。「確認点情報」は、「確認点指定操作」で指定された確認点45の位置と、「確認点指定操作」が行われた指定日時とを関連付けて記憶した情報である。また、「コメント情報」は、後述の「入力点指定操作」で指定されたコメント入力点53(図9参照)の位置と、後述の「コメント入力操作」で入力されたコメント54(図9参照)と、を示す情報である。
記憶制御部38は、操作受付部35が「確認点指定操作」を受け付けた場合、層厚グラフ41上での確認点45の位置を示す位置情報49(本発明の第2位置情報に相当)と、「確認点指定操作」が行われた指定日時とを関連付けて、操作情報格納部F5内の操作情報48の「確認点情報」に記憶させる。これにより、表示制御部37は、「確認点情報」内の位置情報49を参照することで、過去の「確認点指定操作」で指定済みの確認点45の層厚グラフ41上での位置を判別できる。
<指定操作に係る制御>
図8は、「表示指定操作」に応じた詳細画面46内での二次元断層画像18の表示の切り替えを説明するための説明図である。
図8に示すように「表示指定操作」は、モニタ15に詳細画面46が表示されている状態で、詳細画面46の三次元画像20上の任意(所望)の指定点51をカーソル42で指定する操作である。このような指定点51としては、例えば三次元画像20上で何らかの異常(病変)が生じている点、すなわち眼底の二次元断層画像18の確認を要する三次元画像20上の点が挙げられる。
情報取得部36は、三次元画像20上の指定点51がカーソル42により指定されている状態で、操作受付部35が「表示指定操作」を受け付けた場合、サーバ13の二次元断層画像格納部F3及び三次元画像格納部F4にアクセスする。そして、情報取得部36は、詳細画面46内の三次元画像20に対応する既述の画像構成情報20a(図2参照)を参照して、この三次元画像20上の指定点51に対応する二次元断層画像18を判別し、判別した二次元断層画像18を二次元断層画像格納部F3から取得する。次いで、情報取得部36は、二次元断層画像格納部F3から取得した二次元断層画像18を表示制御部37へ出力する。
表示制御部37は、操作受付部35が「表示指定操作」を受け付けた場合、詳細画面46内に表示されている二次元断層画像18を、情報取得部36から新たに取得した二次元断層画像18に切り替える。これにより、詳細画面46内の二次元断層画像18の表示が、三次元画像20上の指定点51の位置に対応する二次元断層画像18に切り替えられる。その結果、既述の確認点45に最も近いタイミングで取得された複数の二次元断層画像18の中から、所望位置の二次元断層画像18を詳細画面46に表示できる。
<入力点指定操作及びコメント入力操作に係る制御>
図9は、「入力点指定操作」で指定される層厚グラフ41上のコメント入力点53、及び「コメント入力操作」で入力されるコメント54を説明するための説明図である。
図9に示すように、「入力点指定操作」は、モニタ15に経過観察画面40が表示されている状態で、層厚グラフ41上の任意(所望)のコメント入力点53をカーソル42で指定する操作である。このようなコメント入力点53としては、例えば被検眼Eの眼底の層厚(層厚21)に急激な変化が生じた点、或いは被検眼Eに対して投薬又は手術を行った日時などのように、コメント54の入力が必要な層厚グラフ41上の点が挙げられる。なお、コメント入力点53が既述の確認点45と同一であってもよい。
表示制御部37は、操作受付部35が「入力点指定操作」(例えばマウスの右クリック操作)を受け付けた場合、経過観察画面40内のカーソル42で指定されたコメント入力点53に対応する位置に入力欄(不図示)を表示させる。これにより、操作部27(例えばキーボード)で入力欄にコメント54を入力する「コメント入力操作」を実行すると共に、この「コメント入力操作」を操作受付部35で受け付けることができる。なお、コメント54の内容は特に限定はされないが、例えば、被検眼Eに対する投薬又は手術の内容、検者が詳細画面46を確認して気が付いた点、及びコメント54の入力を行った者の氏名などが挙げられる。
図7に戻って記憶制御部38は、操作受付部35が「コメント入力操作」を受け付けた場合、「コメント入力操作」が行われた入力日時と、層厚グラフ41上でのコメント入力点53の位置を示す位置情報57(本発明の第1位置情報に相当)と、入力欄に入力されたコメント54とを関連付けて、操作情報格納部F5内の操作情報48の「コメント情報」に記憶させる。これにより、表示制御部37は、操作情報48内の「コメント情報」を参照することで、「入力点指定操作」によって過去に指定されたコメント入力点53の位置(すなわちコメント54の入力が行われた層厚グラフ41上の位置)と、「コメント入力操作」で過去に入力されたコメント54の内容と、を判別できる。
<経過観察画面の再表示>
図10は、「確認点指定操作」及び「コメント入力操作」の後で表示制御部37によりモニタ15に再表示される経過観察画面40の一例を示した説明図である。図11は、経過観察画面40の再表示制御の流れを示すフローチャートである。
既述の図7、図10、及び図11に示すように、表示制御部37は、既述の「確認点指定操作」に応じて経過観察画面40を生成した場合、サーバ13の操作情報格納部F5に記憶されている操作情報48内の「確認点情報」及び「コメント情報」を参照する(図11のステップS1A)。
表示制御部37は、「確認点情報」に位置情報49が記憶されている場合(図11のステップS1BでYES)、「確認点情報」内の位置情報49に基づき、過去の「確認点指定操作」で指定された層厚グラフ41上の確認点45の位置を判別する。
そして、表示制御部37は、確認点45の位置の判別結果に基づき、経過観察画面40をモニタ15に表示する場合に、この経過観察画面40内の層厚グラフ41上に、過去の「確認点指定操作」で指定された確認点45を識別可能な表示態様(図10参照)で表示させる(図11のステップS1C)。これにより、検者は、過去の「確認点指定操作」で指定された層厚グラフ41内の確認点45の位置を容易に判別できるので、過去の「確認点指定操作」で確認した詳細画面46をモニタ15に再表示させることができる。
一方、表示制御部37は、「コメント情報」にコメント54及び位置情報57が記憶されている場合(図11のステップS1DでYES)、「コメント情報」内の位置情報57に基づき、過去の「入力点指定操作」で指定された層厚グラフ41上のコメント入力点53の位置を判別する。なお、図10では、コメント入力点53の位置が確認点45の位置と同じ位置であるものとして説明を行う。
そして、表示制御部37は、経過観察画面40をモニタ15に表示する場合に、上述のコメント入力点53の位置の判別結果と「コメント情報」内のコメント54とに基づき、層厚グラフ41上のコメント入力点53に対応する位置に、過去の「コメント入力操作」で入力されたコメント54を表示させる(ステップS1E)。これにより、過去の「コメント入力操作」で入力したコメント54を、過去の「入力点指定操作」で指定された位置に再表示することができる。その結果、「入力点指定操作」及び「コメント入力操作」を行った検者と同一人が経過観察画面40の再表示を行った場合、又は異なる検者が経過観察画面40の再表示を行った場合に、経過観察画面40に表示されるコメント54に基づき必要な情報が直ぐに得られる。
[眼科用観察システムのコンピュータの作用]
図12は、上記構成の眼科用観察システム10を構成するコンピュータ14によるモニタ15の表示制御の流れ(本発明の表示制御方法)を示すフローチャートである。
図12に示すように、検者がコンピュータ14及びモニタ15を起動した後、操作部27にて「表示操作」を実行すると、この「表示操作」が操作受付部35で受け付けられる。これにより、「表示操作」に応じて情報取得部36がサーバ13から経過観察データ25と、眼底写真19及び層厚マップ22とを取得して表示制御部37へ出力する。そして、情報取得部36から経過観察データ25等を取得した表示制御部37は、「表示操作」に応じて、既述の図4に示した層厚グラフ41を含む経過観察画面40を生成し、この経過観察画面40をモニタ15に表示させる(ステップS1、本発明の表示制御工程に相当)。
なお、ステップS1での経過観察画面40の表示前に、既に「確認点指定操作」及び「コメント入力操作」が実行されている場合には、既述の図10及び図11で示したように、経過観察画面40内での確認点45及びコメント54の表示が行われる。
モニタ15に表示された経過観察画面40内の層厚グラフ41を確認した検者は、この層厚グラフ41上に被検眼Eの眼底の詳細な確認を要する確認点45が存在する場合、操作部27を操作してカーソル42の移動操作を行う。この移動操作を操作受付部35が受け付けると、表示制御部37は経過観察画面40内でカーソル42を層厚グラフ41内の確認点45まで移動させる(図5参照)。そして、検者が操作部27にて「確認点指定操作」を実行すると、この「確認点指定操作」が操作受付部35で受け付けられる(ステップS2でYES、本発明の第1操作受付工程)。
操作受付部35が受け付けた「確認点指定操作」に応じて、情報取得部36は、サーバ13にアクセスして、確認点45に最も近いタイミングで取得された複数の二次元断層画像18の中のいずれか1つを二次元断層画像格納部F3から取得する。また、情報取得部36は、確認点45に最も近いタイミングで取得された三次元画像20を三次元画像格納部F4から取得する(ステップS3,S4、本発明の情報取得工程に相当)。そして、情報取得部36は、サーバ13から取得した二次元断層画像18及び三次元画像20を表示制御部37に出力する。
次いで、表示制御部37は、上述の「確認点指定操作」に応じて、情報取得部36から取得した二次元断層画像18及び三次元画像20に基づき詳細画面46を生成し、この詳細画面46を既述の図6に示したようにモニタ15に別ウィンドウで表示させる(ステップS5)。これにより、検者は、確認点45の層厚21と密接な関連性がある(確認点45の層厚21を反映している)二次元断層画像18及び三次元画像20を含む詳細画面46を確認することで、この確認点45に最も近いタイミングでの被検眼Eの眼底の詳細な状態を確認できる。また、モニタ15に経過観察画面40と詳細画面46とを同時表示させることで、層厚グラフ41と二次元断層画像18及び三次元画像20との対比を容易に行うことができる。
なお、図示は省略するが、検者が操作部27にて詳細画面46に表示されている三次元画像20内の所望の指定点51を指定する「表示指定操作」を行い、この「表示指定操作」が操作受付部35で受け付けられると、情報取得部36によってサーバ13からの指定点51に対応する二次元断層画像18の取得が実行される。これにより、表示制御部37によって詳細画面46に表示される二次元断層画像18が切り替えられる。その結果、検者は、三次元画像20内の所望位置の二次元断層画像18を確認できる。
一方、上述の「確認点指定操作」に応じて、記憶制御部38は、既述の図7に示したように、前述の位置情報49と「確認点指定操作」が行われた指定日時とを関連付けて、サーバ13の操作情報格納部F5内の操作情報48の「確認点情報」に記憶させる(ステップS6)。これにより、経過観察画面40の再表示を行う場合に、層厚グラフ41上に確認点45を識別可能な表示態様で再表示することができる(図10参照)。
経過観察画面40内の層厚グラフ41を確認した検者は、既述の図9に示したように、層厚グラフ41上にコメント54の入力を要するコメント入力点53が存在する場合(ステップS7でYES)、操作部27を操作して「入力点指定操作」を実行する(ステップS8A)。
操作受付部35が「入力点指定操作」を受け付けると、表示制御部37は、経過観察画面40内のカーソル42で指定されたコメント入力点53に対応する位置にコメント54の入力欄(不図示)を表示させる。そして、検者が操作部27を操作して入力欄にコメント54を入力する「コメント入力操作」を実行する(ステップS8B)。
次いで、操作受付部35が「コメント入力操作」を受け付けると、記憶制御部38は、既述の図7に示したように、層厚グラフ41上でのコメント入力点53の位置を示す位置情報57と、入力欄に入力されたコメント54とを関連付けて、操作情報格納部F5内の操作情報48の「コメント情報」に記憶させる(ステップS9)。これにより、経過観察画面40の再表示を行う場合に、層厚グラフ41上のコメント入力点53に対応する位置に、過去に入力されたコメント54を対応付けて表示することができる(図10参照)。
以下、検者による経過観察画面40の確認が終了するまで、上記のステップS2以降の処理が繰り返し実行される(ステップS10)。
[本実施形態の効果]
以上のように本実施形態の眼科用観察システム10を構成するコンピュータ14は、モニタ15に経過観察画面40を表示させた場合に、「確認点指定操作」に応じて、層厚グラフ41上の確認点45に最も近いタイミングで取得された二次元断層画像18及び三次元画像20(詳細画面46)をモニタ15に表示させることができる。これにより、検者が所望の二次元断層画像18及び三次元画像20をサーバ13内から探す手間が省けるので、経過観察を行う際の操作性を著しく向上させることができる。
また、上記のコンピュータ14によれば、三次元画像20内の任意の指定点51を指定する「表示指定操作」に応じて、詳細画面46内に表示される二次元断層画像18を切り替えることができるので、検者は、三次元画像20内の所望位置における二次元断層画像18を簡単に確認することができる。その結果、経過観察を行う際の操作性をより向上させることができる。
さらに、上記のコンピュータ14によれば、「入力点指定操作」及び「コメント入力操作」に応じて上述の位置情報57及びコメント54をサーバ13に記憶させると共に、経過観察画面40の再表示を行った場合にサーバ13内に記憶したコメント54を表示させるので、検者は何らの操作を行うことなく必要な情報が得られる。その結果、経過観察を行う際の操作性をより向上させることができる。
[その他]
図13は、詳細画面46の他の実施例を説明するための説明図である。上記実施形態では詳細画面46内に三次元画像20を表示したが、図13に示すように、三次元画像20の代わりに三次元画像20のモデル画像59を表示してもよい。このモデル画像59は、複数の二次元断層画像18(B−scan画像)のモデル画像59aにより構成されている。そして、各モデル画像59aは、二次元断層画像格納部F3内に記憶されている複数の二次元断層画像18にそれぞれ対応している。これにより、既述の「表示指定操作」にて各モデル画像59aの中の任意のモデル画像59aを指定することで、指定したモデル画像59aに対応する二次元断層画像18をサーバ13から取得して詳細画面46内に表示させることができる。
また、上記実施形態では、詳細画面46内に二次元断層画像18と三次元画像20とを表示しているが、両者の一方を選択的に表示してもよい。
上記実施形態では、経過観察を行う被検眼Eの眼特性として眼底の層厚を例に挙げて説明したが、被検眼Eの他の眼特性[眼底の層(特定の層又は全層)の体積、眼屈折力、眼圧、角膜内細胞の密度等]の経過観察を行う場合にも本発明を適用できる。この場合には、各種の眼科装置を用いて、被検眼Eの各種観察部位(眼底以外も含む)から経時的に取得された被検眼Eの眼特性データがサーバ13に記憶される。なお、各種の眼科装置としては、眼科観察装置12以外に、OCT、眼底カメラ、SLO(Scanning Laser Ophthalmoscope)、眼軸長計、スリットランプ、レフラクトメータ、ケラトメータ、トノメータ、スペキュラマイクロスコープ、及びこれらの複合機などが例として挙げられる。
上記実施形態では、本発明の状態情報として眼科観察装置12で取得された被検眼Eの眼底の二次元断層画像18及び三次元画像20を例に挙げて説明したが、例えば眼科観察装置12で経時的に取得された眼底写真19及び層厚マップ22を本発明の状態情報に含めてもよい。また、上述の各種の眼科装置で経時的に取得された被検眼Eの各種状態を示す情報も本発明の状態情報に含まれる。
上記実施形態では、本発明の表示制御装置としてコンピュータ14を例に挙げて説明を行ったが、プログラム32を実行可能な各種の演算装置(回路)を本発明の表示制御装置として用いてもよい。また、上記実施形態では、コンピュータ14及びモニタ15が眼科観察装置12(上述の各種眼科装置を含む)と別体に設けられているが、コンピュータ14及びモニタ15の少なくとも一方が眼科観察装置12に設けられていてもよい。
上記実施形態では、1つのサーバ13に各格納部F1〜F5の全てが設けられているが、各格納部F1〜F5を複数のサーバ13に分散して設けてもよい。また、各格納部F1〜F5の少なくともいずれか1つをコンピュータ14に設けてもよい。なお、各格納部F1〜F5の全てをコンピュータ14に設けて、コンピュータ14をサーバ13として機能させるようにしてもよい。
上述の実施形態で説明したコンピュータ14を機能させるためのプログラム32を、各種のコンピュータ可読媒体(有体物たる非一時的な情報記憶媒体)に記録して提供、或いはインターネットなどの通信ネットワークを提供することも可能である。
10…眼科用観察システム,12…眼科観察装置,13…サーバ,14…コンピュータ,15…モニタ,18…二次元断層画像,20…三次元画像,25…経過観察データ,27…操作部,30…制御部,32…プログラム,35…操作受付部,36…情報取得部,37…表示制御部,38…記憶制御部,40…経過観察画面,41…層厚グラフ,42…カーソル,45…確認点,46…詳細画面,48…操作情報,49,57…位置情報,51…指定点,53…コメント入力点,54…コメント

Claims (9)

  1. 同一の被検眼の眼特性データを経時的に取得して得られた経過観察データを、表示部に表示させる表示制御部と、
    前記表示部に表示されている前記経過観察データ内の確認点を指定する第1指定操作であって且つ前記経過観察データ内で前記眼特性データの取得ポイント以外の点を前記確認点として指定可能な第1指定操作を受け付ける第1操作受付部と、
    前記第1操作受付部が受け付けた前記第1指定操作に応じて、前記被検眼の状態を示す状態情報であって且つ経時的に取得された状態情報を記憶した第1記憶部から、前記確認点に最も近いタイミングで取得された前記状態情報を取得する情報取得部と、
    を備え、
    前記表示制御部は、前記情報取得部が取得した前記状態情報を前記表示部に表示させる表示制御装置。
  2. 前記表示部に表示されている前記経過観察データ内のコメント入力点を指定する第2指定操作と、前記第2指定操作で指定された前記コメント入力点に対するコメントの入力操作と、を受け付ける第2操作受付部と、
    前記第2指定操作で指定された前記コメント入力点の前記経過観察データ内での位置を示す位置情報と、前記入力操作で入力された前記コメントとを関連付けて第2記憶部に記憶させる記憶制御部と、
    を備え、
    前記表示制御部は、前記経過観察データを前記表示部に再表示させる場合、前記第2記憶部内の前記位置情報及び前記コメントに基づき、再表示させる前記経過観察データ内の前記コメント入力点に対応する位置に前記コメントを表示させる請求項1に記載の表示制御装置。
  3. 前記状態情報は、眼科装置により取得された前記被検眼の観察部位の画像であり、
    前記眼特性データは、前記画像を解析して得られるものである請求項1又は2に記載の表示制御装置。
  4. 前記画像は、前記観察部位の複数の二次元断層画像と、複数の前記二次元断層画像に基づき生成された前記観察部位の三次元画像とを含み、
    前記情報取得部は、前記第1指定操作に応じて、前記最も近いタイミングで取得された前記二次元断層画像及び前記三次元画像の少なくとも一方を前記第1記憶部から取得し、
    前記表示制御部は、前記情報取得部が取得した前記少なくとも一方を前記表示部に表示させる請求項3に記載の表示制御装置。
  5. 前記表示部に前記三次元画像が表示されている場合に、前記三次元画像内の指定点を指定する第3指定操作を受け付ける第3操作受付部を備え、
    前記情報取得部は、前記第3操作受付部で前記第3指定操作を受け付けた場合、前記指定点に対応する前記二次元断層画像を前記第1記憶部から取得し、
    前記表示制御部は、前記第3指定操作に応じて前記情報取得部が取得した前記二次元断層画像を前記表示部に表示させる請求項4に記載の表示制御装置。
  6. 前記第1指定操作で指定された前記確認点の前記経過観察データ内での位置を示す第2位置情報を記憶する第3記憶部を備え、
    前記表示制御部は、前記経過観察データを前記表示部に再表示させる場合に、前記第3記憶部内の前記第2位置情報に基づき、再表示させる前記経過観察データ内に前記確認点を識別可能な表示態様で表示させる請求項1から5のいずれか1項に記載の表示制御装置。
  7. 前記表示制御部は、前記経過観察データと、前記情報取得部が取得した前記状態情報と、を前記表示部に同時表示させる請求項1から6のいずれか1項に記載の表示制御装置。
  8. 表示制御部が、同一の被検眼の眼特性データを経時的に取得して得られた経過観察データを、表示部に表示させる表示制御工程と、
    第1操作受付部が、前記表示部に表示されている前記経過観察データ内の確認点を指定する第1指定操作であって且つ前記経過観察データ内で前記眼特性データの取得ポイント以外の点を前記確認点として指定可能な第1指定操作を受け付ける第1操作受付工程と、
    情報取得部が、前記第1操作受付部で受け付けた前記第1指定操作に応じて、前記被検眼の状態を示す状態情報であって且つ経時的に取得された状態情報を記憶した第1記憶部から、前記確認点に最も近いタイミングで取得された前記状態情報を取得する情報取得工程と、
    を有し、
    前記表示制御工程では、前記表示制御部が前記情報取得部により取得された前記状態情報を前記表示部に表示させる表示制御方法。
  9. コンピュータを、
    同一の被検眼の眼特性データを経時的に取得して得られた経過観察データを、表示部に表示させる表示制御部と、
    前記表示部に表示されている前記経過観察データ内の確認点を指定する第1指定操作であって且つ前記経過観察データ内で前記眼特性データの取得ポイント以外の点を前記確認点として指定可能な第1指定操作を受け付ける第1操作受付部と、
    前記第1操作受付部が受け付けた前記第1指定操作に応じて、前記被検眼の状態を示す状態情報であって且つ経時的に取得された状態情報を記憶した第1記憶部から、前記確認点に最も近いタイミングで取得された前記状態情報を取得する情報取得部として機能させるプログラムであって、
    前記表示制御部は、前記情報取得部が取得した前記状態情報を前記表示部に表示させるプログラム。
JP2017059446A 2017-03-24 2017-03-24 表示制御装置、表示制御方法、及びプログラム Active JP6927724B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017059446A JP6927724B2 (ja) 2017-03-24 2017-03-24 表示制御装置、表示制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017059446A JP6927724B2 (ja) 2017-03-24 2017-03-24 表示制御装置、表示制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018161230A JP2018161230A (ja) 2018-10-18
JP6927724B2 true JP6927724B2 (ja) 2021-09-01

Family

ID=63859384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017059446A Active JP6927724B2 (ja) 2017-03-24 2017-03-24 表示制御装置、表示制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6927724B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021074962A1 (ja) * 2019-10-15 2021-04-22 株式会社ニコン 画像処理方法、画像処理装置、およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3778231B2 (ja) * 1997-05-12 2006-05-24 株式会社トプコン 視野計の解析処理装置
US20110129133A1 (en) * 2009-12-02 2011-06-02 Ramos Joao Diogo De Oliveira E Methods and systems for detection of retinal changes
KR101644466B1 (ko) * 2012-08-30 2016-08-01 캐논 가부시끼가이샤 정보 처리장치 및 방법
JP6229255B2 (ja) * 2012-10-24 2017-11-15 株式会社ニデック 眼科解析装置、及び眼科解析プログラム

Also Published As

Publication number Publication date
JP2018161230A (ja) 2018-10-18

Similar Documents

Publication Publication Date Title
KR101373935B1 (ko) 안과 장치, 안과 장치의 제어 방법 및 컴퓨터 판독가능 저장 매체
JP6300472B2 (ja) 情報処理装置、情報処理方法およびプログラム
Kardon Optical coherence tomography in papilledema: what am I missing?
JP2019181285A (ja) 情報処理装置、情報処理装置の作動方法及びプログラム
JP6918525B2 (ja) 眼科診療情報処理システム及び眼科診療情報処理方法
Almazroa et al. Agreement among ophthalmologists in marking the optic disc and optic cup in fundus images
CN106157297A (zh) 图像处理装置和图像处理方法
US20220005584A1 (en) Information processing apparatus, information processing method, and storage medium
CN103222848A (zh) 图像处理设备和图像处理方法
JP2018121886A (ja) 画像処理装置、および画像処理プログラム
JP2016101297A (ja) 眼科情報処理システムおよび眼科情報処理方法
JP5154191B2 (ja) 医療情報処理システム及びプログラム
JP7196908B2 (ja) 眼科画像処理装置および眼科画像処理プログラム
JP2019141642A (ja) 眼科情報処理システム
JP7230800B2 (ja) 眼科情報処理システム
JP6927724B2 (ja) 表示制御装置、表示制御方法、及びプログラム
WO2020116351A1 (ja) 診断支援装置、および診断支援プログラム
JP6968552B2 (ja) 眼科診療情報処理システム
JP2020121012A (ja) 眼科情報処理装置、学習済モデル、学習装置、眼科情報処理方法、及びプログラム
JP6568375B2 (ja) 眼科情報処理システム、画像処理装置、および画像処理方法
JP7205539B2 (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
WO2022208903A1 (ja) Oct装置、octデータ処理方法、プログラム、および記録媒体
JP6033478B2 (ja) 眼科装置、層厚比較方法およびプログラム
JP6898969B2 (ja) 眼科情報処理システムおよび眼科情報処理方法
JP2018020179A (ja) 眼科装置、層厚比較方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210805

R150 Certificate of patent or registration of utility model

Ref document number: 6927724

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250