JP7027958B2 - 評価装置、評価方法、及び評価プログラム - Google Patents

評価装置、評価方法、及び評価プログラム Download PDF

Info

Publication number
JP7027958B2
JP7027958B2 JP2018035344A JP2018035344A JP7027958B2 JP 7027958 B2 JP7027958 B2 JP 7027958B2 JP 2018035344 A JP2018035344 A JP 2018035344A JP 2018035344 A JP2018035344 A JP 2018035344A JP 7027958 B2 JP7027958 B2 JP 7027958B2
Authority
JP
Japan
Prior art keywords
subject
index
display screen
unit
gazing point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018035344A
Other languages
English (en)
Other versions
JP2019150079A (ja
Inventor
修二 箱嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018035344A priority Critical patent/JP7027958B2/ja
Priority to US16/270,616 priority patent/US11241152B2/en
Publication of JP2019150079A publication Critical patent/JP2019150079A/ja
Application granted granted Critical
Publication of JP7027958B2 publication Critical patent/JP7027958B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032Devices for presenting test symbols or characters, e.g. test chart projectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091Fixation targets for viewing direction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography

Description

本発明は、評価装置、評価方法、及び評価プログラムに関する。
網膜における周辺視野の欠損の有無を評価する評価方法として、例えば、被験者にある一点を注視させ、その周辺に提示した指標を認知可能であるか否かを調べる方法がある(例えば、特許文献1参照)。
特開2011-161122号公報
特許文献1に記載の方法では、被験者が指示された指標を注視しているときのみ指標を提示する構成ではない。従って、被験者が周辺視野で指標を認識できているか否かを判断することが困難であり、周辺視野の欠損の有無を精度よく評価することが困難である。そのため、より精度の高い評価を行うことが可能な技術が求められている。
本発明は、上記に鑑みてなされたものであり、より精度の高い評価を行うことが可能な評価装置、評価方法、及び評価プログラムを提供することを目的とする。
本発明に係る評価装置は、画像を表示する表示画面と、前記表示画面を観察する被験者の注視点の位置を検出する注視点検出部と、前記注視点の位置の検出結果に基づいて、前記表示画面において前記注視点に対して相対的に所定の位置関係となるオフセット位置に指標を表示させる表示制御部と、前記被験者が前記指標を認識したか否かを判断する演算部と、前記演算部の判断結果に基づいて、前記被験者の視機能を評価する評価部とを備える。
本発明に係る評価方法は、画像を表示する表示画面を観察する被験者の注視点の位置を検出することと、前記注視点の位置の検出結果に基づいて、前記表示画面において前記注視点に対して相対的に所定の位置関係となるオフセット位置に指標を表示させることと、前記被験者が前記指標を認識したか否かを判断することと、前記演算部の判断結果に基づいて、前記被験者の視機能を評価することとを含む。
本発明に係る評価プログラムは、画像を表示する表示画面を観察する被験者の注視点の位置を検出する処理と、前記注視点の位置の検出結果に基づいて、前記表示画面において前記注視点に対して相対的に所定の位置関係となるオフセット位置に指標を表示させる処理と、前記被験者が前記指標を認識したか否かを判断する処理と、前記演算部の判断結果に基づいて、前記被験者の視機能を評価する処理とをコンピュータに実行させる。
本発明によれば、より精度の高い評価を行うことが可能な評価装置、評価方法、及び評価プログラムを提供することができる。
図1は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図2は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図3は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図4は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図5は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図6は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。 図7は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。 図8は、被験者が表示画面を注視している場合の一例を示す図である。 図9は、表示画面に表示させる指標の一例を示す図である。 図10は、表示画面に表示させる指標の他の例を示す図である。 図11は、本実施形態に係る評価方法の原理を模式的に示す図である。 図12は、表示画面に指標の位置を変えて表示させる場合の例を示す図である。 図13は、表示画面に指標の位置を変えて表示させる場合の例を示す図である。 図14は、表示画面に指標の位置を変えて表示させる場合の例を示す図である。 図15は、表示画面に指標を表示させる場合の他の例を示す図である。 図16は、被験者が指標を認識できたか否かを判断する処理の一例を示すフローチャートである。 図17は、本実施形態に係る評価方法の一例を示すフローチャートである。
以下、本発明に係る評価装置、評価方法、及び評価プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
(視線検出装置)
図1は、第1実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。視線検出装置100は、被験者の視機能として、緑内障等による周辺視野の欠損の有無を評価する評価装置として用いられる。図1に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103と、被験者入力部70とを備える。
表示装置101は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。本実施形態において、表示装置101は、表示画面101Sを有する。表示画面101Sは、画像を表示する。本実施形態において、表示画面101Sは、例えば被験者の視機能を評価するための指標を表示する。表示画面101Sは、XY平面と実質的に平行である。X軸方向は表示画面101Sの左右方向であり、Y軸方向は表示画面101Sの上下方向であり、Z軸方向は表示画面101Sと直交する奥行方向である。
ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bを有する。ステレオカメラ装置102は、表示装置101の表示画面101Sよりも下方に配置される。第1カメラ102Aと第2カメラ102BとはX軸方向に配置される。第1カメラ102Aは、第2カメラ102Bよりも-X方向に配置される。第1カメラ102A及び第2カメラ102Bはそれぞれ、赤外線カメラを含み、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
照明装置103は、第1光源103A及び第2光源103Bを有する。照明装置103は、表示装置101の表示画面101Sよりも下方に配置される。第1光源103Aと第2光源103BとはX軸方向に配置される。第1光源103Aは、第1カメラ102Aよりも-X方向に配置される。第2光源103Bは、第2カメラ102Bよりも+X方向に配置される。第1光源103A及び第2光源103Bはそれぞれ、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、第1光源103A及び第2光源103Bは、第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。
照明装置103は、検出光である近赤外光を射出して、被験者の眼球111を照明する。ステレオカメラ装置102は、第1光源103Aから射出された検出光が眼球111に照射されたときに第2カメラ102Bで眼球111を撮影し、第2光源103Bから射出された検出光が眼球111に照射されたときに第1カメラ102Aで眼球111を撮影する。
第1カメラ102A及び第2カメラ102Bの少なくとも一方からフレーム同期信号が出力される。第1光源103A及び第2光源103Bは、フレーム同期信号に基づいて検出光を射出する。第1カメラ102Aは、第2光源103Bから射出された検出光が眼球111に照射されたときに、眼球111の画像データを取得する。第2カメラ102Bは、第1光源103Aから射出された検出光が眼球111に照射されたときに、眼球111の画像データを取得する。
眼球111に検出光が照射されると、その検出光の一部は瞳孔112で反射し、その瞳孔112からの光がステレオカメラ装置102に入射する。また、眼球111に検出光が照射されると、角膜の虚像である角膜反射像113が眼球111に形成され、その角膜反射像113からの光がステレオカメラ装置102に入射する。
第1カメラ102A及び第2カメラ102Bと第1光源103A及び第2光源103Bとの相対位置が適切に設定されることにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。すなわち、ステレオカメラ装置102で取得される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。ステレオカメラ装置102は、取得される画像の輝度に基づいて、瞳孔112の位置及び角膜反射像113の位置を検出することができる。
図2は、本実施形態に係る視線検出装置100のハードウェア構成の一例を示す図である。図2に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103と、コンピュータシステム20と、入出力インターフェース装置30と、駆動回路40と、出力装置50と、入力装置60と、被験者入力部70とを備える。
コンピュータシステム20と、駆動回路40と、出力装置50と、入力装置60と、被験者入力部70とは、入出力インターフェース装置30を介してデータ通信する。コンピュータシステム20は、演算処理装置20A及び記憶装置20Bを含む。演算処理装置20Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置20Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置20Aは、記憶装置20Bに記憶されているコンピュータプログラム20Cに従って演算処理を実施する。
駆動回路40は、駆動信号を生成して、表示装置101、ステレオカメラ装置102、及び照明装置103に出力する。また、駆動回路40は、ステレオカメラ装置102で取得された眼球111の画像データを、入出力インターフェース装置30を介してコンピュータシステム20に供給する。
出力装置50は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置50は、印刷装置を含んでもよい。入力装置60は、操作されることにより入力データを生成する。入力装置60は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置60が表示装置である出力装置50の表示画面に設けられたタッチセンサを含んでもよい。被験者入力部70は、表示画面101Sに表示される指標を被験者が認識できたか否かを入力する。被験者入力部70としては、例えばボタン式スイッチ等が用いられる。この構成では、例えば指標を認識できたと被験者が判断する場合、被験者にボタンを押してもらうことで、入力信号がコンピュータシステム20に送信される。
本実施形態においては、表示装置101とコンピュータシステム20とは別々の装置である。なお、表示装置101とコンピュータシステム20とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム20、入出力インターフェース装置30、駆動回路40、及び表示装置101が搭載されてもよい。
図3は、本実施形態に係る視線検出装置100の一例を示す機能ブロック図である。図3に示すように、入出力インターフェース装置30は、入出力部302を有する。駆動回路40は、表示装置101を駆動するための駆動信号を生成して表示装置101に出力する表示装置駆動部402と、第1カメラ102Aを駆動するための駆動信号を生成して第1カメラ102Aに出力する第1カメラ入出力部404Aと、第2カメラ102Bを駆動するための駆動信号を生成して第2カメラ102Bに出力する第2カメラ入出力部404Bと、第1光源103A及び第2光源103Bを駆動するための駆動信号を生成して第1光源103A及び第2光源103Bに出力する光源駆動部406とを有する。また、第1カメラ入出力部404Aは、第1カメラ102Aで取得された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。第2カメラ入出力部404Bは、第2カメラ102Bで取得された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。
コンピュータシステム20は、視線検出装置100を制御する。コンピュータシステム20は、表示制御部202と、光源制御部204と、画像データ取得部206と、入力データ取得部208と、位置検出部210と、曲率中心算出部212と、注視点検出部214と、領域設定部216と、判定部218と、演算部220と、記憶部222と、評価部224と、出力制御部226とを有する。コンピュータシステム20の機能は、演算処理装置20A及び記憶装置20Bによって発揮される。
表示制御部202は、被験者の視機能を評価するための指標を表示画面101Sに表示する。表示制御部202は、表示画面101Sにおいて被験者の注視点に対して相対的な位置関係が一定となるオフセット位置に指標を表示させる。この指標は、被験者が網膜の周辺視野において認識できたか否かを判定するための指標である。
光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bの作動状態を制御する。光源制御部204は、第1光源103Aと第2光源103Bとが異なるタイミングで検出光を射出するように第1光源103A及び第2光源103Bを制御する。
画像データ取得部206は、第1カメラ102A及び第2カメラ102Bを含むステレオカメラ装置102によって取得された被験者の眼球111の画像データを、入出力部302を介してステレオカメラ装置102から取得する。
入力データ取得部208は、入力装置60が操作されることにより生成された入力データを、入出力部302を介して入力装置60から取得する。
位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔112の中心である。角膜反射中心は、角膜反射像113の中心である。位置検出部210は、被験者の左右それぞれの眼球111について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
曲率中心算出部212は、画像データ取得部206で取得された眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。
注視点検出部214は、画像データ取得部206で取得された眼球111の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置101の表示画面101Sとの交点の位置データをいう。注視点検出部214は、眼球111の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球111の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部214は、視線ベクトルと表示画面101Sとの交点を示す注視点の位置データを検出する。
領域設定部216は、表示装置101の表示画面101Sの少なくとも一部に特定領域を設定する。
判定部218は、特定領域が表示画面101Sに設定される場合に、注視点の位置の検出結果である位置データに基づいて、注視点が特定領域に存在するか否かを判定し、判定データを出力する。判定部218は、例えば一定時間毎に注視点が特定領域に存在するか否かを判定する。一定時間としては、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期(例えば50[msec]毎)とすることができる。
演算部220は、計測時間を検出するタイマを有する。演算部220は、被験者が指標を認識したか否かを判断する。演算部220は、被験者入力部70からの入力結果に基づいて、被験者が指標を認識したか否かを判断する。本実施形態において、演算部220は、被験者入力部70からの入力結果を検出した場合、被験者が指標を認識したと判断する。また、演算部220は、被験者入力部70からの入力を検出しなかった場合、被験者が指標を認識しなかったと判断する。演算部220は、判断結果を出力する。
評価部224は、被験者の視機能を評価し、評価データを求める。評価データは、演算部220の判断結果に基づいて被験者の視機能を評価するデータである。
記憶部222は、表示画面101Sに表示させる画像の画像データ、判定部218により出力された判定データ、評価部224から出力された評価データを記憶する。表示画面101Sに表示させる画像は、静止画及び動画を含む。記憶部222は、複数の画像データを記憶する。記憶部222は、画像の表示開始及び表示終了のタイミングを示すデータを記憶する。また、記憶部222は、表示画面101Sに表示させる指標のオフセット位置に関するデータを記憶する。指標の位置に関するデータは、例えば網膜の視野に対応させて記憶されてもよい。また、記憶部222は、指標を認識できたか否かについての演算部220の判断結果を、指標のオフセット位置ごとに対応して記憶する。
記憶部222は、画像を表示する表示画面を観察する被験者の注視点の位置を検出する処理と、注視点の位置の検出結果に基づいて、表示画面において注視点に対して相対的な位置関係が一定となるオフセット位置に指標を表示させる処理と、被験者が指標を認識したか否かを判断する処理と、演算部の判断結果に基づいて、被験者の視機能を評価する処理とをコンピュータに実行させる評価プログラムを記憶する。
出力制御部226は、表示装置101及び出力装置50の少なくとも一方にデータを出力する。
次に、本実施形態に係る曲率中心算出部212の処理の概要について説明する。曲率中心算出部212は、眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。図4及び図5は、本実施形態に係る角膜曲率中心110の位置データの算出方法を説明するための模式図である。図4は、1つの光源103Cで眼球111が照明される例を示す。図5は、第1光源103A及び第2光源103Bで眼球111が照明される例を示す。
まず、図4に示す例について説明する。光源103Cは、第1カメラ102Aと第2カメラ102Bとの間に配置される。瞳孔中心112Cは、瞳孔112の中心である。角膜反射中心113Cは、角膜反射像113の中心である。図4において、瞳孔中心112Cは、眼球111が1つの光源103Cで照明されたときの瞳孔中心を示す。角膜反射中心113Cは、眼球111が1つの光源103Cで照明されたときの角膜反射中心を示す。角膜反射中心113Cは、光源103Cと角膜曲率中心110とを結ぶ直線上に存在する。角膜反射中心113Cは、角膜表面と角膜曲率中心110との中間点に位置付けられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。角膜反射中心113Cの位置データは、ステレオカメラ装置102によって検出される。角膜曲率中心110は、光源103Cと角膜反射中心113Cとを結ぶ直線上に存在する。曲率中心算出部212は、その直線上において角膜反射中心113Cからの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
次に、図5に示す例について説明する。本実施形態においては、第1カメラ102A及び第2光源103Bと、第2カメラ102B及び第1光源103Aとは、第1カメラ102Aと第2カメラ102Bとの中間位置を通る直線に対して左右対称の位置に配置される。第1カメラ102Aと第2カメラ102Bとの中間位置に仮想光源103Vが存在するとみなすことができる。角膜反射中心121は、第2カメラ102Bで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心122は、第1カメラ102Aで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心を示す。角膜反射中心124の位置データは、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定される三次元ローカル座標系において角膜反射中心121の位置データ及び角膜反射中心122の位置データを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部222に記憶されている。曲率中心算出部212は、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部212は、三次元グローバル座標系で規定される角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて、三次元グローバル座標系における角膜反射中心124の位置データを算出する。角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に存在する。曲率中心算出部212は、直線123上において角膜反射中心124からの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
このように、光源が2つある場合でも、光源が1つである場合の方法と同様の方法で、角膜曲率中心110が算出される。
角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。したがって、角膜表面の位置データ及び角膜曲率中心110の位置データが算出されることにより、角膜曲率半径109が算出される。
次に、本実施形態に係る視線検出方法の一例について説明する。図6は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。本実施形態において、目標位置130は、例えば表示装置101の表示画面101Sの中央位置に設定される。なお、目標位置130は、表示画面101Sの端部位置に設定されてもよい。出力制御部226は、設定された目標位置130に目標画像を表示させる。直線131は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。直線132は、目標位置130と瞳孔中心112Cとを結ぶ直線である。角膜曲率中心110は、直線131と直線132との交点である。曲率中心算出部212は、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出することができる。
次に、注視点検出処理について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部214は、眼111の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。図7は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図7において、注視点165は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点166は、キャリブレーション処理で求められた距離126を用いて算出された角膜曲率中心から求めた注視点を示す。瞳孔中心112Cは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心113Cは、キャリブレーション処理において算出された角膜反射中心を示す。直線173は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。角膜曲率中心110は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離126は、キャリブレーション処理により算出した瞳孔中心112Cと角膜曲率中心110との距離である。角膜曲率中心110Hは、距離126を用いて角膜曲率中心110を補正した補正後の角膜曲率中心の位置を示す。角膜曲率中心110Hは、角膜曲率中心110が直線173上に存在すること、及び瞳孔中心112Cと角膜曲率中心110との距離が距離126であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線177は、視線178に補正される。また、表示装置101の表示画面101S上の注視点は、注視点165から注視点166に補正される。
[評価方法]
次に、本実施形態に係る評価方法について説明する。本実施形態に係る評価方法では、上記の視線検出装置100を用いることにより、被験者の視機能として、緑内障等による周辺視野の欠損の有無を評価する。
図8は、被験者が表示画面101Sを注視している場合の一例を示す図である。図8では、表示画面101Sにおいて、例えば計測後に結果表示される注視点Pの一例を示しているが、当該注視点Pは、実際には表示画面101Sには表示されない。以降の各図において示される注視点Pについても同様である。注視点Pの位置データの検出は、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期で(例えば50[msec]毎に)実施される。第1カメラ102A及び第2カメラ102Bは、同期して撮像する。領域設定部216は、例えば表示画面101Sの全体に亘って特定領域を設定する。判定部218は、被験者の注視点Pが特定領域(表示画面101S)に存在するか否かを判定する。
図9は、表示画面101Sに表示させる指標の一例を示す図である。注視点Pの位置データが取得され、注視点Pが表示画面101Sに存在する場合、表示制御部202は、図9に示すように、注視点Pに対して相対的な位置関係が一定となるオフセット位置に指標Mを表示させる。本実施形態において、オフセット位置は、例えば注視点PのX座標及びY座標に対して、一定値(例えば、X座標についてはX1、Y座標についてはY1)を加えた座標位置である。このようにオフセット位置を設定することにより、注視点Pと指標Mとの相対的な位置関係が一定となる。なお、注視点Pの位置によっては、オフセット位置が表示画面101Sの外側に配置される場合がある。このような場合、表示制御部202は、指標Mを非表示とする。
図10は、表示画面101Sに表示させる指標の他の例を示す図である。本実施形態では、上述したように注視点Pと指標Mとの相対的な位置関係が一定となる。そのため、指標Mが表示された状態で被験者が注視点Pを移動させた場合、表示制御部202は、注視点Pの位置データが検出される時点毎にオフセット位置を算出し、当該オフセット位置に指標Mを表示させる。この場合、図10に示すように、指標Mは、注視点Pに対して相対的な位置関係を維持したまま、注視点Pに追従して移動するように表示される。
本実施形態では、被験者に表示画面101Sを注視させ、被験者の注視点Pに対して相対的な位置関係が一定のオフセット位置に指標Mを表示し、被験者が周辺視野により指標Mを認識できたか否かを判断することにより、被験者の視機能として、周辺視野の欠損の有無を評価する。
図11は、本実施形態に係る評価方法の原理を模式的に示す図である。図11に示すように、被験者の注視点Pが表示画面101Sに存在する場合、表示画面101Sのうち注視点Pに対応する部分の像が映るのは網膜114の視野中心115である。このとき、指標Mの像が映るのは、網膜114の周辺視野116である。つまり、被験者は、指標Mを周辺視野116で見ていることになる。したがって、表示画面101Sを注視した状態で指標Mを認識できない被験者は、網膜114の周辺視野116に欠損があると評価することができる。本実施形態では、注視点Pに対して相対的な位置関係を維持したまま、注視点Pに追従して移動するように指標Mが表示されるため、被験者は、表示画面101Sを注視している間は、注視点Pの位置に関わらず周辺視野116に指標Mの像を映すようにすることができる。このため、被験者は注視点Pをある一点に保持させる必要が無く、ストレスフリーな検査環境で検査を行うことができる。
例えば、被験者が指標Mを認識できた場合には、被験者に被験者入力部70のボタンを押してもらうようにする。これにより、演算部220は、被験者入力部70からの入力信号を検出した場合、被験者が指標Mを認識できたと判断する。また、演算部220は、被験者入力部70からの入力信号を検出しない場合、被験者が指標Mを認識できなかったと判断する。
このような検査を、指標Mの表示位置を変えて複数回行う。図12から図14は、表示画面101Sに指標Mの位置を変えて表示させる場合の例を示す図である。上記の図9では注視点Pの右下に指標Mを表示させたが、図12では、指標Mを注視点Pの右上のオフセット位置に表示させている。この場合、オフセット位置は、例えば注視点PのX座標及びY座標に対して、X座標については一定値X2、Y座標については一定値Y2をそれぞれ加えた座標位置である。
また、図13では、指標Mを注視点Pの左上に表示させている。この場合、オフセット位置は、例えば注視点PのX座標及びY座標に対して、X座標については一定値X3、Y座標については一定値Y3をそれぞれ加えた座標位置である。また、図14では、指標Mを注視点Pの左下に表示させている。この場合、オフセット位置は、例えば注視点PのX座標及びY座標に対して、X座標については一定値X4、Y座標については一定値Y4をそれぞれ加えた座標位置である。
なお、図12から図14に示す指標Mの各オフセット位置は一例であり、他のオフセット位置に表示してもよい。また、図12から図14に示す場合についても、被験者が注視点Pを移動させた場合、指標Mは、注視点Pに対して相対的な位置関係を維持したまま、注視点Pに追従して移動するように表示される。このため、被験者は、注視点Pの位置に関わらず周辺視野116で指標Mを見ることができる。
このように、指標Mの表示位置(オフセット位置)を変えて表示させ、被験者に指標Mを認識できるか否かを確認してもらうことで、網膜114の周辺視野116における欠損の有無を効率的に評価することができる。
上記の検査を行う場合、例えば表示画面101Sに表示された指標Mを被験者が視野中心で認識しようとして、注視点Pを指標Mの方向に移動させる可能性がある。図15は、表示画面101Sに指標を表示させる場合の他の例を示す図である。例えば図15に示すように、注視点Pに対するオフセット位置が表示画面101Sの外側に出てしまうと、指標Mを表示できなくなる。
しかしながら、本実施形態では、注視点Pと指標Mとの相対的な位置関係が一定であるため、被験者は注視点Pの位置に関わらず指標Mを網膜の周辺視野116のほぼ同じ位置で認識することになる。したがって、被験者が図15に示すように注視点Pを指標Mの方向に移動させるのは、被験者は指標Mを認識できているからであるといえる。そこで、本実施形態において、演算部220は、注視点Pが指標M側に移動することでオフセット位置が表示画面101Sの外側に配置された場合、被験者が指標Mを認識したと判断する。
この判断を行う場合、演算部220は、まず、注視点Pが表示画面101Sに存在するか否かを判定し、注視点Pが表示画面101Sに存在する場合に指標Mの表示が行われたか否かを判定する。その後、注視点Pの位置座標と、指標Mのオフセット位置とに基づいて、指標M側の表示画面101Sの端辺までの距離をX方向、Y方向のそれぞれについて算出する。演算部220は、算出した距離(例えば、X方向はX0、Y方向はY0とする)と、オフセット位置を設定する際に加える加算値(X方向はX5、Y方向はY5)とを比較し、加算値が算出距離よりも小さいか否かを判断する。
加算値が算出距離よりも小さい場合、演算部220は、オフセット位置が表示画面101Sに存在すると判断する。加算値が算出距離以上の場合、演算部220は、オフセット位置が表示画面101Sの外側に存在すると判断する。演算部220は、「加算値<算出距離」の状態から、「加算値≧算出距離」の状態に変化した場合に、注視点Pが指標M側に移動することでオフセット位置が表示画面101Sの外側に配置されたと判断し、被験者が指標Mを認識したと判断する。
図16は、被験者が指標Mを認識できたか否かを判断する処理の一例を示すフローチャートである。図16に示すように、注視点検出部214は、被験者の注視点Pを検出する(ステップS101)。被験者の注視点Pが検出された後、領域設定部216は、表示画面101Sのほぼ全体に特定領域を設定する。
その後、演算部220は、タイマの計測時間をリセットする(ステップS102)。タイマがリセットされた後、表示制御部202は、注視点Pに対して相対的な位置関係が一定となるオフセット位置に指標Mを表示させる(ステップS103)。指標Mが表示された後、注視点検出部214は、被験者の注視点Pを取得する(ステップS104)。そして、表示制御部202は、ステップS104で取得された注視点Pの位置(座標)に基づいてオフセット位置を算出し、算出したオフセット位置に指標Mを表示させる(ステップS105)。ステップS105において、ステップS104で取得された注視点Pの位置が直前に取得された注視点Pの位置と異なる場合、オフセット位置が当該直前のオフセット位置とは異なる。そのため、表示制御部202は、指標Mを新たなオフセット位置に表示させる。この場合、指標Mは注視点Pの移動に追従して移動するように表示される。
その後、演算部220は、被験者入力部70からの入力信号の確認を開始し(ステップS106)、タイマの計測時間が所定時間を経過しているか否かを判定する(ステップS107)。演算部220は、所定時間を経過していないと判定した場合(ステップS107のNo)、ステップS104に戻って処理を行わせる。
また、演算部220は、所定時間を経過していると判定した場合(ステップS107のYes)、被験者が指標Mを認識したか否かを判断する(ステップS108)。演算部220は、ステップS108の判断を、例えば被験者入力部70からの入力信号の有無に基づいて行う。この場合、被験者入力部70からの入力信号が検出された場合、被験者が指標Mを認識したと判断する。また、被験者入力部70からの入力信号が検出されなかった場合、被験者が指標Mを認識しなかったと判断する。また、演算部220は、ステップS108の判断を、例えば注視点Pが指標M側に移動することでオフセット位置が表示画面101Sの外側に配置されたか否かに基づいて判断してもよい。
演算部220は、被験者が指標Mを認識したと判断した場合(ステップS108のYes)、検査結果が正常である旨を出力する。一方、演算部220は、被験者が指標Mを認識しなかったと判断した場合(ステップS108のNo)、検査結果が異常である旨を出力する。
図17は、本実施形態に係る評価方法の一例を示すフローチャートである。図17に示す例では、図9、図12、図13及び図14に示す4つのオフセット位置に指標Mを表示させた場合について説明する。以下、図9に示す指標Mのオフセット位置を第1位置、図12に示す指標Mのオフセット位置を第2位置、図13に示す指標Mのオフセット位置を第3位置、図14に示す指標Mのオフセット位置を第4位置として説明する。
図17に示すように、まず、指標Mを第1位置に示す場合について、図16に示す処理を行うことで、被験者が指標Mを認識できたか否かの検査を行う(ステップS201)。その後、評価部224は、演算部220から出力された検査結果が正常であるか否かの判定を行う(ステップS202)。
評価部224は、演算部220からの出力結果が正常である場合(ステップS202のYes)、次のステップに移る。評価部224は、演算部220からの出力結果が異常である場合(ステップS202のNo)、第1位置に視野欠損があると判断して、判断結果を記憶部222に記憶し(ステップS203)、次のステップに移る。
ステップS202又はステップS203の後、指標Mを第2位置に示す場合について、図16に示す処理を行うことで、被験者が指標Mを認識できたか否かの検査を行う(ステップS204)。その後、評価部224は、演算部220から出力された検査結果が正常であるか否かの判定を行う(ステップS205)。
評価部224は、演算部220からの出力結果が正常である場合(ステップS205のYes)、次のステップに移る。評価部224は、演算部220からの出力結果が異常である場合(ステップS205のNo)、第2位置に視野欠損があると判断して、判断結果を記憶部222に記憶し(ステップS206)、次のステップに移る。
ステップS205又はステップS206の後、指標Mを第3位置に示す場合について、図16に示す処理を行うことで、被験者が指標Mを認識できたか否かの検査を行う(ステップS207)。その後、評価部224は、演算部220から出力された検査結果が正常であるか否かの判定を行う(ステップS208)。
評価部224は、演算部220からの出力結果が正常である場合(ステップS208のYes)、次のステップに移る。評価部224は、演算部220からの出力結果が異常である場合(ステップS208のNo)、第3位置に視野欠損があると判断して、判断結果を記憶部222に記憶し(ステップS209)、次のステップに移る。
ステップS208又はステップS209の後、指標Mを第4位置に示す場合について、図16に示す処理を行うことで、被験者が指標Mを認識できたか否かの検査を行う(ステップS210)。その後、評価部224は、演算部220から出力された検査結果が正常であるか否かの判定を行う(ステップS211)。
評価部224は、演算部220からの出力結果が正常である場合(ステップS211のYes)、次のステップに移る。評価部224は、演算部220からの出力結果が異常である場合(ステップS211のNo)、第4位置に視野欠損があると判断して、判断結果を記憶部222に記憶し(ステップS212)、次のステップに移る。
ステップS211又はステップS212の後、評価部224は、検査結果が全て正常か否かの判定を行う(ステップS213)。評価部224は、検査結果が全て正常であると判定した場合(ステップS213のYes)、視野欠損が無かった旨の評価を行う(ステップS214)。また、検査結果の少なくとも1つが異常であると判定した場合(ステップS213のNo)、被験者には視野欠損があった旨の評価を行う(ステップS215)。ステップS215において、評価部224は、記憶部222に記憶された内容に基づいて、どの位置に視野欠損があったかを併せて評価してもよい。
以上のように、本実施形態に係る視線検出装置100は、画像を表示する表示画面101Sと、表示画面101Sを観察する被験者の注視点Pの位置を検出する注視点検出部214と、注視点Pの位置の検出結果に基づいて、表示画面101Sにおいて注視点Pに対して相対的に所定の位置関係となるオフセット位置に指標Mを表示させる表示制御部202と、被験者が指標Mを認識したか否かを判断する演算部220と、演算部220の判断結果に基づいて、被験者の視機能を評価する評価部224とを備える。
本実施形態に係る評価方法は、画像を表示する表示画面101Sを観察する被験者の注視点Pの位置を検出することと、注視点Pの位置の検出結果に基づいて、表示画面101Sにおいて注視点Pに対して相対的に所定の位置関係となるオフセット位置に指標Mを表示させることと、被験者が指標Mを認識したか否かを判断することと、演算部220の判断結果に基づいて、被験者の視機能を評価することとを含む。
本実施形態に係る評価プログラムは、画像を表示する表示画面101Sを観察する被験者の注視点Pの位置を検出する処理と、注視点Pの位置の検出結果に基づいて、表示画面101Sにおいて注視点Pに対して相対的に所定の位置関係となるオフセット位置に指標Mを表示させる処理と、被験者が指標Mを認識したか否かを判断する処理と、演算部220の判断結果に基づいて、被験者の視機能を評価する処理とをコンピュータに実行させる。
これらの構成によれば、注視点Pに対して相対的な位置関係が一定となるオフセット位置に指標Mが表示されるため、被験者が表示画面101Sを注視している間は、注視点Pの位置に関わらず周辺視野116に指標Mの像を映すようすることができる。これにより、被験者が注視点Pをある一点に保持させる必要が無いため、精度が高い評価を行うことが可能となる。また、被験者にとってストレスフリーな検査環境で検査を行うことができる。
また、本実施形態に係る視線検出装置100において、演算部220は、注視点Pが指標M側に移動することでオフセット位置が表示画面101Sの外側に配置された場合、被験者が指標Mを認識したと判断する。これにより、被験者が指標Mを認識した旨の判断を効率的に行うことができる。
また、本実施形態に係る視線検出装置100は、被験者の指標Mの認識状態が入力される被験者入力部70を更に備え、演算部220は、被験者入力部70における入力結果に基づいて被験者が指標Mを認識したか否かを判断する。これにより、精度が高い評価を容易に行うことが可能となる。
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、表示画面101Sが矩形である構成を例に挙げて説明したが、これに限定されない。例えば、表示画面101Sは、被験者との距離が所定の範囲になるように湾曲された形状であってもよい。
M…指標、P…注視点、20…コンピュータシステム、70…被験者入力部、100…視線検出装置、101…表示装置、101S…表示画面、114…網膜、115…視野中心、116…周辺視野、202…表示制御部、214…注視点検出部、216…領域設定部、218…判定部、220…演算部、222…記憶部、224…評価部

Claims (4)

  1. 画像を表示する表示画面と、
    前記表示画面を観察する被験者の注視点の位置を検出する注視点検出部と、
    前記注視点の位置の検出結果に基づいて、前記表示画面において前記注視点に対して相対的に所定の位置関係となるオフセット位置に指標を表示させる表示制御部と、
    前記被験者が前記指標を認識したか否かを判断する演算部と、
    前記演算部の判断結果に基づいて、前記被験者の視機能を評価する評価部と
    を備え、
    前記演算部は、前記注視点が前記指標側に移動することで前記オフセット位置が前記表
    示画面の外側に配置された場合、前記被験者が前記指標を認識したと判断する
    評価装置。
  2. 前記被験者の前記指標の認識状態が入力される被験者入力部を更に備え、
    前記演算部は、前記被験者入力部における入力結果に基づいて前記被験者が前記指標を
    認識したか否かを判断する
    請求項1に記載の評価装置。
  3. 画像を表示する表示画面を観察する被験者の注視点の位置を検出することと、
    前記注視点の位置の検出結果に基づいて、前記表示画面において前記注視点に対して相
    対的に所定の位置関係となるオフセット位置に指標を表示させることと、
    前記注視点が前記指標側に移動することで前記オフセット位置が前記表示画面の外側に配置された場合、前記被験者が前記指標を認識したと判断することと、
    断結果に基づいて、前記被験者の視機能を評価することと
    を含む評価方法。
  4. 画像を表示する表示画面を観察する被験者の注視点の位置を検出する処理と、
    前記注視点の位置の検出結果に基づいて、前記表示画面において前記注視点に対して相
    対的に所定の位置関係となるオフセット位置に指標を表示させる処理と、
    前記注視点が前記指標側に移動することで前記オフセット位置が前記表示画面の外側に配置された場合、前記被験者が前記指標を認識したと判断する処理と、
    断結果に基づいて、前記被験者の視機能を評価する処理と
    をコンピュータに実行させる評価プログラム。
JP2018035344A 2018-02-28 2018-02-28 評価装置、評価方法、及び評価プログラム Active JP7027958B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018035344A JP7027958B2 (ja) 2018-02-28 2018-02-28 評価装置、評価方法、及び評価プログラム
US16/270,616 US11241152B2 (en) 2018-02-28 2019-02-08 Evaluation device, evaluation method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018035344A JP7027958B2 (ja) 2018-02-28 2018-02-28 評価装置、評価方法、及び評価プログラム

Publications (2)

Publication Number Publication Date
JP2019150079A JP2019150079A (ja) 2019-09-12
JP7027958B2 true JP7027958B2 (ja) 2022-03-02

Family

ID=67684089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018035344A Active JP7027958B2 (ja) 2018-02-28 2018-02-28 評価装置、評価方法、及び評価プログラム

Country Status (2)

Country Link
US (1) US11241152B2 (ja)
JP (1) JP7027958B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016193067A (ja) 2015-03-31 2016-11-17 株式会社ニデック 視野計

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5421146B2 (ja) 2010-02-15 2014-02-19 学校法人 関西大学 視野検査システム
GB201417208D0 (en) * 2014-09-30 2014-11-12 Ibvision Ltd Method Software And Apparatus For Testing A Patiants Visual Field
JP2018506054A (ja) * 2014-12-22 2018-03-01 ノバサイト リミテッド 改善表示のためのシステム及び方法
WO2017165373A1 (en) * 2016-03-21 2017-09-28 Jeffrey Goldberg System and method for testing peripheral vision

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016193067A (ja) 2015-03-31 2016-11-17 株式会社ニデック 視野計

Also Published As

Publication number Publication date
US20190261850A1 (en) 2019-08-29
US11241152B2 (en) 2022-02-08
JP2019150079A (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
JP6971686B2 (ja) 視線検出装置及び視線検出方法
JP6996343B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7067502B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7027958B2 (ja) 評価装置、評価方法、及び評価プログラム
US20210290130A1 (en) Evaluation device, evaluation method, and non-transitory storage medium
EP3878373B1 (en) Evaluation device, evaluation method, and evaluation program
JP7047676B2 (ja) 評価装置、評価方法、及び評価プログラム
JP6958507B2 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
JP6950582B2 (ja) 視機能検出装置、視機能検出方法及びプログラム
WO2020031471A1 (ja) 評価装置、評価方法、及び評価プログラム
JP7063045B2 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
JP6776970B2 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
WO2021246012A1 (ja) 視線検出装置、視線検出方法、及び視線検出プログラム
US20210298689A1 (en) Evaluation device, evaluation method, and non-transitory storage medium
WO2022044395A1 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
WO2023008023A1 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
WO2020194846A1 (ja) 評価装置、評価方法、及び評価プログラム
JP2019166101A (ja) 評価装置、評価方法、及び評価プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220131

R150 Certificate of patent or registration of utility model

Ref document number: 7027958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150