JP7214986B2 - 反射性判定装置、反射性判定方法、プログラム - Google Patents
反射性判定装置、反射性判定方法、プログラム Download PDFInfo
- Publication number
- JP7214986B2 JP7214986B2 JP2018119437A JP2018119437A JP7214986B2 JP 7214986 B2 JP7214986 B2 JP 7214986B2 JP 2018119437 A JP2018119437 A JP 2018119437A JP 2018119437 A JP2018119437 A JP 2018119437A JP 7214986 B2 JP7214986 B2 JP 7214986B2
- Authority
- JP
- Japan
- Prior art keywords
- saccade
- appearing
- subject
- movement
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002310 reflectometry Methods 0.000 title claims description 56
- 238000000034 method Methods 0.000 title claims description 23
- 230000004434 saccadic eye movement Effects 0.000 claims description 171
- 230000004424 eye movement Effects 0.000 claims description 145
- 230000033001 locomotion Effects 0.000 claims description 127
- 210000001508 eye Anatomy 0.000 claims description 97
- 210000001747 pupil Anatomy 0.000 claims description 46
- 230000001179 pupillary effect Effects 0.000 claims description 44
- 238000000605 extraction Methods 0.000 claims description 41
- 210000005252 bulbus oculi Anatomy 0.000 claims description 31
- 230000011514 reflex Effects 0.000 claims description 25
- 238000013016 damping Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000020509 sex determination Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0091—Fixation targets for viewing direction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
Description
各実施形態の発明は、外部刺激により反射的に眼が動いてしまうときのサッカードの特徴量と、反射を抑えて意識的に眼を動かそうとしているときのサッカードの特徴量とに差があるという自然法則の発見に基づくものであり、この発見を利用して眼球運動の反射性を判定するものである。
被験者の前に置かれたディスプレイに視覚的合図となる注視点の画像を表示し、一定時間後に注視点の位置が左または右に移動するので、それを追従して眼を動かすように被験者に指示しておく。
被験者の前に置かれたディスプレイに注視点の画像を表示し、一定時間後に注視点の位置が左または右に移動するので、注視点の移動方向とは逆の方向に眼を動かすように被験者に指示しておく。
実験1では、ディスプレイに表示された注視点の画像の動きに合わせて眼を動かしたが、実験2では、画像の代わりに音を用いる。そのため、被験者の正面、左側、右側の3箇所にそれぞれスピーカを設置する。
被験者の正面に置かれたスピーカから聴覚的合図となる音を発生させ、一定時間後に左側または右側のいずれかのスピーカから音を発生させるので、それを追従して眼を動かすように被験者に指示しておく。
被験者の正面に置かれたスピーカから音を発生させ、一定時間後に左側または右側のいずれかのスピーカから音を発生させるので、音を発生させているスピーカとは逆の方向に眼を動かすように被験者に指示しておく。
図2は、実験結果を示す図である。減衰係数の値は、複数の被験者に対して、タスク1A~タスク2Bの4種類のタスクをそれぞれ複数回試行してもらい、各試行で抽出したサッカードの減衰係数の平均値である。図2(A)は、瞳孔の動きから抽出した減衰係数のタスク毎の値、図2(B)は、虹彩の動きから抽出した減衰係数のタスク毎の値を示している。いずれの図も左から順にタスク1A、タスク1B、タスク2A、タスク2Bの減衰係数を示している。この実験結果からわかるように、図2(A)の場合、すなわち瞳孔の動き(瞳孔運動)に着目すると、タスク1Aやタスク2Aよりもタスク1Bやタスク2Bの方が減衰係数が大きくなるという傾向がある。一方、図2(B)の場合、すなわち虹彩の動き(虹彩運動)に着目すると、タスクによる有意差は見られないことがわかる。
反射性判定装置100は、対象者の眼球運動が反射的に起きたものであるか否かを判定
する。
S110において、呈示部110は、タスク1Aまたはタスク1Bの注視点の画像を視覚的合図として対象者に呈示する。具体的には、対象者の正面にあるディスプレイの中央に注視点の画像を表示、一定時間注視点の画像を消去した後、中央から左または右のいずれかへ移動した注視点の画像を表示する。注視点の画像の呈示は、制御部180からの指示に従うものとする。なお、タスク1Aまたはタスク1Bの開始時点において注視点の画像を表示する位置(以下、注視点の初期位置という)は、ディスプレイの中央に限るものではなく、中央から所定の誤差範囲に含まれればよい。
制御部180は、呈示部110による画像(音)の呈示を制御するとともに、画像(音)呈示中の第3時間区間における対象者の眼球運動の情報を眼球運動取得部120が取得するよう制御することにより、タスク1Aまたはタスク1B(タスク2Aまたはタスク2B)を実行するよう制御する。その際、制御部180は、タスク1A、タスク1B(タスク2A、タスク2B)それぞれについて、少なくとも1回以上実行するように制御する。また、制御部180は、タスク1Aまたはタスク1B(タスク2Aまたはタスク2B)のいずれかを実行する都度、どちらのタスクを実行するよう指示したのかを特定する情報(以下、タスク種別という)を特徴量抽出部130に出力する。
S120において、眼球運動取得部120は、制御部180からの指示に従い、第3時間区間における対象者の眼球運動の情報を取得し、出力する。例えば、タスク実行中の対象者の眼球の動きを赤外線カメラにより撮像する。そして、撮像した結果を画像処理することで、時間毎(例えば、1000Hz)の眼球の位置情報の時系列を眼球運動の情報として取得する。なお、左右両方の眼球の位置情報を取得してもよいし、何れか一方の眼球の位置情報のみを取得してもよい。本実施形態では、一方の眼球の位置情報のみを取得するものとする。また、ここでは、眼球運動は瞳孔運動であり、眼球運動の情報として瞳孔の位置情報の時系列を取得する。
S130において、特徴量抽出部130は、S120で取得した眼球運動の情報と制御部180からの入力であるタスク種別から、タスク1Aまたはタスク2A(つまり、視覚
的合図又は聴覚的合図を追従するように眼を動かすタスク)における対象者の眼球運動に現れるサッカードの特徴量(以下、第1の特徴量という)と、タスク1Bまたはタスク2B(つまり、視覚的合図又は聴覚的合図とは逆の方向に眼を動かすタスク)における対象者の眼球運動に現れるサッカードの特徴量(以下、第2の特徴量という)とを抽出し、出力する。ここでは、第1の特徴量、第2の特徴量は、瞳孔に関する特徴量(瞳孔運動の特徴量)となる。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度である。
(3)オーバーシュートの振幅Ao:サッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(4)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(5)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
S140において、判定部140は、S130で抽出した第1の特徴量とS130で抽出した第2の特徴量の相違度合に基づいて、対象者の眼球運動が反射的に起きたものであるか否かを示す判定結果を生成し、出力する。具体的には、判定部140は、相違度合が大きい場合、対象者の瞳孔運動が反射的に起きたものであることを示す判定結果を生成し、それ以外の場合、対象者の瞳孔運動が反射的に起きたものとはいえないことを示す判定結果を生成する。以下、詳しく説明する。ζ1を第1の特徴量、ζ2を第2の特徴量、Δ(Δ≧0)を所定の値とし、第2の特徴量と第1の特徴量との差ζ2-ζ1が所定の値Δより大きい又は所定の値Δ以上である場合は、対象者の眼球運動が反射的に起きたものであることを示す判定結果を生成し、それ以外の場合は対象者の眼球運動が反射的に起きたものとはいえないことを示す判定結果を生成する。なお、Δ>0とすることにより、大小関係判定時の誤差を許容することができる。
上記説明では、特徴量として、瞳孔運動に現れるサッカードの減衰係数を用いたが、減衰係数の代わりに、瞳孔運動に現れるサッカードの減衰係数と正の相関関係にあるものを用いてもよいし、負の相関関係にあるものを用いてもよい。例えば、瞳孔運動に現れるサッカードの減衰率を用いてもよい。減衰率は、減衰係数と負の相関関係にある。この場合、眼球運動取得部120が取得する眼球運動の情報(眼球の位置情報の時系列)を瞳孔の位置情報の時系列とし、特徴量抽出部130は、瞳孔運動に現れるサッカードの減衰率を眼球運動に現れるサッカードの特徴量として抽出する。また、判定部140は、λ1を第1の特徴量、λ2を第2の特徴量、Δ(Δ≧0)を所定の値とし、第1の特徴量と第2の特徴量との差λ1-λ2が所定の値Δより大きい又は所定の値Δ以上である場合は対象者の眼球運動が反射的に起きたものであることを示す判定結果を生成し、それ以外の場合は対象者の眼球運動が反射的に起きたものとはいえないことを示す判定結果を生成する。
反射性判定装置200は、対象者の眼が反射的に動きやすい状態にあるか否かを判定する。
同一のものを用いる必要がある。
S220において、眼球運動取得部220は、所定の時間区間における対象者の眼球運動の情報を取得し、出力する。眼球運動の情報の取得方法は、眼球運動取得部120と同様でよい。また、ここでは、眼球運動の情報として瞳孔の位置情報の時系列を取得する。
S230において、特徴量抽出部230は、S220で取得した眼球運動の情報から、対象者の眼球運動に現れるサッカードの特徴量を抽出し、出力する。特徴量の抽出方法は、特徴量抽出部130と同様でよい。また、眼球運動に現れるサッカードの特徴量として瞳孔運動に現れるサッカードの減衰係数を抽出する。
S240において、判定部240は、記録部190に記録した基準値とS230で抽出した特徴量の相違度合に基づいて、対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成し、出力する。具体的には、判定部240は、相違度合が大きい場合、対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合、対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成する。以下、詳しく説明する。ζを特徴量、ζcを基準値、Δ(Δ≧0)を所定の値とし、基準値と特徴量との差ζc-ζが所定の値Δより大きい又は所定の値Δ以上である場合は、対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合は対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成する。つまり、特徴量ζが基準値ζcより小さい場合、対象者の眼が反射的に動きやすい状態にあると判定する。なお、Δ>0とすることにより、大小関係判定時の誤差を許容することができる。
上記説明では、特徴量・基準値として、瞳孔運動に現れるサッカードの減衰係数を用いたが、減衰係数の代わりに、瞳孔運動に現れるサッカードの減衰係数と正の相関関係にあるものを用いてもよいし、負の相関関係にあるものを用いてもよい。例えば、瞳孔運動に現れるサッカードの減衰率を用いてもよい。減衰率は、減衰係数と負の相関関係にある。この場合、眼球運動取得部220が取得する眼球運動の情報(眼球の位置情報の時系列)を瞳孔の位置情報の時系列とし、特徴量抽出部230は、瞳孔運動に現れるサッカードの減衰率を眼球運動に現れるサッカードの特徴量として抽出する。また、判定部240は、λを特徴量、λcを基準値、Δ(Δ≧0)を所定の値とし、特徴量と基準値との差λ-λcが所定の値Δより大きい又は所定の値Δ以上である場合は、対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合は対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成する。
眼球運動取得部220が取得する眼球運動の情報(眼球の位置情報の時系列)を瞳孔の位置情報の時系列と虹彩の位置情報の時系列とし、特徴量抽出部230が抽出する眼球運
動に現れるサッカードの特徴量を瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差としてもよい。この場合、眼球運動取得部220は、瞳孔の位置情報の時系列と虹彩の位置情報の時系列を眼球運動の情報として取得する。また、特徴量抽出部230は、S220で取得した眼球運動の情報である瞳孔の位置情報の時系列と虹彩の位置情報の時系列から、それぞれ瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数を求め、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差(つまり、“瞳孔運動に現れるサッカードの減衰係数”-“虹彩運動に現れるサッカードの減衰係数”)を対象者の眼球運動に現れるサッカードの特徴量として抽出し、出力する。なお、虹彩運動に現れるサッカードの特徴量は、瞳孔運動に現れるサッカードの特徴量と同様に、ステップ応答モデルを用いて求めればよい。さらに、判定部240は、αを特徴量(すなわち、“瞳孔運動に現れるサッカードの減衰係数”-“虹彩運動に現れるサッカードの減衰係数”)、αcを基準値、Δ(Δ≧0)を所定の値とし、基準値と特徴量との差αc-αが所定の値Δより大きい又は所定の値Δ以上である場合は、対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合は対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成する。
先述の通り、特徴量としては、減衰係数や減衰率のほかにも、基準振幅、最大速度、固有角振動数などがある。ここでは、これらを減衰係数や減衰率と組み合わせた特徴量を用いて、対象者の眼が反射的に動きやすい状態にあるか否かを判定する実施形態について説明する。その際、機械学習の手法により学習した、眼球運動に現れるサッカードの特徴量を入力として、眼が反射的に動きやすい状態にあるか否かを示す判定結果を出力する反射性判定モデルを用いる。これにより、より精度の高い判定結果を生成することが可能になる。
フローチャートである。図7に示すように反射性判定装置300は、眼球運動取得部220と、特徴量抽出部330と、判定部340と、記録部190を含む。記録部190は、反射性判定装置300の処理に必要な情報を適宜記録する構成部である。例えば、記録部190には、反射性判定モデルを事前に記録しておく。ここで、反射性判定モデルとは、眼球運動に現れるサッカードの特徴量を入力として、眼が反射的に動きやすい状態にあるか否かを示す判定結果を出力するように、機械学習の手法により学習された学習済みモデルである。入力とする特徴量は、少なくとも、減衰係数と正の相関関係にある特徴量(例えば、減衰係数)または減衰係数と負の相関関係にある特徴量(例えば、減衰率)のいずれか1つを含むものとする。具体的には、特徴量は、少なくとも、瞳孔運動に現れるサッカードの減衰係数、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差、瞳孔運動に現れるサッカードの減衰率、瞳孔運動に現れるサッカードの減衰率と虹彩運動に現れるサッカードの減衰率との差のいずれか1つを含むものとする。加えて、最大速度、基準振幅、固有角振動数などを特徴量として含んでもよい。
S220において、眼球運動取得部220は、所定の時間区間における対象者の眼球運動の情報を取得し、出力する。なお、眼球運動取得部220は、瞳孔の位置情報の時系列のみか、瞳孔の位置情報の時系列と虹彩の位置情報の時系列のいずれかを眼球運動の情報として取得する。いずれであるかは、反射性判定モデルの入力となる特徴量により定まる。
S330において、特徴量抽出部330は、S220で取得した眼球運動の情報から、対象者の眼球運動に現れるサッカードの特徴量を抽出し、出力する。特徴量は、特徴量抽出部130と同様、ステップ応答モデルを用いて求めればよい。ここで抽出する特徴量は、反射性判定モデルの入力となる特徴量と同一となる。例えば、反射性判定モデルの入力が瞳孔運動に現れるサッカードの減衰係数、最大速度、基準振幅の組である場合には、特徴量抽出部330は、瞳孔運動に現れるサッカードの減衰係数、最大速度、基準振幅を抽出することになる。
S340において、判定部340は、記録部190に記録した反射性判定モデルを用いて、S330で抽出した対象者の眼球運動に現れるサッカードの特徴量から、対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成し、出力する。
反射性判定モデル学習装置400は、反射性判定装置300が用いる反射性判定モデルを学習する。
30と、学習部440と、制御部180と、記録部190を含む。記録部190は、反射性判定モデル学習装置400の処理に必要な情報を適宜記録する構成部である。
S120において、眼球運動取得部120は、制御部180からの指示に従い、第3時間区間における対象者の眼球運動の情報を取得し、出力する。なお、眼球運動に現れるサッカードの特徴量として瞳孔運動に現れるサッカードの特徴量のみを用いる場合は、眼球運動取得部120は、眼球運動の情報として瞳孔の位置情報の時系列のみを取得する。また、眼球運動に現れるサッカードの特徴量として瞳孔運動に現れるサッカードの特徴量と虹彩運動に現れるサッカードの特徴量を用いる場合は、眼球運動取得部120は、眼球運動の情報として瞳孔の位置情報の時系列と虹彩の位置情報の時系列を取得する。
S430において、特徴量抽出部430は、S120で取得した眼球運動の情報と制御部180からの入力であるタスク種別を入力とし、眼球運動の情報から対象者の眼球運動に現れるサッカードの特徴量を抽出し、当該特徴量と出力ラベルの組を学習データとして生成し、出力する。ここで抽出する特徴量は、反射性判定モデルの入力となる特徴量と同一となる。なお、学習データの要素である出力ラベルは、タスク種別に応じて付されるラベルであり、正解ラベルに相当する。タスク種別がタスク1Aまたはタスク2Aであれば、対象者の眼が反射的に動きやすい状態にあることを示すラベルとし、タスク種別がタスク1Bまたはタスク2Bであれば、対象者の眼が反射的に動きやすい状態にあるとはいえない(反射的に動きにくい状態にある)ことを示すラベルとする。生成した学習データは、記録部190に記録される。
S440において、学習部440は、S430で生成した学習データの集合である学習データ集合を用いて、反射性判定モデルを学習する。
する分類器(学習済みモデル)を学習することができる。つまり、その特徴量ベクトルが視覚的合図又は聴覚的合図を追従するように眼を動かすタスクでのサッカードの特徴量ベクトルに対応する点群が属する側にある場合、対象者の眼は反射的に動きやすい状態にあることを示す判定結果を、その特徴量ベクトルが視覚的合図又は聴覚的合図とは逆の方向に眼を動かすタスクでのサッカードの特徴量ベクトルに対応する点群が属する側にある場合、対象者の眼は反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成する分類器が学習されることになる。
反射性判定モデル学習装置400が学習に用いる学習データを、タスク1A及びタスク1B(タスク2A及びタスク2B)に基づいて生成したが、対象者の眼が反射的に動いている状態とそうでない状態とを判別可能な状況において対象者から取得したサッカードの特徴量とそのときの状態(正解の出力ラベル)の組を学習データとして生成できるのであれば、どのようなタスクから学習データを生成するようにしてもよい。
第1実施形態~第3実施形態は、ひとりの者から抽出された特徴量を比較することにより、その者の眼球運動の反射性を判定するものであった。ここでは、複数の者の特徴量と比較することにより、ある者の眼球運動の反射性を判定する実施形態について説明する。
複数の被験者にタスク1Aとタスク1B(またはタスク2Aとタスク2B)を実行させた場合に、図11に示すような傾向が見られた。図11の横軸は、ある被験者が実行したタスク1B/タスク2B(つまり、アンチサッカードタスク)の全試行回数に対する、誤って順方向(注視点の移動方向)に眼を向けてしまった試行回数の割合(エラー率)である。また、図11の縦軸は、ある被験者が実行したタスク1A/タスク2A(つまり、プロサッカードタスク)における瞳孔運動の減衰係数と虹彩運動の減衰係数との差である。つまり、図11は、各被験者に関するエラー率と減衰係数の差をプロットしたものである。図11は、エラー率の高い被験者の方がエラー率の低い被験者よりも減衰係数の差が小さい傾向にあることを示している。この結果から、減衰係数の差が小さい被験者の方が、減衰係数の差が大きい被験者よりもタスクを間違えやすい傾向、反射の影響を受けやすい傾向があると考えられる。
性判定装置500の構成を示すブロック図である。図13は、反射性判定装置500の動作を示すフローチャートである。図12に示すように反射性判定装置500は、呈示部510と、眼球運動取得部520と、特徴量抽出部530と、判定部540と、制御部580と、記録部190を含む。記録部190は、反射性判定装置500の処理に必要な情報を適宜記録する構成部である。例えば、記録部190には、眼球運動に現れるサッカードの特徴量である基準値を事前に記録しておく。ここでは、眼球運動に現れるサッカードの特徴量として、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差を用いる。例えば、以下のようにして基準値を準備する。被験者がタスク1A(タスク2A)を実行することにより得られる第3時間区間における被験者の眼球運動の情報から、被験者の眼球運動に現れるサッカードの特徴量として、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差を抽出する。これを複数回繰り返す。さらに、この作業を複数の被験者に対して行う。このようにして得られた差の代表値を基準値とする。代表値には、平均値、中央値、最大値、最小値などを用いることができる。
S510において、呈示部510は、タスク1Aの注視点の画像を視覚的合図として対象者に呈示する。あるいは、S510において、呈示部510は、タスク2Aの音を聴覚的合図として対象者に呈示する。注視点の画像・音の呈示は、制御部580からの指示に従うものとする。
制御部580は、呈示部510による画像(音)の呈示を制御するとともに、画像(音)呈示中の第3時間区間における対象者の眼球運動の情報を眼球運動取得部520が取得するよう制御することにより、タスク1A(タスク2A)を実行するよう制御する。
S520において、眼球運動取得部520は、制御部580からの指示に従い、第3時間区間における対象者の眼球運動の情報を取得し、出力する。ここでは、眼球運動の情報として瞳孔の位置情報の時系列と虹彩の位置情報の時系列を取得する。
S530において、特徴量抽出部530は、S520で取得した眼球運動の情報から、対象者の眼球運動に現れるサッカードの特徴量を抽出し、出力する。具体的には、瞳孔の位置情報の時系列から瞳孔に現れるサッカードの減衰係数を求め、虹彩の位置情報の時系列から虹彩に現れるサッカードの減衰係数を求め、瞳孔に現れるサッカードの減衰係数と虹彩に現れるサッカードの減衰係数との差を眼球運動に現れるサッカードの特徴量として抽出する。特徴量は、特徴量抽出部130と同様、ステップ応答モデルを用いて求めればよい。
S540において、判定部540は、記録部190に記録した基準値とS530で抽出した特徴量の相違度合に基づいて、対象者の眼が反射の影響を受けやすいか否かを示す判定結果を生成し、出力する。具体的には、判定部540は、相違度合が大きい場合、対象者の眼が反射の影響を受けやすいことを示す判定結果を生成し、それ以外の場合、対象者
の眼が反射の影響を受けやすいとはいえないことを示す判定結果を生成する。以下、詳しく説明する。αを特徴量、αcを基準値、Δ(Δ≧0)を所定の値とし、基準値と特徴量との差αc-αが所定の値Δより大きい又は所定の値Δ以上である場合は、対象者の眼が反射の影響を受けやすいことを示す判定結果を生成し、それ以外の場合は対象者の眼が反射の影響を受けやすいとはいえないことを示す判定結果を生成する。なお、Δ>0とすることにより、大小関係判定時の誤差を許容することができる。
ここでは、第5実施形態で説明した知見に基づいて、対象者の眼に関する反射の影響の受けやすさを判定する実施形態について説明する。当該形態では、機械学習の手法により学習した、眼球運動に現れるサッカードの特徴量を入力として、眼に関する反射の影響の受けやすさの程度を示す情報を出力する反射性判定モデルを用いる。
S640において、判定部640は、記録部190に記録した反射性判定モデルを用いて、S530で抽出した対象者の眼球運動に現れるサッカードの特徴量(つまり、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差)から、対象者の眼に関する反射の影響の受けやすさを示す情報を判定結果として生成し、出力する。
反射性判定モデル学習装置700は、反射性判定装置600が用いる反射性判定モデル
を学習する。
S120において、眼球運動取得部120は、制御部180からの指示に従い、第3時間区間における被験者の眼球運動の情報を取得し、出力する。ここでは、眼球運動の情報として瞳孔の位置情報の時系列と虹彩の位置情報の時系列を取得する。
S730において、特徴量抽出部730は、S120で取得した眼球運動の情報と制御部180からの入力であるタスク種別を入力とし、被験者が実行したタスク1A(タスク2A)における眼球運動の情報から当該被験者の眼球運動に現れるサッカードの特徴量を抽出し、当該被験者が実行したタスク1B(タスク2B)の全試行回数に対する、誤って順方向(注視点の移動方向)に眼を向けてしまった試行回数の割合であるエラー率に基づいて、当該被験者の眼に関する反射の影響の受けやすさを示す情報を計算し、当該特徴量と当該眼に関する反射の影響の受けやすさを示す情報の組を学習データとして生成し、出力する。ここで抽出する特徴量は、反射性判定モデルの入力となる特徴量と同一、つまり、瞳孔に現れるサッカードの減衰係数と虹彩に現れるサッカードの減衰係数との差となる。なお、学習データの要素である眼に関する反射の影響の受けやすさを示す情報が正解ラベルに相当する。生成した学習データは記録部190に記録される。
S740において、学習部740は、S730で生成した学習データの集合である学習データ集合を用いて、反射性判定モデルを学習する。
対象者の眼が反射的に動きやすい状態にある場合、対象者の意識が外的要因に向きやすい状態にあると考えられる。したがって、反射性判定装置200/300を用いると、対象者の意識が外的要因に向きやすい状態にあるか否かを判定できるようになる。例えば、集中を要する作業などのように、外的要因に意識が向かない方が適している作業において、対象者が現在その作業を行うのに適した状態にあるか否かを判定することが可能となる。また、逆に、外的要因に意識が向きやすい状態の方が適している運動や作業において、対象者が現在その運動・作業を行うのに適した状態にあるか否かを判定することも可能となる。
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD-ROMなどの記録媒体を読み書きできる装置(ドライブ)などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
Claims (9)
- 対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出部と、
意識を集中させている状態における前記対象者の眼球運動に現れるサッカードの特徴量(以下、基準値という)と前記特徴量の相違度合に基づいて、前記対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成する判定部と
を含む反射性判定装置であって、
前記眼球運動に現れるサッカードの特徴量は、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、
前記判定部は、
前記相違度合が大きい場合、前記対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合、前記対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成するものであり、
前記基準値から前記特徴量を減じることにより得られる差が所定の値より大きい又は所定の値以上である場合に前記対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成するものである
反射性判定装置。 - 対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出部と、
眼球運動に現れるサッカードの特徴量を入力として、眼が反射的に動きやすい状態にあるか否かを示す判定結果を出力するように学習された反射性判定モデルを用いて、前記特徴量から前記対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成する判定部と
を含む反射性判定装置であって、
前記眼球運動に現れるサッカードの特徴量は、少なくとも瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差、瞳孔運動に現れるサッカードの減衰率と虹彩運動に現れるサッカードの減衰率との差のいずれか1つを含み、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量である
反射性判定装置。 - 視覚的合図又は聴覚的合図を追従するように眼を動かすタスクにおける対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出部と、
複数の被験者が視覚的合図又は聴覚的合図を追従するように眼を動かすタスクを実行することにより得られる眼球運動に現れるサッカードの特徴量(以下、基準値という)と前記特徴量の相違度合に基づいて、前記対象者の眼が反射の影響を受けやすいか否かを示す判定結果を生成する判定部と
を含む反射性判定装置であって、
前記判定部は、
前記相違度合が大きい場合、前記対象者の眼が反射の影響を受けやすいことを示す判定結果を生成し、それ以外の場合、前記対象者の眼が反射の影響を受けやすいとはいえないことを示す判定結果を生成し、
前記眼球運動に現れるサッカードの特徴量は、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量であり、
前記基準値は、前記複数の被験者から得られる、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差の平均値、中央値、最大値、最小値のいずれかである
反射性判定装置。 - 対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出部と、
眼球運動に現れるサッカードの特徴量を入力として、眼に関する反射の影響の受けやすさの程度を示す情報を出力するように学習された反射性判定モデルを用いて、前記特徴量から前記対象者の眼に関する反射の影響を受けやすさの程度を示す情報を判定結果として生成する判定部と
を含む反射性判定装置であって、
前記眼球運動に現れるサッカードの特徴量は、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量である
反射性判定装置。 - 反射性判定装置が、対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出ステップと、
前記反射性判定装置が、意識を集中させている状態における前記対象者の眼球運動に現れるサッカードの特徴量(以下、基準値という)と前記特徴量の相違度合に基づいて、前記対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成する判定ステップと
を含む反射性判定方法であって、
前記眼球運動に現れるサッカードの特徴量は、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、
前記判定ステップは、
前記相違度合が大きい場合、前記対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合、前記対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成ものであり、
前記基準値から前記特徴量を減じることにより得られる差が所定の値より大きい又は所定の値以上である場合に前記対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成するものである
反射性判定方法。 - 反射性判定装置が、対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出ステップと、
前記反射性判定装置が、眼球運動に現れるサッカードの特徴量を入力として、眼が反射的に動きやすい状態にあるか否かを示す判定結果を出力するように学習された反射性判定モデルを用いて、前記特徴量から前記対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成する判定ステップと
を含む反射性判定方法であって、
前記眼球運動に現れるサッカードの特徴量は、少なくとも瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差、瞳孔運動に現れるサッカードの減衰率と虹彩運動に現れるサッカードの減衰率との差のいずれか1つを含み、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量である
反射性判定方法。 - 反射性判定装置が、視覚的合図又は聴覚的合図を追従するように眼を動かすタスクにおける対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出ステップと、
前記反射性判定装置が、複数の被験者が視覚的合図又は聴覚的合図を追従するように眼を動かすタスクを実行することにより得られる眼球運動に現れるサッカードの特徴量(以下、基準値という)と前記特徴量の相違度合に基づいて、前記対象者の眼が反射の影響を受けやすいか否かを示す判定結果を生成する判定ステップと
を含む反射性判定方法であって、
前記判定ステップは、
前記相違度合が大きい場合、前記対象者の眼が反射の影響を受けやすいことを示す判定結果を生成し、それ以外の場合、前記対象者の眼が反射の影響を受けやすいとはいえないことを示す判定結果を生成し、
前記眼球運動に現れるサッカードの特徴量は、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量であり、
前記基準値は、前記複数の被験者から得られる、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差の平均値、中央値、最大値、最小値のいずれかである
反射性判定方法。 - 反射性判定装置が、対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出ステップと、
前記反射性判定装置が、眼球運動に現れるサッカードの特徴量を入力として、眼に関する反射の影響の受けやすさの程度を示す情報を出力するように学習された反射性判定モデルを用いて、前記特徴量から前記対象者の眼に関する反射の影響を受けやすさの程度を示す情報を判定結果として生成する判定ステップと
を含む反射性判定方法であって、
前記眼球運動に現れるサッカードの特徴量は、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量である
反射性判定方法。 - 請求項1ないし4のいずれか1項に記載の反射性判定装置としてコンピュータを機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018119437A JP7214986B2 (ja) | 2018-06-25 | 2018-06-25 | 反射性判定装置、反射性判定方法、プログラム |
US17/255,499 US20210275016A1 (en) | 2018-06-25 | 2019-05-20 | Reflectivity judgement apparatus, reflectivity judgement method, and program |
PCT/JP2019/019836 WO2020003804A1 (ja) | 2018-06-25 | 2019-05-20 | 反射性判定装置、反射性判定方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018119437A JP7214986B2 (ja) | 2018-06-25 | 2018-06-25 | 反射性判定装置、反射性判定方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020000266A JP2020000266A (ja) | 2020-01-09 |
JP7214986B2 true JP7214986B2 (ja) | 2023-01-31 |
Family
ID=68986362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018119437A Active JP7214986B2 (ja) | 2018-06-25 | 2018-06-25 | 反射性判定装置、反射性判定方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210275016A1 (ja) |
JP (1) | JP7214986B2 (ja) |
WO (1) | WO2020003804A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023047519A1 (ja) * | 2021-09-24 | 2023-03-30 | 日本電信電話株式会社 | 学習装置、推定装置、学習方法、推定方法、およびプログラム |
CN116974370B (zh) * | 2023-07-18 | 2024-04-16 | 深圳市本顿科技有限公司 | 一种防沉迷儿童学习平板电脑控制方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140249447A1 (en) | 2013-03-04 | 2014-09-04 | Anne Bibiana Sereno | Touch sensitive system and method for cognitive and behavioral testing and evaluation |
JP2016151849A (ja) | 2015-02-17 | 2016-08-22 | 日本電信電話株式会社 | 個人識別方法、個人識別装置、プログラム |
JP2017526078A (ja) | 2014-05-09 | 2017-09-07 | グーグル インコーポレイテッド | 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法 |
JP2017215963A (ja) | 2016-05-30 | 2017-12-07 | 日本電信電話株式会社 | 注目範囲推定装置、学習装置、それらの方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6839041B2 (en) * | 2001-08-01 | 2005-01-04 | Thermwood Corporation | Virtual reality viewing system and method |
JP5030142B2 (ja) * | 2006-09-26 | 2012-09-19 | トヨタ自動車株式会社 | 集中度評価装置及びこれを用いた車両用表示装置 |
US9687145B2 (en) * | 2014-11-10 | 2017-06-27 | University Of Houston System | Optical coherence elastography to assess biomechanics and detect progression of ocular and other tissues degenerative diseases |
-
2018
- 2018-06-25 JP JP2018119437A patent/JP7214986B2/ja active Active
-
2019
- 2019-05-20 US US17/255,499 patent/US20210275016A1/en active Pending
- 2019-05-20 WO PCT/JP2019/019836 patent/WO2020003804A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140249447A1 (en) | 2013-03-04 | 2014-09-04 | Anne Bibiana Sereno | Touch sensitive system and method for cognitive and behavioral testing and evaluation |
JP2017526078A (ja) | 2014-05-09 | 2017-09-07 | グーグル インコーポレイテッド | 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法 |
JP2016151849A (ja) | 2015-02-17 | 2016-08-22 | 日本電信電話株式会社 | 個人識別方法、個人識別装置、プログラム |
JP2017215963A (ja) | 2016-05-30 | 2017-12-07 | 日本電信電話株式会社 | 注目範囲推定装置、学習装置、それらの方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2020003804A1 (ja) | 2020-01-02 |
JP2020000266A (ja) | 2020-01-09 |
US20210275016A1 (en) | 2021-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6815486B2 (ja) | 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム | |
JP5718493B1 (ja) | 音の顕著度推定装置、その方法、及びプログラム | |
JP2019141697A (ja) | 眼科検査を実行するためのヘッドマウントディスプレイ | |
JP7070605B2 (ja) | 注目範囲推定装置、その方法およびプログラム | |
US10706281B2 (en) | Controlling focal parameters of a head mounted display based on estimated user age | |
JP2023116604A (ja) | 軽度認知障害判定システム | |
CN109765991A (zh) | 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质 | |
JP6755839B2 (ja) | 運動パフォーマンス推定装置、その方法、およびプログラム | |
Sungkur et al. | Eye tracking system for enhanced learning experiences | |
US11157074B2 (en) | Presenting assessment content to a user | |
JP7214986B2 (ja) | 反射性判定装置、反射性判定方法、プログラム | |
JP6939533B2 (ja) | 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム | |
JP5718494B1 (ja) | 印象推定装置、その方法、及びプログラム | |
JP6479708B2 (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム | |
JP5718495B1 (ja) | 印象推定装置、その方法、及びプログラム | |
JP6377545B2 (ja) | 個人識別方法、個人識別装置、プログラム | |
JP5718492B1 (ja) | 音の顕著度推定装置、その方法、及びプログラム | |
JP2017086529A (ja) | 印象推定装置およびプログラム | |
JP6904269B2 (ja) | 聴覚的注意推定装置、聴覚的注意推定方法、プログラム | |
JP2017202048A (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム | |
JP6445418B2 (ja) | 印象推定装置、印象推定方法、およびプログラム | |
WO2020036019A1 (ja) | 瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム | |
WO2023047519A1 (ja) | 学習装置、推定装置、学習方法、推定方法、およびプログラム | |
JP7017171B2 (ja) | 運動パフォーマンス推定装置、トレーニング装置、それらの方法、およびプログラム | |
Wong et al. | Automatic pupillary light reflex detection in eyewear computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7214986 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |