JP6709543B2 - 脳情報測定装置 - Google Patents

脳情報測定装置 Download PDF

Info

Publication number
JP6709543B2
JP6709543B2 JP2017143215A JP2017143215A JP6709543B2 JP 6709543 B2 JP6709543 B2 JP 6709543B2 JP 2017143215 A JP2017143215 A JP 2017143215A JP 2017143215 A JP2017143215 A JP 2017143215A JP 6709543 B2 JP6709543 B2 JP 6709543B2
Authority
JP
Japan
Prior art keywords
subject
brain information
measuring device
brain
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017143215A
Other languages
English (en)
Other versions
JP2019022626A (ja
Inventor
米澤 泰延
泰延 米澤
大地 佐藤
大地 佐藤
道田 奈々江
奈々江 道田
吉田 敏宏
敏宏 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2017143215A priority Critical patent/JP6709543B2/ja
Publication of JP2019022626A publication Critical patent/JP2019022626A/ja
Application granted granted Critical
Publication of JP6709543B2 publication Critical patent/JP6709543B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、脳情報測定装置に関するものである。
人間の心理状態等を分析するために、従来から、被験者の脳波を取得する脳波測定装置が使用されている。脳波測定装置においては、例えば脳波キャップによって被験者の頭部の各所に設置された複数の電極により、脳波による微弱な電圧を検出して、推定や分析に必要な脳波データを取得している。
このような脳波測定においては、被験者の動作や発汗等に基づく脳波信号検出の精度低下(脳波キャップの電極と被験者の頭皮との接触状態の変化による検出精度低下)に的確に対応して、脳波測定の精度を確保する必要がある。このような技術として、例えば特許文献1(特開2017−042261)には、車両の運転者の生体アーチファクトの影響を除去した真正の脳波信号を取得するための発明が提案されている。また、特許文献2(特開2012−280)には、被験者の首振り運動による頸部筋電位に基づく脳波信号への影響を除去するための発明が提案されている。
特開2017−042261 特開2012−280
しかしながら、上記のような従来の装置は、特定の状況におけるノイズ除去を行うものであって、様々な要因に基づく被験者の様々な状態変化に対処して、適切な脳波データの効率的な取得を可能とするものではない。
本発明は、以上のような事情を勘案してなされたもので、その目的は、被験者の様々な状態によって生じる脳情報検出精度の低下に対して的確に対応することができ、各種推定や分析に適した形態に処理された脳情報を効率的に取得できる脳情報測定装置を提供することである。
前記目的を達成するため、本発明にあっては、次のような解決方法を採択している。すなわち、請求項1に記載のように、脳情報測定装置において、被験者の頭部の複数個所における脳情報を検出する脳情報検出手段と、前記脳情報から生体アーチファクトのノイズを除去するアーチファクト除去手段と、前記脳情報を用いた推定や分析の目的毎に用意された複数の空間フィルタからなる空間フィルタのセットを複数記憶したデータベースと、前記アーチファクト除去手段により生体アーチファクトのノイズが除去された脳情報を、前記データベースに記憶された空間フィルタのセットを用いて処理する脳情報処理手段と、前記被験者の状態を検出又は推定する被験者状態取得手段と、前記データベースに記憶された複数の空間フィルタのセットから、前記脳情報処理手段において使用される空間フィルタのセットを、前記被験者状態取得手段により検出又は推定された被験者の状態に応じて選択して設定するフィルタ設定手段とを備えた。
上記解決手法によれば、被験者の状態(頭部の運動や生理状態等)によって情報検出手段による検出結果が影響を受けた場合に、この被験者の状態に対応して、データベースに記憶された空間フィルタのセットから、適切な空間フィルタのセットが逐次選択される(適切な空間フィルタのセットへの差し替えがなされる)ので、被験者の状態が様々に変化した場合でも、各種推定や分析目的に適した脳情報(フィルタ処理後の脳情報)を効率的に取得することができる。また、空間フィルタのセットが、被験者の状態に対応した空間フィルタのセットに差し替えられるので、被験者の状態の変化への対応を、一括して効率的に行うことができる。
上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項2以下に記載の通りである。すなわち、前記脳情報は、被験者の脳波であり、前記脳情報検出手段は、前記脳波による電流を検出する脳波検出手段である(請求項2対応)。この場合、被験者の頭部の動きや発汗等によって、脳波検出手段による検出のための電極に検出精度の低下(電極と頭皮の接触状態の変化)が生じたとしても、空間フィルタの差し替えによって、電流検出精度の低下の影響が適切に吸収されるので、脳波に基づく各種推定や分析を適切に行うことが可能となる。
前記データベース内の空間フィルタは、学習により更新される(請求項3対応)。この場合、空間フィルタが、学習により最適化されていくので、より精度の良い脳情報の測定が可能となる。
前記被験者状態取得手段は、前記被験者の頭部の運動を検出する(請求項4対応)。この場合、被験者の頭部の運動(首振り運動、上下の動き等)に基づく検出精度低下(例えば脳波検出手段における電極のずれや浮き)に適切に対応できる。
前記被験者状態取得手段は、前記被験者の発汗状態を検出する(請求項5対応)。この場合、被験者の発汗に基づく検出精度低下(例えば脳波検出手段における電極と頭皮の接触抵抗の変化)に適切に対応できる。
前記被験者は、乗り物の乗員であり、前記被験者状態取得手段は、前記乗り物の周辺環境に基づいて前記被験者状態を推定する(請求項6対応)。この場合、例えば地図情報や車外カメラ等によって取得される乗り物の周辺環境に基づいて被験者状態が効率的に推定されるので、効率的なフィルタの設定を行うことができる。
前記被験者は、乗り物の乗員であり、前記被験者状態取得手段は、前記乗り物の内部環境に基づいて前記被験者状態を推定する。(請求項7対応)。この場合、乗り物の内部環境(例えば車室内の温度)に基づいて被験者状態が効率的に推定されるので、効率的なフィルタの設定を行うことができる。

本発明によれば、被験者の状態に基づく脳情報(脳波)の検出精度の低下が、脳情報処理のための空間フィルタの差し替えによって適切に修正(吸収)されるので、各種推定や分析に用いる脳情報を適切かつ効率的に取得できる。
本発明の概略を説明するための車室内の状態を示す側面図。 本発明の制御系の一例を示すブロック構成図。 空間フィルタのイメージを示す図であり、デフォルト状態(初期状態)における空間フィルタのセットを示す。 空間フィルタのイメージを示す図であり、ドライバが首振りをした状態における空間フィルタのセットを示す。 空間フィルタのイメージを示す図であり、ドライバが右側に発汗した状態における空間フィルタのセットを示す。 本発明の脳情報測定の制御フローの一例を示すフローチャート。
以下、添付図面に基づいて本発明の実施形態について説明する。
図1には、本発明の脳情報測定装置が備えられた車両の車室内を示す。図示されるように、車両Vには、運転席SS、ステアリングハンドル1、インストルメントパネル2、フロントウインドウガラス3が備えられ、被験者である車両のドライバJが、運転席SSに着座している。
ドライバJの頭部には、脳波を計測するための脳波計測器10(本実施形態では、ヘルメット式の脳波キャップ)が装着されている。脳波計測器10には、複数(例えば64個)の電極10aが備えられており、脳波の微小電圧をストリーミングすることにより、脳波データが取得されるようになっている。この場合、複数の電極10aは、ドライバJの頭部の特定部位に配置され、複数の特定部位における脳波の検出が行なわれるようになっている。
脳波計測器10には、加速度センサ11が設けられており、ドライバJの頭部運動(首振り運動、上下運動)が、加速度センサ11によって検知されるようになっている。また、脳波計測器10には、図示されない発汗センサも設けられており、ドライバJの頭部の発汗状態も検知できるようになっている。さらに、インストルメントパネル2には、車内カメラ12が設けられており、ドライバJの状態(挙動)は、車内カメラ12によっても検知できるようになっている。
図2には、本発明のドライバ脳情報測定装置の制御系の一例をブロック構成図で示している。図示されるように、制御系は、マイクロコンピュータを利用して構成されたコントローラ(制御ユニット)Uを備えている。コントローラUには、脳波検出手段である脳波計測器10、ドライバ状態検出手段21からの信号が入力される。また、コントローラUは、データベース22に接続されている。
ドライバ状態検出手段21は、ドライバJの状態(例えば頭部の運動状態、発汗状態)を検出する装置であり、加速度センサ11、発汗センサ、車内カメラ12等から構成されている。また、車外を撮影するカメラや地図情報等から得られる車両の周辺環境(例えば交通状況)や、車室の温度等の車両の内部環境も、ドライバJの状態を推定するための情報となり得る。したがって、車両の周辺環境を検出(提供)する各種装置(例えば地図情報を有するナビゲーション装置等)や、車両の内部環境を検出(提供)する各種装置(例えば車室温度を計測する温度計、ステアリングに埋め込んだ生体センサ等)も、ドライバ状態検出手段21に含まれる。
コントローラUには、脳波信号取得手段31、アーチファクト除去手段32、フィルタ処理手段33、ドライバ状態取得手段34、空間フィルタ設定手段35が設けられている。脳波信号取得手段31は、脳波計測器10の各電極10aにより検出された脳波信号のストリーミングデータを取得する。アーチファクト除去手段32は、ハイパスフィルタ、ローパスフィルタ等から構成され、脳波信号のストリーミングデータから、筋電等の生体アーチファクトのノイズを除去するものである。
フィルタ処理手段33は、脳波信号のストリーミングデータを空間フィルタを用いて処理することにより、脳波信号を、各種分析や推定に適した形態へと処理する手段である。この場合に使用される空間フィルタは、空間フィルタ設定手段35により設定された空間フィルタが利用されるが、初期設定においては、デフォルトの空間フィルタが利用されることになる。
図3から図5には、空間フィルタのイメージを示す。図示されるように、本実施形態における空間フィルタとしては、脳波を用いた各種分析や推定(例えば被験者の感情の推定)の目的(用途1〜3)毎に設けられた3個のフィルタのセットが採用されている。なお、各セットにおける空間フィルタの個数は、特に限定されず、更に多数の空間フィルタからなるセットを用いることも可能である。また、各用途に対応する空間フィルタは、説明を簡明にするため、1つの用途に対して1つのフィルタが対応するようになっているが、1つの用途に対して複数のフィルタを用いることも可能である。
用途1から用途3の各空間フィルタにおいて、円形は被験者(運転者J)の頭部50を表している。また、頭部50内に描かれた等高線51〜59、51a〜59a、51b〜59bは、空間フィルタ処理における脳波信号への重み付けを表現したものである。すなわち、各チャンネル(電極10aが配置された特定部位)において検出された脳波信号は、等高線51〜59等で区切られた領域毎に異なる重み付けをもって重ね合わせられることにより、分析や推定のための脳波データが、各空間フィルタ毎に算出されることになる。
このように空間フィルタにより処理された脳波データは、空間フィルタの個数分のセットとして得られるが、これらの脳波データから、脳波を用いた各種分析や推定(例えば被験者の感情の推定)の目的に応じて、適切な脳波データが選択されて利用されることになる。すなわち、セット内の各空間フィルタは、分析や推定の目的(用途)毎に適切な脳波データが得られるように設定されており、各用途に対応する空間フィルタで処理された脳波データを用いて、脳波解析手段40による解析がなされるようになっている。
このような空間フィルタによる処理において、被験者であるドライバJの状態が通常の状態(例えば、ぼんやりと前方を見ている状態で、特に首振り動作等を行っていない場合)には、図3に示すデフォルトの空間フィルタのセットを用いればよい。デフォルトの空間フィルタセットは、用途毎に必要な脳情報の抽出部位を中心とし、中心から左右均等な形状の等高線で表現される重みづけとなるよう設定したものである。
これに対して、ドライバJが頭部を動かした場合や、発汗した場合等には、脳波計測器10の電極10aとドライバJの頭皮の接触状態が変化(悪化)し、取得される脳波信号のストリーミングデータに悪影響が生じてしまうことがある。例えば、ドライバJが安全確認等で左右に首振り動作を行うと、電極10aの位置が頭部の特定部位からずれたり、電極10aが頭皮から浮いてしまい、接触抵抗が大きく変化してしまうことがある。また、ドライバJが発汗すると、ドライバJの頭皮の状態は変化するので、電極10aと頭皮の接触抵抗は変化する。
本実施形態においては、このような状況に対応すべく、空間フィルタ設定手段35は、ドライバ状態に応じて、フィルタ処理に用いられる空間フィルタのセットを差し替える(或いは補正する)ことにより、フィルタ処理後の脳波データに、ドライバ状態による悪影響が生じないようにし、脳波データを各種分析や推定に適切に利用できるようにする(分析目的毎に設定された空間フィルタの番号をそのまま利用できるようにする)。
詳しく説明すると、ドライバ状態は、ドライバ状態検出手段21からの検出データに基づいて、ドライバ状態取得手段34により取得される。この場合、ドライバ状態取得手段34により取得されるドライバ状態には、加速度センサ11により検出されるドライバJの頭部の運動(首振り運動、頭部の上下動)や、発汗センサによって検出されるドライバJの発汗状態のように、直接的に検出されるだけではなく、車両の周辺環境や内部環境に関する情報から間接的に推定され得る。例えば、地図情報を有するナビゲーション装置によって、ドライバの首振りが発生する場所(例えば交差点)を車両が走行することが提供されたならば、この情報に基づいて、ドライバJの首振り運動を推定することもできる。
このように取得されたドライバ状態に対して、空間フィルタ設定手段35は、データベース22から、このドライバ状態に対応する空間フィルタのセットを選び出す。すなわち、データベース22には、ドライバ状態毎に差し替え板の空間フィルタのセットが記憶(蓄積)されており、空間フィルタ設定手段35は、ドライバ状態の変化に対応して、逐次、その時点のドライバ状態に対応した空間フィルタのセットを選び出して、フィルタ処理手段33で使用される空間フィルタのセットとして設定する。
具体的に、ドライバが首振りをした場合には、図3のデフォルトの空間フィルタのセットに代えて、図4に示す首振りが発生したドライバ状態向けの空間フィルタのセットが選択される。図4(状態2)の空間フィルタでは、首振り時に発生する、頭部の左右後方の頸部筋活動に伴う筋電位が脳情報に混入することを避けるよう、等高線51a〜59aが設定される。具体的には、各用途における脳情報の抽出中心を頭部前方側に所定量オフセットし、さらに、頭部の左右後方の重み付けが少なくなるように等高線51a〜59aが歪んで設定されている。
また、ドライバが頭部に右側に発刊した場合には、図3のデフォルトの空間フィルタのセットに代えて、図5に示す頭部右側に発汗が発生したドライバ状態向けの空間フィルタが選択される。図5(状態3)の空間フィルタでは、頭部右側の発汗発生部位の重み付けが少なくなるように等高線51b〜59bが歪んで設定されている。
なお、データベース22に蓄積されている空間フィルタのデータは、脳波解析手段40による解析結果等のフィードバックを受けて、学習による最適化がなされるようになっている。
このように、本実施形態の脳波測定装置によれば、ドライバ状態の変化に基づく脳波信号の変化に対して、空間フィルタのセットを差し替えるだけで、一括して対応することができるので、ドライバ状態が様々に変化したとしても、分析や推定に適切に利用できる脳波データを、極めて効率的に取得することができる。
次に、図6のフローチャートにしたがって、本発明の脳波測定の制御フローの一例を説明する。脳波測定においては、まずステップS1において、脳波計測器10からの脳波データ(脳波信号のストリーミングデータ)を取得する。続くステップS2においては、ドライバ状態検出手段21からの検出データに基づいて、ドライバ状態が推定される。
ステップS3においては、データベース22から、推定されたドライバ状態に対応する空間フィルタのセットを選び出して、フィルタ処理に利用される空間フィルタのセットとして設定する。ステップS4においては、設定された空間フィルタを脳波データに適用して、解析用の脳波データを得て、続くステップS5において、脳波データの解析を実行する。
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載された範囲において適宜の変更が可能である。
本発明は、自動車等の車両における乗員の脳波測定のために利用できる。
V 車両
SS 運転席
J ドライバ
U コントローラ
10 脳波計測器
10a 電極
11 加速度センサ
12 車内カメラ
21 ドライバ状態検出手段
22 データベース
31 脳波信号取得手段
32 アーチファクト除去手段
33 フィルタ処理手段
34 ドライバ状態取得手段
35 空間フィルタ設定手段
40 脳波解析手段
50 頭部
51〜59 等高線
51a〜59a 等高線
51b〜59b 等高線

Claims (7)

  1. 被験者の頭部の複数個所における脳情報を検出する脳情報検出手段と、
    前記脳情報から生体アーチファクトのノイズを除去するアーチファクト除去手段と、
    前記脳情報を用いた推定や分析の目的毎に用意された複数の空間フィルタからなる空間フィルタのセットを複数記憶したデータベースと、
    前記アーチファクト除去手段により生体アーチファクトのノイズが除去された脳情報を、前記データベースに記憶された空間フィルタのセットを用いて処理する脳情報処理手段と、
    前記被験者の状態を検出又は推定する被験者状態取得手段と、
    前記データベースに記憶された複数の空間フィルタのセットから、前記脳情報処理手段において使用される空間フィルタのセットを、前記被験者状態取得手段により検出又は推定された被験者の状態に応じて選択して設定するフィルタ設定手段と
    を備えた脳情報測定装置。
  2. 請求項1に記載の脳情報測定装置において、
    前記脳情報は、被験者の脳波であり、前記脳情報検出手段は、前記脳波による電流を検出する脳波検出手段である脳情報測定装置。
  3. 請求項1又は請求項2に記載の脳情報測定装置において、
    前記データベース内の空間フィルタは、学習により更新される脳情報測定装置。
  4. 請求項1から請求項3のいずれか1項に記載の脳情報測定装置において、
    前記被験者状態取得手段は、前記被験者の頭部の運動を検出する脳情報測定装置。
  5. 請求項1から請求項4のいずれか1項に記載の脳情報測定装置において、
    前記被験者状態取得手段は、前記被験者の発汗状態を検出する脳情報測定装置。
  6. 請求項1から請求項5のいずれか1項に記載の脳情報測定装置において、
    前記被験者は、乗り物の乗員であり、
    前記被験者状態取得手段は、前記乗り物の周辺環境に基づいて前記被験者状態を推定する脳情報測定装置。
  7. 請求項1から請求項6のいずれか1項に記載の脳情報測定装置において、
    前記被験者は、乗り物の乗員であり、
    前記被験者状態取得手段は、前記乗り物の内部環境に基づいて前記被験者状態を推定する脳情報測定装置。
JP2017143215A 2017-07-25 2017-07-25 脳情報測定装置 Active JP6709543B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017143215A JP6709543B2 (ja) 2017-07-25 2017-07-25 脳情報測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017143215A JP6709543B2 (ja) 2017-07-25 2017-07-25 脳情報測定装置

Publications (2)

Publication Number Publication Date
JP2019022626A JP2019022626A (ja) 2019-02-14
JP6709543B2 true JP6709543B2 (ja) 2020-06-17

Family

ID=65368131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017143215A Active JP6709543B2 (ja) 2017-07-25 2017-07-25 脳情報測定装置

Country Status (1)

Country Link
JP (1) JP6709543B2 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4928704A (en) * 1989-01-31 1990-05-29 Mindcenter Corporation EEG biofeedback method and system for training voluntary control of human EEG activity
JP4725218B2 (ja) * 2005-07-12 2011-07-13 横河電機株式会社 脳機能測定装置
JP2009297059A (ja) * 2008-06-10 2009-12-24 Toyota Central R&D Labs Inc 脳訓練支援装置
JP2011182973A (ja) * 2010-03-09 2011-09-22 Proassist:Kk 脳波収集制御装置
JP2012000280A (ja) * 2010-06-17 2012-01-05 Panasonic Corp 脳波推定装置、脳波推定方法及びプログラム
WO2013078469A1 (en) * 2011-11-25 2013-05-30 Persyst Development Corporation Method and system for displaying eeg data and user interface
JP6501114B2 (ja) * 2015-05-14 2019-04-17 国立研究開発法人産業技術総合研究所 自動車運転能力判定装置
JP6409712B2 (ja) * 2015-08-25 2018-10-24 マツダ株式会社 脳波取得方法および脳波取得装置

Also Published As

Publication number Publication date
JP2019022626A (ja) 2019-02-14

Similar Documents

Publication Publication Date Title
US20210009149A1 (en) Distractedness sensing system
US11834052B2 (en) Estimator generation apparatus, monitoring apparatus, estimator generation method, and computer-readable storage medium storing estimator generation program
US10379535B2 (en) Drowsiness sensing system
JP6839090B2 (ja) 動力車両の運転手の覚醒レベルを予知する装置および方法
KR101023512B1 (ko) 사람의 상태 검출 장치
RU2017132170A (ru) Система для оценки элемента в транспортном средстве и соответствующий способ
US20220242417A1 (en) Operational Assistance Method for a Vehicle, Control Unit, and Vehicle
CN113795416A (zh) 用于预测并减轻由晕车引起的干扰的方法
US20120022395A1 (en) Method and system for revealing oculomotor abnormalities
CN113439049A (zh) 交通工具晕动症推测装置、交通工具晕动症抑制装置以及交通工具晕动症推测方法
US20200247425A1 (en) Autonomous driving support systems including vehicle headrest monitoring devices and methods incorporating the same
Nacpil et al. Application of physiological sensors for personalization in semi-autonomous driving: A review
JP6991717B2 (ja) 生体情報検出装置
JP6709543B2 (ja) 脳情報測定装置
Schneider et al. An approach to automotive ECG measurement validation using a car-integrated test framework
Lawoyin et al. A novel application of inertial measurement units (IMUs) as vehicular technologies for Drowsy driving detection via steering wheel movement
KR101306922B1 (ko) 뇌파 측정 장치 및 뇌파 측정 방법
CN107007292B (zh) 用于获知疲劳的方法
RU2696978C1 (ru) Улучшенная работа сенсорного экрана
Murphey et al. Personalized driver workload estimation in real-world driving
CN115996666A (zh) 用于确定认知需求的系统和方法
JP6787069B2 (ja) 生体情報解析装置、及び生体情報解析方法
WO2020039995A1 (ja) 運転制御調整装置および運転制御調整方法
KR20210158525A (ko) 자율주행차 주행 시 멀미 저감 시스템
JP6916013B2 (ja) 運転支援装置、運転支援方法及び運転支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200507

R150 Certificate of patent or registration of utility model

Ref document number: 6709543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150