JP6878687B2 - モデル設定装置、非接触式血圧測定装置、モデル設定方法、モデル設定プログラム、および記録媒体 - Google Patents

モデル設定装置、非接触式血圧測定装置、モデル設定方法、モデル設定プログラム、および記録媒体 Download PDF

Info

Publication number
JP6878687B2
JP6878687B2 JP2020510448A JP2020510448A JP6878687B2 JP 6878687 B2 JP6878687 B2 JP 6878687B2 JP 2020510448 A JP2020510448 A JP 2020510448A JP 2020510448 A JP2020510448 A JP 2020510448A JP 6878687 B2 JP6878687 B2 JP 6878687B2
Authority
JP
Japan
Prior art keywords
blood pressure
pulse wave
target
model
model setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020510448A
Other languages
English (en)
Other versions
JPWO2019187852A1 (ja
Inventor
勇樹 江戸
勇樹 江戸
足立 佳久
佳久 足立
莉絵子 小川
莉絵子 小川
亮太 富澤
亮太 富澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2019187852A1 publication Critical patent/JPWO2019187852A1/ja
Application granted granted Critical
Publication of JP6878687B2 publication Critical patent/JP6878687B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • A61B5/02108Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A61B5/02125Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics of pulse wave propagation time
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

本開示は、モデル設定装置等に関し、より詳しくは、血圧予測モデルを設定するモデル設定装置、および該モデルを用いる非接触式血圧測定装置等に関する。
近年、人体の血圧を測定する技術として、人体に接触することなく血圧を測定(推定)する非接触式の血圧測定技術の開発が行われている(例えば、特許文献1〜3参照)。
この種の技術では、例えば、カメラにより撮像した画像を用いて、額および頬等の人体の異なる2部位における脈波から算出した脈波伝搬時間を用いて、血圧を予測する。
日本国公開特許公報「特開2017−104491号公報(2017年6月15日公開)」 日本国公開特許公報「特開2016−190022号公報(2016年11月10日公開)」 日本国公開特許公報「特開2015−054223号公報(2015年3月23日公開)」
従来、脈波算出のため、各部位で対象領域を定め、対象領域内に含まれる複数画素の平均輝度値を計算し、その平均輝度値の変化から脈波を算出する技術がある。
しかしながら、血圧予測に最適な対象領域の大きさは考慮されておらず、血圧を精度良く予測する事が出来ないという問題がある。
本開示の目的の1つは、非接触式の血圧測定装置にて利用される血圧予測モデルを適切に設定することにより、当該血圧測定装置における血圧の予測精度を向上させることができるモデル設定装置等を提供することにある。
上記の課題を解決するために、本開示の一態様におけるモデル設定装置は、生体の第1および第2対象部位における脈波に基づいて当該生体の血圧を予測するためのモデルを設定するモデル設定装置であって、上記生体の血圧値と、当該血圧値を測定したときの当該生体の複数の画像と、の組み合わせを複数取得し、上記第1対象部位に、大きさの異なる複数の第1対象領域を設定するとともに、上記第2対象部位に、大きさの異なる複数の第2対象領域を設定する処理を、複数の上記組み合わせのそれぞれに含まれる複数の画像について行う領域設定部と、設定された複数の上記第1および第2対象領域を用いて上記生体の脈波を検出する検出部と、検出された脈波から上記第1および第2対象領域間の脈波伝搬時間を算出する算出部と、上記血圧値および上記脈波伝搬時間に基づいて、上記第1および第2対象領域を用いた血圧予測の精度を、上記第1および第2対象領域の大きさの組み合わせごとに評価する評価部と、上記評価部の評価結果に基づいて上記第1および第2対象領域の好ましい大きさを決定する決定部と、を備える構成である。
本開示の一態様におけるモデル設定方法は、生体の第1および第2対象部位における脈波に基づいて当該生体の血圧を予測するためのモデルを設定するモデル設定方法であって、上記生体の血圧値と、当該血圧値を測定したときの当該生体の複数の画像と、の組み合わせを複数取得する工程と、上記第1対象部位に、大きさの異なる複数の第1対象領域を設定するとともに、上記第2対象部位に、大きさの異なる複数の第2対象領域を設定する処理を、複数の上記組み合わせのそれぞれに含まれる複数の画像について行う工程と、設定された複数の上記第1および第2対象領域を用いて上記生体の脈波を検出する工程と、検出された脈波から上記第1および第2対象領域間の脈波伝搬時間を算出する工程と、上記血圧値および上記脈波伝搬時間に基づいて、上記第1および第2対象領域を用いた血圧予測の精度を、上記第1および第2対象領域の大きさの組み合わせごとに評価する工程と、上記評価に基づいて上記第1および第2対象領域の好ましい大きさを決定する工程と、を含む方法である。
本開示の一態様によれば、非接触式の血圧測定装置において、血圧の予測精度を向上させることができる。
実施の形態1に係る血圧測定システム構成を示す機能ブロック図である。 カメラの構成を示す概略図である。 データ取得部およびモデル設定ユニットにおける処理の流れの一例を示すフローチャートである。 領域設定部による第1および第2対象領域の設定方法を説明するための図である。 撮像画像の頬領域における各色の画素値の演算値を算出する処理を説明するための図である。 頬領域および額領域の脈波から算出される脈波伝搬時間を説明するための図である。 頬領域および額領域のサイズが3段階の場合の、頬領域および額領域における脈波伝搬時間とカフ血圧値との関係を示す図である。 頬領域および額領域の正方形の1行分に含まれる画素数と自由度調整済み決定係数との関係を示す図である。 額領域の脈波波形から波形情報を算出する方法を示す図である。 Lasso回帰を行った場合の平均二乗予測誤差と正則化パラメータとの関係を示すグラフである。 波形情報を用いていない場合と波形情報を用いてLasso回帰した場合との比較結果を示す図である。 実施の形態3に係るデータ取得部およびモデル設定ユニットにおける処理の流れの一例を示すフローチャートである。
本開示における演算装置等の理解を容易にするために、始めに、本開示の知見の概要について以下に説明する。
被検者の各部位で対象領域を定め、対象領域内に含まれる複数画素の平均輝度値を計算し、その平均輝度値の変化から脈波を算出することができる。このとき、対象領域が狭すぎる場合(平均化する画素数が少ない場合)、カメラ信号のノイズが大きく、微小な脈波信号が精度良く得られない。
一方、対象領域が広すぎる場合(平均化する画素数が多い場合)カメラ信号のノイズの影響は小さくなる反面、血管が表皮深くにあるような、脈波が検出しにくい領域を用いる可能性が高くなり、血圧予測に適さない脈波伝搬時間を算出してしまうと考えられる。
また、最適な対象領域には、個人差や部位差、測定部位差があると予想される。個人毎、測定部位毎に対象領域の大きさを最適化する事によって、血圧予測精度が高い脈波伝搬時間を算出することができる。
〔実施形態1〕
以下、本開示の一実施形態について、詳細に説明する。図1は、本実施の形態に係る血圧測定システム100の構成を示す機能ブロック図である。血圧測定システム100は、被検体(生体)の異なる2つの対象部位における脈波に基づいて当該被検体の血圧を予測する血圧測定装置1(非接触式血圧測定装置)を含むシステムである。図1に示すように、血圧測定システム100は、血圧測定装置1、カメラ10および血圧計20を備えている。
カメラ10は、複数の受光素子を含むイメージセンサー(不図示)を備えている。カメラ10は、所定の時間間隔(例えば、フレームレートが300fps)で被検体を複数回撮像し、その結果生成した複数の撮像画像を血圧測定装置1へ送信する。以下の説明では、カメラ10は、複数の撮像画像を含む動画を血圧測定装置1へ送信するものとする。なお、カメラ10は、血圧測定装置1と通信可能に接続されている必要はなく、上記動画を格納した記憶媒体を血圧測定装置1に挿入または接続することにより、当該動画を血圧測定装置1へ供給してもよい。
図2は、カメラ10の構成を示す概略図である。図2に示すように、カメラ10には、イメージセンサー(不図示)が備える複数の受光素子のそれぞれに、赤色フィルタ11、第1緑色フィルタ12、青色フィルタ13、および第2緑色フィルタ14のいずれかが備えられている。第2緑色フィルタ14は、第1緑色フィルタ12と同様に約500nm〜約600nmの緑色の可視光波長領域の光を透過させ、さらに約805nm以上の近赤外線領域の波長の光を透過させる。
カメラ10は、赤色フィルタ11、第1緑色フィルタ12、青色フィルタ13、および第2緑色フィルタ14をそれぞれ透過した光の強度(輝度)を検出し、撮像画像を生成する。上述の4種類のフィルタのいずれかが設けられた受光素子によって、撮像画像における各画素が形成される。
カメラ10は、赤色フィルタ11、第1緑色フィルタ12、青色フィルタ13および第2緑色フィルタ14を透過した光の強度に基づいて、被検体を撮像した動画を生成し、生成した動画を血圧測定装置1へ出力する。
なお、カメラ10は、第2緑色フィルタ14に替えて、約805nm以上の近赤外線領域の波長の光を透過させる赤外光フィルタを備えていてもよい。また、カメラ10は、赤色フィルタ11、第1緑色フィルタ12および青色フィルタ13の3色のフィルタを備えていてもよい。
血圧計20は、被検体の血圧を測定する接触式の血圧計であり、例えばカフ血圧計である。血圧計20は、血圧測定装置1と通信可能に接続されており、血圧計20によって測定された血圧値は、血圧測定装置1のデータ取得部2へ送信される。なお、血圧計20によって測定された血圧値をユーザが血圧測定装置1の入力部(不図示)を介して血圧測定装置1に入力してもよい。
カメラ10が撮像した動画の撮像中に血圧計20によって血圧が測定される必要がある。そのため、血圧測定装置1は、カメラ10による撮像と血圧計20による測定とが同時期に行われるように、カメラ10および血圧計20を制御する。
図1に示すように、血圧測定装置1は、データ取得部2、モデル設定ユニット3(モデル設定装置)、メモリ4、血圧測定ユニット5および表示部6を備えている。図3は、データ取得部2およびモデル設定ユニット3における処理の流れの一例を示すフローチャートである。
データ取得部2は、血圧計20から被検体の血圧値(血圧値データ)を受信するとともに、カメラ10から被検体の動画(動画データ)を受信し、受信した血圧値および動画をメモリ4に格納する(S1)。メモリ4は、不揮発性の記憶装置である。
血圧値データと動画データとは対応付けられており、これらのデータの組み合わせは、被検体の血圧値と、当該血圧値を測定したときの当該被検体の複数の画像との組み合わせに相当する。上記動画データは、例えば、被検体の顔を60秒間撮像した動画のデータである。上記血圧値データは、当該動画を撮像したとき(上記60秒の間)に血圧計20で当該被検体を測定することによって得られた血圧値を示すデータである。このような血圧値データと動画データとの組み合わせをデータセットと称する。
データ取得部2は、血圧値が互いに異なる複数のデータセットを取得する。本実施形態では、データ取得部2は、14個のデータセットを取得するものとする。これらのデータセットのうちの第1データセットには、第1動画と第1血圧値とが含まれており、第nデータセットには、第n動画と第n血圧値とが含まれている。データセットに含まれる動画データは、例えば、縦480×横640画素の60秒の顔動画(計18000フレーム)である。データ取得部2は、モデル設定ユニット3および血圧測定ユニット5のそれぞれに設けられていてもよい。
被検体の血圧は、例えばエアロバイク(登録商標)運動(負荷50W〜80W)によって変動させることができる。安静時のデータセットと、血圧を変化させた時の複数のデータセットとをデータ取得部2は取得する。なお、本実施形態では、被検体の顔がカメラ10に対して動かないように固定されており、全14個の動画において顔の動きはほとんどない条件である。
図1に示すように、モデル設定ユニット3は、領域設定部31、脈波検出部32、伝搬時間算出部33、評価部34、領域決定部35およびモデル設定部36を備えている。
領域設定部31は、メモリ4に格納された被検体の動画に含まれる撮像画像のそれぞれにおいて、脈波を検出する対象となる領域(対象領域)を設定する。具体的には、領域設定部31は、顔領域80における2つの対象部位のそれぞれについて、大きさの異なる複数の第1および第2対象領域を設定する。なお、第1および第2対象領域は、撮像画像において、被検体の肌が撮像されている領域から選択される必要がある。これは、脈波は、被験者の肌の色の時間的な変化を用いて検出されるためである。
図4は、領域設定部31による第1および第2対象領域の設定方法を説明するための図である。領域設定部31は、図4に示すように、被検体の動画の所定のフレームごとに被検体の顔領域80を検出し、顔領域80において第1および第2対象領域の基準位置を設定する(図3のS2)。第1および第2対象領域は、顔領域80に含まれる異なる2つの対象部位に設定される。顔領域80の検出には、公知の技術を用いることができる。
本実施形態では、一例として、領域設定部31は、頬(第1対象部位)に第1対象領域(頬領域81)を設定し、額(第2対象部位)に第2対象領域(額領域82)を設定する。対象領域として、頬領域81または額領域82に替えて、鼻の領域を設定してもよい。額、鼻、頬には動脈があり、また、額、鼻、頬は被検体の顔がカメラ10を向いているときに検出しやすい領域であるため、対象領域として好ましい。また、被検体がカメラ10に対して横を向いている場合には、首を対象領域としてもよい。
次に、領域設定部31は、頬領域81および額領域82のそれぞれについて、大きさの異なる複数の対象領域を設定する(図3のS3)。図4には、頬領域81について頬領域81A・81Bが設定され、額領域82について額領域82A・82Bが設定された状態が示されている。このように、領域設定部31は、2つの対象部位(頬、額)のそれぞれについて、互いに大きさの異なる複数の第1および第2対象領域を設定する。
頬領域81および額領域82のサイズは、例えば、2×2〜100×100画素に変更する。サイズの上限は、頬領域81、額領域82がそれぞれ頬、額の部位を大きくはみ出してしまわない大きさに設定すればよい。
第1および第2対象領域について、大きさの異なる対象領域を何段階設けるかについては、特に限定されない。以下では、説明を簡略化するために、頬領域81について大きさの異なる2つの対象領域を設定し、額領域82について大きさの異なる2つの対象領域を設定する場合について説明する。
なお、以下の説明で、単に頬領域81または額領域82と称した場合には、これらは、大きさの異なる頬領域81A・81Bまたは額領域82A・82Bの総称を意味する。
大きさの異なる頬領域81を設定するために、領域設定部31は、基準となる大きさの頬領域81A(基準第1対象領域)の中心83を上記基準位置として共有するように、大きさを変更した頬領域81(頬領域81B)を設定してもよい。または、領域設定部31は、頬領域81Aの頂点のひとつを上記基準位置として共有し、かつ頬領域81Aを包含する(または頬領域81Aに包含される)ように、大きさを変更した頬領域81(頬領域81B)を設定してもよい。このことは額領域82についても言える。
領域設定部31は、このような頬領域81および額領域82の設定を、第1〜第14動画のそれぞれに含まれる複数の撮像画像のそれぞれについて行う。領域設定部31は、設定した頬領域81および額領域82の位置および大きさを示す情報をメモリ4に格納する。
脈波検出部32は、領域設定部31が設定した位置および大きさの頬領域81A・Bおよび額領域82A・Bのそれぞれにおける各色の平均画素値の変化を検出することにより被検体の脈波を算出する(図3のS4)。脈波検出部32は、第1〜第14動画にそれぞれ含まれる複数の撮像画像のそれぞれについて上記平均画素値を算出し、動画ごとかつ頬領域81A・81Bごと、および動画ごとかつ額領域82A・82Bごとに脈波を検出する。
図5は、撮像画像の頬領域81における各色の画素値の演算値を算出する処理を説明するための図である。図5に示すように、撮像画像における頬領域81および額領域82に含まれる画素配列は、R、G、Bのベイヤー配列となっている。脈波検出部32は、頬領域81および額領域82に含まれる各色(R、G、B)の画素値(階調値)を用いて、頬領域81および額領域82における各色の画素値の演算値を算出する。当該演算値とは、頬領域81および額領域82に含まれる画素の画素値の大きさを反映した値である。
脈波検出部32は、例えば、頬領域81における各色の画素値の平均(平均画素値)を、頬領域81における画素値の演算値として算出してもよい。また、脈波検出部32は、例えば、頬領域81の中心に近い画素の画素値の重みづけを大きくし、頬領域81の中心から離れた画素の画素値の重みづけを小さくして算出された統計値を、頬領域81における画素値の演算値として算出してもよい。以降の説明では、脈波検出部32が、頬領域81における各色の平均画素値を、頬領域81における画素値の演算値として算出するものとして説明する。額領域82についても同様である。なお、頬領域81および額領域82内の画素のうち輝度値が所定値以下の画素を用いないようにしてもよい。
脈波検出部32は、平均画素値の時間変化を取得するため、上記動画における所定の時間(例えば、30秒間)分のフレームについて平均画素値の算出を行う。
脈波検出部32は、各色の平均画素値の変化を検出することにより被検体の脈波を動画ごと、かつ頬領域81または額領域82ごとに算出する。すなわち、脈波検出部32は、第1動画における頬領域81Aを用いた脈波の検出、第1動画における頬領域81Bを用いた脈波の検出、第1動画における額領域82Aを用いた脈波の検出および第1動画における額領域82Bを用いた脈波の検出を行う。脈波検出部32は、このような脈波の検出を14個の動画のそれぞれについて行う。
具体的には、脈波検出部32は、まず、各色の平均画素値に対して独立成分分析を行い、色数と同じ数(すなわち、3つ)の独立成分を取り出す。脈波検出部32は、取り出した3つの独立成分に対して、0.75〜3.0Hzのデジタルバンドパスフィルタを用いて、低周波成分および高周波成分をそれぞれ除去する。
次に、脈波検出部32は、低周波成分および高周波成分を除去した3つの独立成分に対して、高速フーリエ変換を行い、各独立成分の周波数のパワースペクトルを算出する。脈波検出部32は、算出した各独立成分の周波数のパワースペクトルの0.75〜3.0Hzにおけるピーク値を算出し、各独立成分のピーク値のうち最もピーク値の大きいピークを有する独立成分を脈波として検出する。脈波検出部32は、検出した脈波を伝搬時間算出部33へ出力する。
なお、平均画素値の時間に対する変動が大きい場合、脈波検出部32は、各色の平均画素値に対してそれぞれトレンド除去を行い(IEEE Trans Biomed Eng, 2002 Feb;49(2):172-175参照)、上記変動を除去した後の各色の平均画素値に対して、独立成分分析を行ってもよい。
図6は頬領域81および額領域82の脈波から算出される脈波伝搬時間を説明するための図である。図6に示すように、伝搬時間算出部33は、頬領域81の脈波を基準とした、額領域82の脈波の時間差を脈波伝搬時間として算出する(図3のS5)。心臓に近い頬の方が脈波の到達が早いため、通常この時間差は正の符号となる。
脈波伝搬時間の算出方法には相互相関解析法などの方法を用いればよい。例えば、頬領域81を基準に額領域82の脈波を微小時間ずらしていくときの脈波間の相関係数を求め、相関係数が最大となるときの時間差を2つの脈波の脈波伝搬時間として算出する。
脈波検出部32は、このような脈波伝搬時間の算出を、ある動画について、頬領域81A・Bのうちの1つと、額領域82A・Bのうちの1つとの組み合わせについて行う。そのため、1つの動画について4通りの組み合わせを得ることができる。脈波検出部32は、そのうちの全部または一部の組み合わせについて脈波伝搬時間を算出する。脈波検出部32は、このような処理を14個の動画のそれぞれについて行うと(図3のS6にてYES)、その結果を評価部34へ出力する。
図7は、頬領域81および額領域82のサイズが3段階(8×8、16×16、32×32)の場合の、頬領域81および額領域82における脈波伝搬時間とカフ血圧値との関係を示している。丸のシンボルは、頬領域81が32×32であり、額領域82が16×16である場合の値を示す。この場合の自由度調整済み決定係数は、0.79である。四角のシンボルは、頬領域81が8×8であり、額領域82が16×16である場合の値を示す。この場合の自由度調整済み決定係数は、0.60である。三角のシンボルは、頬領域81が32×32であり、額領域82が32×32である場合の値を示す。この場合の自由度調整済み決定係数は、0.01である。
図7のグラフの破線は、丸のシンボルに対応する脈波伝搬時間とカフ血圧値との回帰式である。このような線形、または線形に近い関係が得られる場合は、線形モデル「(カフ血圧値)=(切片)+(傾き)×(脈波伝搬時間)」を仮定することが適しており、回帰式から切片と傾きとを算出することによって、好ましい血圧予測モデルを算出することができる。
自由度調整済み決定係数が高いほど、回帰式がデータに適合しているため、上記破線は頬領域81および額領域82のサイズが最適化された下で得られた血圧予測モデルといえる。
図8は、頬領域81および額領域82の正方形の1行分(1列)に含まれる画素数と自由度調整済み決定係数との関係を示している。図8には、頬領域81、額領域82ともに2×2〜100×100画素のサイズに変更し、全36通りの領域サイズの組み合わせに対して、血圧を目的変数、脈波伝搬時間を説明変数とし、線形モデルを仮定した最小二乗法による回帰式の推定を行った結果を示す。
図8に示すように、頬領域81が32×32画素であり、額領域82が16×16画素である場合(符号71で示す場合)において自由度調整済み決定係数が0.79と最も高い。図7の丸のシンボルが、図8の符号71で示すシンボルに対応し、図7の四角のシンボルが図8の符号72で示すシンボルに対応し、図7の三角のシンボルが図8の符号73で示すシンボルに対応している。
このように血圧予測性能は、対象領域のサイズ(平均化をする画素数)に大きく依存することが明らかとなった。また、頬領域81および額領域82が100×100画素のとき、頬、額をはみ出してしまうため、頬領域81および額領域82を100×100画素以上に大きくしても最適サイズを上回る性能は期待できないと考えられる。
このような考え方に基づいて、評価部34は、頬領域81および額領域82の大きさの組み合わせごとに血圧予測の精度を評価する。具体的には、評価部34は、被検体の血圧値と当該血圧値を測定した時の被検体における頬領域81と額領域82との間の脈波伝搬時間との関係が所定の関係にどの程度近似しているかを評価する。例えば、評価部34は、被検体の血圧を目的変数、上記脈波伝搬時間を説明変数とし、線形モデルを仮定した最小二乗法による回帰式の推定を行い、自由度調整済み決定係数を、血圧予測の精度を示す評価値として算出する(図3のS7)。
領域決定部35は、評価部34の評価結果に基づいて、頬領域81および額領域82の好ましい大きさを決定する。具体的には、領域決定部35は、自由度調整済み決定係数の最も大きい「頬領域81および額領域82の大きさの組み合わせ」を、頬領域81および額領域82の好ましい大きさの組み合わせとして決定する(図3のS8)。
血圧予測モデルの性能指標には、自由度調整済み決定係数以外にも、AIC(Akaike's Information Criteria)や、あるいは、未知のデータを当てはめた平均二乗誤差などを用いる事ができる。しかし、交差確認などの手法によって統計的な扱いが容易な平均二乗誤差を指標として用いるのが最も望ましい。
モデル設定部36は、領域決定部35が決定した頬領域81および額領域82の大きさの組み合わせに対応するモデルを、血圧予測のために使用するモデルとして設定する(図3のS9)。すなわち、モデル設定部36は、作成されたモデルのうち最も予測性能が高い(評価値が最も高い)モデルを、モデル設定ユニット3が使用するモデルとして決定する。モデル設定部36は、設定したモデルをメモリ4に格納する。
血圧測定ユニット5は、カメラ10によって撮像された被検者の撮像画像を解析することにより、当該被写体の血圧を測定する。血圧測定ユニット5は、モデル設定部36が設定したモデルを用いて、被験者の血圧を測定する。
血圧測定ユニット5は、脈波検出部51、伝搬時間算出部52および血圧算出部53を備えている。脈波検出部51は、脈波検出部32と同様の処理を行い、頬領域81および額領域82における脈波を検出する。伝搬時間算出部52は、伝搬時間算出部33と同様の処理を行い、頬領域81と額領域82との間の脈波伝搬時間を算出する。このときの頬領域81および額領域82の大きさは、領域決定部35が決定した大きさである。
血圧算出部53は、伝搬時間算出部52が算出した脈波伝搬時間を、モデル設定部36が設定したモデル(図7に示す破線のグラフ)に当てはめることにより、血圧値を算出する。血圧算出部53は、算出した血圧値を表示部6に出力する。
このように血圧測定装置1では、モデル設定ユニット3によって最適なモデルを設定し、そのモデルを用いて血圧測定ユニット5にて血圧を予測する。血圧測定装置1では、従来のカフ方式に比べて、カメラ10を用いた非接触な測定によって、看護師の負担を大幅に軽減したり、自宅での血圧測定の煩わしさを解消したりすることができる。
また、カメラ10を用いた非接触な測定によって、ユーザが無意識の状態で心身の健康状態を把握する事ができる。そのため、自動車を運転中のドライバーや高齢者の健康管理を好適に行うことができる。
〔実施形態2〕
本開示の他の実施形態について、以下に説明する。
実施形態1では、被検体の顔がカメラ10に対して動かないように固定されていたため、動画間または同一動画におけるフレーム間で頬領域81および額領域82における画素数を固定していた。しかし、実際には被検体の顔が動いてしまうことが起こり得る。
その場合、一般的な顔認識アルゴリズムを用いて、数フレーム間隔で顔認識を行い、実際の検出領域サイズに合わせて、各部位の対象領域の大きさを可変とすればよい。このような画像解析を領域設定部31が行えばよい。
領域設定部31は、基準となる距離(初期の距離)に位置する被検体の画像(基準画像)を特定し、他の画像における被検体の像を、基準画像の大きさと一致するように拡大または縮小した場合の拡大率または縮小率を算出し、当該拡大率または縮小率を用いて、基準となる頬領域81および額領域82の面積を変化させる。
複数の動画間で頬領域81および額領域82の面積を変化させる場合も同様に、最初の動画を撮影したときの初期の距離を用いて、2回目以降に撮影した動画における基準となる頬領域81および額領域82の面積を変化させればよい。
上記のことは、以下のように整理することができる。すなわち、領域設定部31は、基準となる距離に被検体が位置する画像を基準画像として、当該基準画像において設定された頬領域81および額領域82の面積と対応するように、上記被検体の複数の画像のそれぞれについて、基準となる頬領域81および額領域82の面積を変化させる。
〔実施形態3〕
本開示のさらに別の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
脈波伝搬時間だけでなく、血圧と相関がある波形情報に関する複数の説明変数をモデルに加える事によって、予測性能を改善できる。
図9は、額領域82の16×16画素での脈波波形から波形情報を算出する方法を示す図である。当該脈波波形は、60秒の動画から算出されたものである。ここでは、脈波の有効な極大および極小を検出し、各波形情報は、次に示す情報とした。
AMP1:極小から次の極大までの振幅
AMP2:極大から次の極小までの振幅
T1:極小から次の極小までの時間(T2+T3)
T2:極小から次の極大までの時間
T3:極大から次の極小までの時間
T4:極大から次の極大までの時間
SLP1:極小から次の極大への勾配(AMP1÷T2)
SLP2:極大から次の極小への勾配(AMP2÷T3)。
実施形態1で示したような、対象領域サイズが最適な時の脈波伝搬時間に加えて、各波形情報を説明変数とする血圧予測モデルを考える。モデルの作成には血圧値、脈波伝搬時間、各波形情報を同時に取得したデータを用いる。予測性能が高いモデルを選択するためには、限られたデータサイズの下で過適合なく、より複雑なモデルを選択することが好ましい。
例えば、Lasso回帰といわれる手法を用いる場合、モデルの複雑度を決める正則化パラメータを予測誤差が最小となるように最適化する事で、脈波伝搬時間および各波形情報を用いた精度の高い血圧予測モデルを選択することができる。
なお、波形情報は、頬領域81のものでも額領域82のものでもよく、両方の波形情報を用いてもよい。
頬領域81は32×32画素、額領域82は16×16画素であり、これらの領域間の脈波伝搬時間と、額領域82の各波形情報を説明変数としてLasso回帰を行った。血圧値、脈波伝搬時間および各波形情報を同時に取得したデータセットを計14セット使用した。
図10は、Lasso回帰を行った場合の平均二乗予測誤差(縦軸)と正則化パラメータ(横軸)との関係を示している。正則化パラメータの値が小さいほどモデル複雑度は高くなる。本結果から、平均2乗予測誤差が最小となる最適な正則化パラメータの値は0.5という結果となった。
図11は、波形情報を用いていない場合と波形情報を用いてLasso回帰した場合(正則化パラメータの値が0.5)との比較結果を示す図であり、各説明変数の係数と、予測誤差とを示している。波形情報を用いた場合、脈波伝搬時間に加えてSLP1を用いる事で予測誤差が小さくなり、予測精度が改善した。
なお、今回の結果では、SLP1以外の波形情報の変数の係数がゼロとなってしまったが、これはデータ数が14データと少なく、変数を増やしてモデルを複雑にすると過学習が起こってしまうためである。データ数は通常、変数の数の5〜10倍が望ましいと言われており、データ数が増加すれば、SLP1以外の変数もモデルに加えるなど、より複雑なモデルで予測誤差がさらに改善されると考えられる。
以上の技術的思想を用いて、血圧予測のためのモデルをモデル設定部36が設定してもよい。図12は、本実施の形態に係るデータ取得部およびモデル設定ユニットにおける処理の流れの一例を示すフローチャートである。図3に示したステップと同じ処理を行うステップについては、同じ符号を付している。
図12に示すように、モデル設定部36は、脈波伝搬時間の算出に用いた第1または第2対象領域の脈波の波形が示す特徴量を、当該波形を解析することにより算出する(S10)。上記特徴量とは、上述の波形情報に相当する値である。
そして、モデル設定部36は、被検体の血圧値、当該血圧値に対応する第1対象領域と第2対象領域との間の脈波伝搬時間、当該脈波伝搬時間の算出に用いた第1または第2対象領域の脈波の波形情報とを用いて、予測誤差が最小となるモデルを決定する。モデル設定部36は、複数の正則化パラメータにおけるモデルの予測誤差を指標として、上記血圧値および上記脈波伝搬時間から得られる複数のモデルのうち最も好ましいモデルを血圧予測のためのモデルとして決定する(S11)。
〔ソフトウェアによる実現例〕
血圧測定装置1の制御ブロック(特にモデル設定ユニット3および血圧測定ユニット5)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、血圧測定装置1は、各機能を実現するソフトウェアであるプログラム(モデル設定プログラム)の命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔付記事項〕
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
(関連出願の相互参照)
本出願は、2018年3月27日に出願された日本国特許出願:特願2018-060592に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
1 血圧測定装置(非接触式血圧測定装置)
3 モデル設定ユニット(モデル設定装置)
5 血圧測定ユニット
10 カメラ
20 血圧計
31 領域設定部
32、51 脈波検出部(検出部)
33、52 伝搬時間算出部(算出部)
34 評価部
35 領域決定部(決定部)
36 モデル設定部
53 血圧算出部
80 顔領域
81、81A、81A・81B、81A・B、81B 頬領域
82、82A、82A・82B、82A・B、82B 額領域
100 血圧測定システム

Claims (9)

  1. 生体の第1および第2対象部位における脈波に基づいて当該生体の血圧を予測するためのモデルを設定するモデル設定装置であって、
    上記生体の血圧値と、当該血圧値を測定したときの当該生体の複数の画像と、の組み合わせを複数取得し、
    上記第1対象部位に、大きさの異なる複数の第1対象領域を設定するとともに、上記第2対象部位に、大きさの異なる複数の第2対象領域を設定する処理を、複数の上記組み合わせのそれぞれに含まれる複数の画像について行う領域設定部と、
    設定された複数の上記第1および第2対象領域を用いて上記生体の脈波を検出する検出部と、
    検出された脈波から上記第1および第2対象領域間の脈波伝搬時間を算出する算出部と、
    上記血圧値および上記脈波伝搬時間に基づいて、上記第1および第2対象領域を用いた血圧予測の精度を、上記第1および第2対象領域の大きさの組み合わせごとに評価する評価部と、
    上記評価部の評価結果に基づいて上記第1および第2対象領域の好ましい大きさを決定する決定部と、を備えることを特徴とするモデル設定装置。
  2. 上記評価部は、上記血圧値と上記脈波伝搬時間との関係が所定の関係にどの程度近似しているかを評価し、
    上記決定部は、上記血圧値と上記脈波伝搬時間との関係が所定の関係に最も近似している上記第1および第2対象領域の大きさを、当該第1および第2対象領域の好ましい大きさとして決定することを特徴とする請求項1に記載のモデル設定装置。
  3. 上記決定部が決定した上記第1および第2対象領域の大きさの組み合わせに対応する上記モデルを、血圧予測のために使用するモデルとして設定するモデル設定部をさらに備えることを特徴とする請求項1または2に記載のモデル設定装置。
  4. 上記モデル設定部は、上記検出部が検出した脈波の波形が示す特徴量をさらに用いて上記モデルを設定することを特徴とする請求項3に記載のモデル設定装置。
  5. 上記領域設定部は、基準となる距離に上記生体が位置する画像を基準画像として、当該基準画像において設定された上記第1および第2対象領域の面積と対応するように、上記生体の複数の画像のそれぞれについて、基準となる上記第1および第2対象領域の面積を変化させることを特徴とする請求項1から4のいずれか1項に記載のモデル設定装置。
  6. 請求項1から5のいずれか1項に記載のモデル設定装置を備えたことを特徴とする非接触式血圧測定装置。
  7. 請求項1に記載のモデル設定装置としてコンピュータを機能させるためのモデル設定プログラムであって、上記領域設定部、上記検出部、上記算出部、上記評価部および上記決定部としてコンピュータを機能させるためのモデル設定プログラム。
  8. 請求項7に記載のモデル設定プログラムを記録したコンピュータ読み取り可能な記録媒体。
  9. 生体の第1および第2対象部位における脈波に基づいて当該生体の血圧を予測するためのモデルを設定するモデル設定方法であって、
    上記生体の血圧値と、当該血圧値を測定したときの当該生体の複数の画像と、の組み合わせを複数取得する工程と、
    上記第1対象部位に、大きさの異なる複数の第1対象領域を設定するとともに、上記第2対象部位に、大きさの異なる複数の第2対象領域を設定する処理を、複数の上記組み合わせのそれぞれに含まれる複数の画像について行う工程と、
    設定された複数の上記第1および第2対象領域を用いて上記生体の脈波を検出する工程と、
    検出された脈波から上記第1および第2対象領域間の脈波伝搬時間を算出する工程と、
    上記血圧値および上記脈波伝搬時間に基づいて、上記第1および第2対象領域を用いた血圧予測の精度を、上記第1および第2対象領域の大きさの組み合わせごとに評価する工程と、
    上記評価に基づいて上記第1および第2対象領域の好ましい大きさを決定する工程と、を含むことを特徴とするモデル設定方法。
JP2020510448A 2018-03-27 2019-02-22 モデル設定装置、非接触式血圧測定装置、モデル設定方法、モデル設定プログラム、および記録媒体 Active JP6878687B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018060592 2018-03-27
JP2018060592 2018-03-27
PCT/JP2019/006771 WO2019187852A1 (ja) 2018-03-27 2019-02-22 モデル設定装置、非接触式血圧測定装置、モデル設定方法、モデル設定プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019187852A1 JPWO2019187852A1 (ja) 2021-03-11
JP6878687B2 true JP6878687B2 (ja) 2021-06-02

Family

ID=68061204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020510448A Active JP6878687B2 (ja) 2018-03-27 2019-02-22 モデル設定装置、非接触式血圧測定装置、モデル設定方法、モデル設定プログラム、および記録媒体

Country Status (4)

Country Link
US (1) US20210121083A1 (ja)
JP (1) JP6878687B2 (ja)
CN (1) CN111970965B (ja)
WO (1) WO2019187852A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040849B (zh) * 2018-04-13 2024-01-02 深圳市长桑技术有限公司 用于确定对象血压的系统和方法
CN115137323A (zh) * 2021-03-31 2022-10-04 华为技术有限公司 高血压风险检测方法及相关装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024763A (ja) * 2009-07-24 2011-02-10 Hitachi Ltd 画像処理方法および画像処理装置
WO2014136310A1 (ja) * 2013-03-08 2014-09-12 富士フイルム株式会社 脈波伝播速度の測定方法及びシステム並びに撮像装置
JP6102433B2 (ja) * 2013-03-29 2017-03-29 富士通株式会社 脈波検出プログラム、脈波検出方法および脈波検出装置
JP6308742B2 (ja) * 2013-09-13 2018-04-11 旭化成株式会社 血圧情報出力装置、血圧情報出力プログラム、媒体、血圧情報出力方法
EP3073905B1 (en) * 2013-11-27 2017-04-12 Koninklijke Philips N.V. Device and method for obtaining pulse transit time and/or pulse wave velocity information of a subject
JP6331952B2 (ja) * 2014-10-14 2018-05-30 富士通株式会社 脈波伝搬速度算出システム、脈波伝搬速度算出方法及び脈波伝搬速度算出プログラム
US9770213B2 (en) * 2014-10-30 2017-09-26 Koninklijke Philips N.V. Device, system and method for extracting physiological information
JP2017209486A (ja) * 2016-05-19 2017-11-30 パナソニックIpマネジメント株式会社 血圧計測装置

Also Published As

Publication number Publication date
US20210121083A1 (en) 2021-04-29
CN111970965B (zh) 2024-03-26
CN111970965A (zh) 2020-11-20
JPWO2019187852A1 (ja) 2021-03-11
WO2019187852A1 (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
US11744475B2 (en) Remote heart rate monitoring based on imaging for moving subjects
Fan et al. Robust blood pressure estimation using an RGB camera
US9795306B2 (en) Method of estimating blood pressure based on image
JP6125648B2 (ja) 生体情報取得装置および生体情報取得方法
US9025826B2 (en) Formation of a time-varying signal representative of at least variations in a value based on pixel values
JP6716712B2 (ja) 画像解析装置および生体情報生成システム
JP6123885B2 (ja) 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置
JP7068339B2 (ja) 血圧測定装置、および、血圧測定方法
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
CN107205663A (zh) 用于皮肤检测的设备、系统和方法
JP6878687B2 (ja) モデル設定装置、非接触式血圧測定装置、モデル設定方法、モデル設定プログラム、および記録媒体
WO2019216417A1 (ja) モデル設定装置、血圧測定装置、およびモデル設定方法
US20230397826A1 (en) Operation method for measuring biometric index of a subject
JP2021045375A (ja) 生体情報検出装置及び生体情報検出方法
WO2020158804A1 (ja) 血圧測定装置、モデル設定装置、および血圧測定方法
JP7020023B2 (ja) 心身状態推定装置、心身状態推定方法およびプログラム
JP2021023490A (ja) 生体情報検出装置
WO2017154477A1 (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
JP7487124B2 (ja) 血流分析装置、生体情報分析システム
Ansari et al. ChPOS: A Contactless and Continuous Method for Estimation of Heart Rate from Face
KR102493242B1 (ko) 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템
Nabipour et al. A Deep Learning-Based Remote Plethysmography with the Application in Monitoring drivers’ Wellness
Lima et al. Remote detection of heart beat and heart rate from video sequences
Huerta-Ruiz et al. Relationship between PPG Signals and Glucose levels through Chaotic Descriptors and Support Vector Machines
JP2022048301A (ja) システム、方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200918

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210428

R150 Certificate of patent or registration of utility model

Ref document number: 6878687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150