JP7172394B2 - 空気調和装置及び生体情報解析システム - Google Patents

空気調和装置及び生体情報解析システム Download PDF

Info

Publication number
JP7172394B2
JP7172394B2 JP2018186628A JP2018186628A JP7172394B2 JP 7172394 B2 JP7172394 B2 JP 7172394B2 JP 2018186628 A JP2018186628 A JP 2018186628A JP 2018186628 A JP2018186628 A JP 2018186628A JP 7172394 B2 JP7172394 B2 JP 7172394B2
Authority
JP
Japan
Prior art keywords
abnormality
biological information
unit
biometric information
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018186628A
Other languages
English (en)
Other versions
JP2020054567A (ja
Inventor
聡司 峯澤
拓也 古橋
奈穗 白川
悠文 黒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018186628A priority Critical patent/JP7172394B2/ja
Publication of JP2020054567A publication Critical patent/JP2020054567A/ja
Application granted granted Critical
Publication of JP7172394B2 publication Critical patent/JP7172394B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、生体情報解析装置、これを備えた家庭用電気機器及び生体情報解析システムに関するものである。
食材を貯蔵する貯蔵室を有する冷蔵庫(家庭用電気機器)において、人の生体情報を取得する生体情報取得手段と、生体情報を解析する生体情報解析手段と、生体情報解析手段による解析結果に基づいて、生体情報を改善するためのアドバイスを生成するアドバイス生成手段と、を備えたものが知られている(例えば、特許文献1参照)。
特開2014-066407号公報
しかしながら、特許文献1に示されるようなものでは、ユーザ自らが、自身の正常な状態における生体情報を把握できないため、ユーザ自身だけでは、自分の生体情報が異常であるのか否かを判断することが困難である。
この発明は、このような課題を解決するためになされたものである。その目的は、ユーザの正常な状態における生体情報をユーザ自らが把握でき、ユーザ自身だけで、自分の生体情報が異常であるのか否かを判断するための基礎となる情報を提供可能である生体情報解析装置、これを備えた家庭用電気機器及び生体情報解析システムを得ることにある。
この発明に係る空気調和装置は、人が活動する室内に設置された本体と、前記本体に設けられ、赤外光領域の画像を撮影するカメラと、前記カメラが撮影した画像中に写っている人物を検出する人物検出部と、前記カメラが撮影した画像を用いて、前記人物検出部が検出した人物について個人を特定する個人特定部と、前記カメラが撮影した画像を用いて、前記人物検出部が検出した人物について予め設定された種類の生体情報の推定値を求める生体情報推定部と、生体情報の前記推定値を、前記個人特定部が特定した個人毎に記憶する生体情報記憶部と、予め設定された過去の一定期間の前記推定値を用いて、個人毎の生体情報の定常値を算出する定常値算出部と、前記推定値が、前記定常値に対し予め定めた正常範囲から外れている場合に、当該個人の異常を検知する異常検知部と、を備え、前記本体は、前記異常検知部が異常を検知した場合に、予め設定された異常緩和動作を行い、前記生体情報は、皮膚温度であり、前記異常検知部が皮膚温度の上昇を伴う異常を検知した場合の前記異常緩和動作は、冷房運転である
この発明に係る生体情報解析システムは、上記のように構成された空気調和装置と、前記定常値を表示可能な表示部を備えた端末装置と、を備える。
この発明に係る生体情報解析装置、これを備えた家庭用電気機器及び生体情報解析システムによれば、ユーザの正常な状態における生体情報をユーザ自らが把握でき、ユーザ自身だけで、自分の生体情報が異常であるのか否かを判断するための基礎となる情報を提供可能であるという効果を奏する。
この発明の実施の形態1に係る生体情報解析システムの構成を示すブロック図である。 この発明の実施の形態1に係る生体情報解析装置を備えた家庭用電気機器の一例である空気調和装置の外観斜視図である。 この発明の実施の形態1に係る空気調和装置の縦断面図である。 この発明の実施の形態1に係る空気調和装置が備えるカメラを説明する図である。 この発明の実施の形態1に係る生体情報解析装置の構成を示すブロック図である。 この発明の実施の形態1に係る生体情報解析システムが備える端末装置の構成を示すブロック図である。 この発明の実施の形態1に係る生体情報解析装置の解析対象となる生体情報の例を示す図である。 この発明の実施の形態1に係る生体情報解析装置による生体情報の定常値の算出例を示す図である。 この発明の実施の形態1に係る生体情報解析装置が推定する行動情報の例を示す図である。 この発明の実施の形態1に係る生体情報解析装置の生体情報推定・記憶動作の一例を示すフロー図である。 この発明の実施の形態1に係る生体情報解析装置の生体情報定常値の算出動作の一例を示すフロー図である。 この発明の実施の形態1に係る生体情報解析装置の異常検出動作の一例を示すフロー図である。 この発明の実施の形態1に係る生体情報解析装置の行動情報推定動作の一例を示すフロー図である。 この発明の実施の形態2に係る生体情報解析装置の構成を示すブロック図である。 この発明の実施の形態2に係る生体情報解析装置による異常予測の一例を説明する図である。 この発明の実施の形態2に係る生体情報解析装置による異常予測の別例を説明する図である。 この発明の実施の形態2に係る生体情報解析装置の異常予測動作の一例を示すフロー図である。 この発明の実施の形態2に係る生体情報解析装置の異常回避動作の一例を示すフロー図である。
この発明を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。なお、本発明は以下の実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。
実施の形態1.
図1から図13は、この発明の実施の形態1に係るものである。図1は生体情報解析システムの構成を示すブロック図である。図2は生体情報解析装置を備えた家庭用電気機器の一例である空気調和装置の外観斜視図である。図3は空気調和装置の縦断面図である。図4は空気調和装置が備えるカメラを説明する図である。図5は生体情報解析装置の構成を示すブロック図である。図6は生体情報解析システムが備える端末装置の構成を示すブロック図である。図7は生体情報解析装置の解析対象となる生体情報の例を示す図である。図8は生体情報解析装置による生体情報の定常値の算出例を示す図である。図9は生体情報解析装置が推定する行動情報の例を示す図である。図10は生体情報解析装置の生体情報推定・記憶動作の一例を示すフロー図である。図11は生体情報解析装置の生体情報定常値の算出動作の一例を示すフロー図である。図12は生体情報解析装置の異常検出動作の一例を示すフロー図である。そして、図13は生体情報解析装置の行動情報推定動作の一例を示すフロー図である。
この実施の形態に係る生体情報解析システムは、図1に示すように、生体情報解析装置10と、端末装置200とを備えている。生体情報解析装置10と端末装置200とは、相互に通信可能に接続されている。端末装置200と通信可能に接続される生体情報解析装置10の数は、1つに限られず複数であってもよい。また、生体情報解析装置10と通信可能に接続される端末装置200の数は、1つに限られず複数であってもよい。
端末装置200は、例えば、使用者の家宅内に設置されるパソコン(パーソナル・コンピュータ)等である。他に例えば、端末装置200は、スマートフォン又はタブレット端末等の携帯端末でもよい。
生体情報解析装置10は、人の生体情報を解析する装置である。生体情報解析装置10は、生体情報解析専用の装置であってもよいし、家庭用電気機器に組み込まれてもよい。この実施の形態では、生体情報解析装置10は家庭用電気機器に組み込まれている。ここでは、生体情報解析装置10が組み込まれる家庭用電気機器の一例として、空気調和装置100を挙げて説明する。すなわち、家庭用電気機器である空気調和装置100は、生体情報解析装置10と、図2に示すように本体110とを備えている。
なお、生体情報解析装置10が組み込まれる家庭用電気機器は、ここで説明する空気調和装置100に限られず、その本体が人が活動する室内に設置されるものであればよい。具体的に例えば、空気清浄機、テレビ、冷蔵庫、脱衣室乾燥機、浴室乾燥機、扇風機、洗濯機等が挙げられる。
次に、図2から図4を参照しながら、生体情報解析装置10が組み込まれる家庭用電気機器である空気調和装置100の構成について説明する。図2に示すように、空気調和装置100は本体110を備えている。空気調和装置100は、空気調和機の室内機である。したがって、空気調和装置100の本体110は、室内の壁面又は天井面に設置されている。ここでは、空気調和装置100は、室内の壁面に設置されているとする。すなわち、空気調和装置100の本体110は、人が活動する室内に設置されている。
空気調和装置100の本体110の外形は、横長で前面から下面にかけては滑らかな曲面となった略直方体状に形成されている。本体110の上面部には、吸込口111が形成されている。吸込口111は、外部から本体110の内部に空気を取り込むための開口である。本体110の前面下部には、吹出口112が形成されている。吹出口112は、本体110の内部から外部へと空気を排出するための開口である。本体110の前面上部は、前面パネル113に覆われている。
吹出口112には、上下風向板131、132、141、142が設けられている。これらの上下風向板は、吹出口112から吹き出す空気の上下方向の吹き出し角度を調整するためのものである。
上下風向板は、空気調和装置100の正面に向かって手前側と奥側とにそれぞれ設置されている。また、手前側と奥側の各上下風向板は、それぞれ左右に分割されている。すなわち、手前側の上下風向板は、空気調和装置100の正面に向かって左側の左手前側上下風向板131と、右側の右手前側上下風向板132とに分割されている。また、奥側の上下風向板は、空気調和装置100の正面に向かって左側の左奥側上下風向板141と、右側の右奥側上下風向板142とに分割されている。
それぞれの上下風向板が左右に分割される位置は、空気調和装置100の正面に向かって長手方向(吹出口112の左右方向)のほぼ中央である。左手前側上下風向板131と右手前側上下風向板132との間には、僅かな隙間が形成されている。同様に、左奥側上下風向板141と右奥側上下風向板142との間にも、僅かな隙間が形成されている。
左手前側上下風向板131、右手前側上下風向板132、左奥側上下風向板141及び右奥側上下風向板142は、それぞれ、吹出口112の左右方向に細長く延びた板状の部材である。また、これらの上下風向板131、132、141、142は、それぞれ、長手方向に垂直な断面が円弧状となるように湾曲している。
上下風向板131、132、141、142は、それぞれが図示しない支持腕を介して本体110に取り付けられている。それぞれの支持腕は本体110に対して回転可能に取り付けられている。各支持腕が本体110に対して回転することで、それぞれの上下風向板の向きを変えることができるようになっている。そして、上下風向板の向きを変えることで、空気調和装置100は、送風方向を上下に変更可能である。
上下風向板のそれぞれの支持腕は、図示しないステッピングモータの駆動により角度を調節できるように設けられている。具体的にここでは、左手前側上下風向板131及び左奥側上下風向板141の向きが、図示しない左側上下風向板用ステッピングモータにより変更される。また、右手前側上下風向板132及び右奥側上下風向板142の向きは、図示しない右側上下風向板用ステッピングモータにより変更される。
このようにして、吹出口112の左側から吹き出す空気の上下方向の吹き出し角度(送風方向)と、吹出口112の右側から吹き出す空気の上下方向の吹き出し角度(送風方向)とは、別々に調整することができる。
吹出口112における上下風向板131、132、141、142の奥側には、左右風向板150が設けられている。左右風向板150は、吹出口112から吹き出す空気の左右方向の吹き出し角度を調整するためのものである。左右風向板150は、空気調和装置100の正面に向かって長手方向(吹出口112の左右方向)にわたって並べられた複数の板材により構成されている。左右風向板150は、上下風向板131、132、141、142と同様に、左右風向板用ステッピングモータ(図示せず)の駆動により角度を調節できるようにして取り付けられている。
本体110の内部には、吸込口111から吹出口112へと通じる風路が形成されている。風路における吸込口111の風下側には、熱交換器121が設置されている。熱交換器121は、風路を流れる空気と熱交換して、風路を流れる空気を加熱又は冷却する。空気を加熱するか冷却するかは、空気調和装置100が暖房運転であるか冷房運転であるかによる。具体的には、暖房運転時には熱交換器121は空気を加熱する。一方、冷房運転時には熱交換器121は空気を冷却する。
熱交換器121は、風路を流れる空気を加熱又は冷却することで、当該空気の温度、湿度等を調整し、調和空気を生成する。熱交換器121は、このようにして、吸込口111から吸い込まれた空気と熱交換して調和空気を生成する。なお、暖房運転時には、調和空気として温風が生成され、冷房運転時には、調和空気として冷風が生成される。
風路における熱交換器121の風下側には、送風ファン122が設置されている。送風ファン122は、吸込口111から吹出口112へと向かう空気流を風路中に生成するためのものである。
送風ファン122が動作すると、吸込口111から吹出口112へと向かう空気流が風路中に生成され、吸込口111から空気が吸い込まれ、吹出口112から空気が吹き出される。吸込口111から吸い込まれた空気は、空気調和装置100の内部の風路を、熱交換器121、送風ファン122の順に通過する空気流となり、吹出口112から吹き出す。この際、送風ファン122の風下側に配置された上下風向板131、132、141、142及び左右風向板150により、吹出口112から吹き出される風の方向(送風方向)が調整(変更)される。
送風ファン122、上下風向板131、132、141、142、左右風向板150、上下風向板用ステッピングモータ及び左右風向板用ステッピングモータは、本体110に設けられた送風機構を構成している。このように構成された送風機構は、吸込口111から空気を吸い込み吹出口112から調和空気を吹き出す空気流を生成するとともに、吹出口112から吹き出す調和空気の風向を変更可能である。
空気調和装置100の前面中央には、カメラ170が取り付けられている。ただし、カメラ170の取付位置は、空気調和装置100の前面中央に限られない。カメラ170を、例えば、本体110の左側又は右側の端部等に取り付けるようにしてもよい。
カメラ170は、可視光領域及び赤外光領域の一方又は両方の画像を撮影する。ここでは、カメラ170は、赤外光領域の画像を撮影するものとする。すなわち、カメラ170は、例えば、上下方向に並べた複数の赤外線センサ(受光素子)を備えている。ここでは、カメラ170は例えば8個の赤外線センサ(受光素子)を備えているとする。これら8個の赤外線センサのそれぞれは、赤外線の受光及び温度の検出を個別に実行可能な検出素子である。これらの赤外線センサ(受光素子)は、例えば、図4に示すように、円筒状の金属缶171の内部に上下方向に直線状に並んで配置されている。これにより、カメラ170は、室内の温度を互いに高さが異なる8個のエリアに区分して検出する機能を備えている。
これら8個の赤外線センサのそれぞれの検出範囲は、図4に示すように、互いに大きさが等しい四角形状のエリアとして設定されている。また、1個の赤外線センサの配光視野角は、例えば上下方向における縦配光視野角が7°に設定され、左右方向の横配光視野角が8°に設定されている。
それぞれの赤外線センサの配光視野角を合わせたカメラ170全体の配光視野角173は、上下方向に細長いエリアとして設定されている。なお、それぞれの赤外線センサの配光視野角(検出範囲)は、同じ形状、同じ大きさでなくともよい。また、縦配光視野角及び横配光視野角の具体的な値についても、前述した例示に限定されるものではない。さらに、赤外線センサ(受光素子)の個数は8個に限定されるものではなく、カメラ170は、7個以下または9個以上となる任意の個数の赤外線センサ(受光素子)を備えるようにしてもよい。
そして、カメラ170は、センサ用ステッピングモータ(図示せず)により上下に並んだ複数の赤外線センサを、予め設定された角度範囲内において左右に向きを変えることができる。このようにすることで、上下に並んだ複数の赤外線センサのそれぞれを左右方向に走査させて、空気調和装置100前方の予め設定された検出範囲(以下、「撮影範囲」という)内について表面温度を検出することができる。
カメラ170は、このような構成により、撮影範囲内を走査して当該範囲内の表面温度分布の画像(熱画像)を撮影する。カメラ170により撮影した表面温度分布の画像データを処理することで、例えば背景との温度差から、室内における人を含む熱源の有無及びその位置、人体の表面温度、人の身体の部位(肌の露出部と非露出部、頭部等)等を検出することができる。また、人の肌の露出部と非露出部とを検出することで、当該人の着衣量を推定することもできる。
次に、図5及び図6を参照しながら、以上のように構成された空気調和装置100に組み込まれる生体情報解析装置10の構成と、端末装置200の構成について説明する。生体情報解析装置10は、図5に示すように、前述したカメラ170の他に、人物検出部12、個人特定部13、生体情報推定部14、生体情報記憶部15、定常値算出部16、行動情報推定部17、人検知部18、異常検知部19、現在異常対応部20及び解析装置通信部30を備えている。また、端末装置200は、図6に示すように、表示部201及び端末通信部210を備えている。
なお、生体情報解析装置10は、ハードウエアとしては例えばコンピュータ等の電気回路により実装される。すなわち、生体情報解析装置10は、図示しないプロセッサ及び記憶装置(主記憶装置及び補助記憶装置)等を備えている。そして、生体情報解析装置10は、主記憶装置に記憶されたプログラムをプロセッサが実行することにより、予め設定された処理を実行し、上記各部の機能を実現する。
解析装置通信部30及び端末通信部210は、生体情報解析装置10と端末装置200との間で、データを双方向に通信するためのものである。
生体情報解析装置10のカメラ170は、例えば、予め設定された一定時間毎に画像を撮影する。また、生体情報解析装置10は、図5に示すように、人検知部18を備えてもよい。人検知部18は、カメラ170の撮影範囲内に存在する人を検知する。人検知部18は、例えば人感センサ等である。そして、カメラ170は、人検知部18がカメラ170の撮影範囲内に存在する人を検知した時に画像を撮影するようにしてもよい。この場合、人検知部18が人を検知していても、前回撮影時から例えば5分間が経過していない場合には、カメラ170による画像の撮影を行わないようにしてもよい。短時間で連続して同一人物の画像を撮影しても当該人物の生体情報に大きな変化はないと考えられるためである。
生体情報解析装置10の人物検出部12は、カメラ170が撮影した画像中に写っている人物を検出する。そして、個人特定部13は、カメラ170が撮影した画像を用いて、人物検出部12が検出した人物について個人を特定する。
まず、個人特定部13は、カメラ170が撮影した画像中に写っている人物について、当該画像から特徴量を抽出する。次に、個人特定部13は、抽出した特徴量から個人を識別して特定する。個人の識別には、個人の画像の特徴量と当該個人との対応関係を学習した学習済みデータが用いられる。学習済みデータは、例えば、生体情報解析装置10の記憶装置に予め記憶されている。学習済みデータには、個人のそれぞれについて、当該個人を他の個人と区別することができる特徴的な属性が含まれている。
個人特定部13は、抽出した人物画像の特徴量について、学習済みデータにおける、どの個人の特徴量と合致するかを照合する。そして、学習済みデータにおける特徴量との合致度が最大となる個人を識別結果とする。この際、合致度の最大値が一定の基準値以上でない場合、換言すれば、特徴量の合致度が基準値以上となる個人が学習済みデータ中に存在しない場合、当該特徴量の画像については個人識別不能としてもよい。
また、個人特定部13が用いる識別手法は、以上で説明したパターンマッチング等に限られない。他に例えば、ニューラル・ネットワーク等の手法を用いてもよい。この際、学習済みデータは個人特定部13が用いる識別手法に合わせて適切なものが用意される。
なお、個人特定部13による個人の特定の程度は、生体情報解析装置10を使用する可能性がある人の集団規模に応じて、適宜に調節できる。すなわち、生体情報解析装置10を使用する可能性がある人が不特定多数でなく特定少数である場合には、個人の特定を精密にする必要はなく、当該集団において各個人が特定できる程度であればよい。
例えば、ここで説明する構成例のように、生体情報解析装置10が家庭用電気機器である空気調和装置100に組み込まれている場合、生体情報解析装置10を使用する可能性がある人は、空気調和装置100が設置された家の家族に基本的に限られる。このような場合であれば、例えば、家族構成が祖父母、父母及び子の三世帯であっても、年齢層(高齢、成人、子供)と性別が区別できれば、家族のうちの誰であるかを特定できる。したがって、個人特定部13は、例えば身長と性別に係る特徴量を元に、個人の特定を行うことができる。
また、このような場合には、カメラ170の性能についても、人の身長と、性別が判定できる程度の顔画像が得られる程度でよい。このため、比較的に低解像度のカメラ170であっても、使用可能とすることができる。
生体情報推定部14は、カメラ170が撮影した画像を用いて、人物検出部12が検出した人物について予め設定された種類の生体情報の推定値(以下、「生体情報推定値」ともいう)を求める。ここで、生体情報推定部14が推定する生体情報の種類は、カメラ170の撮影する画像が可視光領域及び赤外光領域のいずれであるかにより、予め設定される。
この画像の種別と生体情報の種類との関係を一覧表にしたものを図7に示す。カメラ170が可視光領域の画像(可視画像)を撮影する場合、生体情報推定部14が推定可能な生体情報の種類は、着衣量、歩行速度、身長、年齢及び心拍数である。カメラ170が赤外光領域の画像(熱画像)を撮影する場合、生体情報推定部14が推定可能な生体情報の種類は、着衣量及び体温である。生体情報推定部14が推定する生体情報の種類は、これらの推定可能なもののうちの1以上として予め設定される。なお、心拍数は、例えば、顔面の輝度の時間変化から血流量の時間変化を推測することで推定できる。
生体情報記憶部15は、生体情報推定部14により求められた生体情報推定値を、個人特定部13が特定した個人毎に記憶する。このようにして、生体情報記憶部15には、個人毎の生体情報推定値が日時の情報とともに時系列で蓄積される。
定常値算出部16は、予め設定された過去の一定期間における生体情報推定値を用いて、個人毎の生体情報の定常値(以下、「生体情報定常値」ともいう)を算出する。具体的には、定常値算出部16は、例えば、過去の一定期間における生体情報推定値の移動平均又は中央値を算出し、これを生体情報定常値とする(図8)。この際、定常値算出部16は、例えば、同一の曜日毎、及び/又は、同一の時間帯毎に生体情報定常値を算出してもよい。なお、人の生体情報には、標準値、あるいは理想値が存在する。そこで、定常値算出部16が算出する生体情報定常値は、この標準値又は理想値から一定範囲内に収まるようにするとよい。
また、解析装置通信部30は、例えば、端末装置200からの要求に応じて、あるいは定期的に、定常値算出部16が算出した生体情報定常値を端末装置200へと送信する。端末装置200の端末通信部210は、生体情報解析装置10から送信された生体情報定常値を受信する。端末装置200の表示部201は、各種内容の画面を表示可能な表示装置である。表示部201は、例えば液晶ディスプレイ等である。端末装置200は、端末通信部210が受信した生体情報定常値を表示部201に表示できる。また、空気調和装置100の本体110又はリモコン(図示せず)等に、生体情報定常値を表示可能な液晶ディスプレイ等を設けてもよい。
以上のように構成された生体情報解析装置10、空気調和装置100及び生体情報解析システムによれば、生体情報定常値をユーザに提供可能である。そして、ユーザは、提供された生体情報定常値により、ユーザの正常な状態における生体情報を把握できる。また、この生体情報定常値を基礎とすれば、ユーザ自身だけで、自分の生体情報が異常であるのか否かを判断できる。すなわち、ユーザの正常な状態における生体情報をユーザ自らが把握でき、ユーザ自身だけで、自分の生体情報が異常であるのか否かを判断するための基礎となる情報として生体情報定常値を提供可能である。
生体情報解析装置10の異常検知部19は、生体情報推定部14により算出された生体情報推定値が正常範囲から外れている場合に、当該個人の異常を検知する。この際の基準となる正常範囲は、生体情報定常値に対して一定の幅を持った範囲として設定される。そして、この際の幅の大きさは、生体情報の種類等に応じて予め定められる。具体的に例えば、体温の定常値が36.5℃である場合に、この定常値から1℃以上離れていれば、異常(高熱)を検知する。
また、人の生体情報の標準値又は理想値との差異が一定以上である場合に、異常検知部19は当該個人の異常を検知するようにしてもよい。具体的に例えば、身長に対する理想の体重と現在の体重の推定値との差異が一定以上である場合に、異常検知部19は当該個人の異常を検知する等である。
現在異常対応部20は、異常検知部19が異常を検知した場合に、当該異常についての対応を決定し、その対応を実行させるものである。例えば、異常検知部19が異常を検知すると、現在異常対応部20は、生体情報について当該異常が検知された旨をユーザーに報知するという対応を決定する。この場合、解析装置通信部30は、生体情報の異常が検知された旨の信号を端末装置200へと送信する。端末装置200の端末通信部210は、生体情報解析装置10から送信された信号を受信する。端末装置200は、端末通信部210が受信した信号に従い、生体情報の異常が検知された旨を表示部201に表示し、ユーザに報知する。具体例として、遊んでいる子供が実は高熱だった場合に、子供が高熱であることを親に伝えること等が挙げられる。
また、他に例えば、異常検知部19が異常を検知すると、現在異常対応部20は、生体情報解析装置10が搭載された家庭用電気機器である空気調和装置100に、異常緩和動作を行わせるという対応を決定する。なお、異常緩和動作は、家庭用電気機器の種類及び異常の種類に応じて予め設定された当該家庭用電気機器の動作である。具体例として、高齢者が熱中症になりかけて皮膚表面が熱くなっている場合、空気調和装置100が冷房運転して体を冷やすこと等が挙げられる。このようして、本体110は、異常検知部19が異常を検知した場合に、予め設定された異常緩和動作を行う。
このようにすることで、生体情報の異常について迅速にユーザに知らせ、対処行動を促すことができる。また、生体情報の異常に対し、ユーザ自身では適切な対処行動がとれない場合であっても、家庭用電気機器が異常緩和動作を自動的に行うことで、異常の悪化を緩和を図ることができる。
なお、異常検知部19は、生体情報推定値と生体情報定常値との比較だけでなく、さらに人物の行動を推定して、異常か否かを判定してもよい。具体的に例えば、体温が定常値よりも高い場合であっても運動中等であれば異常ではないと判定できる。このため、生体情報解析装置10は、行動情報推定部17を備えている。
行動情報推定部17は、カメラ170が撮影した画像を用いて、人物検出部12が検出した人物の行動を推定する。ここで、行動情報推定部17が推定する行動は、具体的に例えば図9に示すように、料理、掃除、睡眠、勉強等の作業、テレビ視聴、食事が挙げられる。また、これら以外にも、外出、帰宅、洗濯、運動等もさらに挙げられる。なお、行動情報推定部17は、1枚の静止画だけからでなく、2枚以上の静止画又は動画から人物の行動を推定するようにするとよい。このようにすることで、人物の行動の推定精度の向上が期待できる。また、推定可能な人物の行動の種類の増加も図ることができる。
そして、異常検知部19は、まず、生体情報推定部14が算出した生体情報推定値に特徴的な変化があったか否かを確認する。ここでいう生体情報推定値の特徴的な変化とは、生体情報推定値が前述の正常範囲から外れた場合、又は、生体情報推定値に一定以上の急激な変化があった場合等である。
生体情報推定部14が算出した生体情報推定値に特徴的な変化があった場合、異常検知部19は、当該変化があった前後における当該人物の行動を確認する。この際の人物の行動には、行動情報推定部17により推定されたものを用いる。次に、異常検知部19は、生体情報推定値の特徴的な変化が、その前後の当該人物の行動に照らして問題があるか否かを判定する。そして、生体情報推定値の特徴的な変化が、その前後の当該人物の行動に照らして問題があるものである場合、異常検知部19は当該個人の異常を検知する。
なお、定常値算出部は、過去に算出した生体情報定常値に対し前述した正常範囲から外れた生体情報推定値を用いずに生体情報定常値を算出するようにしてもよい。このようにすることで、過去に算出した生体情報定常値に照らして異常検知部19により異常であると判定されるような推定値を除外して、生体情報定常値を更新できる。
次に、図10から図13を参照しながら、以上のように構成された生体情報解析装置10及び生体情報解析のシステムの主要な動作の例について説明する。まず、図10に示すのは、生体情報解析装置10の生体情報推定・記憶動作の一例である。まず、ステップS11において、カメラ170により本体110の周囲の画像を撮影する。
続くステップS12において、人物検出部12はステップS11で撮影した画像中に写っている人物を検出する。画像中に人物を検出しなかった場合、処理はステップS11へと戻る。画像中に人物を検出した場合、処理はステップS13へと進む。
ステップS13においては、個人特定部13は、ステップS11で撮影した画像を用いて、ステップS12で検出した人物について個人を特定する。続くステップS14において、生体情報推定部14は、ステップS11で撮影した画像を用いて、ステップS12で人物検出部12が検出した人物について生体情報推定値を求める。ステップS14の後、処理はステップS15へと進む。
ステップS15においては、生体情報記憶部15は、ステップS14で求め生体情報推定値を、ステップS13で特定した個人毎に記憶する。ステップS15の処理が完了すると、一連の動作は終了となる。
次に、図11に示すのは、生体情報解析装置10の生体情報定常値の算出動作の一例である。まず、ステップS21において、定常値算出部16は、予め設定された過去の一定期間における生体情報推定値を生体情報記憶部15から取得する。そして、続くステップS22において、定常値算出部16は、過去の一定期間における生体情報推定値の移動平均又は中央値を算出し、これを生体情報定常値とする。ステップS22の処理が完了すると、一連の動作は終了となる。
図12に示すのは、生体情報解析装置10の異常検出動作の一例である。まず、ステップS31において、異常検知部19は、生体情報記憶部15に記憶されている生体情報推定値を解析する。そして、続くステップS32において、異常検知部19は、生体情報推定値に特徴的な変化があったか否かを確認する。生体情報推定値に特徴的な変化がない場合、一連の動作は終了する。一方、生体情報推定値に特徴的な変化があった場合、処理はステップS33へと進む。
ステップS33においては、異常検知部19は、生体情報推定値に特徴的な変化があった前後における当該人物の行動を確認する。続く、ステップS34において、異常検知部19は、生体情報推定値の特徴的な変化が、その前後の当該人物の行動に照らして問題があるか否かを確認する。生体情報推定値の特徴的な変化が、その前後の当該人物の行動に照らして問題がない場合、一連の動作は終了する。一方、生体情報推定値の特徴的な変化が、その前後の当該人物の行動に照らして問題がある場合、異常検知部19は当該個人の異常を検知し、処理はステップS35へと進む。
ステップS35においては、現在異常対応部20は、異常検知部が検知した異常についての対応を決定し、その対応を実行させるものである。具体的には、端末装置200により、生体情報について異常が検知された旨をユーザーに報知する。または、家庭用電気機器である空気調和装置100により異常緩和動作が行われるように制御がなされる。ステップS35の処理が完了すると、一連の動作は終了となる。
そして、図13に示すのは、生体情報解析装置10の行動情報推定動作の一例である。ステップS41において、行動情報推定部17は、カメラ170が撮影した画像を用いて、人物検出部12が検出した人物の行動を推定する。このステップの処理が完了すると、一連の動作は終了となる。
なお、以上においては、1つの家庭用電気機器(空気調和装置100)のカメラ170を用いて生体情報の解析を行う構成例について説明した。この点について、複数の家庭用電気機器のそれぞれに設けられたカメラの画像を生体情報解析装置10でまとめて管理・解析してもよい。また、この際、カメラだけでなく、例えばウェアラブルセンサ等の機器により心拍数等の生体情報を取得して活用してもよい。
また、端末装置200等を用いて、ユーザが生体情報定常値及び生体情報記憶部15に記憶されている生体情報推定値の一方又は両方を編集できるようにしてもよい。
実施の形態2.
図14から図18は、この発明の実施の形態2に係るものである。図14は生体情報解析装置の構成を示すブロック図である。図15は生体情報解析装置による異常予測の一例を説明する図である。図16は生体情報解析装置による異常予測の別例を説明する図である。図17は生体情報解析装置の異常予測動作の一例を示すフロー図である。そして、図18は生体情報解析装置の異常回避動作の一例を示すフロー図である。
ここで説明する実施の形態2は、前述した実施の形態1の構成において、個人毎の生体情報の未来の予測値を算出し、この生体情報の予測値を用いて、将来における当該個人の異常発生を予測するようにしたものである。以下、この実施の形態2に係る生体情報解析装置、これを備えた家庭用電気機器及び生体情報解析システムについて、実施の形態1との相違点を中心に説明する。説明を省略した構成については実施の形態1と基本的に同様である。
この実施の形態に係る生体情報解析装置10は、図14に示すように、予測値算出部21、異常予測部22及び未来異常対応部23を備えている。予測値算出部21は、生体情報記憶部15に記憶された過去の生体情報推定値を用いて、個人毎の生体情報の未来の予測値(以下、「生体情報予測値」ともいう)を算出する。生体情報記憶部15には、個人毎の生体情報推定値が日時とともに蓄積されている。予測値算出部21は、このデータを用いることで、個人毎の生体情報の推移の傾向を把握し、推移傾向から生体情報の未来の予測値を算出する。この際、行動情報推定部17が推定した行動情報を利用して生体情報予測値を算出してもよい。また、天気予報等の外部情報を利用してもよい。
異常予測部22は、予測値算出部21により算出された生体情報予測値が、前述の正常範囲から外れている場合に、将来における当該個人の異常発生を予測する。そして、未来異常対応部23は、異常予測部22が未来の異常発生を予測した場合に、当該異常発生についての対応を決定し、その対応を実行させる。
例えば、異常予測部22が異常発生を予測すると、未来異常対応部23は、生体情報について当該異常の発生が予測された旨をユーザーに報知するという対応を決定する。この場合、解析装置通信部30は、生体情報の異常発生が予測された旨の信号を端末装置200へと送信する。端末装置200の端末通信部210は、生体情報解析装置10から送信された信号を受信する。端末装置200は、端末通信部210が受信した信号に従い、生体情報の異常発生が予測された旨を表示部201に表示し、ユーザに報知する。
また、他に例えば、異常予測部22が異常発生を予測すると、未来異常対応部23は、生体情報解析装置10が搭載された家庭用電気機器である空気調和装置100に、異常回避動作を行わせるという対応を決定する。なお、異常回避動作は、家庭用電気機器の種類及び異常の種類に応じて予め設定された当該家庭用電気機器の動作である。
この異常回避動作の具体例について、図15及び図16を参照しながら説明する。図15に示すのは、1日における血圧の時間変化の一例である。同図に示すように、夜の20時頃に血圧が同時間帯の定常値より高く異常の発生が予測される場合、入浴時に脱衣室又は浴室が寒く、ヒートショックが発生すると考えられる。そこで、例えば、脱衣所又は浴室の暖房装置により19時30分頃から事前に脱衣室又は浴室を暖める動作を異常回避動作として行う。この際、その旨をユーザに通知してもよい。
また、図16に示すのは、1日における体温の時間変化の一例である。同図に示すように、外出時及び帰宅時には、屋内と屋外との温度差から体温が急激に変化し、体に負荷がかかる。そこで、外出前及び帰宅前に、空気調和装置100により屋内の温度が屋外の温度に近くなるように冷房又は暖房する動作を異常回避動作として行う。このようして、本体110は、異常予測部22が異常発生を予測した場合に、予め設定された異常回避動作を行う。
次に、図17及び図18を参照しながら、以上のように構成された生体情報解析装置10及び生体情報解析のシステムの主要な動作の例について説明する。まず、図17に示すのは、生体情報解析装置の異常予測動作の一例である。まず、ステップS51において、予測値算出部21は、定期的に、生体情報推定値を用いて個人毎の生体情報の未来の予測値を算出する。
続くステップS52において、異常予測部22は、予測値算出部21により算出された生体情報予測値を用いて将来における当該個人の異常発生を予測する。そして、未来異常対応部23は、異常予測部22による異常発生の予測結果を用いて、未来に報知又は異常回避動作に係る機器制御が必要か否かを判定する。異常予測部22が未来の異常発生を予測しない場合、未来に報知又は異常回避動作に係る機器制御は不要である。この場合、一連の動作は終了する。一方、異常予測部22が未来の異常発生を予測した場合、未来に報知又は異常回避動作に係る機器制御が必要である。この場合、処理はステップS53へと進む。
ステップS53においては、未来異常対応部23は、予約時刻にユーザへの報知又は異常回避動作に係る機器制御を行うことを予約する。予約時刻は、現在より先であって、異常発生が予測された時刻よりも前に設定される。ステップS53の後、処理はステップS54へと進む。
ステップS54においては、未来異常対応部23は、実施条件と解除条件とを設定する。実施条件とは、予約時刻においてユーザへの報知又は異常回避動作に係る機器制御を行う条件である。予約時刻においても実際の生体情報の推移が生体情報予測値通りであれば、異常予測部22の予測通りに異常が発生する可能性が高くなる。そこで、予約時刻において実施条件が満たされていれば、未来異常対応部23は、ユーザへの報知又は異常回避動作に係る機器制御を行う。
一方、解除条件とは、予約時刻においてユーザへの報知又は異常回避動作に係る機器制御を行わない条件である。予約時刻において実際の生体情報の推移が生体情報予測値から外れていると、異常予測部22の予測通りに異常が発生する可能性が低くなる。そこで、予約時刻において解除条件が満たされていれば、未来異常対応部23は、ユーザへの報知又は異常回避動作に係る機器制御を行わない。ステップS54の処理が完了すると、一連の動作は終了となる。
次に、図18に示すのは、生体情報解析装置の異常回避動作の一例である。ステップS61において、ステップS53で設定した予約時刻になると、続くステップS62において、未来異常対応部23は、ステップS54で設定した実施条件が満たされているか否かを確認する。実施条件が満たされていれば、処理はステップS63へと進み、未来異常対応部23は、ユーザへの報知又は異常回避動作に係る機器制御を行い、一連の動作は終了する。
一方、ステップS62で実施条件が満たされていない場合、処理はステップS64へと進む。ステップS64においては、未来異常対応部23は、ステップS54で設定した解除条件が満たされているか否かを確認する。解除条件が満たされていれば、処理はステップS65へと進み、未来異常対応部23は、ユーザへの報知又は異常回避動作に係る機器制御の予約を解除し、一連の動作は終了する。
また、ステップS64で解除条件が満たされていない場合、未来異常対応部23は、予約時刻を、現時点より後で、異常発生が予測された時刻よりも前に再設定し、一連の動作は終了する。
以上のように構成された生体情報解析装置10、空気調和装置100及び生体情報解析システムによれば、生体情報について異常発生の可能性があることについて迅速にユーザに知らせ、対処行動を促すことができる。また、家庭用電気機器が異常回避動作を自動的に行うことで、異常が発生する可能性の低下を図ることができる。
10 生体情報解析装置
12 人物検出部
13 個人特定部
14 生体情報推定部
15 生体情報記憶部
16 定常値算出部
17 行動情報推定部
18 人検知部
19 異常検知部
20 現在異常対応部
21 予測値算出部
22 異常予測部
23 未来異常対応部
30 解析装置通信部
100 空気調和装置
110 本体
111 吸込口
112 吹出口
113 前面パネル
121 熱交換器
122 送風ファン
131 左手前側上下風向板
132 右手前側上下風向板
141 左奥側上下風向板
142 右奥側上下風向板
150 左右風向板
170 カメラ
171 金属缶
173 配光視野角
200 端末装置
201 表示部
210 端末通信部

Claims (7)

  1. 人が活動する室内に設置された本体と、
    前記本体に設けられ、赤外光領域の画像を撮影するカメラと、
    前記カメラが撮影した画像中に写っている人物を検出する人物検出部と、
    前記カメラが撮影した画像を用いて、前記人物検出部が検出した人物について個人を特定する個人特定部と、
    前記カメラが撮影した画像を用いて、前記人物検出部が検出した人物について予め設定された種類の生体情報の推定値を求める生体情報推定部と、
    生体情報の前記推定値を、前記個人特定部が特定した個人毎に記憶する生体情報記憶部と、
    予め設定された過去の一定期間の前記推定値を用いて、個人毎の生体情報の定常値を算出する定常値算出部と
    前記推定値が、前記定常値に対し予め定めた正常範囲から外れている場合に、当該個人の異常を検知する異常検知部と、を備え、
    前記本体は、前記異常検知部が異常を検知した場合に、予め設定された異常緩和動作を行い、
    前記生体情報は、皮膚温度であり、
    前記異常検知部が皮膚温度の上昇を伴う異常を検知した場合の前記異常緩和動作は、冷房運転である空気調和装置
  2. 前記カメラの撮影範囲内に存在する人を検知する人検知部をさらに備え、
    前記カメラは、前記人検知部が前記カメラの撮影範囲内に存在する人を検知した時に画像を撮影する請求項1に記載の空気調和装置
  3. 前記定常値算出部は、過去に算出した前記定常値に対し前記正常範囲から外れた前記推定値を用いずに前記定常値を算出する請求項1又は請求項2に記載の空気調和装置
  4. 前記生体情報記憶部に記憶された過去の前記推定値を用いて、個人毎の生体情報の未来の予測値を算出する予測値算出部と、
    前記予測値が、前記正常範囲から外れている場合に、当該個人の異常発生を予測する異常予測部と、をさらに備え、
    前記本体は、前記異常予測部が異常発生を予測した場合に、予め設定された異常回避動作を行う請求項1から請求項3のいずれか一項に記載の空気調和装置
  5. 請求項1から請求項4のいずれか一項に記載の空気調和装置と、
    前記定常値を表示可能な表示部を備えた端末装置と、を備えた生体情報解析システム。
  6. 記端末装置は、前記異常検知部が異常を検知した場合に、その旨を前記表示部に表示する請求項に記載の生体情報解析システム。
  7. 請求項4に記載の空気調和装置と、
    前記定常値を表示可能な表示部を備えた端末装置と、を備え、
    前記端末装置は、前記異常予測部が異常発生を予測した場合に、その旨を前記表示部に表示する生体情報解析システム。
JP2018186628A 2018-10-01 2018-10-01 空気調和装置及び生体情報解析システム Active JP7172394B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018186628A JP7172394B2 (ja) 2018-10-01 2018-10-01 空気調和装置及び生体情報解析システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018186628A JP7172394B2 (ja) 2018-10-01 2018-10-01 空気調和装置及び生体情報解析システム

Publications (2)

Publication Number Publication Date
JP2020054567A JP2020054567A (ja) 2020-04-09
JP7172394B2 true JP7172394B2 (ja) 2022-11-16

Family

ID=70105556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018186628A Active JP7172394B2 (ja) 2018-10-01 2018-10-01 空気調和装置及び生体情報解析システム

Country Status (1)

Country Link
JP (1) JP7172394B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7106463B2 (ja) * 2019-01-23 2022-07-26 株式会社Nttドコモ 情報処理装置及びプログラム
CN116897264B (zh) * 2021-03-10 2024-02-23 三菱电机株式会社 环境控制系统、环境控制装置以及环境控制方法
JPWO2023166671A1 (ja) * 2022-03-03 2023-09-07

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010133692A (ja) 2008-10-31 2010-06-17 Mitsubishi Electric Corp 空気調和機
JP2010266188A (ja) 2009-04-15 2010-11-25 Panasonic Corp 空調システム
JP2013029877A (ja) 2011-07-26 2013-02-07 Nec Corp データ管理システム、データ管理方法およびプログラム
JP2014066407A (ja) 2012-09-25 2014-04-17 Toshiba Corp 冷蔵庫
WO2015098977A1 (ja) 2013-12-25 2015-07-02 旭化成株式会社 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
JP2015142665A (ja) 2014-01-31 2015-08-06 セイコーエプソン株式会社 血糖値測定装置及び血糖値測定方法
JP2017166798A (ja) 2016-03-18 2017-09-21 日立ジョンソンコントロールズ空調株式会社 空気調和機
JP6323602B1 (ja) 2017-08-08 2018-05-16 Tdk株式会社 金属粉末製造装置と金属粉末の製造方法
JP2018151808A (ja) 2017-03-13 2018-09-27 三菱電機株式会社 報知装置、報知方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5294686A (en) * 1976-02-03 1977-08-09 Omron Tateisi Electronics Co Digital hemadynamometer
JPH06323602A (ja) * 1993-05-18 1994-11-25 Takenaka Komuten Co Ltd 空気調和システム
WO2014185033A1 (ja) * 2013-05-17 2014-11-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 熱画像センサ、およびユーザインターフェース
JP6068280B2 (ja) * 2013-07-10 2017-01-25 ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー(ホンコン)リミテッド 空気調和機

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010133692A (ja) 2008-10-31 2010-06-17 Mitsubishi Electric Corp 空気調和機
JP2010266188A (ja) 2009-04-15 2010-11-25 Panasonic Corp 空調システム
JP2013029877A (ja) 2011-07-26 2013-02-07 Nec Corp データ管理システム、データ管理方法およびプログラム
JP2014066407A (ja) 2012-09-25 2014-04-17 Toshiba Corp 冷蔵庫
WO2015098977A1 (ja) 2013-12-25 2015-07-02 旭化成株式会社 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
JP2015142665A (ja) 2014-01-31 2015-08-06 セイコーエプソン株式会社 血糖値測定装置及び血糖値測定方法
JP2017166798A (ja) 2016-03-18 2017-09-21 日立ジョンソンコントロールズ空調株式会社 空気調和機
JP2018151808A (ja) 2017-03-13 2018-09-27 三菱電機株式会社 報知装置、報知方法及びプログラム
JP6323602B1 (ja) 2017-08-08 2018-05-16 Tdk株式会社 金属粉末製造装置と金属粉末の製造方法

Also Published As

Publication number Publication date
JP2020054567A (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
JP7172394B2 (ja) 空気調和装置及び生体情報解析システム
JP4852159B2 (ja) 画像処理装置、画像処理方法および空調制御装置
JP6046579B2 (ja) 空気調和機
JP5238679B2 (ja) 空調制御装置、空調制御方法及び輻射温度計測装置
JP6001432B2 (ja) 空気調和機
JP6576568B2 (ja) 空気調和システム
JP6068280B2 (ja) 空気調和機
CN106352483B (zh) 基于空调的手势控制方法和空调器
JPH06117836A (ja) 画像処理装置と空気調和機の制御装置と画像処理装置を用いた応用機器
JP6296628B2 (ja) 空気調和システム及び空気調和機
JP2010025359A (ja) 空気調和機
JP4274758B2 (ja) 情報処理装置、情報処理方法及び環境制御装置
JP2015078802A (ja) 空気調和機の室内機及び空気調和機
JP6660532B2 (ja) 空気調和機
JP2017075731A (ja) 空気調和機
JP2011137589A (ja) 空気調和機、空気調和機の制御装置
JPH0894400A (ja) 画像処理装置と画像処理装置を用いた応用機器
JP2016048128A (ja) 空気調和機
JP2012042074A (ja) 空気調和機
CN112178785A (zh) 一种空调器除湿控制方法及除湿控制设备
JP2017075732A (ja) 空気調和機
JP6085345B2 (ja) 空気調和システム及び空気調和機
JP2007078283A (ja) 空気調和機及び空気調和方法
JP6069463B2 (ja) 空気調和システム及び空気調和機
JP2010133655A (ja) 空気調和機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221017

R150 Certificate of patent or registration of utility model

Ref document number: 7172394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150