JP7207123B2 - 情報処理装置、制御システム、情報処理装置の制御方法 - Google Patents

情報処理装置、制御システム、情報処理装置の制御方法 Download PDF

Info

Publication number
JP7207123B2
JP7207123B2 JP2019077729A JP2019077729A JP7207123B2 JP 7207123 B2 JP7207123 B2 JP 7207123B2 JP 2019077729 A JP2019077729 A JP 2019077729A JP 2019077729 A JP2019077729 A JP 2019077729A JP 7207123 B2 JP7207123 B2 JP 7207123B2
Authority
JP
Japan
Prior art keywords
occupant
state
information processing
contact
tactile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019077729A
Other languages
English (en)
Other versions
JP2020174782A (ja
Inventor
浩二 金田
大 竹中
財偉 宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Boshoku Corp
Original Assignee
Toyota Boshoku Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Boshoku Corp filed Critical Toyota Boshoku Corp
Priority to JP2019077729A priority Critical patent/JP7207123B2/ja
Publication of JP2020174782A publication Critical patent/JP2020174782A/ja
Application granted granted Critical
Publication of JP7207123B2 publication Critical patent/JP7207123B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、乗員の疲労を低減する情報処理装置等に関する。
例えば、特許文献1に記載の乗物用シートは、乗員の背部を支持するシートバックの一部に押圧部を有しており、この押圧部が乗員の背部の一部を押圧することによって、乗員の呼吸を支援したり、乗員の睡眠を支援したりする。
特開2018-79840号公報(2018年5月24日公開)
特許文献1に記載の乗物用シートは、乗員の疲労度に応じて乗員の背部を押圧する場合、乗員が何をしているかは考慮していない。例えば、乗員が運転をしているときに該乗員の背部を押圧すると、乗員の身体を強制的に動かしたり、乗員の身体の動きを制約したりしてしまうため、運転の妨げになる可能性がある。
本発明の一態様は、乗員の疲労度と乗員の状態とに応じて、非接触触覚デバイスを用いて乗員の疲労度を低減することを目的とする。
上記の課題を解決するために、本発明の態様1に係る情報処理装置は、移動体の内部空間に備えられた機器が検知した検知情報を取得する検知情報取得部と、前記検知情報に基づいて、前記移動体の乗員の状態を特定する状態特定部と、前記内部空間に備えられた生体センサから、前記乗員の生体情報を取得する生体情報取得部と、前記生体情報に基づいて、前記乗員の疲労度の指標値を算出する疲労度算出部と、前記乗員の状態と前記指標値とに基づいて、前記乗員の疲労度を低減するための触覚刺激を該乗員に接触することなく与える非接触触覚デバイスの出力制御を行うデバイス制御部と、を備える。
非接触触覚デバイスは、乗員の身体に直接接触することなく、触覚刺激を与えることが可能なデバイスである。それゆえ、非接触触覚デバイスは、乗員の身体を強制的に動かしたり、乗員の身体の動きを制約したりすることがない。上記の構成によれば、乗員の状態と乗員の疲労度とに基づいて、乗員の疲労度を低減するための触覚刺激を与える非接触触覚デバイスの出力制御を行う。これにより、乗員の身体の動きを制約することなく、乗員の状態に適した触覚刺激を与え、乗員の疲労度を低減することが可能である。
本発明の態様2に係る情報処理装置は、上記態様1において、前記デバイス制御部は、前記指標値が閾値以上である場合に、前記非接触触覚デバイスに出力を実行させる構成であってもよい。
疲労度の指標値は、交感神経の働きと副交感神経の働きのバランスに基づいて算出される値である。乗員の疲労度の指標値が閾値以上の場合、乗員の疲労度は高い。上記の構成によれば、乗員の疲労度が高い場合に、乗員の状態に適した触覚刺激を与え、乗員の疲労度を低減することができる。
本発明の態様3に係る情報処理装置は、上記態様2において、前記デバイス制御部は、前記乗員の状態に基づいて、前記閾値を変更してもよい。
乗員が移動体を運転しているか否かによって、感じている疲労度およびストレスは異なる可能性がある。例えば、乗員は移動体の内部空間に単に滞在している場合(すなわち、移動体の運転者と同乗している場合)、移動体を運転している場合と比べてリラックスしており、概して疲労度は低い。上記の構成によれば、乗員の状況に応じて、触覚刺激を与えるか否かを決定するための閾値を変更する。これにより、乗員の状態により適した触覚刺激を与えることができる。
本発明の態様4に係る情報処理装置は、上記態様1から3のいずれかにおいて、前記状態特定部は、前記検知情報に基づいて、前記乗員の状態が、運転中である状態、所定作業中である状態、リラックスしている状態、および、睡眠状態のいずれであるかを特定する構成であってもよい。
乗員が運転中であったり、所定作業中であったりする場合、強い触覚刺激を与えることは避けた方が望ましい場合がある。また、乗員が睡眠中であれば、触覚刺激を与えて睡眠の邪魔をしない方が望ましい。上記の構成によれば、乗員の状態に応じて、触覚刺激を与えるか否かを適切に決定することができる。
本発明の態様5に係る情報処理装置は、上記態様1から4のいずれかにおいて、前記乗員の状態に応じて、該乗員の身体のうち前記非接触触覚デバイスの出力の対象とする対象部位を決定する部位決定部を備え、前記デバイス制御部は、前記非接触触覚デバイスの出力が前記対象部位へ向かうように、前記出力の方向を制御する構成であってもよい。
乗員が運転中であれば、ステアリングを持つ手および腕に触覚刺激を与えることは避けた方が望ましい。上記の構成によれば、乗員の状態に応じて、触覚刺激を与える対象部位を適切に決定することができる。
本発明の態様6に係る情報処理装置は、上記態様1から5のいずれかにおいて、前記デバイス制御部は、前記乗員の状態に応じて、前記非接触触覚デバイスの出力強度を制御する構成であってもよい。
乗員の状態によっては、強い触覚刺激を与えることは避けた方が望ましい場合がある。上記の構成によれば、乗員の状態に応じて、与える触覚刺激の強度を適切に決定することができる。
本発明の態様7に係る情報処理装置は、上記態様1から6のいずれかにおいて、前記検知情報および前記生体情報の少なくともいずれかに基づいて、前記乗員の着衣量を特定する着衣量特定部を備え、前記デバイス制御部は、前記非接触触覚デバイスの出力強度を、前記着衣量に基づいて制御する構成であってもよい。
乗員に与える触覚刺激は、乗員の着衣の上から与えられる。上記の構成によれば、乗員の着衣量に基づいて、非接触触覚デバイスの出力強度を制御することができる。これにより、乗員の着衣量によらず、乗員に所定の強さの触覚刺激を与えることができる。
本発明の態様8に係る情報処理装置は、上記態様1から7のいずれかにおいて、前記検知情報取得部は前記検知情報を前記機器から定期的に取得し、前記状態特定部は前記検知情報が取得される毎に前記乗員の状態を特定し、前記生体情報取得部は前記生体情報を前記生体センサから定期的に取得し、前記疲労度算出部は前記生体情報が取得される毎に前記疲労度の指標値を算出し、前記デバイス制御部は、前記乗員の状態が特定される毎、および、前記指標値が算出される毎に、前記非接触触覚デバイスの出力制御を行う構成であってもよい。
上記の構成によれば、乗員の状態、および乗員の疲労度に生じた変化に対応して、乗員の適切な対象部位に適切な出力強度で触覚刺激を与えることができる。
上記の課題を解決するために、本発明の一態様に係る制御システムは、前記態様1から8のいずれかに記載の情報処理装置と、前記機器と、前記生体センサと、前記非接触触覚デバイスと、を含む。上記の構成によれば、本発明の一態様に係る情報処理装置と同様の効果を奏する。
上記の課題を解決するために、本発明の一態様に係る情報処理装置の制御方法は、移動体の内部空間に備えられた機器が検知した検知情報を取得する検知情報取得ステップと、前記検知情報に基づいて、前記移動体の乗員の状態を特定する状態特定ステップと、前記内部空間に備えられた生体センサから、前記乗員の生体情報を取得する生体情報取得ステップと、前記生体情報に基づいて、前記乗員の疲労度の指標値を算出する疲労度算出ステップと、前記乗員の状態と前記指標値とに基づいて、前記乗員の疲労度を低減するための出力を実行する非接触触覚デバイスの出力制御を行うデバイス制御ステップと、を含む。上記の構成によれば、本発明の一態様に係る情報処理装置と同様の効果を奏する。
また、本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記情報処理装置が備える各部(ソフトウェア要素)として動作させることにより前記情報処理装置をコンピュータにて実現させる制御プログラムおよびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。
本発明の一態様によれば、乗員の疲労度と乗員の状態とに応じて、非接触触覚デバイスを用いて乗員の疲労度を低減することができる。
本発明の一実施形態に係る制御システムの構成例を示す図である。 機器、生体センサ、および非接触触覚デバイスの配置例を示す模式図である。 非接触触覚デバイスの一例を説明する模式図である。 情報処理装置が行う処理の流れの一例を示すフローチャートである。 乗員の状態を特定する処理の流れの一例を示すフローチャートである。 乗員状態特定基準のデータ構造の一例を示す図である。 出力パターンテーブルのデータ構造の一例を示す図である。 疲労度の評価方法の一例を示す図である。
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
(制御システム100の概要)
本発明の一態様に係る制御システム100は、概すれば、移動体の内部空間Rの乗員Pの疲労度が高い場合、乗員Pの状態に応じて、疲労度を低減するための触覚刺激を与えるように非接触触覚デバイス5の出力制御を実行するシステムである。ここで、非接触触覚デバイス5とは、乗員Pの身体に直接接触することなく、触覚刺激を与えることが可能なデバイスである。非接触触覚デバイス5を利用すれば、乗員Pの身体の動きを制約することなく、所望の対象部位に触覚刺激を与えることができる。非接触触覚デバイス5については、後に具体例を挙げて説明する。
<疲労を低減するための触覚刺激>
まず、疲労を低減するための触覚刺激について説明する。
疲労およびストレスが高い状態では、コルチゾール(cortisol)の分泌が増加し、一方、リラックスしている状態では、オキシトシン(oxytocin)の分泌が増加する。コルチゾールは、副腎皮質から分泌されるステロイドホルモンの1つであり、交感神経が副交感神経よりも優位となるよう作用する。一方、オキシトシンは、下垂体後葉から分泌されるペプチドホルモンであり、副交感神経が交感神経よりも優位となるよう作用する。また、疲労およびストレスが高い状態では、自律神経活動が低下するのに対し、リラックスしている状態では、自律神経活動が向上する。
疲労およびストレスを低減し、リラックス状態へ遷移させる効果がある行為として、マッサージおよび経穴(一般に「ツボ」と呼称される)押しなどが知られている。マッサージは、一般的には人の手を介して対象者の身体に介入する行為であるが、非接触触覚デバイス5を用いれば、対象者に直接接触することなく行うことが可能である。経穴押しも、体内の異常に応じて体表の特定の部位に表れる経穴を指圧、鍼、および灸などによって刺激する行為であり、一般的には対象者の身体に介入する行為である。しかし、非接触触覚デバイス5を用いれば、経穴押しを対象者に直接接触することなく行うことが可能である。
マッサージのなかでも、対象者の身体をゆっくりと(例えば、毎秒3~10cmの速度)、かつ、優しく撫でるように行うソフトマッサージは、対象者をリラックスさせる効果が高い。軽く心地よい皮膚刺激に反応する神経である触覚C繊維(遅速C繊維とも呼称される)は、情動を司る脳の領域の反応を誘発し、オキシトシンの分泌を増加させる。ソフトマッサージは、この触覚C繊維に働きかけるマッサージである。また、例えば、首筋上部と耳との中央の位置に存在する経穴(例えば、「風池」と呼称される経穴)を刺激することにより、オキシトシンの分泌を増加させ、対象者の肩こりを解消し、効果的にリラックスさせることが可能である。
制御システム100は、乗員Pを対象者とし、乗員Pに対して適切な触覚刺激を与えることによって、乗員Pの疲労およびストレスを低減し、リラックス状態へ遷移させることが可能である。
(制御システム100の構成)
次に、制御システム100の構成について、図2を参照しながら、図1を用いて説明する。図1は、制御システム100の構成例を示す図である。図2は、機器3、生体センサ4、および非接触触覚デバイス5の配置例を示す模式図である。なお、図2において、x軸は前後方向を示し、y軸は左右方向を示し、z軸は上下方向を示す。なお、図2には、車両200の運転席に着座している乗員Pを例として示しているが、乗員Pは車両200の内部空間Rに滞在する任意の乗員であってもよい。
制御システム100は、機器3、生体センサ4、情報処理装置1、および非接触触覚デバイス5を備えている。
<機器3>
機器3は、車両200の内部空間Rに備えられた各種機器である。機器3は、例えば、図1に示すように、ステアリング31、カメラ32、アームレスト33、およびシート駆動装置34などを含んでいる。なお、これらの機器3は一例であり、乗員Pの行動および姿勢などに関連する事項を検知可能なものであればよく、これらに限定されない。
ステアリング31は、車両200の運転に使用される方向転換装置である。なお、ステアリング31は乗員Pによる操作および把持などを検知して、検知情報を情報処理装置1に送信する構成であってもよい。
カメラ32は、乗員Pの姿勢および行動を撮像するデジタルカメラまたはデジタルビデオである。図2に示すように、カメラ32は、例えば、乗員Pの前方(すなわち、図中のx軸負の方向)に配置されており、乗員Pを撮像する。カメラ32は、撮像した撮像画像を検知情報として情報処理装置1に送信する。情報処理装置1は、受信した撮像画像を、乗員Pの手の位置、乗員Pが手に持っている物の有無、乗員Pの開眼状態、乗員Pの視線の方向、乗員Pの身体の所定の部位の位置などの解析に利用する。
アームレスト33は、シートに着座している乗員Pの手および腕が戴置される台である(図2参照)。なお、アームレスト33は乗員Pの手および腕が戴置されていることを検知して、検知情報を情報処理装置1に送信する構成であってもよい。
シート駆動装置34は、図2に示すように、乗員Pが着座しているシートのリクライニング角度などを制御する装置である。乗員Pが着座しているシートは背凭れが後方に傾くように調節可能である。例えば、シートの座面と背凭れとによって形成される角が直角であるときのリクライニング角度は0°である。背凭れがより後方へ傾くにつれて、リクライニング角度は大きくなり、座面と背凭れとによってフラットな面が形成されたときのリクライニング角度は90°である。シート駆動装置34は、リクライニング角度を検知して、検知情報を情報処理装置1に送信する。
<生体センサ4>
生体センサ4は、内部空間Rに備えられた乗員Pの生体情報を取得する各種センサである。生体センサ4は、例えば、図1に示すように、呼吸センサ41、脈波センサ42、および温度センサ43などを含んでいる。なお、これらの生体センサ4は一例であり、乗員Pの疲労およびストレスに影響を受ける生体情報を取得可能なものであればよく、これらに限定されない。なお、以下では、乗員Pの着衣量を検知する着衣量センサ44も、生体センサ4に含まれるものとして説明する。
呼吸センサ41は、乗員Pの呼吸量および呼吸の周期(呼吸のリズム)を示す生体情報を情報処理装置1に送信するセンサである。呼吸センサ41は、図2に示すように、例えばシートの座面に設けられる。呼吸センサ41は、取得した生体情報を情報処理装置1に送信する。
脈波センサ42は、乗員Pの脈拍数および脈波を示す生体情報を情報処理装置1に送信するセンサである。脈波センサ42は、図2に示すように、例えばシートの背凭れに設けられる。脈波センサ42は、取得した生体情報を情報処理装置1に送信する。
温度センサ43は、乗員Pの体温を示す生体情報を情報処理装置1に送信するセンサである。温度センサ43は、例えば、図2に示すように、乗員Pの顔の前方に設けられる。温度センサ43は、取得した生体情報を情報処理装置1に送信する。例えば、乗員Pの着衣の表面温度と、乗員Pの肌(例えば顔など)の表面温度との差に基づいて、乗員Pの着衣量および着衣の厚さに関する情報を取得することが可能である。
着衣量センサ44は、乗員Pの着衣量を示す情報を情報処理装置1に送信するセンサである。着衣量センサ44は、図2に示すように、例えばシートの背凭れに設けられてもよい。なお、着衣量センサ44は、表面温度を検知可能なカメラであってもよく、この場合、着衣量センサ44は、乗員Pを撮像可能な位置に設置される。着衣量センサ44は、取得した情報を情報処理装置1に送信する。
<非接触触覚デバイス5>
非接触で乗員Pの感覚器官に触覚刺激を与える方式には、例えば、空気噴流、超音波、磁気、蒸気、および熱などが利用され得る。本明細書では、乗員Pの身体の所望の部位に触覚刺激を与えることが可能な超音波を利用する方式を採用した非接触触覚デバイス5を例に挙げて説明するが、これに限定されない。例えば、非接触触覚デバイス5は、空気噴出を利用する方式を採用した非接触触覚デバイスであってもよい。この場合、非接触触覚デバイス5は、触覚刺激を与えたい乗員Pの部位の近傍に空気を噴出する1または複数の噴出孔を備えていればよい。
非接触触覚デバイス5は、内部空間Rに滞在している乗員Pに直接接触することなく、触覚刺激を与えることが可能なデバイスである。非接触触覚デバイス5は、図2に示すように、例えば、内部空間Rの上部に設けられ、上方から下方に向けて超音波を発する。
図3は、非接触触覚デバイス5の一例を説明する模式図である。非接触触覚デバイス5は、超音波を発する発振素子51を複数備えている。各発振素子51が発する超音波の強度は低く、乗員Pに明確な触覚刺激を与えない。しかし、各発振素子51が発した超音波が干渉する干渉点Fでは、発振素子51の各々が発する超音波どうしが作用し合い、その結果、干渉点Fにおける超音波の強度は高くなる。例えば、乗員Pの身体のある部位に干渉点Fが形成すれば、乗員Pは該部位に触覚刺激を感じる。なお、超音波の強度は、超音波の音圧であってもよい。
各発振素子51が発する超音波の強度は、発振素子51毎に制御可能である。各発振素子51が発する超音波の強度を制御することによって、図3の(a)に示すように、干渉点Fの位置を3次元的に自在に変更することが可能である。
例えば、図3の(b)に示すように、干渉点F1を乗員Pの頭頂部に形成することにより、乗員Pに対して、あたかも頭頂部を経穴押しされているかのような感覚刺激を乗員Pに与えることが可能である。さらに干渉点F1の位置を徐々に変更すれば、あたかも頭頂部をマッサージされているかのような触覚刺激を乗員Pに与えることが可能である。同様に、乗員Pの首および肩に干渉点F2を形成したり、乗員Pの手および腕に干渉点F3を形成したりすることも可能である。
後述する情報処理装置1のデバイス制御部16は、各発振素子51から発する超音波の出力強度を調節することによって、乗員Pに与える触覚刺激の強さを調節することが可能である。また、デバイス制御部16は、非接触触覚デバイス5の発振素子51の各々から発する超音波の強度を制御して、非接触触覚デバイス5の出力が乗員Pの所望の対象部位へ向かうように、出力の方向を制御することも可能である。
<情報処理装置1>
情報処理装置1は、機器3、生体センサ4、および非接触触覚デバイス5と通信可能に接続されているコンピュータであり、制御部10および記憶部2を備えている。制御部10はCPUであり、制御部10は、情報処理装置1が備える各機能の処理を実行するように制御する。記憶部2は、制御部10によって読み出される各種コンピュータプログラム、および、制御部10が実行する各種処理において利用されるデータなどが格納されている記憶装置である。
制御部10は、検知情報取得部11、生体情報取得部12、状態特定部13、疲労度算出部14、出力態様決定部15、およびデバイス制御部16を備えている。
検知情報取得部11は、車両200の内部空間Rに備えられた機器3が検知した検知情報を取得する。なお、検知情報取得部11は、カメラ32が撮像した撮像画像を検知情報として取得した場合、公知の画像解析法を適用して、乗員Pの開眼、視線の方向、触覚刺激を与える対象となる対象部位の位置、および手に持っている物の有無などを示す検知情報を抽出してもよい。なお、対象部位は、これらに限定されるものではないが、頭、首、肩、および腕などである。これらの対象部位は、シートの背凭れおよび座面に接していない。しかし、非接触触覚デバイス5を適用すれば、これらの対象部位に対して触覚刺激を与えることができる。
生体情報取得部12は、内部空間Rに備えられた生体センサ4から、乗員Pの生体情報を取得する。
状態特定部13は、記憶部2の乗員状態特定基準21を参照し、検知情報取得部11が取得した検知情報に基づいて、車両200の乗員Pの状態を特定する。乗員状態特定基準21については、後に具体例を挙げて説明する。
疲労度算出部14は、生体情報に基づいて、乗員Pの疲労度の指標値を算出する。疲労度算出部14は、生体情報から疲労度を算出する任意の方法を適用可能である。例えば、疲労度算出部14は、これに限定されるものではないが、乗員Pの交感神経の働きと副交感神経の働きとのバランスに基づく指標値を算出してもよい。この場合、疲労度算出部14は、生体情報として乗員Pの脈波データを用いる。具体的には、疲労度算出部14は、脈波データを周波数解析し、交感神経の働きを表す周波数成分と、副交感神経の働きを表す周波数成分との割合に基づいて、疲労度の指標値を算出すればよい。なお、交感神経の働きを表す周波数を、周波数が0.04H以上z0.15Hz未満とし、副交感神経の働きを表す周波数を、周波数が0.15Hz以上0.40Hz未満とすればよい。
出力態様決定部15は、乗員Pの疲労度の指標値が閾値以上であるか否かを判定する。ここで、閾値とは、交感神経の働きと副交感神経の働きとのバランスについて設定される値(図8の値T1参照)であってもよい。閾値については、後に具体例を挙げて説明する。
なお、出力態様決定部15は、さらに、乗員Pに触覚刺激を与える対象部位を決定したり、乗員Pの着衣量に応じた出力強度を決定したりしてもよい。この場合、出力態様決定部15は、さらに、部位決定部151および着衣量特定部152を備えている。
部位決定部151は、乗員Pの状態に応じて、乗員Pの身体のうち非接触触覚デバイス5の出力の対象とする対象部位を決定する。部位決定部151は、乗員Pから対象部位を指定するための操作入力を受け付けてもよい。あるいは、部位決定部151は、例えば、出力パターンテーブル22を参照し、乗員Pの対象部位を決定してもよい。出力パターンテーブル22については、後に具体例を挙げて説明する。
着衣量特定部152は、検知情報および生体情報の少なくともいずれかに基づいて、乗員Pの着衣量を特定し、非接触触覚デバイス5の出力強度を決定する。乗員Pに所定の強さの触覚刺激を与えるためには、乗員Pの着衣量に応じて、非接触触覚デバイス5から発する超音波の強度を調節することが望ましい。そのため、着衣量が多いときには、着衣量が少ないときに比して、非接触触覚デバイス5の出力強度を高くする必要がある。
デバイス制御部16は、出力パターンテーブル22を参照して、乗員Pの状態と疲労度算出部14が算出した指標値とに基づいて、乗員Pの疲労度を低減するための触覚刺激を与える非接触触覚デバイス5の出力制御を行う。より具体的には、デバイス制御部16は、指標値が閾値以上である場合に、乗員Pの状態に応じた出力態様となるよう非接触触覚デバイス5の出力制御を行う。なお、デバイス制御部16は、乗員Pから対象部位の変更、および非接触触覚デバイス5の出力強度の指定および変更を指示するための操作入力を受け付けてもよい。
また、デバイス制御部16は、乗員Pの状態に基づいて、閾値を変更してもよい。乗員Pが車両200を運転しているか否かによって、感じている疲労度およびストレスは異なる可能性がある。例えば、乗員Pは車両200の内部空間Rに単に滞在している場合(すなわち、車両200の運転者と同乗している場合)、車両200を運転をしている場合と比べてリラックスしており、概して疲労度は低い。乗員の状況に応じて、触覚刺激を与えるか否かを決定する閾値を変更すれば、乗員の状態により適した触覚刺激を与えることができる。
デバイス制御部16は、乗員Pの生体情報と乗員Pの状態とに基づいて、非接触触覚デバイス5から出力するか否かを制御してもよい。デバイス制御部16は、乗員Pの着衣量に応じて非接触触覚デバイス5の出力強度を制御してもよい。
(情報処理装置1の処理の流れ)
続いて、情報処理装置1の処理の流れについて図4を用いて説明する。図4は、情報処理装置1が行う処理の流れの一例を示すフローチャートである。
まず検知情報取得部11は、機器3から乗員Pの状態に関する検知情報を取得する(ステップS1:検知情報取得ステップ)。なお、検知情報とは、乗員Pが内部空間Rにおいて何をしているか、および、どのような姿勢かなどに関する情報である。検知情報には、例えば、乗員Pの手および腕の位置、乗員Pが着座しているシートのリクライニング角度、および、乗員Pの視線の方向などを示す情報が含まれている。
次に、状態特定部13は、乗員状態特定基準21を参照し、検知情報に基づいて乗員Pの状態を特定する(ステップS2:状態特定ステップ)。
<乗員Pの状態を特定する処理の流れ>
ここで、状態特定部13が検知情報に基づいて乗員Pの状態を特定する処理の流れについて、図5を用いて説明する。図5は、乗員Pの状態を特定する処理の流れの一例を示すフローチャートである。
まず、検知情報取得部11は、シート駆動装置34から、リクライニング角度を示す検知情報を取得する(ステップS21:検知情報取得ステップ)。また、検知情報取得部11は、カメラ32から撮像画像を取得し、乗員Pの開眼および視線の方向を示す検知情報を抽出する(ステップS22:検知情報取得ステップ)。さらに、検知情報取得部11は、撮像画像から、乗員Pの手の位置、および手に持っている物を示す検知情報を抽出する(ステップS23:検知情報取得ステップ)。なお、ステップS21~S23の処理によって、状態特定部13が乗員Pの状態を特定するための情報が取得されればよく、例えば、ステップS21~S23に示す検知情報以外を取得する構成であってもよし、ステップS21~S23の処理のいずれかのみを行う構成であってもよい。
図5では、ステップS21~S23の処理を並列処理として示しているが、これらの処理を任意の順序で連続する処理として実行してもよい。連続する処理として行う場合、ステップS21~S23の処理を任意の行う順序は任意であって良い。
次に、状態特定部13は、乗員状態特定基準21を参照し、検知情報に基づいて乗員Pの状態が、以下の状態A~Dのいずれであるかを特定する(ステップS24:状態特定ステップ)。状態Aは、乗員Pが運転している状態である。状態Bは、乗員Pが何らかの所定作業をしている状態である。ここで、所定作業とは、運転以外の任意の作業であり、これらに限定されるものではないが、例えば、読書、仕事、携帯機器の操作などが含まれ得る。状態Cは、乗員Pがリラックスしている状態である。状態Dは、乗員Pが睡眠している状態(睡眠状態)である。
<乗員状態特定基準21>
続いて、乗員状態特定基準21について、図6を用いて説明する。図6は、乗員状態特定基準21のデータ構造の一例を示す図である。図6の(a)は、リクライニング角度が運転可能域である場合のレコードを示しており、図6の(b)は、リクライニング角度がリラックス域およびフルフラット域である場合のレコードを示している。例えば、リクライニング角度が0°以上20°未満であれば運転可能域、20°以上75°未満であればリラックス域、75°以上であればフルフラット域と設定され得る。なお、図6では、乗員状態特定基準21を(a)および(b)の2つに分割して示しているが、乗員状態特定基準21は1つのデータであってもよい。
図6に示すように、乗員状態特定基準21には、リクライニング角度、手の位置および手に持っている物、視線の方向、および開眼に関する検知情報の組み合わせと、乗員Pの状態との対応関係が設定されている。状態特定部13は、乗員状態特定基準21を参照し、検知情報取得部11が取得した検知情報に該当する乗員Pの状態を検索する。
図6の(a)に示すように、乗員Pが着座しているシートのリクライニング角度が運転可能域であれば、ステアリング31を持っており、かつ、開眼している場合、状態特定部13は、乗員Pの状態は運転中(すなわち、状態A)であると特定する。乗員Pがアームレストに手を置いており、かつ、開眼している場合、状態特定部13は、乗員Pの状態はリラックスしている(すなわち、状態C)であると特定する。乗員Pが手に何かを持って作業をしており、かつ、開眼している場合、状態特定部13は、乗員Pの状態は所定作業中(すなわち、状態B)であると特定する。乗員Pが眼を閉じている場合は、状態特定部13は、乗員Pの状態は睡眠中(すなわち、状態D)であると特定する。
図6の(b)に示すように、乗員Pが着座しているシートのリクライニング角度がリラックス域であれば、乗員Pはステアリング31を持つことが困難である。乗員Pがアームレストに手を置いており、かつ、開眼している場合、状態特定部13は、乗員Pの状態はリラックスしている(すなわち、状態C)であると特定する。乗員Pが手に何かを持って作業をしており、かつ、開眼している場合、状態特定部13は、乗員Pの状態は所定作業中(すなわち、状態B)であると特定する。乗員Pが眼を閉じている場合は、状態特定部13は、乗員Pの状態は睡眠中(すなわち、状態D)であると特定する。
乗員Pが着座しているシートのリクライニング角度がフルフラット域であれば、乗員Pはステアリング31を持つことも、視線を前方(図2に示すx軸負の方向)に向けることも困難である。乗員Pがアームレストに手を置いており、かつ、開眼している場合、状態特定部13は、乗員Pの状態はリラックスしている(すなわち、状態C)であると特定する。乗員Pが手に何かを持って作業をしており、かつ、開眼している場合、状態特定部13は、乗員Pの状態は所定作業中(すなわち、状態B)であると特定する。乗員Pが眼を閉じている場合は、状態特定部13は、乗員Pの状態は睡眠中(すなわち、状態D)であると特定する。
図4に戻り、生体情報取得部12は生体センサ4から生体情報を取得する(ステップS3:生体情報取得ステップ)。次に、疲労度算出部14は、生体情報に基づいて、乗員Pの疲労度の指標値を算出する(ステップS4:疲労度算出ステップ)。
なお、図4では、乗員Pの状態を特定した後に、乗員Pの疲労度の指標値を算出する例を示しているが、これに限定されない。例えば、乗員Pの状態を特定する前に、乗員Pの疲労度の指標値を算出してもよいし、あるいは、乗員Pの状態の特定と、乗員Pの疲労度の指標値の算出とを同時に行ってもよい。
続いて、出力態様決定部15は、乗員Pの疲労度の指標値が閾値以上か否かを判定し(ステップS5)、判定結果をデバイス制御部16に通知する。疲労度の指標値が閾値より低い場合(ステップS5にてNO)、乗員Pに触覚刺激を与える必要は無いものとして処理はステップS1に戻る。
一方、疲労度の指標値が閾値以上である場合(ステップS5にてYES)、検知情報取得部11は、触覚刺激を与える対象となり得る対象部位の位置を特定する(ステップS6)。特定部位とは、乗員Pの頭、首、肩、および腕などであってよい。次に、部位決定部151は、出力パターンテーブル22を参照して、触覚刺激を与える対象部位を決定する(ステップS7)。さらに、生体情報取得部12は、着衣量センサ44から乗員Pの着衣量を示す情報を取得する(ステップS8)。次に、着衣量特定部152は、生体情報取得部12が取得した情報から乗員Pの着衣量を特定し、非接触触覚デバイス5の出力強度を決定する(ステップS9)。
図4では、乗員Pの対象部位を決定した後に、乗員Pの着衣量に基づいて出力強度を決定する例を示しているが、これに限定されない。例えば、乗員Pの対象部位を決定する前に、乗員Pの着衣量に基づいて出力強度を決定してもよいし、あるいは、乗員Pの対象部位の決定と、乗員Pの着衣量に基づく出力強度の決定とを同時に行ってもよい。
次に、デバイス制御部16は、出力パターンテーブル22を参照して、乗員Pの疲労度を低減するための触覚刺激を乗員Pに与えるように、非接触触覚デバイス5を制御する(ステップS10:デバイス制御ステップ)。
次に、出力態様決定部15は、乗員Pの疲労度の指標値が閾値以上か否かを再度判定する(ステップS11)。疲労度の指標値が閾値より低い場合(ステップS11にてNO)、乗員Pの疲労度は十分低減されたものとして処理を終える。一方、疲労度の指標値が閾値以上である場合(ステップS11にてYES)、ステップS1以降の処理を繰り返す。
なお、検知情報取得部11は検知情報を機器3から定期的に取得し、状態特定部13は検知情報が取得される毎に乗員Pの状態を特定し、生体情報取得部12は生体情報を生体センサ4から定期的に取得し、疲労度算出部14は生体情報が取得される毎に疲労度の指標値を算出し、デバイス制御部16は、乗員Pの状態が特定される毎、および、指標値が算出される毎に、非接触触覚デバイス5の出力制御を行う構成であってもよい。この構成によれば、乗員Pの状態、および乗員Pの疲労度に生じた変化に対応して、該乗員Pの適切な対象部位に適切な強度で触覚刺激を与えることができる。
<出力パターンテーブル22>
ここでは、出力パターンテーブル22について、図7を用いて説明する。図7は、出力パターンテーブル22のデータ構造の一例を示す図である。
図7に示すように、出力パターンテーブル22には、乗員Pの状態に応じた複数の出力パターンが設定されている。各出力パターンは、乗員Pの状態、触覚刺激を乗員Pに与えるための出力をするか否か、対象部位、および触覚刺激の強さが設定されている。ここでは、4つのパターンが設定された場合を例に挙げて説明するが、これに限定されない。例えば、より詳細に乗員Pの状態を特定して4つ以上のパターンを設定してもよい。以下、各出力パターンについて説明する。
パターンIは、状態特定部13によって乗員Pの状態が状態Aと特定された場合の出力態様である。パターンIの出力態様では、乗員Pの運転を妨げることの無いよう、非接触触覚デバイス5からの出力を制御し、乗員Pには弱い触覚刺激を与える。さらに、非接触触覚デバイス5からの触覚刺激を与える対象部位に、ステアリング31を操作する手および腕を含めないことが望ましい。
パターンIIは、状態特定部13によって乗員Pの状態が状態Bと特定された場合の出力態様である。パターンIIの出力態様では、乗員Pの作業を妨げることの無いよう、非接触触覚デバイス5からの触覚刺激を与える対象部位に、所定作業中の手および腕を含めないことが望ましい。
パターンIIIは、状態特定部13によって乗員Pの状態が状態Cと特定された場合の出力態様である。パターンIIIの出力態様では、乗員Pはリラックスした状態である。そこで、非接触触覚デバイス5からの触覚刺激を与える対象部位、および与える触覚刺激の強さに制約を設けなくてもよい。
パターンIVは、状態特定部13によって乗員Pの状態が状態Dと特定された場合の出力態様である。パターンIVの出力態様では、乗員Pの睡眠を妨げることの無いよう、非接触触覚デバイス5からの出力を停止し、触覚刺激を乗員Pに与えない。なお、非接触触覚デバイス5からの出力を停止するのではなく、乗員Pの睡眠をより快適にすることが可能な触覚刺激を乗員Pに与えるように設定されていてもよい。
出力態様決定部15は、出力パターンテーブル22を参照し、特定部位および触覚刺激の強さなどを検索する。デバイス制御部16は、出力パターンテーブル22を参照し、乗員Pの特定部位に、指定された強さの触覚刺激を与えるように非接触触覚デバイス5を制御する。
<疲労度の評価方法>
図8は、疲労度の評価方法の一例を示す図である。疲労度の指標値は、乗員Pの脈波データを解析し、該脈波における交感神経の働きを表す周波数成分の含有量をLF、副交感神経の働きを表す周波数成分の含有量をHFとしたとき、LF/HFの値として算出され得る。例えば、図8の黒丸で示すように、乗員Pの、疲労度の指標値が値T1未満であれば、リラックスしている状態であり、疲労度は低く、正常である。疲労度の指標値が値T1未満である場合、交感神経の働きよりも副交感神経の働きの方が優位な状態である。
一方、例えば、図8の白抜き丸で示すように乗員Pの、疲労度の指標値が値T1以上である場合、緊張している状態であり、疲労度は高く、疲労の低減が必要な状態である。疲労度の指標値が値T1以上であれば、副交感神経の働きよりも交感神経の働きの方が優位な状態である。
出力態様決定部15は、疲労度の指標値が値T1以上か否かを判定する(図4のステップS5に対応)。すなわち、値T1は、非接触触覚デバイス5によって乗員Pに触覚刺激を与えるか否かを決めるための閾値である。デバイス制御部16は、乗員Pの疲労度の指標値が値T1以上であれば、非接触触覚デバイス5によって乗員Pの所定部位に触覚刺激を与え、乗員Pの疲労度を低減する(図8の矢印参照)。
〔ソフトウェアによる実現例〕
情報処理装置1の制御ブロック(特に、制御部10)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、情報処理装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 情報処理装置
2 記憶部
3 機器
4 生体センサ
5 非接触触覚デバイス
10 制御部
11 検知情報取得部
12 生体情報取得部
13 状態特定部
14 疲労度算出部
15 出力態様決定部
16 デバイス制御部
21 乗員状態特定基準
22 出力パターンテーブル
151 部位決定部
152 着衣量特定部
S1、S21、S22、S23 検知情報取得ステップ
S2、S24 状態特定ステップ
S3 生体情報取得ステップ
S4 疲労度算出ステップ
S10 デバイス制御ステップ

Claims (10)

  1. 移動体の内部空間に備えられた機器が検知した検知情報を取得する検知情報取得部と、
    前記検知情報に基づいて、前記移動体の乗員の状態を特定する状態特定部と、
    前記内部空間に備えられた生体センサから、前記乗員の生体情報を取得する生体情報取得部と、
    前記生体情報に基づいて、前記乗員の疲労度の指標値を算出する疲労度算出部と、
    前記乗員の状態と前記指標値とに基づいて、空気噴流または蒸気を利用して前記乗員の疲労度を低減するための触覚刺激を該乗員に接触することなく与える非接触触覚デバイスの出力制御を行うデバイス制御部と、を備え
    前記非接触触覚デバイスは、
    前記内部空間の上部に設けられ、
    前記内部空間の上方から前記乗員の少なくとも頭頂部の経穴に空気噴流または蒸気を噴射可能に設けられていることを特徴とする、情報処理装置。
  2. 前記デバイス制御部は、前記指標値が閾値以上である場合に、前記非接触触覚デバイスに出力を実行させることを特徴とする、請求項1に記載の情報処理装置。
  3. 前記デバイス制御部は、前記乗員の状態に基づいて、前記閾値を変更することを特徴とする、請求項2に記載の情報処理装置。
  4. 前記状態特定部は、前記検知情報に基づいて、前記乗員の状態が、運転中である状態、所定作業中である状態、リラックスしている状態、および、睡眠状態のいずれであるかを特定することを特徴とする、請求項1~3のいずれか1項に記載の情報処理装置。
  5. 前記乗員の状態に応じて、該乗員の身体のうち前記非接触触覚デバイスの出力の対象とする対象部位を決定する部位決定部を備え、
    前記デバイス制御部は、前記非接触触覚デバイスの出力が前記対象部位へ向かうように、前記出力の方向を制御することを特徴とする、請求項1~4のいずれか1項に記載の情報処理装置。
  6. 前記デバイス制御部は、前記乗員の状態に応じて、前記非接触触覚デバイスの出力強度を制御することを特徴とする、請求項1~5のいずれか1項に記載の情報処理装置。
  7. 前記検知情報および前記生体情報の少なくともいずれかに基づいて、前記乗員の着衣量を特定する着衣量特定部を備え、
    前記デバイス制御部は、前記非接触触覚デバイスの出力強度を、前記着衣量に基づいて制御することを特徴とする、請求項1~6のいずれか1項に記載の情報処理装置。
  8. 前記検知情報取得部は前記検知情報を前記機器から定期的に取得し、
    前記状態特定部は前記検知情報が取得される毎に前記乗員の状態を特定し、
    前記生体情報取得部は前記生体情報を前記生体センサから定期的に取得し、
    前記疲労度算出部は前記生体情報が取得される毎に前記疲労度の指標値を算出し、
    前記デバイス制御部は、前記乗員の状態が特定される毎、および、前記指標値が算出される毎に、前記非接触触覚デバイスの出力制御を行う
    ことを特徴とする、請求項1~7のいずれか1項に記載の情報処理装置。
  9. 請求項1~8のいずれか1項に記載の情報処理装置と、
    前記機器と、
    前記生体センサと、
    前記非接触触覚デバイスと、を含むことを特徴とする、制御システム。
  10. 移動体の内部空間に備えられた機器が検知した検知情報を取得する検知情報取得ステップと、
    前記検知情報に基づいて、前記移動体の乗員の状態を特定する状態特定ステップと、
    前記内部空間に備えられた生体センサから、前記乗員の生体情報を取得する生体情報取得ステップと、
    前記生体情報に基づいて、前記乗員の疲労度の指標値を算出する疲労度算出ステップと、
    前記乗員の状態と前記指標値とに基づいて、空気噴流または蒸気を利用して前記乗員の疲労度を低減するための触覚刺激を該乗員に接触することなく与える非接触触覚デバイスの出力制御を行うデバイス制御ステップと、を含み、
    前記非接触触覚デバイスは、前記内部空間の上部に設けられ、
    前記デバイス制御ステップにて、
    前記非接触触覚デバイスが前記内部空間の上方から前記乗員の少なくとも頭頂部の経穴に空気噴流または蒸気を噴射するように前記非接触触覚デバイスの出力制御を行うことを特徴とする、情報処理装置の制御方法。
JP2019077729A 2019-04-16 2019-04-16 情報処理装置、制御システム、情報処理装置の制御方法 Active JP7207123B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019077729A JP7207123B2 (ja) 2019-04-16 2019-04-16 情報処理装置、制御システム、情報処理装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019077729A JP7207123B2 (ja) 2019-04-16 2019-04-16 情報処理装置、制御システム、情報処理装置の制御方法

Publications (2)

Publication Number Publication Date
JP2020174782A JP2020174782A (ja) 2020-10-29
JP7207123B2 true JP7207123B2 (ja) 2023-01-18

Family

ID=72936443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019077729A Active JP7207123B2 (ja) 2019-04-16 2019-04-16 情報処理装置、制御システム、情報処理装置の制御方法

Country Status (1)

Country Link
JP (1) JP7207123B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7301383B2 (ja) * 2020-10-16 2023-07-03 株式会社ユニバーサルエンターテインメント 遊技機
WO2022145192A1 (ja) * 2020-12-28 2022-07-07 テイ・エス テック株式会社 シート体験システム
CN112733683A (zh) * 2020-12-31 2021-04-30 深圳市元征科技股份有限公司 司机保健方法、车载设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006102036A (ja) 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 車載用マッサージ装置
CN205168243U (zh) 2015-12-01 2016-04-20 北京伟航中天科技开发股份有限公司 一种智能汽车驾驶座椅
JP2017209344A (ja) 2016-05-26 2017-11-30 アイシン精機株式会社 疲労軽減装置
JP2018088239A (ja) 2016-11-29 2018-06-07 イマージョン コーポレーションImmersion Corporation 的を絞ったハプティック投影

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07124216A (ja) * 1993-11-05 1995-05-16 Sanyo Electric Co Ltd マッサージ機
KR100461871B1 (ko) * 2003-01-13 2004-12-18 삼성전자주식회사 에어 마사지 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006102036A (ja) 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 車載用マッサージ装置
CN205168243U (zh) 2015-12-01 2016-04-20 北京伟航中天科技开发股份有限公司 一种智能汽车驾驶座椅
JP2017209344A (ja) 2016-05-26 2017-11-30 アイシン精機株式会社 疲労軽減装置
JP2018088239A (ja) 2016-11-29 2018-06-07 イマージョン コーポレーションImmersion Corporation 的を絞ったハプティック投影

Also Published As

Publication number Publication date
JP2020174782A (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
JP7207123B2 (ja) 情報処理装置、制御システム、情報処理装置の制御方法
JP4871298B2 (ja) 人のストレスレベルを決定して決定されたストレスレベルに基づいてフィードバックを提供するための装置。
US11787312B2 (en) Intelligent seat systems
CN105287173B (zh) 按摩机
JPH11137626A (ja) リラックス装置
US11382547B2 (en) Brain stimulation system to provide a sense of wellbeing
JP2009189398A (ja) マッサージ機及びマッサージ方法
CN108349386A (zh) 用于控制机动车中的显示设备的装置和方法
CN106606351A (zh) 一种基于颈椎疲劳程度的智能判断系统及其用途
JP2010068941A (ja) 入眠装置および入眠方法
CN107174468A (zh) 生物体状态评价装置以及按摩机
TR201815710T4 (tr) Ağrı konum girişine sahip fototerapi cihazı.
JP2002224182A (ja) 複数の生体信号から推定した肩こり情報に基づいて制御されるマッサージ機
JP2001104425A (ja) マッサージ機
CN105267004B (zh) 按摩机
KR20210064107A (ko) 안마의자의 스마트 안마 제어방법과 시스템
WO2022085364A1 (ja) 睡眠制御装置
JP6984374B2 (ja) 覚醒維持装置及び制御プログラム
CN113616493A (zh) 按摩仪加热控制方法、装置、系统和计算机设备
WO2024058141A1 (ja) 誘導装置、誘導方法及び誘導プログラム
Mitsutake et al. Effect of neck and trunk rotation speeds on cerebral cortex activity and standing postural stability: a functional near-infrared spectroscopy study
CN109532606A (zh) 按摩式汽车座椅
JP6917766B2 (ja) 刺激付与装置及び刺激付与用プログラム
JP2022188678A (ja) 制御装置、制御システム、および制御方法
JP2005211165A (ja) マッサージ機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R151 Written notification of patent or utility model registration

Ref document number: 7207123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151