JP7420000B2 - 状態判定装置、状態判定システム、および制御方法 - Google Patents

状態判定装置、状態判定システム、および制御方法 Download PDF

Info

Publication number
JP7420000B2
JP7420000B2 JP2020121561A JP2020121561A JP7420000B2 JP 7420000 B2 JP7420000 B2 JP 7420000B2 JP 2020121561 A JP2020121561 A JP 2020121561A JP 2020121561 A JP2020121561 A JP 2020121561A JP 7420000 B2 JP7420000 B2 JP 7420000B2
Authority
JP
Japan
Prior art keywords
state
occupant
determination
index value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020121561A
Other languages
English (en)
Other versions
JP2022018451A (ja
Inventor
崇 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Boshoku Corp
Original Assignee
Toyota Boshoku Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Boshoku Corp filed Critical Toyota Boshoku Corp
Priority to JP2020121561A priority Critical patent/JP7420000B2/ja
Publication of JP2022018451A publication Critical patent/JP2022018451A/ja
Application granted granted Critical
Publication of JP7420000B2 publication Critical patent/JP7420000B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本開示は、状態判定装置、状態判定システム、および制御方法に関する。
脈拍等の生体情報から、人間の状態を判定する技術が従来存在する。例えば、特許文献1には、人間の生理指標に基づく固有ベクトル係数の符号の組み合わせと、あらかじめ記憶させておいた覚醒時の前記符号の組み合わせとを比較することで、前記人間の覚醒度を算出する技術が開示されている。
特開2006-247055号公報
しかしながら、呼吸や心拍数などの生理指標の値には、個人差がある。したがって、特許文献1に記載の技術では、人間の状態を正確に判定できない虞があった。
本開示の一態様は、前記の問題点に鑑みたものであり、人間の状態を正確に判定することを目的とする。
前記の課題を解決するために、本発明の一態様に係る状態判定装置は、移動体の内部空間に配置された1つ以上のセンサ装置から、前記移動体の乗員に関するセンサ情報を取得する取得部と、識別された前記乗員の状態を示す複数の状態指標値のうち、該乗員の、特定の状態への変化に相関が高い状態指標値を説明変数として選択する説明変数選択部と、前記センサ情報の少なくとも一部に基づいて、前記説明変数選択部が選択した前記状態指標値を算出する複数の指標値算出部と、複数の前記指標値算出部それぞれが算出した前記状態指標値について、前記乗員が特定の状態である可能性を示すスコアを算出するスコア算出部と、前記スコアを合計した合計スコアが、所定のスコア閾値以上である場合に、前記乗員が特定の状態であると判定するスコア判定部と、を備えることを特徴とする。
前記の構成によれば、乗員の特定の状態への変化に相関が高い状態指標値を選択して、その状態指標値のスコアを算出して、該スコアに基づいて最終的な状態判定の結果を下すことができる。したがって、より正確に人間の状態を判定することができる。
前記状態判定装置において、前記スコア算出部は、識別された前記乗員の前記状態指標値と、前記特定の状態である確率との相関関係を示す数式に基づいて、前記スコアを算出してもよい。前記の構成によれば、より正確に人間の状態を判定することができる。
前記状態判定装置は、管理装置から収集データを受信する受信部と、前記収集データに基づいて、前記乗員の状態が前記特定の状態であるか否かを判定するための閾値である状態閾値を、前記説明変数選択部が選択した前記状態指標値それぞれについて算出する状態閾値算出部と、前記状態指標値が、該状態指標値に対応する前記状態閾値以上であるか否かを判定する状態判定部と、を備えていてもよく、前記収集データは、他の移動体において算出された前記他の移動体の乗員の前記状態指標値と、該他の移動体において判定された前記他の移動体の乗員の状態とを対応付けたデータを複数含んでいてもよく、前記スコア算出部は、前記状態判定部により、前記状態閾値以上であると判定された状態指標値について、スコアを算出してもよい。
前記の構成によれば、状態判定装置は、他の移動体で算出された他の乗員の状態指標値と、該状態指標値での他の乗員の状態判定の結果と、に応じて、今から行う状態判定の基準となる状態閾値を算出する。このように、正確に判定された判定結果に基づいて判定スコアの算出および合計スコアの算出を行うため、状態判定装置は、より正確に人間の状態を判定することができる。
前記状態判定装置において、前記センサ情報は、生体拍数を示すデータであってもよく、前記指標値算出部は、所定の第1期間の前記センサ情報を用いて、前記状態指標値を特定してもよい。
前記の構成によれば、所定の第1期間の生体拍数のデータに基づいて、より正確に人間の状態を判定することができる。
前記状態判定装置は、前記指標値算出部が前記状態指標値を算出する前に、前記センサ情報の少なくとも一部に基づいて、前記乗員の状態が、特定の状態であるか否かを判定する副状態判定部を備えていてもよい。
前記の構成によれば、指標値算出部が、状態指標値を算出できる程度の期間(すなわち、所定の第1期間)の生体拍数のデータが得られるまでの間は、副状態判定部によって乗員の状態を判定することができる。したがって、より迅速に人間の状態を判定することができる。
前記状態判定装置は、前記状態指標値、または、前記センサ情報から前記状態指標値を算出する際の中間結果の値に基づいて、前記乗員が特定の状態であるか否かを判定する平均判定部を備えていてもよく、前記平均判定部は、前記状態指標値または前記中間結果の値が、過去の第2期間における前記乗員の状態指標値の平均値以上である場合、または、過去の第2期間における前記乗員の前記中間結果の値の平均値以上である場合に、前記乗員が特定の状態であると判定してもよい。
指標値算出部によって算出された状態指標値が、過去の第2期間において算出された乗員自身の状態指標値の平均値または中間結果の平均値以上である場合、乗員の状態が、過去の平均的な状態、すなわち通常の状態と異なっている可能性が高い。前記の構成によれば、状態判定装置は、乗員の状態が通常と異なっている可能性が高い場合に、乗員が特定の状態になったと判定することができる。
前記状態判定装置において、前記状態閾値算出部は、前記他の移動体において算出された状態指標値の中央値以上の値であって、かつ、前記複数のデータのうち、乗員が特定の状態であると判定されたデータが半数以上となる値を、前記移動体における前記状態指標値としてもよい。前記の構成によれば、より正確に人間の状態を判定することができる。
前記状態判定装置は、前記乗員が特定の状態であると判定された場合に、出力装置を介して前記乗員に対する警告を通知する通知部を備えていてもよい。前記の構成によれば、乗員に該乗員が特定の状態であることを通知することができる。
前記の課題を解決するために、本発明の一態様に係る状態判定システムは、前記状態判定装置と、前記センサ装置と、を含む。前記の構成によれば、前記状態判定装置と同様の効果を奏する。
前記の課題を解決するために、本発明の一態様に係る状態判定装置の制御方法は、移動体の内部空間に配置された1つ以上のセンサ装置から、前記移動体の乗員に関するセンサ情報を取得する取得ステップと、識別された前記乗員の状態を示す複数の状態指標値のうち、該乗員の、特定の状態への変化に相関が高い状態指標値を説明変数として選択する説明変数選択ステップと、前記センサ情報の少なくとも一部に基づいて、前記説明変数選択ステップにおいて選択した前記状態指標値を算出する指標値算出ステップと、前記指標値算出ステップにおいて算出された前記状態指標値について、前記乗員が特定の状態である可能性を示すスコアを算出するスコア算出ステップと、前記スコアを合計した合計スコアが、所定のスコア閾値以上である場合に、前記乗員が特定の状態であると判定するスコア判定ステップと、を含むことを特徴とする。前記の構成によれば、前記状態判定装置と同様の効果を奏する。
本開示の一態様によれば、人間の状態を正確に判定することができる。
実施形態1に係る状態判定システムの要部構成を示すブロック図である。 第2閾値の算出方法をグラフで模式的に示した図である。 状態ログのデータ構造を示す図である。 実施形態1に係る状態判定装置における処理の流れを示すフローチャートである。 第1判定の処理の流れを示すフローチャートである。 第2判定の処理の流れを示すフローチャートである。 実施形態2に係る状態判定システムの要部構成を示すブロック図である。 実施形態2に係る状態判定装置における処理の流れを示すフローチャートである。 第3判定の処理の流れを示すフローチャートである。 第2期間におけるある乗員のRRI差の出現頻度を示したグラフである。 実施形態3に係る状態判定システムの要部構成を示すブロック図である。 説明変数データのデータ構造を示す図である。 乗員の状態変化に相関関係が無い説明変数の、全体閾値、個人閾値、およびスコア式を示すグラフである。 乗員の状態変化に相関関係が有る説明変数の全体閾値、個人閾値、およびスコア式を示すグラフである。 実施形態3に係る状態判定装置における処理の流れを示すフローチャートである。 ある乗員の状態判定に使用する説明変数の選択と、該説明変数を用いた状態判定の結果とを模式的に示した図である。 実施形態4に係る状態判定システムの要部構成を示すブロック図である。
〔実施形態1〕
≪システム概要≫
本実施形態に係る状態判定システム100は、移動体の内部空間に滞在している乗員の状態を判定するためのシステムである。ここで「状態」とは、人間の生理的または感情的な状態のことを示す。例えば、状態判定システム100は、乗員の「状態」として、該乗員の眠気の有無、怒りの有無、興奮状態か否か、等を判定することができる。本実施形態では、一例として、乗員の眠気の有無を判定する状態判定システム100について、図1~6を参照して説明する。
≪要部構成≫
図1は、本実施形態に係る状態判定システム100の要部構成を示すブロック図である。状態判定システム100は、状態判定装置1Aと、センサ群2と、記憶装置3と、サーバ(管理装置)4と、出力装置5と、を含む。なお、記憶装置3は必須の構成ではない。
図1の例では、状態判定装置1A、センサ群2、記憶装置3、および出力装置5は、移動体6に搭載されている。なお、図1では簡略化のため、1台の移動体6の内部構造のみを詳述しているが、図1に示す移動体6はいずれも同様の構成を有している。センサ群2に含まれる各センサと状態判定装置1Aは、通信可能に接続されている。記憶装置3と状態判定装置1Aは、通信可能に接続されている。状態判定装置1Aとサーバ4は、通信可能に接続されている。なお、図1に示す通り、サーバ4は、複数の移動体6と通信する。
(移動体6)
移動体6は、自動車、電車、航空機等、内部に空間を有する移動体である。以降、単に「内部空間」と称する場合は、移動体6の内部の空間のことを示すこととする。また、内部空間に滞在する人間のことを、単に「乗員」と称する。
(センサ群2)
センサ群2は、センサ情報を測定するためのセンサの一群である。ここで、「センサ情報」とは、センサ群2で取得可能な、乗員に関するあらゆる情報を示す。例えば、センサ情報とは、乗員の全身または体の一部の動作、ならびに表情等、乗員の外見に関するデータであってもよい。また、センサ情報とは、脈拍、呼吸、体温、血圧、意識、および反射等、乗員のバイタルデータを示す情報であってもよい。本実施形態では、センサ情報とは、カメラ(センサ装置)21の撮影画像のデータと、脈拍センサ(センサ装置)22の測定データとを示す。
センサ群2は、移動体6内部の空間に配置された1つ以上のセンサから成る。各種センサは状態判定装置1Aと有線または無線で接続しており、それぞれが取得したセンサ情報を状態判定装置1Aに送信する。センサ群2に含まれるセンサの種類は特に限定されない。例えば、センサ群2は出力装置として、カメラ21と、脈拍センサ22と、を含む。
カメラ21は、乗員の身体の少なくとも一部を撮影する。なお、ここで言う身体には、乗員の顔も含まれる。カメラ21の撮影画像は、センサ情報として状態判定装置1Aに送信される。なお、カメラ21の撮影画像は静止画であっても、動画であってもよい。以降、「画像」および「撮影画像」とは、静止画と動画の両方を指す。カメラ21が静止画を撮影する場合、撮影の時間間隔は特に限定されないが、乗員の動作をリアルタイムで追跡可能な程度の時間間隔で撮影を行うことが好ましい。カメラ21は、所定のタイミングで撮影を開始し、以降、継続的に乗員を撮影する。所定のタイミングとは、例えば、移動体6の座席に乗員が着席したタイミング等であってよい。
また、カメラ21の具体的構成および所定空間内での配置位置は、特に限定されない。例えば、移動体6が乗用車の場合、カメラ21は、乗用車の座席の正面に、該座席に座った人間の顔が映るような位置および角度で配置されてもよい。これにより、カメラ21は、乗用車の運転手または乗客の顔を正面から捉えた画像を取得することができる。換言すると、カメラ21は、運転手または乗客の眼球の動き、瞼の動き、および表情等を特定可能な画像を撮影することができる。
脈拍センサ22は、人間の脈拍数を測定するセンサである。脈拍センサ22は、例えば、移動体6の座席シートのアームレストの部分等に配置された電極式の脈拍センサであってもよい。また、脈拍センサ22は、移動体6の座席シートに内蔵された、電波式の脈拍センサであってもよい。より具体的には、例えば脈拍センサ22は、ミリ波レーダーの信号から心拍信号を検出するバイタルセンサであってもよい。脈拍センサ22の測定データは、センサ情報として状態判定装置1Aに送信される。脈拍センサ22は、所定のタイミングで脈拍の測定を開始し、以降、継続的に乗員の脈拍を測定する。所定のタイミングとは、例えば、移動体6の座席に乗員が着席したタイミング等であってよい。
なお、センサ群2は心拍等、脈拍以外の生体拍数を測定するセンサを含んでいてもよい。また、センサ群2はこの他にも、呼吸・体温・血圧・意識・反射等のバイタルデータを測定するセンサを含んでいてもよい。該センサの測定データも、センサ情報として状態判定装置1Aに送信される。
なお、移動体6の内部空間には、同種の複数個のセンサが、それぞれ異なる位置に配置されていてもよい。例えば、移動体6が乗用車である場合、カメラ21は、乗用車の各座席の正面にそれぞれ1つ以上配置されていてもよい。これにより、例えば各座席に人間が座ったときに、各人についての画像を取得することができる。また、脈拍センサ22も、乗用車の各座席に、それぞれ1つ以上配置されていてもよい。これにより、座席毎、すなわち各人の脈拍を測定することができる。
(状態判定装置1A)
状態判定装置1Aは、センサ群2から取得したセンサ情報と、サーバ4から取得した収集データに基づいて、乗員の状態を判定する。収集データの詳細については後述する。状態判定装置1Aは、データ取得部(取得部)11と、第1判定部(副状態判定部)12と、通信部(受信部)13と、第2判定部14と、通知部15と、を有する。
本実施形態に係る状態判定装置1Aは、脈拍センサ22の測定データを用いて主たる状態判定を行う。しかしながら、乗員の脈拍の推移から乗員の状態を精度良く特定するためには、脈拍センサ22を用いてある程度の期間(例えば、5分)脈拍の測定を行うことが望ましい。
そのため、本実施形態に係る状態判定装置1Aでは、脈拍センサ22の測定開始から脈拍センサ22の測定データが十分に貯まるまでの期間は、脈拍センサ22に比べて短時間の測定時間で状態判定が可能な、別の判定方法で状態判定を行う。具体的には、状態判定装置1Aは、カメラ21の撮影画像を用いて、乗員の眠気の有無を判定する。
以降、状態判定装置1Aにおいて、センサ群2の測定(または撮影)開始後に最初に行う状態判定を第1判定と称する。また、以降、状態判定装置1Aにおいて、第1判定の後に行われる状態判定を第2判定と称する。なお、第1判定はあくまでも、より早期に状態判定を行うための追加構成である。したがって、第1判定に係る構成は、本実施形態において必須の構成ではない。
データ取得部11は、センサ群2から、移動体6のセンサ情報を取得する。データ取得部11は、取得したセンサ情報の少なくとも一部を第1判定部12へ出力する。また、データ取得部11は、取得したセンサ情報の少なくとも一部を第2判定部14へ出力する。本実施形態では、データ取得部11は、カメラ21の撮影画像を第1判定部12へ、脈拍センサ22の脈拍の測定データを第2判定部14へ出力する。なお、データ取得部11は、センサ群2から所定の時間間隔、またはリアルタイムで継続的にセンサ情報を取得してよい。
通信部13は、状態判定装置1Aとサーバ4との通信を行う。例えば、通信部13は、サーバ4から収集データを受信し、第2判定部14に出力する。また例えば、通信部13は、第2判定部14から入力された状態ログ32をサーバ4に送信する。
第1判定部12は、センサ情報に基づいて第1判定を実行する。第1判定部12はまず、カメラ21の撮影画像に基づき、第1指標値を算出する。
本実施形態では、第1判定部12は第1指標値として、NEDO(New Energy and Industrial Technology Development Organization)の眠気評価方法に基づく眠気レベルを算出することとする。NEDOの眠気評価方法によれば、眠気レベルは1から5までのレベルとして算出される。眠気レベル1は全く眠くない状態、眠気レベル2はやや眠そうな状態、眠気レベル3は眠そうな状態、眠気レベル4はかなり眠そうな状態、眠気レベル5は非常に眠そう、または眠り始めている状態を示す。
次に、第1判定部12は、算出した第1指標値が第1閾値以上であるか否かを判定する。第1指標値が第1閾値以上である場合、第1判定部12は、乗員の状態が特定の状態であると判定する。一方、第1指標値が第1閾値未満である場合、第1判定部12は、乗員の状態が特定の状態でないと判定する。
本実施形態では、一例として、第1判定部12は、眠気レベルの第1閾値を3とする。そして、算出した眠気レベルが3以上の場合は乗員に眠気有り、3未満の場合は乗員に眠気無しと判定する。眠気レベルの閾値は、どの程度の眠気の強さまでを「眠気無し」として許容するかに応じて、適宜定められてよい。
第1判定部12は、通知部15に状態判定の結果を通知する。本実施形態の場合、第1判定部12は、乗員の眠気有りと判定したか、乗員の眠気無しと判定したかを、通知部15に通知する。
第2判定部14は、脈拍センサ22の測定データを用いて、第2判定を実行する。第2判定部14は、第2指標値算出部(指標値算出部)141と、閾値算出部(状態閾値算出部)142と、比較判定部(状態判定部)143と、を含む。
第2指標値算出部141は、脈拍センサ22の測定データに基づいて、状態判定のための第2指標値(状態指標値)を算出する。第2指標値算出部141は、算出した第2指標値を比較判定部143に出力する。
センサ群2のいずれかの情報から算出することが可能な指標値であって、乗員の状態判定に用いることが可能な指標値であれば、第2指標値の種類、算出方法、および値の単位は特に限定されない。例えば、第2指標値算出部141は、脈拍センサ22の測定データからRRI(脈拍間隔時間,R-R Interval)を算出し、RRIに基づいて第2指標値を算出してもよい。
例えば、第2指標値算出部141は第2指標値としてRRI差を算出してもよい。「RRI差」とは、一般的には、あるRRIの値と、時系列における、該あるRRIの1つ前のRRIの値との差の値を示す。緊張が緩むとRRIは大きくなるため、RRI差も大きくなるといえる。ゆえに、眠気が強まった場合もRRI差が大きくなるといえる。
本実施形態では、第2指標値算出部141は、以下の方法で第2指標値を算出することとする。第2指標値算出部141は、脈拍センサ22の測定データからRRIを算出する。RRIの算出は、測定データの取得が続く間、継続的に実行される。RRIの算出と並行して、第2指標値算出部141は、測定データを単位時間で区切り、該区分毎のRRIの平均値を随時算出する。以降、単位時間当たりのRRIの平均値のことを、「平均RRI」と称する。ここで言う単位時間は、例えば3分程度であってよい。
そして、第2指標値算出部141は、最新の平均RRIと、1つ前の平均RRIとの差を求めることで、RRI差を算出する。したがって、本実施形態における「RRI差」とは、第2指標値算出部141が算出した最新の平均RRIと、該平均RRIの直前の平均RRIとの差を示す。
なお、第2指標値算出部141は、データ取得部11からのセンサ情報の供給が続く間、所定の時間間隔で、継続的にRRI差を算出する。そして、第2指標値算出部141は算出したRRI差を、逐次比較判定部143に出力する。第2指標値算出部141がRRI差を算出する時間間隔は特に限定されないが、乗員の眠気の有無を第2判定部14が遅滞なく特定できる程度の時間間隔であることが望ましい。
閾値算出部142は、サーバ4から受信した収集データの状態ログから、第2判定における判定基準となる第2閾値(状態閾値)を算出する。閾値算出部142は、算出した第2閾値を比較判定部143に出力する。なお、第2指標値算出部141が第2指標値を算出する時間間隔と、閾値算出部142が第2閾値を算出する時間間隔とは、同じであってもよいし、異なっていてもよい。
より詳しくは、閾値算出部142はまず、ユーザ情報31を参照して、第2判定部14が受信した収集データに含まれる状態ログのうち、第2閾値の算出に使用する状態ログを抽出する。なお、記憶装置3がユーザ情報31を記憶していない場合、状態ログが乗員の属性情報を含まない場合、または、状態判定装置1Aが乗員個人を識別しない場合、閾値算出部142は状態ログの抽出を実行しなくてよい。すなわち、閾値算出部142は、収集データに含まれる状態ログを全て、第2閾値の算出に用いてよい。
閾値算出部142は続いて、抽出した状態ログそれぞれの第2指標値(すなわち、他人の第2指標値)を集計して、該他人の第2指標値の中央値を算出する。さらに、閾値算出部142は、抽出した状態ログそれぞれの判定結果を参照し、抽出した状態ログのうち、眠気有りと判定されたログの割合が半数(50%)以上になる第2指標値の範囲を特定する。最後に、閾値算出部142は、算出した中央値以上であって、かつ、眠気有りと判定された状態ログの割合が50%以上になる最小の第2指標値を、第2閾値と決定する。なお、閾値算出部142は他人の第2指標値の中央値ではなく最頻値を算出して、該最頻値以上、かつ、眠気有りと判定された状態ログの割合が50%以上になる最小の第2指標値を、第2閾値と決定してもよい。
(閾値の算出方法)
図2は、閾値算出部142における第2閾値の算出方法を、グラフで模式的に示した図である。なお、図2のグラフは、閾値算出部142における第2閾値の算出方法を視覚的に説明するためのものであって、実際に閾値算出部142が図示のグラフを作成する必要は無い。
グラフのx軸は第2指標値、すなわちRRI差を示している。グラフの縦軸は、各RRI差を示す状態ログの件数(すなわち、収集データに含まれる第2指標値の分布)を示している。また、図2の例では、白抜きで表示された棒グラフは抽出した状態ログのRRI差の分布を示しており、灰色で表示された棒グラフは、抽出した状態ログのうち第2判定で「眠気有り」と判定された状態ログの、RRI差の分布を示している。
図示の例では、抽出した状態ログが示すRRI差の中央値は0.100である。そして、判定結果が「眠気有り」であった状態ログの割合が、抽出した状態ログ全体の50%以上になるのは、RRI差が0.125以上のときである。換言すると、灰色の棒グラフの総面積が、白い棒グラフの総面積の50%を超えるのは、RRI差が0.125以上のときである。したがって、閾値算出部142は、第2閾値を0.125と決定する。
比較判定部143は、第2指標値と第2閾値との大小関係から、乗員の状態を判定する。比較判定部143は、入力された第2指標値が、入力された第2閾値以上であるか否かを判定する。第2指標値が第2閾値以上である場合、比較判定部143は、乗員が特定の状態であると判定する。一方、第2指標値が第2閾値以下である場合、比較判定部143は、乗員の状態が正常であると判定する。比較判定部143は判定結果を通知部15に出力する。
通知部15は、第1判定部12によって、乗員が特定の状態であると判定された場合、出力装置5に第1通知を出力させる。また、通知部15は、第2判定部14(より詳細には、比較判定部143)によって乗員が特定の状態であると判定された場合、出力装置5に第2通知を出力させる。第1通知および第2通知の内容は特に限定されない。例えば、第1通知および第2通知は、乗員に対する警告であってよい。
(出力装置5)
出力装置5は、通知部15の制御指示に基づいて、各種通知を音声または映像等の態様で出力する。出力装置5は、例えば、スピーカまたはディスプレイ等で実現される。なお、出力装置5は複数台であってもよい。例えば、移動体6は出力装置5として2台以上のスピーカを備えていてもよい。また例えば、移動体6は出力装置5として、スピーカと、ディスプレイの両方を備えていてもよい。
(記憶装置3)
記憶装置3は、状態判定装置1Aの動作に必要なデータを記憶する。例えば、記憶装置3は、ユーザ情報31と、状態ログ32とを記憶している。なお、本実施形態において、ユーザ情報31は必須の情報ではない。
ユーザ情報31は、移動体6の乗員の個人情報を示す。ユーザ情報31は、例えば、乗員の性別、年齢、居住地域等の情報であってもよい。
図3は、状態ログ32のデータ構造を示す図である。状態ログ32は、第2指標値算出部141が算出した第2指標値と、該第2指標値の、第2判定における判定結果と、の履歴を示すログデータである。また、状態ログ32は、乗員を一意に特定するための識別情報を有していてもよい。
図3の例では、状態ログ32は、「時刻」列と、「識別情報」列と、「RRI差」列と、「判定結果」列とを有する。図3の状態ログ32の1レコードは、ある時刻の、ある乗員についての第2指標値および第2判定の結果を示す。
「時刻」列には、第2判定部14が各レコードを生成した時刻が格納される。なお、時刻は状態判定装置1Aに内蔵されたタイマー(図示せず)等で測定してよい。また、「時刻」列には、第2指標値の算出時刻、または、第2判定が下された時刻が格納されてもよい。
「識別情報」列には、乗員の識別情報(例えば、乗員ID)が格納される。なお、乗員個人の特定方法は特に限定されない。例えば、状態判定装置1Aは、カメラ21の撮影画像を解析することで乗員を特定してもよい。もしくは、状態判定装置1Aは、図示しない入力装置を介して、乗員自身に、該乗員の識別情報を入力させ、該識別情報から乗員個人を特定してもよい。
「RRI差」列には、第2指標値算出部141が算出したRRI差(すなわち、第2指標値)が格納される。「判定結果」列には、比較判定部143が下した第2判定の結果が格納される。図3の例では、比較判定部143が「乗員に眠気無し」と判定したRRI差に対応するレコードには「眠気無し」、「乗員に眠気有り」と判定したRRI差に対応するレコードには「眠気有り」という情報が格納される。
なお、前述の通り、第2判定の基準となる第2閾値は、閾値算出部142が都度算出するものである。そのため、図3の3行目のレコードと4行目のレコードのように、RRI差が同じ値であっても、第2判定の結果が異なる場合もある。
(サーバ4)
サーバ4は、複数の状態判定装置1Aから状態ログを収集して管理する。サーバ4は、サーバ通信部41と、サーバ制御部42と、サーバ記憶部43と、を備える。
サーバ通信部41は、サーバ4と状態判定装置1Aとの通信を行う。サーバ記憶部43は、サーバ4の動作に必要な各種データを記憶する。サーバ記憶部43は、収集データ431を記憶している。収集データ431は、複数の移動体6の状態判定装置1Aから収集された状態ログをまとめたデータである。
なお、サーバ制御部42は、収集データ431に含まれる状態ログのレコードのうち、所定期間が経過したレコードを削除してもよい。例えば、各レコードが示す時刻から1時間が経過したレコードは、削除してもよい。
これにより、収集データ431の容量を削減することができる。また、これにより、収集データ431は、常に直近の所定期間における状態ログのみを含むこととなる。「直近の所定期間」の具体的な長さは特に限定されないが、例えば1時間程度であってもよい。
これにより、第2閾値を算出する場合に、常に、現在時刻から遡った所定期間内に集められた状態ログに基づいて、第2閾値を算出することができる。そのため、所定期間を適切に設定することで、例えば天候および気温等、時間に応じて変化する環境条件が変化した場合でも、ほぼ同条件下で、他の移動体6で生成された状態ログを用いて、第2閾値を算出することができる。したがって、第2判定において環境条件の違いによる誤判定が起きる可能性を低下させることができる。したがって、第2判定の精度が向上する。
サーバ制御部42は、サーバ4を統括的に管理する。例えば、サーバ制御部42は、サーバ通信部41を介して、状態判定装置1Aから状態ログのレコードを受信する。サーバ記憶部43は受信した1レコード分の状態ログを、収集データ431に加える。図1に示す通り、サーバ4は複数台の移動体6の状態判定装置1Aから、同様に状態ログのレコードをリアルタイムで収集している。これにより、サーバ4の収集データ431には、各状態判定装置1AにおけるRRI差の算出結果と眠気の有無の判定結果が、リアルタイムで収集および蓄積される。
≪処理の流れ≫
図4は、状態判定装置1Aにおける処理の流れを示すフローチャートである。図4では、センサ群2における各種情報の測定が開始された時点を、処理のスタートとして示している。
センサ群2の各種センサによる各種情報の測定および取得が開始されると、データ取得部11は、センサ群2から各種センサ情報を取得する(S11)。例えば、データ取得部11は、カメラ21から撮影画像を、脈拍センサ22から脈拍の測定データをそれぞれ取得する。データ取得部11は取得したこれらのデータのうち、カメラ21の撮影画像を第1判定部12に、脈拍センサ22の測定データを第2判定部14に出力する。第2判定部14は、第2判定に用いるセンサ情報(本実施形態では、脈拍センサ22の測定データ)が入力されると、第2判定部14が第2判定を行うために十分なセンサ情報を取得したか否かを判定する(S12)。
ここで、「第2判定を行うために十分なセンサ情報」とは、第2指標値算出部141において第2指標値を算出可能な程度の所定期間(第1期間)分の、センサ情報である。本実施形態では、第2指標値算出部141が平均RRIを少なくとも2回算出可能な程度の期間分のセンサ情報を取得できれば、RRI差を算出することができる。したがって、第2判定を行うために十分なセンサ情報とは、少なくとも、平均RRIの算出時間間隔の2倍の期間分の脈拍センサ22の測定データである。
第2判定部14は、第2判定を行うために十分なセンサ情報を取得していない場合(S12でNO)、第1判定を実行するよう第1判定部12に指示する。第1判定部12は該指示を受けると、データ取得部11から入力された撮影画像に基づいて、第1判定を実行する(S13)。一方、第2判定部14は、第2判定に十分なセンサ情報を取得済である場合(S12でYES)、第2判定を実行する(S16)。
例えば、状態判定装置1の起動後に、データ取得部11が初めてセンサ情報を取得した場合、第2判定部14は初回のセンサ情報しか取得していないため、S12の判定はNOとなり、第1判定部12による第1判定が実行される。
(第1判定)
図5は、第1判定の処理の流れを示すフローチャートである。第1判定部12はまず、カメラ21の撮影画像に基づき、眠気レベルを算出する(S131)。次に、第1判定部12は、算出した眠気レベルが3以上であるか否かを判定する(S132)。眠気レベルが3以上である場合(S132でYES)、第1判定部12は、乗員の眠気有りと判定する(S133)。一方、眠気レベルが3未満である場合(S132でNO)、第1判定部12は、乗員の眠気無しと判定する(S134)。
再び図4を参照して説明する。第1判定が終了すると(S13)、第1判定部12は判定結果を通知部15に通知する。
通知部15は、第1判定部12の判定結果に基づいて、出力装置5に第1通知を出力させるか否かを決定する(S14)。第1判定において、乗員に眠気有りと判定されていた場合(S14でYES)、通知部15は出力装置5に、第1通知を出力させる(S15)。一方、乗員に眠気無しと判定されていた場合(S14でNO)、通知部15は出力装置5に第1通知を出力させずに処理を終了する。状態判定装置1Aは、次にデータ取得部11が各種センサ情報を取得すると、再びS11から処理を実行する。第2判定部14において、第2判定に十分なセンサ情報を取得できた場合(S12でYES)、第2判定を実行する(S16)。
(第2判定)
図6は、第2判定の処理の流れを示すフローチャートである。第2判定部14の第2指標値算出部141は、脈拍センサ22の測定データに基づいて、第2指標値、すなわちRRI差を算出する(S161)。第2指標値算出部141はRRI差を比較判定部143に出力する。
一方、第2判定部14は、通信部13を介してサーバ4から収集データを受信する(S162)。第2判定部14の閾値算出部142は、ユーザ情報31を参照して、第2判定部14が受信した収集データに含まれる状態ログのうち、第2閾値の算出に使用する状態ログを抽出する(S163)。なお、S163の処理は必須ではない。状態ログの抽出を実行しない場合、閾値算出部142は、以降の処理において、収集データに含まれる全ての状態ログを用いてよい。
閾値算出部142は続いて、抽出した状態ログそれぞれの第2指標値(すなわち、他人の第2指標値)を集計して、該他人の第2指標値の中央値を算出する(S164)。さらに、閾値算出部142は、抽出した状態ログそれぞれの判定結果を参照し、抽出した状態ログのうち、眠気有りと判定されたログの割合が50%以上になる第2指標値の値を特定する(S165)。最後に、閾値算出部142は、算出した中央値以上であって、かつ、眠気ありと判定されたログの割合が50%以上になる最小の第2指標値を、第2閾値と決定する(S166)。閾値算出部142は決定した第2閾値を比較判定部143に出力する。
比較判定部143は、第2指標値算出部141が算出したRRI差が第2閾値以上であるか否かを判定する(S167)。RRI差が第2閾値以上である場合(S167でYES)、比較判定部143は、乗員に眠気有りと判定する(S168)。一方、RRI差が第2閾値未満である場合(S167でNO)、比較判定部143は、乗員に眠気無しと判定する(S169)。
再び図4を参照して説明する。第2判定が終了すると(S16)、比較判定部143は判定結果を通知部15に通知する。通知部15は、比較判定部143の判定結果に基づいて、出力装置5に第2通知を出力させるか否かを決定する(S17)。第2判定において、乗員に眠気有りと判定されていた場合(S17でYES)、通知部15は出力装置5に、第2通知を出力させる(S18)。一方、乗員に眠気無しと判定されていた場合(S17でNO)、通知部15は出力装置5に第2通知を出力させずに処理を終了する。
状態判定装置1Aは、次にデータ取得部11が各種センサ情報を取得すると、再びS11から処理を実行する。脈拍センサ22の測定データは逐次データ取得部11に供給されるため、以降、第2判定部14は、第2判定に十分なセンサ情報が蓄積された状態となる。したがって、第2判定部14は、データ取得部11からセンサ情報を取得する度に、第2判定(S16)を繰り返し実行することとなる。
なお、第2判定部14は、第2判定(S16)を行った後、状態ログを作成して、状態ログ32の1レコードとして記憶装置3に記憶させてもよい。また、第2判定部14は作成した状態ログ(すなわち、1レコード分の状態ログ)を、通信部13を介してサーバ4に送信してもよい。サーバ4のサーバ記憶部43は、サーバ通信部41を介して1レコード分の状態ログを受信する。サーバ記憶部43は受信した1レコード分の状態ログを、収集データ431に加える。
なお、第1判定を実行しない場合、状態判定装置1Aは、図4のS13~S15の処理は実行せず、第2判定を行うために十分な測定データが得られるまで(S12でYES)、待機していてもよい。もしくは、第2判定を行うために十分な期間分のセンサ情報を得られていない場合であっても、第2判定を実行するようにしてもよい(S16)。例えば、第2判定を行うために十分な期間分のセンサ情報を得られていない場合、第2判定部14は、第2指標値が0であるとみなして第2判定を実行してもよい。
(変形例)
本実施形態において、第1指標値および第2指標値の種類および値の算出方法は、センサ群2から取得可能なデータに応じて、適宜定められてよい。すなわち、第1判定部12および第2判定部14はそれぞれ、センサ群2から得られる情報で算出可能な指標値を、第1指標値または第2指標値として算出してよい。そして、データ取得部11は、第1判定部12および第2判定部14が必要とする情報を、適宜第1判定部12および第2判定部14に供給してよい。
また例えば、第2判定部14の閾値算出部142は、第2指標値として、以下の値を算出してもよい。すなわち、閾値算出部142は、単位時間当たりの脈拍数を第2指標値として算出してもよい。また、閾値算出部142は、単位時間当たりのRRIの最大変化幅、単位時間当たりのRRIの平均値、単位時間当たりのRRIの中央値の少なくともいずれかを第2指標値として算出してもよい。また、閾値算出部142は、単位時間当たりのRRIの高周波成分、低周波成分、超低周波成分、および超々低周波成分の積分値のいずれかを、第2指標値として算出してもよい。また、閾値算出部142は、RRIの高周波成分と低周波成分の積分値の比等、RRIの異なる周波数成分の積分値の比を第2指標値として算出してもよい。また、閾値算出部142は、RRIの単回帰の係数を第2指標値として算出してもよい。
また例えば、第2判定部14はカメラ21の撮影画像を解析して、解析結果に基づいて第2指標値を算出してもよい。例えば、閾値算出部142は、撮影画像から、乗員の瞼の動きを特定してもよい。具体的には、閾値算出部142は、閉眼時間、単位時間当たりの閉眼またはまばたきの回数等を、第2指標値として算出してもよい。
〔実施形態2〕
状態判定システム100は、乗員の状態を判定する際に、該乗員の過去の第2指標値を考慮してもよい。以下、本開示の第2の実施形態について説明する。なお、説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を繰り返さないこととする。
≪要部構成≫
図7は、本実施形態に係る状態判定システム200の要部構成を示すブロック図である。状態判定システム200は、状態判定装置1Bを含む点で状態判定システム100と異なる。状態判定装置1Bは、第3判定部(平均判定部)16を有する点で、状態判定装置1Aと異なる。
本実施形態に係る第2判定部14の第2指標値算出部141は、第2指標値を算出すると、該第2指標値を第3判定部16に出力する。本実施形態に係る通知部15は、第3判定部16によって乗員が特定の状態であると判定された場合、出力装置5に第3通知を出力させる。第3通知の内容は、第1通知および第2通知と同様に、乗員に対する警告であってよい。
第3判定部16は、第2指標値に基づいて第3判定を実行する。第3判定とは、移動体6の乗員の過去の第2指標値の大きさの平均値と、第2指標値算出部141から取得した最新の第2指標値とを比較することで、乗員が特定の状態か否かを判定する判定方法である。第3判定の詳細については後述する。第3判定部16は、判定結果を通知部15に通知する。
≪処理の流れ≫
図8は、本実施形態に係る状態判定装置1Bにおける処理の流れを示すフローチャートである。なお、図8において図4と同様のステップ番号を付した箇所は、図4と同様の処理であるため、説明を繰り返さない。
状態判定装置1Bは、第2判定と並行して、第3判定を実行する(S19)。なお、前述の通り、第3判定には第2指標値を用いる。そのため、第3判定部16は、第2指標値算出部141から少なくとも1回、第2指標値を取得してから、第3判定を実行する。そのため、初回に第2判定が行われるときは、第3判定は並行して実行されなくてもよい。
図9は、第3判定の処理の流れを示すフローチャートである。第3判定部16は、第2指標値、すなわちRRI差を取得すると(S191)、所定の第2期間分の乗員の状態ログを読み出す。ここで言う、「第2期間」とは、例えば、現在時刻から遡って10時間程度である。次に、第3判定部16は、読み出した状態ログの各レコードが示すRRI差の平均値を算出する(S192)。続いて、第3判定部16は、第2指標値算出部141が算出したRRI差(すなわち、乗員の現在のRRI差)と、第2期間分の状態ログのRRI差の平均値+3σとの大小を比較する(S193)。なお、「3σ」は平均値からの誤差の許容範囲を定める値である。
第2指標値算出部141が算出したRRI差が、第2期間分の状態ログのRRI差の平均値+3σ以上である場合(S193でYES)、第3判定部16は、乗員に眠気有り、と判定する(S194)。第2指標値算出部141が算出したRRI差が、第2期間分の状態ログのRRI差の平均値+3σ未満である場合(S193でNO)、第3判定部16は、乗員に眠気無し、と判定する(S195)。
なお、平均値への誤差3σの加算は必須ではない。すなわち、第3判定部16は、S193において、第2指標値算出部141が算出したRRI差と平均値+3σではなく、該RRI差と平均値とを比較判定してもよい。そして、RRI差が平均値以上であれば乗員に眠気有り、平均値未満であれば乗員に眠気無し、と判定してもよい。
再び図8に戻り説明する。第3判定が終了すると(S19)、第3判定部16は判定結果を通知部15に通知する。通知部15は、第3判定部16の判定結果に基づいて、出力装置5に第3通知を出力させるか否かを決定する(S20)。第3判定において、乗員に眠気有りと判定されていた場合(S20でYES)、通知部15は出力装置5に、第3通知を出力させる(S21)。一方、乗員に眠気無しと判定されていた場合(S20でNO)、通知部15は出力装置5に第3通知を出力させずに、処理を終了する。
乗員自身の第2指標値の平均値、すなわち、通常時の乗員の第2指標値と推定される値よりも、現在算出された第2指標値の方が大きい場合、乗員の状態が通常と異なっている可能性が高い。前記の構成によれば、状態判定装置は、乗員の状態が通常と異なっている可能性が高い場合に、乗員が特定の状態になったと判定することができる。
≪RRI差の出現頻度と第3判定≫
図10は、第2期間におけるある乗員のRRI差の出現頻度を示したグラフである。なお、図10のグラフは、第3判定部16における判定処理を視覚的に説明するためのものであって、実際に第3判定部16が図示のグラフを作成する必要は無い。
個人のRRI差の出現頻度は、通常、図10のように正規分布に類似する形に収束する。図10に示す通り、グラフにおいて平均値から離れた値ほど、出現頻度が低い。そのため、現在の乗員のRRI差が、図10に示す平均値から離れた値であるほど、該乗員が通常と異なる状態である可能性が高いといえる。
したがって、誤差3σの値を調整することで、ある乗員のRRI差を「通常」と判定するか、「異常」と判定するかの、出現頻度の閾値を調整することができる。例えば、図10において、RRI差の平均値+3σの値を、縦軸に示す出現頻度が5%になる値に設定したと仮定する。この仮定において、第2指標値算出部141が算出した、乗員の現在のRRI差が、RRI差の平均値+3σ以上の場合、該現在のRRI差の出現頻度は5%以下(図10のグラフの斜線領域内の値)となる。そのため、乗員にとって現在のRRI差は、通常算出され難い異常な値であると判定することができる。
第3判定部16はこのように、乗員個人にとってRRI差が異常な値を示したか否かを判定する第3判定を行うことで、乗員の眠気の有無を判定する。この第3判定によれば、平均値に加算する「3σ」の値の大きさによって、RRI差が平均値からどの程度離れた場合に異常と判定するかを、調整することができる。
本実施形態に係る第3判定部16は、第2指標値算出部141が算出した第2指標値が異常な値を示した回数をカウントしてもよい。そして、第3判定部16は、第2指標値が異常な値を示した回数が所定回数未満の場合は、乗員が特定の状態でないと判定し、該異常な値を示した回数が所定回数以上の場合は、乗員が特定の状態であると判定してもよい。なお、この回数のカウントは、第3判定部16が一度判定を下した場合は0にリセットされてよい。
「所定回数」の具体的な数は限定されない。例えば、前記所定回数とは、10回であってもよい。このように、ある回数以上、異常な値を検出した場合に、乗員が特定の状態になったと判定することにより、一時的に値が大きく上昇した場合等に、第3判定部16において誤った判定を下すことを防止することができる。よって、第3判定の精度を向上させることができる。
なお、第3判定部16は、前述の「異常な値を示した回数」をカウントする場合に、カウントリセットまでの制限時間を設けてもよい。すなわち、第3判定部16は、所定時間内に所定回数以上、第2指標値が平均値+3σ以上であった場合は、乗員の状態が異常であると判定してもよい。そして、前記所定時間が経過した場合は、第2指標値が平均値+3σであった回数のカウントをリセットしてもよい。これにより、さらに第3判定の精度を向上させることができる。
本実施形態に係る第3判定部16は、乗員の第2指標値ではなく、センサ情報から第2指標値を算出する際の中間結果の値を、第3判定に使用してもよい。なお、該中間結果の値を第3判定に用いる場合、第2判定部14は、第2指標値の代わりに、または第2指標値とともに前記中間結果の値の履歴を含んだ、状態ログ32を作成する。
具体的には、例えば、第3判定部16は、RRI差ではなく平均RRIを用いて第3判定を実行してもよい。平均RRIを用いて第3判定を実行する場合、第2判定部14は平均RRIの履歴を含んだ状態ログ32を作成し、記憶装置3に記憶させる。また、平均RRIを用いて第3判定を実行する場合、第2指標値算出部141は第3判定部16に平均RRIを出力する。以降の処理は、本実施形態で説明した処理における「RRI差」を「平均RRI」に替えて実行すればよい。
〔実施形態3〕
本実施形態に係る状態判定システム300は、状態判定システム100および200と同様に、移動体の内部空間に滞在している乗員の状態を判定するためのシステムである。人間が眠気等の特定の状態であるか否かを、該状態を示す指標値を用いて判定する方法は種々存在する。しかしながら、効果的な判定方法、すなわち、前述の「特定の状態」と相関が高い指標値は、各人によって異なる。
本実施形態に係る状態判定システム300は、上述の個人差を考慮した状態判定を行う。具体的には、状態判定システム300は、乗員の状態を特定するための指標値を、複数の方法で複数種類算出する。次に、状態判定システム300は、乗員個々人において相関の高い指標値を選択して、該指標値の値に応じて、乗員が特定の状態である可能性を示すスコアを算出する。そして、状態判定システム300は、算出したスコアの合計が、所定の第3閾値(スコア閾値)以上であるか否かを判定する。スコアの合計が第3閾値以上である場合、状態判定システム300は、乗員が特定の状態であると最終的な判定結果を下す。
以下、本開示の第3の実施形態について、図11~図16を用いて詳細に説明する。なお、実施形態1または2で説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を繰り返さない。
≪要部構成≫
図11は、本実施形態に係る状態判定システム300の要部構成を示すブロック図である。状態判定システム300は、状態判定システム100および200と異なり、サーバ4を含まなくてもよい。
状態判定システム300は状態判定装置1Cを含む。また、状態判定システム300に係る記憶装置3は、ユーザ情報31と、状態ログ32と、説明変数データ33とを記憶している。なお、本実施形態において、ユーザ情報31と、状態ログ32とは必須のデータではない。
(状態判定装置1C)
状態判定装置1Cは、通信部13を有していなくてもよい。また、状態判定装置1Cは、第2判定部14ではなく、複数の説明変数算出部17と、該説明変数算出部17に対応する複数のスコア算出部18と、を有する点で、状態判定装置1Aおよび1Bと異なる。なお、図11の例では含んでいないが、状態判定装置1Cは、第1判定部12を含んでいてもよい。図11の例では、状態判定装置1Cは、複数の説明変数算出部17の一例として、3つの説明変数算出部17A~17Cを含む。また、図11の例では、状態判定装置1Cは、複数のスコア算出部18の一例として、説明変数算出部17A~17Cにそれぞれ対応するスコア算出部18A~18Cを含む。以降、説明変数算出部17A~17Cを総称する場合には、説明変数算出部17とも記載する。また、以降、スコア算出部18A~18Cを総称する場合には、スコア算出部18とも記載する。また、状態判定装置1Cは、スコア判定部19と、識別部70と、説明変数選択部71と、を含む。本実施形態に係るデータ取得部11は、識別部70と、説明変数算出部17それぞれに、センサ情報を出力する。
識別部70は、センサ群2のセンサ情報を取得し、該センサ情報から、乗員を識別する。例えば、識別部70は、カメラ21の撮影画像から乗員を識別してもよい。また、センサ群2がマイクを含んでいる場合、識別部70は、マイクが取得した乗員の発話音声を音声認識することで、乗員を識別してもよい。識別部70は、乗員の識別結果を、説明変数選択部71に出力する。
説明変数選択部71は、識別部70が識別した乗員に応じた説明変数データ33を読み出して、該乗員の状態判定に使用する説明変数を選択する。説明変数の選択方法の詳細については後述する。説明変数選択部71は、乗員の状態判定に使用する説明変数に対応する説明変数算出部17に、説明変数の算出を指示する。
説明変数算出部17A~17Cはそれぞれ、センサ群2から得たセンサ情報に基づいて、異なる方法を用いて、乗員が特定の状態であるか否かを示す指標値を算出する。すなわち、本実施形態では、説明変数算出部17A~17Cはそれぞれ、乗員の眠気の有無を示す指標値を算出する。説明変数算出部17A~17Cが算出する指標値はそれぞれ、「乗員が特定の状態であるか否か」を示す目的変数を最終的に求めるための、説明変数である。以降、説明変数算出部17それぞれが算出する指標値のことを、説明変数とも称する。
各説明変数の具体的な算出方法は限定されない。例えば、説明変数算出部17A~17Cのいずれかは、第1判定部12と同様に、説明変数として眠気レベルを算出してもよい。また、状態判定装置1Cにおいて、説明変数算出部17およびスコア算出部18の数は、複数であればその数は特に限定されない。説明変数算出部17A~17Cはそれぞれ、算出した説明変数をスコア算出部18A~18Cに出力する。
スコア算出部18A~18Cはそれぞれ、対応する説明変数算出部17A~17Cから入力された説明変数に基づいて、スコアを算出する。具体的には、説明変数が入力されると、スコア算出部18A~18Cは説明変数データ33を参照して、各説明変数が、全体閾値以上、かつ個人閾値以上であるか否かを判定する。指標値が、全体閾値以上、かつ個人閾値以上である場合、スコア算出部18A~18Cは、それぞれ説明変数データ33に記憶された、各指標値のスコア式に指標値を代入することで、該指標値のスコアを算出する。スコア算出部18A~18Cは、算出したスコアをそれぞれスコア判定部19に出力する。なお、全体閾値、個人閾値、およびスコア式については後で詳述する。
スコア判定部19は、各スコアを合計した値である合計スコアを算出し、合計スコアに基づいて、乗員が特定の状態であるか否か判定する。本実施形態においては、スコア判定部19の判定結果が、乗員の状態判定の最終結果であるといえる。
具体的には、スコア判定部19は、合計スコアが所定の第3閾値以上である場合、乗員が特定の状態であると判定し、合計スコアが所定の第3閾値未満である場合、乗員が特定の状態ではないと判定する。すなわち、本実施形態では、スコア判定部19は、合計スコアが第3閾値以上である場合、乗員に眠気有りと判定し、合計スコアが第3閾値未満の場合、乗員に眠気無しと判定する。なお、スコア判定部19は、眠気の有無を判定する前に、合計スコアの値を正規化してもよい。第3閾値の具体的な値は、説明変数の値の範囲に応じて適宜決定されてよい。例えば、第3閾値は、各説明変数の値が0~1の範囲内である場合、0.5程度であってもよい。スコア判定部19は、判定結果を通知部15に出力する。
本実施形態に係る通知部15は、スコア判定部19によって乗員が特定の状態であると判定された場合、出力装置5に第4通知を出力させる。第4通知の内容は、例えば、第1通知~第3通知と同様に、乗員に対する警告であってよい。
(説明変数データ33)
説明変数データ33は、各説明変数における判定基準となる全体閾値および個人閾値を記録したデータである。また、説明変数データ33は、乗員個々人が特定の状態であるか否かと、各説明変数との相関の強さを示すデータである。説明変数データ33は、状態判定装置1Cまたは他の装置を用いて、予め乗員毎に作成され、記憶装置3に記憶される。
図12は、説明変数データ33のデータ構造を示す図である。説明変数データ33は、説明変数名に、該説明変数の全体閾値、個人閾値、および、スコア式を対応付けたデータである。説明変数データ33の1レコードは、1つの説明変数についての説明変数データを示す。図12において、「説明変数」列には、説明変数名を示す情報が格納される。「全体閾値」列には、全体閾値が格納される。「個人閾値」列には、個人閾値が格納される。「スコア式」には、スコア式を示す情報が格納される。図12の例では、説明変数データ33はさらに、各説明変数の優先順位を示す情報も含んでいる。
(説明変数データ33の作成方法)
説明変数データ33は、乗員個人のサンプルデータ(以降、個人データと称する)と、複数人のサンプルデータ(以降、全体データと称する)と、に基づいて作成される。なお、全体データに個人データが含まれていてもよい。また、全体データを構成する人数は多いほど好ましい。
個人データおよび全体データはいずれも、説明変数算出部17それぞれと同様の方法で算出した説明変数の値(すなわち、指標値)と、該指標値において、「眠気有り」と判定される確率と、を対応付けたデータである。「眠気有り」と判定される確率は、全体データまたは個人データに含まれる各指標値において、乗員が実際に特定の状態であったか否かを測定し、該測定データをロジスティック回帰等の手法で2値分類することで算出することができる。例えば、個人データおよび全体データは、実施形態1において説明した眠気レベルと、該眠気レベルにおいて被験者が実際に眠気を催す確率と、を対応付けたデータであってもよい。
図13は、ある説明変数と乗員の特定の状態への変化との間に相関関係が無い場合の、全体閾値、個人閾値、およびスコア式を示すグラフである。図14は、図13と同じ説明変数と乗員の特定の状態への変化との間に相関関係が有る場合の、全体閾値、個人閾値、およびスコア式を示すグラフである。図13および図14の横軸は、指標値を示している。
図13および図14の縦軸は、横軸が示す指標値において、「眠気有り」と判定される確率を示している。また、図13および図14の実線の棒グラフは、個人データの分布を示している。一方、図13の点線の棒グラフは、全体データの分布を示している。なお、図13および図14のグラフは、説明変数データ33における各値の算出方法を視覚的に説明するためのものであり、実際に状態判定装置1Cが図示のグラフを作成する必要は無い。
「全体閾値」とは、全体データの全サンプルにおける、乗員が特定の状態(本実施形態では、眠気有り)であると判定された確率の、平均値である。「個人閾値」とは、個人データの全サンプルにおける、乗員が特定の状態であると判定された確率の、平均値である。「スコア式」とは、説明変数と、乗員が特定の状態である確率との相関関係を示す数式である。図示のように、スコア式は、例えば、個人データを平滑化した平滑化曲線の変数式である。後述するが、スコア式に、説明変数の値を代入して得た値が、該説明変数のスコアになる。つまり、本実施形態における「スコア」とは、説明変数毎に算出される数値であって、乗員が特定の状態である可能性を示す値である。
図13に示すように、一般的には特定の状態と相関関係がある説明変数であっても、ある乗員の特定の状態への変化には相関関係が無い場合、個人データの説明変数の値が変動しても、「眠気有り」と判定される確率は大きくは変動しない。一方、全体データの説明変数の値が変動すると、「眠気有り」と判定される確率は上昇する。したがって、図13に示すように、全体閾値よりも個人閾値の方が低くなる。
一方、図14に示すように、ある乗員の特定の状態への変化に相関関係が有る説明変数の場合、個人データの説明変数の値が変動すると、「眠気有り」と判定される確率が上昇する。個人データの説明変数の方が全体データの説明変数よりも相関度が高い場合は、図14に示すように、全体閾値よりも個人閾値の方が高くなる。
状態判定装置1Cまたは他の装置は、このように各説明変数について、全体閾値、ならびに、乗員毎の個人閾値およびスコア式を予め算出しておき、説明変数データ33に記録しておく。これにより、状態判定装置1Cの説明変数算出部17(後述)は、算出した説明変数の値から、スコアを算出することができる。
≪処理の流れ≫
図15は、状態判定装置1Cにおける処理の流れを示すフローチャートである。図15では、センサ群2における各種情報の測定が開始された時点を、処理のスタートとして示している。カメラ21における画像の撮影、および脈拍センサ22における脈拍の測定が開始されると(S21)、データ取得部11はセンサ群2から種々のセンサ情報を遂次取得する。データ取得部11は取得したセンサ情報を、識別部70と、説明変数算出部17A~17Cそれぞれに出力する。なお、データ取得部11は、全てのセンサ情報を、全ての説明変数算出部17にそれぞれ出力する必要は無い。データ取得部11は少なくとも、説明変数算出部17A~17Cそれぞれにおいて説明変数の算出に必要なセンサ情報を説明変数算出部17A~17Cそれぞれに出力すればよい。
識別部70はセンサ情報に基づいて乗員を識別し、識別結果を説明変数選択部71に出力する。説明変数選択部71は、識別部70が識別した乗員に応じた説明変数データ33を読み出して、該乗員の状態判定に使用する説明変数を選択する(S22)。説明変数選択部71は、乗員の状態判定に使用する説明変数に対応する説明変数算出部17に、説明変数の算出を指示する。
以降、説明変数選択部71から指示を受けた各説明変数算出部17と、これらに対応するスコア算出部18によって、各説明変数の算出およびスコア算出が行われる。なお、S22以降であれば、各説明変数の算出およびスコア算出の順序およびタイミングは、特に限定されない。
まず、各説明変数算出部17はそれぞれ、説明変数となる指標値を算出する(S23)。説明変数算出部17はそれぞれ、算出した説明変数を、対応するスコア算出部18に出力する。スコア算出部18はそれぞれ、説明変数が入力されると、説明変数データ33を参照して、入力された説明変数の全体閾値および個人閾値を特定する。スコア算出部18はそれぞれ、説明変数が、該説明変数に対応する全体閾値以上かつ個人閾値以上であるか否かを判定する(S24)。
説明変数が全体閾値以上かつ個人閾値以上である場合(S24でYES)、該判定を行ったスコア算出部18は、説明変数の値に応じてスコアを決定する(S25)。例えば、S23でYESであったスコア算出部18は、説明変数の値を、説明変数データ33に記憶された、該説明変数のスコア式に代入することによって、スコアを求める。
一方、説明変数が全体閾値未満、または説明変数が個人閾値未満の少なくとも一方であった場合(S24でNO)、該判定を行ったスコア算出部18は、該説明変数のスコアを0とする(S26)。
いずれの場合も、各スコア算出部18は、スコア判定部19に算出したスコアを出力する。全説明変数の算出および全説明変数のスコア算出が終了すると、スコア判定部19は入力されたスコアを合計することで、合計スコアを算出する(S27)。スコア判定部19はさらに、合計スコアが第3閾値以上であるか否かを判定する(S28)。合計スコアが第3閾値以上である場合(S28でYES)、スコア判定部19は、乗員に眠気有りと判定する(S29)。通知部15は該判定結果を受けると、出力装置5に第4通知を出力させる(S30)。一方、合計スコアが第3閾値未満である場合(S28でNO)、スコア判定部19は、乗員に眠気無しと判定する(S31)。この場合、通知部15は出力装置5に第4通知を出力させず、処理を終了する。
≪説明変数の選択≫
最後に、説明変数選択部71による説明変数の選択について説明する。図16は、ある乗員の状態判定に使用する説明変数の選択と、該説明変数を用いた状態判定の結果とを模式的に示した図である。便宜上、図16の例では、識別部70が識別した乗員を乗員Aと称する。また、図16においては、第3閾値は0.5であることとする。
図16の1行目は、説明変数の種類を示している。図16の例では、状態判定装置1Cは、6種類の説明変数X1~X6に対応する、6つの説明変数算出部17と、6つのスコア算出部18と、を有することとする。説明変数選択部71は、乗員Aの説明変数データ33を参照することで、乗員Aの状態判定に使用する説明変数を選択する。図示の例では、説明変数選択部71は、説明変数データ33に記憶された優先順位の上から順に、4つの説明変数X1~X4を、乗員の状態判定に使用する説明変数として選択している。
選択する説明変数の個数は特に限定されない。また、説明変数の選択方法も、上述の方法に限定されない。例えば、説明変数選択部71は、乗員Aの説明変数データ33における個人閾値の高い順に、所定の個数の説明変数を、乗員の状態判定に使用することとしてもよい。または、状態判定装置1Cは、乗員Aの説明変数データ33における各説明変数のスコア式を参照し、該スコア式の最大値が高い順、に所定の個数の説明変数を、乗員の状態判定に使用することとしてもよい。
図16の2行目は、各説明変数の値と、全体閾値および個人閾値との比較結果を示している。また、図16の3行目は、各説明変数のスコアを示している。なお、図16において「閾値」とは、全体閾値および個人閾値のうち、値が大きい方の閾値を示している。すなわち、図16において説明変数の値が閾値以上である場合とは、該説明変数の値が全体閾値以上かつ個人閾値以上であることを示す。図示の例では、説明変数X1~X3については、説明変数の値が閾値以上であるため、各スコア算出部18は、各説明変数のスコア式に説明変数X1~X3の値をそれぞれ代入することで、スコアを求める。一方、説明変数X4については、値が閾値以下である。したがって、説明変数X4に対応するスコア算出部18は、説明変数X4のスコアを0とする。
これにより、説明変数の値から、乗員Aが眠気を感じている可能性が低いと推定される場合は、該説明変数のスコアを0とし、合計スコアに寄与させないようにすることができる。よって、状態判定の精度を向上させることができる。
図16の場合、スコア判定部19は図示のように、説明変数X1、X2、およびX3に由来するスコアを合計して、合計スコアを算出する。そして、合計スコアが第3閾値である0.5以上であるため、乗員Aに眠気有りと判定する。
本実施形態に係る処理によれば、乗員の特定の状態への変化に相関が高い説明変数を選択して、その説明変数のスコアを合計して最終的な状態判定の結果を下すことができる。したがって、より正確に乗員の状態を判定することができる。
換言すると、本実施形態に係る処理によれば、乗員の特定の状態への変化に相関が低い説明変数を、状態判定に用いないようにすることができる。よって、乗員が特定の状態であるか否かを正確に判定することができる。
〔実施形態4〕
実施形態1または2に係る状態判定方法と、実施形態3に係る状態判定方法とは、併用してもよい。以下、本開示の第4の実施形態について説明する。なお、実施形態1~3のいずれかで説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を繰り返さない。
図17は、本実施形態に係る状態判定システム400の要部構成を示すブロック図である。状態判定システム400は、実施形態1に係る状態判定システム100と、実施形態3に係る状態判定システム300とを組み合わせた構成をしている。なお、図17では、図面の簡略化のため、サーバ4の内部構成を記載していないが、サーバ4は実施形態1および2に記載のサーバ4と同様の構成である。
本実施形態に係る記憶装置3は、ユーザ情報31と、状態ログ32と、説明変数データ33とを記憶している。また、本実施形態に係る状態判定装置1Dは、状態判定装置1Cの説明変数算出部17に代えて、複数の第2判定部14を備えている。図17の例では、状態判定装置1Dは、3つの第2判定部14A~14Cを備えている。
以下、状態判定装置1Dにおける乗員の状態判定の処理手順を説明する。第2判定部14A~14Cは、実施形態1および2において説明した第2判定部14と同様の構成を有している。第2判定部14A~14Cはそれぞれ、実施形態1において説明した第2判定を実行する。なお、第2判定の開始タイミングについては、図4と同様である。第2判定部14A~14Cは、乗員が特定の状態である、すなわち、「眠気有り」であると判定した場合、それぞれ対応するスコア算出部18A~18Cに、第2判定に使った第2指標値を出力する。なお、第2判定部14A~14Cは、通知部15に判定結果を出力しなくてよい。また、通知部15は、第2通知を出力しなくてよい。
スコア算出部18A~18Cはそれぞれ、入力された第2指標値を説明変数として、実施形態3と同様に、各説明変数のスコアを算出する。スコア算出部18A~18Cは、算出したスコアをそれぞれスコア判定部19に出力する。以降の処理は、実施形態3に係る状態判定装置1Cと同様である。
なお、本実施形態に係る状態判定装置1Dが上述のように第2判定を実施する場合、説明変数データ33は、全体閾値および個人閾値を示す情報を含んでいなくてもよい。また、この場合、状態判定装置1Dは、複数の第2判定のうち、説明変数データ33において、優先順位の高い方から所定数分の第2指標値の算出に係る第2判定のみを実行してもよい。例えば、6種類の第2判定を実行可能な状態判定装置1Dにおいて、優先順位の上位4つまでの判定のみを実行してもよい。
また、本実施形態に係る状態判定装置1Dは、以下のような処理手順で乗員の状態を判定してもよい。第2判定部14A~14Cは、少なくとも、実施形態1および2において説明した、第2指標値算出部141と比較判定部143をそれぞれ含んでいる。第2判定部14A~14Cはそれぞれ、実施形態1において説明した第2判定を実行する。ただし、第2判定部14A~14Cは、図6のS162~S166に示した第2閾値の決定、および、S167に示した第2指標値と第2閾値との比較判定は実行しない。
第2判定部14A~14Cは、図6のS162~S166およびS167の代わりに、説明変数データ33を参照して、図15のS24の処理を実行する。すなわち、第2判定部14A~14Cは、算出した第2指標値が、全体閾値以上、かつ、個人閾値以上である場合、乗員が特定の状態である、すなわち、「眠気有り」であると判定する。そして、特定の状態であると判定した場合、第2判定部14A~14Cは、それぞれ対応するスコア算出部18A~18Cに第2指標値を、説明変数として出力する。
スコア算出部18A~18Cはそれぞれ、入力された第2指標値を説明変数として、実施形態3と同様に、各説明変数のスコアを算出する。スコア算出部18A~18Cは、算出したスコアをそれぞれスコア判定部19に出力する。以降の処理は、実施形態3に係る状態判定装置1Cと同様である。
本実施形態に係る状態判定システム400は、実施形態2に係る状態判定システム200と、実施形態3に係る状態判定システム300とを組み合わせた構成であってもよい。すなわち、状態判定装置1Dは、第3判定部16を備えていてもよい。第3判定部16の機能については、実施形態2において説明したものと同様である。この場合、上述した第2判定部14A~14C、スコア算出部18A~18C、およびスコア判定部19における種々の処理と、第3判定部16における第3判定とは、並行して実施されてよい。
〔変形例〕
本開示の各実施形態に係る状態判定装置1A~1Dにおける各種処理の一部または全部は、サーバ4で実行されてもよい。例えば、実施形態1に係る状態判定装置1A~1Dは、データ取得部11と、通信部13と、通知部15を有しており、状態判定装置1A~1Dのその他の部材が担う処理は、サーバ4のサーバ制御部42が実行してもよい。この場合、状態判定装置1A~1Dは、データ取得部11が取得したセンサ情報を、通信部13を介してサーバ4に送信する。また、状態判定装置1A~1Dの通信部13は、サーバ4から、第1判定、第2判定、第3判定、および、合計スコアを用いた状態判定の少なくともいずれかの判定結果を受信し、該判定結果を通知部15に出力する。通知部15は、前述の各実施形態で説明した通り、判定結果に応じて、出力装置5に各種通知を出力させるか否か判定し、出力させる場合は、第1~第4通知のいずれかを出力装置5に出力させる。
また、本開示の各実施形態に係る状態判定装置1A~1Dは、乗員の眠気の有無に限らず、乗員の種々の状態を判定する装置であってよい。例えば、状態判定装置1A~1Dは、乗員が、運転またはコミュニケーションの少なくとも一方に不適切な状態であるか否かを判定する装置であってもよい。ここで、「運転またはコミュニケーションの少なくとも一方に不適切な状態」とは、例えば、怒り状態、または漫然状態等である。また、センサ群2に含まれる各種センサは、状態判定装置1A~1Dが判定対象とする状態を特定するために必要な情報を取得可能なセンサであってよい。例えば、状態判定装置1A~1Dが、乗員が怒り状態であるか否かを判定する装置である場合、センサ群2は、カメラ21と、座席シートに設置された圧力センサとを含んでいてもよい。そして、各種判定に使用する、状態を特定するための指標値は、カメラ21の撮影画像における、乗員の表情から特定されてもよい。また、該指標値は、圧力センサの測定データが示す、乗員の着座時の動きから特定されてもよい。
〔ソフトウェアによる実現例〕
状態判定装置1A、1B、1C、1D、およびサーバ4の制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、状態判定装置1A、1B、1C、1D、およびサーバ4は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
100、200、300、400 状態判定システム
1A、1B、1C、1D 状態判定装置
11 データ取得部
12 第1判定部
13 通信部
14 第2判定部
141 第2指標値算出部
142 閾値算出部
143 比較判定部
15 通知部
16 第3判定部
17 説明変数算出部
18 スコア算出部
19 スコア判定部
70 識別部
71 説明変数選択部
2 センサ群
21 カメラ
22 脈拍センサ
3 記憶装置
31 ユーザ情報
32 状態ログ
33 説明変数データ
4 サーバ
41 サーバ通信部
42 サーバ制御部
43 サーバ記憶部
431 収集データ
5 出力装置
6 移動体

Claims (10)

  1. 移動体の内部空間に配置された1つ以上のセンサ装置から、前記移動体の乗員に関するセンサ情報を取得する取得部と、
    識別された前記乗員の状態を示す複数の状態指標値のうち、該乗員の、特定の状態への変化に相関が高い状態指標値を説明変数として選択する説明変数選択部と、
    前記センサ情報の少なくとも一部に基づいて、前記説明変数選択部が選択した前記状態指標値を算出する複数の指標値算出部と、
    複数の前記指標値算出部それぞれが算出した前記状態指標値について、前記乗員が特定の状態である可能性を示すスコアを算出するスコア算出部と、
    前記スコアを合計した合計スコアが、所定のスコア閾値以上である場合に、前記乗員が特定の状態であると判定するスコア判定部と、を備えることを特徴とする、状態判定装置。
  2. 前記スコア算出部は、識別された前記乗員の前記状態指標値と、前記特定の状態である確率との相関関係を示す数式に基づいて、前記スコアを算出することを特徴とする、請求項1に記載の状態判定装置。
  3. 管理装置から収集データを受信する受信部と、
    前記収集データに基づいて、前記乗員の状態が前記特定の状態であるか否かを判定するための閾値である状態閾値を、前記説明変数選択部が選択した前記状態指標値それぞれについて算出する状態閾値算出部と、
    前記状態指標値が、該状態指標値に対応する前記状態閾値以上であるか否かを判定する状態判定部と、を備え、
    前記収集データは、他の移動体において算出された前記他の移動体の乗員の前記状態指標値と、該他の移動体において判定された前記他の移動体の乗員の状態とを対応付けたデータを複数含んでおり、
    前記スコア算出部は、前記状態判定部により、前記状態閾値以上であると判定された状態指標値について、スコアを算出することを特徴とする、請求項1または2に記載の状態判定装置。
  4. 前記センサ情報は、生体拍数を示すデータであって、
    前記指標値算出部は、所定の第1期間の前記センサ情報を用いて、前記状態指標値を特定することを特徴とする、請求項1~3のいずれか1項に記載の状態判定装置。
  5. 前記指標値算出部が前記状態指標値を算出する前に、前記センサ情報の少なくとも一部に基づいて、前記乗員の状態が、特定の状態であるか否かを判定する副状態判定部を備えることを特徴とする、請求項4に記載の状態判定装置。
  6. 前記状態指標値、または、前記センサ情報から前記状態指標値を算出する際の中間結果の値に基づいて、前記乗員が特定の状態であるか否かを判定する平均判定部を備え、
    前記平均判定部は、前記状態指標値または前記中間結果の値が、過去の第2期間における前記乗員の状態指標値の平均値以上である場合、または、過去の第2期間における前記乗員の前記中間結果の値の平均値以上である場合に、前記乗員が特定の状態であると判定することを特徴とする、請求項1~5のいずれか1項に記載の状態判定装置。
  7. 前記状態閾値算出部は、
    前記他の移動体において算出された状態指標値の中央値以上の値であって、かつ、
    前記複数のデータのうち、乗員が特定の状態であると判定されたデータが半数以上となる値を、前記移動体における前記状態指標値とすることを特徴とする、請求項3に記載の状態判定装置。
  8. 前記乗員が特定の状態であると判定された場合に、出力装置を介して前記乗員に対する警告を通知する通知部を備えることを特徴とする、請求項1~7のいずれか1項に記載の状態判定装置。
  9. 請求項1~8のいずれか1項に記載の状態判定装置と、
    前記センサ装置と、を含むことを特徴とする、状態判定システム。
  10. プロセッサを備える状態判定装置によって実行される制御方法であって、
    前記プロセッサは、
    移動体の内部空間に配置された1つ以上のセンサ装置から、前記移動体の乗員に関するセンサ情報を取得し
    識別された前記乗員の状態を示す複数の状態指標値のうち、該乗員の、特定の状態への変化に相関が高い状態指標値を説明変数として選択し
    前記センサ情報の少なくとも一部に基づいて、選択した前記状態指標値を算出し
    出された前記状態指標値について、前記乗員が特定の状態である可能性を示すスコアを算出し
    前記スコアを合計した合計スコアが、所定のスコア閾値以上である場合に、前記乗員が特定の状態であると判定することを特徴とする、制御方法。
JP2020121561A 2020-07-15 2020-07-15 状態判定装置、状態判定システム、および制御方法 Active JP7420000B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020121561A JP7420000B2 (ja) 2020-07-15 2020-07-15 状態判定装置、状態判定システム、および制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020121561A JP7420000B2 (ja) 2020-07-15 2020-07-15 状態判定装置、状態判定システム、および制御方法

Publications (2)

Publication Number Publication Date
JP2022018451A JP2022018451A (ja) 2022-01-27
JP7420000B2 true JP7420000B2 (ja) 2024-01-23

Family

ID=80203327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020121561A Active JP7420000B2 (ja) 2020-07-15 2020-07-15 状態判定装置、状態判定システム、および制御方法

Country Status (1)

Country Link
JP (1) JP7420000B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024127844A1 (ja) * 2022-12-14 2024-06-20 住友理工株式会社 モビリティ利用者に対する健康情報サービス提供装置、および搭乗者の健康情報サービス提供装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006068458A (ja) 2004-09-06 2006-03-16 Toyota Motor Corp 生理状態推定装置及び方法
US20070080816A1 (en) 2005-10-12 2007-04-12 Haque M A Vigilance monitoring technique for vehicle operators
JP2008186263A (ja) 2007-01-30 2008-08-14 Denso Corp 覚醒度算出装置
JP2010134608A (ja) 2008-12-03 2010-06-17 Omron Corp 検出装置および方法、並びに、プログラム
JP2018152034A (ja) 2017-03-14 2018-09-27 オムロン株式会社 運転者監視装置、運転者監視方法、学習装置及び学習方法
JP2019063335A (ja) 2017-10-03 2019-04-25 マツダ株式会社 活性度推定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006068458A (ja) 2004-09-06 2006-03-16 Toyota Motor Corp 生理状態推定装置及び方法
US20070080816A1 (en) 2005-10-12 2007-04-12 Haque M A Vigilance monitoring technique for vehicle operators
JP2008186263A (ja) 2007-01-30 2008-08-14 Denso Corp 覚醒度算出装置
JP2010134608A (ja) 2008-12-03 2010-06-17 Omron Corp 検出装置および方法、並びに、プログラム
JP2018152034A (ja) 2017-03-14 2018-09-27 オムロン株式会社 運転者監視装置、運転者監視方法、学習装置及び学習方法
JP2019063335A (ja) 2017-10-03 2019-04-25 マツダ株式会社 活性度推定装置

Also Published As

Publication number Publication date
JP2022018451A (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
US10449856B2 (en) Driving assistance apparatus and driving assistance method
CN107427242B (zh) 脉波检测装置、以及脉波检测程序
US11834052B2 (en) Estimator generation apparatus, monitoring apparatus, estimator generation method, and computer-readable storage medium storing estimator generation program
CN107427233B (zh) 脉波检测装置、以及脉波检测程序
EP3803709B1 (en) Detecting abnormalities in ecg signals
JP6375496B2 (ja) 眠気検出方法及び眠気検出装置
US9408562B2 (en) Pet medical checkup device, pet medical checkup method, and non-transitory computer readable recording medium storing program
JP2017176302A (ja) 眼球運動計測装置、眼球運動計測方法および眼球運動計測プログラム
JP2009018091A (ja) 居眠り検知装置
US8725239B2 (en) Identifying seizures using heart rate decrease
CN112740221A (zh) 生物测定数据捕获和分析
JP7420000B2 (ja) 状態判定装置、状態判定システム、および制御方法
JP7405030B2 (ja) 状態判定装置、状態判定システム、および制御方法
CN106663140A (zh) 用于检测对象的健康状况的设备、系统和方法
KR101741904B1 (ko) 영상기반의 심박수 측정방법 및 이를 이용한 신생아 영상 시스템
CN115100159A (zh) 一种呼吸状态检测方法、装置、设备和存储介质
KR20170128236A (ko) 두개내압의 비-침습적 평가 방법 및 장치
JP6957011B2 (ja) 睡眠段階判定装置、睡眠段階判定方法及びプログラム
CN117136027A (zh) 从rgb图像提取心率的方法和系统
US20220409120A1 (en) Information Processing Method, Computer Program, Information Processing Device, and Information Processing System
CN111956193A (zh) 应用于智能耳机的健康状态检测方法、装置、介质及设备
KR102432275B1 (ko) 우울증 진단을 위한 다중지표 기반의 인공지능을 이용한 데이터 처리 방법
EP4327743A1 (en) Sleeping state estimation system
JP2019111092A (ja) 生体状態推定装置、方法およびプログラム
CN110353626B (zh) 眼球运动特征量计算系统、眼球运动特征量计算方法及眼球运动特征量计算程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231225

R151 Written notification of patent or utility model registration

Ref document number: 7420000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151