JP6828713B2 - 心身状態認識システム - Google Patents

心身状態認識システム Download PDF

Info

Publication number
JP6828713B2
JP6828713B2 JP2018070181A JP2018070181A JP6828713B2 JP 6828713 B2 JP6828713 B2 JP 6828713B2 JP 2018070181 A JP2018070181 A JP 2018070181A JP 2018070181 A JP2018070181 A JP 2018070181A JP 6828713 B2 JP6828713 B2 JP 6828713B2
Authority
JP
Japan
Prior art keywords
unit
person
mental
determination
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018070181A
Other languages
English (en)
Other versions
JP2019179523A (ja
Inventor
慧太 北川
慧太 北川
陽一 半田
陽一 半田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Priority to JP2018070181A priority Critical patent/JP6828713B2/ja
Publication of JP2019179523A publication Critical patent/JP2019179523A/ja
Application granted granted Critical
Publication of JP6828713B2 publication Critical patent/JP6828713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本開示は、心身状態認識システムに関する。
従来、例えば特許文献1(特開2017−45373号公報)に開示されるように、対象空間(例えば会社内や学校内等)において、複数の撮影機器の画像を用いて人物の所在情報を把握するシステムが知られている。特許文献1では、人物が装着する帽子に貼付されたコードを撮影機器の画像から取得することで人物を識別している。
ここで、人の所在の有無のみならず心身の状態を適宜把握することが望まれるケースが想定される。例えば従業員や生徒の労働意欲や体調を把握したいケースや等が考えられる。この点、人手による調査では労力の増大が想定されるとともに調査結果にばらつきが生じる。
人の心身状態を機械的に把握可能なシステムを提供する。
第1観点の心身状態認識システムは、撮影機器と、人抽出部と、集中度判定部と、心身状態判定部と、を備える。撮影機器は、対象空間に設置される。人抽出部は、撮影機器が撮影した画像に含まれる対象人物を、抽出する。集中度判定部は、第1判定を実行する。集中度判定部は、第1判定において、人抽出部によって抽出された対象人物の集中度を判定する。心身状態判定部は、第2判定を実行する。心身状態判定部は、第2判定において、第1判定の結果に基づいて対象人物の心身状態を判定する。
これにより、対象空間に設置される撮影機器の撮影画像を用いて対象人物が抽出され、対象人物に関して、集中度が判定され、集中度の判定結果に基づき心身状態が判定される。その結果、対象人物の心身状態を機械的に把握することが可能となる。
ここでの「集中度」は、行っている作業に対する対象人物の集中の度合いであり、例えば従業員の業務に対する集中の度合いや生徒の学習に対する集中の度合いを特定するパラメータである。
ここでの「心身状態」は、対象人物の精神及び/又は身体の状態(良し悪し)であり、例えば対象人物の精神的及び/又は身体の良し悪しの程度を特定するパラメータである。
第2観点の心身状態認識システムは、第1観点の心身状態認識システムであって、記憶部をさらに備える。記憶部は、第1判定の結果を蓄積する。集中度判定部は、所定のタイミングで、第1判定を繰返し実行する。心身状態判定部は、記憶部に記憶される複数の第1判定の結果に基づいて、第2判定を実行する。これにより、対象人物の心身状態を高精度に把握することが可能となる。
第3観点の心身状態認識システムは、第1観点又は第2観点の心身状態認識システムであって、心身状態判定部は、対象空間に配置されている空気調和機の動作に対する対象人物の反応に基づいて、第2判定の判定結果を補正する。これにより、第2判定の判定結果が、空気調和機の動作に対する対象人物の反応に基づいて補正される。その結果、対象人物の心身状態をさらに高精度に把握することが可能となる。
ここでの「空気調和機の動作」は、例えば発停の切換え、設定温度の増減、風量の増減及び/又は風向の変更等である。
第4観点の心身状態認識システムは、第1観点から第3観点のいずれかの心身状態認識システムであって、人抽出部は、第1学習部を含む。第1学習部は、対象人物が有する特徴を学習する。
第5観点の心身状態認識システムは、第1観点から第4観点のいずれかの心身状態認識システムであって、集中度判定部は、第2学習部を含む。第2学習部は、集中度に応じた対象人物が有する特徴を学習する。これにより、第1判定において対象人物に関して集中度の判定を高精度に行うことが可能となる。
第6観点の心身状態認識システムは、第1観点から第5観点のいずれかの心身状態認識システムであって、出力部をさらに備える。出力部は、第2判定の結果を出力するための機能部である。
第7観点の心身状態認識システムは、第1観点から第6観点のいずれかの心身状態認識システムであって、撮影機器は、空調室内機に配置される。空調室内機は、対象空間に設置される。空調室内機に撮影機器が配置されることにより、対象空間内で広範囲において人物を抽出することが可能となる。
管理システムの概略構成図。 対象施設における各機器の設置態様の一例を示した模式図。 対象空間の一例を示した模式図。 対象空間における室内ユニット、リモコン及び撮影ユニットの設置態様の一例を示した模式図。 管理装置の構成態様を概略的に表わした模式図。 記憶部に含まれる記憶領域を概略的に表わした模式図。 撮影ユニット情報テーブル(撮影ユニット情報)の模式図。 人物情報テーブル(人物情報)の模式図。 抽出データの模式図。 集中度推移データの模式図。 判定情報テーブル(判定情報)の模式図。 心身状態履歴データの模式図。 抽出部による抽出処理の一例を概略的に示した模式図。 表示データの模式図。 管理装置の処理の流れの一例を示したフローチャート。 管理装置の処理の流れの一例を示したフローチャート。
以下、本開示の一実施形態に係る管理システム100(心身状態認識システム)について説明する。なお、以下の実施形態は、具体例であって、技術的範囲を限定するものではなく、趣旨を逸脱しない範囲で適宜変更可能である。
(1)管理システム100
図1は、管理システム100の概略構成図である。図2は、対象施設1における各機器の設置態様の一例を示した模式図である。管理システム100は、特定の空間(対象空間SP)において存在する人物PSに関して個別にデータ(後述の抽出データD2、集中度推移データD3及び心身状態履歴データD4)を生成し、生成したデータに基づいて各人物PSの情報管理(例えば心身状態の管理等)を行うためのシステムである。
本実施形態において、管理システム100は、対象施設1に適用されている。対象施設1は、対象空間SPを含む。本実施形態において、対象施設1は、複数の対象空間SP(SP1、SP2、SP3、SP4、SP5、SP6・・・)を含んでいる。対象空間SPは、例えば図3に示されるように人物PSが活動する空間であり、例えばオフィスとして使用される空間である。ただし、これに限定されるものではなく、対象空間SPは、例えば学校、工場、病院、住居、公共施設又は商業施設等として用いられてもよい。ここでの人物PSは、対象施設1で勤務・学習・生活する人や、対象施設1を訪問する人等である。
管理システム100は、主として、空気調和装置10と、複数の撮影ユニット40と、管理装置60と、を有している。
(1−1)空気調和装置10(空気調和機)
空気調和装置10は、対象空間SPにおいて冷房や暖房等の空気調和を実現する装置である。空気調和装置10は、冷媒回路において蒸気圧縮方式の冷凍サイクルを行うことにより、対象空間SPの冷房又は暖房を行う。
空気調和装置10は、主として、熱源ユニットとしての室外ユニット15と、利用ユニットとしての複数台(ここでは6台以上)の室内ユニット20(20a、20b、20c、20d、20e、20f、・・・)と、複数(ここでは室内ユニット20と同数)のリモコン30(30a、30b、30c、30d、30e、30f、・・・)と、を備えている。
本実施形態において、室内ユニット20aは対象空間SP1に設置され、室内ユニット20bは対象空間SP2に設置され、室内ユニット20cは対象空間SP3に設置され、室内ユニット20dは対象空間SP4に設置され、室内ユニット20eは対象空間SP5に設置され、室内ユニット20fは対象空間SP6に設置されている。空気調和装置10では、室外ユニット15と各室内ユニット20とがガス連絡配管GP及び液連絡配管LPで接続されることで冷媒回路が構成されている。
(1−1−1)室外ユニット15
室外ユニット15は、対象空間SPの外部に設置される。室外ユニット15は、主として、冷媒回路を構成する要素として、複数の冷媒配管、圧縮機、室外熱交換器、膨張弁等を有している(図示省略)。また、温度センサ及び圧力センサ等の各種センサや、送風機等の機器を有している。
また、室外ユニット15は、室外ユニット15内の各種アクチュエータの動作を制御する室外ユニット制御部18を有している。室外ユニット制御部18は、RAMやROM等のメモリやCPUを含むマイクロコンピュータ、通信モジュール、各種電子部品及び電気部品を有する。室外ユニット制御部18は、各種アクチュエータや各種センサと、配線を介して電気的に接続されている。
室外ユニット制御部18は、各室内ユニット20の室内ユニット制御部25(後述)と、通信線cb1を介して接続されており、互いに信号の送受信を行う。また、室外ユニット制御部18は、インターネット等のWAN(Wide Area Network)を含む広域ネットワークNW1に通信線cb2を介して接続されており、広域ネットワークNW1に接続される機器(例えばサーバ50)と互いに信号の送受信を行う。室外ユニット制御部18は、後述の室内ユニット制御部25、リモコン制御部35及びサーバ50と、管理装置60を構成する。
(1−1−2)室内ユニット20(空調室内機)
室内ユニット20は、対象空間SPの天井CIに設置される天井埋込型、又は天井CI付近に設置される天井吊下型の空調室内機である。図4は、対象空間SPにおける室内ユニット20、リモコン30及び撮影ユニット40の設置態様の一例を示した模式図である。図4では、対象空間SPにおいて、各室内ユニット20はその本体部分の一部(吸気口及び排気口)が天井CIから露出するように設置されている。室内ユニット20は、冷媒回路を構成する要素として室内熱交換器や室内膨張弁等を有している。また、室内ユニット20は、対象空間SP内の温度や、冷媒の温度を検出する温度センサや圧力センサ等の各種センサを有している。
また、室内ユニット20は、室内ユニット20内の各種アクチュエータ(送風機や膨張弁等)の動作を制御する室内ユニット制御部25を有している。室内ユニット制御部25は、RAMやROM等のメモリやCPUを含むマイクロコンピュータ、通信モジュール、各種電子部品及び電気部品を有する。室内ユニット制御部25は、各種アクチュエータ及び各種センサと、配線を介して電気的に接続されており、互いに信号の送受信を行う。また、室内ユニット制御部25は、室外ユニット制御部18又は他の室内ユニット制御部25と、通信線cb1を介して接続されており、互いに信号の送受信を行う。また、室内ユニット制御部25は、通信線cb3を介して、対応するリモコン30のリモコン制御部35(後述)と接続されており、互いに信号の送受信を行う。また、室内ユニット制御部25は、通信線cb4を介して、対応する撮影ユニット40と接続されており、互いに信号の送受信を行う。
室内ユニット制御部25は、室外ユニット制御部18、他の室内ユニット制御部25、リモコン制御部35及びサーバ50とともに、管理装置60を構成する。
(1−1−3)リモコン30
リモコン30は、いずれかの室内ユニット20と対応付けられており、対応する室内ユニット20と同一の対象空間SPの側壁SWに設置されている。具体的に、リモコン30aは、室内ユニット20aと対応付けられている。また、リモコン30bは室内ユニット20bと対応付けられ、リモコン30cは室内ユニット20cと対応付けられ、リモコン30dは室内ユニット20dと対応付けられ、リモコン30eは室内ユニット20eと対応付けられ、リモコン30fは室内ユニット20fと対応付けられている。 各リモコン30は、いわゆる有線式のリモートコントロール装置であって、通信線cb3を介して、対応する室内ユニット20(室内ユニット制御部25)と接続されている。
各リモコン30は、各種設定に係るコマンドを、空気調和装置10に入力するための入力装置として機能する。また、リモコン30は、空気調和装置10の運転状態や設定項目を表示する表示装置としても機能する。
各リモコン30は、リモコン30の動作を制御するリモコン制御部35を有している。リモコン制御部35は、室外ユニット制御部18、室内ユニット制御部25及びサーバ50とともに、管理装置60を構成する。
(1−2)撮影ユニット40(撮影機器)
管理システム100は、複数(ここでは6以上)の撮影ユニット40(40a、40b、40c、40d、40e、40f・・・)を有している。撮影ユニット40は、対応する対象空間SP内を撮影し、撮影結果を含むデータ(撮影データD1)を生成し出力するユニットである。撮影ユニット40は、対応する対象空間SPに配置される。本実施形態において、撮影ユニット40は、対応する対象空間SPの天井CI(又は天井付近)に設置される室内ユニット20に配置されている。すなわち、撮影ユニット40は、天井CI又は天井付近(床面よりも天井CIに近い部分)に設置されている。
本実施形態において、撮影ユニット40aは対象空間SP1(室内ユニット20a)に配置され、撮影ユニット40bは対象空間SP2(室内ユニット20b)に配置され、撮影ユニット40cは対象空間SP3(室内ユニット20c)に配置され、撮影ユニット40dは対象空間SP4(室内ユニット20d)に配置され、撮影ユニット40eは対象空間SP5(室内ユニット20e)に配置され、撮影ユニット40fは対象空間SP6(室内ユニット20f)に配置されている。
撮影ユニット40は、撮影部41と、撮影データ生成部42と、撮影データ出力部43と、を有している。撮影部41は、対応する対象空間SPの所定範囲を撮影するためのレンズ(特に限定されないが例えば魚眼レンズや固定焦点レンズ等)及び撮像素子を含む。撮影データ生成部42は、撮影部41の撮像素子によって出力された電気信号をA/D変換し、所定のフォーマットに沿った撮影データD1を生成する。撮影データD1は、対象空間SPの所定範囲を所定のピクセルで表わした画像データ(動画データ)を含む。撮影データ出力部43は、生成された撮影データD1を圧縮して管理装置60(直接的には室内ユニット制御部25)に出力する。
(1−3)管理装置60
管理装置60は、管理システム100の動作を統括的に管理するコンピュータである。本実施形態において、管理装置60は、図5に示されるように、室外ユニット制御部18、室内ユニット制御部25、リモコン制御部35及びサーバ50が通信ネットワークを介して接続されることで構成される。
サーバ50は、管理システム100において、室外ユニット制御部18、室内ユニット制御部25及びリモコン制御部35とともに管理装置60を構成するコンピュータである。サーバ50は、対象空間SPから離れた遠隔地に配置されている。サーバ50は、通信線によって広域ネットワークNW1に接続されており、広域ネットワークNW1を介して室外ユニット制御部18、室内ユニット制御部25及びリモコン制御部35と通信可能に構成されている。
管理装置60は、撮影ユニット40及び端末90と、互いにデータの送受信を行う。管理装置60は、撮影データD1に基づいて処理を行う。より具体的に、管理装置60は、撮影データD1に含まれる人物PSを個別に抽出して、当該人物PSに対応するデータ(集中度推移データD3及び心身状態履歴データD4)を生成して蓄積する。集中度推移データD3は、対象施設1で抽出された各人物PSの集中度の推移(変遷)を特定するデータである。「集中度(覚醒度)」は、行っている作業に対する人物PSの集中の度合いであり、例えば人物PSの業務や学習に対する集中の度合いを特定するパラメータである。集中度推移データD3の詳細については後述する。
心身状態履歴データD4は、対象施設1で抽出された各人物PSの心身状態の履歴を特定するデータである。「心身状態」は、対象人物の精神及び/又は身体の状態(良し悪し)であり、例えば対象人物の精神的及び/又は身体の良し悪しの程度を特定するパラメータである。心身状態履歴データD4の詳細については後述する。
また、管理装置60は、ユーザによって入力されたコマンドに応じて処理を行い、処理結果を出力する。例えば、管理装置60は、特定の人物PSの心身状態に関する情報(例えば現在の心身状態を特定する情報や、心身状態の履歴を特定する情報等)を出力することを要求するコマンド(出力要求コマンド)を入力された場合には、当該コマンドにおいて指定された人物PSに関して、心身状態履歴データD4に基づき、心身状態に関する情報を特定するデータ(後述の表示データD5)を生成して出力する。
また、管理装置60は、心身状態履歴データD4を生成された対象人物PSに関して、心身状態の低下が想定される所定の条件(通知条件)を満たす人物PSに関しては、予め登録されている通知先(例えば本人、又は上司や親等の管理者)に注意を喚起する情報(注意喚起情報)を出力する。
(1−4)端末90
端末90は、管理者や利用者が保持する情報端末である。端末90は、スマートフォンやタブレットPC等の携帯端末や、ラップトップパソコン等のパーソナルコンピュータが想定されるが、他の情報処理機器であってもよい。
端末90は、通信モジュールを有しており、広域ネットワークNW1を介して、他のユニット(室外ユニット制御部18、室内ユニット制御部25、リモコン制御部35、サーバ50)と通信可能に構成されている。端末90は、無線通信及び有線通信のいずれか又は双方によって広域ネットワークNW1に接続される。
端末90は、コマンドを入力するための入力部を有している。管理システム100においては、端末90を、コマンドを入力するための「コマンド入力部」として機能させることが可能である。ユーザは、端末90を用いてコマンドを入力することで、撮影ユニット40や管理装置60の動作を適宜制御可能である。
また、端末90は、情報を表示(出力)する表示部を有している。管理システム100においては、端末90を、情報を表示する「出力部」として機能させることが可能である。ユーザは、端末90によって、管理システム100の動作状況や処理結果を把握可能である。
端末90は、所定のアプリケーションプログラムをインストールすることで、管理装置60に対してコマンドを入力し、管理装置60の応答結果を表示することが可能となる。
(2)管理装置60の詳細
図1に示されるように、管理装置60は、主として、記憶部61、取得部62、抽出データ生成部63、集中度推移データ生成部64、心身状態判定部65、受付部66、情報検索部67及び出力制御部68等の機能部を含んでいる。各機能部は、管理装置60の構成機器(ここでは、室外ユニット制御部18、各室内ユニット制御部25、各リモコン制御部35及びサーバ50)のいずれか又は全てが動作することによって実現される。管理装置60は、独自に或いは他の装置から時刻をリアルタイムに取得可能に構成される。
(2−1)記憶部61
記憶部61は、管理装置60の構成機器のいずれか又は全てに含まれるROM、RAM、フラッシュメモリ、及びハードディスク等のメモリによって構成される。記憶部61は、複数の記憶領域を含み、情報を一時的に記憶する揮発性の記憶領域や、各種情報を蓄積する不揮発性の記憶領域を有している。具体的に、記憶部61には、図6に示されるように、プログラム情報記憶領域M1、環境情報記憶領域M2、システム情報記憶領域M3、人物情報記憶領域M4、撮影データ記憶領域M5、抽出データ記憶領域M6、集中度推移データ記憶領域M7、判定情報記憶領域M8、心身状態履歴データ記憶領域M9、入力情報記憶領域M10、出力情報記憶領域M11及び特徴データ記憶領域M12等の記憶領域が含まれている。各記憶領域に記憶されている各種情報は、適宜更新が可能である。
プログラム情報記憶領域M1には、管理装置60の各部において実行される各種処理を定義した制御プログラムや、各ユニット間における通信に使用される通信プロトコル等が記憶されている。
環境情報記憶領域M2には、対象施設1に関する情報(環境情報)が記憶されている。環境情報には、例えば対象施設1に含まれる各対象空間SPの数、位置、大きさ等を個別に特定する情報が含まれる。
システム情報記憶領域M3には、管理システム100に含まれる各機器に関する情報が記憶されている。例えば、システム情報記憶領域M3には、対象施設1に配置される撮影ユニット40に関する情報(撮影ユニット情報)が記憶されている。撮影ユニット情報には、対象施設1に配置される撮影ユニット40のID、通信アドレス、配置位置及び配置態様等を特定する情報が含まれる。撮影ユニット情報は、例えば図7に示されるような撮影ユニット情報テーブルTB1として記憶される。図7の撮影ユニット情報テーブルTB1では、IDが「0120」の撮影ユニット40の通信アドレスが「172.16.**.01」であり、配置位置が「(対象空間)SP1」であり、配置態様として「室内ユニット20aに内蔵」されること等が特定されている。
人物情報記憶領域M4には、対象施設1において予め登録されている人物PS及び過去に検出された人物PSに関する情報(人物情報)が記憶されている。人物情報には、各人物PSのID(任意又は自動的に付与されるID)、氏名、性別、年齢、所属グループ、集中度の基準値、体質/持病等、及び通知先等を特定する情報が含まれる。人物情報は、例えば図8に示されるような人物情報テーブルTB2として記憶される。図8の人物情報テーブルTB2では、例えばIDが「01139」の人物PSに関して、氏名が「田中 ○○」であり、性別が「男」であり、年齢が「51」であり、所属グループが「G3」であり、集中度の基準値が「4」であり、体質/持病等が「糖尿、高血圧」であり、通知先が「上司」の電子メールアドレス及び電話番号であること等が特定されている。集中度の基準値は、心身状態が不調でない状態で人物PSが作業する場合の集中度として想定される下限値であり、人物PS毎に定義されている。
撮影データ記憶領域M5には、各撮影ユニット40から出力された撮影データD1が記憶されている。撮影データ記憶領域M5においては、撮影ユニット40毎に撮影データD1が蓄積される。
抽出データ記憶領域M6には、撮影ユニット40から出力された撮影データD1から抽出された人物PSを特定するデータ(抽出データD2)が記憶されている。抽出データD2は、撮影データD1の送信元である撮影ユニット40毎に生成される。より詳細には、抽出データD2は、受信した撮影データD1毎に生成される。抽出データD2は、抽出した人物PSを特定する情報、及び抽出した人物PSに関して所在時刻及び集中度を特定する情報等を含んでいる。抽出データD2は、例えば図9に示されるように、送信元撮影ユニット40のIDとその撮影場所、撮影データD1の受信日時、受信した撮影データD1において抽出された各人物PSのID及び集中度等を特定する情報である。図9では、例えば、IDが「0121」の撮影ユニット40から送信され撮影された場所が「(対象空間)SP2」であり撮影された日時が「2018/03/06/17:55」である撮影データD1に関して、抽出された各人物PSのIDが「01139」、「01564」、「00998」、「01321」であり、各人物の集中度がそれぞれ「1」「5」「4」「5」であること等が特定されている。
集中度推移データ記憶領域M7には、対象施設1における人物PSに関する集中度の推移を特定するデータ(集中度推移データD3)が個別に記憶されている。集中度推移データD3は、抽出された人物PSの集中度の推移(変遷)を特定する情報である。集中度推移データD3は、人物PS毎に生成される。集中度推移データD3は、例えば図10に示されるように、人物PSのID、日時(撮影された日時)及び集中度の推移等を含む情報である。図10に示される集中度推移データD3では、例えば、IDが「01139」の人物PSに関して5分毎の集中度の推移が特定されており、「2018/03/06/17:55」における所在場所が「(対象空間)SP2」であり集中度が「1」であること等が特定されている。なお、集中度推移データD3において特定される情報は、必ずしも5分毎である必要はなく、集中度が特定されるタイミングについては適宜変更が可能である。
判定情報記憶領域M8には、人物PSに関する心身状態を判定するうえで用いられる情報(判定情報)が記憶されている。判定情報は、例えば図11に示される判定情報テーブルTB3のように、心身状態と集中度の対応関係を定義した情報である。図11に示される判定情報テーブルTB3では、集中度の推移の状態に応じて心身状態がA、B、C、D、E、Fの6段階で定義されている。
具体的には、心身状態「A」については、人物PSの集中度が「基準値よりも著しく高い」状態であり、当該状態が継続する場合には当該人物PSに関して「業務が適合」していることや「納期が接近」していること等が想定される旨定義されている。また、心身状態「B」については、人物PSの集中度が「基準値よりも高い」状態であり、当該状態が継続する場合には当該人物PSに関して「業務が適合」していること等が想定される旨定義されている。また、心身状態「C」については、人物PSの集中度が「基準値と同等」の状態であり、当該状態が継続する場合には当該人物PSに関して「体調や気分が良好」であること等が想定される旨定義されている。
また、心身状態「D」については、人物PSの集中度が「基準値よりもやや低い」状態であり、当該状態が継続する場合には当該人物PSに関して「疲労」や「一時的なストレス」等が想定される旨定義されている。また、心身状態「E」については、人物PSの集中度が「基準値よりも低い」状態であり、当該状態が継続する場合には当該人物PSに関して「風邪や睡眠不足による体調不良」等が想定される旨定義されている。また、心身状態「F」については、人物PSの集中度が「基準値よりも著しく低い」状態であり、当該状態が継続する場合には当該人物PSに関して「うつ病」、「慢性的なストレス」又は「慢性的な体調不良」等が想定される旨定義されている。
心身状態履歴データ記憶領域M9には、対象施設1における人物PSに関する心身状態の履歴を特定するデータ(心身状態履歴データD4)が個別に記憶されている。心身状態履歴データD4は、各人物PSの心身状態の履歴を特定する情報である。心身状態履歴データD4は、人物PS毎に生成される。心身状態履歴データD4は、例えば図12に示されるように、人物PSのID、日時(撮影された日時)及び心身状態の履歴等を含む情報である。図12に示される心身状態履歴データD4では、例えば、IDが「01139」の人物PSに関する5分毎の心身状態の履歴が特定されている。なお、心身状態履歴データD4において特定される情報は、必ずしも5分毎である必要はなく、心身状態が特定されるタイミングについては適宜変更が可能である。
入力情報記憶領域M10には、管理装置60に入力された情報が記憶されている。例えば、入力情報記憶領域M10には、端末90を介して入力されたコマンドが記憶されている。
出力情報記憶領域M11には、管理装置60から他の装置へ出力される情報が記憶されている。例えば、出力情報記憶領域M11には、端末90に表示させる表示データD5(図14)が記憶されている。
特徴データ記憶領域M12は、人物PSの一般的な特徴、並びに対象空間SPで抽出された人物PSの固有の特徴が個別に特定された特徴データD6が記憶されている。特徴データD6は、人物PS毎に作成される。ここでの「特徴」は、人物PSを一意に特定するのに利用される情報であり、また人物PSの集中度を個別に特定するのに利用される情報である。係る「特徴」は、様々であり、例えば人物PSの部位(例えば頭、つむじ、顔、肩、腕、脚等)の形状、寸法、色、又は動作(動作速度、動作範囲、動作角度)等である。
(2−2)取得部62
取得部62は、各撮影ユニット40から出力される撮影データD1を取得して撮影データ記憶領域M5に適宜格納する機能部である。
(2−3)抽出データ生成部63
抽出データ生成部63は、撮影データ記憶領域M5に記憶されている撮影データD1に含まれる人物PSを抽出して集中度を判定する機能部である。抽出データ生成部63は、人物抽出部631と、集中度判定部633と、を有している。
(2−3−1)人物抽出部631
人物抽出部631は、撮影データ記憶領域M5に記憶されている撮影データD1を取得して、取得した撮影データD1に含まれている人物PSを個別に抽出する処理(抽出処理)を行う。人物抽出部631は、毎時、抽出処理を行う。抽出処理は、撮影データD1毎に(すなわち撮影データD1の送信元の撮影ユニット40毎に)行われる。
人物抽出部631は、第1学習部632を有しており、機械学習を行えるように構成されている。ここでの第1学習部632は、「ニューラルネットワーク」や「ディープラーニング」等の手段を用いて機械学習を行う。係る学習はいわゆる教師あり学習及び教師なし学習のいずれであってもよい。
人物抽出部631による抽出処理は、所定の手段(公知技術を含む)を用いて行われる。例えば、人物抽出部631は、人物PSが持つ特徴を予め定義される特徴データD6に基づいて人物PSを抽出する(検出して特定する)。例えば、人物抽出部631は、撮影データD1において、人物PSが持つ特徴を識別することで人物PSを検出し、識別される特徴と特徴データD6に定義される特徴とを比較することで人物PSを一意に特定する。
人物抽出部631による抽出処理の一例を、図13に示す。図13では、人物抽出部631が、複数のニューラルネットワーク(N1、N2、N3、N4)を用いて、対象空間SPにおける人物PSを抽出する例が示されている。
図13では、まず、撮影データD1が第1ニューラルネットワークN1に入力される。第1ニューラルネットワークN1は、撮影データD1に含まれる各要素間の距離をそれぞれ検出(推定)する処理P1を実行する。
また、第2ニューラルネットワークN2には、撮影データD1とともに処理P1の結果が入力される。第2ニューラルネットワークN2は、処理P1の結果に基づき、撮影データD1に含まれる人物PSの範囲を検出(推定)する処理P2を実行する。人物PSの範囲の検出が可能な場合、人物PSの移動を検出可能であり、後述の処理P3において当該人物PSが有する特徴を取得可能である。
さらに、第3ニューラルネットワークN3には、処理P1の結果とともに処理P2の結果が入力される。第3ニューラルネットワークN3は、処理P1及び処理P2の結果に基づき、撮影データD1に含まれる人物PSの特徴を検出し特定する処理P3を実行する。処理P3では、検出される人物PSの特徴と、特徴データ記憶領域M12に記憶される特徴データD6と、に基づいて人物PSが一意に特定される。例えば、処理P3では、検出される人物PSの各特徴と、特徴データ記憶領域M12に記憶されている各特徴データD6と、の類似度が算出され、算出された類似度が所定の閾値以上となる特徴データD6の対象人物PSが検出された特徴に一致する人物PSとして抽出され、人物PSが一意に特定される。また、検出される人物PSの特徴と、類似度が所定の閾値以上である特徴データD6が特徴データ記憶領域M12に記憶されていない場合には、当該特徴を有する人物PSに関して新たに特徴データD6を生成して新規に検出された人物PSとして記憶する。処理P3の結果、生成される特徴データD6は、例えば100次元のベクトルデータである。
さらに、第4ニューラルネットワークN4には、処理P1の結果とともに処理P2の結果が入力される。第4ニューラルネットワークN4は、処理P1及び処理P2の結果に基づき、撮影データD1に含まれる人物PSの対象空間SPにおける位置(座標)を検出する処理P4を実行する。
このような態様で抽出処理が行われる場合、抽出データ生成部63は、抽出処理において撮影データD1から各要素間の距離を推定し、推定した距離に基づき人物PSを抽出しているといえる。
第1学習部632は、各種情報(例えば撮影データD1や広域ネットワークNW1を介して取得可能な情報)を用いて、各人物PSの特徴を適宜学習する。例えば、第1学習部632は、撮影データD1に含まれる人物PSの特徴を個別具体的に学習し、対応する特徴データD6を適宜更新する。これにより、人物PSの特徴の変動(例えば服装や髪型の変化等)に因る検出結果のゆらぎが抑制される。
人物抽出部631は、抽出処理の結果に基づき、抽出データD2(図8)を生成又は更新して抽出データ記憶領域M6に格納する。人物抽出部631は、抽出データD2において、抽出された人物PSのID、検出された場所(所在場所)、検出された時刻(所在時刻)、を特定する情報を組み入れる。人物抽出部631は、撮影データD1の送信元の撮影ユニット40毎に抽出データD2を生成する。
(2−3−2)集中度判定部633
集中度判定部633は、人物抽出部631によって抽出された人物PSの集中度(覚醒度)を個別に判定する処理(集中度判定処理)を行う。集中度判定部633は、毎時、集中度判定処理(第1判定)を行う。抽出処理は、抽出された人物PS毎に行われる。
集中度判定部633は、第2学習部634を有しており、機械学習を行えるように構成されている。ここでの第2学習部634は、「ニューラルネットワーク」や「ディープラーニング」等の手段を用いて機械学習を行う。係る学習はいわゆる教師あり学習及び教師なし学習のいずれであってもよい。
集中度判定部633による集中度判定処理は、所定の手段(公知技術を含む)を用いて行われる。例えば、集中度判定部633は、抽出された人物PSの部位(例えば頭、つむじ、顔、目元、口元、肩、腕、又は脚等)の動作範囲、動作速度、動作角度又は色等によって判定される。集中度判定部633は、対象となる人物PSに関する人物情報(TB2)や特徴データD6を加味して集中度を判定する。
より具体的には、集中度判定処理では、撮影データD1において抽出された人物PSに関し、人物情報(TB2)や特徴データD6と比較して、各部の動作範囲、動作速度、動作角度及び色等の各種要素が、作業に集中していると想定される状態にあるか否かに基づいて、人物PSの集中度が判定される。例えば、人物PSの各部の動作範囲の変動量が所定時間以上、所定値未満であれば当該人物PSは睡眠状態にあり集中度が低下している状態にあると判定される。また、例えば、人物PSの各部があくびを頻繁にしていると想定される状態にあれば、当該人物PSは集中度が低下している状態にあると判定される。
本実施形態では、集中度判定処理において、対象人物PSの集中度がレベル1−10の10段階で(レベル10に近いほど集中度が大きくなり、レベル1に近いほど集中度が小さくなるように)評価される。
第2学習部634は、各種情報(例えば撮影データD1や広域ネットワークNW1を介して取得可能な情報)を用いて、人物PSの集中度を判定するうえで用いられる情報、条件及びアルゴリズム等を適宜学習する。例えば、第2学習部634は、集中度に応じた人物PSが有する特徴を個別具体的に学習し、対応する人物情報(TB2)や特徴データD6を適宜更新する。これにより、人物PSの集中度が高精度に推定される。
集中度判定部633は、集中度判定処理の結果に基づき、抽出データD2(図8)を生成又は更新して、抽出データ記憶領域M6に格納する。集中度判定部633は、抽出データD2において、抽出された各人物PSの集中度を特定する情報を組み入れる。
集中度判定部633は、所定のタイミングで集中度判定処理を繰返し実行する。
(2−4)集中度推移データ生成部64
集中度推移データ生成部64は、対象人物PSの集中度の推移を特定する情報を含む集中度推移データD3を、抽出データD2に基づいて生成する。集中度推移データ生成部64は、所定のタイミング(例えば5分周期)で集中度推移データD3を人物PS毎に生成する。集中度推移データ生成部64は、生成した集中度推移データD3を集中度推移データ記憶領域M7に格納する。
(2−5)心身状態判定部65
心身状態判定部65は、対象人物PSの心身状態を個別に判定する機能部である。心身状態判定部65は、判定部651と刺激発生部652とを有している。
判定部651は、集中度推移データD3において特定される集中度の推移を参照して対象人物PSの心身状態を判定する処理(心身状態判定処理)を実行する。すなわち、判定部651は、集中度判定処理の判定結果に基づいて対象人物PSの心身状態を判定する。判定部651は、人物情報記憶領域M4に記憶されている人物情報テーブルTB2及び判定情報記憶領域M8に記憶されている判定情報(TB3)を用いて、心身状態判定処理(第2判定)を実行する。判定部651は、各人物PSの集中度推移データD3毎に心身状態判定処理を実行する。換言すると、判定部651は、記憶部61に記憶されている複数の集中度判定処理の結果に基づいて心身状態判定処理を実行する。
例えば、心身状態判定処理では、対象人物PS毎に、集中度推移データD3から特定される集中度と、対応する人物情報テーブルTB2において定義されている集中度の基準値と、の比較結果に基づいて心身状態が判定される。例えば、心身状態判定処理においては、対象人物PSに関して、(集中度推移データD3から特定される)集中度が(対応する人物情報テーブルTB2において定義されている)基準値よりも2以上高い状態にある場合、心身状態「A」と判定される。また、例えば、心身状態判定処理においては、対象人物PSに関して、集中度が基準値よりも1高い状態にある場合、心身状態「B」と判定される。また、例えば、心身状態判定処理においては、対象人物PSに関して、集中度が基準値と等しい状態にある場合、心身状態「C」と判定される。また、例えば、心身状態判定処理においては、対象人物PSに関して、集中度が基準値よりも1低い状態にある場合、心身状態「D」と判定される。また、例えば、心身状態判定処理においては、対象人物PSに関して、集中度が基準値よりも2低い状態にある場合、心身状態「E」と判定される。また、例えば、心身状態判定処理においては、対象人物PSに関して、集中度が基準値よりも3以上低い状態にある場合、心身状態「F」と判定される。
判定部651は、所定のタイミング(例えば5分周期)で心身状態判定処理を実行する。判定部651は、心身状態判定処理を実行した後、処理結果を特定する情報(対象人物PSの心身状態を特定する情報)を含む心身状態履歴データD4を生成又は更新する。判定部651は、生成又は更新した心身状態履歴データD4を心身状態履歴データ記憶領域M9に格納する。
刺激発生部652は、心身状態履歴データ記憶領域M9に記憶されている各心身状態履歴データD4において、所定の条件(刺激発生条件)を満たす人物PS(不調推定人物PS)が存在するか否かを検索する。刺激発生条件は、満たされる場合に心身状態の不調が推定される条件として定義されている。例えば刺激発生条件は、例えば直近の心身状態「D」「E」又は「F」の状態が所定期間を超えて継続する場合に満たされるものとして定義される。
刺激発生部652は、不調推定人物PSが存在する対象空間SPにおいて室内ユニット20の運転状態(発停の切換、設定温度の増減、風量の増減、風向の変更等)を切り換える。例えば、刺激発生部652は、不調推定人物PSの刺激に対する反応を観察すべく、不調推定人物PSに向かって風が吹き出されるように室内ユニット20の風向を切り換える。これにより、室内ユニット20の運転状態が切り換えられ不調推定人物PSに対して刺激が付与される。
刺激発生部652による処理によって不調推定人物PSに対する刺激が付与された後、当該不調推定人物PSの反応が集中度推移データD3に反映されることとなり、集中度推移データD3における集中度の変化に基づいて心身状態が判定部651によって判定され、当該判定結果が心身状態履歴データD4に反映される。すなわち、心身状態判定部65は、対象空間SPに配置されている室内ユニット20の動作に対する対象人物PSの反応に基づいて心身状態判定処理の判定結果を補正する。
(2−6)受付部66
受付部66は、管理装置に入力される情報を取得して入力情報記憶領域M10に格納する。例えば、受付部66は、端末90を介して入力されるコマンドを取得して、入力情報記憶領域M10に格納する。管理装置60に対して入力されるコマンドは、例えば、特定の人物PSの心身状態に関する情報(例えば現在の心身状態、又は所定期間における心身状態の履歴等を特定する情報等)の出力や、心身状態が悪化していると想定される人物PSを特定する情報の出力を指示する出力要求コマンドである。出力要求コマンドにおいては、例えば人物PSのID、氏名又は所属グループ等の情報を用いて対象となる人物PSが指定される。
(2−7)情報検索部67
情報検索部67は、入力情報記憶領域M10に記憶されている各心身状態履歴データD4において、所定の条件(通知条件)を満たす人物PS(不調人物PS)が存在するか否かを検索する。通知条件は、人物PSの心身状態の悪化に伴い、予め登録されている通知先に連絡することが望ましい条件として、制御プログラムや人物情報テーブルTB2等において定義されている。通知条件は、管理者や家族に通知することが望まれる程度に心身状態の悪化が想定される場合に満たされる。通知条件は、例えば直近の心身状態「D」「E」又は「F」の状態が所定期間を超えて継続する場合に満たされる。情報検索部67は、不調人物PSが存在する場合には、当該人物PSに関して予め登録されている通知先(例えばメールアドレス)に、所定の情報(注意喚起情報)を送信する。注意喚起情報は、不調人物PSの体調について上司や近親者に対して注意を喚起する情報であり、例えば電子メールである。
また、情報検索部67は、入力情報記憶領域M10に格納された出力要求コマンドに基づき、処理を実行する。情報検索部67は、出力要求コマンドにおいて指定される人物PSに関し、記憶部61に記憶されている各データ(人物情報テーブルTB2や心身状態履歴データD4等)を参照して検索し、当該人物PSの心身状態に関する情報を示す表示データD5を検索結果として生成する。表示データD5は、例えば図14のような態様で生成される。図14に示される表示データD5では、出力要求コマンドにおいて指定される人物PSのIDが「01139」であり氏名が「田中 ○○」であり所属グループ「G3」であって、「2018/03/05/18:00」から「2018/03/06/18:00」までの期間(指定期間)における心身状態の履歴が特定されている。情報検索部67は、生成した表示データD5を出力情報記憶領域M11に格納する。
(2−8)出力制御部68
出力制御部68は、出力情報記憶領域M11に記憶されているデータを宛先となっている機器へ送信(出力)する。例えば、出力制御部68は、出力情報記憶領域M11に格納された表示データD5を、出力要求コマンドの送信元の端末90へ送信する。これにより、情報検索部67によって生成された表示データD5(心身状態判定処理の結果)が、出力要求コマンドの送信元の端末90へ送信され、当該端末90において出力(表示)される。また、出力制御部68は、注意喚起情報を対応する通知先へ送信(出力)する。
(3)管理装置60による処理の流れ
以下、図15及び図16を参照して、管理装置60の処理の流れの一例を説明する。図15及び図16は、管理装置60の処理の流れの一例を示したフローチャートである。
管理装置60は、図15及び図16のステップS101からステップS112に示すような流れで処理を実行する。なお、図15及び図16に示す処理の流れは、適宜変更が可能であり、処理が適正に行われる限り、いずれかのステップの順序を入れ換えてもよいし、いずれかのステップが同時に実行されてもよいし、図示しない他のステップが追加されてもよい。
ステップS101において、管理装置60は、撮影データD1を受信していない場合(つまり記憶部61に新たな撮影データD1が記憶されない)場合(すなわちNOの場合)には、ステップS111へ進む。一方、管理装置60は、撮影データD1を受信している場合(つまり記憶部61に新たな撮影データD1が記憶されている)場合(すなわちYESの場合)には、ステップS102へ進む。
ステップS102において、管理装置60は、記憶部61から撮影データD1を取得し、取得した撮影データD1に含まれる人物PSを抽出する抽出処理を実行して、抽出データD2を生成する。その後、ステップS103へ進む。
ステップS103において、管理装置60は、抽出処理の結果、人物PSが抽出可能でない場合(撮影データD1において人物PSが検出されない場合)、すなわちNOの場合には、ステップS111へ進む。一方、管理装置60は、抽出処理の結果、人物PSが抽出可能である場合(撮影データD1において人物PSが検出された場合)、すなわちYESの場合には、ステップS104へ進む。
ステップS104において、管理装置60は、抽出処理で抽出された人物PSに関して、所定処理を実行する。例えば、管理装置60は、抽出処理において抽出された人物PSに関して、抽出データD2を生成又は更新する。また、管理装置60は、抽出処理において抽出された人物PSに関して、人物情報テーブルTB2を生成又は更新する。また、管理装置60は、抽出処理において抽出された人物PSに関して、特徴を学習する。また、管理装置60は、抽出処理において抽出された人物PSに関して、特徴データD6を生成又は更新する。管理装置60は、処理を行った後、ステップS105へ進む。
ステップS105において、管理装置60は、抽出処理で抽出された人物PSに関して、集中度判定処理を含む各種処理を実行する。例えば、管理装置60は、抽出処理において抽出された人物PSに関して、集中度判定処理を実行して集中度を判定し、判定結果を踏まえて抽出データD2を生成又は更新する。また、管理装置60は、集中度を判定した人物PSに関して、集中度推移データD3を生成又は更新する。また、管理装置60は、集中度判定処理を実行した対象人物PSに関して、特徴を学習する。また、管理装置60は、集中度判定処理を実行した対象人物PSに関して、特徴データD6を生成又は更新する。管理装置60は、処理を行った後、ステップS106へ進む。
ステップS106において、管理装置60は、抽出処理で抽出された人物PSに関して、心身状態判定処理を含む各種処理を実行する。例えば、管理装置60は、抽出処理において抽出された人物PSに関して、心身状態判定処理を実行して集中度推移データD3に基づき心身状態を判定し、判定結果を踏まえて心身状態履歴データD4を生成又は更新する。また、管理装置60は、集中度を判定した人物PSに関して、集中度推移データD3を生成又は更新する。管理装置60は、処理を行った後、ステップS107へ進む。
ステップS107において、管理装置60は、心身状態履歴データD4を参照して不調推定人物PS(刺激発生条件を満たす人物PS)が存在しない場合(NOの場合)には、ステップS109へ進む。一方、管理装置60は、不調推定人物PSが存在する場合(YESの場合)には、ステップS108へ進む。
ステップS108において、管理装置60は、不調推定人物PSが存在する対象空間SPにおいて室内ユニット20の運転状態の切換(発停の切換、設定温度の増減、風量の増減、又は風向の変更等)を行う。これにより、室内ユニット20の運転状態が切り換えられ不調推定人物PSに対して刺激が付与される。管理装置60は、処理を行った後、ステップS109へ進む。
ステップS109において、管理装置60は、心身状態履歴データD4を参照して不調人物PS(通知条件を満たす人物PS)が存在しない場合(NOの場合)には、ステップS111へ進む。一方、管理装置60は、不調人物PSが存在する場合(YESの場合)には、ステップS110へ進む。
ステップS110において、管理装置60は、対応する対象人物PSに関して登録されている通知先に注意喚起情報を出力する。これにより、被通知者は、対象人物PSに関して心身状態が不調であることを把握可能である。
ステップS111において、管理装置60は、出力要求コマンドを受信していない場合(すなわちNOの場合)には、ステップS101に戻る。一方、管理装置60は、出力要求コマンドを受信している場合(すなわちYESの場合)には、ステップS112へ進む。
ステップS112において、管理装置60は、出力要求コマンドに対応する人物PSに関して心身状態に関する情報を特定する表示データD5を生成する。管理装置60は、生成した表示データD5を、出力要求コマンドの送信元の端末90に出力する。これにより、生成された表示データD5が、出力要求コマンドの送信元の端末90において表示される。管理装置60は、処理を行った後、ステップS101に戻る。
(4)特徴
(4−1)
上記実施形態に係る管理システム100は、対象空間SPに設置される撮影ユニット40と、撮影データD1(撮影ユニット40が撮影した画像)に含まれる対象人物PSを抽出する人物抽出部631と、集中度判定処理を実行する集中度判定部633と、人物抽出部631によって抽出された対象人物PSの集中度を判定する集中度判定部633と、集中度判定処理の結果に基づいて対象人物PSの心身状態を判定する心身状態判定処理を実行する心身状態判定部65と、を有している。
これにより、撮影データD1(対象空間SPに設置される撮影ユニット40の撮影画像)を用いて対象人物PSが抽出され、抽出された対象人物PSに関して集中度が判定されるとともに集中度の判定結果に基づき心身状態が判定されるようになっている。その結果、対象人物PSの心身状態を機械的に把握することが可能となっている。また、各人物PSの心身状態に関して、人手による調査に係るコスト増大が抑制可能となっている。また、精神疾患や体調不良については初期段階での対策が早期回復に重要であるところ、早期発見が可能となっている。
(4−2)
上記実施形態において、集中度判定処理の結果を蓄積する記憶部61を有しており、集中度判定部633は集中度判定処理を繰返し実行し、心身状態判定部65は記憶部61に記憶される複数の集中度判定処理の結果に基づいて心身状態判定処理を実行している。これにより、対象人物PSの心身状態を高精度に把握することが可能となっている。
(4−3)
上記実施形態において、心身状態判定部65は、対象空間SPに配置されている空気調和装置10の動作に対する対象人物PSの反応に基づいて、心身状態判定処理の判定結果を補正する。これにより、心身状態判定処理の判定結果が、空気調和装置10の動作に対する対象人物PSの反応に基づいて補正されるようになっている。その結果、対象人物PSの心身状態をさらに高精度に把握することが可能となっている。
(4−4)
上記実施形態において、人物抽出部631は第1学習部632を含み、第1学習部632は対象人物PSが有する特徴を学習する。これにより、対象人物PSの抽出及び個人の特定を高精度に行うことが可能となっている。
(4−5)
上記実施形態において、集中度判定部633は第2学習部634を含み、第2学習部634は集中度に応じた対象人物PSが有する特徴を学習する。これにより、集中度判定処理において対象人物PSの集中度の判定を高精度に行うことが可能となっている。
(4−6)
上記実施形態において、心身状態判定処理の結果を出力するための端末90(出力部)を有している。これにより、ユーザは、管理装置60の処理結果を容易に把握可能となっている。
(4−7)
上記実施形態に係る管理システム100は、撮影ユニット40は、対象空間SPに設置される室内ユニット20に配置される。室内ユニット20に撮影ユニット40が配置されることにより、対象空間SP内で広範囲において人物PSを抽出することが可能となっている。
(5)変形例
上記実施形態は、以下の変形例に示すように適宜変形が可能である。なお、各変形例は、矛盾が生じない範囲で他の変形例と組み合わせて適用されてもよい。
(5−1)変形例1
上記実施形態では、撮影ユニット40は、対象空間SPの天井CIに埋めこまれる天井埋込型の室内ユニット20内に配置されている。しかし、撮影ユニット40の配置態様は、必ずしもこれに限定されず、適宜変更が可能である。例えば、いずれか/全ての撮影ユニット40は、対象空間SPの天井から吊り下げられる天井吊下型の室内ユニット20内に配置されてもよいし、対象空間SPの側壁SWに設置される壁掛型の室内ユニット20内に配置されてもよい。また、例えば、いずれか/全ての撮影ユニット40は、対象空間SPの天井又は天井付近に配置される限り、必ずしも室内ユニット20内に配置される必要はなく、他の機器内に配置されてもよいし、独立して設置されてもよい。
(5−2)変形例2
上記実施形態では、抽出処理が図13に示すような態様で行われる例について説明した。しかし、抽出処理は、他の態様によって行われてもよいことはもちろんである。例えば、抽出処理は、ニューラルネットワーク以外の手段を用いて実行されてもよい。例えば、管理者等によって予め登録されている人物PSの特徴を定義したデータに基づいて、係る特徴が撮影データD1から抽出されることで人物PSが抽出・特定されてもよい。また、抽出処理においては、必ずしも人物PSの動作に基づいて人物PSが抽出される必要はない。すなわち、抽出処理において用いられる人物PSの特徴については適宜変更が可能である。
また、抽出処理は、必ずしも毎時行われる必要はなく、所定のタイミングで行われてもよい。例えば、抽出処理は、定期的に(例えば5分周期で)行われてもよい。
(5−3)変形例3
上記実施形態では、撮影データD1は、対象空間SPの所定範囲を所定のピクセルで表わした画像データ(動画データ)を含んでいた。しかし、撮影データD1の形式については設置環境や設計仕様等に応じて適宜変更が可能である。例えば、撮影データD1は、対象空間SPの所定範囲を所定のピクセルで表わした画像データ(静止画)であってもよい。
(5−4)変形例4
上記実施形態では、一の対象空間SPに1台の撮影ユニット40が配置されている。しかし、撮影ユニット40の配置態様については、必ずしもこれに限定されず、適宜変更が可能である。例えば、一の対象空間SPに複数台の撮影ユニット40が配置されてもよい。係る場合、複数の撮影ユニット40が撮影した各撮影データD1に基づき人物PSの特徴が識別される。すなわち、一の対象空間SPにおいて異なる撮影角度で撮影された撮影データD1に基づいて抽出処理及び集中度判定処理が行われることから、人物PSの抽出、個人の特定、集中度の判定を高精度に行うことが可能である。
(5−5)変形例5
上記実施形態では、撮影ユニット情報が図7に示されるような撮影ユニット情報テーブルTB1として生成されている。撮影ユニット情報は、必ずしも係る態様で生成される必要はなく、撮影ユニット情報の生成態様については適宜変更が可能である。
(5−6)変形例6
上記実施形態では、人物情報は、例えば図8に示されるような人物情報テーブルTB2として生成されている。人物情報は、必ずしも係る態様で生成される必要はなく、人物情報の生成態様については適宜変更が可能である。すなわち、人物情報テーブルTB2は、図8に含まれる情報のいずれかに代えて他の情報(例えば人物PSの寸法、人物PSの状態、及び人物PS間の関係性等の情報)を含んでいてもよい。
(5−7)変形例7
上記実施形態では、判定情報は、例えば図11に示されるような判定情報テーブルTB3として生成されている。判定情報は、必ずしも係る態様で生成される必要はなく、判定情報の生成態様については適宜変更が可能である。すなわち、判定情報テーブルTB3は、図11に含まれる情報のいずれかに代えて他の情報を含んでいてもよい。
(5−8)変形例8
上記実施形態では、抽出データD2が図9に示されるような態様で生成されている。しかし、抽出データD2は、必ずしも係る態様で生成される必要はなく、抽出データD2の生成態様については適宜変更が可能である。例えば、抽出データD2は、図9に含まれる情報のいずれかに代えて他の情報を含んでいてもよい。
(5−9)変形例9
上記実施形態では、集中度推移データD3が図10に示されるような態様で生成されている。しかし、集中度推移データD3は、必ずしも係る態様で生成される必要はなく、集中度推移データD3の生成態様については適宜変更が可能である。例えば、集中度推移データD3は、図10に含まれる情報のいずれかに代えて他の情報を含んでいてもよい。
(5−10)変形例10
上記実施形態では、心身状態履歴データD4が図12に示されるような態様で生成されている。しかし、心身状態履歴データD4は、必ずしも係る態様で生成される必要はなく、心身状態履歴データD4の生成態様については適宜変更が可能である。例えば、心身状態履歴データD4は、図12に含まれる情報のいずれかに代えて他の情報を含んでいてもよい。
(5−11)変形例11
上記実施形態では、表示データD5が図14に示されるような態様で生成されている。しかし、表示データD5は、必ずしも係る態様で生成される必要はなく、表示データD5の生成態様については適宜変更が可能である。例えば、表示データD5は、図14に含まれる情報のいずれかに代えて他の情報を含んでいてもよい。また、例えば、出力要求コマンドが人物PSの直近の状態を要求するものである場合には、表示データD5は、当該人物PSの最新の心身状態のみを単に特定するものであってもよい。また、例えば、出力要求コマンドが人物PSの現在の状態を要求するものである場合には、指定された人物PSが存在する対象空間SPを撮影する撮影ユニット40の撮影データD1を表示データD5として出力させてもよい。
(5−12)変形例12
上記実施形態では、管理装置60は、撮影データD1において人物PSを抽出した後、抽出された人物PSに関して、所定処理を実行している(図15のステップS104)。ここで、図15のステップS104の処理のいずれかについては適宜省略されてもよい。例えば、管理装置60は、必ずしも抽出処理において抽出された人物PSに関して特徴を学習する必要はない。また、例えば、管理装置60は、必ずしも抽出処理において抽出された人物PSに関して特徴データD6を生成又は更新する必要はない。
(5−13)変形例13
上記実施形態では、管理装置60は、集中度判定処理を実行した後、対象人物PSに関して、所定処理を実行している(図15のステップS105)。ここで、図15のステップS105の処理のいずれかについては適宜省略されてもよい。例えば、管理装置60は、必ずしも集中度判定処理を実行した対象人物PSに関して特徴を学習する必要はない。また、例えば、管理装置60は、必ずしも集中度判定処理を実行した対象人物PSに関して特徴データD6を生成又は更新する必要はない。
(5−14)変形例14
上記実施形態では、管理装置60(集中度判定部633)は、集中度判定処理において、人物PSの部位の動作範囲、動作速度、動作角度又は色等に基づき人物PSの集中度を判定していた。しかし、集中度判定処理において、用いられる人物PSの特徴については適宜変更が可能である。例えば、管理装置60は、集中度判定処理において、人物PSの発汗量や体温に基づいて集中度を判定してもよい。その場合、対象空間SPにおいて人物PSの発汗量や体温を測定する所定のセンサが配置されてもよい。
(5−15)変形例15
上記実施形態では、集中度判定部633は、毎時、集中度判定処理を行っていた。しかし、必ずしもこれに限定されず、集中度判定部633は、所定のタイミング(例えば5分周期)で集中度判定処理を繰返し実行するように構成されてもよい。
(5−16)変形例16
上記実施形態では、集中度が10段階で評価されていた。しかし、集中度は必ずしも係る態様で評価される必要はなく、集中度は、設計仕様や設置環境に応じて定義されればよい。例えば集中度は、9以下又は11以上の段階で評価されてもよい。
(5−17)変形例17
上記実施形態では、心身状態がA、B、C、D、E、Fの6段階で評価されていた。しかし、心身状態は必ずしも係る態様で評価される必要はなく、心身状態は、設計仕様や設置環境に応じて定義されればよい。例えば心身状態は、5以下又は7以上の段階で評価されてもよい。
(5−18)変形例18
上記実施形態では、抽出データ生成部63は、撮影データD1に基づき人物PSの特徴を学習する第1学習部632を有している。しかし、抽出データ生成部63は、必ずしも第1学習部632を有している必要はない。
また、上記実施形態では、抽出データ生成部63は、集中度に応じた人物PSの特徴を学習する第2学習部634を有している。しかし、抽出データ生成部63は、必ずしも第2学習部634を有している必要はない。
一方、心身状態判定部65は、人物PSの心身状態の判定方法を適宜学習する(すなわち機械学習を行う)学習部を有していてもよい。
(5−19)変形例19
上記実施形態では、管理装置60は、抽出処理で抽出された全ての人物PSの集中度判定及び/又は心身状態判定を行っていた。しかし、必ずしもこれに限定されず、管理装置60は、予め登録された特定の人に限って集中度判定及び/又は心身状態判定を行うようにしてもよい。
(5−20)変形例20
上記実施形態では、管理システム100が、複数(6つ)の対象空間SPを含む対象施設1において適用されている。しかし、管理システム100が適用される対象施設1における対象空間SPの数については適宜変更が可能である。例えば、管理システム100は、7以上又は5以下の対象空間SPを含む対象施設に適用されてもよい。また、例えば、管理システム100は、単一の対象空間SPを含む対象施設に適用されてもよい。
(5−21)変形例21
上記実施形態では、端末90が管理装置60に対して出力要求コマンドを入力する「入力部」として機能している。しかし、必ずしもこれに限定されず、端末90以外の装置を係る「入力部」として機能させてもよい。例えばリモコン30、サーバ50又は他の装置を係る「入力部」として機能させてもよい。
また、上記実施形態では、端末90が出力要求コマンドに対する処理結果(表示データD5)を出力する「出力部」として機能している。しかし、必ずしもこれに限定されず、端末90以外の装置を係る「出力部」として機能させてもよい。例えばリモコン30、サーバ50又は他の装置を係る「出力部」として機能させてもよい。
また、「出力部」における情報の出力態様としては、必ずしもデータの表示には限定されない。例えば、「出力部」が音声を出力可能なスピーカを有している場合には、音声データを出力させることで出力要求コマンドに対する処理結果が出力されてもよい。
(5−22)変形例22
上記実施形態では、各ユニット間(例えば、室外ユニット制御部18―室内ユニット制御部25間、室内ユニット制御部25―室内ユニット制御部25間、室内ユニット制御部25―リモコン制御部35間、及び室内ユニット制御部25―撮影ユニット40間)において、通信線を用いて通信ネットワークが構成されていた。しかし、各ユニット間においては、通信線に加えて/通信線に代えて、電波や赤外線を用いた無線通信によって通信ネットワークが構成されてもよいことはもちろんである。また、室外ユニット制御部18又はサーバ50は、通信線に加えて/通信線に代えて、無線通信によって広域ネットワークNW1に接続されてもよい。
(5−23)変形例23
上記実施形態では、サーバ50は、広域ネットワークNW1を介して室外ユニット制御部18、室内ユニット制御部25及びリモコン制御部35と通信可能に構成されていたが、LAN(ローカル・エリア・ネットワーク)を介してこれらのユニットと通信可能に構成されてもよい。
(5−24)変形例24
上記実施形態では、管理装置60は、室外ユニット制御部18、室内ユニット制御部25、リモコン制御部35及びサーバ50が通信ネットワークを介して接続されることで構成されている。しかし、管理装置60の構成態様は、必ずしもこれに限定されず、他の態様で構成されてもよい。例えば、管理装置60の構成機器として、室外ユニット制御部18、室内ユニット制御部25、リモコン制御部35及びサーバ50のいずれかが省略されてもよい。また、例えば、室外ユニット制御部18、室内ユニット制御部25、リモコン制御部35及びサーバ50、のいずれかに代えて/とともに、別の機器が通信ネットワークを介して接続されることで管理装置60が構成されてもよい。また、管理装置60は、必ずしも広域ネットワークNW1に跨って構成される必要はなく、LANに接続される機器のみで構成されてもよい。
(6)
以上、実施形態を説明したが、特許請求の範囲に記載の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
本開示は、心身状態認識システムに利用可能である。
1 :対象施設
10 :空気調和装置(空気調和機)
15 :室外ユニット
18 :室外ユニット制御部
20、(20a―20f):室内ユニット(空調室内機)
25 :室内ユニット制御部
30、(30a―30f):リモコン
35 :リモコン制御部
40、(40a―40f):撮影ユニット(撮影機器)
41 :撮影部
42 :撮影データ生成部
43 :撮影データ出力部
50 :サーバ
60 :管理装置
61 :記憶部
62 :取得部
63 :抽出データ生成部
64 :集中度推移データ生成部
65 :心身状態判定部
66 :受付部
67 :情報検索部
68 :出力制御部
90 :端末(出力部)
100 :管理システム(心身状態認識システム)
631 :人物抽出部
632 :第1学習部
633 :集中度判定部
634 :第2学習部
651 :判定部
652 :刺激発生部
CI :天井
D1 :撮影データ
D2 :抽出データ
D3 :集中度推移データ
D4 :心身状態履歴データ
D5 :表示データ
D6 :特徴データ
GP :ガス連絡配管
LP :液連絡配管
M1 :プログラム情報記憶領域
M2 :環境情報記憶領域
M3 :システム情報記憶領域
M4 :人物情報記憶領域
M5 :撮影データ記憶領域
M6 :抽出データ記憶領域
M7 :集中度推移データ記憶領域
M8 :判定情報記憶領域
M9 :心身状態履歴データ記憶領域
M10 :入力情報記憶領域
M11 :出力情報記憶領域
M12 :特徴データ記憶領域
N1 :第1ニューラルネットワーク
N2 :第2ニューラルネットワーク
N3 :第3ニューラルネットワーク
N4 :第4ニューラルネットワーク
NW1 :広域ネットワーク
PS :人物
SP、(SP1―SP6):対象空間
SW :側壁
TB1 :撮影ユニット情報テーブル
TB2 :人物情報テーブル
TB3 :判定情報テーブル
cb1―cb4 :通信線
特開2017−45373号公報

Claims (7)

  1. 対象空間(SP)に設置される撮影機器(40)と、
    前記撮影機器が撮影した画像に含まれる対象人物(PS)を抽出する人抽出部(631)と、
    前記人抽出部によって抽出された前記対象人物の集中度を判定する第1判定を実行する集中度判定部(633)と、
    前記第1判定の結果に基づいて前記対象人物のストレスを判定する第2判定を実行する心身状態判定部(65)と、
    前記対象人物に対応する通知先を記憶する記憶部と、
    前記第2判定の結果がストレス状態の悪化である場合に、前記通知先に通知を行う通知部と、
    を備える、
    心身状態認識システム(100)。
  2. 前記記憶部は、前記第1判定の結果を更に蓄積
    前記集中度判定部は、所定のタイミングで前記第1判定を繰り返し実行し、
    前記心身状態判定部は、前記記憶部に記憶される複数の前記第1判定の結果に基づいて前記第2判定を実行する、
    請求項1に記載の心身状態認識システム(100)。
  3. 前記心身状態判定部は、前記対象空間に配置されている空気調和機(20)の動作に対する前記対象人物の反応に基づいて、前記第2判定の判定結果を補正する、
    請求項1又は2に記載の心身状態認識システム(100)。
  4. 前記人抽出部は、前記対象人物が有する特徴を学習する第1学習部(632)を含む、
    請求項1から3のいずれか1項に記載の心身状態認識システム(100)。
  5. 前記集中度判定部は、前記集中度に応じた前記対象人物が有する特徴を学習する第2学習部(634)を含む、
    請求項1から4のいずれか1項に記載の心身状態認識システム(100)。
  6. 前記第2判定の結果を出力するための出力部(90)をさらに備える、
    請求項1から5のいずれか1項に記載の心身状態認識システム(100)。
  7. 前記撮影機器は、前記対象空間に設置される空調室内機(20)に配置される、
    請求項1から6のいずれか1項に記載の心身状態認識システム(100)。
JP2018070181A 2018-03-30 2018-03-30 心身状態認識システム Active JP6828713B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018070181A JP6828713B2 (ja) 2018-03-30 2018-03-30 心身状態認識システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018070181A JP6828713B2 (ja) 2018-03-30 2018-03-30 心身状態認識システム

Publications (2)

Publication Number Publication Date
JP2019179523A JP2019179523A (ja) 2019-10-17
JP6828713B2 true JP6828713B2 (ja) 2021-02-10

Family

ID=68278824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018070181A Active JP6828713B2 (ja) 2018-03-30 2018-03-30 心身状態認識システム

Country Status (1)

Country Link
JP (1) JP6828713B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021066575A (ja) * 2019-10-25 2021-04-30 株式会社日立製作所 エレベーターシステム
JPWO2022070788A1 (ja) * 2020-09-29 2022-04-07
WO2023105790A1 (ja) * 2021-12-10 2023-06-15 日本電気株式会社 ストレス推定方法
WO2023144931A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 空調機制御装置、空調機制御システム、空調機制御方法及びプログラム
CN114636219A (zh) * 2022-03-18 2022-06-17 青岛海尔空调器有限总公司 用于控制空调的方法及装置、空调

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10259943A (ja) * 1997-03-19 1998-09-29 Sanyo Electric Co Ltd 空気調和機の制御装置
JP4677940B2 (ja) * 2006-03-27 2011-04-27 トヨタ自動車株式会社 眠気検出装置
KR20130122535A (ko) * 2010-06-07 2013-11-07 어펙티바,아이엔씨. 웹서비스들을 이용한 심리 상태 분석
JP5942138B2 (ja) * 2011-04-22 2016-06-29 パナソニックIpマネジメント株式会社 心身状態回復促進装置およびこれを用いた心身状態回復システム
JP6162382B2 (ja) * 2012-04-23 2017-07-12 マスプロ電工株式会社 動物の監視装置
JP6411373B2 (ja) * 2013-12-17 2018-10-24 シャープ株式会社 認識データ伝送装置、認識データ記録装置及び認識データ記録方法
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体

Also Published As

Publication number Publication date
JP2019179523A (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
JP6828713B2 (ja) 心身状態認識システム
US10584892B2 (en) Air-conditioning control method, air-conditioning control apparatus, and storage medium
JP6117875B2 (ja) 知的空調制御システム及びその制御方法
US10866003B2 (en) Thermostat with preemptive heating, cooling, and ventilation in response to elevated occupancy detection via proxy
US9900173B2 (en) Personalized ambient temperature management
JP6712509B2 (ja) 検知システム
JP5787858B2 (ja) 空調制御システム、空調制御方法及びプログラム
US10078949B2 (en) Systems, devices, and methods for providing heat-source alerts
CN112639370B (zh) 送风控制装置
US11708994B2 (en) System for personalized indoor microclimates
US10353369B2 (en) HVAC system detecting user discomfort
JP6790249B2 (ja) 空調装置、空調システム、空調方法及びプログラム
JP6625233B2 (ja) コントローラ、空気調和システムおよび空気調和機の制御方法
WO2019189179A1 (ja) 情報管理システム
CN110297477A (zh) 使用恒温器数据的hvac故障检测的系统
US20180357547A1 (en) Inter-device coordination apparatus in sensor network, inter-device coordination method, inter-device coordination program and recording medium storing the program
KR20150018663A (ko) 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템 및 방법
US20210142051A1 (en) Information management system
JP2019179524A (ja) 物品管理システム
JP6635857B2 (ja) 機器制御システム、機器制御方法、コントローラ、及び機器制御プログラム
JP7212500B2 (ja) 遠隔管理装置及び遠隔管理システム
WO2019239473A1 (ja) 制御システム、空気調和機およびサーバ
WO2015111149A1 (ja) 空気調和システム
JP2021121906A (ja) 機器制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210104

R151 Written notification of patent or utility model registration

Ref document number: 6828713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151