JP7183232B2 - 体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法 - Google Patents

体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法 Download PDF

Info

Publication number
JP7183232B2
JP7183232B2 JP2020159429A JP2020159429A JP7183232B2 JP 7183232 B2 JP7183232 B2 JP 7183232B2 JP 2020159429 A JP2020159429 A JP 2020159429A JP 2020159429 A JP2020159429 A JP 2020159429A JP 7183232 B2 JP7183232 B2 JP 7183232B2
Authority
JP
Japan
Prior art keywords
person
information
physical condition
database
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020159429A
Other languages
English (en)
Other versions
JP2022052910A (ja
Inventor
有之 岸本
強一 櫻井
隆司 峯邑
元勇 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2020159429A priority Critical patent/JP7183232B2/ja
Publication of JP2022052910A publication Critical patent/JP2022052910A/ja
Application granted granted Critical
Publication of JP7183232B2 publication Critical patent/JP7183232B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明の実施形態は、体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法に関する。
近年、雇用制度が見直され、企業においてより長く働くことができる一方、企業における従業員の高齢化が進んできており、企業としてはこの限られた人的資源をより適切に管理していく必要がある。その一つの方法として従業員の体調管理があり、体調を客観的かつ適切に評価し、必要に応じてその後適切な対応を迅速に行うことが要求されるところである。
従来、画像センサを用いて、オフィスで働く従業員の身体的、精神的な健康状態を監視するための技術が知られている。既存の技術では、人の位置、体の動きを画像センサで監視し、会話が無く着席状態が長い状態を、メンタル状態が悪化する兆しとして管理者等に警告するようにしている。
特開2019-101952号公報
しかし、オフィスで働く人が、たまたま会話が無く着席状態が長かったとしても、それは業務に集中し良い仕事ができていたということもあり、単に人の動きだけからその人の体調を正確に判断しようとすることは難しいことは経験則上、知りうるところで、その人たちの体調をより適切に評価できるものが要求されていた。
そこで、本発明の目的は、人の体調を評価する体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法を提供することにある。
実施形態によれば、体調評価システムは、人を検知する人感センサと、人感センサと通信可能なサーバと、サーバからアクセス可能なデータベースとを具備する。データベースは、人ごとの健康履歴情報を記憶する病歴・動作データベースを含む。人感センサは、所定エリアを撮像して得られた画像データを解析して、人の動作情報に係るセンサデータを生成する解析部を備える。サーバは、受信部、取得部、および計算部を備える。受信部は、センサデータを人感センサから受信する。取得部は、病歴・動作データベースから健康履歴情報を取得する。計算部は、受信されたセンサデータに係る人の動作情報と、健康履歴情報とに基づいて、人の体調の傾向を示すスコアを計算する。
図1は、ビルのフロア内の一例を示す図である。 図2は、実施形態に係る体調評価システムの一例を示す図である。 図3は、画像センサ3の一例を示すブロック図である。 図4は、画像センサ3で得られた画像データの一例を示す図である。 図5は、画像センサ3のセンシング項目の一例を示す図である。 図6は、人の動作情報について説明するための模式図である。 図7は、動作情報の一例を示す図である。 図8は、病歴・動作データベース42に記憶される情報の一例を示す図である。 図9は、個人情報データベース43に記憶される情報の一例を示す図である。 図10は、オフィスデータベース44に記憶される情報の一例を示す図である。 図11は、クラウドサーバ200の一例を示すブロック図である。 図12は、人の体調の傾向を示すスコアについて説明するための図である。 図13は、実施形態に係わる体調評価システムにおける処理手順の一例を示すシーケンス図である。 図14は、人の健康管理をするためのメッセージデータの一例を示す図である。
人感センサである画像センサは、物理センサや赤外線センサよりも多様な情報を取得することができる。通信機能を持つものもあり、IoT(Internet of Things)技術との親和性も高い。さらには、ビッグデータ解析のためのエッジデバイスとしても期待されている。
魚眼レンズや広角カメラなどを用いれば、1台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備える画像センサも知られている。実施形態に係わる画像センサは、視野内に捕えた映像を撮影して取得した画像データを処理して、例えば人間情報や環境情報を得ることができる。
人間情報は、対象空間に存在する人間に関する情報であり、例えばエリア内の人数、人の行動、人の活動量、人の存在または不在を示す在・不在、あるいは、人が歩いているか、または1つの場所に留まっているかを示す歩行・滞留などを挙げることができる。人物に付随する物体(物品)、つまり荷物の有無も人間情報の一例である。環境情報は、制御対象の空間(対象空間)の環境に関する情報であり、その一例として店舗の照度分布、あるいは温度分布などを挙げることができる。
人間情報および環境情報は、対象空間ごとに算出することができる。あるいは、対象空間を複数に分割した小領域(エリア)毎に、人間情報や環境情報を算出することもできる。この実施形態では、特に、オフィスビルにおける人間の動作を示す、動作情報に着目する。
<構成>
図1は、ビルのフロア内の一例を示す図である。図1に示されるように、照明機器1、空調機器2の吹き出し口、および画像センサ3が、各フロアの例えば天井に配設される。画像センサ3は、視野内に捕えた映像を撮影して画像データを取得する。この画像データは画像センサ3において処理され、動作情報が生成される。
<システム>
図2は、実施形態に係る体調評価システムの一例を示す図である。図2において、複数の画像センサ3(3-1~3-n)が、オフィスビル100の各フロアの例えば天井に、執務エリアを見下ろすかたちで配設される。画像センサ3は、執務エリアを視野内に捉え、視野に捕えたものを撮像して画像データを生成する。画像データは、例えばオフィスの従業員(人)、机や席(椅子)、什器などを含む。画像センサ3は、画像データを解析して、人の動作情報を含むセンサデータを生成する。
監視カメラ3-0は、オフィスビル100の入り口や入場ゲート付近に設置され、入場者を正面方向から撮像して、従業員や訪問者の顔画像データ、あるいは全身像データを取得する。
各画像センサ3は、例えば管理室に配置されたゲートウェイ(GW)7に、信号線4を介して接続される。信号線4のプロトコルには、EtherCAT(登録商標)やBACnet(登録商標)、TCP/IP(Transmission Control Protocol / Internet Protocol)、UDP/IPなどを適用できる。
ゲートウェイ7は、ビル内ネットワーク5に接続される。ビル内ネットワーク5の通信プロトコルには、Building Automation and Control Networking protocol(BACnet(登録商標))、DALI(登録商標)、ZigBee(登録商標)、ECHONET Lite(登録商標)等を適用することが可能である。
例えば、ファイヤウォール6および管理サーバ8が、ビル内ネットワーク5に接続される。管理サーバ8は、画像センサ3等から取得した各種の情報をもとに、オフィスビル100の照明、空調、安全などを管理する。ビル内ネットワーク5に接続されたストレージは、センサデータベース9aを記憶する。センサデータベース9aは、画像センサ3で生成されたセンサデータを記憶する。ファイヤウォール6は、例えばインターネット上に形成された専用線ネットワーク300を介して、クラウド400に接続される。
クラウド(クラウドコンピューティングシステム)400は、クラウドサーバ200を中核とし、監視カメラ41、およびメールサーバ500等を備える。また、クラウド400は、いずれもクラウドサーバ200からアクセス可能な病歴・動作データベース42、個人情報データベース43、および、オフィスデータベース44を備える。さらに、ユーザの所持するスマートフォンやタブレット20が、無線を経由してクラウド400にアクセスすることができる。
<画像センサ>
図3は、画像センサ3の一例を示すブロック図である。画像センサ3は、カメラ部31、記憶部32、プロセッサ33、および通信部34を備える。これらは内部バス35を介して互いに接続される。
カメラ部31は、魚眼レンズ31a、絞り機構31b、撮像素子(イメージセンサ)31cおよびレジスタ30を備える。魚眼レンズ31aは、視野内の映像を撮像素子31cに結像する。実施形態では、魚眼レンズ31aは、執務エリアを視野に捉えていて、執務エリアの映像を撮像素子31cに結像する。執務エリアは複数の領域に分割されても良く、個々の領域を一つの画像センサで撮像し、複数の画像センサで得られた画像データを統合して執務エリアの全領域をカバーするようにしても良い。
撮像素子31cは、CMOS(相補型金属酸化膜半導体)に代表されるイメージセンサであり、例えば毎秒30フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化されて画像データが生成される。画像データは人の顔画像データを含んでよい。撮像素子31cへの入射光量は絞り機構31bにより調節される。
レジスタ30は、カメラ情報30aを記憶する。カメラ情報30aは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部31に関する情報、あるいは画像センサ3それ自体に関する情報である。
記憶部32は、SDRAM(Synchronous Dynamic RAM)やEPROM(Erasable Programmable ROM)などの半導体メモリである。記憶部32は、カメラ部31により取得された顔画像データを含む画像データ32a、および、実施形態に係わる各種の機能をプロセッサ33に実行させるためのプログラム32b、画像センサを一意に区別するためのセンサID(IDentification)32c、および、辞書データ32dを記憶する。
辞書データ32dは、画像センサ3における検出項目(人、物、男性、女性など)に応じて用意される、いわばテンプレートデータに類するデータである。例えば『椅子』の検出向けに用意された辞書データ32dを用いてテンプレートマッチング処理を行うことで、画像データから椅子が検出される。その精度や椅子のタイプ(オフィスチェア、ソファー、座椅子など)や色を区別可能とするために、多様な辞書データ32dが予め用意される。このほか、車椅子、ベビーカー、子供、カート、白杖利用者、徘徊老人、不審人物、迷子、逃げ遅れた人物、等を検出するための辞書データを作成することができる。作成方法の一例としては、例えばサポートベクトルマシンやボルツマンマシンなどの、機械学習(Machine-Learning)の枠組みを利用することができる。
プロセッサ33は、記憶部32に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ33は、例えばマルチコアCPU(Central Processing Unit)を備え、画像処理を高速で実行することについてチューニングされたLSI(Large Scale Integration)である。FPGA(Field Programmable Gate Array)等でプロセッサ15を構成することもできる。MPU(Micro Processing Unit)もプロセッサの一つである。
通信部34は、信号線4に接続可能で、ゲートウェイ7、管理サーバ8、クラウド400、およびクラウドサーバ200とのデータの授受を仲介する。
ところで、プロセッサ33は、実施形態に係る処理機能として、検出部33a、特徴量計算部33b、解析部33c、および学習部33dを備える。検出部33a、特徴量計算部33b、解析部33c、および学習部33dは、例えば、プロセッサ33のレジスタにロードされたプログラム32bに従い、プロセッサ33が演算処理を実行する過程で生成される、プロセスである。
検出部33aは、辞書データ32dを用いて視野内の対象を検出する。実施形態では、検出対象として人を想定する。すなわち検出部33aは、検出項目ごとに用意される辞書データセットを使用して、画像データ32aから執務エリア内の人を検出する。
特徴量計算部33bは、記憶部32に記憶された画像データ32aを所定のアルゴリズムで処理して、視野内の人や物体に係わる特徴量を抽出する。例えば、画像データの各フレームの輝度の変化をピクセルごとにトレースし、その時系列を分析することで動き特徴量を計算することができる。輝度勾配方向ヒストグラム(histograms of oriented gradients:HOG)特徴量、コントラスト、解像度、S/N比、および色調などの特徴量が知られている。また、輝度勾配方向共起ヒストグラム(Co-occurrence HOG:Co-HOG)特徴量、Haar-Like特徴量なども特徴量として知られている。
解析部33cは、画像データ32aを解析して人の位置、属性情報、あるいは滞在時間などを含むセンサデータを生成する。すなわち解析部33cは、例えば特徴量計算部33bで得られた特徴量に基づき、人間情報(人の位置、人の在/不在、人数、人の行動、人の活動量、荷物の有無など)や環境情報(照度分布、温度分布等)を計算する。また、人セル位置、在/不在、滞在時間、歩行/滞留などのセンシング項目もある。解析部33cは、さらに、男性、女性、若年、中年、老年などの、より詳しい属性情報をセンシングすることも可能である。
さらに解析部33cは、人間情報、環境情報、特徴量などを参照し、例えばルールベースによる認識、あるいは機械学習による認識により、執務エリアにおける人の動作情報を取得する。例えば、動き特徴量を用いたパターン認識技術により、人の動きの傾向を示す情報(動き経路情報、動きの特徴、人の集団(クラスタ)の個々人の動きの特徴など)を検知することができる。
学習部33dは、画像データ32a、および特徴量計算部33bの出力に基づいて、解析部33cによる解析結果の正答率を向上させるべく、学習を行う。
図4は、各フロアの例えば天井に、執務エリアを見下ろすかたちで配設された画像センサ3で得られた画像データの一例を示す図である。この画像データのフレームは、(x)軸および(y)軸方向にそれぞれ7分割され、7×7=49個のセルに分割される。中央の画像センサ3の視野には4個のテーブルと、テーブルごとに4つの席が捉えられている。画像センサ3は、(x、y)=(2,2)、(2,6)、(6,6)、(1,4)のセルに人を検出し、人セル位置として図4に示されるセンサデータを得る。
図5に示されるように、図4の環境に対応して、セル(2,2)、(2,6)、(6,6)には在フラグ1が立つ。セル(1,4)については在フラグが0であり、(移動中)を検知されたことが示される。これらをまとめて、[在不在]=(1,1,1,0)のセンサデータが得られる。人を検知された各セルにつき、[滞在(在席)時間]項目として、例えば(30,30,40,00)が検知される。単位は(分)である。[歩行滞留]として、各セルに(0,0,0,1)が検知される。
さらに、各セル位置(x、y)=(2,2)、(2,6)、(6,6)、(1,4)の人の属性が、例えば男,女,女,男として特定され、それぞれを区別するための識別情報(人ID)が、例えば001,002,003,004として付与される。
解析部33cにより計算されるセンサデータの例として、(1)人の有無、(2)人数、(3)人の活動量、(4)照度、(5)歩行者の滞留状況(歩行滞留)、について、さらに詳しく説明する。
(1)人の有無(人の在又は不在)の検知
例えば、解析部33cは、画像間の差分に基づいて画像内の人物領域を識別することにより人の有無を検知してもよい。あるいは、人物認識技術を応用して人の有無を検知することもできる。画像間の差分には、背景画像との差分や、時間的に連続する画像間の差分(フレーム間差分)などが用いられてもよい。
(2)人数の推定
例えば、解析部33cは、(1)と同様の方法で画像内の人物領域を識別し、識別された人物領域の画像データを画像処理して、対象空間に存在する人の人数を推定してもよい。
(3)人の活動量の推定
例えば、解析部33cは、フレーム間差分などを用いて動き領域を抽出し、抽出された動き領域の大きさや形状等に基づいて活動量を推定してもよい。例えば、活動量は“無”、“小”、“中”、“大”などの段階で推定されてもよいし、METs(Metabolic Equivalents)等の指標値として推定されてもよい。解析部33cは、部分空間ごとに動き領域を抽出し、部分空間ごとの活動量を推定してもよい。
(4)照度の推定
例えば、解析部33cは、画像と、カメラ部31の撮像設定値(例えばゲインや露光時間など)とに基づいて対象空間(あるいは部分空間ごと)の照度を推定してもよい。
(5)歩行滞留の検知
例えば、解析部33cは、フレーム間差分などを用いて動き領域を抽出し、抽出された動き領域の大きさや形状等に基づいて歩行滞留を検知してもよい。
画像センサ3は、図4に示されるようなセンサデータを繰り返し生成する。センサデータは画像センサ3からゲートウェイ7を経由してクラウドサーバ200に送信される。
さらに、実施形態では、画像センサ3の解析部33cにおいて、人の動作情報を算出する。
図6は、人の動作情報について説明するための模式図である。動作情報とは、例えば人の動きやその傾向、移動軌跡、あるいは行動などを表現する情報であり、各画像センサ3においてリアルタイムで取得される。図6に示されるように或る人の動線が、限度を超えて不規則な軌跡を描いたとすると、その人は眩暈がしていたり、酩酊していたり、平衡感覚を失っていたりと、いずれにせよ体調の良くないことがうかがえる。このような動きの傾向は数値化することが可能であり、例えばマシンラーニングの手法により健康/不健康の2通りにクラス分類することができる。
また、仮に一つの場所から動かない人であっても、くしゃみ、咳などの症状を呈することがあり、これらの特徴的な動きは画像センサ3で解析されて、行動情報に分類される。さらに、集団の中央にいる人から放射状に他の人が離れてゆく動きが検出されたとする。このような場合、その中央にいる人はマスク無しで咳をしたか、あるいはくしゃみをしたりした可能性が高い。近年のCOVID-19による社会情勢を鑑み、このような特徴的な動きが観測されることが多くなると考えられるが、これも数値化して動作情報として用いることができる。
図7は、動作情報の一例を示す図である。クラス分類により、例えばくしゃみ、ふらつき、咳の3通りに人の動きを分類して、それぞれの動きについての確からしさを点数化することができる。点数は例えば100点満点とし、数値の大きいほど可能性が高いとする。図7によれば、例えばある時点においてID=001の人はくしゃみをし、ID=002の人は咳をした可能性の高いことが分かる。動作情報はリアルタイムに計算され、点数は次々と変化してゆく。
図8は、図2の病歴・動作データベース42に記憶される情報の一例を示す図である。病歴・動作データベース42は、個人に対応付けられたID(IDentification)ごとに、例えば既往歴、体質、あるいは喫煙歴などの、健康に関する履歴情報(健康履歴情報)を対応付けて登録したデータベースである。この種のデータベースは、企業として許可を得て、関係する病院で有する患者の病歴等に関するデータベースから必要な情報を収集したり、企業の健康診断において、産業医面談や、従業員に対するアンケート形式の質問に回答してもらうことで各従業員から収集することで、構築されるものである。また、個人のIDは、例えばICカードなどで一意に特定することが可能である。
図9は、図2の個人情報データベース43に記憶される情報の一例を示す図である。個人情報データベース43は、個人のIDに、年齢、住所、あるいは渡航歴などの個人情報を対応付けて登録したデータベースである。この種のデータベースは、例えば自治体のデータベースから許可を受けて必要な情報を収集したり、アンケート形式により収集した情報、あるいは勤務先のデータベースに問い合わせるなどの方法で構築することができる。
図10は、図2のオフィスデータベース44に記憶される情報の一例を示す図である。オフィスデータベース44は、個人のIDに対応づけて、毎日の実際の入室/退室時刻、毎日の業務予定、出張先などの、従業員ごとに予定と実際の就業情報を対応付けて登録したデータベースである。この種のデータベースは、各個人のスケジュールや勤怠情報を、それぞれの勤務先からイントラネット経由で収集するなどの方法で構築することができる。
<クラウドサーバ>
図11は、クラウドサーバ200の一例を示すブロック図である。クラウドサーバ200は、CPUやMPU等のプロセッサ210と、ROM(Read Only Memory)220およびRAM(Random Access Memory)230を備えるコンピュータである。クラウドサーバ200は、さらに、ハードディスクドライブ(Hard Disk Drive:HDD)などの記憶部240、光学メディアドライブ260、および、通信部270を備える。
ROM220は、BIOS(Basic Input Output System)やUEFI(Unified Extensible Firmware Interface)などの基本プログラム、および各種の設定データ等を記憶する。RAM230は、記憶部240からロードされたプログラムやデータを一時的に記憶する。
光学メディアドライブ260は、CD-ROM280などの記録媒体に記録されたディジタルデータを読み取る。クラウドサーバ200で実行される各種プログラムは、例えばCD-ROM280に記録されて頒布される。このCD-ROM280に格納されたプログラムは光学メディアドライブ260により読み取られ、記憶部240にインストールされる。
通信部270は、専用線ネットワーク300およびファイヤウォール6経由での、画像センサシステムとの通信を制御する。
記憶部240は、プロセッサ210により実行されるプログラム240aに加え、クラウド400の各データベースと同等の病歴・動作データベース42、個人情報データベース43、およびオフィスデータベース44を記憶する。プログラム240aは、クラウドサーバ200を、受信部200aとして機能させるための命令と、取得部200bとして機能させるための命令と、計算部200cとして機能させるための命令とを含む。
ところで、図11においてプロセッサ210は、その機能として受信部200a、取得部200b、および計算部200cを備える。
受信部200aは、画像センサ3(図2、図3)で生成されたセンサデータを、それぞれの画像センサ3から直接、あるいはセンサデータベース9aを経由して受信する。例えばクラウドサーバ200は、例えば一定のポーリング周期でセンサデータ取得要求をゲートウェイ7に送信する。この要求を受け付けたゲートウェイ7は、クラウドサーバ200にセンサデータを送信する。受信部200aは、送信されたセンサデータを受信する。
取得部200bは、病歴・動作データベース42にアクセスして健康履歴情報を取得する。また取得部200bは、個人情報データベース43にアクセスして、各個人の個人情報を取得する。また取得部200bは、オフィスデータベース44にアクセスして、各個人の就業情報を取得する。
計算部200cは、画像センサから受信したセンサデータに含まれる、人の動作情報と、病歴・動作データベース42から取得した健康履歴情報とに基づいて、人の体調の傾向を示すスコアを、リアルタイムに計算する。このスコアは例えばセンサデータが取得されるたびに、人ごとにリアルタイムで計算される。仮に、スコアが所定の範囲を逸脱した人が現れれば、メールサーバ500はその人本人、あるいはその人の関係者(上司など)の少なくともどちらかに、体調が懸念されることを示すメールを送信して警告する。
図12は、人の体調の傾向を示すスコアについて説明するための図である。例えば健康、鼻炎(発熱無し)、風邪(発熱有り)の3通りの体調について、人ごとに数値化したスコア(確からしさ)を計算することができる。スコアは100点満点で、数値の大きいほど可能性が高い。
図7の動作情報によれば、ID=001の人の動きスコアは、くしゃみ=80、ふらつき=5、咳=3である。図8の病歴・動作データベースによれば、この人は花粉アレルギーの体質を持つので、総合的に、この人は鼻炎である可能性の高いことが判定される。よってID=001の人についてのスコアは、例えば(健康、鼻炎、風邪)=(30,80,5)の数値の組(ベクトル)として計算される(図12)。この種のスコアの計算は、多変量解析や、機械学習の枠組みを用いて実現可能である。つまり、リアルタイムの動作情報と、予め登録された病歴・動作データベース42、個人情報データベース43、オフィスデータベース44の各情報を、予め作成された学習済みモデルの入力層に入力すれば、中間層での重み付け演算を経て出力層からスコアを得ることができる。
図12によれば、ID=002の人の風邪(発熱有り)のスコアが90点と、突出して高い。発熱が疑われ、さらに個人情報データベース(図9)によれば海外(AAA国)への渡航歴があることから、COVID-19にり患している可能性もある。病歴・動作データベースにCOVID-19の罹患歴が登録されていなければ、その可能性はますます高まるものと思われる。このようなケースでは、その人本人だけでなく、上司や、さらには、画像データ解析で分かったID=002の濃厚接触者に対しても警告メッセージを通知するのが好ましい。画像データ解析によりマスク着用者/非着用者についての知見を得て、非着用者だけに警告しても良い。次に、上記構成における作用を説明する。
<作用>
図13は、実施形態に係わる体調評価システムにおける処理手順の一例を示すシーケンス図である。図13において、画像センサ3は、それぞれ自らの割り当てエリアを撮像し(ステップS1)、画像データを解析して(ステップS2)、人の動作情報を含むセンサデータを生成する。得られた動作情報はセンサデータベース9a、およびクラウドサーバ200に送信される(ステップS3)。なおステップS1~ステップS3の手順は繰り返し実行され、動作情報はリアルタイムで生成され、クラウドサーバ200に送信される。
クラウドサーバ200は、動作情報(図7)を受信すると(ステップS4)、動作情報に係わる個人を特定し(ステップS5)、IDを取得する。次にクラウドサーバ200は、特定された人のIDごとに、病歴・動作データベース42(図8)から健康履歴情報を取得し(ステップS6)、個人情報データベース43(図9)から個人情報を取得し(ステップS7)、オフィスデータベース44(図10)から就業情報を取得する(ステップS8)。そして、これらの情報に基づいて、クラウドサーバ200は体調スコアを計算する(ステップS9)。
次にクラウド40は、人のIDごとに、予め定められた閾値と体調スコアとを比較し、スコアが閾値以上になった人については、メールサーバ500に警告の通知を要求する(ステップS10でYes)。
この要求を受けたメールサーバ500は、例えば図14に示されるような、「風邪のひきはじめのようです。無理をせず、ゆっくり休息しましょう」といったメッセージを従業員本人に送信する(ステップS11)と共に、その管理者に対し従業員とそのメッセージ内容についてメッセージを送信して通知し、又は、図示しない管理者の管理PCの画面上でこれを表示させる。このメールを受けた人は、所持するスマートフォンやタブレット20の画面に表示されたメッセージを読むことで、早めに帰宅するなどの対応を迅速にとれるようになる。
ここで、ステップS5における、個人を特定する処理について補足する。病歴・動作データベース42(図8)に関する説明の中で、個人のIDは、例えばICカードなどで一意に特定できることを説明した。そして、例えばオフィスビル100への入退ゲートを通過するのに際し、ICカードを読み取り機にかざすことで、ゲートを通過した人と個人IDとを一意に対応付けることができる。その後は、オフィスビル100内の複数のカメラ3によりゲートを通過した人を追跡し続けることで、入館したそれぞれの人とその個人IDとを対応付けて管理することが可能になる。入館者と個人IDとを対応付けたデータテーブルを例えば管理サーバ8(図2)において管理し、このデータテーブルを例えば定期的にクラウドサーバ200に転送することで、クラウドサーバ200は、体調管理の対象とすべき個人を特定することが可能になる。
<効果>
以上述べたように、実施形態では、画像センサ3によりセンシングされるオフィス従業員の動作から、リアルタイムで体調評価、動作情報を算出する。動作情報はクラウドサーバ200に渡される。クラウドは、その人の過去の病歴、個人情報(年齢等)、就業情報(会議参加情報、オフィス入退情報)に示される正常な動作情報との比較によって、その人の体調に紐づく動作的な異常を認識する。異常な動作を行う従業員が発見されると、監視カメラ3-0による追跡監視を開始するとともに、その人本人、あるいは上司などの管理者に警告する。このようにしたので、体調に関わる異常行動を正常行動に戻すことを補助することができる。
既存の技術では、オフィスの健康という観点において、オフィスにおける人の動作に関わる情報(リアルタイム性のある情報)と、過去の病歴、健康・個人情報、オフィス情報(リアルタイム性の無い情報)とを組み合わせて、個々人の体調に紐づく動作を検知することはできなかった。例えば業務中に体温や脈を計る(体に接触させる機器を使った)ことで、体調の見える化や健康促進させるもの、あるいは、リアルタイム性の無い、過去の病歴や就業状況より体調を診断し、体調の見える化や健康促進させるものが知られているに過ぎなかった。
これに対して実施形態によれば、オフィス従業員の動作情報、健康履歴情報、個人情報、就業情報を活用し、皆が健康でいられるためのシステムを構築することができる。すなわち、従業員の動作をリアルタイムで観察して体調を評価し、その人の過去の病歴、個人情報、業務情報による正常な動作情報(動作確からしさ)から、その人の体調に関連する動作的な異常を認識することができる。さらに、異常な動作を行う従業員を判別し、選択的に監視したり、警告メッセージを送信することも可能になる。
これらのことから実施形態によれば、リアルタイムな情報を画像センサで取得し、予め作成されたデータベースも利用して、人の体調を評価する体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法を提供することが可能になる。
なお、この発明は上記実施の形態に限定されるものではない。例えば、実施形態では、クラウドサーバ200に受信部200a、取得部200b、計算部200cを実装する形態について説明した。これに代えて、クラウド400にこれらのオブジェクトを実装することももちろん可能である。
例えばSaaS(Software as a Service)として知られるサービス形態では、クラウド400に構築される仮想サーバに実装されたアプリケーション(クラウドアプリ)として、受信部200a、取得部200b、および計算部200cを実装することができる。この種の機能は、ハードウェアとしての実体を持つサーバと、サーバにインストールされたアプリケーションとの連携により実現されることができる。サーバは一つでも、複数でもよい。
このように、クラウドサーバ200に備わる機能の一部、または全てをクラウド400に実装することもできる。また、センサデータベース9aをクラウド400に設けても良い。さらには、ゲートウェイ7との連携により各種の機能を実現することもできる。
また、体調スコアの算出の際に、海外への渡航歴だけでなく、どこで誰と会議をしていたか、あるいはSNSから判定される交友関係の傾向、友人の居住地、なども判定材料になり得る。実施形態ではこのような情報もデータベース化し、参照することができる。さらには、別途設けた赤外線センサなどにより、個々人の体温を物理的に検知して判断の一助とすることもできる。
また実施形態では、体調スコアが閾値を逸脱した人に送られる警告メッセージとして図14に示すようなメールとしたが、これに限らず、警告の仕方には様々なバリエーションが考えられるし、必ずしもメールサーバ500を必要とするものでもない。さらに、メール送信機能はオプションとしても良い。要するに個々人の体調をリアルタイムで把握することができれば目的は達成される。
本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…照明機器、2…空調機器、3…画像センサ、3-0…監視カメラ、4…信号線、5…ビル内ネットワーク、6…ファイヤウォール、7…ゲートウェイ、8…管理サーバ、9a…センサデータベース、15…プロセッサ、20…タブレット、30…レジスタ、30a…カメラ情報、31…カメラ部、31a…魚眼レンズ、31b…絞り機構、31c…撮像素子、32…記憶部、32a…画像データ、32b…プログラム、32d…辞書データ、33…プロセッサ、33a…検出部、33b…特徴量計算部、33c…解析部、33d…学習部、34…通信部、35…内部バス、40…クラウド、41…監視カメラ、42…病歴・動作データベース、43…個人情報データベース、44…オフィスデータベース、100…オフィスビル、200…クラウドサーバ、200a…受信部、200b…取得部、200c…計算部、210…プロセッサ、220…ROM、230…RAM、240…記憶部、240a…プログラム、260…光学メディアドライブ、270…通信部、300…専用線ネットワーク、400…クラウド、500…メールサーバ。

Claims (9)

  1. 人を検知する人感センサと、
    前記人感センサと通信可能なサーバと、
    前記サーバからアクセス可能なデータベースとを具備し、
    前記データベースは、
    人ごとの健康履歴情報を記憶する病歴・動作データベースを含み、
    前記人感センサは、
    所定エリアを撮像して得られた画像データを処理して、視野内の検出対象に係わる特徴量を抽出する特徴量計算部と、
    前記画像データを解析して前記所定エリアにおける人間情報および環境情報を計算し、前記人間情報、前記環境情報、および、前記特徴量を参照して、少なくとも人の移動軌跡および動きの傾向を表現する動作情報を含むセンサデータを生成する解析部を備え、
    前記サーバは、
    前記センサデータを前記人感センサから受信する受信部と、
    前記病歴・動作データベースから前記健康履歴情報を取得する取得部と、
    前記受信されたセンサデータに含まれる前記人の動作情報と、前記健康履歴情報とに基づいて、前記人の体調の傾向を示すスコアを計算する計算部とを備える、体調評価システム。
  2. 前記スコアが所定の範囲を逸脱した人、またはその人の関係者の少なくともいずれかに警告メッセージを通知するメッセージサーバをさらに具備する、請求項1に記載の体調評価システム。
  3. 人ごとの個人情報を記憶する個人情報データベースをさらに具備し、
    前記計算部は、前記動作情報、前記健康履歴情報、および前記個人情報に基づいて前記スコアを計算する、請求項1または2のいずれかに記載の体調評価システム。
  4. 人ごとの就業情報を記憶するオフィスデータベースをさらに具備し、
    前記計算部は、前記動作情報、前記健康履歴情報、および前記就業情報に基づいて前記スコアを計算する、請求項1または2のいずれかに記載の体調評価システム。
  5. 前記センサデータを記憶するセンサデータベースをさらに具備し、
    前記計算部は、前記センサデータベースのセンサデータに含まれる前記人の動作情報と、前記健康履歴情報とに基づいて前記スコアを計算する、請求項1または2のいずれかに記載の体調評価システム。
  6. 所定エリアを撮像して得られた画像データより、少なくとも人の移動軌跡および動きの傾向を表現する動作情報を含むセンサデータを生成する人感センサから、前記センサデータを受信する受信部と、
    人ごとの健康履歴情報を記憶する病歴・動作データベースから前記健康履歴情報を取得する取得部と、
    前記受信されたセンサデータに含まれる前記人の動作情報と、前記健康履歴情報とに基づいて、前記人の体調の傾向を示すスコアを計算する計算部とを備える、サーバ。
  7. コンピュータを、所定エリアを撮像して得られた画像データより、少なくとも人の移動軌跡および動きの傾向を表現する動作情報を含むセンサデータを生成する人感センサから、前記センサデータを受信する受信部として機能させるための命令と、
    コンピュータを、人ごとの健康履歴情報を記憶する病歴・動作データベースから前記健康履歴情報を取得する取得部として機能させるための命令と、
    コンピュータを、前記受信されたセンサデータに含まれる前記人の動作情報と、前記健康履歴情報とに基づいて、前記人の体調の傾向を示すスコアを計算する計算部として機能させるための命令とを含む、プログラム。
  8. 人を検知する人感センサが、所定エリアを撮像して得られた画像データより、少なくとも人の移動軌跡および動きの傾向を表現する動作情報を含むセンサデータを生成する過程と、
    前記人感センサと通信可能なサーバが、前記センサデータを前記人感センサから受信する過程と、
    前記サーバが、人ごとの健康履歴情報を記憶する病歴・動作データベースから前記健康履歴情報を取得する過程と、
    前記サーバが、前記受信されたセンサデータに含まれる前記人の動作情報と、前記健康履歴情報とに基づいて、前記人の体調の傾向を示すスコアを計算する過程とを具備する、体調評価サービス提供方法。
  9. 前記サーバが、前記スコアが所定の範囲を逸脱した人、またはその人の関係者の少なくともいずれかに警告メッセージを通知する過程をさらに具備する、請求項8に記載の体調評価サービス提供方法。
JP2020159429A 2020-09-24 2020-09-24 体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法 Active JP7183232B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020159429A JP7183232B2 (ja) 2020-09-24 2020-09-24 体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020159429A JP7183232B2 (ja) 2020-09-24 2020-09-24 体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法

Publications (2)

Publication Number Publication Date
JP2022052910A JP2022052910A (ja) 2022-04-05
JP7183232B2 true JP7183232B2 (ja) 2022-12-05

Family

ID=80962890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020159429A Active JP7183232B2 (ja) 2020-09-24 2020-09-24 体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法

Country Status (1)

Country Link
JP (1) JP7183232B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015166692A1 (ja) 2014-04-30 2015-11-05 コニカミノルタ株式会社 健康度判定装置および健康度判定システム
JP2019197269A (ja) 2018-05-07 2019-11-14 ルネサスエレクトロニクス株式会社 健康サポートシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155749A (ja) * 1996-12-04 1998-06-16 Hiyuunet Kk 人の健康状態の監視通報システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015166692A1 (ja) 2014-04-30 2015-11-05 コニカミノルタ株式会社 健康度判定装置および健康度判定システム
JP2019197269A (ja) 2018-05-07 2019-11-14 ルネサスエレクトロニクス株式会社 健康サポートシステム

Also Published As

Publication number Publication date
JP2022052910A (ja) 2022-04-05

Similar Documents

Publication Publication Date Title
AU2017279806B2 (en) Method and system for abnormality detection
JP6467966B2 (ja) 健康管理補助装置及び健康管理補助方法
Petrović et al. IoT-based system for COVID-19 indoor safety monitoring
CN111344713B (zh) 用于对象识别的相机和图像校准
JP2019532532A (ja) プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
CN109492595B (zh) 适用于固定群体的行为预测方法和系统
Tan et al. Front-door event classification algorithm for elderly people living alone in smart house using wireless binary sensors
JP2018201176A (ja) アラート出力制御プログラム、アラート出力制御方法およびアラート出力制御装置
JP2020502642A (ja) 患者識別システムおよび方法
Ulleri et al. Development of contactless employee management system with mask detection and body temperature measurement using TensorFlow
Khanal et al. Using emotion recognition in intelligent interface design for elderly care
Li et al. Understanding the impact of building thermal environments on occupants' comfort and mental workload demand through human physiological sensing
JP7183232B2 (ja) 体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法
Harber et al. Potential role of infrared imaging for detecting facial seal leaks in filtering facepiece respirator users
US20210383667A1 (en) Method for computer vision-based assessment of activities of daily living via clothing and effects
WO2019150954A1 (ja) 情報処理装置
JP7433894B2 (ja) 誘導システム、サーバ、プログラムおよびサービス提供方法
WO2022059249A1 (ja) 情報処理装置、情報処理システム、情報出力方法、および情報出力プログラム
JP7353964B2 (ja) 誘導システム、サーバ、プログラムおよびサービス提供方法
Wlodarczak et al. Reality mining in eHealth
Gaete et al. Visitrack: A pervasive service for monitoring the social activity of older adults living at home
Luberia et al. Preliminary Diagnosis for Flu using Facial Feature Recognition and Thermal Camera
Kobiyama et al. Location awareness based on infrared sensor array
KR20200082689A (ko) 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템
JP7047174B1 (ja) 予測システム、予測装置、予測方法および予測プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221122

R150 Certificate of patent or registration of utility model

Ref document number: 7183232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150