JP7326363B2 - 見守りシステム - Google Patents
見守りシステム Download PDFInfo
- Publication number
- JP7326363B2 JP7326363B2 JP2021044212A JP2021044212A JP7326363B2 JP 7326363 B2 JP7326363 B2 JP 7326363B2 JP 2021044212 A JP2021044212 A JP 2021044212A JP 2021044212 A JP2021044212 A JP 2021044212A JP 7326363 B2 JP7326363 B2 JP 7326363B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- unit
- contact
- imaging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、見守りシステムに関する。
例えば、特許文献1には、撮像装置と、骨格情報抽出部と、骨格情報サンプル記憶部と、姿勢検出部と、姿勢判定部と、を備えることを特徴とする被監視者の姿勢検知装置が開示されている。撮像装置は、被監視者を監視する撮像領域の画像データを取得する。骨格情報抽出部は、撮像装置で撮像した画像データから被監視者の骨格情報を抽出する。骨格情報サンプル記憶部は、骨格情報からなる姿勢情報サンプルを格納する。姿勢検出部は、骨格情報抽出部で抽出した人間の骨格情報と骨格情報記憶部に格納された骨格情報サンプルとに基づいて被監視者の姿勢を検出する。姿勢判定部は、この姿勢検出部で検出した姿勢に基づいて転倒、転落の有無を判定する。
ところで、上記のような姿勢検知装置は、例えば、人物同士の接触の有無の把握の点で更なる改善の余地がある。
本発明は、上記の事情に鑑みてなされたものであって、人物の接触の状況を適正に把握することができる見守りシステムを提供することを目的とする。
上記目的を達成するために、本発明に見守りシステムは、監視対象空間の画像を撮像する撮像部と、前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、前記骨格モデルに対応する人物の、前記撮像部による撮像奥行方向に対する位置を検出可能である位置検出器と、第1の人物を表す第1の前記骨格モデルと第2の人物を表す第2の前記骨格モデルとの重なりの有無、前記位置検出器によって検出された前記第1の人物の前記撮像奥行方向に対する位置、及び、前記位置検出器によって検出された前記第2の人物の前記撮像奥行方向に対する位置に基づいて、前記第1の人物と前記第2の人物との接触を判定する判定部とを備える。
本発明に係る見守りシステムは、人物の接触の状況を適正に把握することができる、という効果を奏する。
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
[実施形態]
図1、図2に示す本実施形態の見守りシステム1は、監視対象空間SPに存在する人物Pの状態を監視し見守るシステムである。本実施形態の見守りシステム1は、例えば、通所介護(デイサービス)などの介護施設、高齢者施設等の福祉施設に適用される。監視対象空間SPは、例えば、当該施設の居室空間や廊下空間等である。
図1、図2に示す本実施形態の見守りシステム1は、監視対象空間SPに存在する人物Pの状態を監視し見守るシステムである。本実施形態の見守りシステム1は、例えば、通所介護(デイサービス)などの介護施設、高齢者施設等の福祉施設に適用される。監視対象空間SPは、例えば、当該施設の居室空間や廊下空間等である。
本実施形態の見守りシステム1は、設置機器10と、検出機器20と、端末機器30とを備え、これらが相互に情報を送受信し連携する連携システムを構成する。ここでは、設置機器10と検出機器20とは、監視対象空間SPにおいて人物P同士の接触(干渉)を検出し、接触時の状況を記録する検出システム1Aを構成する。本実施形態の見守りシステム1は、検出システム1Aにおいて、監視対象空間SPに存在する人物Pの状態を、当該人物Pを表す骨格モデルMDL(図3参照)に基づいて判定し、人物P同士の接触時の状況を適正に把握するための構成を実現したものである。以下、各図を参照して見守りシステム1の各構成について詳細に説明する。
なお、図1に図示する見守りシステム1において、電力供給、制御信号、各種情報等の授受のための各構成要素間の接続方式は、特に断りのない限り、有線による接続、無線による接続のいずれであってもよい。有線による接続とは、例えば、電線や光ファイバ等の配索材を介した接続である。無線による接続とは、例えば、無線通信、非接触給電等による接続である。
<設置機器の基本構成>
設置機器10は、監視対象空間SPに設置され、当該監視対象空間SPを撮像する機器である。設置機器10は、撮像部11と、位置検出器12と、ディスプレイ13と、スピーカ14と、マイク15とを備える。設置機器10は、例えば、これらの構成要素が筐体等に組み付けられユニット化された上で監視対象空間SPの天井等に設けられることで、種々の機能を統合した室内監視モジュールを構成する。また、設置機器10は、例えば、これらの構成要素が監視対象空間SPに個別に設けられてもよい。設置機器10は、例えば、見守りシステム1が適用される施設に複数設けられる。
設置機器10は、監視対象空間SPに設置され、当該監視対象空間SPを撮像する機器である。設置機器10は、撮像部11と、位置検出器12と、ディスプレイ13と、スピーカ14と、マイク15とを備える。設置機器10は、例えば、これらの構成要素が筐体等に組み付けられユニット化された上で監視対象空間SPの天井等に設けられることで、種々の機能を統合した室内監視モジュールを構成する。また、設置機器10は、例えば、これらの構成要素が監視対象空間SPに個別に設けられてもよい。設置機器10は、例えば、見守りシステム1が適用される施設に複数設けられる。
撮像部11は、監視対象空間SPの画像I(例えば、図3参照)を撮像するものである。撮像部11は、例えば、2次元画像を撮像可能な単眼カメラであってもよいし、3次元画像を撮像可能なステレオカメラであってもよい。また、撮像部11は、いわゆるTOF(Time of Flight)カメラ等であってもよい。撮像部11は、典型的には、監視対象空間SPに存在する全ての人物Pを撮像可能な位置に設けられる。撮像部11は、例えば、監視対象空間SPの上方、ここでは、天井に配置され、撮像範囲に監視対象空間SPの全領域が含まれるように画角が設定されている。撮像部11は、1つで監視対象空間SPの全域をカバーできない場合には複数が設けられ当該複数によって監視対象空間SPの全域をカバーするように構成されてもよい。
なお、以下の説明では、後述の図3、図4、図5、図6に示すように、撮像部11による撮像の奥行方向を「撮像奥行方向X」といい、撮像奥行方向Xと交差し水平方向に沿う方向を「撮像幅方向Y」といい、撮像奥行方向Xと交差し鉛直方向に沿う方向を「撮像上下方向Z」という場合がある。撮像奥行方向Xは、典型的には、撮像部11の光軸方向に沿った方向に相当する。
位置検出器12は、撮像部11による撮像奥行方向Xに対する人物Pの位置を検出可能な検出器である。位置検出器12は、撮像部11によって撮像された人物Pの撮像奥行方向Xに対する位置を検出する。撮像部11によって撮像された人物Pの撮像奥行方向Xに対する位置は、典型的には、後述するように、検出機器20によって生成された骨格モデルMDLに対応する人物Pの、撮像奥行方向Xに対する位置に相当する。位置検出器12は、例えば、レーザ、赤外線、ミリ波、超音波等を用いて距離を検出する各種レーダ、ソナー、LiDAR(light detection and ranging)等を用いることができる。位置検出器12は、例えば、撮像奥行方向Xに沿った人物Pと位置検出器12との距離を計測することで、撮像奥行方向Xに対する人物Pの位置を検出することができる。
ディスプレイ13は、監視対象空間SPに向けて画像情報(視覚情報)を表示(出力)するものである。ディスプレイ13は、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ等によって構成される。ディスプレイ13は、監視対象空間SP内の人物Pから目視可能な位置に画像情報を表示する。ディスプレイ13は、例えば、画像情報を出力することで種々の案内(アナウンス)を行う。
スピーカ14は、監視対象空間SPに向けて音情報(聴覚情報)を出力するものである。スピーカ14は、例えば、音情報を出力することで種々の案内(アナウンス)を行う。
マイク15は、監視対象空間SPで発生した音を電気信号に変換する集音装置である。マイク15は、例えば、監視対象空間SPの外部の人物(例えば、施設職員等)との音声のやり取りに使用することができる。
<検出機器の基本構成>
検出機器20は、設置機器10によって撮像された画像Iから生成される骨格モデルMDLに基づいて監視対象空間SPに存在する人物Pの状態を検出する機器である。検出機器20は、インターフェース部21と、記憶部22と、処理部23とを備え、これらが相互に通信可能に接続されている。検出機器20は、ネットワーク上に実装されるいわゆるクラウドサービス型の装置(クラウドサーバ)を構成してもよいし、ネットワークから切り離されたいわゆるスタンドアローン型の装置を構成してもよい。検出機器20は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。検出機器20は、例えば、見守りシステム1が適用される施設の管理センタ等に設けられるがこれに限らない。
検出機器20は、設置機器10によって撮像された画像Iから生成される骨格モデルMDLに基づいて監視対象空間SPに存在する人物Pの状態を検出する機器である。検出機器20は、インターフェース部21と、記憶部22と、処理部23とを備え、これらが相互に通信可能に接続されている。検出機器20は、ネットワーク上に実装されるいわゆるクラウドサービス型の装置(クラウドサーバ)を構成してもよいし、ネットワークから切り離されたいわゆるスタンドアローン型の装置を構成してもよい。検出機器20は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。検出機器20は、例えば、見守りシステム1が適用される施設の管理センタ等に設けられるがこれに限らない。
インターフェース部21は、検出機器20外の他の機器と種々の情報を送受信するためのインターフェースである。インターフェース部21は、各部との間で電線等を介して情報を有線通信する機能、各部との間で無線通信ユニット等を介して情報を無線通信する機能等を有している。インターフェース部21は、検出機器20外の他の機器として、複数の設置機器10、及び、複数の端末機器30との間で情報を送受信する。ここでは、インターフェース部21は、複数の設置機器10に対して直接的に通信可能に接続される一方、複数の端末機器30に対して通信部21a、ネットワークNを介して通信可能に接続されるものとして図示しているがこれに限らない。複数の設置機器10も通信部21a、ネットワークNを介して当該インターフェース部21に接続されてもよい。ここで、通信部21aは、ネットワークNと通信接続される通信モジュール(Data Communication Module)である。ネットワークNは、有線または無線を問わず、任意の通信網を用いることができる。
記憶部22は、種々の情報を記憶する記憶回路である。記憶部22は、例えば、ハードディスク、SSD(Solid State Drive)、光ディスクなどの比較的に大容量の記憶装置、あるいは、RAM、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリであってもよい。記憶部22は、例えば、検出機器20が各種の機能を実現するためのプログラムを記憶する。検出機器20に記憶されるプログラムには、インターフェース部21を機能させるプログラム、通信部21aを機能させるプログラム、処理部23を機能させるプログラム等が含まれる。記憶部22は、例えば、監視対象空間SPの人物Pの状態判定に用いられる学習済みの数理モデル等を記憶する。また、記憶部22は、処理部23での各種処理に必要な各種データを記憶する。記憶部22は、処理部23等によってこれらの各種データが必要に応じて読み出される。なお、記憶部22は、ネットワークNを介して検出機器20に接続されたクラウドサーバ等により実現されてもよい。
処理部23は、検出機器20における各種処理機能を実現する処理回路である。処理部23は、例えば、プロセッサによって実現される。プロセッサとは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路を意味する。処理部23は、例えば、記憶部22から読み込んだプログラムを実行することにより、各処理機能を実現する。例えば、処理部23は、設置機器10の撮像部11によって撮像された画像Iを表す画像データ等を、インターフェース部21を介して検出機器20に入力する処理を実行可能である。
<端末機器の基本構成>
端末機器30は、検出機器20と通信可能に接続される機器である。端末機器30は、インターフェース部31と、記憶部32と、処理部33と、ディスプレイ34と、スピーカ35と、マイク36とを備え、これらが相互に通信可能に接続されている。端末機器30は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。端末機器30は、例えば、見守りシステム1が適用される施設の職員等によって携帯可能な携帯端末機器を構成してもよいし、据え置き型の管理端末機器を構成してもよい。
端末機器30は、検出機器20と通信可能に接続される機器である。端末機器30は、インターフェース部31と、記憶部32と、処理部33と、ディスプレイ34と、スピーカ35と、マイク36とを備え、これらが相互に通信可能に接続されている。端末機器30は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。端末機器30は、例えば、見守りシステム1が適用される施設の職員等によって携帯可能な携帯端末機器を構成してもよいし、据え置き型の管理端末機器を構成してもよい。
インターフェース部31、記憶部32、処理部33、ディスプレイ34、スピーカ35、マイク36は、それぞれ、上述したインターフェース部21、記憶部22、処理部23、ディスプレイ13、スピーカ14、マイク15と略同様の構成である。インターフェース部31は、端末機器30外の他の機器と種々の情報を送受信するためのインターフェースである。インターフェース部31は、通信部31a、ネットワークNを介して検出機器20に通信可能に接続される。通信部31aは、上述した通信部21aと同様に、通信モジュールである。記憶部32は、例えば、端末機器30が各種の機能を実現するためのプログラムを記憶する。処理部33は、端末機器30における各種処理機能を実現する処理回路である。処理部33は、例えば、記憶部32から読み込んだプログラムを実行することにより、各処理機能を実現する。ディスプレイ34は、画像情報を表示するものである。スピーカ35は、音情報を出力するものである。マイク36は、音を電気信号に変換する集音装置である。
以上、本実施形態に係る見守りシステム1の全体構成の概略について説明した。
<検出機器の処理部の処理機能>
このような構成のもと、本実施形態に係る処理部23は、図3~図7に示すように、監視対象空間SPに存在する人物Pの状態を、当該人物Pを表す骨格モデルMDLに基づいて判定し、接触時の状況を適正に把握、記録する各種処理を行うための機能を有している。
このような構成のもと、本実施形態に係る処理部23は、図3~図7に示すように、監視対象空間SPに存在する人物Pの状態を、当該人物Pを表す骨格モデルMDLに基づいて判定し、接触時の状況を適正に把握、記録する各種処理を行うための機能を有している。
具体的には、本実施形態の処理部23は、上記各種処理機能を実現するために、機能概念的に、情報処理部23a、骨格モデル生成部23b、判定部23c、及び、動作処理部23dを含んで構成される。処理部23は、例えば、記憶部22から読み込んだプログラムを実行することにより、これら情報処理部23a、骨格モデル生成部23b、判定部23c、及び、動作処理部23dの各処理機能を実現する。
情報処理部23aは、見守りシステム1で用いる種々の情報に関する処理を実行可能な機能を有する部分である。情報処理部23aは、設置機器10や端末機器30との間で種々の情報を送受信する処理を実行可能である。見守りシステム1は、情報処理部23aによる処理により、設置機器10や端末機器30と相互に情報(例えば、音声情報や画像情報等)のやり取りが可能となる。ここでは、情報処理部23aは、設置機器10から、撮像部11によって撮像された監視対象空間SPの画像Iを表す画像データを取得し記憶部22に一時的に記憶させる処理を実行可能である。
骨格モデル生成部23bは、撮像部11によって撮像された監視対象空間SPの画像Iに含まれる人物Pを表す骨格モデルMDL(図3参照)を生成する処理を実行可能な機能を有する部分である。骨格モデルMDLは、人物Pの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等を含む人体骨格を3次元で表した人体モデルである。
骨格モデル生成部23bは、例えば、まず人物Pを検出した後に当該人物Pの骨格を推定するトップダウン型の骨格推定によって、画像Iに含まれる人物Pを表す骨格モデルMDLを生成することができる。この場合、骨格モデル生成部23bは、種々の公知の物体認識技術を用いて、画像I内の人物Pを認識し、画像Iにおいて当該認識した人物Pが存在する領域の外側をバウンディングボックスBBで囲う処理を実行する。ここで、バウンディングボックスBBとは、画像Iにおいて認識された人物Pを囲うために必要な大きさの矩形状の枠である。そして、骨格モデル生成部23bは、当該バウンディングボックスBB内の人物Pの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位(人体パーツ)の3次元位置座標を検出し、これらを組み合わせて当該人物Pの骨格モデルMDLを生成する。図3に例示する骨格モデルMDLは、人物Pの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位を「点」によって象徴的に表すと共にこれらを「線」でつなぎ合わせることで生成されている。骨格モデル生成部23bは、画像Iに含まれる人物Pが複数である場合には、当該人物Pの数に応じて複数の骨格モデルMDLを生成する。骨格モデル生成部23bは、生成した骨格モデルMDLを記憶部22に記憶させる。
なお、骨格モデル生成部23bは、例えば、バウンディングボックスBB等を用いず画像I中の人体の各骨格部位を全て検出した後に人物Pの骨格を推定するボトムアップ型の骨格推定によって、画像Iに含まれる人物Pを表す骨格モデルを生成してもよい。この場合、骨格モデル生成部23bは、まず、種々の公知の物体認識技術を用いて、画像I中の人体の頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の各骨格部位の3次元位置座標を全て検出する。その後、骨格モデル生成部23bは、当該検出した各骨格部位を人物Pごとにマッチングさせて繋ぎ合わせていくことで、各人物Pの骨格モデルMDLを生成する。
また、この見守りシステム1は、画像I内の人物Pを認識するための物体認識技術として、各種機械学習を用いた物体認識技術を用いることができる。この場合、見守りシステム1は、例えば、人物Pを含む画像I等を学習用データとして、予め各種機械学習により人物Pを学習しておく。このとき、見守りシステム1は、施設の利用者を予め登録しておき、画像Iにおいて、各利用者を個体として識別可能なように学習させておくこともできる。例えば、見守りシステム1は、予め収集された「施設の利用者である人物Pを含む画像I」に関するデータを説明変数とし、「当該画像に対応する人物Pの識別情報(例えば、利用者ID等)」に関するデータを目的変数として学習用教師データセットを用意し、当該学習用教師データセットを用いて機械学習を行う。機械学習としては、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。見守りシステム1は、この機械学習によって得られた学習済みの物体認識(人物認識)用の数理モデル等を予め記憶部22に記憶しておく。
そして、骨格モデル生成部23bは、例えば、上記のように記憶部22に記憶されている学習済みの物体認識(人物認識)用の数理モデル等に基づいた分類・回帰により、画像I内の人物Pを、識別情報により個人を特定した状態で認識した後、当該人物Pを表す骨格モデルMDLを生成する。より具体的には、骨格モデル生成部23bは、撮像部11によって撮像された画像Iを、当該物体認識用の数理モデルに入力する。この結果、骨格モデル生成部23bは、画像I内の人物Pを認識すると共に当該人物Pを特定する識別情報を取得し、当該人物Pを表す骨格モデルMDLを生成する。これにより、骨格モデル生成部23bは、識別情報により個人が特定された人物Pの骨格モデルMDLを生成することができる。骨格モデル生成部23bは、個人が特定された人物Pの識別情報と共に、生成した骨格モデルMDLを記憶部22に記憶させる。
また、骨格モデル生成部23bは、骨格モデルMDLを生成した後、当該骨格モデルMDLの生成に用いた画像Iを消去する処理を実行し、記憶部22や記憶部32、設置機器10の一時記憶部等に当該画像Iを表す画像データを残さないようにすることもできる。この場合、見守りシステム1は、骨格モデルMDLを生成した後、以降の各処理においては、当該骨格モデルMDLの生成に用いた画像Iを用いずに、画像から生成された骨格モデルMDLを用いて各種処理を実行する(図4、図5等参照)。これにより、見守りシステム1は、施設利用者個人の顔等が映った画像を用いずに、施設利用者のプライバシーを確保した上で、様々な監視を行うことが可能となる。
判定部23cは、骨格モデル生成部23bによって生成された骨格モデルMDLに基づいて、当該骨格モデルMDLに対応する人物Pの状態を判定する処理を実行可能な機能を有する部分である。判定部23cは、骨格モデル生成部23bによって生成された骨格モデルMDLに対応する人物Pの状態として、立っている状態、座っている状態、転倒している状態等を区別して判定する。判定部23cは、撮像部11によって撮像された監視対象空間SPの画像Iに人物Pが含まれていた場合に、当該人物Pに対してこれらの状態判定を行う。
この見守りシステム1は、例えば、骨格モデルMDLにおける各骨格部位の相対的な位置関係や相対距離、バウンディングボックスBBの大きさ等をパラメータとして、予め各種機械学習により、人物Pの状態を学習しておく。例えば、見守りシステム1は、予め収集された「骨格モデルMDLにおける各骨格部位の相対的な位置関係、相対距離、バウンディングボックスBBの大きさ」に関するデータを説明変数とし、「人物Pの状態」に関するデータを目的変数として機械学習を行う。機械学習としては、上記と同様に、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。見守りシステム1は、この機械学習によって得られた学習済みの状態判定用の数理モデル等を予め記憶部22に記憶しておく。
そして、判定部23cは、上記のように記憶部22に記憶されている学習済みの状態判定用の数理モデル等に基づいた分類・回帰により、骨格モデルMDLに対応する人物の状態を判定する。より具体的には、判定部23cは、実際に撮像された画像Iに含まれる人物Pの骨格モデルMDLから得られる各骨格部位の相対的な位置関係、相対距離、バウンディングボックスBBの大きさを、当該状態判定用の数理モデルに入力する。これにより、判定部23cは、骨格モデルMDLに対応する人物Pの状態(立っている状態、座っている状態、転倒している状態等)を区別して判定する。
なお、本実施形態の判定部23cは、上述したように、骨格モデル生成部23bによって生成された骨格モデルMDLに基づいて、当該骨格モデルMDLの生成に用いた画像Iを用いずに、骨格モデルMDLに対応する人物Pの状態を判定する。
そしてさらに、本実施形態の判定部23cは、複数の人物Pを表す骨格モデルMDLの重なりの有無、及び、位置検出器12によって検出された各人物Pの撮像奥行方向Xに対する位置に基づいて、複数の人物Pの接触を判定する処理も実行可能である。
具体的には、本実施形態の判定部23cは、図4、図5、図6、図7等に示すように、第1の人物P1を表す第1の骨格モデルMDL1と第2の人物P2を表す第2の骨格モデルMDL2との重なりの有無、位置検出器12によって検出された第1の人物P1の撮像奥行方向Xに対する位置、及び、位置検出器12によって検出された第2の人物P2の撮像奥行方向Xに対する位置に基づいて、第1の人物P1と第2の人物P2との接触を判定する。
判定部23cは、例えば、図4に例示するように、人物P1を表す骨格モデルMDL1と人物P2を表す骨格モデルMDL2との重なりが無い場合に、第1の人物P1と第2の人物P2とが接触していないものと判定する。
一方、判定部23cは、例えば、図5に例示するように、人物P1を表す骨格モデルMDL1と人物P2を表す骨格モデルMDL2との重なりが有る場合に、位置検出器12によって検出された人物P1、P2の撮像奥行方向Xに対する位置に基づいて、人物P1と人物P2との総合的な重なり、言い換えれば、人物P1と人物P2との接触(干渉)を判定する。
すなわちこの場合、判定部23cは、例えば、図5、図6に例示するように、人物P1を表す骨格モデルMDL1と人物P2を表す骨格モデルMDL2との重なりが有り、かつ、人物P1の撮像奥行方向Xに対する位置と人物P2の撮像奥行方向Xに対する位置とが予め定められた接触範囲外である場合、第1の人物P1と第2の人物P2とが接触していないものと判定する。ここでは、接触範囲とは、人物P同士の接触(干渉)を判定するために予め設定される位置範囲であり、一方の人物Pの撮像奥行方向Xに対する位置を基準として、他方の人物Pの撮像奥行方向Xに対する位置がこの接触範囲内にある場合に当該人物P同士が接触していることを表す。つまり、判定部23cは、人物P1の撮像奥行方向Xに対する位置と人物P2の撮像奥行方向Xに対する位置とが接触範囲外である場合、人物P1と人物P2とが接触していないものと判定することができる。
一方、判定部23cは、例えば、図5、図7に例示するように、人物P1を表す骨格モデルMDL1と人物P2を表す骨格モデルMDL2との重なりが有り、かつ、人物P1の撮像奥行方向Xに対する位置と人物P2の撮像奥行方向Xに対する位置とが接触範囲内である場合、第1の人物P1と第2の人物P2とが接触しているものと判定する。
なお、本実施形態の情報処理部23aは、判定部23cによって、骨格モデルMDLに対応する人物P同士が接触したものと判定した場合、接触した際の状況を表す状況データを記憶部22に記憶させ、記録として保存しておくようにしてもよい。接触した際の状況を表す状況データは、典型的には、第1の人物P1と第2の人物P2とが接触に至るまでの骨格モデルMDLの動きを表すデータを含む。ここで、第1の人物P1と第2の人物P2とが接触に至るまでの骨格モデルMDLは、第1の人物P1の骨格モデルMDL1、及び、第2の人物P2の骨格モデルMDL2を含む。また、情報処理部23aは、例えば、接触した際の状況を表す状況データとして、上記のデータと共に、接触に関与した人物P1、P2を表す識別情報も紐付けて記憶部22に記憶させてもよい。
この場合も、情報処理部23aは、上述したように、当該骨格モデルMDLの生成に用いた画像Iについては記憶部22に記録として保存しないようにすることができる。これにより、見守りシステム1は、人物Pのプライバシーを確保した上で、人物P同士が接触に至るまでの骨格モデルMDLの動き等を記憶部22に記録として保存しておくことが可能となる。
動作処理部23dは、検出機器20による判定結果に基づいて各部の動作を制御する処理を実行可能な機能を有する部分である。本実施形態の動作処理部23dは、判定部23cによる判定結果に基づいて、状況データを検出機器20外の他の機器に転送する処理を実行可能である。動作処理部23dは、例えば、判定部23cによる判定結果に基づいて、通信部21aを制御し、当該判定結果に応じた状況データを端末機器30に転送すると共に、当該端末機器30を介して施設の職員等に人物P同士の接触があったことを通知する。端末機器30は、例えば、受信した接触時の状況データを記憶部32に記憶させ、記録として保存しておくようにしてもよい。端末機器30は、例えば、ディスプレイ34を介して人物P同士が接触に至るまでの骨格モデルMDLの動きを表示させ、施設の職員等に接触時の状況を確認させるようにしてもよい。なお、動作処理部23dによって状況データを他の機器に転送する処理機能等は、上述した情報処理部23aによって実現されてもよい。
<制御フローの一例>
次に、図8のフローチャート図を参照して見守りシステム1おける制御の一例について説明する。
次に、図8のフローチャート図を参照して見守りシステム1おける制御の一例について説明する。
まず、検出機器20の情報処理部23aは、人物Pが監視対象空間SPに入室すると、撮像部11を制御し監視対象空間SPの画像Iを撮像させ、撮像された画像情報を記憶部22に記憶させる(ステップS1)。
次に、検出機器20の骨格モデル生成部23bは、記憶部22に記憶された監視対象空間SPの画像Iに基づいて、物体認識、骨格推定により、人物Pの各骨格部位の位置を検出し(ステップS2)、当該人物Pの骨格モデルMDLを生成する(ステップS3)。
次に、骨格モデル生成部23bは、骨格モデルMDLの生成に用いた画像を消去し(ステップS4)、当該画像を表す画像データを残さないようにする。検出機器20の処理部23は、以降の各処理においては、当該骨格モデルMDLの生成に用いた画像Iを用いずに、画像Iから生成された骨格モデルMDLを用いて各種処理を実行する。
次に、検出機器20の判定部23cは、ステップS3の処理で生成された骨格モデルMDLに基づいて、複数の人物Pを表す骨格モデルMDL同士が重なっているか否かを判定する(ステップS5)。
判定部23cは、複数の人物Pを表す骨格モデルMDL同士が重なっていないと判定した場合(ステップS5:No)、複数の人物P同士が接触していないものと判定し(ステップS6)、今回の制御周期を終了し、次回の制御周期に移行する。
判定部23cは、ステップS5で、複数の人物Pを表す骨格モデルMDL同士が重なっていると判定した場合(ステップS5:Yes)、位置検出器12による検出結果に基づいて、当該複数の人物Pの撮像奥行方向Xに対する位置が接触範囲内であるか否かを判定する(ステップS7)。
判定部23cは、当該複数の人物Pの撮像奥行方向Xに対する位置が接触範囲外であると判定した場合(ステップS7:No)、上述したステップS6に移行する。
判定部23cは、当該複数の人物Pの撮像奥行方向Xに対する位置が接触範囲内であると判定した場合(ステップS7:Yes)、複数の人物P同士が接触しているものと判定する(ステップS8)。このとき、情報処理部23aは、接触した際の状況を表す状況データとして、人物P同士が接触に至るまでの骨格モデルMDLの動きを表すデータ、接触に関与した人物Pを表す識別情報を相互に紐付けて記憶部22に記憶させ、記録として保存する。
その後、検出機器20の動作処理部23dは、通信部21aを制御し、接触時の状況データを端末機器30に転送すると共に、当該端末機器30を介して施設の職員等に人物P同士の接触があったことを通知し(ステップS9)、今回の制御周期を終了し、次回の制御周期に移行する。このとき、端末機器30は、受信した接触時の状況データを記憶部32に記憶させ、記録として保存しておく。
以上で説明した見守りシステム1は、撮像部11によって監視対象空間SPの画像Iを撮像し、骨格モデル生成部23bによって当該画像Iに含まれる人物Pを表す骨格モデルMDLを生成する。そして、判定部23cは、骨格モデル生成部23bによって生成された骨格モデルMDL、及び、位置検出器12によって検出された人物Pの位置に基づいて、骨格モデルMDLに対応する人物Pの接触の有無を判定する。この結果、見守りシステム1は、人物Pの接触の状況を適正に把握することができる。例えば、見守りシステム1は、福祉施設において、利用者同士の接触、干渉事故が発生した場合、原因を判断する材料として、判定部23cによる判定結果を用いることができる。
また、見守りシステム1は、撮像部11によって撮像された画像Iそのものではなく、画像Iから生成された骨格モデルMDLに基づいて人物Pの状態を把握することができるので、より少ないデータ量、演算負荷で転倒時の状況を適正に把握することができる。
また、この場合、見守りシステム1は、撮像部11によって撮像された画像Iそのものではなく、画像Iから生成された骨格モデルMDLに基づいて接触時の状況を把握することができるので、人物Pのプライバシーを確保した上で、上記のように接触時の状況を適正に把握することができる。これにより、見守りシステム1は、例えば、設置機器10の設置に対する心理的な圧迫を軽減することができ、設置に対する同意を得やすいシステムとすることができる。
ここでは、以上で説明した見守りシステム1は、第1の人物P1と第2の人物P2とが接触に至るまでの骨格モデルMDL1、MDL2の動きを記憶する記憶部22、32を備える。これにより、見守りシステム1は、人物Pのプライバシーを確保した上で、人物P1と人物P2とが転倒に至るまでの骨格モデルMDL1、MDL2の動きを記録として保存しておくことができる。
具体的には、以上で説明した見守りシステム1は、判定部23cによって、複数の人物Pを表す骨格モデルMDL同士の重なりが無い場合に、複数の人物Pが接触していないものと判定する。これにより、見守りシステム1は、複数の骨格モデルMDLの重なりあいに応じて簡易的に人物Pの接触がなかったことを判定することができる。そして、見守りシステム1は、判定部23cによって、複数の人物Pを表す骨格モデルMDL同士の重なりが有り、かつ、当該複数の人物Pの撮像奥行方向Xに対する位置が接触範囲外である場合、当該複数の人物Pが接触していないものと判定する。一方、見守りシステム1は、複数の人物Pを表す骨格モデルMDL同士の重なりが有り、かつ、当該複数の人物Pの撮像奥行方向Xに対する位置が接触範囲内である場合、当該複数の人物Pが接触しているものと判定する。この結果、見守りシステム1は、人物Pの接触、干渉を精度よく判定することができ、上記のように人物Pの接触の状況を適正に把握することができる。
なお、上述した本発明の実施形態に係る見守りシステムは、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。
以上の説明では、記憶部22、32は、例えば、状況データとして、マイク15によって集音された音声データも記憶しておくことで、接触前後の状況を音声により補完することも可能である。
以上で説明した処理部23、33は、それぞれ単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。処理部23、33は、それぞれ複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、処理部23、33が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理部23、33が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。
本実施形態に係る見守りシステムは、以上で説明した実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。
1 見守りシステム
1A 検出システム
10 設置機器
11 撮像部
12 位置検出器
20 検出機器
21、31 インターフェース部
22、32 記憶部
23、33 処理部
23a 情報処理部
23b 骨格モデル生成部
23c 判定部
23d 動作処理部
30 端末機器
BB バウンディングボックス
I 画像
MDL、MDL1、MDL2 骨格モデル
N ネットワーク
P、P1、P2 人物
SP 監視対象空間
X 撮像奥行方向
Y 撮像幅方向
Z 撮像上下方向
1A 検出システム
10 設置機器
11 撮像部
12 位置検出器
20 検出機器
21、31 インターフェース部
22、32 記憶部
23、33 処理部
23a 情報処理部
23b 骨格モデル生成部
23c 判定部
23d 動作処理部
30 端末機器
BB バウンディングボックス
I 画像
MDL、MDL1、MDL2 骨格モデル
N ネットワーク
P、P1、P2 人物
SP 監視対象空間
X 撮像奥行方向
Y 撮像幅方向
Z 撮像上下方向
Claims (3)
- 監視対象空間の画像を撮像する撮像部と、
前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、
前記骨格モデルに対応する人物の、前記撮像部による撮像奥行方向に対する位置を検出可能である位置検出器と、
第1の人物を表す第1の前記骨格モデルと第2の人物を表す第2の前記骨格モデルとの重なりの有無、前記位置検出器によって検出された前記第1の人物の前記撮像奥行方向に対する位置、及び、前記位置検出器によって検出された前記第2の人物の前記撮像奥行方向に対する位置に基づいて、前記第1の人物と前記第2の人物との接触を判定する判定部とを備える、
見守りシステム。 - 前記第1の人物と前記第2の人物とが接触に至るまでの前記骨格モデルの動きを記憶する記憶部を備える、
請求項1に記載の見守りシステム。 - 前記判定部は、前記第1の骨格モデルと前記第2の骨格モデルとの重なりが無い場合に、前記第1の人物と前記第2の人物とが接触していないものと判定し、
前記第1の骨格モデルと前記第2の骨格モデルとの重なりが有り、かつ、前記第1の人物の前記撮像奥行方向に対する位置と前記第2の人物の前記撮像奥行方向に対する位置とが予め定められた接触範囲外である場合、前記第1の人物と前記第2の人物とが接触していないものと判定し、
前記第1の骨格モデルと前記第2の骨格モデルとの重なりが有り、かつ、前記第1の人物の前記撮像奥行方向に対する位置と前記第2の人物の前記撮像奥行方向に対する位置とが前記接触範囲内である場合、前記第1の人物と前記第2の人物とが接触しているものと判定する、
請求項1又は請求項2に記載の見守りシステム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044212A JP7326363B2 (ja) | 2021-03-18 | 2021-03-18 | 見守りシステム |
CN202280020914.7A CN116997942A (zh) | 2021-03-18 | 2022-02-14 | 看护系统 |
PCT/JP2022/005693 WO2022196213A1 (ja) | 2021-03-18 | 2022-02-14 | 見守りシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044212A JP7326363B2 (ja) | 2021-03-18 | 2021-03-18 | 見守りシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022143604A JP2022143604A (ja) | 2022-10-03 |
JP7326363B2 true JP7326363B2 (ja) | 2023-08-15 |
Family
ID=83322242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021044212A Active JP7326363B2 (ja) | 2021-03-18 | 2021-03-18 | 見守りシステム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7326363B2 (ja) |
CN (1) | CN116997942A (ja) |
WO (1) | WO2022196213A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013232181A (ja) | 2012-04-06 | 2013-11-14 | Canon Inc | 画像処理装置、画像処理方法 |
JP2018151693A (ja) | 2017-03-09 | 2018-09-27 | 株式会社デンソーテン | 運転支援装置および運転支援方法 |
-
2021
- 2021-03-18 JP JP2021044212A patent/JP7326363B2/ja active Active
-
2022
- 2022-02-14 WO PCT/JP2022/005693 patent/WO2022196213A1/ja active Application Filing
- 2022-02-14 CN CN202280020914.7A patent/CN116997942A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013232181A (ja) | 2012-04-06 | 2013-11-14 | Canon Inc | 画像処理装置、画像処理方法 |
JP2018151693A (ja) | 2017-03-09 | 2018-09-27 | 株式会社デンソーテン | 運転支援装置および運転支援方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022196213A1 (ja) | 2022-09-22 |
CN116997942A (zh) | 2023-11-03 |
JP2022143604A (ja) | 2022-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110212451A (zh) | 一种电力ar智能巡检装置 | |
JP2018523424A (ja) | モニタリング | |
JP2017196414A (ja) | 歩行分析支援ロボット | |
CN107378971A (zh) | 一种智能机器人控制系统 | |
Gomez-Donoso et al. | Enhancing the ambient assisted living capabilities with a mobile robot | |
Sarfraz et al. | A multimodal assistive system for helping visually impaired in social interactions | |
CN107111363B (zh) | 用于监视的方法、装置和系统 | |
JP2020194493A (ja) | 介護設備又は病院用の監視システム及び監視方法 | |
Mettel et al. | Designing and evaluating safety services using depth cameras | |
WO2022196214A1 (ja) | 見守りシステム | |
Wengefeld et al. | The morphia project: first results of a long-term user study in an elderly care scenario from robotic point of view | |
Ghidoni et al. | A distributed perception infrastructure for robot assisted living | |
JP7326363B2 (ja) | 見守りシステム | |
JP7317880B2 (ja) | 見守りシステム | |
Ismail et al. | Multimodal indoor tracking of a single elder in an AAL environment | |
Galatas et al. | Multi-modal person localization and emergency detection using the kinect | |
US10891755B2 (en) | Apparatus, system, and method for controlling an imaging device | |
US10638092B2 (en) | Hybrid camera network for a scalable observation system | |
Ardiyanto et al. | Autonomous monitoring framework with fallen person pose estimation and vital sign detection | |
Dias et al. | First Aid and Emergency Assistance Robot for Individuals at Home using IoT and Deep Learning | |
Toupas et al. | A Framework Towards Ambient Assisted Living Enhanced by Service Robots | |
Kotyan et al. | Drishtikon: An advanced navigational aid system for visually impaired people | |
Yun et al. | Distributed sensor networks for multiple human recognition in indoor environments | |
Zhang et al. | Automating robotic furniture with a collaborative vision-based sensing scheme | |
Gomez-Donoso et al. | Research Article Enhancing the Ambient Assisted Living Capabilities with a Mobile Robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7326363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |