JP7326363B2 - 見守りシステム - Google Patents

Description

本発明は、見守りシステムに関する。

例えば、特許文献１には、撮像装置と、骨格情報抽出部と、骨格情報サンプル記憶部と、姿勢検出部と、姿勢判定部と、を備えることを特徴とする被監視者の姿勢検知装置が開示されている。撮像装置は、被監視者を監視する撮像領域の画像データを取得する。骨格情報抽出部は、撮像装置で撮像した画像データから被監視者の骨格情報を抽出する。骨格情報サンプル記憶部は、骨格情報からなる姿勢情報サンプルを格納する。姿勢検出部は、骨格情報抽出部で抽出した人間の骨格情報と骨格情報記憶部に格納された骨格情報サンプルとに基づいて被監視者の姿勢を検出する。姿勢判定部は、この姿勢検出部で検出した姿勢に基づいて転倒、転落の有無を判定する。

特開２０２０－３４９６０号公報

ところで、上記のような姿勢検知装置は、例えば、人物同士の接触の有無の把握の点で更なる改善の余地がある。

本発明は、上記の事情に鑑みてなされたものであって、人物の接触の状況を適正に把握することができる見守りシステムを提供することを目的とする。

上記目的を達成するために、本発明に見守りシステムは、監視対象空間の画像を撮像する撮像部と、前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、前記骨格モデルに対応する人物の、前記撮像部による撮像奥行方向に対する位置を検出可能である位置検出器と、第１の人物を表す第１の前記骨格モデルと第２の人物を表す第２の前記骨格モデルとの重なりの有無、前記位置検出器によって検出された前記第１の人物の前記撮像奥行方向に対する位置、及び、前記位置検出器によって検出された前記第２の人物の前記撮像奥行方向に対する位置に基づいて、前記第１の人物と前記第２の人物との接触を判定する判定部とを備える。

本発明に係る見守りシステムは、人物の接触の状況を適正に把握することができる、という効果を奏する。

図１は、実施形態に係る見守りシステムの概略構成を表すブロック図である。 図２は、実施形態に係る見守りシステムの搭載例を表す模式図である。 図３は、実施形態に係る見守りシステムにおける骨格モデルに基づく状態判定の一例を説明する模式図である。 図４は、実施形態に係る見守りシステムにおける判定の一例を説明する模式図である。 図５は、実施形態に係る見守りシステムにおける判定の一例を説明する模式図である。 図６は、実施形態に係る見守りシステムにおける判定の一例を説明する模式図である。 図７は、実施形態に係る見守りシステムにおける判定の一例を説明する模式図である。 図８は、実施形態に係る見守りシステムにおける処理の一例を説明するフローチャートである。

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

［実施形態］
図１、図２に示す本実施形態の見守りシステム１は、監視対象空間ＳＰに存在する人物Ｐの状態を監視し見守るシステムである。本実施形態の見守りシステム１は、例えば、通所介護（デイサービス）などの介護施設、高齢者施設等の福祉施設に適用される。監視対象空間ＳＰは、例えば、当該施設の居室空間や廊下空間等である。

本実施形態の見守りシステム１は、設置機器１０と、検出機器２０と、端末機器３０とを備え、これらが相互に情報を送受信し連携する連携システムを構成する。ここでは、設置機器１０と検出機器２０とは、監視対象空間ＳＰにおいて人物Ｐ同士の接触（干渉）を検出し、接触時の状況を記録する検出システム１Ａを構成する。本実施形態の見守りシステム１は、検出システム１Ａにおいて、監視対象空間ＳＰに存在する人物Ｐの状態を、当該人物Ｐを表す骨格モデルＭＤＬ（図３参照）に基づいて判定し、人物Ｐ同士の接触時の状況を適正に把握するための構成を実現したものである。以下、各図を参照して見守りシステム１の各構成について詳細に説明する。

なお、図１に図示する見守りシステム１において、電力供給、制御信号、各種情報等の授受のための各構成要素間の接続方式は、特に断りのない限り、有線による接続、無線による接続のいずれであってもよい。有線による接続とは、例えば、電線や光ファイバ等の配索材を介した接続である。無線による接続とは、例えば、無線通信、非接触給電等による接続である。

＜設置機器の基本構成＞
設置機器１０は、監視対象空間ＳＰに設置され、当該監視対象空間ＳＰを撮像する機器である。設置機器１０は、撮像部１１と、位置検出器１２と、ディスプレイ１３と、スピーカ１４と、マイク１５とを備える。設置機器１０は、例えば、これらの構成要素が筐体等に組み付けられユニット化された上で監視対象空間ＳＰの天井等に設けられることで、種々の機能を統合した室内監視モジュールを構成する。また、設置機器１０は、例えば、これらの構成要素が監視対象空間ＳＰに個別に設けられてもよい。設置機器１０は、例えば、見守りシステム１が適用される施設に複数設けられる。

撮像部１１は、監視対象空間ＳＰの画像Ｉ（例えば、図３参照）を撮像するものである。撮像部１１は、例えば、２次元画像を撮像可能な単眼カメラであってもよいし、３次元画像を撮像可能なステレオカメラであってもよい。また、撮像部１１は、いわゆるＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ等であってもよい。撮像部１１は、典型的には、監視対象空間ＳＰに存在する全ての人物Ｐを撮像可能な位置に設けられる。撮像部１１は、例えば、監視対象空間ＳＰの上方、ここでは、天井に配置され、撮像範囲に監視対象空間ＳＰの全領域が含まれるように画角が設定されている。撮像部１１は、１つで監視対象空間ＳＰの全域をカバーできない場合には複数が設けられ当該複数によって監視対象空間ＳＰの全域をカバーするように構成されてもよい。

なお、以下の説明では、後述の図３、図４、図５、図６に示すように、撮像部１１による撮像の奥行方向を「撮像奥行方向Ｘ」といい、撮像奥行方向Ｘと交差し水平方向に沿う方向を「撮像幅方向Ｙ」といい、撮像奥行方向Ｘと交差し鉛直方向に沿う方向を「撮像上下方向Ｚ」という場合がある。撮像奥行方向Ｘは、典型的には、撮像部１１の光軸方向に沿った方向に相当する。

位置検出器１２は、撮像部１１による撮像奥行方向Ｘに対する人物Ｐの位置を検出可能な検出器である。位置検出器１２は、撮像部１１によって撮像された人物Ｐの撮像奥行方向Ｘに対する位置を検出する。撮像部１１によって撮像された人物Ｐの撮像奥行方向Ｘに対する位置は、典型的には、後述するように、検出機器２０によって生成された骨格モデルＭＤＬに対応する人物Ｐの、撮像奥行方向Ｘに対する位置に相当する。位置検出器１２は、例えば、レーザ、赤外線、ミリ波、超音波等を用いて距離を検出する各種レーダ、ソナー、ＬｉＤＡＲ（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）等を用いることができる。位置検出器１２は、例えば、撮像奥行方向Ｘに沿った人物Ｐと位置検出器１２との距離を計測することで、撮像奥行方向Ｘに対する人物Ｐの位置を検出することができる。

ディスプレイ１３は、監視対象空間ＳＰに向けて画像情報（視覚情報）を表示（出力）するものである。ディスプレイ１３は、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等によって構成される。ディスプレイ１３は、監視対象空間ＳＰ内の人物Ｐから目視可能な位置に画像情報を表示する。ディスプレイ１３は、例えば、画像情報を出力することで種々の案内（アナウンス）を行う。

スピーカ１４は、監視対象空間ＳＰに向けて音情報（聴覚情報）を出力するものである。スピーカ１４は、例えば、音情報を出力することで種々の案内（アナウンス）を行う。

マイク１５は、監視対象空間ＳＰで発生した音を電気信号に変換する集音装置である。マイク１５は、例えば、監視対象空間ＳＰの外部の人物（例えば、施設職員等）との音声のやり取りに使用することができる。

＜検出機器の基本構成＞
検出機器２０は、設置機器１０によって撮像された画像Ｉから生成される骨格モデルＭＤＬに基づいて監視対象空間ＳＰに存在する人物Ｐの状態を検出する機器である。検出機器２０は、インターフェース部２１と、記憶部２２と、処理部２３とを備え、これらが相互に通信可能に接続されている。検出機器２０は、ネットワーク上に実装されるいわゆるクラウドサービス型の装置（クラウドサーバ）を構成してもよいし、ネットワークから切り離されたいわゆるスタンドアローン型の装置を構成してもよい。検出機器２０は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。検出機器２０は、例えば、見守りシステム１が適用される施設の管理センタ等に設けられるがこれに限らない。

インターフェース部２１は、検出機器２０外の他の機器と種々の情報を送受信するためのインターフェースである。インターフェース部２１は、各部との間で電線等を介して情報を有線通信する機能、各部との間で無線通信ユニット等を介して情報を無線通信する機能等を有している。インターフェース部２１は、検出機器２０外の他の機器として、複数の設置機器１０、及び、複数の端末機器３０との間で情報を送受信する。ここでは、インターフェース部２１は、複数の設置機器１０に対して直接的に通信可能に接続される一方、複数の端末機器３０に対して通信部２１ａ、ネットワークＮを介して通信可能に接続されるものとして図示しているがこれに限らない。複数の設置機器１０も通信部２１ａ、ネットワークＮを介して当該インターフェース部２１に接続されてもよい。ここで、通信部２１ａは、ネットワークＮと通信接続される通信モジュール（Ｄａｔａ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｍｏｄｕｌｅ）である。ネットワークＮは、有線または無線を問わず、任意の通信網を用いることができる。

記憶部２２は、種々の情報を記憶する記憶回路である。記憶部２２は、例えば、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスクなどの比較的に大容量の記憶装置、あるいは、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭ（Ｎｏｎ Ｖｏｌａｔｉｌｅ Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのデータを書き換え可能な半導体メモリであってもよい。記憶部２２は、例えば、検出機器２０が各種の機能を実現するためのプログラムを記憶する。検出機器２０に記憶されるプログラムには、インターフェース部２１を機能させるプログラム、通信部２１ａを機能させるプログラム、処理部２３を機能させるプログラム等が含まれる。記憶部２２は、例えば、監視対象空間ＳＰの人物Ｐの状態判定に用いられる学習済みの数理モデル等を記憶する。また、記憶部２２は、処理部２３での各種処理に必要な各種データを記憶する。記憶部２２は、処理部２３等によってこれらの各種データが必要に応じて読み出される。なお、記憶部２２は、ネットワークＮを介して検出機器２０に接続されたクラウドサーバ等により実現されてもよい。

処理部２３は、検出機器２０における各種処理機能を実現する処理回路である。処理部２３は、例えば、プロセッサによって実現される。プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路を意味する。処理部２３は、例えば、記憶部２２から読み込んだプログラムを実行することにより、各処理機能を実現する。例えば、処理部２３は、設置機器１０の撮像部１１によって撮像された画像Ｉを表す画像データ等を、インターフェース部２１を介して検出機器２０に入力する処理を実行可能である。

＜端末機器の基本構成＞
端末機器３０は、検出機器２０と通信可能に接続される機器である。端末機器３０は、インターフェース部３１と、記憶部３２と、処理部３３と、ディスプレイ３４と、スピーカ３５と、マイク３６とを備え、これらが相互に通信可能に接続されている。端末機器３０は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。端末機器３０は、例えば、見守りシステム１が適用される施設の職員等によって携帯可能な携帯端末機器を構成してもよいし、据え置き型の管理端末機器を構成してもよい。

インターフェース部３１、記憶部３２、処理部３３、ディスプレイ３４、スピーカ３５、マイク３６は、それぞれ、上述したインターフェース部２１、記憶部２２、処理部２３、ディスプレイ１３、スピーカ１４、マイク１５と略同様の構成である。インターフェース部３１は、端末機器３０外の他の機器と種々の情報を送受信するためのインターフェースである。インターフェース部３１は、通信部３１ａ、ネットワークＮを介して検出機器２０に通信可能に接続される。通信部３１ａは、上述した通信部２１ａと同様に、通信モジュールである。記憶部３２は、例えば、端末機器３０が各種の機能を実現するためのプログラムを記憶する。処理部３３は、端末機器３０における各種処理機能を実現する処理回路である。処理部３３は、例えば、記憶部３２から読み込んだプログラムを実行することにより、各処理機能を実現する。ディスプレイ３４は、画像情報を表示するものである。スピーカ３５は、音情報を出力するものである。マイク３６は、音を電気信号に変換する集音装置である。

以上、本実施形態に係る見守りシステム１の全体構成の概略について説明した。

＜検出機器の処理部の処理機能＞
このような構成のもと、本実施形態に係る処理部２３は、図３～図７に示すように、監視対象空間ＳＰに存在する人物Ｐの状態を、当該人物Ｐを表す骨格モデルＭＤＬに基づいて判定し、接触時の状況を適正に把握、記録する各種処理を行うための機能を有している。

具体的には、本実施形態の処理部２３は、上記各種処理機能を実現するために、機能概念的に、情報処理部２３ａ、骨格モデル生成部２３ｂ、判定部２３ｃ、及び、動作処理部２３ｄを含んで構成される。処理部２３は、例えば、記憶部２２から読み込んだプログラムを実行することにより、これら情報処理部２３ａ、骨格モデル生成部２３ｂ、判定部２３ｃ、及び、動作処理部２３ｄの各処理機能を実現する。

情報処理部２３ａは、見守りシステム１で用いる種々の情報に関する処理を実行可能な機能を有する部分である。情報処理部２３ａは、設置機器１０や端末機器３０との間で種々の情報を送受信する処理を実行可能である。見守りシステム１は、情報処理部２３ａによる処理により、設置機器１０や端末機器３０と相互に情報（例えば、音声情報や画像情報等）のやり取りが可能となる。ここでは、情報処理部２３ａは、設置機器１０から、撮像部１１によって撮像された監視対象空間ＳＰの画像Ｉを表す画像データを取得し記憶部２２に一時的に記憶させる処理を実行可能である。

骨格モデル生成部２３ｂは、撮像部１１によって撮像された監視対象空間ＳＰの画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬ（図３参照）を生成する処理を実行可能な機能を有する部分である。骨格モデルＭＤＬは、人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等を含む人体骨格を３次元で表した人体モデルである。

骨格モデル生成部２３ｂは、例えば、まず人物Ｐを検出した後に当該人物Ｐの骨格を推定するトップダウン型の骨格推定によって、画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを生成することができる。この場合、骨格モデル生成部２３ｂは、種々の公知の物体認識技術を用いて、画像Ｉ内の人物Ｐを認識し、画像Ｉにおいて当該認識した人物Ｐが存在する領域の外側をバウンディングボックスＢＢで囲う処理を実行する。ここで、バウンディングボックスＢＢとは、画像Ｉにおいて認識された人物Ｐを囲うために必要な大きさの矩形状の枠である。そして、骨格モデル生成部２３ｂは、当該バウンディングボックスＢＢ内の人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位（人体パーツ）の３次元位置座標を検出し、これらを組み合わせて当該人物Ｐの骨格モデルＭＤＬを生成する。図３に例示する骨格モデルＭＤＬは、人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位を「点」によって象徴的に表すと共にこれらを「線」でつなぎ合わせることで生成されている。骨格モデル生成部２３ｂは、画像Ｉに含まれる人物Ｐが複数である場合には、当該人物Ｐの数に応じて複数の骨格モデルＭＤＬを生成する。骨格モデル生成部２３ｂは、生成した骨格モデルＭＤＬを記憶部２２に記憶させる。

なお、骨格モデル生成部２３ｂは、例えば、バウンディングボックスＢＢ等を用いず画像Ｉ中の人体の各骨格部位を全て検出した後に人物Ｐの骨格を推定するボトムアップ型の骨格推定によって、画像Ｉに含まれる人物Ｐを表す骨格モデルを生成してもよい。この場合、骨格モデル生成部２３ｂは、まず、種々の公知の物体認識技術を用いて、画像Ｉ中の人体の頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の各骨格部位の３次元位置座標を全て検出する。その後、骨格モデル生成部２３ｂは、当該検出した各骨格部位を人物Ｐごとにマッチングさせて繋ぎ合わせていくことで、各人物Ｐの骨格モデルＭＤＬを生成する。

また、この見守りシステム１は、画像Ｉ内の人物Ｐを認識するための物体認識技術として、各種機械学習を用いた物体認識技術を用いることができる。この場合、見守りシステム１は、例えば、人物Ｐを含む画像Ｉ等を学習用データとして、予め各種機械学習により人物Ｐを学習しておく。このとき、見守りシステム１は、施設の利用者を予め登録しておき、画像Ｉにおいて、各利用者を個体として識別可能なように学習させておくこともできる。例えば、見守りシステム１は、予め収集された「施設の利用者である人物Ｐを含む画像Ｉ」に関するデータを説明変数とし、「当該画像に対応する人物Ｐの識別情報（例えば、利用者ＩＤ等）」に関するデータを目的変数として学習用教師データセットを用意し、当該学習用教師データセットを用いて機械学習を行う。機械学習としては、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。見守りシステム１は、この機械学習によって得られた学習済みの物体認識（人物認識）用の数理モデル等を予め記憶部２２に記憶しておく。

そして、骨格モデル生成部２３ｂは、例えば、上記のように記憶部２２に記憶されている学習済みの物体認識（人物認識）用の数理モデル等に基づいた分類・回帰により、画像Ｉ内の人物Ｐを、識別情報により個人を特定した状態で認識した後、当該人物Ｐを表す骨格モデルＭＤＬを生成する。より具体的には、骨格モデル生成部２３ｂは、撮像部１１によって撮像された画像Ｉを、当該物体認識用の数理モデルに入力する。この結果、骨格モデル生成部２３ｂは、画像Ｉ内の人物Ｐを認識すると共に当該人物Ｐを特定する識別情報を取得し、当該人物Ｐを表す骨格モデルＭＤＬを生成する。これにより、骨格モデル生成部２３ｂは、識別情報により個人が特定された人物Ｐの骨格モデルＭＤＬを生成することができる。骨格モデル生成部２３ｂは、個人が特定された人物Ｐの識別情報と共に、生成した骨格モデルＭＤＬを記憶部２２に記憶させる。

また、骨格モデル生成部２３ｂは、骨格モデルＭＤＬを生成した後、当該骨格モデルＭＤＬの生成に用いた画像Ｉを消去する処理を実行し、記憶部２２や記憶部３２、設置機器１０の一時記憶部等に当該画像Ｉを表す画像データを残さないようにすることもできる。この場合、見守りシステム１は、骨格モデルＭＤＬを生成した後、以降の各処理においては、当該骨格モデルＭＤＬの生成に用いた画像Ｉを用いずに、画像から生成された骨格モデルＭＤＬを用いて各種処理を実行する（図４、図５等参照）。これにより、見守りシステム１は、施設利用者個人の顔等が映った画像を用いずに、施設利用者のプライバシーを確保した上で、様々な監視を行うことが可能となる。

判定部２３ｃは、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬに基づいて、当該骨格モデルＭＤＬに対応する人物Ｐの状態を判定する処理を実行可能な機能を有する部分である。判定部２３ｃは、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬに対応する人物Ｐの状態として、立っている状態、座っている状態、転倒している状態等を区別して判定する。判定部２３ｃは、撮像部１１によって撮像された監視対象空間ＳＰの画像Ｉに人物Ｐが含まれていた場合に、当該人物Ｐに対してこれらの状態判定を行う。

この見守りシステム１は、例えば、骨格モデルＭＤＬにおける各骨格部位の相対的な位置関係や相対距離、バウンディングボックスＢＢの大きさ等をパラメータとして、予め各種機械学習により、人物Ｐの状態を学習しておく。例えば、見守りシステム１は、予め収集された「骨格モデルＭＤＬにおける各骨格部位の相対的な位置関係、相対距離、バウンディングボックスＢＢの大きさ」に関するデータを説明変数とし、「人物Ｐの状態」に関するデータを目的変数として機械学習を行う。機械学習としては、上記と同様に、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。見守りシステム１は、この機械学習によって得られた学習済みの状態判定用の数理モデル等を予め記憶部２２に記憶しておく。

そして、判定部２３ｃは、上記のように記憶部２２に記憶されている学習済みの状態判定用の数理モデル等に基づいた分類・回帰により、骨格モデルＭＤＬに対応する人物の状態を判定する。より具体的には、判定部２３ｃは、実際に撮像された画像Ｉに含まれる人物Ｐの骨格モデルＭＤＬから得られる各骨格部位の相対的な位置関係、相対距離、バウンディングボックスＢＢの大きさを、当該状態判定用の数理モデルに入力する。これにより、判定部２３ｃは、骨格モデルＭＤＬに対応する人物Ｐの状態（立っている状態、座っている状態、転倒している状態等）を区別して判定する。

なお、本実施形態の判定部２３ｃは、上述したように、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬに基づいて、当該骨格モデルＭＤＬの生成に用いた画像Ｉを用いずに、骨格モデルＭＤＬに対応する人物Ｐの状態を判定する。

そしてさらに、本実施形態の判定部２３ｃは、複数の人物Ｐを表す骨格モデルＭＤＬの重なりの有無、及び、位置検出器１２によって検出された各人物Ｐの撮像奥行方向Ｘに対する位置に基づいて、複数の人物Ｐの接触を判定する処理も実行可能である。

具体的には、本実施形態の判定部２３ｃは、図４、図５、図６、図７等に示すように、第１の人物Ｐ１を表す第１の骨格モデルＭＤＬ１と第２の人物Ｐ２を表す第２の骨格モデルＭＤＬ２との重なりの有無、位置検出器１２によって検出された第１の人物Ｐ１の撮像奥行方向Ｘに対する位置、及び、位置検出器１２によって検出された第２の人物Ｐ２の撮像奥行方向Ｘに対する位置に基づいて、第１の人物Ｐ１と第２の人物Ｐ２との接触を判定する。

判定部２３ｃは、例えば、図４に例示するように、人物Ｐ１を表す骨格モデルＭＤＬ１と人物Ｐ２を表す骨格モデルＭＤＬ２との重なりが無い場合に、第１の人物Ｐ１と第２の人物Ｐ２とが接触していないものと判定する。

一方、判定部２３ｃは、例えば、図５に例示するように、人物Ｐ１を表す骨格モデルＭＤＬ１と人物Ｐ２を表す骨格モデルＭＤＬ２との重なりが有る場合に、位置検出器１２によって検出された人物Ｐ１、Ｐ２の撮像奥行方向Ｘに対する位置に基づいて、人物Ｐ１と人物Ｐ２との総合的な重なり、言い換えれば、人物Ｐ１と人物Ｐ２との接触（干渉）を判定する。

すなわちこの場合、判定部２３ｃは、例えば、図５、図６に例示するように、人物Ｐ１を表す骨格モデルＭＤＬ１と人物Ｐ２を表す骨格モデルＭＤＬ２との重なりが有り、かつ、人物Ｐ１の撮像奥行方向Ｘに対する位置と人物Ｐ２の撮像奥行方向Ｘに対する位置とが予め定められた接触範囲外である場合、第１の人物Ｐ１と第２の人物Ｐ２とが接触していないものと判定する。ここでは、接触範囲とは、人物Ｐ同士の接触（干渉）を判定するために予め設定される位置範囲であり、一方の人物Ｐの撮像奥行方向Ｘに対する位置を基準として、他方の人物Ｐの撮像奥行方向Ｘに対する位置がこの接触範囲内にある場合に当該人物Ｐ同士が接触していることを表す。つまり、判定部２３ｃは、人物Ｐ１の撮像奥行方向Ｘに対する位置と人物Ｐ２の撮像奥行方向Ｘに対する位置とが接触範囲外である場合、人物Ｐ１と人物Ｐ２とが接触していないものと判定することができる。

一方、判定部２３ｃは、例えば、図５、図７に例示するように、人物Ｐ１を表す骨格モデルＭＤＬ１と人物Ｐ２を表す骨格モデルＭＤＬ２との重なりが有り、かつ、人物Ｐ１の撮像奥行方向Ｘに対する位置と人物Ｐ２の撮像奥行方向Ｘに対する位置とが接触範囲内である場合、第１の人物Ｐ１と第２の人物Ｐ２とが接触しているものと判定する。

なお、本実施形態の情報処理部２３ａは、判定部２３ｃによって、骨格モデルＭＤＬに対応する人物Ｐ同士が接触したものと判定した場合、接触した際の状況を表す状況データを記憶部２２に記憶させ、記録として保存しておくようにしてもよい。接触した際の状況を表す状況データは、典型的には、第１の人物Ｐ１と第２の人物Ｐ２とが接触に至るまでの骨格モデルＭＤＬの動きを表すデータを含む。ここで、第１の人物Ｐ１と第２の人物Ｐ２とが接触に至るまでの骨格モデルＭＤＬは、第１の人物Ｐ１の骨格モデルＭＤＬ１、及び、第２の人物Ｐ２の骨格モデルＭＤＬ２を含む。また、情報処理部２３ａは、例えば、接触した際の状況を表す状況データとして、上記のデータと共に、接触に関与した人物Ｐ１、Ｐ２を表す識別情報も紐付けて記憶部２２に記憶させてもよい。

この場合も、情報処理部２３ａは、上述したように、当該骨格モデルＭＤＬの生成に用いた画像Ｉについては記憶部２２に記録として保存しないようにすることができる。これにより、見守りシステム１は、人物Ｐのプライバシーを確保した上で、人物Ｐ同士が接触に至るまでの骨格モデルＭＤＬの動き等を記憶部２２に記録として保存しておくことが可能となる。

動作処理部２３ｄは、検出機器２０による判定結果に基づいて各部の動作を制御する処理を実行可能な機能を有する部分である。本実施形態の動作処理部２３ｄは、判定部２３ｃによる判定結果に基づいて、状況データを検出機器２０外の他の機器に転送する処理を実行可能である。動作処理部２３ｄは、例えば、判定部２３ｃによる判定結果に基づいて、通信部２１ａを制御し、当該判定結果に応じた状況データを端末機器３０に転送すると共に、当該端末機器３０を介して施設の職員等に人物Ｐ同士の接触があったことを通知する。端末機器３０は、例えば、受信した接触時の状況データを記憶部３２に記憶させ、記録として保存しておくようにしてもよい。端末機器３０は、例えば、ディスプレイ３４を介して人物Ｐ同士が接触に至るまでの骨格モデルＭＤＬの動きを表示させ、施設の職員等に接触時の状況を確認させるようにしてもよい。なお、動作処理部２３ｄによって状況データを他の機器に転送する処理機能等は、上述した情報処理部２３ａによって実現されてもよい。

＜制御フローの一例＞
次に、図８のフローチャート図を参照して見守りシステム１おける制御の一例について説明する。

まず、検出機器２０の情報処理部２３ａは、人物Ｐが監視対象空間ＳＰに入室すると、撮像部１１を制御し監視対象空間ＳＰの画像Ｉを撮像させ、撮像された画像情報を記憶部２２に記憶させる（ステップＳ１）。

次に、検出機器２０の骨格モデル生成部２３ｂは、記憶部２２に記憶された監視対象空間ＳＰの画像Ｉに基づいて、物体認識、骨格推定により、人物Ｐの各骨格部位の位置を検出し（ステップＳ２）、当該人物Ｐの骨格モデルＭＤＬを生成する（ステップＳ３）。

次に、骨格モデル生成部２３ｂは、骨格モデルＭＤＬの生成に用いた画像を消去し（ステップＳ４）、当該画像を表す画像データを残さないようにする。検出機器２０の処理部２３は、以降の各処理においては、当該骨格モデルＭＤＬの生成に用いた画像Ｉを用いずに、画像Ｉから生成された骨格モデルＭＤＬを用いて各種処理を実行する。

次に、検出機器２０の判定部２３ｃは、ステップＳ３の処理で生成された骨格モデルＭＤＬに基づいて、複数の人物Ｐを表す骨格モデルＭＤＬ同士が重なっているか否かを判定する（ステップＳ５）。

判定部２３ｃは、複数の人物Ｐを表す骨格モデルＭＤＬ同士が重なっていないと判定した場合（ステップＳ５：Ｎｏ）、複数の人物Ｐ同士が接触していないものと判定し（ステップＳ６）、今回の制御周期を終了し、次回の制御周期に移行する。

判定部２３ｃは、ステップＳ５で、複数の人物Ｐを表す骨格モデルＭＤＬ同士が重なっていると判定した場合（ステップＳ５：Ｙｅｓ）、位置検出器１２による検出結果に基づいて、当該複数の人物Ｐの撮像奥行方向Ｘに対する位置が接触範囲内であるか否かを判定する（ステップＳ７）。

判定部２３ｃは、当該複数の人物Ｐの撮像奥行方向Ｘに対する位置が接触範囲外であると判定した場合（ステップＳ７：Ｎｏ）、上述したステップＳ６に移行する。

判定部２３ｃは、当該複数の人物Ｐの撮像奥行方向Ｘに対する位置が接触範囲内であると判定した場合（ステップＳ７：Ｙｅｓ）、複数の人物Ｐ同士が接触しているものと判定する（ステップＳ８）。このとき、情報処理部２３ａは、接触した際の状況を表す状況データとして、人物Ｐ同士が接触に至るまでの骨格モデルＭＤＬの動きを表すデータ、接触に関与した人物Ｐを表す識別情報を相互に紐付けて記憶部２２に記憶させ、記録として保存する。

その後、検出機器２０の動作処理部２３ｄは、通信部２１ａを制御し、接触時の状況データを端末機器３０に転送すると共に、当該端末機器３０を介して施設の職員等に人物Ｐ同士の接触があったことを通知し（ステップＳ９）、今回の制御周期を終了し、次回の制御周期に移行する。このとき、端末機器３０は、受信した接触時の状況データを記憶部３２に記憶させ、記録として保存しておく。

以上で説明した見守りシステム１は、撮像部１１によって監視対象空間ＳＰの画像Ｉを撮像し、骨格モデル生成部２３ｂによって当該画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを生成する。そして、判定部２３ｃは、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬ、及び、位置検出器１２によって検出された人物Ｐの位置に基づいて、骨格モデルＭＤＬに対応する人物Ｐの接触の有無を判定する。この結果、見守りシステム１は、人物Ｐの接触の状況を適正に把握することができる。例えば、見守りシステム１は、福祉施設において、利用者同士の接触、干渉事故が発生した場合、原因を判断する材料として、判定部２３ｃによる判定結果を用いることができる。

また、見守りシステム１は、撮像部１１によって撮像された画像Ｉそのものではなく、画像Ｉから生成された骨格モデルＭＤＬに基づいて人物Ｐの状態を把握することができるので、より少ないデータ量、演算負荷で転倒時の状況を適正に把握することができる。

また、この場合、見守りシステム１は、撮像部１１によって撮像された画像Ｉそのものではなく、画像Ｉから生成された骨格モデルＭＤＬに基づいて接触時の状況を把握することができるので、人物Ｐのプライバシーを確保した上で、上記のように接触時の状況を適正に把握することができる。これにより、見守りシステム１は、例えば、設置機器１０の設置に対する心理的な圧迫を軽減することができ、設置に対する同意を得やすいシステムとすることができる。

ここでは、以上で説明した見守りシステム１は、第１の人物Ｐ１と第２の人物Ｐ２とが接触に至るまでの骨格モデルＭＤＬ１、ＭＤＬ２の動きを記憶する記憶部２２、３２を備える。これにより、見守りシステム１は、人物Ｐのプライバシーを確保した上で、人物Ｐ１と人物Ｐ２とが転倒に至るまでの骨格モデルＭＤＬ１、ＭＤＬ２の動きを記録として保存しておくことができる。

具体的には、以上で説明した見守りシステム１は、判定部２３ｃによって、複数の人物Ｐを表す骨格モデルＭＤＬ同士の重なりが無い場合に、複数の人物Ｐが接触していないものと判定する。これにより、見守りシステム１は、複数の骨格モデルＭＤＬの重なりあいに応じて簡易的に人物Ｐの接触がなかったことを判定することができる。そして、見守りシステム１は、判定部２３ｃによって、複数の人物Ｐを表す骨格モデルＭＤＬ同士の重なりが有り、かつ、当該複数の人物Ｐの撮像奥行方向Ｘに対する位置が接触範囲外である場合、当該複数の人物Ｐが接触していないものと判定する。一方、見守りシステム１は、複数の人物Ｐを表す骨格モデルＭＤＬ同士の重なりが有り、かつ、当該複数の人物Ｐの撮像奥行方向Ｘに対する位置が接触範囲内である場合、当該複数の人物Ｐが接触しているものと判定する。この結果、見守りシステム１は、人物Ｐの接触、干渉を精度よく判定することができ、上記のように人物Ｐの接触の状況を適正に把握することができる。

なお、上述した本発明の実施形態に係る見守りシステムは、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。

以上の説明では、記憶部２２、３２は、例えば、状況データとして、マイク１５によって集音された音声データも記憶しておくことで、接触前後の状況を音声により補完することも可能である。

以上で説明した処理部２３、３３は、それぞれ単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。処理部２３、３３は、それぞれ複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、処理部２３、３３が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理部２３、３３が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。

本実施形態に係る見守りシステムは、以上で説明した実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。

１ 見守りシステム
１Ａ 検出システム
１０ 設置機器
１１ 撮像部
１２ 位置検出器
２０ 検出機器
２１、３１ インターフェース部
２２、３２ 記憶部
２３、３３ 処理部
２３ａ 情報処理部
２３ｂ 骨格モデル生成部
２３ｃ 判定部
２３ｄ 動作処理部
３０ 端末機器
ＢＢ バウンディングボックス
Ｉ 画像
ＭＤＬ、ＭＤＬ１、ＭＤＬ２ 骨格モデル
Ｎ ネットワーク
Ｐ、Ｐ１、Ｐ２ 人物
ＳＰ 監視対象空間
Ｘ 撮像奥行方向
Ｙ 撮像幅方向
Ｚ 撮像上下方向

Claims (3)

1. 監視対象空間の画像を撮像する撮像部と、
   前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、
   前記骨格モデルに対応する人物の、前記撮像部による撮像奥行方向に対する位置を検出可能である位置検出器と、
   第１の人物を表す第１の前記骨格モデルと第２の人物を表す第２の前記骨格モデルとの重なりの有無、前記位置検出器によって検出された前記第１の人物の前記撮像奥行方向に対する位置、及び、前記位置検出器によって検出された前記第２の人物の前記撮像奥行方向に対する位置に基づいて、前記第１の人物と前記第２の人物との接触を判定する判定部とを備える、
   見守りシステム。
2. 前記第１の人物と前記第２の人物とが接触に至るまでの前記骨格モデルの動きを記憶する記憶部を備える、
   請求項１に記載の見守りシステム。
3. 前記判定部は、前記第１の骨格モデルと前記第２の骨格モデルとの重なりが無い場合に、前記第１の人物と前記第２の人物とが接触していないものと判定し、
   前記第１の骨格モデルと前記第２の骨格モデルとの重なりが有り、かつ、前記第１の人物の前記撮像奥行方向に対する位置と前記第２の人物の前記撮像奥行方向に対する位置とが予め定められた接触範囲外である場合、前記第１の人物と前記第２の人物とが接触していないものと判定し、
   前記第１の骨格モデルと前記第２の骨格モデルとの重なりが有り、かつ、前記第１の人物の前記撮像奥行方向に対する位置と前記第２の人物の前記撮像奥行方向に対する位置とが前記接触範囲内である場合、前記第１の人物と前記第２の人物とが接触しているものと判定する、
   請求項１又は請求項２に記載の見守りシステム。

Images