JP7138619B2 - 監視端末及び監視方法 - Google Patents

Description

本発明は、監視するための技術に関する。

高齢化社会といわれる日本の人口は、現在約３割が６５歳以上となっている。高齢者の増加に伴い、単身世帯の高齢者（いわゆる独居老人）も増加傾向にあり、２０１５年時点で６００万人を超えている。このような独居老人は、一人暮らしであるため、病気や事故等のトラブルが起きた際に適切な対応を取ることが難しいことが多く、怪我や病気を重篤化させてしまうおそれもある。怪我や病気の重症化は、要介護老人を増加させることにつながる。そのため、国の社会保障費の増加や働き盛り世代の介護離職増加につながるなど、社会に与える損失が大きい。このように、社会の課題の一つとして、高齢者（特に独居老人）を中心とした社会的弱者の見守りは今後ますます重要となっている。このような問題に対し、老人の居住空間に対してカメラを設置することにより見守りを行う技術が提案されている（例えば特許文献１）。

特開２０１３－２０６０１２号公報

しかしながら、撮像された映像などを介して、老人の行動や表情などの状況が常に監視されていると、怪我や病気の観点からは問題を解決できるかもしれないが、プライバシーの問題が生じてしまう。このような問題が解決されておらず、十分な整備は進んでいない。結果として、病気やケガの発見が遅れ、重症化や孤独死に繋がってしまうケースもある。このような問題は、老人に限った問題ではなく、監視される者（以下「監視対象」という。）にとって共通の問題である。

上記事情に鑑み、本発明は、監視対象のプライバシーを守りつつ、監視を行うことを可能とする技術の提供を目的としている。

本発明の一態様は、監視対象を撮像した画像から前記監視対象の形状を示す形状情報を推定する形状推定部と、前記監視対象について異常が生じているか否か判定する異常判定部と、前記異常判定部によって異常が生じていると判定された場合に、前記形状情報を含み且つ前記監視対象そのものの画像を含まない通知画像を生成し、前記通知画像を他の装置に送信する通知部と、を備える監視端末である。

本発明の一態様は、上記の監視端末であって、前記監視対象が活動する施設である監視対象施設に設置される。

本発明の一態様は、上記の監視端末であって、前記形状推定部は、前記監視対象の骨格の情報を推定する。

本発明の一態様は、上記の監視端末であって、前記監視対象に対して安全な状態であるか否かの返答を促す内容の音声を音声出力部から出力し、その後に音声入力部から入力される音声に基づいて確認結果の情報を生成する安否確認部をさらに備え、前記通知部は、前記確認結果も他の装置に送信する。

本発明の一態様は、監視対象を撮像した画像から前記監視対象の形状を示す形状情報を推定する形状推定ステップと、前記監視対象について異常が生じているか否か判定する異常判定ステップと、前記異常判定ステップにおいて異常が生じていると判定された場合に、前記形状情報を含み且つ前記監視対象そのものの画像を含まない通知画像を生成し、前記通知画像を他の装置に送信する通知ステップと、を有する監視方法である。

本発明により、監視対象のプライバシーを守りつつ、監視を行うことを可能とする技術の提供を目的としている。
せることが可能となる。

本発明の監視システム１００のシステム構成を示す概略ブロック図である。 監視端末１０の機能構成の具体例を示す概略ブロック図である。 背景画像の具体例を示す図である。 撮像部１２によって撮影された画像の具体例を示す図である。 通知画像の具体例を示す図である。 制御装置２０の機能構成の具体例を示す概略ブロック図である。 監視システム１００の動作の流れの具体例を示すシーケンスチャートである。 監視システム１００の動作の流れの他の具体例を示すシーケンスチャートである。 監視システム１００の動作の流れの他の具体例を示すシーケンスチャートである。

以下、本発明の具体的な構成例について、図面を参照しながら説明する。
図１は、本発明の監視システム１００のシステム構成を示す概略ブロック図である。監視システム１００は、監視対象施設９０にて活動する監視対象を監視するためのシステムである。監視システム１００は、監視端末１０、制御装置２０及びユーザー端末３０を含む。監視端末１０、制御装置２０及びユーザー端末３０は、ネットワーク４０を介して通信可能に接続される。ネットワーク４０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク４０は、複数のネットワークが組み合わされて構成されてもよい。

監視端末１０は、監視対象施設９０に設置される。監視端末１０は、監視対象施設９０内の監視対象の映像を撮像し、監視対象の画像を形状データの画像に変換する。監視端末１０は、監視対象の画像を含まずに、形状データの画像を含む通知画像を生成する。監視端末１０によって生成された通知画像は、制御装置２０やユーザー端末３０に送信される。通知画像には監視対象の画像が含まれないため、監視対象のプライバシーを守ることができる。また、通知画像には監視対象の形状を示す形状データの画像が含まれる。そのため、通知画像に基づいて監視対象の状態を監視することができる。このような仕組みにより、監視システム１００では監視対象のプライバシーを守りつつ監視を行うことが可能となる。以下、監視システム１００の詳細について説明する。

図２は、監視端末１０の機能構成の具体例を示す概略ブロック図である。監視端末１０は、例えばスマートフォン、タブレット、パーソナルコンピューター、携帯ゲーム機、据え置き型ゲーム機、専用機器などの情報機器を用いて構成される。監視端末１０は、通信部１１、撮像部１２、音声入力部１３、音声出力部１４、表示部１５、制御部１６及び記憶部１７を備える。

通信部１１は、通信機器である。通信部１１は、例えばネットワークインターフェースとして構成されてもよい。通信部１１は、制御部１６の制御に応じて、ネットワーク４０を介して他の装置とデータ通信する。通信部１１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

撮像部１２は、カメラを用いて構成される。撮像部１２は、カメラそのものとして構成されてもよいし、外部機器としてカメラを監視端末１０に接続するためのインターフェースとして構成されてもよい。カメラは、監視対象施設９０内の所定の空間を撮像する。カメラによる撮像は、可視光を受光することで画像形成する処理として実現されてもよいし、レーダーを用いて画像形成する処理として実現されてもよいし、他の実装方法で実現されてもよい。カメラによって撮像される所定の空間は、監視対象が位置する可能性のある空間であることが望ましい。例えば、監視対象が老人である場合には、その老人が普段生活している空間（例えばリビング、居間、廊下、寝室など）であってもよい。例えば、監視対象が乳児や幼児である場合には、その乳児や幼児が活動する範囲内の空間（例えばリビング、居間、ベビーベッド上など）であってもよい。カメラは１台設けられてもよいし、複数台設けられてもよい。撮像部１２は、カメラによって撮像された画像のデータを制御部１６に出力する。

音声入力部１３は、マイクを用いて構成される。音声入力部１３は、マイクそのものとして構成されてもよいし、外部機器としてマイクを監視端末１０に接続するためのインターフェースとして構成されてもよい。マイクは、監視対象施設９０内の所定の空間の音声を取得する。マイクによって音声取得される所定の空間は、監視対象が位置する可能性のある空間であることが望ましい。例えば、上述したカメラが撮像対象としている空間であることが望ましい。音声入力部１３は、マイクによって取得された音声のデータを制御部１６に出力する。

音声出力部１４は、スピーカーを用いて構成される。音声出力部１４は、スピーカーそのものとして構成されてもよいし、外部機器としてスピーカーを監視端末１０に接続するためのインターフェースとして構成されてもよい。スピーカーは、監視対象施設９０内の所定の空間に音声を出力する。スピーカーによって音声出力される所定の空間は、監視対象が位置する可能性のある空間であることが望ましい。例えば、上述したカメラが撮像対象としている空間であることが望ましい。音声出力部１４は、制御部１６によって出力される音声信号に応じた音声を出力する。

表示部１５は、制御部１６の制御に応じて監視対象に対して画像を表示する。表示部１５は、例えば監視対象に対して反応を促すための画像を表示してもよい。例えば、「大丈夫ですか？」といった文字列や、「大丈夫である場合には以下のボタンを押して下さい」という文字列と「大丈夫」等の問題が生じていないことを示す文字や画像を含むボタン等の操作対象と、を表示してもよい。

制御部１６は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部１６は、プロセッサーがプログラムを実行することによって、骨格推定部１６１、姿勢推定部１６２、異常判定部１６３、通知画像生成部１６４、通知部１６５、安否確認部１６６、データ取得部１６７として機能する。なお、制御部１６の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

骨格推定部１６１は、撮像部１２から得られた画像において監視対象の骨格情報を推定する。骨格情報は、監視対象の形状を示す情報の具体例の一つである。骨格情報は、例えば監視対象について予め定められた複数の特徴点の位置と、前記特徴点を接続したリンクとを含む情報である。骨格情報の特徴点は、例えば鼻、両目、首、両肩、両肘、両手首、腰、両足のつけ根、両足の膝、両足の踵、両足のつま先を含むように構成されてもよい。骨格推定部１６１は、例えば予め教師画像を用いて機械学習処理を行うことによって得られた学習済みモデルを用いることで骨格推定を行ってもよい。骨格推定部１６１の実装に用いられる技術は、上述した教師有り学習に限定される必要は無く、どのようなものであってもよい。

姿勢推定部１６２は、撮像部１２から得られた画像において監視対象の姿勢情報を推定する。姿勢情報は、監視対象の姿勢を示す情報である。姿勢情報は、例えば予め定められた複数の姿勢候補の中から選択される情報であってもよい。このような姿勢候補には、正常な姿勢を示す情報と、異常な姿勢を示す情報とが含まれてもよい。姿勢候補の具体例として、起立状態、着席状態、床座り状態、寝た状態、転んだ状態、うずくまった状態、倒れた状態、などがある。姿勢情報は、例えば監視対象について得られた骨格情報に基づいて推定されてもよい。姿勢情報は、例えば予め教師画像を用いて機械学習処理を行うことによって得られた学習済みモデルを用いることで姿勢推定を行ってもよい。姿勢推定部１６２の実装に用いられる技術は、上述したような骨格情報に基づいた推定処理や、教師有り学習を用いた処理に限定される必要は無く、どのようなものであってもよい。

異常判定部１６３は、監視対象に異常が生じているか否か判定する。異常判定部１６３は、例えば骨格推定部１６１の推定結果である骨格情報に基づいて異常を判定してもよい。異常判定部１６３は、例えば姿勢推定部１６２の推定結果である姿勢情報に基づいて異常を判定してもよい。異常判定部１６３は、例えば骨格推定部１６１の推定結果である骨格情報と、姿勢推定部１６２の推定結果である姿勢情報と、に基づいて異常を判定してもよい。異常判定部１６３は、例えば、記憶部１７に予め記憶されている異常判定条件に基づいて異常を判定してもよい。すなわち、異常判定部１６３は、異常判定に用いられる情報（例えば、骨格情報や姿勢情報や他の情報）が、異常判定条件を満たす場合に異常が生じていると判定してもよい。

異常判定条件として、例えば監視対象の身に怪我や発作などが生じている可能性が高いことを示す骨格情報や姿勢情報が予め登録されていてもよい。異常判定条件として、所定の深夜を示す時間帯（例えば０時～４時）であっても所定の時間にわたって照明がついていることを示す条件が定義されてもよい。照明がついているか否かは、例えば撮像部１２によって撮影された画像の明度に基づいて得られてもよいし、監視端末１０に接続されている不図示の明度センサーの出力に基づいて得られてもよいし、監視対象施設９０内の電気機器の状態や消費電力を示す情報をＨＥＭＳ等のシステムから取得して判定されてもよい。異常判定条件として、撮像部１２によって撮像された映像において、所定の時間以上にわたって監視対象を検出できないことが定義されてもよい。例えば骨格推定部１６１によって骨格が検出されたことにしたがって監視対象が検出されたと判定されてもよいし、姿勢推定部１６２によって姿勢を判定できた場合に監視対象が検出されたと判定されてもよいし、他の人体検知アルゴリズム（例えば人の顔の検出、人の全体像のシルエットの検出、人体検知センサーの使用など）を用いて監視対象の検出が行われてもよい。異常判定条件として、普段の撮影画像に基づいて教師無し学習によって得られる学習済みモデルを用いて普段と有意差をもった現象が検出されたことが定義されてもよい。

通知画像生成部１６４は、撮像部１２によって予め撮影された画像（以下「背景画像」という。）に対して、骨格推定部１６１によって推定された骨格情報を示す画像を重畳することによって、通知画像を生成する。図３は、背景画像の具体例を示す図である。背景画像は、撮像部１２に用いられるカメラの撮像範囲を予め撮像することによって得られる画像である。背景画像には、監視対象そのものの画像や、監視対象を示す画像が含まれていない。図４は、撮像部１２によって撮影された画像の具体例を示す図である。図４の画像では、ドアの前に監視対象の人物が横に倒れている。

図５は、通知画像の具体例を示す図である。図５の通知画像では、図４の画像において推定された骨格情報を示す画像が、図３の背景画像に重畳されている。図５の通知画像の例から明らかなように、通知画像では、監視対象の状態（この場合は頭を左に向けて横に倒れている状態）やその位置が推定可能であるとともに、監視対象そのもののテクスチャーや細かい動作が不明であるためプライバシーが守られている。例えば、監視対象が裸であったり、監視対象が鼻水やよだれを垂らしていたとしても、そのような情報は通知画像には含まれない。また、通知画像には予め撮像された背景画像が用いられるため、監視対象が誤って失禁している場合や、吐瀉していたとしても、汚物を示す情報は通知画像に含まれない。このように、監視対象にとって記録には残されたくないような情報は、通知画像には含まれない。

通知部１６５は、通知条件が満たされると、通知画像を含む通知情報を、通信部１１を介して他の装置に送信する。通知条件は、例えば異常判定部１６３において異常と判定されることであってもよい。通知条件は、例えば異常判定部１６３において異常と判定され且つ後述する安否確認部１６６において安全が確認されなかったことであってもよい。通知条件は、他の条件として定義されてもよい。通知部１６５は、安否確認部１６６による確認結果を取得した場合には、確認結果に関する情報を含む通知情報を生成する。確認結果に関する情報とは、例えば確認結果の内容を示す文字列や画像や識別情報であってもよい。確認結果の内容を示す文字列とは、例えば“安否確認の結果、大丈夫という受け答えがありました。”という文字列や、“安否確認の結果、助けて欲しいという受け答えがありました。”という文字列や、“安否確認の結果、応答がありません。”という文字列などがある。

安否確認部１６６は、安否確認条件が満たされると、音声出力部１４から所定の音声を出力することによって、監視対象に対して安否を確認する。安否確認条件は、例えば異常判定部１６３において異常と判定されることであってもよい。安否確認部１６６によって出力される所定の音声は、監視対象に対して安全な状態であるか否かの返答を促す内容の音声であってもよい。例えば、「大丈夫ですか？」といった音声や、「助けが必要ですか？」といった音声であってもよい。安否確認部１６６は、音声を出力した後に、確認結果を通知部１６５に出力する。

安否確認部１６６は、例えば以下のような処理によって確認結果を生成してもよい。安否確認部１６６は、音声を出力した後に監視対象から発せられた音声のデータを、音声入力部１３から取得する。安否確認部１６６は、所定の時間内に監視対象から発生られた音声のデータを取得できない場合には、回答が得られないことを確認結果として通知部１６５に出力してもよい。安否確認部１６６は、取得された音声について音声認識を行い、危険を知らせる所定の内容である場合には、危険であることを示す確認結果を通知部１６５に出力してもよい。安否確認部１６６は、取得された音声について音声認識を行い、安全を知らせる所定の内容である場合には、安全であることを示す確認結果を通知部１６５に出力してもよい。安否確認部１６６は、取得された音声について音声認識を行い、その音声認識の結果である文字列を確認結果として通知部１６５に出力してもよい。これらの場合、通知部１６５は、安否確認部１６６によって出力された確認結果を含む通知情報を生成してもよい。

データ取得部１６７は、監視対象や監視対象施設９０内の状況などについて種々のデータを取得する。データ取得部１６７は、例えば撮像部１２によって撮像された画像から物体を検出することによって、カメラの撮影範囲となっている空間に設置された家具などの形状や設置位置を示す情報を取得してもよい。データ取得部１６７は、例えば撮像部１２によって撮像された時系列の映像に基づいて、監視対象の移動の経路（動線）を示す情報を取得してもよい。データ取得部１６７は、取得されたデータを、定期的に通信部１１を介して制御装置２０へ送信する。

記憶部１７は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１７は、制御部１６によって使用されるデータを記憶する。記憶部１７は、例えば監視端末１０に対して割り当てられた端末ＩＤや、監視端末１０が対象としている監視対象の属性情報（氏名、住所、性別、年齢、識別情報等の情報）を記憶してもよい。

図６は、制御装置２０の機能構成の具体例を示す概略ブロック図である。制御装置２０は、例えばパーソナルコンピューター、サーバー装置などの情報機器を用いて構成される。制御装置２０は、通信部２１、記憶部２２及び制御部２３を備える。

通信部２１は、通信機器である。通信部２１は、例えばネットワークインターフェースとして構成されてもよい。通信部２１は、制御部２３の制御に応じて、ネットワーク４０を介して他の装置とデータ通信する。通信部２１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

記憶部２２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２２は、制御部２３によって使用されるデータを記憶する。例えば、記憶部２２は、送信先情報テーブルを記憶してもよい。送信先情報テーブルは、監視端末１０に割り当てられている識別情報（以下「監視識別情報」という。）と、その監視端末１０から送信された通知情報に基づいて生成されるユーザー通知情報の送信先の情報（以下「通知先情報」という。）と、を対応付けたテーブルである。

制御部２３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部２３は、プロセッサーがプログラムを実行することによって、通知制御部２３１、データ制御部２３２及び補正部２３３として機能する。なお、制御部２３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

通知制御部２３１は、監視端末１０から通知情報を受信すると、受信された通知情報に基づいてユーザー通知情報を生成する。ユーザー通知情報は、例えば、監視対象に異常が生じていることを示す文字列（例えば、“異常が生じています。ご確認下さい。”）と、通知画像が記憶されている記憶領域を示す通知アドレス情報と、を含む。ユーザー通知情報に含まれる文字列は、例えば監視端末１０やユーザー端末３０にかかわらずに予め定められた固定の文字列であってもよい。ユーザー通知情報に含まれる文字列は、監視端末１０やユーザー端末３０に対応付けて定義された文字列であってもよい。これらの文字列は、記憶部２２に記憶されていてもよい。

通知アドレス情報は、通知制御部２３１によって生成されてもよいし、通知画像を公開する他のサーバーによって生成されてもよい。例えば、通知制御部２３１は、他の情報機器からアクセス可能な記憶領域に通知画像をアップロードしてもよい。この場合、アップロード先の記憶領域を示すアドレス情報（例えばＵＲＬ）が、通知アドレス情報として用いられてもよい。

通知制御部２３１は、受信された通知情報に含まれる識別情報に基づいて通知先を判定する。通知制御部２３１は、例えば記憶部２２に記憶されている送信先情報テーブルに基づいて、通知情報の送信元である監視識別情報に対応付けられている通知先情報を、通知先として判定してもよい。通知制御部２３１は、判定された通知先に対して、ユーザー通知情報を送信する。

データ制御部２３２は、監視端末１０から送信されるデータを、送信元である監視端末１０の監視識別情報に対応付けて記憶部２２に登録する。上述したように、監視端末１０から送信されるデータには、監視対象そのものの画像が含まれない。そのため、データ制御部２３２によって登録されるデータには、プライバシーを侵害するような情報は含まれにくい。データ制御部２３２は、監視端末１０から送信されるデータを、送信元である監視端末１０の識別情報（例えば端末ＩＤ）と対応付けて記憶部２２に登録してもよい。

補正部２３３は、受信された通知画像において、監視対象の骨格を示す画像の一部（例えば特徴点の一部やリンクの一部）が欠損しているか否かを判定し、欠損している場合には欠損部分を復元することで欠損がない状態の画像に補正を行う。例えば、補正部２３３は、まず通知画像に表れている特徴点に基づいて、人体のどの部分に係る特徴点が画像として欠損しているかを判定する。補正部２３３は、欠損している特徴点を、その特徴点にリンクで接続される特徴点であって画像に表れている（又は既に補正で復元されている）特徴点とそこから伸びるリンクとに基づいて、推定する。そして、補正部２３３は、推定結果に基づいて特徴点の画像を復元することで、通知画像を補正してもよい。

図７は、監視システム１００の動作の流れの具体例を示すシーケンスチャートである。監視端末１０の撮像部１２が撮像すると、制御部１６は撮像部１２によって撮像された画像データを取得する（ステップＳ１０１）。骨格推定部１６１は、撮像された画像において監視対象の骨格を推定する（ステップＳ１０２）。姿勢推定部１６２は、撮像された画像において監視対象の姿勢を推定する（ステップＳ１０３）。異常判定部１６３は、異常判定を行う（ステップＳ１０４）。異常と判定されなかった場合、すなわち正常であると判定された場合（ステップＳ１０５－ＮＯ）、制御部１６の処理はステップＳ１０１の処理に戻る。一方、異常と判定された場合、すなわち正常と判定されなかった場合（ステップＳ１０５－ＹＥＳ）、通知部１６５は通知画像を生成する（ステップＳ１０６）。通知部１６５は、通知画像を含む通知情報を生成し、制御装置２０に通知情報を送信する（ステップＳ１０７）。

制御装置２０の通知制御部２３１は、通知情報を受信すると、通知情報に応じたユーザー通知情報を生成する。また、通知制御部２３１は、受信された通知情報に応じてユーザー通知情報の送信先を判定する。そして、通知制御部２３１は、ユーザー端末３０に対してユーザー通知情報を送信する（ステップＳ１０８）。また、通知制御部２３１は、通知情報を記憶部２２に記録する（ステップＳ１０９）。

ユーザー端末３０は、ユーザー通知情報を受信すると、ユーザー通知情報が受信されたことを示す出力を行う。例えば、ユーザー端末３０の画面の所定の領域に、ユーザー通知情報が受信されたことを示す画像や文字を表示してもよいし、ユーザー端末３０に予め設定されている通知方法に応じて音声出力やバイブレーターの駆動を行ってもよい。ユーザーがユーザー端末３０を操作することでユーザー通知情報の出力を指示すると、ユーザー端末３０はユーザー通知情報の内容を出力する。例えば、ユーザー端末３０は、監視対象に異常が生じていることを示す文字列と、通知アドレス情報を示す文字列とを画面に表示してもよい（ステップＳ１１０）。ユーザーがユーザー端末３０を操作して通知画像の表示を指示すると、ユーザー端末３０は通知アドレス情報にアクセスして通知画像の送信を要求する（ステップＳ１１１）。

制御装置２０は、通知アドレス情報宛に通知画像の送信の要求を受けると、要求に応じた通知画像をユーザー端末３０に送信する（ステップＳ１１２）。ユーザー端末３０は、通知画像を受信すると、受信された通知画像を画面に表示する（ステップＳ１１３）。

図８は、監視システム１００の動作の流れの他の具体例を示すシーケンスチャートである。図８に示されるシーケンスチャートでは、監視端末１０によって安否確認が行われる。以下、図７に示されるシーケンスチャートとの相違点についてのみ説明する。なお、図７と図８とでは、同じ処理には同じ符号が付されている。

監視端末１０の安否確認部１６６は、通知部１６５によって通知が行われると、音声出力部１４を介して安否確認音声を出力する（ステップＳ２０１）。安否確認部１６６は、その後に発せられた音声の入力を受け付ける（ステップＳ２０２）。安否確認部１６６は、入力された音声に基づいて確認通知情報を生成する。例えば、所定の音圧以上の音声が入力された場合には、監視対象が反応したということであるため、安否の確認がとれたことを示す確認情報を生成してもよい。例えば、所定の音圧以上の音声が入力されなかった場合には、監視対象が反応していないということであるため、安否の確認がとれなかったことを示す確認情報を生成してもよい。安否確認部１６６は、生成された確認情報を制御装置２０に送信する（ステップＳ２０３）。制御装置２０の通知制御部２３１は、受信された確認情報をユーザー端末３０に送信する（ステップＳ２０４）。ユーザー端末３０は、確認情報を受信すると、受信された確認情報を出力する（ステップＳ２０５）。確認情報の出力は、音声の出力によって行われてもよいし、画面への文字や画像の表示によって行われてもよいし、他の態様で行われてもよい。なお、ステップＳ１０１～ステップＳ１１３までの処理は、図７と同様である。

図９は、監視システム１００の動作の流れの他の具体例を示すシーケンスチャートである。図９に示されるシーケンスチャートでは、監視端末１０によって生成されたデータが制御装置２０において蓄積される。以下、図７に示されるシーケンスチャートとの相違点についてのみ説明する。なお、図７と図９とでは、同じ処理には同じ符号が付されている。

監視端末１０のデータ取得部１６７は、撮像部１２によって撮像された画像の時系列データに基づいて、監視対象の移動の経路を示す動線を検出し、記憶部１７に記録する（ステップＳ３０１）。データ取得部１６７は、ステップＳ１０４において異常と判定されない場合には、所定の閾値よりも過去において検出された動線の情報を破棄する。一方、ステップＳ１０４において異常と判定された場合には、データ取得部１６７は、記憶部１７に記録されている所定期間の動線の情報を含む蓄積データを生成する（ステップＳ３０２）。所定の期間とは、例えば異常が検出されたタイミングから遡って所定の秒数（例えば５秒や１０秒など）の期間である。データ取得部１６７は、生成された蓄積データを制御装置２０へ送信する（ステップＳ３０３）。制御装置２０のデータ制御部２３２は、蓄積データを受信すると、受信された蓄積データを記憶部２２に記録する（ステップＳ３０４）。

このように構成された監視システム１００では、監視対象に関して外部に通知が行われる際に使用される通知画像には、監視対象そのものの画像が含まれず、形状データ（例えば骨格情報のデータ）の画像が含まれる。このように、通知画像には監視対象そのものの画像が含まれないため、監視対象のプライバシーを守ることができる。また、通知画像には監視対象の形状を示す形状データの画像が含まれるため、通知画像に基づいて監視対象の状態を監視することができる。このような仕組みにより、監視システム１００では監視対象のプライバシーを守りつつ監視を行うことが可能となる。

また、監視システム１００では、家具の配置や監視対象の動線を示す情報などが蓄積データとして制御装置２０に蓄積される。これらのデータにも、監視対象そのものの画像は含まれない。そのため、これらのデータを解析などに用いる際にも、監視対象のプライバシーを守ることが可能となる。また、図９のシーケンスチャートにも示されるように、動線の情報は、異常が生じたタイミングから遡って所定の期間のデータが蓄積される。そのため、どのような動線で動いた際に異常が生じやすいか、どのような家具の配置により異常が生じやすい動線になってしまったのか、等の観点の分析に対し有用なデータを効率よく取得することが可能となる。

（変形例）
骨格推定部１６１に代えて、監視対象の形状を推定できる形状推定部が用いられてもよい。形状推定部は、監視対象の形状に関する情報であって、骨格の情報とは異なる情報を推定する。例えば、形状推定部は、監視対象のシルエットを推定してもよいし、監視対象のシルエットを加工する（例えば縮退する）ことによって監視対象の形状をデフォルメした情報を推定してもよい。例えば、人体を剛体の連結体で表現した人体構造を示すフレームモデルを用いて表現する技術を用いて形状推定部が構成されてもよい。形状推定部には、監視対象の外観の状態を示す情報を推定可能であればどのような技術が用いられてもよい。

姿勢推定部１６２が機械学習処理によって実装される場合には、教師学習として遮蔽物を含む画像が用いられてもよい。すなわち、椅子や机や棚などのように監視対象施設９０内において存在している可能性のある物体と、監視対象がこれらの物体の陰に隠れて一部しか見えていないような画像を教師画像として用いた機械学習によって得られる学習済みモデルを用いることで姿勢推定が行われてもよい。このような姿勢推定が行われることにより、撮像部１２によって撮影された画像において、監視対象の全体が見えておらず遮蔽物によって一部が隠れた状態であったとしても、精度よく監視対象の姿勢情報を推定することが可能となる。すなわち、骨格推定部１６１において精度よく骨格情報の推定が実行できなかったとしても、姿勢推定部１６２によって精度よく姿勢情報の推定を行うことが可能となる。また、このように監視対象の一部が遮蔽されている場合には、骨格推定が困難である場合が多い。したがって、このように姿勢推定部１６２によって姿勢情報が推定され且つ骨格推定部１６１によって骨格情報が推定できなかった場合には、通知画像を送信せずに文字のみで通知が行われてもよい。

ユーザー通知情報は、通知アドレス情報に代えて、通知画像のデータを含んでもよい。この場合、ユーザー端末３０は、よりスムーズに通知画像を表示することが可能となる。また、ユーザー端末３０は、通知画像のデータを受信した場合、ユーザーの操作を受ける事無く、画面に通知画像のデータを表示してもよい。このように構成されることにより、より早く監視対象の異常をユーザーに通知することが可能となる。

通知部１６５は、安否結果が所定の緊急条件を満たす場合には、通知先としてユーザー端末３０ではなく、予め定められた緊急通報先を選択し、緊急通報先に通知を行ってもよい。所定の緊急条件とは、例えば安否結果に含まれる文字列に、“助けて”や“死ぬ”などの緊急性が高いことを示す所定のキーワードが含まれていることであってもよい。

監視端末１０は、監視対象の操作を受け付けるための入力装置を備えてもよい。例えば、監視端末１０がスマートフォン等の端末装置を用いて構成される場合には、予めこのような入力装置を備えている。監視端末１０は、監視対象から所定の操作を受け付ける事に応じて、一時的に撮像部１２における撮像を中断するように構成されてもよい。このように構成されることによって、監視対象のプライバシーをより強固に守ることが可能となる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００…監視システム， １０…監視端末， ２０…制御装置， ３０…ユーザー端末， ４０…ネットワーク， ９０…監視対象施設， １１…通信部， １２…撮像部， １３…音声入力部， １４…音声出力部， １５…表示部， １６…制御部， １６１…骨格推定部， １６２…姿勢推定部， １６３…異常判定部， １６４…通知画像生成部， １６５…通知部， １６６…安否確認部， １６７…データ取得部， １７…記憶部， ２１…通信部， ２２…記憶部， ２３…制御部， ２３１…通知制御部， ２３２…データ制御部

Claims (5)

1. 監視対象を撮像した画像から前記監視対象の形状を示す形状情報を推定する形状推定部と、
   前記監視対象について異常が生じているか否か判定する異常判定部と、
   前記異常判定部によって異常が生じていると判定された場合に、前記形状情報を含み且つ前記監視対象そのものの画像を含まない通知画像を生成し、前記通知画像を他の装置に送信する通知部と、
   を備え、
   前記通知部は、予め撮影を行うことで前記監視対象そのものの画像及び前記形状情報を示す画像が含まれていない背景画像を取得し、前記背景画像に対して前記形状情報を示す画像を重畳することによって前記通知画像を生成する、監視端末。
2. 前記監視対象が活動する施設である監視対象施設に設置される、請求項１に記載の監視端末。
3. 前記形状推定部は、前記監視対象の骨格の情報を推定する、請求項１又は２に記載の監視端末。
4. 前記監視対象に対して安全な状態であるか否かの返答を促す内容の音声を音声出力部から出力し、その後に音声入力部から入力される音声に基づいて確認結果の情報を生成する安否確認部をさらに備え、
   前記通知部は、前記確認結果も他の装置に送信する、請求項１から３のいずれか一項に記載の監視端末。
5. 監視対象を撮像した画像から前記監視対象の形状を示す形状情報を推定する形状推定ステップと、
   前記監視対象について異常が生じているか否か判定する異常判定ステップと、
   前記異常判定ステップにおいて異常が生じていると判定された場合に、前記形状情報を含み且つ前記監視対象そのものの画像を含まない通知画像を生成し、前記通知画像を他の装置に送信する通知ステップと、
   を有し、
   前記通知ステップでは、予め撮影を行うことで前記監視対象そのものの画像及び前記形状情報を示す画像が含まれていない背景画像を取得し、前記背景画像に対して前記形状情報を示す画像を重畳することによって前記通知画像を生成する、監視方法。

Images