JP7234324B1 - 通知受付装置、通知受付方法及び通知受付プログラム - Google Patents

Abstract

【課題】カメラを用いて簡便な方法で発生した事象を通知可能にする。【解決手段】ポーズ定義部３１には、通知内容に応じた通知ポーズが設定されている。通知判定部２４は、カメラ３１によって得られた画像データに映った人のポーズが、ポーズ定義部３１に設定されたいずれかの通知ポーズに該当するか否かを判定する。内容特定部２５は、通知判定部２４によって人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する。【選択図】図１

Description

本開示は、カメラを通じて通知を受け付ける技術に関する。

防犯を目的として、建物又は施設といった管理エリアに多数のカメラが設置されている。設置されたカメラの台数は年々増えている。しかし、管理エリアに設置されたカメラは、防犯以外の目的ではあまり使用されていない。

管理エリアで発生した事象を管理者は早期に把握して、適切な対応をとる必要がある。例えば、床濡れがある場合には、早期に掃除をする必要がある。また、体調不良者がいる場合には、早期に救護する必要がある。
管理エリアに設置されたカメラを用いて、発生した事象を検出することが考えられる。しかし、カメラでは、撮影範囲で事象が発生していなければ、その事象を発見することはできない。また、たとえ撮影範囲に入っていても、床濡れ等は映像からは発見することが難しい場合もある。

事象が発生した現場にいる人であれば、その事象を発見できる可能性は高い。しかし、事象を発見したとしても、管理者へ通知するには、スタッフ等を探す必要があり、手間及び時間がかかる。そのため、床濡れのように軽微な事象の場合には、通知がされない可能性が高い。

特許文献１には、不審者を見つけた人が、カメラの撮影範囲に移動して何らかのサイン出すこと等により通報を行うことが記載されている。特許文献１では、通報を集計し、カメラ毎の警戒度を算出している。

特開２０１５－５６６９７号公報

管理エリアの管理者は、何らかの事象が発生したことだけでなく、どのような事象が発生したかを把握する必要がある。特許文献１に記載された技術では、何らかの事象が発生した可能性があることは伝えられるかもしれない。しかし、どのような事象が発生したかまで伝えることができない。
本開示は、カメラを用いて簡便な方法で発生した事象を通知可能にすることを目的とする。

本開示に係る通知受付装置は、
カメラによって得られた画像データに映った人のポーズが、ポーズ定義部に設定された１つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する通知判定部と、
前記通知判定部によって前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する内容特定部と
を備える。

前記ポーズ定義部には、複数のカメラそれぞれを対象として、対象のカメラの撮影領域に応じた通知ポーズが設定されており、
前記通知判定部は、前記複数のカメラのうちいずれかのカメラによって得られた画像データに映った人のポーズが、前記ポーズ定義部において、前記画像データの取得元のカメラについて設定された１つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する。

前記通知受付装置は、さらに、
前記通知判定部によって前記人のポーズがいずれかの通知ポーズに該当すると判定されると、通知を受領したことを前記画像データに映った人に知らせるための確認信号を送信する受領確認部
を備える。

前記通知受付装置は、さらに、
前記通知ポーズに該当するポーズを行った人が、位置を示す指図ポーズを行ったか否かを判定する指図判定部と、
前記指図判定部によって前記指図ポーズをしたと判定された場合には、前記指図ポーズが示す位置を特定する位置特定部と
を備える。

前記通知受付装置は、さらに、
前記内容特定部によって特定された通知内容に応じた対応先に対して、指示情報を送信する指示送信部
を備える。

前記通知受付装置は、さらに、
前記内容特定部によって特定された通知内容に応じた対応先に対して、前記位置特定部によって特定された位置を示す指示情報を送信する指示送信部
を備える。

前記通知ポーズは、関節の相対的な位置関係によって定義されており、
前記通知受付装置は、さらに、
前記画像データから前記人の関節の位置を示す骨格情報を抽出する骨格抽出部
を備え、
前記通知判定部は、前記骨格抽出部によって抽出された前記骨格情報が示す関節の相対的な位置関係がいずれかの通知ポーズに該当するか否かを判定する。

前記受領確認部は、前記カメラの周辺に設置された受領ランプに対して前記確認信号を送信して、前記受領ランプを点灯させる。

前記受領確認部は、前記受領ランプを点灯させた後、前記通知判定部によって前記点灯を確認したことを示す通知ポーズに該当すると判定されると、前記受領ランプに対して終了信号を送信して、消灯させる。

前記受領確認部は、通知ポーズに該当すると判定されたポーズをした人の人数に応じて、前記受領ランプの点灯のさせ方を変える。

前記受領確認部は、通知ポーズに該当すると判定されたポーズをした人の前記画像データにおける位置に応じて、前記受領ランプの点灯のさせ方を変える。

本開示に係る通知受付方法は、
コンピュータが、カメラによって得られた画像データに映った人のポーズが、ポーズ定義部に設定された１つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定し、
コンピュータが、前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する。

本開示に係る通知受付プログラムは、
カメラによって得られた画像データに映った人のポーズが、ポーズ定義部に設定された１つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する通知判定処理と、
前記通知判定処理によって前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する内容特定処理と
を行う通知受付装置としてコンピュータを機能させる。

本開示では、画像データに映った人のポーズが、ポーズ定義部に定義されたいずれかの通知ポーズに該当するか否かが判定される。そして、該当すると判定された通知ポーズに対応する通知内容が特定される。これにより、発生した事象に応じたポーズをカメラに向かってとることで、発生した事象を通知することができる。

実施の形態１に係る通知受付装置１０の構成図。 実施の形態１に係る事前設定処理のフローチャート。 実施の形態１に係る骨格情報の説明図。 実施の形態１に係る通知ポーズ４１の説明図。 実施の形態１に係る定義案内処理の説明図。 実施の形態１に係る通知受付処理のフローチャート。 実施の形態１に係るポーズリスト５１の説明図。 変形例４に係る通知受付装置１０の構成図。 実施の形態２に係る通知受付処理のフローチャート。 実施の形態３に係る通知受付装置１０の構成図。 実施の形態３に係る指図ポーズ４５の説明図。 実施の形態３に係る通知受付処理のフローチャート。 実施の形態３に係るポーズリスト５１の説明図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る通知受付装置１０の構成を説明する。
通知受付装置１０は、コンピュータである。
通知受付装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣである。ＩＣはＩｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。プロセッサ１１は、具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤである。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。また、ストレージ１３は、ＳＤ（登録商標）メモリカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略である。

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。ＨＤＭＩは、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略である。

通知受付装置１０は、通信インタフェース１４を介して、１台以上のカメラ３１と、１台以上の表示装置３２と、１台以上の受領ランプ３３とに接続されている。カメラ３１は、建物又は施設といった管理エリア内に設置されている。表示装置３２は、カメラ３１と同様に管理エリア内に設置されている。表示装置３２は、カメラ３１の付近に設置されているとする。受領ランプ３３は、カメラ３１と同様に管理エリア内に設置されている。受領ランプ３３は、カメラ３１の付近に設置されている。受領ランプ３３は、カメラ３１に取り付けられていてもよい。
通知受付装置１０は、通信インタフェース１４を介して、１台以上の対応先装置６０に接続されている。対応先装置６０は、発生した事象に応じて所定の対応を行う部門宛ての通知を受信する装置である。

通知受付装置１０は、機能構成要素として、定義設定部２１と、定義案内部２２と、骨格抽出部２３と、通知判定部２４と、内容特定部２５と、指示送信部２６と、受領確認部２７とを備える。通知受付装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、通知受付装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、通知受付装置１０の各機能構成要素の機能が実現される。

ストレージ１３は、ポーズ定義部３０の機能を実現する。ポーズ定義部３０には、通知ポーズ４１が設定される。

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図２から図７を参照して、実施の形態１に係る通知受付装置１０の動作を説明する。
実施の形態１に係る通知受付装置１０の動作手順は、実施の形態１に係る通知受付方法に相当する。また、実施の形態１に係る通知受付装置１０の動作を実現するプログラムは、実施の形態１に係る通知受付プログラムに相当する。

通知受付装置１０の動作は、事前設定処理と、通知受付処理とに分けられる。

図２を参照して、実施の形態１に係る事前設定処理を説明する。
事前設定処理は、通知受付処理を稼働させる前に実行される。事前設定処理は、通知受付処理を稼働させた後であっても、必要に応じて実行される。事前設定処理の実行が必要になるのは、通知を受け付けたい事象が増えた場合と、通知ポーズ４１を変更したい場合とである。

（ステップＳ１１：定義設定処理）
定義設定部２１は、通知を受け付けたい事象毎に、通知ポーズ４１の入力を受け付ける。通知ポーズ４１は、ポーズを定義した情報である。通知ポーズ４１は、図３に示すような、骨格の関節と骨格の特徴的な点との相対的な位置関係によって定義される。骨格の特徴的な点とは、目及び鼻といった顔のパーツ等である。定義設定部２１は、受け付けされた通知ポーズ４１をポーズ定義部３０に書き込む。

図４を参照して、通知ポーズ４１の具体例を説明する。
図４では、汚れ有と体調不良者有との２つの事象について通知ポーズ４１が定義されている。通知ポーズ４１には、説明４２と、イメージ４３とが付加されている。説明４２は、事象に関する説明である。イメージ４３は、事象を知らせるためのポーズのイメージ画像である。各事象には、事象ＩＤ４４が付されている。ＩＤは、ｉｄｅｎｔｉｆｉｅｒの略である。

事象ＩＤ４４が“汚れ有”の通知ポーズ４１は、次のように定義されている。
（Ａ）右肘のＹ座標が右肩のＹ座標よりも大きい。つまり、右肘が右肩よりも上にある。（Ｂ）左肘のＹ座標が左肩のＹ座標よりも大きい。つまり、左肘が左肩よりも上にある。（Ｃ）右手首のＸ座標から左手首のＸ座標を減算した値の絶対値が、右肩のＸ座標から左肩のＸ座標を減算した値の絶対値を４で除した値よりも小さい。つまり、右手首と左手首との間の幅が、右肩と左肩との間の幅の１／４よりも小さい。（Ａ）（Ｂ）（Ｃ）が全て成立する場合には、条件を満たすと判定される。

事象ＩＤ４４が“体調不良者有”の通知ポーズ４１は、次のように定義されている。
（Ａ’）右手首のＹ座標が右肩のＹ座標よりも小さい。つまり、右手首が右肩よりも下にある。（Ｂ’）左手首のＹ座標が左肩のＹ座標よりも小さい。つまり、左手首が左肩よりも下にある。（Ｃ’）右手首のＹ座標が右肘のＹ座標よりも大きい。つまり、右手首が右肘よりも上にある。（Ｄ’）左手首のＹ座標が左肘のＹ座標よりも大きい。つまり、左手首が左肘よりも上にある。（Ｅ’）右手首のＸ座標が左手首のＸ座標よりも大きい。ここでは、左側ほどＸ座標の座標値が大きいとする。つまり、右手首が左手首よりも左側にある。（Ａ’）（Ｂ’）（Ｃ’）（Ｄ’）（Ｅ’）が全て成立する場合には、条件を満たすと判定される。

定義設定部２１は、カメラ３１毎に、そのカメラ３１の撮影領域に応じた通知ポーズ４１を設定してもよい。カメラ３１によって、設置位置と、設置角度と、画角とが異なる。そのため、カメラ３１によって、撮影領域が、人のどの当たりが映り易い状態になっているかが異なる。例えば、カメラ３１によっては上半身だけが映るように設置されたものがある。このカメラ３１については、上半身だけで識別可能な通知ポーズ４１が設定される。

（ステップＳ１２：定義案内処理）
定義案内部２２は、ステップＳ１１で設定された通知ポーズ４１を表示装置３２に表示する。具体的には、定義案内部２２は、図５に示すように、通知ポーズ４１における説明４２及びイメージ４３を表示装置３２に表示する。これにより、各事象が発生した場合に、どのようなポーズをとれば通知ができるかを周知することができる。

図６を参照して、実施の形態１に係る通知受付処理を説明する。
通知受付処理は、管理エリアを監視する時間に繰り返し実行される。例えば、管理エリアが商業施設であれば、商業施設の営業開始から営業終了まで繰り返し実行される。

通知受付処理の開始時には、初期化処理が実行される。管理エリアが商業施設であれば、商業施設の営業開始時に初期化処理が実行される。
初期化処理では、事前設定処理で設定された通知ポーズ４１が読み込まれる。受領ランプ３３が非点灯状態に設定される。ポーズリスト５１に設定された情報が消去される。

実施の形態１では、１つのカメラ３１に映った複数の人が同時に通知を行うことはないという前提で説明する。つまり、仮に複数の人が映っていたとしても、通知を行っている人は１人だけであるとする。

（ステップＳ２１：骨格抽出処理）
骨格抽出部２３は、カメラ３１によって得られた新しいフレームの画像データを取得する。この際、骨格抽出部２３は、画像データの取得元のカメラを識別するカメラＩＤを取得する。
骨格抽出部２３は、画像データを解析して、画像データに映った人を特定する。具体的には、骨格抽出部２３は、画像データから人を検出するＡＩのモデルに画像データを入力として与え、映った人を特定する。ＡＩは、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅの略である。この際、人が映った部分の領域を示す検出枠も特定される。また、検出枠に対して、識別情報である人ＩＤが割り当てられる。
骨格抽出部２３は、特定された人が映った領域の部分画像から、人の骨格情報を抽出する。骨格情報は、関節及び骨格の特徴的な点の位置を示す。具体的には、骨格抽出部２３は、骨格情報を抽出するＡＩのモデルに部分画像を入力として与え、骨格情報を抽出する。

続いて、ループ１の処理が実行される。ループ１では、ステップＳ２１で検出された１人以上の人それぞれを処理対象として、ステップＳ２２の処理が実行される。

（ステップＳ２２：ポーズ判定処理）
通知判定部２４は、人のポーズが、ポーズ定義部３０に定義された１つ以上の通知ポーズ４１のうちのいずれかの通知ポーズ４１に該当するか否かを判定する。
具体的には、通知判定部２４は、処理対象の人についての骨格情報を取得する。通知判定部２４は、取得された骨格情報が示す関節等の相対的な位置関係がいずれかの通知ポーズ４１に該当するか否かを判定する。つまり、通知判定部２４は、骨格情報が示す関節等の相対的な位置関係が、通知ポーズ４１の条件を満たすか否かを判定する。

なお、カメラ３１毎に、そのカメラ３１の撮影領域に応じて通知ポーズ４１が設定されている場合がある。この場合には、通知判定部２４は、画像データの取得元のカメラ３１について設定された１つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する。

通知判定部２４は、いずれかの通知ポーズ４１に該当する場合には、ポーズリスト５１にレコードを追加する。図７に示すように、ポーズリスト５１には、日時と、カメラＩＤと、人枠と、人ＩＤと、事象ＩＤと等が設定される。通知判定部２４は、日時には、処理時点の日時を設定する。通知判定部２４は、カメラＩＤには、画像データの取得元のカメラ３１のカメラＩＤを設定する。通知判定部２４は、人枠には、処理対象の人が映った領域を示す検出枠の情報を設定する。通知判定部２４は、人ＩＤには、検出枠に割り当てられた人ＩＤを設定する。そして、通知判定部２４は、ループ１の処理を終了する。
一方、通知判定部２４は、いずれの通知ポーズ４１に該当しない場合には、次の人を処理対象としてループ１を継続する。なお、全ての人について処理が済んだ場合には、ループ１の処理を終了する。

（ステップＳ２３：通知有無判定処理）
内容特定部２５は、ステップＳ２２でいずれかの人のポーズが通知ポーズ４１に該当すると判定されたか否かを判定する。具体的には、内容特定部２５は、ポーズリスト５１にレコードが設定されているか否かを判定する。内容特定部２５は、レコードが設定されている場合には、いずれかの人のポーズが通知ポーズ４１に該当すると判定されたと判定する。一方、内容特定部２５は、レコードが設定されていない場合には、いずれの人のポーズも通知ポーズ４１に該当すると判定されなかったと判定する。
内容特定部２５は、いずれかの人のポーズが通知ポーズ４１に該当すると判定された場合には、処理をステップＳ２３に進める。一方、内容特定部２５は、いずれの人のポーズも通知ポーズ４１に該当すると判定されなかった場合には、処理をステップＳ２１に戻す。

（ステップＳ２４：内容特定処理）
内容特定部２５は、ステップＳ２２で画像データに映った人のポーズが該当すると判定された通知ポーズ４１に対応する通知内容を特定する。
具体的には、内容特定部２５は、ポーズリスト５１からレコードを読み出す。内容特定部２５は、読み出されたレコードにおける事象ＩＤが示す事象が発生したことを通知内容として特定する。

（ステップＳ２５：指示送信処理）
指示送信部２６は、通知内容が示す発生した事象と、事象の発生位置とを示す地図データ５２を指示情報として生成する。実施の形態１では、事象の発生位置は、カメラ３１の設置位置である。ここでいうカメラ３１は、ポーズリスト５１におけるカメラＩＤが示すカメラ３１である。つまり、ここでいうカメラ３１は、画像データの取得元のカメラ３１である。
指示送信部２６は、発生した事象に応じた対応先である対応先装置６０に、地図データ５２を送信し、事象が発生したことを通知する。対応先は、事象ＩＤが“掃除要”の事象であれば、掃除を行う部門である。また、対応先は、事象ＩＤが“体調不良者有”の事象であれば、救護を行う部門である。

（ステップＳ２６：受領確認処理）
受領確認部２７は、通知を受領したことを画像データに映った人に知らせるための確認信号を送信する。
具体的には、受領確認部２７は、ポーズリスト５１におけるカメラＩＤが示すカメラ３１に取り付けられた受領ランプ３３に対して確認信号を送信して、受領ランプ３３を点灯させる。受領確認部２７は、一定時間経過すると、受領ランプ３３に対して消灯信号を送信して、受領ランプ３３を消灯させる。

（ステップＳ２７：リスト初期化処理）
内容特定部２５は、ポーズリスト５１からレコードを削除する。

その後、処理がステップＳ２１に戻され、新たなフレームの画像データが取得される。
なお、通知受付装置１０は、受領ランプ３３が点灯している間は、その受領ランプ３３が取り付けられたカメラ３１から取得された画像データについての処理は行わない。つまり、通知受付装置１０は、その受領ランプ３３が取り付けられたカメラ３１からは新たな通知を受け付けない。これにより、連続して通知が行われ、どの通知が受領されたかがわからなくなることが防止される。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る通知受付装置１０は、画像データに映った人のポーズが、ポーズ定義部３０に定義されたいずれかの通知ポーズ４１に該当するか否かを判定する。そして、該当すると判定された通知ポーズ４１に対応する通知内容が特定される。これにより、発生した事象に応じたポーズをカメラに向かってとることで、発生した事象を通知することができる。

また、実施の形態１に係る通知受付装置１０は、カメラ３１の撮影領域に応じて通知ポーズ４１が設定される。これにより、カメラ３１の撮影領域に応じて検出し易い通知ポーズ４１を設定できる。その結果、誤報及び失報を抑制できる。

また、実施の形態１に係る通知受付装置１０は、確認信号を送信して受領ランプ３３を点灯させる。これにより、通知を行った人が、通知ができたことを確認できる。そのため、通知ができていないにも関わらず、通知したつもりになって、通知がされないようなケースを抑制できる。また、通知ができているにも関わらず、通知ができていないと考え、何度も同じ通知をしてしまうようなケースを抑制できる。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、通知判定部２４は、関節等の相対的な位置関係に基づき通知ポーズ４１に該当するか否か判定した。しかし、通知判定部２４は、ＡＩのモデルを用いて、人のポーズが通知ポーズ４１に該当するか否か判定してもよい。

＜変形例２＞
通知受付装置１０は、受領ランプ３３が点灯している間は、その受領ランプ３３が取り付けられたカメラ３１からは新たな通知を受け付けなかった。しかし、通知受付装置１０は、受領ランプ３３が点灯している間は、受領ランプ３３の点灯を確認したことを示す確認通知だけは受け付けるようにしてもよい。そして、通知受付装置１０は、確認通知を受け付けると、受領ランプ３３を消灯させてもよい。これにより、早期に新たな通知を受け付けられる状態にすることが可能である。
具体的に説明する。ステップＳ２１で受領ランプ３３が点灯中のカメラ３１から画像データが取得されたとする。すると、ステップＳ２２で通知判定部２４は、確認通知に対応する通知ポーズ４１に該当するか否かだけを判定する。確認通知に対応する通知ポーズ４１に該当すると判定されると、ステップＳ２６で受領確認部２７は、受領ランプ３に対して終了信号を送信して、消灯させる。

＜変形例３＞
変形例２では、通知受付装置１０は、確認通知を受け付けると、受領ランプ３３を消灯させた。これに代えて、通知受付装置１０は、事象に対応する対応先の担当者から消灯通知を受け付けると、受領ランプ３３を消灯させてもよい。
具体的に説明する。ステップＳ２１で受領ランプ３３が点灯中のカメラ３１から画像データが取得されたとする。すると、ステップＳ２２で通知判定部２４は、担当者に事前に知らせてある消灯通知用のポーズに該当するか否かを判定する。消灯用のポーズに該当すると判定されると、ステップＳ２６で受領確認部２７は、受領ランプ３に対して終了信号を送信して、消灯させる。
あるいは、受領確認部２７は、担当者の端末から通信インタフェース１４を介して消灯通知を受信してもよい。受領確認部２７は、通信インタフェース１４を介して消灯通知を受信すると、受領ランプ３に対して終了信号を送信して、消灯させる。このように構成することにより、担当者が通知を認知したことを通知を行った人に知らしめることができる。

＜変形例４＞
実施の形態１では、指示送信部２６は、通知内容が示す発生した事象と、事象の発生位置とを示す地図データ５２を指示情報として生成し、対応先装置６０に通知した。しかし、指示情報は発生した事象と事象の発生位置を示す位置情報であればよく、位置情報は地図データ５２に限定されず位置を示す情報であればよい。
また実施の形態１では、指示送信部２６は、事象が発生したと判定した後、対応先装置６０に通知した。しかし、通知受付装置１０のストレージ１３内に事象発生データベースを構築し、事象発生データベース内に発生した事象と事象の発生位置と対応先装置６０の識別情報とを蓄積するように構成してもよい。その場合は、所定のタイミングで対応先装置６０から事象発生データベースの情報を取得し、対応先装置６０で発生した事象と事象の発生位置を表示し、対応をする人に通知する。あるいは他の装置が事象発生データベースの情報を取得し、他の装置が発生した事象と事象の発生位置とを示す地図データを生成し、対応先装置６０に送信するように構成してもよい。

＜変形例５＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例４として、各機能構成要素はハードウェアで実現されてもよい。この変形例４について、実施の形態１と異なる点を説明する。

図８を参照して、変形例４に係る通知受付装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、通知受付装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例６＞
変形例５として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、１つのカメラ３１に映った複数の人が同時に通知を行う可能性がある点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊動作の説明＊＊＊
図９を参照して、実施の形態２に係る通知受付装置１０の動作を説明する。
実施の形態２に係る通知受付装置１０の動作手順は、実施の形態２に係る通知受付方法に相当する。また、実施の形態２に係る通知受付装置１０の動作を実現するプログラムは、実施の形態２に係る通知受付プログラムに相当する。

図９を参照して、実施の形態２に係る通知受付処理を説明する。
ステップＳ３１の処理は、図６のステップＳ２１の処理と同じである。ステップＳ３３の処理は、図６のステップＳ２３の処理と同じである。ステップＳ３７の処理は、図６のステップＳ２７の処理と同じである。

ステップＳ３１に続いて、ループ１の処理が実行される。ループ１では、ステップＳ３１で検出された１人以上の人それぞれを処理対象として、ステップＳ３２の処理が実行される。

（ステップＳ３２：ポーズ判定処理）
通知判定部２４は、図６のステップＳ２２と同様に、人のポーズが、ポーズ定義部３０に定義された１つ以上の通知ポーズ４１のうちのいずれかの通知ポーズ４１に該当するか否かを判定する。
通知判定部２４は、いずれかの通知ポーズ４１に該当する場合には、ポーズリスト５１にレコードを追加する。そして、通知判定部２４は、次の人を処理対象としてループ１を継続する。
一方、通知判定部２４は、いずれかの通知ポーズ４１に該当しない場合には、次の人を処理対象としてループ１を継続する。なお、全ての人について処理が済んだ場合には、ループ１の処理を終了する。

（ステップＳ３４：内容特定処理）
内容特定部２５は、ステップＳ３２で画像データに映った人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する。
具体的には、内容特定部２５は、ポーズリスト５１からレコードを読み出す。内容特定部２５は、読み出されたレコードにおける事象ＩＤが示す事象が発生したことを通知内容として特定する。内容特定部２５は、ポーズリスト５１に複数のレコードが設定されている場合には、各レコードを読み出す。内容特定部２５は、各レコードについて、事象ＩＤが示す事象が発生したことを通知内容として特定する。

（ステップＳ３５：指示送信処理）
指示送信部２６は、通知内容が示す発生した事象と、事象の発生位置とを示す地図データ５２を指示情報として生成する。指示送信部２６は、ポーズリスト５１に複数のレコードが設定されている場合には、各レコードから特定された通知内容について、通知内容が示す発生した事象と、事象の発生位置とを示す地図データ５２を生成する。指示送信部２６は、発生した事象に応じた対応先に、地図データ５２を送信する。

（ステップＳ３６：受領確認処理）
受領確認部２７は、画像データに映った人に通知を受領したことを知らせるための確認信号を送信する。
具体的には、受領確認部２７は、ポーズリスト５１におけるカメラＩＤが示すカメラ３１に取り付けられた受領ランプ３３に対して確認信号を送信して、受領ランプ３３を点灯させる。
この際、受領確認部２７は、ステップＳ３２で通知ポーズ４１に該当すると判定されたポーズをした人の人数に応じて、受領ランプ３３の点灯のさせ方を変える。例えば、受領確認部２７は、人数に応じた回数だけ、受領ランプ３３を点滅させる。具体例としては、受領確認部２７は、通知ポーズ４１に該当するポーズをした人が２人の場合には、受領ランプ３３を１秒間ずつ２度点灯させる。つまり、受領確認部２７は、１秒点灯させ、１秒消灯させ、１秒点灯させ、消灯させる。同様に、受領確認部２７は、３人の場合には１秒間ずつ３度点灯させ、４人の場合には１秒間ずつ２４度点灯させる。

なお、通知受付装置１０は、受領ランプ３３を消灯させてから一定時間は、その受領ランプ３３が取り付けられたカメラ３１から取得された画像データについての処理は行わない。消灯させてから一定時間は、受領ランプ３３を別の色で点灯させてもよい。これにより、通知を受け付けない状態であることを知らせることができる。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る通知受付装置１０は、同時に複数の人からの通知を受領することが可能である。これにより、多くの人が一斉に通知を行うような場合にも対応可能である。

また、実施の形態２に係る通知受付装置１０は、通知ポーズ４１に該当するポーズをした人の人数に応じて、受領ランプ３３の点灯のさせ方を変える。これにより、周囲の状況と合わせて受領ランプ３３を確認することにより、通知が受領されたかを概ね確認できる。

＊＊＊他の構成＊＊＊
＜変形例７＞
実施の形態２では、人数に応じて受領ランプ３３の点灯のさせ方が変わった。画像データにおける位置毎に点灯させる色を設定しておき、通知ポーズ４１に該当するポーズをした人の位置に対応する色で受領ランプ３３を点灯させてもよい。
例えば、Ｘ，Ｙ，Ｚの３人が通知ポーズ４１に該当するポーズをしたとする。この場合には、１度目の点灯は、Ｘがいる位置に応じた色（赤とする）で受領ランプ３３を点灯させる。２度目の点灯は、Ｙがいる位置に応じた色（青とする）で受領ランプ３３を点灯させる。３度目の点灯は、Ｚがいる位置に応じた色（黄とする）で受領ランプ３３を点灯させる。つまり、受領確認部２７は、１秒赤で点灯させ、１秒消灯させ、１秒青で点灯させ、１秒消灯させ、１秒黄で点灯させる。
位置毎の色については、通知ポーズ４１とともに設定して、表示装置３２に表示しておく。これにより、通知を行った人が、通知ができたことを適切に確認できる。

実施の形態３．
実施の形態３は、事象が発生した位置を特定する点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態３では、実施の形態１に機能を追加した場合を説明する。しかし、実施の形態２に機能を追加することも可能である。

＊＊＊構成の説明＊＊＊
図１０を参照して、実施の形態３に係る通知受付装置１０の構成を説明する。
通知受付装置１０は、機能構成要素として、指図判定部２８と、位置特定部２９とを備える点が図１に示す通知受付装置１０と異なる。指図判定部２８及び位置特定部２９の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。

＊＊＊動作の説明＊＊＊
図１１から図１３を参照して、実施の形態３に係る通知受付装置１０の動作を説明する。
実施の形態３に係る通知受付装置１０の動作手順は、実施の形態３に係る通知受付方法に相当する。また、実施の形態３に係る通知受付装置１０の動作を実現するプログラムは、実施の形態３に係る通知受付プログラムに相当する。

事前設定処理では、定義設定部２１は、通知ポーズ４１とともに、指図ポーズ４５をポーズ定義部３０に設定する。指図ポーズ４５は、事象が発生した位置を示すポーズを定義した情報である。指図ポーズ４５は、通知ポーズ４１と同様に関節及び骨格の特徴的な点の相対的な位置関係によって定義される。
図１１に示すように、指図ポーズ４５には、通知ポーズ４１と同様に、説明４２と、イメージ４３とが付加されている。実施の形態３では、指図ポーズ４５は、左手を右腕の肘に当て、右手で事象が発生した位置を指し示すポーズである。

図１２を参照して、実施の形態３に係る通知受付処理を説明する。
ステップＳ４１の処理は、図６のステップＳ２１の処理と同じである。ステップＳ４８からステップＳ４９の処理は、図６のステップＳ２６からステップＳ２７の処理と同じである。

ステップＳ４１の処理に続いて、ループ１の処理が実行される。ループ１では、ステップＳ４１で検出された１人以上の人それぞれを処理対象として、ステップＳ４２からステップＳ４５の処理が実行される。

（ステップＳ４２：ポーズ判定処理）
通知判定部２４は、図６のステップＳ２２と同様に、人のポーズが、ポーズ定義部３０に定義された１つ以上の通知ポーズ４１のうちのいずれかの通知ポーズ４１に該当するか否かを判定する。
通知判定部２４は、いずれかの通知ポーズ４１に該当する場合には、ポーズリスト５１にレコードを追加する。そして、通知判定部２４は、処理をステップＳ４３に進める。一方、通知判定部２４は、いずれかの通知ポーズ４１に該当しない場合には、ポーズリスト５１にレコードを追加することなく、処理をステップＳ４３に進める。

（ステップＳ４３：指図判定処理）
指図判定部２８は、人のポーズが、指図ポーズ４５に該当するか否かを判定する。
具体的には、指図判定部２８は、処理対象の人についての骨格情報を取得する。指図判定部２８は、取得された骨格情報が示す関節等の相対的な位置関係が指図ポーズ４５に該当するか否かを判定する。つまり、指図判定部２８は、骨格情報が示す関節等の相対的な位置関係が、指図ポーズ４５の条件を満たすか否かを判定する。
なお、変形例１における通知判定部２４と同様に、指図判定部２８は、ＡＩのモデルを用いて、人のポーズが指図ポーズ４５に該当するか否か判定してもよい。
指図判定部２８は、指図ポーズ４５に該当しない場合には、ステップＳ４４及びステップＳ４５の処理をスキップする。一方、指図判定部２８は、指図ポーズ４５に該当する場合には、処理をステップＳ４４に進める。

（ステップＳ４４：同一人物特定処理）
指図判定部２８は、ポーズリスト５１に基準時間内の処理対象の人についてのレコードが存在するか否かを判定する。具体的には、指図判定部２８は、基準時間内の処理対象の人の人ＩＤと同じ人ＩＤの通知ポーズを示すレコードが存在するか否かを判定する。指図判定部２８は、同じ人ＩＤのレコードが存在する場合には、処理対象の人についてのレコードが存在すると判定する。
指図判定部２８は、処理対象の人についてのレコードが存在する場合には、処理をステップＳ４５に進める。一方、指図判定部２８は、処理対象の人についてのレコードが存在しない場合には、ステップＳ４５の処理をスキップする。

つまり、ステップＳ４３からステップＳ４４の処理で、指図判定部２８は、通知ポーズに該当するポーズを行った人が、通知ポーズに該当するポーズの後に指図ポーズ４５をしたか否かを判定している。

（ステップＳ４５：位置特定処理）
位置特定部２９は、指図ポーズ４５をとった処理対象の人が示す位置を特定する。具体的には、位置特定部２９は、処理対象の人の右手が指し示す床面の位置を特定する。つまり、位置特定部２９は、処理対象の人の右手が指し示す方向の直線と、床面との交点を特定する。この際、位置特定部２９は、指先の方向を認識するＡＩのモデルを用いて、指図ポーズ４５において指し示す方向を特定してもよい。そして、位置特定部２９は、特定された位置を事象が発生した位置として特定する。
図１３に示すように、位置特定部２９は、ポーズリスト５１の処理対象の人についてのレコードに、事象が発生した位置を追記する。また、位置特定部２９は、指図があったことを示す指図フラグを未から済に変更する。

ここでは、実施の形態１と同様に、１つのカメラ３１に映った複数の人が同時に通知を行うことはないという前提である。そのため、以下の（１）（２）のいずれかの場合には、通知判定部２４は、ループ１の処理を終了する。（１）ステップＳ４２でいずれかの通知ポーズ４１に該当すると判定された場合。（２）ステップＳ４４で基準時間内の同じ人ＩＤの通知ポーズと指図ポーズ４５とが存在すると判定された場合。
一方、（１）（２）のいずれにも該当しない場合には、通知判定部２４は、次の人を処理対象としてループ１を継続する。なお、全ての人について処理が済んだ場合には、ループ１の処理を終了する。
なお基準時間とは、通知ポーズ４１と指図ポーズ４５の間の最大許容時間として用いられる時間であり、一例として１０秒程度で設定される。

（ステップＳ４６：内容特定処理）
内容特定部２５は、ステップＳ２２で画像データに映った人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する。
具体的には、内容特定部２５は、ポーズリスト５１から基準時間以上経過したレコードを読み出す。内容特定部２５は、読み出されたレコードにおける事象ＩＤが示す事象が発生したことを通知内容として特定する。

（ステップＳ４７：地図生成処理）
指示送信部２６は、通知内容が示す発生した事象と、事象の発生位置とを示す地図データ５２を生成する。実施の形態３では、事象の発生位置は、ステップＳ４５で設定された位置である。なお、ステップＳ４６で読み出されたレコードの指図フラグが未の場合には、指示送信部２６は、そのレコードの人ＩＤが示す人がいた位置を、事象の発生位置とする。具体的には、レコードの検出枠の底辺の中央の位置が人がいた位置になる。

＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る通知受付装置１０は、指図ポーズ４５に基づき事象が発生した位置を特定する。これにより、事象が発生した位置をより正確に把握することが可能である。その結果、より迅速に対応をとることが可能である。

また、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

１０ 通知受付装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 定義設定部、２２ 定義案内部、２３ 骨格抽出部、２４ 通知判定部、２５ 内容特定部、２６ 指示送信部、２７ 受領確認部、２８ 指図判定部、２９ 位置特定部、３０ ポーズ定義部、３１ カメラ、３２ 表示装置、３３ 受領ランプ、４１ 通知ポーズ、４２ 説明、４３ イメージ、４４ 事象ＩＤ、４５ 指図ポーズ、５１ ポーズリスト、５２ 地図データ。

Claims (12)

1. 複数のカメラそれぞれを対象として、対象のカメラの撮影領域が人のどの辺りが映り易い状態になっているかに応じた１つ以上の通知ポーズが前記対象のカメラに対して設定されたポーズ定義部を参照して、前記複数のカメラのうちいずれかのカメラによって得られた画像データに映った人のポーズが、前記ポーズ定義部において、前記画像データの取得元のカメラに対して設定された１つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する通知判定部と、
   前記通知判定部によって前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する内容特定部と
   を備える通知受付装置。
2. 前記通知受付装置は、さらに、
   前記通知判定部によって前記人のポーズがいずれかの通知ポーズに該当すると判定されると、通知を受領したことを前記画像データに映った人に知らせるための確認信号を送信する受領確認部
   を備える請求項１に記載の通知受付装置。
3. 前記通知受付装置は、さらに、
   前記通知ポーズに該当するポーズを行った人が、位置を示す指図ポーズを行ったか否かを判定する指図判定部と、
   前記指図判定部によって前記指図ポーズをしたと判定された場合には、前記指図ポーズが示す位置を特定する位置特定部と
   を備える請求項１又は２に記載の通知受付装置。
4. 前記通知受付装置は、さらに、
   前記内容特定部によって特定された通知内容に応じた対応先に対して、指示情報を送信する指示送信部
   を備える請求項１から３までのいずれか１項に記載の通知受付装置。
5. 前記通知受付装置は、さらに、
   前記内容特定部によって特定された通知内容に応じた対応先に対して、前記位置特定部によって特定された位置を示す指示情報を送信する指示送信部
   を備える請求項３に記載の通知受付装置。
6. 前記通知ポーズは、関節の相対的な位置関係によって定義されており、
   前記通知受付装置は、さらに、
   前記画像データから前記人の関節の位置を示す骨格情報を抽出する骨格抽出部
   を備え、
   前記通知判定部は、前記骨格抽出部によって抽出された前記骨格情報が示す関節の相対的な位置関係がいずれかの通知ポーズに該当するか否かを判定する
   請求項１から５までのいずれか１項に記載の通知受付装置。
7. 前記受領確認部は、前記カメラの周辺に設置された受領ランプに対して前記確認信号を送信して、前記受領ランプを点灯させる
   請求項２に記載の通知受付装置。
8. 前記受領確認部は、前記受領ランプを点灯させた後、前記通知判定部によって前記点灯を確認したことを示す通知ポーズに該当すると判定されると、前記受領ランプに対して終了信号を送信して、消灯させる
   請求項７に記載の通知受付装置。
9. 前記受領確認部は、通知ポーズに該当すると判定されたポーズをした人の人数に応じて、前記受領ランプの点灯のさせ方を変える
   請求項７又は８に記載の通知受付装置。
10. 前記受領確認部は、通知ポーズに該当すると判定されたポーズをした人の前記画像データにおける位置に応じて、前記受領ランプの点灯のさせ方を変える
    請求項７又は８に記載の通知受付装置。
11. コンピュータが、複数のカメラそれぞれを対象として、対象のカメラの撮影領域が人のどの辺りが映り易い状態になっているかに応じた１つ以上の通知ポーズが前記対象のカメラに対して設定されたポーズ定義部を参照して、前記複数のカメラのうちいずれかのカメラによって得られた画像データに映った人のポーズが、前記ポーズ定義部において、前記画像データの取得元のカメラに対して設定された１つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定し、
    コンピュータが、前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する通知受付方法。
12. 複数のカメラそれぞれを対象として、対象のカメラの撮影領域が人のどの辺りが映り易い状態になっているかに応じた１つ以上の通知ポーズが前記対象のカメラに対して設定されたポーズ定義部を参照して、前記複数のカメラのうちいずれかのカメラによって得られた画像データに映った人のポーズが、前記ポーズ定義部において、前記画像データの取得元のカメラに対して設定された１つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する通知判定処理と、
    前記通知判定処理によって前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する内容特定処理と
    を行う通知受付装置としてコンピュータを機能させる通知受付プログラム。

Images