JP7005717B2 - 制御装置、制御方法及びプログラム - Google Patents

Description

本発明は、動画像から人物を検出し、通知装置に通知処理を実行させる制御装置、制御方法及びプログラムに関する。

従来、画像から人物を検出する方法が知られている。特許文献１では画像から遮蔽された人物を検出する方法が開示されている。

特開２０１４－１９９５０６号公報

上述の特許文献１に開示された技術では、画像中の人物の位置を知らせることが可能である。例えば、前記技術では、画像中に存在する人物を丸で囲み、ユーザーに人物の位置を提示することができる。しかし、前記技術に基づいて人物の位置を示すのみでは、ユーザーは、検出された人物が集団から孤立して単独で作業を行っているか、それとも他の人物と近い位置で共同作業を行っているかを一目で判断できない課題があった。例えば、漏えいを防止すべきデータを扱っている現場では、単独で作業をすることを禁止するルールを課していることがあり、作業監視員が撮像装置を介して作業者らを監視し、集団から孤立して単独で作業を行っている単独作業者に対して注意を促したい場合がある。しかし、撮像画像を見るのみでは、作業監視員は撮像画像中の作業者らそれぞれが、単独で作業を行っているのか、それとも複数で作業を行っているのか、を一目で判断できない。また、作業監視員が常に作業者を監視し続けることは負担も大きい。
本発明は、画像中の人物が単独であった場合、ユーザーに通知することを目的とする。

そこで、本発明の制御装置は、動画像から人物を検出する検出手段と、前記検出手段によって検出される人物のうち、前記動画像に設定される人物の検知領域である第１のエリアにいる人物について、単独の人物であるかを特定する特定手段と、前記特定手段により前記単独の人物と特定された状態で、前記人物が前記第１のエリアにいる時間が所定時間を超えると、前記単独の人物の存在をユーザが認識可能な情報の通知処理を、通知装置に実行させる制御を行う通知制御手段と、を有し、前記特定手段は、前記第１のエリアにいる人物であって、前記第１のエリアにいる他の人物と顔の向き、又は目線が交差しない人物、かつ前記他の人物との距離の値が所定の閾値以上である人物を単独の人物と特定し、前記所定の閾値は、前記第１のエリアにいる人物と前記第１のエリアにいる他の人物とが並んでいる方向に基づいて変更される、ことを特徴とする。

本発明によれば、画像中の人物が単独であった場合、ユーザーに通知することができる。

システムのシステム構成及びハードウェア構成の一例を示す図である。 撮像装置及びクライアント装置の機能構成等の一例を示す図である。 通知制御の処理の一例を示すフローチャートである。 撮像画像の一例を示す図である。 人物検出を行った結果を示す画像の一例を示す図である。 水平面画像の一例を示す図である。 単独作業者かどうかの判定の処理を説明するための図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
本実施形態では、作業者に対して二人以上で作業を行うことが義務付けられている漏えいを防止すべきデータを扱う現場において、各作業者の中に単独作業者（他の人物と関連付けられない人物）が存在した場合、作業監視員にその旨を通知する処理について説明す
る。このような状況は、本実施形態を用いることができる状況の一例であり、人物が単独であるか、複数であるかを判断したい種々の状況で用いることができる。例えば、本発明は、通行人や入場者等が単独であるかグループであるかを判断して、マーケティングや、社会問題の解決等に利用する状況にも用いることができる。
本実施形態におけるシステムのシステム構成及びハードウェア構成の一例を図１に示す。図１において、撮像装置１１０は、撮像を行う。クライアント装置１２０は、撮像装置１１０の駆動、撮像装置１１０で撮像された撮像画像の表示を行う。入力装置１３０は、マウスやキーボード等から構成され、クライアント装置１２０へのユーザー入力を行う。表示装置１４０は、ディスプレイ等から構成され、クライアント装置１２０が出力した画像の表示を行う。図１ではクライアント装置１２０と表示装置１４０とを各々独立した装置として示したが、クライアント装置１２０と表示装置１４０とを一体化して構成してもよい。また、入力装置１３０と表示装置１４０とを一体化して構成してもよいし、クライアント装置１２０と入力装置１３０と表示装置１４０とを一体化して構成してもよい。ネットワーク１５０は撮像装置１１０とクライアント装置１２０とを接続する。ネットワーク１５０は、例えばローカルネットワーク等の通信規格を満たす複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては撮像装置、クライアント間の通信を行うことができるものであればその通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。また、クライアント装置１２０に接続される撮像装置の数は１台に限られず、複数台であってもよい。

撮像装置１１０のハードウェア構成について説明する。撮像装置１１０は、ハードウェア構成として、撮像部１１と、ＣＰＵ１２と、メモリ１３と、通信Ｉ／Ｆ１４と、を含む。撮像部１１は、撮像素子と撮像素子上に被写体の工学系とを有し、ＣＰＵ１２の制御に基づき光学系の光軸と撮像素子との交点を撮像中心として撮像素子上に撮像を行う。撮像素子は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子である。ＣＰＵ１２は、撮像装置１１０の全体を制御する。メモリ１３は、プログラムや撮像部１１で撮像された画像、ＣＰＵ１２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ１４は、ＣＰＵ１２の制御に基づきネットワーク１５０を介したクライアント装置１２０との通信を制御する。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することにより、撮像装置１１０の機能等が実現される。なお、ＣＰＵ以外の他のプロセッサーを用いてもよい。
クライアント装置１２０のハードウェア構成について説明する。クライアント装置１２０は、ハードウェア構成として、メモリ２１と、ＣＰＵ２２と、通信Ｉ／Ｆ２３と、入力Ｉ／Ｆ２４と、表示Ｉ／Ｆ２５と、を含む。ＣＰＵ２２は、クライアント装置１２０の全体を制御する。メモリ２１は、プログラムや撮像装置１１０から送信された撮像画像、ＣＰＵ２２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ２３は、ＣＰＵ２２の制御に基づきネットワーク１５０を介した撮像装置１１０との通信を制御する。入力Ｉ／Ｆ２４は、クライアント装置１２０と入力装置１３０とを接続し、入力装置１３０からの情報の入力を制御する。表示Ｉ／Ｆ２５は、クライアント装置１２０と表示装置１４０とを接続し、表示装置１４０への情報の出力を制御する。ＣＰＵ２２がメモリ２１に記憶されたプログラムに基づき処理を実行することにより、クライアント装置１２０の機能及び後述する図３のフローチャートの処理等が実現される。但し、クライアント装置１２０のハードウェア構成は、図１に示されるものに限定されない。例えば、クライアント装置１２０は、通知装置の一例であるスピーカー等の音声出力装置を有していてもよい。クライアント装置１２０が音声出力装置をハードウェア構成として有する場合、通知処理の一例は、警告等の音声の出力処理である。

図２は、撮像装置１１０及びクライアント装置１２０の機能構成の一例を示す図である。撮像装置１１０は、機能構成として、制御部１１１と、信号処理部１１２と、駆動制御部１１３と、通信制御部１１４と、を含む。制御部１１１は、撮像装置１１０を制御する。信号処理部１１２は、撮像部１１によって撮像された画像信号の処理を行う。例えば、信号処理部１１２は、撮像部１１によって撮像された画像の符号化を行う。信号処理部１１２は、符号化方式として、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）を用いることができる。又は、信号処理部１１２は、符号化方式として、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下Ｈ．２６４）を用いることができる。又は、信号処理部１１２は、符号化方式として、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式）を用いることができる。但し符号化方式はこれらに限らない。また、信号処理部１１２は、複数の符号化方式の中から符号化方式を選択して符号化を行うようにしてもよい。
駆動制御部１１３は、撮像部１１の撮像方向、及び画角を変更させる制御を行う。本実施形態では、撮像部１１は、パン方向、チルト方向に撮像方向を変更でき、撮像画角を変更することができる場合について説明するが、これに限らない。撮像装置１１０は、パン方向、チルト方向に撮像方向を変更する機能を有さなくてもよいし、画角を変更する機能を有さなくてもよい。通信制御部１１４は、信号処理部１１２で処理が行われた撮像画像をクライアント装置１２０に送信する。更に通信制御部１１４は、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。
クライアント装置１２０は、機能構成として、制御部１２１と、通信制御部１２３と、情報取得部１２４と、表示制御部１２５と、を含む。制御部１２１は、クライアント装置１２０を制御する。通信制御部１２３は、撮像画像をクライアント装置１２０から受信する。情報取得部１２４は、入力装置１３０によるユーザー入力を受け付け、入力装置１３０より入力情報を取得する。表示制御部１２５は、映像を表示装置１４０へ出力し、後述する表示処理を表示装置１４０に実行させる。表示装置１４０は、通知装置の一例である。また、表示処理は、通知処理の一例である。

次に、本実施形態における通知制御の処理の流れを、図３を用いて説明する。図３は、クライアント装置１２０における通知制御の処理の一例を示すフローチャートである。クライアント装置１２０は、撮像装置１１０から繰り返し、撮像画像、即ち動画像、を取得し、取得した撮像画像中の単独作業者が存在した場合、ユーザーである作業監視員に通知する。
制御部１２１は、撮像装置１１０から撮像画像を取得する（Ｓ２００）。図４は、クライアント装置１２０が撮像装置１１０から取得した撮像画像３００の一例を示す図である。図４において作業者３０１、３０２及び作業者３０３、３０４は二人一組で作業を行っている共同作業者（他の人物と関連付けられる人物）を表す。一方、作業者３０５は一人で作業を行っている単独作業者を表す。また、作業台３０６は撮像装置１１０から遠い位置に存在する作業台を表わす。作業台３０７は撮像装置１１０に近い位置に存在する作業台を表す。
このとき、クライアント装置１２０が取得する撮像画像は、作業者ができるだけ重ならないように撮像装置１１０の撮像部１１の位置や取り付け角度、画角を予め調整しておくことが好ましい。本実施形態ではクライアント装置１２０は、撮像装置１１０から取得した撮像画像に対し処理を行う。これによって、リアルタイムのライブ映像に対して処理を行うことができる。しかしながらこれに限らない。例えば、クライアント装置１２０は、撮像装置１１０内に保存されている動画を取得し、各フレームに対し処理を行ってもよいし、クライアント装置１２０内に保存されている動画の各フレームに対して処理を行ってもよい。又はクライアント装置１２０は、録画サーバ等にアクセスし、録画サーバ内に保存されている動画の各フレームに対して処理を行ってもよい。また本実施形態では、共同作業者を二人一組としたが、これに限らない。クライアント装置１２０は、三人以上を共同作業者としてもよい。

次に、制御部１２１は、Ｓ２００で取得した撮像画像３００に対し、人物検出処理を行う（Ｓ２０１）。制御部１２１は、人物検出処理を行うため、本実施形態ではまず、撮像画像３００に対し、様々なサイズでスケーリングを行う。スケーリングを行うことで、様々なサイズの人物を検出することができる。次に、制御部１２１は、各スケールの撮像画像に対し、特定のサイズの検出窓を用いてラスタースキャンする。このとき、制御部１２１は、予め学習データを用いて人物の特徴量を計算しておき、スキャン時に検出窓内で計算された特徴量と、前述の学習データに基づく特徴量との誤差が閾値よりも小さい場合に人物であると判断する。人物検出処理はこのようなパターンマッチング処理等の種々の方法を用いることができる。
図５は、撮像画像３００に対して人物検出を行った結果を示す画像４００の一例を示す図である。図５の（Ａ）において楕円４０１～４０５はそれぞれ、作業者３０１～３０５を検出した位置を表す。また、矢印４０６～４０８は各人物の顔の向き表現するための、矢印の末尾側を基点、頭部側を無限に伸ばすとする半直線である。また、上記のように、人物の特徴量を使用する検出方法の他、図５の（Ｂ）のように、作業者のルールとして、予め定められた制服、ビブス（ベスト状の衣服）、帽子の内の少なくとも何れかを着用することを決める等するようにしてもよい。即ち、作業者として検出すべき人物が身につけた物の特徴量を予めルールを設定ファイルとしてクライアント装置１２０のメモリ２１等に記憶しておくようにしてもよい。このようにすれば、制御部１２１は、設定ファイルのルール及び撮像画像の処理対象の人物が身につけた物の色・形状等の特徴量に基づいて、ルールに合致した特徴量の制服等を身につけた作業者を検出することもできる。

次に、制御部１２１は、Ｓ１０１で検出した人物の位置を、撮像画像の撮影範囲を真上から平画面投影した水平面画像上の座標へ変換する（Ｓ２０２）。本実施形態では、撮像画像上の各点が、水平面画像上のどの点と対応付くか、予め決定されているものとする。例えば、ユーザーは、表示装置１４０等に表示された撮像画像上の四点と、水平面画像上の四点とを、入力装置１３０等を操作して指定する。制御部１２１は、ユーザーによって入力された撮像画像上の四点と、水平面画像上の四点と、以下に示す式（１）、（２）等に基づき予めホモグラフィ行列Ｈを計算しておく。

ここで、式（２）中のｐｘ１、ｐｘ２、．．．、ｐｘ４、ｐｙ４、及びｑｘ１、ｑｘ２、．．．、ｑｘ４、ｑｙ４は、ユーザーによって指定された撮像画像上の四点のｘ、ｙ座標、及び水平面画像上の四点のｘ、ｙ座標をそれぞれ表す。
次に制御部１２１は、撮像画像上のｘ座標ｐｘ、Ｙ座標ｐｙとホモグラフィ行列Ｈとに対し、以下の式（３）を適用することにより、ｐｘ、ｐｙに対応する水平面画像上のＸ座標ｑｘと、Ｙ座標ｑｙとを計算することができる。

図６は、作業現場の水平面画像５００の一例を示す図である。図６において座標５０１～５０５はそれぞれ人物検出位置である楕円４０１～４０５の代表点を水平面画像上の座標へ変換した結果を表す。本実施形態では、代表点は一例として人物検出位置の中心とした。代表点は人物の頭に対応する領域の中心としてもよい。また、領域５０６、５０７はそれぞれ、作業台３０６、３０７を水平面画像上で表現した場合の領域を表す。本実施形態では、水平面画像としてＣＡＤ等で作成された作業現場の見取り図を使用したものとするが、この限りではない。例えば、撮像画像を変形させた画像を用いてもよいし、手書きの画像でもよい。また、画像がなくてもよく、プログラム内部で前述の座標の情報を持つだけでもよい。つまり、水平面画像５００は生成しなくてもよく、水平面画像５００上の座標位置の算出だけを行ってもよい。また、水平面画像５００に近い構図（俯瞰等）で撮像すれば、必ずしもＳ２０３の処理を行わなくてもよい。この場合は撮像した画像上の距離を用いて単独作業者か共同作業者かを判断できる。また、水平面画像５００の生成方法はその他の種々の方法を用いてもよい。

次に、制御部１２１は、検出された人物のリストを更新する（Ｓ２０３）。繰り返し処理の最初であれば、制御部１２１は、検出された人物の全てをリスト化する。このとき、制御部１２１は、リスト内の各ノードには人物が検出された撮像画像上の代表点の座標と、水平面画像上の代表点の座標と、を格納する。繰り返し処理の二回目以降であれば、制御部１２１は、検出された全ての人物に対して以下の処理を行う。
（処理１）．制御部１２１は、リスト内の各ノードに保存されている人物の撮像画像上の座標と、自身の撮像画像上の座標と、の距離を計算し、閾値以下であれば対象のノードを自身のデータで置き換える。このとき、制御部１２１は、今までノード内に保存された座標の履歴を保存する。
（処理２）．制御部１２１は、（処理１）内の条件を満たすノードが無ければリストの末尾に自身のデータを追加する。また、制御部１２１は、検出された全ての人物に対し上記の処理を終えた後は以下の処理を行う。
（処理３）．制御部１２１は、更新されなかったノードを削除する。

次に制御部１２１は、撮像画像内に単独作業者が存在するか否かを判断する（Ｓ２０４～Ｓ２０６）。処理の流れは以下の通りである。
（処理１）．制御部１２１は、リストの先頭を処理対象とする（Ｓ２０４）。
（処理２）．制御部１２１は、処理対象の人物が単独作業者かどうかを判断する（Ｓ２０５）。本実施形態では、制御部１２１は、単独作業者かどうか判断するため、処理対象の人物に対して以下の項目を確認する。
（項目１）．制御部１２１は、処理対象の人物の水平面画像上の座標を中心として、半径Ｒ以内に検出された人物が存在するかを判断する。
この半径Ｒは本実施形態が適用される状況に応じて適宜設定すればよい。例えば、室内での作業を監視する場合、半径Ｒは２ｍに相当する距離とすることができる。但しこのとき、制御部１２１は、処理対象の人物のノードに保存されている座標履歴を参照し、処理対象の人物が移動中であると判断した場合、移動中ではないと判断したときよりも、閾値であるＲの値を大きくする。またこのとき、制御部１２１は、共同作業者同士が水平面画像上のｘ軸方向に並んで作業を行うのであれば、半径Ｒの円をｙ軸方向に縮めた楕円を用いてもよい。同様に、制御部１２１は、共同作業者同士が水平面画像上のｙ軸方向に並んで作業を行うのであれば、半径Ｒの円をｘ軸方向に縮めた楕円を用いてもよい。制御部１２１は、（項目１）の条件に当てはまった人物を単独作業者の候補とし、以下の（項目２）及び（項目３）を確認する。
（項目２）．制御部１２１は、（項目１）を満たす人物が存在した場合、顔の向きを表す半直線は、処理対象の人物の顔の向きを表す半直線と交わるかを判断する。
但しこのとき、制御部１２１は、顔の向きを検知できていなければ、（項目２）を後述する単独作業者か、又は共同作業者かどうかの判断に含めない。
（項目３）．制御部１２１は、（項目１）を満たす人物が存在した場合、その人物は非検知領域外に存在するかを判断する。
本実施形態では、制御部１２１は、入力装置１３０等を操作してユーザーによって指定された領域を作業者が存在しえない非検知領域に設定するものとする。これにより、例えばガラス張りの壁の向こう側を移動する非作業者、及び机の上に置かれたポスター等に映る人物を共同作業者と誤検知することを抑制することができる。非検知領域の設定は、ユーザーによる入力装置１３０等を介した入力に限られない。制御部１２１は、撮像画像上に配置されたマーカーで囲まれた領域を非検知領域として自動で設定してもよい。マーカーを用いて検出する方法としては、例えば、非検知領域の四隅に設置された二次元のマーカーを、撮像画像をラスタースキャンすることで予めクライアント装置１２０に登録してある前述の二次元のマーカーの情報とパターンマッチングする方法がある。
制御部１２１は、上記（項目１）～（項目３）の全てを満たす場合は共同作業者であると判断し、（処理３－１）へ進む。つまり、制御部１２１は、上記（項目１）～（項目３）の全てを満たす作業者同士を関連付けて、共同独作業者であると判定する。このように、制御部１２１は関連付け部としての機能を有している。また、制御部１２１は、少なくとも一つを満たさない場合、処理対象の人物は単独作業者であると判断し、（処理３－２）へ進む。

ここで、単独作業者か、共同作業者かを判断する処理は、上述した処理に限られない。例えば、制御部１２１は、撮像画像から検出された人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付けて共同作業者であると判定するようにしてもよい。例えば制御部１２１は、撮像画像の所定のオブジェクト、例えば作業台等、から所定の範囲の位置にいる人物同士を関連付けるようにしてもよいし、人物の顔の向き（又は目線）を推定し、顔の向き（又は目線）が交差する人物同士を関連付けるようにしてもよい。また、例えば制御部１２１は、人物間の距離が所定の距離以内の人物同士を関連付けるようにしてもよい。そして、制御部１２１は、他の人物と関連付けられる人物同士を共同作業者、他の人物と関連付けられない人物を単独作業者と判断するようにしてもよい。また、制御部１２１は、更に、人物の制服、又はビブス（ベスト状の衣服）、又は帽子の色、又は形状に基づき、人物同士を関連付けるようにしてもよい。例えば、制御部１２１は、人物間の距離が所定の距離以内の人物の内、制服の形状が同じ人物同士を関連付け、人物間の距離が所定の距離以内の人物であっても、制服の形状が異なる人物同士は関連付けないようにしてもよい。

上記（項目１）～（項目３）における判定について図７を用いて説明する。図７において、座標６０１～６０５は人物検出位置である楕円４０１～４０５の中心を水平面画像上の座標へ変換した結果を表す。また、領域６０６、６０７はユーザーによって指定された
非検知領域を表す。また、楕円６００は以下の式（４）を満たすｘ、ｙから成る楕円を表す。

式（４）中のｑｘ、ｑｙはそれぞれ、処理対象の人物の、水平面画像上でのｘ座標、及びｙ座標を表す。図７では、ｑｘ、ｑｙはそれぞれ座標６０２のｘ座標、及びｙ座標を表す。式（４）中のａ、ｂは楕円の変換パラメータである。例えば、ａ＝１、ｂ＝１とすると、楕円は半径Ｒ、中心（ｑｘ、ｑｙ）の円となる。また、ａ＝１、ｂ＝１／２とすると、ｘ軸方向の長さがＲ、ｙ軸方向の長さがＲ／２となる楕円となる。本実施形態では共同作業者同士が水平面画像上のｘ軸方向に並んで作業を行うため、ａ＞ｂとなる値を用いることとする。

例えば、制御部１２１は、リストの走査の最中、人物検出位置である楕円４０２の人物を処理対象としたとする。このとき、制御部１２１は、人物検出位置である楕円４０２に対応する水平面画像上の座標６０２に関して、上記（項目１）～（項目３）の判定を行う。
まず（項目１）では、制御部１２１は、楕円６００の内部に検出された人物が存在するか否かを判定する。図７で表す状況においては、人物検出位置の楕円４０１に対応した水平面画像上の座標６０１が楕円内に含まれているため、制御部１２１は、要件を満たすと判断する。
次に（項目２）では、制御部１２１は、人物検出位置である楕円４０２の顔の向きを表す半直線４０７と、（項目１）の条件を満たした人物の人物検出位置である楕円４０１の顔の向きを表す矢印４０６と、が交差するかどうかを判定する。本実施形態の例で説明する状況下では、矢印４０６、及び４０７は、交差するため、制御部１２１は、要件を満たすと判断する。
次に（項目３）では、制御部１２１は、（項目１）の条件を満たした人物の人物検出位置である楕円４０１に対応した水平面画像上の座標６０１が、非検知領域である領域６０６、６０７に含まれていないかを判定する。本実施形態の例で説明する状況下では、座標６０１が、非検知領域である領域６０６、６０７に含まれていないため、制御部１２１は、要件を満たすと判断する。以上、（項目１）～（項目３）の全ての要件を満たしていたため、制御部１２１は、人物検出位置である楕円４０２の人物を共同作業者であると判断する。
また、本実施形態では、制御部１２１は、（項目１）の条件に当てはまる人物を単独作業者の候補とした。しかしながらこの限りでは無く、制御部１２１は、領域の指定に基づく判断を行ってもよい。例えば、制御部１２１は、ユーザー入力に基づき、撮像画像又は水平面画像上に、各作業者のペアが存在するであろう領域を複数設定する。このとき、制御部１２１は、（項目１）の条件を、注目する人物と同じ検知領域に人物が存在するか、としてもよい。

（処理３－１）．制御部１２１は、リストの末尾を処理対象としているか否かを判断する（Ｓ２０６）。
制御部１２１は、リストの末尾で無ければ次の人物を処理対象とし、（処理２）へ戻る（Ｓ２０７）。制御部１２１は、リストの末尾であればリスト内の走査を終了し、単独作業者が存在する累積フレーム数を０にする（Ｓ２０８）。
（処理３－２）．制御部１２１は、単独作業者が存在する累積フレーム数をインクリメントする、即ち変数の値を１増やす（Ｓ２０９）。
次に制御部１２１は、単独作業者が存在する旨をユーザーへ通知するか否かを判断し、
条件を満たしていた場合は通知を行う（Ｓ２１０、Ｓ２１１）。本実施形態では、制御部１２１は、単独作業者が存在する累積フレーム数（累積期間）が閾値を超えた場合、ユーザーに警告を通知することとする。この判断条件を用いることで、例えば共同作業者であるにもかかわらず、一瞬人物の検出に失敗したことによって単独作業者であると誤通知することを抑制することが可能になる。なお、制御部１２１は、累積フレーム数で判断するのではなく、単独作業者が存在する時間が閾値を超えた場合にユーザーに警告を通知するようにしてもよい。制御部１２１は、単独作業者が存在する期間（累積フレーム数や時間）が閾値を超えた場合にユーザーに警告を通知すればよい。また、制御部１２１は、単独作業者が存在する状態が連続している期間（連続期間）が所定の閾値を超えた場合にユーザーに警告を通知するようにしてもよい。ここで、閾値は、例えば、メモリ２１に記憶されているものとする。制御部１２１は、入力装置１３０等を介してユーザーの設定操作に応じて、前記閾値を変更することができる。また、閾値をゼロとしてもよい。つまり、単独作業者が存在する場合、ただちにユーザーへ通知するようにしてもよい。
また、本実施形態では単独作業者が存在することをユーザーへ通知する方法として、表示装置１４０へ単独作業者が存在する旨を表すＵＩを表示する方法を例に説明を行う。例えば、制御部１２１は、表示制御部１２５を介して、表示装置１４０に、撮像画像３００、又は水平面画像５００上の単独作業者の位置に二重丸を重畳する、赤丸を重畳する等の表示処理を実行させる。しかしながらこの限りでは無く、制御部１２１は、ユーザーにメールを送信してもよいし、スピーカーからアラートを発する等を行ってもよい。また、ＬＥＤ等の発光手段を発光させることで通知を行ってもよい。
次に、制御部１２１は、撮像画像の取得（Ｓ２００）からユーザーへ単独者業者の有無を通知するかどうかの判断（Ｓ２１０、Ｓ２１１）までの処理を繰り返すかどうかを判断する（Ｓ２１２）。本実施形態では、制御部１２１は、撮像装置１１０からの撮像画像の取得が不可能になった場合、又はユーザーによる繰り返し処理中断の指示が有った場合に、繰り返し処理を終了すると判断する。
以上のように、動画像において、他の人物と関連付けられない単独作業者が含まれる動画像の期間があると、それに応じて、通知処理を実行させる。これによって単独作業者が存在することを監視者に伝えることができる。

本実施形態では、制御部１２１は、検知領域を設定する例を用いて主に説明を行った。制御部１２１は、単独作業を検知したときに、単独作業を検知した際の検知領域を映像に重畳して表示装置１４０に表示させるようにしてもよい。また、制御部１２１は、全ての検知領域を映像に重畳して表示させておき、単独作業が行われた場合に、単独作業が行われた検知領域を他の検知領域と異なる色に変える、点滅表示にする等、明示、又は強調的に表示するようにしてもよい。このようにすることにより、作業監視員は視認性よく、映像中の人物が、単独か複数かを把握することができる。
また、本実施形態では、１台のクライアント装置で人物等を検出して表示する例を示したが、複数のクライアント装置で処理を行うようにしてもよい。例えば、映像が入力され、単独作業等を検知し、通知するための第１のクライアント装置と、前記通知を受けて警報を出力したり、重畳表示を行ったりする第２のクライアント装置と、で処理を行うようにしてもよい。第１のクライアント装置の一例は、ＶＣＡ（Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ Ａｎａｌｙｓｉｓ）装置である。第２のクライアント装置の一例は、ＶＭＳ（Ｖｉｄｅｏ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）装置である。第１のクライアント装置と、第２のクライアント装置とのハードウェア構成は、図１のクライアント装置１２０のハードウェア構成と同様である。それぞれのクライアント装置のＣＰＵがそれぞれのクライアント装置のメモリに記憶されているプログラムに基づき処理を実行することによりそれぞれのクライアント装置の機能が実現される。

作業現場内に単独作業者が存在する旨の警告を受け取ることで、作業監視員は、ルールに違反している作業者見つけることができ、その作業者へ注意を促すことが可能になる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。撮像装置１１０の機能構成は、ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することにより実現されるソフトウェア構成として撮像装置に実装されてもよい。また、撮像装置１１０の機能構成の一部又は全てはハードウェア構成として撮像装置１１０に実装されてもよい。同様に、クライアント装置１２０の機能構成はＣＰＵ２２がメモリ２１に記憶されたプログラムに基づき処理を実行することにより実現されるソフトウェア構成としてクライアント装置１２０に実装されてもよい。また、クライアント装置１２０の機能構成の一部又は全てはハードウェア構成としてクライアント装置１２０に実装されてもよい。
また、単独作業者の位置に二重丸を重畳する、赤丸を重畳する以外に、単独作業者に「単独作業者」と文字列を重畳させるようにしてもよいし、赤色等の警告色を撮像画像上の単独作業者に重畳させるようにしてもよい。また、これらを任意に組み合わせて重畳表示させるようにしてもよい。実線の楕円、二重線の楕円、「単独作業者」等の文字列、赤色等の警告色は、他の人物と関連付けられない人物であることを示すオブジェクトの例である。
また、上述したクライアント装置や撮像装置のハードウェア構成は一例であり、例えば、ＣＰＵやメモリ、通信Ｉ／Ｆ等は複数有していてもよい。

以上、上述した各実施形態の処理によれば、画像中の人物が単独であった場合、ユーザーに通知することができる。

２１ メモリ
２２ ＣＰＵ
１２０ クライアント装置
１４０ 表示装置

Claims (9)

1. 動画像から人物を検出する検出手段と、
   前記検出手段によって検出される人物のうち、前記動画像に設定される人物の検知領域である第１のエリアにいる人物について、単独の人物であるかを特定する特定手段と、
   前記特定手段により前記単独の人物と特定された状態で、前記人物が前記第１のエリアにいる時間が所定時間を超えると、前記単独の人物の存在をユーザが認識可能な情報の通知処理を、通知装置に実行させる制御を行う通知制御手段と、を有し、
   前記特定手段は、前記第１のエリアにいる人物であって、前記第１のエリアにいる他の人物と顔の向き、又は目線が交差しない人物、かつ前記他の人物との距離の値が所定の閾値以上である人物を単独の人物と特定し、
   前記所定の閾値は、前記第１のエリアにいる人物と前記第１のエリアにいる他の人物とが並んでいる方向に基づいて変更される、
   ことを特徴とする制御装置。
2. 前記通知装置は、表示装置であり、
   前記通知制御手段は、前記表示装置に表示処理を実行させることで前記通知処理を実行させることを特徴とする請求項１に記載の制御装置。
3. 前記表示処理は、前記単独の人物であることを示すオブジェクトを重畳表示させる処理であることを特徴とする請求項２に記載の制御装置。
4. 撮像装置より動画像を取得する取得手段を更に有し、
   前記検出手段は、前記取得手段により取得された前記動画像から人物を検出することを特徴とする請求項１乃至３の何れか１項に記載の制御装置。
5. 前記検出手段は、人物の特徴量に基づき前記動画像から人物を検出することを特徴とする請求項１乃至４の何れか１項に記載の制御装置。
6. 前記検出手段は、更に、人物が身につけている物の特徴量に基づき前記動画像から人物を検出することを特徴とする請求項５に記載の制御装置。
7. 前記人物が身につけている物は、制服、ビブス、及び帽子の内の少なくとも何れかであることを特徴とする請求項６に記載の制御装置。
8. 制御装置が実行する制御方法であって、
   動画像から人物を検出する検出工程と、
   前記検出工程で検出される人物のうち、前記動画像に設定される人物の検知領域である第１のエリアにいる人物について、単独の人物であるかを特定する特定工程と、
   前記特定工程で前記単独の人物と特定された状態で、前記人物が前記第１のエリアにいる時間が所定時間を超えると、前記単独の人物の存在をユーザが認識可能な情報の通知処理を、通知装置に実行させる制御を行う通知制御工程と、を含み、
   前記特定工程では、前記第１のエリアにいる人物であって、前記第１のエリアにいる他の人物と顔の向き、又は目線が交差しない人物、かつ前記他の人物との距離の値が所定の閾値以上である人物を単独の人物と特定し、
   前記所定の閾値は、前記第１のエリアにいる人物と前記第１のエリアにいる他の人物とが並んでいる方向に基づいて変更される、
   ことを特徴とする制御方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の制御装置の各手段として機能させるためのプログラム。

Images