JP6655727B2 - 監視システム - Google Patents

Description

本発明は、監視カメラを用いた監視システムに係り、特に、姿勢を推定して「ながら歩き」を検出して警報する監視システムに関する。

［従来の技術］
スマートフォン（以下「スマホ」と呼ぶ）の普及と利便性によって、スマホを見ながら、または操作しながら歩く人が多くなっている。このような行為を「ながら歩き」と呼ぶ。
「ながら歩き」によって、歩行中の接触事故や、駅のホームからの転落事故が増加している。

［ながら歩き：図１０］
「ながら歩き」について図１０を参照しながら説明する。図１０は、ながら歩きの様子を示す図である。
図１０に示すように、「ながら歩き」は、携帯電話機、電子端末（スマホを含む）、書籍を見ながら前方不注意の状態で歩く動作のことである。図１０では、スマホを注視して歩行している様子を示している。スマホを見ながらの歩行を「歩きスマホ」と呼ぶ。

このような「歩きスマホ」に警告を行うために、スマホと検出サーバ（歩行者アラームサーバ）が連動して、スマホの動きと操作から「歩きスマホ」を検出して警告する監視システムが提案されている。

［関連技術］
尚、関連する先行技術として、特開２０１５−１３３００３号公報「歩行者用アラームサーバ及び携帯端末装置」（清水建設株式会社）［特許文献１］、国際公開番号ＷＯ２０１５／０９３３３０Ａ１号公報「認識データ伝送装置」（シャープ株式会社）［特許文献２］がある。

また、皆本光、佐野睦夫「歩行者の不注意行動認識−歩きスマホ検出」画像電子学会、第６回 視覚・聴覚支援システム（VHIS）研究会 ―視覚・聴覚障碍者への支援技術― ２０１５年３月２４日講演資料（非特許文献１）がある。

特許文献１には、スマホと歩行者用アラームサーバが連動することで、スマホの加速度センサの情報と操作中という情報から歩きスマホを検出し、操作者のスマホ画面に警告を発することが示されている。

特許文献２には、撮像画像から人物の身体の一部又は全部の特徴量を検出し、その特徴量から撮像中の人物を特定し、人物の身体的特徴を表すユーザ情報を検出し、ユーザ情報と撮像映像からユーザの動き等のモーション情報を検出し、モーション情報とユーザ情報とから人物の行動を認識し、行動毎にデータを分割してブロックデータとして伝送する装置が示されている。

また、非特許文献１には、歩きスマホの認識する盲導犬ロボットについて記載され、特に、歩きスマホを認識する複数の技術が示されている。

特開２０１５−１３３００３号公報 国際公開番号ＷＯ２０１５／０９３３３０Ａ１号公報

皆本光、佐野睦夫「歩行者の不注意行動認識−歩きスマホ検出」画像電子学会、第６回 視覚・聴覚支援システム（VHIS）研究会 ―視覚・聴覚障碍者への支援技術― ２０１５年３月２４日講演資料

しかしながら、従来の監視システムでは、歩行者アラームサーバとスマホが連動するためには、スマホに連動するためのアプリがインストールされて動作している必要があるため、現実的ではないという問題点があった。

特許文献１では、上述の監視システムと同様の問題点がある。
また、特許文献２では、単に撮影画像から人物の特徴点を抽出する技術を示したものとなっている。
非特許文献１も、歩きスマホを認識する技術が記載されている。

本発明は上記実情に鑑みて為されたもので、カメラで撮影した人物の動きを検出して、「ながら歩き」を判定し、警報を効果的に行う監視システムを提供することを目的とする。

上記従来例の問題点を解決するための本発明は、監視エリアにおいて複数のカメラとスピーカを備え、当該エリア内でスマートフォンの画面を見ながら歩行する「ながら歩き」を検出して警報する監視システムであって、カメラに接続し、カメラで撮影された映像データを入力して「ながら歩き」を検出する画像処理を行う画像処理装置を備え、当該画像処理装置が、カメラが可視光カメラである場合に、複数のカメラの映像データから人物を検出して当該人物の移動速度と移動方向を検出する処理と、人物における体の左右の動きを検出して腕が前方で固定されているか否かを判定する処理と、顔の向きによって下を向いていると判定する処理と、一定期間に人物の腕が前方で固定され、断続的に前向きと下向きの姿勢が繰り返される場合に「ながら歩き」と判定する処理と、「ながら歩き」と判定した場合にスピーカに警報を出力する処理とを実行することを特徴とする。

本発明は、監視エリアにおいて複数のカメラとスピーカを備え、当該エリア内でスマートフォンの画面を見ながら歩行する「ながら歩き」を検出して警報する監視システムであって、カメラに接続し、カメラで撮影された映像データを入力して「ながら歩き」を検出する画像処理を行う画像処理装置を備え、当該画像処理装置が、カメラが赤外線カメラである場合に、複数のカメラの映像データから人物を検出して当該人物の移動速度と移動方向を検出する処理と、人物における腕のエッジを検出して腕の動きから腕が前方で固定されているか否かを判定する処理と、人物の人体のパーツを検出して当該人体のパーツの中心点を抽出し、当該中心点を結線して体と首の結線と首と頭の結線による角度が前方に傾いている場合に、下を向いていると判定する処理と、一定期間に人物の腕が前方で固定され、断続的に前向きと下向きの姿勢が繰り返される場合に「ながら歩き」と判定する処理と、「ながら歩き」と判定した場合にスピーカに警報を出力する処理とを実行することを特徴とする。

本発明は、上記監視システムにおいて、画像処理装置が、監視エリアの映像データに対して事前に危険領域又は危険物を設定しておき、「ながら歩き」と判定した人物が危険領域又は危険物の方向に向かっている場合に、スピーカに危険領域又は危険物があることを警報する処理を実行することを特徴とする。

本発明は、画像処理装置が、カメラが可視光カメラである場合に、複数のカメラの映像データから人物を検出して当該人物の移動速度と移動方向を検出する処理と、人物における体の左右の動きを検出して腕が前方で固定されているか否かを判定する処理と、顔の向きによって下を向いていると判定する処理と、一定期間に人物の腕が前方で固定され、断続的に前向きと下向きの姿勢が繰り返される場合に「ながら歩き」と判定する処理と、「ながら歩き」と判定した場合にスピーカに警報を出力する処理とを実行する監視システムとしているので、「ながら歩き」を的確に検出して警報できる効果がある。

本発明は、画像処理装置が、カメラが赤外線カメラである場合に、複数のカメラの映像データから人物を検出して当該人物の移動速度と移動方向を検出する処理と、人物における腕のエッジを検出して腕の動きから腕が前方で固定されているか否かを判定する処理と、人物の人体のパーツを検出して当該人体のパーツの中心点を抽出し、当該中心点を結線して体と首の結線と首と頭の結線による角度が前方に傾いている場合に、下を向いていると判定する処理と、一定期間に人物の腕が前方で固定され、断続的に前向きと下向きの姿勢が繰り返される場合に「ながら歩き」と判定する処理と、「ながら歩き」と判定した場合にスピーカに警報を出力する処理とを実行する監視システムとしているので、「ながら歩き」を的確に検出して警報できる効果がある。

本発明は、画像処理装置が、監視エリアの映像データに対して事前に危険領域又は危険物を設定しておき、「ながら歩き」と判定した人物が危険領域又は危険物の方向に向かっている場合に、スピーカに危険領域又は危険物があることを警報する処理を実行する上記監視システムとしているので、「ながら歩き」の人物が危険領域又は危険物に近づくのを防止できる効果がある。

本発明の実施の形態に係る監視システムの構成概略図である。 腕の動き情報を利用した腕の固定判定の説明図である。 前方確認とスマホ注視を繰り返す動作の判定の説明図である。 カメラの種類によるイメージ図の違いを示す図である。 人体パーツ識別による姿勢推定の流れを示す図である。 危険領域と危険物の事前登録と警告例を示す図である。 ながら歩き検出のフローチャートである。 可視光カメラの場合のながら歩き検出フローチャートである。 赤外線カメラの場合のながら歩き検出フローチャートである。 ながら歩きの様子を示す図である。

本発明の実施の形態について図面を参照しながら説明する。［実施の形態の概要］
本発明の実施の形態に係る監視システムは、昼間においては複数の可視光カメラを用いて、撮影した複数の映像データから検出した人物の移動速度と移動方向、頭の傾き、腕が前方にあって固定されているか否かの情報を統合して「ながら歩き」を判定し、夜間においては複数の赤外線カメラを用いて、撮影した複数の映像データから人体パーツ識別と姿勢推定により頭の傾き度合いを検出し、検出した人物の移動速度と移動方向、腕が前方にあって固定されているか否かの情報を統合して「ながら歩き」を判定し、「ながら歩き」の人物の進行方向が、事前登録した危険領域、危険物に向かっている場合に、警報するものであり、これにより「ながら歩き」に対して効果的に警報を行うことができるものである。

［本監視システム：図１］
本発明の実施の形態に係る監視システムについて図１を参照しながら説明する。図１は、本発明の実施の形態に係る監視システムの構成概略図である。
本発明の実施の形態に係る監視システム（本監視システム）は、図１に示すように、画像処理装置１と、監視センター装置２と、複数のカメラ３と、ネットワーク４とから基本的に構成されている。

本監視システムでは、撮影現場（撮影エリア）に設置された複数のカメラ３がネットワーク４に接続され、更に画像処理装置１に接続している。
また、画像処理装置１は、監視センター装置２に接続している。
また、監視センター装置２は、図示していないが、撮影現場で音声出力するためのスピーカ（音声出力装置）に接続している。スピーカは、カメラ３の撮影エリアに応じて複数設置されている方が、警報をより的確に個別に行うことができるので効果的である。
尚、画像処理装置１と、監視センター装置２とを一体の装置で構成してもよい。

［本監視システムの各部：図１］
本監視システムの各部について具体的に説明する。
［画像処理装置１］
画像処理装置１は、ネットワーク４から伝送される映像データ（画像データ）を受信して入力する画像入力部１１と、入力された画像データの画像処理を行う画像処理部１２と、必要に応じて画像データ等を記憶する記憶部１３と、画像処理された画像データを監視センター装置２に出力する画像出力部１４とを基本的に有している。
画像処理部１２は、危険領域、危険物の事前登録のために、監視センター装置２の制御部２２からの指示が入力されるようになっている。

画像処理装置１は、カメラ３で撮影された映像データから人物の移動速度と移動方向、頭の傾き、腕が前方で固定であるか否かの情報を検出し、それらを統合して「ながら歩き」であるか否かを判定し、その人物の進行方向に予め登録された危険領域、危険物があれば、警報を行うものである。
尚、画像処理装置１における処理動作の詳細は後述する。

［監視センター装置２］
監視センター装置２は、画像処理装置１の画像出力部１４からの画像データを入力する画像入力部２１と、装置内の制御を行う制御部２２と、必要な情報を記憶する記憶部２３と、画像等を表示する表示部（モニタ）２４と、制御部２２に対して必要な指示を入力する入力部２５と、音声入力を行うマイク等の音声入力部２６と、音声データを外部の音声出力装置（スピーカ）に出力する音声出力部２７とを基本的に有している。

監視センター装置２は、画像処理装置１からの画像データ、警報情報に基づき、表示部２４に必要な画像を表示し、警報情報を表示する。警報には音を発生させるようにしてもよい。また、音声出力部２７から「ながら歩き」の人物にスピーカで音声による警告を出力する。
尚、監視センター装置２における処理動作の詳細は後述する。

［カメラ３］
カメラ３は、監視エリアに複数台設置され、撮影された映像データがネットワーク４を介して画像処理装置１に送信される。
各カメラ３には、固有のＩＤ（識別子）が付与され、送信される映像データにそのＩＤが付与されて画像処理装置１に送信される。画像処理装置１では、当該ＩＤによってどのカメラ３で撮影された映像データであるのかを判別している。
また、カメラ３には、昼間用として可視光カメラと、夜間用として赤外線カメラがある。

［ネットワーク４］
ネットワーク４は、複数のカメラ３から同時に映像データを伝送できる容量があるネットワークである。通常は、専用回線の社内ネットワークであるが、インターネットを用いてもよい。

［ながら歩き判定］
本監視システムの処理動作を説明する前に、カメラで撮影した映像データから人物の「ながら歩き」を判定する方法を説明する。
尚、カメラが可視光カメラの場合と（遠）赤外線カメラの場合では、人物の検出方法が異なる。

［可視光カメラの場合］
特許文献２の場合、撮影された映像データから検出対象の人物の歩行速度が一定であり、頭の傾き度合いが閾値以下、腕のエッジが体の前面にあるとの情報を統合して、「ながら歩き」を検出している。しかしながら、検出対象の人物の服装によっては、体前面のエッジが腕なのか服の柄なのかを判定するのが難しく、また、「ながら歩き」をする人物は常に下を向いていると定義しているが、不定期に前方を確認してスマホを見るという動作を繰り返すことがあり、「ながら歩き」を判定するのが難しい。

［腕の動き情報を利用：図２］
本監視システムにおける「ながら歩き」を判定する方法について図２、図３を参照しながら説明する。図２は、腕の動き情報を利用した腕の固定判定の説明図である。
「ながら歩き」をしている人物は、片手又は両手がスマホにより進行方向（前方）に固定されているため、歩行時に腕を振る動作がない。そこで、本監視システムの画像処理装置１では、図２に示すように、映像データから正面又は背面における人（実線の四角い枠）を検出した後に、体の左右の動き（腕の動き）情報（点線の２つの四角い枠）を検出する。

片腕の動きが小さい場合は、片手しか動いていないと判定し、両腕の動きが小さい場合は、両手とも動いていないと判定し、腕が固定されていると判定（腕の固定判定）する。
これにより「ながら歩き」の可能性があることになる。

［前方確認とスマホ注視の繰り返し動作：図３］
また、図３は、前方確認とスマホ注視を繰り返す動作の判定の説明図である。
図３に示すように、スマホを見るという動作に対しては、人の側面において時系列に頭の動きを捉えることで、「ながら歩き」を判定できる。具体的には、目、鼻、口などの顔パーツを検出して、顔の向きに基づいて下を向いていると判定する。
つまり、検出対象者の頭の傾き度合いを一定時間保持しておき、長い時間下を向いていて、不定期に短い時間で前を向いていると識別できる場合には、スマホの注視と前方確認を繰り返しているものとして「ながら歩き」と判定できる。

［赤外線カメラの場合］
可視光カメラでは、夜間や暗い場所では検出精度が低下する恐れがある。例えば、夜間の工事現場において作業員を監視し、設計図や電子端末を確認しながら歩いている状態に警告できれば、工事現場での重大事故を防げる可能性がある。そこで、暗い場所でも人物を検出できる赤外線カメラを使用する。
しかしながら、赤外線カメラは、可視光カメラとは異なり、色情報はなく人物の詳細なエッジを判断することは難しいため、可視光カメラの場合の画像処理をそのまま適用することはできない。

［カメラの種類によるイメージ図の違い：図４］
図４（ａ）には、可視光カメラで撮影したイメージ図を、図４（ｂ）には、赤外線カメラで撮影したイメージ図を示している。図４は、カメラの種類によるイメージ図の違いを示す図である。
赤外線カメラを用いる場合、検出対象者の服装にかかわらず腕のエッジは検出できるため、検出されたエッジから腕の位置と腕の部分の動きを測定し、腕の位置と腕の動きの大小により腕が前方で固定されているか否かの判定は可能である。また、対象者の検出が容易であるため歩行速度の検出も容易である。

［姿勢推定：図５］
赤外線カメラの場合、頭の傾き度合いの検出については、顔のパーツが捉えられなくなるため困難である。そこで、図５に示すような方法によって姿勢を推定し、頭の傾き度合いを判定する。図５は、人体パーツ識別による姿勢推定の流れを示す図である。
映像データから人を側面から検出した後に、図５に示すように、人体パーツを特徴量により検出し、各パーツの中心点を抽出してその中心点を結線することで人体の骨組みを作成する。この骨組みから対象人物の姿勢を推定する。

具体的には、体と首の結線と首と頭の結線とによって形成される角度を算出し、体と首の結線に対して首と頭の結線の角度が前方に傾いていれば下を向いており、体と首の結線に対して首と頭の結線の角度が傾いていなければ前を向いていると判定する。

以上のように、複数の可視光カメラ３を用いて、画像処理装置１は、映像データから人物の移動速度と移動方向を検出し、体の左右の動きを検出して腕が前方で固定されているか否かを判定し、頭の動きによって頭の傾き度合いから下を向いていると判定し、特に、一定期間に腕が前方で固定され、断続的に前向きと下向きの姿勢が繰り返される場合に「ながら歩き」と判定している。

また、複数の赤外線カメラ３を用いて、画像処理装置１は、映像データから人物の移動速度と移動方向を検出し、腕のエッジを検出して変化（腕の動き）の大小によって腕が前方で固定されているか否かを判定し、人体パーツの中心点を抽出してそれらを結線し、体と首の結線と首と頭の結線による角度が前方に傾いている場合に、下を向いていると判定し、特に、一定期間に腕が前方で固定され、断続的に前向きと下向きの姿勢が繰り返される場合に「ながら歩き」と判定している。
可視光カメラと赤外線カメラでは、下向きの姿勢を判定する処理が特に異なっている。

［危険領域と危険物の事前登録：図６］
次に、危険領域と危険物の事前登録について図６を参照しながら説明する。図６は、危険領域と危険物の事前登録と警告例を示す図である。
図６（ａ）に示すように、監視エリアの映像データに対して、画像処理装置１で、事前に危険領域と危険物を設定しておく。具体的には、監視センター装置２の表示部２４に映像データを表示させ、入力部２５によって危険領域と危険物を特定し、画像処理装置１の記憶部１３に設定して記憶させておく。

画像処理装置１は、カメラ３で撮影された映像データを解析して「ながら歩き」の人物を検出すると、その人物が危険領域の方向、危険物の方向に向かっている場合には、画像処理装置１の制御部１２が自動音声で現場のスピーカに警告を発する（警報する）ようにしている。
例えば、図６（ｂ）に示すように、自動音声で、危険領域に近づく場合は、「進入禁止エリアです」と警告し、危険物に近づく場合には、「衝突の危険があります」と警告するものである。

［動作：図１］
次に、本監視システムの動作について図１を参照しながら説明する。
監視対象のエリアには複数の可視光カメラ３、赤外線カメラ３が設置されており、それらカメラ３で撮影された映像データがネットワーク４を介して画像処理装置２に伝送される。

画像処理装置１の画像入力部１１では、映像データを受信し、画像処理部１２に出力する。画像処理部１２では、入力された映像データを記憶部１３に記憶し、可視光カメラ又は赤外線カメラによって撮影された映像データに対して、上述した画像処理を行い、「ながら歩き」を判定する。

そして、画像処理部１２は、「ながら歩き」と判定した映像データを画像出力部１４から監視センター装置２に出力する。
尚、画像処理装置１の画像処理部１２は、入力された映像データを、画像出力部１４を介して全て監視センター装置２に出力してもよいが、その場合に、「ながら歩き」の映像データを識別できる情報を付与して出力する。

監視センター装置２では、画像入力部２１が画像処理装置１の画像出力部１４から「ながら歩き」の映像データが入力されると、当該映像データを制御部２２に出力し、制御部２２が表示部（モニタ）２４に表示する。
更に、制御部２２は、当該「ながら歩き」の映像データに基づいて「ながら歩き」の対象者に向けて自動音声でその行為を停止するよう警報を発する。
それでも「ながら歩き」が止まない場合には、音声入力部（マイク）２６からの肉声が音声出力部２７から外部のスピーカに出力される。
尚、本監視システムにおいて、画像処理装置１が直接スピーカに警報を発するようにしてもよい。

また、監視センター装置２の入力部２５で、表示部２４に表示された映像データを参照しながら、危険領域、危険物を事前に登録処理が為されるとその指示が画像処理装置１の画像処理部１２に出力され、記憶部１３に登録される。
そして、画像処理部１２では、危険領域、危険物に「ながら歩き」の人物が近づいたと判定した場合に、音声出力部２７に自動音声を出力し、警報を発生させるようにすることができる。

警報は、カメラ３に応じて設けられたスピーカから、「ながら歩き」をしている人物に局所的に（スポットとして）伝達されるのが効果的で望ましい。
つまり、画像処理装置１又は監視センター装置２が、カメラ３に対応した指向性スピーカを対応付けて記憶しており、「ながら歩き」を検出したカメラ３に対応するスピーカに警報を出力する。

［ながら歩き検出フロー：図７］
次に、画像処理部１２における「ながら歩き」検出処理について図７を参照しながら説明する。図７は、ながら歩き検出のフローチャートである。
図７に示すように、画像処理部１２は、「ながら歩き」の検出を常時実施し、「ながら歩き」を検出した際には、監視センター装置２の表示部（モニタ）２４への表示とアラーム発報を実施する。

アラーム発報によっても、「ながら歩き」を止めない場合は、監視センター装置２の表示部２４に警報を表示し、音声入力部（マイク）２６での注意喚起を促し、その注意に基づいて警告を発声し、また、現場警備員が対応することになる。「ながら歩き」を検出しなくなったら、モニタ表示とアラーム発報を停止する。

具体的には、画像処理装置１の画像処理部１２では、コンピュータプログラムの動作によって、画像処理モードを実行し（Ｓ１）、その結果、「ながら歩き」か否かを判定する（Ｓ２）。「ながら歩き」でないと判定した場合（Ｎｏの場合）、処理Ｓ１に戻る。

判定処理Ｓ２で、「ながら歩き」と判定された場合（Ｙｅｓの場合）、自動音声によるアラーム発報の処理を行う（Ｓ３）。
更に、「ながら歩き」か否かを判定し（Ｓ４）、「ながら歩き」でないと判定した場合（Ｎｏの場合）には、アラームを停止して（Ｓ５）、処理Ｓ１に戻る。
「ながら歩き」と判定した場合（Ｙｅｓの場合）には、警告処理（Ｓ６）を行い、処理Ｓ１に戻る。

ここで、判定処理Ｓ４を行うためには、画像処理モード（Ｓ１）と同様の処理を行う必要があるが、図７では省略している。
また、警告処理（Ｓ６）では、監視センター装置２の表示部２４に警報を表示してマイクからの肉声での警報を促すものである。これにより、「ながら歩き」の人物に肉声で注意でき、また、現場の警備員が対処することになる。

［可視光カメラの場合のながら歩き検出フローチャート：図８］
次に、可視光カメラを用いて、「ながら歩き」の検出を行う画像処理（図７の画像処理モード）について図８を参照しながら説明する。図８は、可視光カメラの場合のながら歩き検出フローチャートである。
図８に示すように、まず、画像処理部１２は、カメラ映像から局所領域の特徴量を抽出し、学習した識別器（識別器については後述する）で判定を行うなどして人検出を行う（Ｓ１１）。人物が検出されない場合には、処理Ｓ１１を繰り返す。識別器は、人である確からしさ以外にも、撮影向き（姿勢）に関する情報を出力しうる。

人物が検出された場合、以降の処理は、画像全体ではなく人物を含む局所領域について行う。
局所領域の処理では、まず、検出した人物を時系列に追跡することで、移動速度と移動方向を算出する（Ｓ１２）。
そして、検出した人物の前面のエッジ情報を検出し（Ｓ１３）、体の左右の腕領域から動き情報を算出する（Ｓ１４）。図２に示したように、腕領域において所定量以上のエッジがあり左右どちらか又は両方のエッジの動きが小さい場合、腕を固定している何かを持っている可能性が高く、特にエッジから検出した腕の先端が胸又は顔に近い位置に相当する場合、前面で固定して何かを持っていると判定する。

次に、検出した人物の領域内で特徴量と識別器などで顔検出を行い、顔パーツの向きから頭の傾き度合いを算出する（Ｓ１５）。このとき、頭の傾き度合いを時系列に観測することで、各人物について下を向いている状態、又は不定期に下を向いている状態であるか否かを判定する。

最後に、算出した移動速度と方向、頭の傾き度合い、前面での腕の固定の有る無しの情報を統合し、「ながら歩き」か否かを判定して出力する（Ｓ１６）。
統合した情報の内、複数又は１つが「ながら歩き」の特徴と一致する場合、画像処理部１２は、アラームを発報することになる。
尚、「ながら歩き」を複数人について判定した場合は、各人物について警告してもよいし、まとめて警告してもよい。

［赤外線カメラの場合のながら歩き検出フローチャート：図９］
次に、赤外線カメラを用いて、「ながら歩き」の検出を行う画像処理（図７の画像処理モード）について図９を参照しながら説明する。図９は、赤外線カメラの場合のながら歩き検出フローチャートである。
図９に示すように、処理Ｓ２１から処理Ｓ２３の途中までは可視光カメラを用いる場合と同様である。

処理Ｓ２３では、局所領域において、エッジの検出だけでなく、後述するハフ変換等を用いてエッジ画像から直線（及び楕円）の抽出を行う。特に遠赤外線カメラの画像では、体温を帯びた人体のシルエット像を容易に得ることができ、特に頭部の輪郭を捉えられると期待できる。

そして、エッジ検出画像から、腕部分の動きを算出し（Ｓ２４）、腕が前面にあって動きが小さい場合には、腕を前面で固定して何かを持っていると判定する。
更に、人体パーツを識別し、姿勢推定を行う。具体的には、人体パーツを表わす直線等の両端点、若しくは中心点座標及び角度に基づいて、人体らしい形になるようにそれらを連結し、人体の骨組みを作成する。図５の例では、体（動体）の軸（首と、体の中心点を結ぶ線分）と、頭の軸（首と、頭の中心点を結ぶ線分）のなす角度を算出する。この角度が前方に傾いている場合、首のパーツが頭で隠れて検出されない場合、または、首のパーツが隠れて小さい場合には、下を向いていると判定する。

このとき、可視光カメラのときと同様に頭の動きを時系列に観測する。最後に、算出した移動速度と方向、頭の傾き度合い、前面での腕の固定の有る無しの情報を統合し、「ながら歩き」か否かを判定して出力する（Ｓ２６）。
統合した情報の内、複数又は１つが「ながら歩き」の特徴と一致する場合、画像処理部１２は、アラームを発報することになる。
尚、「ながら歩き」を複数人について判定した場合は、各人物について警告してもよいし、まとめて警告してもよい。

［具体的な検出、算出処理］
次に、人検出、移動速度と移動方向の算出、腕のエッジ算出、腕の動き量の算出、頭の傾き度合いの算出等に関する各処理について具体的に説明する。
［人検出］
人検出は、局所領域における特徴抽出と事前に学習した識別器を用いて実現する。特徴量には、ＨＯＧ（Histogram of Oriented Gradients）特徴量などエッジの勾配ヒストグラムを使用する方法などを用いることができる。学習には、教師あり学習を実行するための機械学習メタアルゴリズムの一種で、多くの場合、分布に従って弱い分類器に繰り返し学習させ、それを最終的な強い分類器の一部とするBoostingなどの教師有り学習を用いることができる。

検出処理のためには、事前に学習を行っておく必要がある。学習サンプルとして、自然画像から切り出した人の画像と人以外の背景をランダムに切り出して用意する。用意した学習サンプルの人の画像とポジティブサンプル、背景画像をネガティブサンプルとして学習させ識別器を作成する。
オンライン処理では、画角内を局所領域で走査し、特徴量を算出し識別器に入力する。このとき、人として判定された領域に対して、ながら歩きか否かの判定処理を実施する。

［移動速度と移動方向の算出］
対象人物の移動速度と移動方向の算出は、人検出により検出された領域をトラッキング技術で追跡することで求める。トラッキングには、テンプレートマッチングやアクティブ探索などの手法を用いることができる。トラッキングにより人を追跡し、追跡領域の中心点が１フレームあたり何ピクセル移動したかにより移動速度を算出できる。

そして、１フレーム前の中心点の座標と移動後の中心点の座標によりベクトルを求めて移動方向とする。本処理を逐次１０フレーム程度の単位で実施し、移動速度と移動方向を算出する。

［腕のエッジ算出］
腕のエッジが体の前面にあるかの判定は、まず人検出領域においてエッジ検出をする。エッジ検出にはcanny法やソーベルフィルタをかけることで実現できる。
canny法は、Gaussianフィルタで画像を平滑化し、平滑化された画像の微分を計算し、微分した結果から勾配の大きさと方向の計算し、Non maximum Suppression処理をし、Hysteresis Threshold処理をして、エッジ検出を行う。
ソーベル（sobel）フィルタは、空間１次微分を計算し、輪郭を検出するフィルタである。

エッジ検出をした後、ハフ（Hough）変換などを用いて直線検出を行う。可視光画像の場合、人検出領域の中心付近で２本の直線（線分）が水平に存在していれば腕が前面にあると判定する。胴体等の腕以外の人体パーツも、同様に検出される。ハフ変換で検出された直線の両端は必ずしも正確でないが、２直線が平行に存在する区間の中心付近を、人体パーツの（仮の）中心点として抽出することができる。また、１つの人体パーツから複数の直線等が冗長に検出されている可能性があるので、必要に応じそれらを集約する。
人検出領域は１つの人影を含んでいると仮定すると、所定の人体モデルに基づき、制約付きで線分や楕円の検出を行うことができる。例えば頭部は、局所領域内の上寄りの位置で、局所領域に比例する所定のサイズを有するものとして、探索され得る。首の位置は、頭部を楕円として検出する方法では、頭の長軸と体の軸の交点として定義できる。頭部を検出しない方法では、人影エッジの最上点を頭頂部として、頭と体（動体）の合計長さを適当な比率で分割することで、体軸上の首位置を推定する。首の角度は、様々な方法で算出でき、例えば首位置から最も遠い頭部エッジへ伸びる半直線が、体軸となす角度としても算出されうる。
尚、エッジ検出の方法に依らず、背景差分等で抽出した人物のシルエット（２値画像）に対して、モフォロジー演算の一種である浸食を繰り返し施して細線化する、スケルトン処理を用いてもよい。

［腕の動き量の算出］
腕の動き量は、人検出領域において腕領域とする領域を左右に定義し、それぞれ左右の腕領域において動き情報を算出することで求める。動き情報には、算出した特徴点のフレーム間のベクトルから求めるオプティカルフローなどを用いることができる。
オプティカルフローは、デジタル画像中の物体の動きを「ベクトル」で表したもので、主に移動物体の検出や、その動作の解析などによく用いられる。
人検出領域中の左右の腕領域において、動き情報が小さいときは腕を振っておらず何かを持って固定されていると判断できる。
動き量の算出は、オプティカルフロー法に限定されず、動きを検出する周知のあらゆる技術が用いられうる。

［頭の傾き度合いの算出：可視光カメラの場合］
可視光カメラを用いて頭の傾き度合いを求める際は、人検出領域の中から顔検出を行い、顔のパーツの位置で顔方向を算出する。
顔検出にはHaar-like検出器などを用いることができる。

Haar-likeは、顔認識等で用いる手法で、独自でサンプル画像をたくさん用意して学習させることで、任意のオブジェクトを見つけることができる Haar-likeを用いる場合、同時に目の位置も求めることができるため、両目の位置が顔領域の一定ラインよりも下にあるときは下を向いていると判定できる。

［頭の傾き度合いの算出：学習器を用いる例］
赤外線カメラを用いて頭の傾き度合いを求める際は、上述したように人検出領域の中から人体パーツ識別を行い、各パーツの中心点を抽出し、その中心点をつなぎ合わせた人体の骨組みを作成することで姿勢を推定して算出する。

まず、オフライン処理として赤外線カメラで撮影した人の画像を用意し、人体パーツごとにラベル付けを行う。そして、Randam Forestなどの学習器を使用して人体パーツを学習する。このとき、局所領域内のランダムな２点の画素値差分などが特徴量として用いることができる。
Randam Forestは、機械学習のアルゴリズムであって、分類、回帰、クラスタリングに用いられ、決定木を弱学習器とする集団学習アルゴリズムであり、ランダムサンプリングされたトレーニングデータによって学習した多数の決定木を使用する。

オンライン処理では、人検出領域の中で局所領域を走査し学習した識別器により人体パーツ識別を行う。次に識別した人体パーツそれぞれにおいて中心点を算出し、各パーツを人体の関係に基づき結線する。この骨組みにより、人体の姿勢を推定することができる。
体パーツと首パーツの中心点と頭パーツの中心点の角度が前方に傾いていれば下を向いていると判定できる。また、人体パーツ識別をしたときに首パーツの識別数が少ないときは、下を向いたことにより首が隠れている判定することができる。

［危険領域、危険物の登録］
監視カメラの画角内に侵入すると危険な領域や衝突すると危険な物体が存在する場合、事前にその物体を登録することができる。インタフェース画面では、対象領域をマウスで囲むように選択することで登録が完了する。ながら歩きを検出し、進行方向に登録領域がある場合は警告を発報することができる。

［実施の形態の効果］
本監視システムによれば、画像処理装置１が、カメラ３が可視光カメラである場合に、複数のカメラの映像データから人物を検出して当該人物の移動速度と移動方向を検出し、人物における体の左右の動きを検出して腕が前方で固定されているか否かを判定し、顔の向きによって下を向いていると判定し、一定期間に人物の腕が前方で固定され、断続的に前向きと下向きの姿勢が繰り返される場合に「ながら歩き」と判定し、「ながら歩き」と判定した場合にスピーカに警報を出力するようにしているので、「ながら歩き」を的確に検出して警報できる効果がある。

本監視システムによれば、画像処理装置１が、カメラ３が赤外線カメラである場合に、複数のカメラの映像データから人物を検出して当該人物の移動速度と移動方向を検出し、人物における腕のエッジを検出して腕の動きから腕が前方で固定されているか否かを判定し、人物の人体のパーツを検出して当該人体のパーツの中心点を抽出し、当該中心点を結線して体と首の結線と首と頭の結線による角度が前方に傾いている場合に、下を向いていると判定し、一定期間に人物の腕が前方で固定され、断続的に前向きと下向きの姿勢が繰り返される場合に「ながら歩き」と判定し、「ながら歩き」と判定した場合にスピーカに警報を出力するようにしているので、「ながら歩き」を的確に検出して警報できる効果がある。

本監視システムによれば、画像処理装置１が、監視エリアの映像データに対して事前に危険領域又は危険物を設定しておき、「ながら歩き」と判定した人物が危険領域又は危険物の方向に向かっている場合に、スピーカに危険領域又は危険物があることを警報するようにしているので、「ながら歩き」の人物が危険領域又は危険物に近づくのを防止できる効果がある。

本発明は、カメラで撮影した人物の動きを検出して、「ながら歩き」を判定し、警報を効果的に行う監視システムに好適である。この出願は、２０１６年９月２８日に出願された日本出願特願２０１６−１８９１７３を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。

１...画像処理装置、 ２...監視センター装置、 ３...カメラ、 ４...ネットワーク、 １１...画像入力部、 １２...画像処理部、 １３...記憶部、 １４...画像出力部、 ２１...画像入力部、 ２２...制御部、 ２３...記憶部、 ２４...表示部、 ２５...入力部、 ２６...音声入力部、 ２７...音声出力部

Claims (3)

1. 監視エリアにおいて複数のカメラとスピーカを備え、当該エリア内でスマートフォンの画面を見ながら歩行する「ながら歩き」を検出して警報する監視システムであって、
   前記カメラに接続し、前記カメラで撮影された映像データを入力して前記「ながら歩き」を検出する画像処理を行う画像処理装置を備え、
   当該画像処理装置は、前記カメラが可視光カメラである場合に、複数の前記カメラの映像データから人物を検出して当該人物の移動速度と移動方向を検出する処理と、前記人物における体の左右の動きを検出して腕が前方で固定されているか否かを判定する処理と、顔の向きによって下を向いていると判定する処理と、一定期間に前記人物の腕が前方で固定され、断続的に前向きと下向きの姿勢が繰り返される場合に「ながら歩き」と判定する処理と、「ながら歩き」と判定した場合に前記スピーカに警報を出力する処理とを実行することを特徴とする監視システム。
2. 監視エリアにおいて複数のカメラとスピーカを備え、当該エリア内でスマートフォンの画面を見ながら歩行する「ながら歩き」を検出して警報する監視システムであって、
   前記カメラに接続し、前記カメラで撮影された映像データを入力して前記「ながら歩き」を検出する画像処理を行う画像処理装置を備え、
   当該画像処理装置は、前記カメラが赤外線カメラである場合に、複数の前記カメラの映像データから人物を検出して当該人物の移動速度と移動方向を検出する処理と、前記人物における腕のエッジを検出して腕の動きから腕が前方で固定されているか否かを判定する処理と、前記人物の人体のパーツを検出して当該人体のパーツの中心点を抽出し、当該中心点を結線して体と首の結線と首と頭の結線による角度が前方に傾いている場合に、下を向いていると判定する処理と、一定期間に前記人物の腕が前方で固定され、断続的に前向きと下向きの姿勢が繰り返される場合に「ながら歩き」と判定する処理と、「ながら歩き」と判定した場合に前記スピーカに警報を出力する処理とを実行することを特徴とする監視システム。
3. 画像処理装置は、監視エリアの映像データに対して事前に危険領域又は危険物を設定しておき、「ながら歩き」と判定した人物が前記危険領域又は前記危険物の方向に向かっている場合に、スピーカに前記危険領域又は前記危険物があることを警報する処理を実行することを特徴とする請求項１又は２記載の監視システム。

Images