JP7248040B2 - 監視装置、監視方法、およびプログラム - Google Patents

Description

本発明は、監視装置、監視方法、および記録媒体に関し、例えば、監視カメラにより撮影された映像を解析して、警備員または他の人物による監視エリア内の監視をサポートする監視装置に関する。

監視エリアを警備員が監視する場合に、例えば、監視カメラが監視エリアを撮影した映像を警備員がモニタリングする監視と、警備員が監視エリア内を巡回することによって行う監視とが併用される。

図１３は、特許文献１に記載された、監視システム１０００を説明する図である。図１３に示すように、特許文献１に記載の監視システム１０００は、監視カメラの視野内に障害物による死角が生じているとき、その死角に人物が進入したことを検出し、その旨を報知する。これにより、監視システム１０００を利用する、例えば警備員は、監視カメラにより撮影された映像内の死角にいる不審人物を発見できる。

国際公開第２０１６／１４７７０４号 特開２０１１－０４８７３６号公報 特開２００９－２５１７６１号公報 国際公開第２０１０／１３１３３１号

警備員の視線や顔の向きによって、警備員の死角が変化し、これに伴って、警備員の視野から外れた領域が生じ得る。特許文献１に記載の先行技術では、警備員の視野が考慮されず、したがって警備員の視野から外れた死角を検出することができないから、警備員の死角にいる不審人物または、警備員の死角で発生した不審行動を見逃す可能性がある。

特許文献２から４には、監視システムに関して、警備員の視野から外れた領域を提示することは開示されていない。

本発明は、監視の行き届かない領域を提示することを主要な目的とする。

上記の課題を解決するために、本発明の一態様に係わる監視装置は、画像から人物を検出する検出手段と、検出した前記人物が視認した領域を推定する推定手段と、推定した前記領域に基づいて、監視エリア内の要注意領域を判定する判定手段と、判定された前記要注意領域を示す情報を提示する提示手段とを備えている。

上記の課題を解決するために、本発明の一態様に係わる監視方法は、画像から人物を検出し、検出した前記人物が視認した領域を推定し、推定した前記領域に基づいて、監視エリア内の要注意領域を判定し、判定された前記要注意領域を示す情報を提示することを含む。

上記の課題を解決するために、本発明の一態様に係わる記録媒体は、画像から人物を検出することと、検出した前記人物が視認した領域を推定することと、推定した前記領域に基づいて、監視エリア内の要注意領域を判定することと、判定された前記要注意領域を示す情報を提示することと、をコンピュータに実行させるプログラムが格納される。

本発明の一態様によれば、監視の行き届かない領域を提示することができる。

実施形態１に係わる監視システムの構成の一例を示すブロック図である。 実施形態１に係わる監視システムが備える画像処理装置の構成の一例を示すブロック図である。 実施形態１に係わる画像処理装置が実行する処理の流れを示すフローチャートである。 人物の視線を判定する方法の一例を説明する図である。 死角領域の一例を説明する図である。 死角領域の別の一例を説明する図である。 死角領域のさらに別の一例を説明する図である。 死角領域の提示の一例を説明する図である。 死角領域の提示の一例を説明する図である。 死角領域の提示の一例を説明する図である。 死角領域の提示の一例を説明する図である。 死角領域の提示の一例を説明する図である。 実施形態１に係わる監視システムの監視モニタの一例を示す図である。 実施形態２に係わる、小型カメラを備えたアイウェア型の装置の一例を示す図である。 実施形態２に係わる、小型カメラを備えたキャップ型の装置の一例を示す図である。 実施形態４に係わる監視装置の構成の一例を示すブロック図である。 実施形態５に係わる装置のハードウェア構成を示す図である。 関連技術を説明する図である。

（実施形態１）
図１から図９を参照して、本発明の実施形態１について以下に説明する。

（監視システム１）
図１は、本実施形態１に係わる監視システム１の構成を示すブロック図である。監視システム１は、例えばイベント会場、遊技場、行楽地、または公共の場所の監視のために使用される。図１に示すように、監視システム１は、監視カメラ１０と、画像処理装置２０と、（警備員用の）無線端末３０と、監視モニタ４０とを含む。画像処理装置２０は、監視装置の一例である。

監視カメラ１０は、１台又は複数台であってよい。監視カメラ１０の向きは、固定されていてもよいし、可動であってもよい。監視カメラ１０は、監視対象である空間（監視エリアと呼ぶ）を撮影する。本実施形態に係わる監視カメラ１０は、動画を撮影可能である。監視カメラ１０は、撮影した映像（動画を含む）のデータを、画像処理装置２０および監視モニタ４０へ送信する。

画像処理装置２０は、監視カメラ１０が撮影した映像を解析して、解析結果を監視モニタ４０に出力する。具体的には、画像処理装置２０は、後述するフローにしたがって、人物の視野から外れた監視エリア内の領域（以下、死角領域と呼ぶ）を推定する。死角領域は、要注意領域の一例であって、人物が視認していない領域に含まれる。ここでの視野とは、人物が視認可能な領域を示す。

画像処理装置２０は、死角領域を示す情報を、無線または有線で、監視モニタ４０に送信する。また画像処理装置２０は、死角領域内に入った人物または放置された物体を検知する機能を備え、そのような人物または物体を検知したとき、無線通信によって、その検知に係る情報を無線端末３０に報知する。なお、画像処理装置２０が実行する処理の詳細な説明は後述する。

無線端末３０は無線通信機能を備えており、画像処理装置２０と無線通信を行うことができる。無線端末３０は、例えばトランシーバであってもよい。無線端末３０は、警備員により所持または装着される。警備員は、撮像装置をさらに所持または装着していてもよい。あるいは、無線端末３０が撮像部を備えていてもよい。この場合、撮像装置または撮像部が撮影した映像のデータは、無線通信によって、画像処理装置２０を介して、監視モニタ４０へ送信される。

監視モニタ４０は、監視カメラ１０と常時接続しており、監視カメラ１０が撮影した映像をリアルタイムで表示する。また監視モニタ４０は、警備員が所持または装着した撮像装置が撮影した映像も表示する。通常、警備員に対する指令を行う人物（指令者と呼ぶ）が、監視モニタ４０に表示される監視エリアの映像を注視している。

（画像処理装置２０）
図２は、画像処理装置２０の構成を示すブロック図である。図２に示すように、画像処理装置２０は、機能部として、人物検出部２１、視線判定部２２、視野推定部２３、死角領域判定部２４、および提示部２８を備えている。さらに、提示部２８は、報知部２５と表示制御部２６とを備える。人物検出部２１は、検出手段の一例である。視野推定部２３は、推定手段の一例である。死角領域判定部２４は、判定手段の一例である。提示部２８は、提示手段の一例である。

以下で、画像処理装置２０が実行する処理（以下では死角領域判定処理と呼ぶ）の一例を説明する。それとともに、図２に示す画像処理装置２０の各機能部が、それぞれ実行する動作例も説明する。

（死角領域判定処理）
図３を参照して、画像処理装置２０の各機能部の動作とともに、画像処理装置２０が実行する死角領域判定処理の流れを説明する。図３は、死角領域判定処理の流れを示すフローチャートである。

図３に示すように、画像処理装置２０の人物検出部２１は、監視カメラ１０が撮影した映像（ここでは動画とする）のデータを取得する（Ｓ１）。

そして人物検出部２１は、取得した映像を構成する複数の画像（フレーム画像）から、人物の領域を検出し、さらに、画像中の人物の領域から、人物の顔の領域を検出する（Ｓ２）。

視線判定部２２は、人物検出部２１が画像から抽出した人物の顔の領域から、例えば、人物の瞳を検出する。加えて、視線判定部２２は、人物検出部２１が検出した人物の顔の向きも判定する。視線判定部２２は、人物の顔の向きと、目の中における瞳の位置とから、視線の向きを計算する（Ｓ３）。

図４は、人物の視線を判定する方法の一例を示す。本実施形態において、視線判定部２２は、監視カメラ１０により撮影された人物を含む撮影画像において、人物検出部２１が検出した人物の顔の画像領域から、人物の目の領域を抽出する。そして、視線判定部２２は、アイトラッキング技術を用いて、人物の視線を判定する。ここで利用するアイトラッキング技術は限定されず、その説明を省略する。なお、視線判定部２２は、監視カメラ１０とは異なる第２のカメラが撮影した人物の画像を用いて、人物の視線の向きを判定することもできる（実施形態２参照）。

視野推定部２３は、視線判定部２２が判定した人物の視線および顔の向きから、人物の視野を推定する（Ｓ４）。より詳細には、視野推定部２３は、人物の視線、顔の向き、および予め与えられる人物の視野を表す角度情報に基づいて、人物検出部２１により検出された人物の視野を推定する。視野とは人物が目で見える範囲を表す。

本実施形態では、画像処理装置２０が予め記憶している人物の視野を表す角度情報（以下、視野角度情報と呼ぶ）は、一般的な人物の視野の角度情報（例えば水平方向に約１８０度、上下方向に約６０度）である。

死角領域判定部２４は、監視エリア内において、視野推定部２３が推定した人物の視野から外れた領域を判定する（Ｓ５）。このとき、死角領域判定部２４が判定した領域を、死角領域と称する。なお、死角領域は、人物の視野から外れた領域だけに限定されない。死角領域のいくつかの例を後で説明する。

表示制御部２６は、死角領域判定部２４が判定した死角領域を示す情報を、監視モニタ４０に表示する（Ｓ６）。なお死角領域の提示の一例を後で示す。画像処理装置２０の報知部２５は、監視エリア内に死角領域があることを、警備員が所持または装着した無線端末３０に通知し、無線端末３０に報知してもよい。以上で、死角領域判定処理は終了する。

以上のように、画像処理装置２０は、監視カメラ１０から取得した画像を解析することによって、死角領域を判定し、死角領域の情報を監視モニタ４０に表示する。監視モニタ４０を見ている人物、例えば指令者は、死角領域内に不審人物や不審物がないかどうか、監視モニタ４０を注視して確認したり、警備員に対して、死角領域を確認するように指示したりすることができる。これにより、死角領域内における事件や事故を抑制する効果があると考えられる。

（死角領域判定処理の変形例１）
一変形例では、図３におけるステップＳ２（人物の顔の検出）において、人物検出部２１は、監視カメラ１０が撮影した画像を用いて、任意の人物ではなく、特定の人物（警備員）の顔を認識する。警備員は、監視エリア内を巡回して、事件または事故などの事案が発生していないかどうかを確認する人物である。

本変形例では、人物検出部２１は、画像処理装置２０が記憶する警備員の顔画像と、監視カメラ１０が撮影した画像から検出した人物の顔とを照合する。照合に失敗した場合、すなわち人物検出部２１が画像から検出した人物が警備員ではない場合、人物検出部２１は、図３におけるステップＳ２の処理を繰り返す。

一方、照合に成功した場合、死角領域判定処理は、図３におけるステップＳ３へ進む。本変形例におけるステップＳ３以降のフローは、図３に示すとおりである。すなわち、警備員の死角領域を判定して、判定した死角領域を監視モニタ４０に表示する。

本変形例の構成によれば、警備員の死角領域が監視モニタ４０に表示される。したがって、監視モニタ４０を注視する指令者は、警備員による監視の行き届かない領域を簡単に知ることができる。そして、指令者は、警備員に対し、適切な指令を行うことができる。

（死角領域判定処理の変形例２）
別の変形例では、図３におけるステップＳ５（死角領域の判定）の後、死角領域判定部２４が、所定時間を越えて人物（例えば警備員）の視野に入らない領域が存在すると判定した場合、死角領域判定部２４は、報知部２５に対し、報知を指示する。死角領域判定部２４からの指示を受けた報知部２５は、警備員が所持する無線端末３０に対し、警報を行う。これにより、警備員は、視認すべき領域があることを知ることができる。

（死角領域判定処理の変形例３）
さらに別の変形例では、図３におけるステップＳ４（人物の視野の推定）において、視野推定部２３は、人物検出部２１が検出した人物が頭部または肩に所持または装着した、図示しないジャイロセンサなどの慣性センサまたは方位センサを用いて、人物の顔の向きを検出してもよい。例えば、予め基準となる方向を定めておき、慣性センサにより取得された値と、基準となる方向の情報とに基づいて、人物の顔が基準の方向から動いた方向を算出することにより、人物の顔の向きを検出してもよい。この場合、視野推定部２３は、視線の向きは顔の正面であると推定する。視野推定部２３は、こうして推定した視線の向き、および一般的な人間の視野角度情報に基づいて、人物の視野を推定する。

本変形例では、視線判定部２２は、人物の視線の向きを判定する必要がない。

（死角領域判定処理の変形例４）
さらに別の変形例では、図３におけるステップＳ４（人物の視野の推定）において、視野推定部２３は、人物検出部２１が検出した人物の動線に基づいて、人物が視認した領域を推定する。

本変形例では、人物検出部２１は、追跡部２９を含む。すなわち、人物検出部２１は、追跡部２９の機能によって、図３におけるステップＳ２において、人物の画像領域を検出し、検出した画像領域内の人物を追跡する。追跡部２９は、追跡手段の一例である。そして、人物検出部２１は、人物の追跡結果（動線情報を含む）を、視野推定部２３へ送出する。視野推定部２３は、人物の位置付近の所定の領域を、その人物の視野と推定する。

本変形例では、人物が移動するにしたがって、その人物の視野も移動する。

本変形例でも、図３におけるステップＳ３（人物の視線の判定）は省略される。すなわち、本変形例では、視線判定部２２は、人物の視線や顔の向きを判定する必要がない。

（死角領域の例）
上述した死角領域の例を、以下にいくつか挙げて説明する。

（死角領域の具体例１）
図５は、死角領域の一例を示す図である。人物は、人物の視線の向きを中心として、左右の両側に、それぞれ約５０度までの領域を視認できる。人物が視認可能な領域を、人物の視野と呼ぶ。図５に示す例では、監視エリア内において、人物の前方に広がる領域Ｖ_１（図５におけるハッチングされていない領域）が、人物の視野を表している。図５において、ハッチングで示した領域Ｄ_１が、本例での死角領域である。また、人物を囲む矩形の枠線Ａが、監視エリアを表している。すなわち、監視エリア内において、人物の視野から外れた領域（図５のハッチング領域）が、本例での死角領域である。

（死角領域の具体例２）
図６は、死角領域の別の例を示す図である。図６に示す例では、図５に示す例と同様に、人物を囲む矩形の枠線Ａが、監視エリアを表している。そして、図６における、人物の視野から外れた領域Ｄ_２が第１の死角領域であり、ハッチングされていない領域Ｖ_２が人物の視野である。加えて、図６に示す例では、障害物によって人物の視線が遮られることにより、人物から不可視になっている領域Ｄ_３が、第２の死角領域である。第１の死角領域Ｄ_２および第２の死角領域Ｄ_３も、要注意領域の一例であって、人物が視認していない領域に含まれる。

画像処理装置２０の死角領域判定部２４は、例えば、監視カメラ１０が撮影した映像から、監視エリア内または人物の視野内にある物体、すなわち障害物を検出する。そして、死角領域判定部２４は、障害物によって人物の視線から遮蔽されている領域を、図６に示す第２の死角領域Ｄ_３として判定する。

（死角領域の具体例３）
図７は、死角領域のさらに別の例を示す図である。図７に示す例では、一点鎖線で囲まれる領域Ｖ_３は、人物の視野を表し、二点鎖線で囲まれる領域Ｖ_４は、監視カメラ１０の視野を表す。人物の視野外であって、かつ監視カメラ１０の視野外でもある領域Ｄ_４が死角領域である。換言すれば、人物からも、監視モニタ４０を注視する指令者等（図９参照）からも視認できない領域が、本例での死角領域である。

本例において、画像処理装置２０の死角領域判定部２４は、例えば、監視カメラ１０の設置態様に応じて定まる監視カメラ１０の向きの情報が、監視カメラ１０に予め与えられており、その情報を監視カメラ１０から取得して、取得した情報に基づいて、監視カメラ１０の視野を判定する。そして、死角領域判定部２４は、人物の視野から外れた領域であって、かつ監視エリアを撮影する監視カメラ１０の視野からも外れた領域を、死角領域として判定する。

（死角領域の提示の具体例１）
図８Ａから図８Ｅを参照して、表示制御部２６による死角領域の提示の具体例を説明する。図８Ａから図８Ｅは、表示制御部２６が表示装置の画面に表示させる監視エリアのマップを示している。表示装置は、監視モニタ４０であってもよいし、図示しない別の表示装置であってもよい。例えば、監視エリア内を巡回する人物（警備員）が所持する表示デバイスに、図８Ａから図８Ｅに示される画面が表示される。

本例では、人物が監視エリア内で移動することによって、死角領域が変化してゆく。このとき、人物の視野に入った領域は、その後に人物の視野から外れても、所定の時間内であれば死角領域として提示されない。図８Ａから図８Ｅは、この順に時系列で並んでいる。図８Ａから図８Ｅでは、死角領域をハッチングによって示している。また、障害物を塗りつぶされた領域で示している。なお、図８Ａから図８Ｅにおける人物の視野と障害物と死角領域との関係は一例である。本例で示す人物の視野は一例であり、これに限らない。

図８Ａでは、人物が監視エリアの図面左下にいる。図８Ａ中の矢印は、人物の視線を表す。人物は、監視エリアの図面左上側を見ている。このときの死角領域は、監視エリアの図面左側を除いたハッチングされた領域Ｄ_５である。

図８Ｂでは、人物が監視エリアの図面左下に留まっている。図８Ｂ中の矢印は、図面右側を向いている。すなわち、人物は、監視エリアの図面右下を見ている。このときの死角領域は、監視エリアの中央部および図面右上のハッチングされた領域Ｄ_６である。

図８Ｃでは、人物が監視エリアの中央部の図面上側に移動している。図８Ｃに矢印で示すように、人物は、監視エリアの図面右上を見ている。このときの死角領域は、監視エリアの中央部および図面右側のハッチングされた領域Ｄ_７である。

図８Ｄでは、人物が視線を監視エリアの中央部の図面下側に向けている。このときの死角領域は、監視エリアの図面右側のハッチングされた領域Ｄ_８である。

図８Ｅでは、人物が監視エリアの図面右上を通って、監視エリアの図面右下に移動している。死角領域は残っていない。

本例において、画像処理装置２０の人物検出部２１は、人物を追跡する。所定時間ごと、あるいは視線の向きが変わるごとに、視線判定部２２は、追跡されている人物のリアルタイムの視線の向きを計算する。視野推定部２３は、視線判定部２２が人物の視線の向きを計算するたびに、追跡されている人物の視野を推定する。

死角領域判定部２４は、視野推定部２３が推定した人物の視野に基づいて、人物の追跡開始時点以降の所定の時間内で、追跡されている人物が視認していない領域を判定する。死角領域判定部２４は、判定した、実空間における、追跡されている人物が視認していない領域を、監視エリアのマップ内での領域の死角領域として変換する。

表示制御部２６は、死角領域判定部２４が監視エリアのマップ内での領域に変換した死角領域の情報に基づいて、例えば、図８Ａから図８Ｅに示す画面を生成して、人物が所持する表示デバイスに表示させる。これにより、人物は、表示デバイスに表示された図８Ａから図８Ｅの画面を確認することによって、自分がまだ視認していないエリア、すなわち死角領域を簡単に把握することができる。

（死角領域の提示の具体例２）
図９は、本実施形態に係わる監視モニタ４０の一例を示す図である。図９に示すように、本実施形態に係わる監視モニタ４０は、例えば、複数の表示部で構成されている。また、複数の監視カメラ１０が監視エリアを互いに異なる方向から撮影している。監視モニタ４０のそれぞれの表示部は、互いに異なる監視カメラ１０から受信する映像をリアルタイムで同時に表示している。しかしながら、監視モニタ４０は、ただ一つの表示部を備えていてもよい。この場合、監視モニタ４０は、複数の監視カメラ１０から受信する映像を順番に表示してもよい。本例では、監視モニタ４０には、複数の表示部により監視エリアの全体が表示されているとする。

上述した具体例１で説明したように、死角領域判定部２４は、視野推定部２３が推定した人物の視野に基づいて、まだ人物の視野に入っていない領域を死角領域として判定する。死角領域判定部２４は、判定した実空間での死角領域を、画面表示されている監視エリアのマップ内での死角領域に変換する。

死角領域判定部２４は、表示部と当該表示部により表示される監視エリアのマップ内の部分領域との関係に基づいて監視エリアのマップ内での死角領域と対応する表示部を特定する。換言すれば、死角領域判定部２４は、監視モニタ４０が表示している画像全体のうちで、死角領域を映している画像領域を特定する。

表示制御部２６は、死角領域判定部２４が特定した死角領域を映している画像領域を、他の画像領域よりも目立つ様態でまたは強調させて、監視モニタ４０に表示させる。図９では、死角領域を映している画像領域が、発光または点滅によって、強調されている。

指令者は、監視モニタ４０を見ることによって、監視エリア内で死角領域が発生していることに容易に気付くことができる。指令者は、図示しない通信装置を用いて、警備員の無線端末３０と連絡を取り、死角領域をすぐに確認するように、監視エリア内またはその近傍にいる警備員に対して、指示することができる。

〔実施形態２〕
本発明の別の実施形態について、以下で説明する。

本実施形態２では、プールまたは遊泳場など、監視員によって常時監視されている状況で、監視システムが使用される場合について説明する。本実施形態２に係わる監視システムの基本的な構成は、図１に示す前記実施形態１に係わる監視システム１と同じである。

（実施形態２の監視システム１）
本実施形態２では、プールまたは遊泳場の監視員が、無線通信機能を備えたキャップ型またはアイウェア型の装置５０ａ、５０ｂ（図１０Ａ，図１０Ｂ参照）を装着している。

図１０Ａおよび図１０Ｂに示すように、キャップ型またはアイウェア型の装置５０ａ、５０ｂは、小型カメラ５１を備えている。小型カメラ５１は、キャップ型またはアイウェア型の装置５０ａ、５０ｂを装着した監視員の顔に向いている。画像処理装置２０の視線判定部２２（図２参照）は、装置５０ａ、５０ｂから、監視員の目およびその周辺を撮影した画像を取得する。そして、視線判定部２２は、アイトラッキング技術を用いて、監視員の視線を判定する。

視野推定部２３は、前記実施形態１と同様に、監視員の視線に基づいて、監視員の視野を推定する。死角領域判定部２４も、前記実施形態１と同様に、監視員の視野に基づいて、監視員の視野から外れた死角領域を判定する。死角領域判定部２４は、判定した死角領域の情報を、報知部２５へ送出する。

報知部２５は、監視カメラ１０が撮影した映像から、遊泳者を検出する。そして、報知部２５は、死角領域判定部２４が判定した死角領域内に遊泳者がいる場合に、監視員に対して警報する。

（実施形態２の効果）
本実施形態に構成によれば、死角領域内にいる遊泳者を監視員に気付かせることができるので、プールまたは遊泳場において水難事故が発生する可能性を低減することができる。

（前記実施形態１への適用例）
本実施形態２で説明した人物の視線の判定方法を、前記実施形態１に適用することが可能である。すなわち、図３に示す死角領域判定処理のステップＳ３（人物の視線の判定）において、視線判定部２２は、監視カメラ１０が撮影した画像の代わりに、人物が装着したキャップ型やアイウェア型の装置５０ａ、５０ｂに取り付けられた小型カメラ５１が撮影した画像を用いて、その人物の視線を判定してもよい。

〔実施形態３〕
本発明の別の実施形態について、以下で説明する。

本実施形態３では、監視システムが小売店で使用される場合について説明する。本実施形態３に係わる監視システムの基本的な構成は、図１に示す前記実施形態１に係わる監視システム１と同じである。

本実施形態３では、画像処理装置２０の人物検出部２１は、監視エリアである店内にいる店員を検出する。視野推定部２３は、店内の部分領域あたりの店員の人数の密度（以下、店員の密度と称する）を計算して、店員の密度が閾値よりも高い領域を、店員に視認されたと推定する。死角領域判定部２４（図２参照）は、店内において、店員の密度が閾値よりも低い領域を、死角領域として判定する。なお、閾値はどのように決められてもよい。本実施形態３では、視線判定部２２は、人物検出部２１が検出した店員の視線の判定を行わなくてもよい。

人物検出部２１は、予め与えられている店員の情報を利用して、死角領域判定部２４が判定した死角領域内で、客（あるいは店員を除く人物）を検出する。報知部２５は、人物検出部２１が死角領域内で客を検出したことをトリガーとして、アナウンスや無線通信等によって、店員等に対して警報する。

上述のように、本実施形態３では、店員の密度に基づいて、店員に視認された領域が推定される。店員の密度が（閾値よりも）高い領域では、少なくとも一人の店員が客の存在に気付くであろうと推定される。一方、店員の密度が（閾値よりも）低い領域では、店員のだれも客の存在に気付かない可能性がある。その結果、客に対して、いつまでも接客サービスが行われないという事態が生じ得る。しかし、本実施形態３では、店員の密度が閾値よりも低い領域内に、報知部２５が店員に対して警報するので、そのような事態が発生することを防止し、また売り上げの機会を損失することを防止することができる。

（実施形態３の効果）
本実施形態の構成によれば、死角領域内にいる客を店員に気づかせることができる。さらに、客が万引き行為を試みることを抑止する効果もある。

〔実施形態４〕
本発明の別の実施形態について、以下で説明する。

（監視装置２２０）
図１１は、本実施形態４に係わる監視装置２２０の構成を示すブロック図である。図１１に示すように、監視装置２２０は、検出部２２１、推定部２２２、判定部２２３、および提示部２２４を備えている。

検出部２２１は、例えば、監視カメラが撮影した監視エリア内の画像を取得する。検出部２２１は、取得した画像から人物を検出する。

推定部２２２は、検出部２２１が検出した人物が視認した領域を推定する。人物が視認した領域とは、人物の視野に含まれる領域のことである。推定部２２２は、例えば、周知の視線検出技術を用いて、画像中の人物の視線を検出する。そして、推定部２２２は、検出した人物の視線の向きと、人間の一般的な視野の角度情報とを用いて、人物の視野を計算する。推定部２２２は、計算した人物の視野に含まれる領域を、人物が視認した領域として推定する。

判定部２２３は、推定部２２２が推定した領域に基づいて、監視エリア内の要注意領域を判定する。要注意領域とは、例えば前記実施形態１から３で説明した死角領域である。

提示部２２４は、判定部２２３によって判定された要注意領域を示す情報を提示する。提示の手段は特に限定されない。例えば、提示部２２４は、表示装置に、要注意領域を示したマップを表示する。あるいは、提示部２２４は、警告灯またはスピーカを用いて、要注意領域の存在を報知する。

（実施形態４の効果）
本実施形態の構成によれば、人物が視認した領域を推定し、監視エリア内の要注意領域を判定する。例えば、監視エリアにおいて、人物が視認していない領域を、要注意領域であると判定する。そして、判定された要注意領域を示す情報を提示する。これにより、監視の行き届かない領域、すなわち要注意領域を、指令者や警備員等の人物に対して提示することができる。

〔実施形態５〕
本発明の別の実施形態について、以下で説明する。

（ハードウェア構成について）
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図１２に示すような装置９００とプログラムとの任意の組み合わせにより実現される。図１２は、各装置の各構成要素を実現する装置９００のハードウェア構成の一例を示すブロック図である。

図１２に示すように、装置９００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

（実施形態５の効果）
本実施形態の構成によれば、前記のいずれかの実施形態において説明した装置が、ハードウェアとして実現される。したがって、前記のいずれかの実施形態において説明した効果と同様の効果を奏することができる。

以上、実施形態（及び実施例）を参照して本発明を説明したが、本発明は上記実施形態（及び実施例）に限定されるものではない。上記実施形態（及び実施例）の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
〔付記〕
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。

（付記１）
画像から人物を検出する検出手段と、
検出した前記人物が視認した領域を推定する推定手段と、
推定した前記領域に基づいて、監視エリア内の要注意領域を判定する判定手段と、
判定された前記要注意領域を示す情報を提示する提示手段と
を備えた監視装置。

（付記２）
前記検出手段は、前記監視エリアを撮影する監視カメラから、前記画像を取得する
ことを特徴とする付記１に記載の監視装置。

（付記３）
前記検出手段は、前記画像から特定の人物を検出し、
前記推定手段は、前記特定の人物が所持または装着したセンサを用いて、前記特定の人物が視認した領域を推定する
ことを特徴とする付記１または２に記載の監視装置。

（付記４）
前記検出手段は、前記人物以外の物体をさらに検出し、
前記推定手段は、検出された前記物体によって前記人物の視線から遮蔽された前記監視エリア内の領域を、前記人物が視認していないと判定する
ことを特徴とする付記１から３のいずれか１つに記載の監視装置。

（付記５）
前記判定手段は、前記人物の視野から外れた領域であって、かつ前記監視エリアを撮影する監視カメラの視野からも外れた領域を、前記要注意領域として判定する
ことを特徴とする付記１から４のいずれか１つに記載の監視装置。

（付記６）
前記検出手段は、前記人物を追跡する追跡手段を含み、
前記推定手段は、前記追跡手段による前記人物の追跡結果に基づいて、前記人物が視認した領域を推定する
ことを特徴とする付記１から５のいずれか１つに記載の監視装置。

（付記７）
前記検出手段が検出した前記人物の視線を判定する視線判定手段をさらに備え、
前記推定手段は、判定された前記人物の視線に基づいて、前記人物の視野を推定する
ことを特徴とする付記１から６のいずれか１つに記載の監視装置。

（付記８）
前記視線判定手段は、前記検出手段が前記人物を検出した画像を用いて、前記人物の視線を判定する
ことを特徴とする付記７に記載の監視装置。

（付記９）
前記検出手段は、前記画像から特定の人物を検出し、
前記視線判定手段は、前記特定の人物が所持または装着した装置が撮影した画像を用いて、前記特定の人物の視線を判定する
ことを特徴とする付記７に記載の監視装置。

（付記１０）
前記検出手段は、前記画像から特定の人物を検出し、
前記監視エリア内に前記要注意領域があることを、前記検出手段が検出した前記特定の人物に対して報知する報知手段をさらに備えた
ことを特徴とする付記１から９のいずれか１つに記載の監視装置。

（付記１１）
前記提示手段は、前記要注意領域を、前記監視エリアの他の領域とは異なる様態で、表示装置に表示させる
ことを特徴とする付記１から１０のいずれか１つに記載の監視装置。

（付記１２）
画像から人物を検出し、
検出した前記人物が視認した領域を推定し、
推定した前記領域に基づいて、監視エリア内の要注意領域を判定し、
判定された前記要注意領域を示す情報を提示する
ことを含む監視方法。

（付記１３）
画像から人物を検出することと、
検出した前記人物が視認した領域を推定することと、
推定した前記領域に基づいて、監視エリア内の要注意領域を判定することと、
判定された前記要注意領域を示す情報を提示することと、をコンピュータに実行させるためのプログラム。

この出願は、２０１９年１月１１日に出願された日本出願特願２０１９－００３５１４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 監視システム
１０ 監視カメラ
２０ 画像処理装置
２１ 人物検出部
２２ 視線判定部
２３ 視野推定部
２４ 死角領域判定部
２５ 報知部
２６ 表示制御部
２８ 提示部
２９ 追跡部
３０ 無線端末
４０ 監視モニタ
２２０ 監視装置
２２１ 検出部
２２２ 推定部
２２３ 判定部
２２４ 提示部

Claims (4)

1. 画像から人物を検出する検出手段と、
   監視エリア内の部分領域あたりの前記人物の密度に基づいて、当該密度が閾値よりも高い領域を、前記人物が視認した領域として推定する推定手段と、
   前記監視エリア内の、推定された前記領域と異なる領域を要注意領域として判定する判定手段と、
   判定された前記要注意領域を示す情報を提示する提示手段と
   を備え、
   前記検出手段は、前記画像から前記人物と異なる人物を検出し、
   前記提示手段は、前記要注意領域において前記異なる人物が検出された場合、前記要注意領域を示す情報を提示する、
   監視装置。
2. 前記検出手段は、前記監視エリアを撮影する監視カメラから、前記画像を取得する
   ことを特徴とする請求項１に記載の監視装置。
3. 画像から人物を検出し、
   監視エリア内の部分領域あたりの前記人物の密度に基づいて、当該密度が閾値よりも高い領域を、前記人物が視認した領域として推定し、
   前記監視エリア内の、推定された前記領域と異なる領域を要注意領域として判定し、
   前記画像から前記人物と異なる人物を検出し、
   判定された前記要注意領域を示す情報を提示し、
   前記要注意領域において前記異なる人物が検出された場合、前記提示するステップにおいて、前記要注意領域を示す情報を提示する、
   ことを含む監視方法。
4. 画像から人物を検出することと、
   監視エリア内の部分領域あたりの前記人物の密度に基づいて、当該密度が閾値よりも高い領域を、前記人物が視認した領域として推定することと、
   前記推定した前記領域に基づいて、監視エリア内の要注意領域を判定することと、
   判定された前記要注意領域を示す情報を提示することと、をコンピュータに実行させ、
   前記検出する処理において、前記画像から前記人物と異なる人物を検出し、
   前記要注意領域において前記異なる人物が検出された場合、前記提示する処理において、前記要注意領域を示す情報を提示する、
   プログラム。

Images