JPWO2019064947A1 - 監視端末装置及び表示処理方法 - Google Patents

Abstract

監視端末装置（２）は、エリアへ入退室する複数のユーザーを監視するための装置である。制御部（１４）は、第一入室画像及び第一退室画像においてエリアに入室するユーザーを第一監視対象者及び第一非監視対象者の何れかに特定する。第一入室画像及び第一退室画像が示す第一監視対象者は同一人物である。第一入室画像は、エリア（２２）に入室するユーザーを示す画像を含む。第一退室画像は、エリアを退室するユーザーを示す画像を含む。制御部（１４）は、第一入室画像のうち、第一マーキング処理を実行して第二入室画像を作成する。制御部（１４）は第一退室画像のうち、第二マーキング処理を実行して第二退室画像を作成する。画像表示部（１８）は、第二入室画像及び第二退室画像のうち少なくとも一方を表示する。

Description

本発明は、監視端末装置及び表示処理方法に関する。

従来、監視端末装置を用いて監視を行う場合、監視端末装置の画像表示部に表示された映像を、監視者が閲覧し、確認していた。例えば、特許文献１には、監視対象者が監視エリアから退室する映像を閲覧する場合、監視対象者の退室時だけでなく、入室時の映像を同時に表示する監視端末装置が記載されている。

特開２００９−２３９４６７号公報

しかしながら、特許文献１に開示されている技術は、ユーザー１人の入退室を想定したものであり、複数のユーザーが入退室する場合に、効率よく監視を行うには十分ではない。例えば、複数のユーザーを示す画像のうち、着目したい監視対象者を示す画像を見分け、監視対象者の行動を確認するのは、困難である。

本発明は上記課題に鑑みてなされたものであり、その目的は、所定のエリアへ入退室する複数のユーザーを効率よく監視することができる監視端末装置及び表示処理方法を提供することにある。

本発明の監視端末装置は、所定のエリアの入出口から前記エリアへ入室するユーザー及び前記エリアの退出口から前記エリアを退室する前記ユーザーを監視するための装置である。入室するユーザー及び退室するユーザーのうち、少なくとも一方が複数である。前記監視端末装置は、制御部と、画像表示部とを備える。前記制御部は、第一入室画像において前記エリアに入室するユーザーを第一監視対象者及び第一非監視対象者の何れかに特定する。前記第一入室画像は、前記エリアに入室する前記ユーザーを示す画像を含む。前記制御部は、前記第一入室画像のうち、前記第一監視対象者又は前記第一非監視対象者を示す画像に第一マーキング処理を実行して、第二入室画像を作成する。前記制御部は、前記第一マーキング処理を実行する対象となった前記第一入室画像における前記第一監視対象者を示す第一退室画像において、前記エリアから退室する前記ユーザーを前記第一監視対象者及び前記第一非監視対象者の何れかに特定する。前記第一退室画像は、前記エリアを退室するユーザーを示す画像を含む。前記制御部は前記第一退室画像のうち、前記第一監視対象者又は前記第一非監視対象者を示す画像に第二マーキング処理を実行して、第二退室画像を作成する。前記画像表示部は、前記第一監視対象者を示す画像を含む前記第二入室画像、及び前記第一監視対象者と同一人物を示す画像を含む前記第二退室画像のうち少なくとも一方を表示する。

本発明の表示処理方法は、監視端末装置が実行する方法である。前記監視端末装置は、受信部と、制御部と、記憶部と、画像表示部と、入力部とを備える。前記表示処理方法は、第一取得ステップと、第二取得ステップと、第一判定ステップと、画像セット作成ステップと、特定ステップと、第一マーキング処理ステップと、第二マーキング処理ステップと、画像表示ステップとを備える。前記第一取得ステップは、前記受信部が受信した所定のエリアに入室するユーザーを示す第一入室画像から、前記制御部が前記エリアに入室するユーザーを示すユーザー入室情報を取得する。前記第二取得ステップは、前記受信部が受信した前記エリアから退室するユーザーを示す第一退室画像から、前記制御部が前記エリアから退室するユーザーを示すユーザー退室情報を取得する。前記第一判定ステップは、前記制御部が前記第一入室画像と、前記ユーザー入室情報と、前記第一退室画像と、前記ユーザー退室情報とに基づいて、前記第一入室画像と前記第一退室画像とが示すユーザーが同一人物であるか否かを判定する。前記画像セット作成ステップは、前記第一判定ステップにおいて、前記制御部が同一人物であると判定すると、前記制御部が前記第一入室画像と、前記第一退室画像とを結び付けて、特定のユーザーについての画像セットを作成する。前記特定ステップは、監視者が前記画像表示部に表示された前記第一入室画像が示すユーザーのうち、前記エリアに入室するユーザーを監視すべきであると判定すると、前記制御部が判定結果に応じて、前記エリアに入室するユーザーを第一監視対象者及び第一非監視対象者の何れかに特定する。前記第一マーキング処理ステップは、前記制御部が前記第一入室画像のうち、前記第一監視対象者又は前記第一非監視対象者を示す画像に第一マーキング処理を実行して、第二入室画像を作成する。前記第二マーキング処理ステップは、前記制御部が前記第一マーキング処理を実行する対象となった前記第一退室画像について、前記第一退室画像が示すユーザーを前記判定結果に基づいて前記第一監視対象者及び前記第一非監視対象者の何れかに特定し、前記第一監視対象者又は前記第一非監視対象者を示す画像に第二マーキング処理を実行して、第二退室画像を作成する。前記画像表示ステップは、前記制御部が前記第一監視対象者を示す画像を含む前記第一入室画像又は前記第二入室画像と、同一の前記第一監視対象者を示す画像を含む前記第一退室画像又は前記第二退室画像とを前記画像表示部に表示させる。

本発明の監視端末装置及び表示処理方法は、所定のエリアに入退室する複数のユーザーを効率よく監視することができる。

本発明の実施形態１に係る監視端末装置を含む監視システムの構成を示す図である。 所定のエリアに入室するユーザー及び所定のエリアから退室するユーザーを示す図である。 本発明の実施形態１に係る監視端末装置の構成を示すブロック図である。 本発明の実施形態１に係る監視端末装置の画像表示部に表示された画像表示画面の一例を示す図である。 本発明の実施形態１に係る第二画像作成処理を示すフローチャートである。 本発明の実施形態１に係る第二画像作成処理を示すフローチャートである。 本発明の実施形態２に係る監視端末装置の画像表示部に表示された画像表示画面の一例を示す図である。 本発明の実施形態２に係る第三入室画像作成処理を示すフローチャートである。 本発明の実施形態３に係る監視端末装置の画像表示部に表示された画面の一例を示す図である。 本発明の実施形態３に係る第四入室画像作成処理を示すフローチャートである。 本発明の実施形態３に係る第四入室画像作成処理を示すフローチャートである。 本発明の実施形態３に係る第四入室画像作成処理を示すフローチャートである。 本発明の実施形態４に係る監視端末装置の画像表示部に表示された画面の一例を示す図である。 本発明の実施形態４に係る第一差異判定処理を示すフローチャートである。 本発明の実施形態４に係る第一差異判定処理を示すフローチャートである。 本発明の実施形態４に係る第一差異判定処理を示すフローチャートである。 本発明の実施形態５に係る監視端末装置の画像表示部に表示された画面の一例を示す図である。 本発明の実施形態５に係る第二差異判定処理を示すフローチャートである。 本発明の実施形態５に係る第二差異判定処理を示すフローチャートである。 本発明の実施形態５に係る第二差異判定処理を示すフローチャートである。 本発明の実施形態６に係る監視端末装置の画像表示部に表示された画像表示画面の一例を示す図である。 本発明の実施形態６に係る第四入室画像及び時刻バー表示処理を示すフローチャートである。 本発明の実施形態６に係る第四入室画像及び時刻バー表示処理を示すフローチャートである。 本発明の実施形態６に係る第四入室画像及び時刻バー表示処理を示すフローチャートである。 本発明の実施形態７に係る表示処理方法を示すフローチャートである。 本発明の実施形態７に係る表示処理方法を示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。但し、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。また、図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示している。

［実施形態１］
まず、図１を参照して、実施形態１に係る監視端末装置を含む監視システムを説明する。図１は、実施形態１に係る監視端末装置を含む監視システムの構成を示す図である。図１に示すように、監視システム４は、撮影部１と、監視端末装置２と、監視装置３とを備える。

監視端末装置２は、画像表示部を備える。監視端末装置２の画像表示部には、入室時の画像及び退室時の画像が表示され、監視者は入室時の画像及び退室時の画像を閲覧する。

監視端末装置２は、例えば、パーソナルコンピューター（ＰＣ）などの固定端末装置５又はタブレットＰＣなどの大容量携帯端末装置である。固定端末装置５は、所定のエリアを監視する監視室に設置される。監視端末装置２は、画像を表示する画像表示部を備える。画像表示部は、例えば、液晶ディスプレー又は有機ＥＬディスプレー（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）である。監視端末装置２は、監視装置３から送信された画像を画像表示部に表示させる。

監視端末装置２は、所定のエリアへ入室するユーザー及び所定のエリアから退室するユーザーを監視するための装置である。所定のエリアへ入室するユーザー及び所定のエリアから退室するユーザーのうち少なくとも一方が複数である。

監視装置３は、所定のエリアに設置された入室口、退室口又は入退室口を通過するユーザーを監視対象とする。監視装置３は、例えば、サーバーである。

撮影部１は、所定のエリアの入室口、退室口又は入退室口の付近を撮影エリアとして撮影する。撮影部１は、所定エリアの入室口、退室口又は入退室口付近に設置される。撮影部１は複数あってもよい。このため、撮影部１の数は、所定のエリアに備えられる入室口、退室口又は入退室口の数による。具体的には、所定のエリアが入退室口を２つ備え、１つの入退室口付近に、ユーザーが入室する様子を撮影する入室監視用撮影部１つと、ユーザーが退室する様子を撮影する退室監視用撮影部１つとを要する場合、撮影部１の数は４つとなる。撮影部１は、防犯カメラである。撮影部１は、ユーザーの正面側の入室口２６ａの画像を撮影するように、ユーザーが入退室する方向に対向して設置される。

図２を参照して、実施形態１に係る監視端末装置２を含む監視システム４における撮影部１を説明する。図２は、所定のエリアに入室するユーザー及び所定のエリアから退室するユーザーを示す図である。ユーザー２１及びユーザー２３は、入退室口２６（以下、入室口２６ａ及び退室口２６ｂと記載することがある。）を通過して、所定のエリア外２４から所定のエリア２２へ入室する。所定のエリア２２に設置された撮影部１は、入室監視用撮影部であり、所定のエリア２２に入室するユーザー２１及びユーザー２３を示す第一入室画像を撮影する。ユーザー２０は、入退室口２６を通過して、所定のエリア２２から所定のエリア外２４へ退室する。所定のエリア外２４に設置された撮影部１は、退室監視用撮影部であり、所定のエリア２２から退室するユーザー２０を示す第一退室画像を撮影する。第一入室画像及び第一退室画像は、静止画又は動画である。

続いて、図１〜図４を参照して、実施形態１に係る監視端末装置２の構成を説明する。図３は、実施形態１に係る監視端末装置２の構成を示すブロック図である。

図３に示すように、実施形態１に係る監視端末装置２は、受信部１０と、記憶部１２と、制御部１４と、入力部１６と、画像表示部１８とを備える。

受信部１０は、第一入室画像と、第一退室画像とを受信する。第一入室画像は、所定のエリア２２の入室口２６ａから所定のエリア２２に入室するユーザー２１及びユーザー２３を示す。第一退室画像は、所定のエリア２２の退室口２６ｂから所定のエリアを退室するユーザー２０を示す。受信部１０は、例えば、ＬＡＮ、ＷＡＮ又はインターネット回線のようなネットワークを介して、撮影部１が撮影した第一入室画像及び第一退室画像を受信する。

入力部１６は、監視者がユーザーを監視すべきか否かを判定する情報を入力する。詳しくは、入力部１６を介して、画像表示部１８に表示された第一入室画像が示すユーザー２０、ユーザー２１及びユーザー２３のうち、所定のエリア２２に入室するユーザー２１及びユーザー２３を監視すべきか否かを、監視者が判定する。入力部１６は、例えば、キーボード又はタッチパネルである。

制御部１４は、ユーザー入室情報と、ユーザー退室情報とを取得する。制御部１４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサー又は演算回路によって構成される。ユーザー入室情報は、第一入室画像に基づいた所定のエリア２２に入室するユーザー２１及びユーザー２３を示す情報である。ユーザー入室情報は、例えば、所定のエリア２２に入室するユーザー２１及びユーザー２３の顔画像（より具体的には、目鼻口の大きさ、形状若しくは位置関係、虹彩の色、髪型、髪の色又はメガネの有無等）、歩容（より具体的には、歩幅、歩行速度、歩行姿勢又は歩行リズム等）、体格、シルエット、身に着けている物（より具体的には、服、靴、眼鏡、腕時計、帽子又はマスク等）及び持っている物（より具体的には、書類、荷物又は杖等）である。ユーザー退室情報は、第一退室画像に基づいた所定のエリア２２から退室するユーザー２０を示す情報である。ユーザー退室情報は、例えば、所定のエリア２２から退室するユーザー２０の顔画像、歩容、体格、シルエット、身に着けている物及び持っている物である。

制御部１４は、ユーザー入室情報と、ユーザー退室情報とに基づいて、第一入室画像及び第一退室画像が示すユーザーが同一人物であるか否かを判定する。例えば、ユーザー２１及びユーザー２３を示す画像を含む第一入室画像と、第一退室画像とを対比し、第一退室画像がユーザー２１及び／又はユーザー２３を示す画像を含む第一退室画像であるか否かを判定する。ユーザー２１及び／又はユーザー２３を示す画像を含む第一退室画像が見つかるまで、この判定処理を実行する。

制御部１４は、「監視者がユーザーを監視すべきであるか否か」を判定した結果に応じて、所定のエリアに入室するユーザーを第一監視対象者及び第一非監視対象者の何れかに特定する。

制御部１４は、第一入室画像のうち、第一監視対象者又は第一非監視対象者を示す画像に第一マーキング処理を実行して、第二入室画像を作成する。第一マーキング処理は、第二入室画像において、第一監視対象者を示す画像と、第一非監視対象者を示す画像とを見分けやすくする画像処理である。第一マーキング処理としては、例えば、第一非監視対象者を示す画像の明度を低下させる処理、第一監視対象者を示す画像の明度を増加させる処理、第一監視対象者を示す画像に色を付す処理又は第一監視対象者を示す画像の輪郭を縁取る処理が挙げられる。監視者は、第一マーキング処理の具体的な画像処理の種類を選択し、設定することができる。明度の低下及び増加は、画像の明暗比（コントラスト比）を大きくし画像を区別しやすくする処理である。なお、第一非監視対象者を示す画像の明度を低下させる処理では、第一非監視対象者を示す画像の画像濃度は、第一非監視対象者の様子を確認できる程度の画像濃度である。

制御部１４は、第一マーキング処理を実行する対象となった第一入室画像について、第一監視対象者に対する画像セットとして結び付いている第一退室画像が示すユーザーを判定結果に基づいて第一監視対象者及び第一非監視対象者の何れかに特定する。制御部１４は、第一監視対象者又は第一非監視対象者を示す画像に第二マーキング処理を実行して、第二退室画像を作成する。第二マーキング処理は、第二退室画像において、第一監視対象者を示す画像と、第一非監視対象者を示す画像とを見分けやすくする画像処理である。第二マーキング処理としては、例えば、第一非監視対象者を示す画像の明度を低下させる処理、第一監視対象者を示す画像の明度を増加させる処理、第一監視対象者を示す画像に色を付す処理又は第一監視対象者を示す画像の輪郭を縁取る処理が挙げられる。以下、第二入室画像及び第二退室画像の少なくとも一方を含む画像を第二画像と記載することがある。ここで、第二画像を構成する画像が第一入室画像、第一退室画像、第二入室画像及び第二退室画像からなる群より選択される２つの画像を含む場合、第二画像としては、例えば、第二入室画像及び第二退室画像、第二入室画像及び第一退室画像、又は第一入室画像及び第二退室画像が挙げられる。

記憶部１２は、第一入室画像と、第一退室画像と、ユーザー入室情報と、ユーザー退室情報とを記憶する。制御部１４が同一人物であると判定すると、記憶部１２は、同一のユーザーを示す第一入室画像と第一退室画像とを結び付けて、特定のユーザーに対する画像セットとして記憶する。記憶部１２は、第二入室画像と、第二退室画像とを、画像セットと結び付けて記憶する。

画像表示部１８は、第一入室画像を表示する。画像表示部１８は、第一監視対象者を示す画像を含む第一入室画像又は第二入室画像と、第一監視対象者と同一人物を示す画像を含む第一退室画像又は第二退室画像とを表示する。

図４を参照して、監視端末装置２の画像表示部１８に表示された画像表示画面を説明する。図４は、実施形態１に係る監視端末装置２の画像表示部１８に表示された画像表示画面の一例を示す図である。図４では、第一マーキング処理が実行されており、第二マーキング処理は実行されていない。第一マーキング処理及び第二マーキング処理は、いずれも第一非監視対象者を示す画像の明度を低下させる処理である。

画像表示画面３０は、退室画像３２と、入室画像３４とを含む。入室画像３４は、ユーザー３６、３７、３８及び３９を示す画像を含む。ユーザー３６は第一監視対象者であり、ユーザー３７〜３９は第一非監視対象者である。ここで、入室画像３４は、第一非監視対象者を示す画像を含む。そして、図４では、第一マーキング処理は、第一非監視対象者を示す画像の明度を低下させる処理である。よって、第一マーキング処理が実行される。このため、入室画像３４は、第一マーキング処理を実行して作成された第二入室画像である。

退室画像３２は、ユーザー３６を示す画像を含む。ユーザー３６は、入室画像３４におけるユーザー３６と同一人物の第一監視対象者である。ここで、退室画像３２は、第一非監視対象者を示す画像を含まない。そして、図４では、第二マーキング処理は、第一非監視対象者を示す画像の明度を低下させる処理である。よって、第二マーキング処理は実行されない。このため、退室画像３２では、第二マーキング処理が実行されない。退室画像３２は、第二マーキング処理を実行して作成された第二退室画像ではなく、第一退室画像である。

入室画像３４は、複数のユーザー３６〜３９が同時に入室する画像である。退室画像３２及び入室画像３４の両方に含まれるユーザー３６を示す画像は同一人物を示す画像である。そして、ユーザー３６以外のユーザー３７〜３９を示す画像に明度を低下させる画像処理を実行しているため、監視すべき第一監視対象者であるユーザー３６が目立つように表示されている。よって、実施形態１に係る監視端末装置２は、所定のエリアに入退室する複数のユーザーを効率よく監視することができる。

続けて、図５及び図６を参照して、監視端末装置２の制御部１４が実行する第二画像作成処理について説明する。図５及び図６は、実施形態１に係る第二画像作成処理を示すフローチャートである。図５及び図６では、第一マーキング処理が実行されており、第二マーキング処理は実行されていない。第一マーキング処理は及び第二マーキング処理は、いずれも第二非監視対象者を示す画像の明度を低下させる処理である。

図５に示すように、制御部１４は受信部１０を介して第一入室画像を取得し、第一入室情報に基づいてユーザー入室情報を取得する（ステップＳ１００）。制御部１４は受信部１０を介して第一退室画像を取得し、第一退室情報に基づいてユーザー退室情報を取得する（ステップＳ１０２）。制御部１４は、ユーザー入室情報と、ユーザー退室情報とに基づいて、第一入室画像が示すユーザーと第一退室画像が示すユーザーとが同一人物であるか否かを判定する（ステップＳ１０４）。詳しくは、制御部１４は、第一退室画像が示すユーザーと、第一入室画像が示すユーザーとが同一人物であるか否かを判定する。制御部１４は、第一退室画像が示すユーザーと、第一入室画像が示すユーザーとが同一となるまで、ステップＳ１０４の処理を繰り返す（ステップＳ１０４のＮｏ）。制御部１４が同一人物であると判定すると（ステップＳ１０４のＹｅｓ）、制御部１４は、同一のユーザーを示す第一入室画像と第一退室画像とを結び付けて、特定のユーザーに対する画像セットとして記憶部１２に記憶させる（ステップＳ１０６）。

制御部１４は、第一入室画像に第一非監視対象者が存在するか否かを判定する（ステップＳ１０８）。詳しくは、画像表示部１８は、第一入室画像を表示する。監視者は、入力部１６を介して、画像表示部１８に表示された第一入室画像が示すユーザーのうち、所定のエリアに入室するユーザーを監視すべきか否かを判定する。制御部１４は、判定結果に応じて、所定のエリアに入室するユーザーを第一監視対象者及び第一非監視対象者の何れかに特定する。図５では、第一マーキング処理は、第一入室画像において、第一非監視対象者を示す画像の明度を低下させる処理である。このため、第一監視対象者及び第一非監視対象者を特定した後、第一入室画像において第一非監視対象者が存在するか否かを判定する。制御部１４が第一入室画像に第一非監視対象者が存在しないと判定すると（ステップＳ１０８のＮｏ）、後述のステップＳ１１４へ進み、第一マーキング処理は実行されない。制御部１４が第一入室画像において第一非監視対象者が存在すると判定すると（ステップＳ１０８のＹｅｓ）、制御部１４は、第一入室画像のうち、第一非監視対象者を示す画像に第一マーキング処理を実行して（ステップＳ１１０）、第二入室画像を作成する（ステップＳ１１２）。

図６に示すように、制御部１４は、第一退室画像に第一非監視対象者が存在するか否かを判定する（ステップＳ１１４）。詳しくは、制御部１４は、第一マーキング処理を実行する対象となった第一入室画像について、第一監視対象者に対する画像セットとして結び付いている第一退室画像を取得する。制御部１４は、第一退室画像が示すユーザーを第一監視対象者及び第一非監視対象者の何れかに特定する。図６では、第二マーキング処理は、第一退室画像において第一非監視対象者を示す画像の明度を低下させる処理である。このため、制御部１４は、第一退室画像において第一非監視対象者が存在するか否かを判定する。制御部１４は、第一退室画像において、第一非監視対象者が存在しないと判定すると（ステップＳ１１４のＮｏ）、後述のステップＳ１２０へ進み、第二マーキング処理ステップは実行されない。制御部１４は、第一退室画像において、第一非監視対象者が存在すると判定すると（ステップＳ１１４のＹｅｓ）、第一退室画像のうち、第一非監視対象者を示す画像に第二マーキング処理を実行して（ステップＳ１１６）、第二退室画像を作成する（ステップＳ１１８）。

制御部１４は、第一監視対象者を示す画像を含む第一入室画像又は第二入室画像と、第一監視対象者と同一人物を示す画像を含む第一退室画像又は第二退室画像とを画像表示部１８に表示する（ステップＳ１２０）。詳しくは、制御部１４は、第一マーキング処理を実行した場合、第二入室画像を画像表示部１８に表示する。また、制御部１４は、第二マーキング処理を実行した場合、第二退室画像を画像表示部１８に表示する。既に説明したように、入室するユーザー及び退室するユーザーの少なくとも一方が複数である。このため、ステップＳ１２２では、制御部１４が画像表示部１８に表示する第二画像は、第一入室画像及び第二退室画像、第二入室画像及び第一退室画像、並びに第二入室画像及び第二退室画像の何れかとなる。

以上、実施形態１について説明した。実施形態１に係る監視端末装置２は、第一マーキング処理及び／又は第二マーキング処理を実行した第二画像を表示する。このため、複数のユーザーが所定のエリアに入退室する場合であっても、効率よく監視することができる。

なお、図４〜６において、第一マーキング処理が第一入室画像において第一非監視対象者を示す画像の明度を低下させる処理であり、かつ第二マーキング処理が第一退室画像において第一非監視対象者を示す画像の明度を低下させる処理である場合について説明した。かかる場合では、制御部１４が第一監視対象者及び第一非監視対象者の特定した後、制御部１４は、第一入室画像及び第一退室画像において第一非監視対象者が存在するか判定する（ステップＳ１０８、ステップＳ１１４）。第一非監視対象者が存在する場合には（ステップＳ１０８のＹｅｓ、ステップＳ１１４のＹｅｓ）、制御部１４は、第一入室画像に対しては第一マーキング処理を実行し（ステップＳ１１０）、第一退室画像に対して第二マーキング処理を実行する（ステップＳ１１８）。一方、第一マーキング処理及び第二マーキング処理が第一監視対象者を示す画像に対して画像処理を実行する場合、第一監視対象者についての画像セットには、第一監視対象者は必ず存在する。このため、制御部１４は、第一入室画像及び第一退室画像において第一監視対象者を示す画像について、第一マーキング処理及び第二マーキング処理を実行する。

なお、実施形態１では、所定のエリアの入室口と退室口とが同一である場合を例に挙げて説明した。所定のエリアの入室口と退室口とが異なってもよい。また、入室口及び退室口のうち少なくとも一方が複数存在してもよい。また、図６における第三入室画像作成処理（ステップＳ１２２）は任意の構成であって、後述の実施形態２で説明する。

［実施形態２］
次に、図３、図５、図６、図７及び図８を参照して、実施形態２に係る監視端末装置２について説明する。実施形態２は、更に第三入室画像処理を有する点で、実施形態１と異なる。以下、実施形態２について実施形態１と異なる事項について説明し、実施形態１と重複する部分についての説明は割愛する。

実施形態２では、少なくとも１人の第一非監視対象者が第一監視対象者と所定のエリアから同時に退室する。かつ、第一監視対象者と所定のエリアを同時に退室する第一非監視対象者のうち少なくとも１人が、第一監視対象者と同時に入室しない。すなわち、所定のエリアを同時に退室するユーザーが複数おり、これらのユーザーのうち、第一監視対象者と同時に入室しない第一非監視対象者が存在する。

図３に示すように、制御部１４は、第二マーキング処理を実行する対象となった第一退室画像について、第一非監視対象者に対する画像セットとして結びついている第一入室画像が示す第一非監視対象者を示す画像に対して、第三マーキング処理を実行するか否かを判定する。制御部１４が第三マーキング処理を実行すると判定すると、制御部１４は、第一入室画像のうち、第一非監視対象者を示す画像に第三マーキング処理を実行して、第三入室画像を作成する。画像表示部１８は、第三入室画像を更に表示する。第三マーキング処理としては、例えば、第一非監視対象者を示す画像の明度を低下させる処理、第一非監視対象者を示す画像に色を付す処理又は第一非監視対象者を示す画像の輪郭を縁取る処理が挙げられる。第一マーキング処理及び第二マーキング処理と同一の画像処理であることが好ましい。第一マーキング処理及び第二マーキング処理を実行した画像との対応関係を把握しやすいからである。

図７は、実施形態２に係る監視端末装置２の画像表示部１８に表示された画面の一例を示す図である。図７では、第一マーキング処理が実行されていない。第二マーキング処理及び第三マーキング処理は実行されている。第三マーキング処理は、第一非監視対象者を示す画像の明度を低下させる処理であり、実施形態１で説明した第一マーキング処理及び第二マーキング処理と同一の処理である。

画像表示画面４０は、退室画像４２と、入室画像４４と、入室画像４６とを含む。退室画像４２は、ユーザー４８、５０、５２及び５４を示す画像を含む。ユーザー４８は、第一監視対象者であり、ユーザー５０〜５４は、第一非監視対象者である。ここで、退室画像４２は、第一非監視対象者を含む。そして、実施形態１で既に説明したように、第二マーキング処理は、第一非監視対象者を示す画像の明度を低下させる処理である。よって、第二マーキング処理が実行される。このため、退室画像４２は、第二マーキング処理を実行して作成された第二退室画像である。

入室画像４４は、ユーザー４８を示す画像を含む。ユーザー４８は、退室画像４２におけるユーザー４８と同一人物の第一監視対象者である。ここで、入室画像４４は、第一非監視対象者を示す画像を含まない。そして、実施形態１で既に説明したように、第一マーキング処理は、第一非監視対象者を示す画像の明度を低下させる処理である。よって、第一マーキング処理は実行されない。このため、入室画像４４では、第一マーキング処理が実行されない。入室画像４４は、第一マーキング処理を実行して作成された第二入室画像ではなく、第一入室画像である。

入室画像４６は、ユーザー５０〜５４を示す画像を含む。ユーザー５０〜５４は、退室画像４２におけるユーザー５０〜５４と同一人物の第一非監視対象者である。ここで、入室画像４６は、第一監視対象者を含まず、第一非監視対象者のみを含む。そして、第三マーキング処理は、既に説明したように、第一非監視対象者を示す画像の明度を低下させる処理として設定されている。よって、第三マーキング処理が実行される。このため、入室画像４６では、第三マーキング処理が実行される。入室画像４６は、第三マーキング処理を実行して作成された第三入室画像である。

続いて、図５、図６及び図８を参照して、第三入室画像作成処理について説明する。図８は、実施形態２に係る第三入室画像作成処理を示すフローチャートである。図６において、第三入室画像作成処理は、任意の構成として記載されている。

図５及び図６に示すように、実施形態２では、まず、実施形態１と同様に、第二画像作成処理が実行される（ステップＳ１００〜Ｓ１１８）。

次に、第三入室画像作成処理が実行される（ステップＳ１２２）。詳しくは、図８に示すように、制御部１４は、第二マーキング処理を実行した対象となった第一退室画像について、第一非監視対象者に対する画像セットとして結びついている第一入室画像が示す第一非監視対象者を示す画像に対して、第三マーキング処理を実行するか否かを判定する（ステップＳ１２４）。制御部１４が第三マーキング処理を実行しないと判定すると（ステップＳ１２４のＮｏ）、第三入室画像作成処理が終了する。制御部１４が第三マーキング処理を実行すると判定すると（ステップＳ１２４のＹｅｓ）、制御部１４は、第一非監視対象者を示す画像に第三マーキング処理を実行して（ステップＳ１２５）、第三入室画像を作成する（ステップＳ１２６）。制御部１４は、第二画像に加えて、第三入室画像を画像表示部１８に更に表示する（ステップＳ１２０）。

ステップＳ１２２において第三マーキング処理の実行の有無は、第三マーキング処理を実行する対象画像が第一監視対象者及び第一非監視対象者の何れに設定されているかによる。図５〜８では、第三マーキング処理は、第一入室画像において第一非監視対象者を示す画像の明度を低下させる処理である。そして、第三マーキング処理を実行する対象となる第一入室画像には、第一非監視対象者を示す画像が存在するため、第三マーキング処理が実行される。

実施形態２に係る監視端末装置２は、第一監視対象者を表示する画像を含む第二画像だけでなく、第一非監視対象者を表示する画像を含む第三入室画像も画像表示部に表示する。このため、実施形態２に係る監視端末装置２は、所定のエリアに入室するユーザーの人数と、所定のエリアから退室するユーザーの人数とが異なっても、効率よくユーザーを監視することができる。

［実施形態３］
次に、図３、図９、図１０、図１１及び図１２を参照して、実施形態３に係る監視端末装置２について説明する。実施形態３は、第四入室画像作成処理を有する点で、実施形態１と異なる。以下、実施形態３について実施形態１と異なる事項について説明し、実施形態１と重複する部分についての説明は割愛する。図９では、第一マーキング処理、第二マーキング処理及び第四マーキング処理は、実行されている。第四マーキング処理は、第一非監視対象者を示す画像の輪郭を縁取る処理である。第四マーキング処理は、実施形態１で説明した第一マーキング処理及び第二マーキング処理と異なる処理である。また、図９では、第二監視対象者は、第一退室時刻より前に退室した第一非監視対象者である。

ユーザー入室情報は、所定のエリアに入室した時刻と、入室したゲートとを含む。ユーザー退室情報は、所定のエリアから退室した時刻と、退室したゲートとを含む。図３に示す記憶部１２は、画像セットにユーザー入室情報と、ユーザー退室情報とを結び付けて記憶する。制御部１４は、ユーザー退室情報と、第二入室画像とに基づいて、第一監視対象者が退室する第一退室時刻を基準として第二非監視対象者を特定する。第二非監視対象者は、第一退室時刻より前に退室した者、第一退室時刻と同時に退室した者又は第一退室時刻より後に退室した者である。制御部１４は、第二入室画像のうち、第二非監視対象者を示す画像に第四マーキング処理を実行し、第四入室画像を作成する。画像表示部１８は、第四入室画像を更に表示する。

第四マーキング処理は、第四入室画像において、主に、第二非監視対象者と、第二非監視対象者以外の第一非監視対象者とを見分けやすくする画像処理である。第四マーキング処理としては、例えば、第二非監視対象者を示す画像の明度を低下させる処理、第二非監視対象者を示す画像に色を付す処理又は第二非監視対象者を示す画像の輪郭を縁取る処理が挙げられる。なお、第四マーキング処理は、既に実行された画像処理により見分けがつく状態を維持して実行される。このため、例えば、第四マーキング処理は、第一マーキング処理と異なる種類の画像処理で実行されることが好ましい。

図９は、実施形態３に係る監視端末装置２の画像表示部に表示された画面の一例を示す図である。画像表示画面６０は、退室画像６２と、入室画像６４とを含む。退室画像６２は、ユーザー６８及び７０を示す画像を含む。ユーザー６８は第一監視対象者であり、ユーザー７０は第一非監視対象者である。ここで、退室画像６２は、第一非監視対象者を示す画像を含む。そして、図９では、第二マーキング処理は、第一非監視対象者を示す画像の明度を低下させる処理である。よって、第二マーキング処理が実行される。このため、退室画像６２は、第二マーキング処理を実行して作成された第二退室画像である。

入室画像６４は、ユーザー６８、７０、７２及び７４を示す画像を含む。ユーザー６８は第一監視対象者であり、ユーザー７０〜７４は第一非監視対象者である。ここで、入室画像６４は、第一非監視対象者を示す画像を含む。そして、図９では、第一マーキング処理は、第一非監視対象者を示す画像の明度を低下させる処理である。よって、第一マーキング処理が実行される。このため、第一マーキング処理を実行して第二入室画像が作成される。

入室画像６４におけるユーザー６８及び７０は、それぞれ退室画像６２におけるユーザー６８及び７０と同一人物である。このため、ユーザー７０は、ユーザー６８の退室する時刻（第一退室時刻）を基準として、同時に退室する第一非監視対象者である。また、入室画像６４におけるユーザー７２及び７４は、退室画像６２には示されていないため、同時に退室していない。ユーザー７４は、ユーザー６８の第一退室時刻より後に退室している。ユーザー７２は、ユーザー６８の第一退室時刻より前に退室している。図９では、第二非監視対象者は、第一監視対象者の第一退室時刻より前に退室した者と設定されている。また、第四マーキング処理は、第二非監視対象者を示す画像の輪郭を縁取る処理である。よって、ユーザー７２が第二非監視対象者であり、第二入室画像における第二監視対象者を示す画像に第四マーキング処理が実行される。以上から、入室画像６４は、第二入室画像に対して第四マーキング処理を実行して作成された第四入室画像である。

なお、図９では、第二非監視対象者を第一退室時刻より前に退室した者と設定した場合について説明した。第二非監視対象者を第一退室時刻と同時に退室した者又は第一退室時刻より後に退室した者と設定してもよい。前者の場合には、入室画像６４におけるユーザー７０が第二非監視対象者となり、第四マーキング処理が実行される。後者の場合には、入室画像６４におけるユーザー７４が第二非監視対象者となり、第四マーキング処理が実行される。

図１０〜図１２を参照して、監視端末装置２の制御部１４が実行する第四入室画像作成処理について説明する。図１０〜図１２は、実施形態３に係る第四入室画像作成処理を示すフローチャートである。

図１０及び図１１に示すように、実施形態３では、まず、実施形態１と同様に、第二画像作成処理が実行される（ステップＳ１００〜Ｓ１１８）。

次に、第四入室画像作成処理が実行される（ステップＳ１２８）。詳しくは、図１１に示すように、制御部１４は、ユーザー退室情報と、第二入室画像とに基づいて、第一監視対象者が退室する第一退室時刻を基準として、第二非監視対象者を特定する（ステップＳ１３０）。第二非監視対象者を特定する基準は、上述のように、監視者が第一退室時刻との前後関係に基づき設定できる。制御部１４は、第二入室画像のうち、第二非監視対象者を示す画像に第四マーキング処理を実行し（ステップＳ１３２）、第四入室画像を作成する（ステップＳ１３４）。制御部１４は、第一入室画像又は第二入室画像、及び第一退室画像又は第二退室画像に加えて、第四入室画像を画像表示部１８に更に表示する（ステップＳ１２０）。

実施形態３に係る監視端末装置２は、第一監視対象者を表示する画像を含む第一入室画像又は第二入室画像だけでなく、第一監視対象者と同時に入室した第一非監視対象者に関する第四入室画像も画像表示部１８に表示する。このため、実施形態３に係る監視端末装置２は、第一監視対象者と関係性が疑われる者についても効率よく監視することができる。

［実施形態４］
図３及び図１３、図１４、図１５及び図１６を参照して、実施形態４に係る監視端末装置２について説明する。実施形態４は、更に第一差異判定処理を有する点で、実施形態１と異なる。以下、実施形態４について実施形態１と異なる事項について説明し、実施形態１と重複する部分についての説明は割愛する。図１３では、第一マーキング処理は実行されていない。第二マーキング処理及び第五マーキング処理は、実行されている。第五マーキング処理は、第一差異を示す画像に色を付す処理である。第五マーキング処理は、実施形態１で説明した第一マーキング処理及び第二マーキング処理と異なる処理である。

制御部１４は、第一監視対象者のユーザー入室情報及びユーザー退室情報に基づいて、所定のエリアに入室する際の第一監視対象者の第一入室状態と、所定のエリアから退室する際の第一監視対象者の第一退室状態とを対比し、第一入室状態と第一退室状態との間に第一差異が存在するか否かを判定する。

第一差異は、視覚で確認される外見上の差異であり、例えば、身に着けている物（より具体的には、服、靴、眼鏡、腕時計、帽子又はマスク等）及び持っている物（より具体的には、書類、荷物又は杖等）である。第一入室状態は、第一監視対象者のユーザー入室情報で示される状態である。第一退室状態は、第一監視対象者のユーザー退室情報で示される状態である。

制御部１４は、第一差異が存在すると判定すると、第一入室画像若しくは第二入室画像における第一差異を示す画像に第五マーキング処理を実行して、第五入室画像を作成し、又は第一退室画像若しくは第二退室画像における第一差異を示す画像に第五マーキング処理を実行して、第三退室画像を作成する。

第五マーキング処理は、退室画像と、入室画像との対比において、第一監視対象者を示す画像における第一差異の存在を見分けやすくする画像処理である。第五マーキング処理としては、例えば、第一差異を示す画像の明度を増加させる処理、第一差異を示す画像に色を付す処理又は第一差異を示す画像の輪郭を縁取る処理が挙げられる。なお、第五マーキング処理は、既に実行された画像処理により見分けがつく状態を維持して実行される。

画像表示部１８は、第五入室画像又は第三退室画像を更に表示する。

図１３は、実施形態４に係る監視端末装置２の画像表示部に表示された画面の一例を示す図である。画像表示画面８０は、入室画像８４と、退室画像８２とを含む。入室画像８４は、ユーザー８６、８８、９０及び９２を示す画像を含む。ユーザー８６は、第一監視対象者である。ユーザー８８〜９２は、第一非監視対象者である。ここで、入室画像８４は、第一非監視対象者を示す画像を含む。そして、図１３では、第一マーキング処理は、第一非監視対象者を示す画像の明度を低下させる処理である。よって、第一マーキング処理が実行される。このため、入室画像８４は、第一マーキング処理を実行して作成された第二入室画像である。

退室画像８２は、ユーザー８６を示す画像を含む。ユーザー８６は箱９４を抱えている。退室画像８２におけるユーザー８６は、入室画像８４におけるユーザー８６と同一人物である。ユーザー８６は第一監視対象者である。ここで、入室画像８４は、第一非監視対象者を示す画像を含まない。そして、第二マーキング処理は、第一非監視対象者を示す画像の明度を低下させる処理である。よって、第二マーキング処理は実行されず、第二退室画像は作成されない。

入室画像８４で示されるユーザー８６の第一入室状態と、退室画像８２で示されるユーザー８６の第一退室状態とを対比すると、退室画像８２は、入室画像８４に対して、ユーザー８６が箱９４を抱えている点が相違する。すなわち、退室画像８２には、第一差異としての箱９４が存在する。そして、図１３では、第五マーキング処理は、第一差異を示す画像に色を付す処理として設定されている。退室画像８２は、第一退室画像に対して第五マーキング処理が実行され作成された第三退室画像である。

続いて、図１４〜図１６を参照して、第一差異判定処理を説明する。図１４〜図１６は、実施形態４に係る第一差異判定処理を示すフローチャートである。

図１４及び図１５に示すように、実施形態４では、まず、実施形態１と同様に、第二画像作成処理が実行される（ステップＳ１００〜Ｓ１１８）。

次に、第一差異判定処理が実行される（ステップＳ１３６）。詳しくは、図１６に示すように、制御部１４は、第一監視対象者の第一入室状態と、第一退室状態とを対比する（ステップＳ１３８）。制御部１４は、第一入室状態と第一退室状態との間に第一差異が存在するか否かを判定する（ステップＳ１４０）。制御部１４は第一差異が存在しないと判定すると（ステップＳ１４０のＮｏ）、第一差異判定処理は終了する。制御部１４は第一差異が存在すると判定すると（ステップＳ１４０のＹｅｓ）、第一入室画像若しくは第二入室画像における第一差異を示す画像に第五マーキング処理を実行して（ステップＳ１４２）、第五入室画像を作成する（ステップＳ１４４）。又は、第一退室画像若しくは第二退室画像における第一差異を示す画像に第五マーキング処理を実行して（ステップＳ１４２）、第三退室画像を作成する（ステップＳ１４４）。第五マーキング処理は、第一差異がある入室画像（第一入室画像若しくは第二入室画像）又は退室画像（第一退室画像若しくは第二退室画像）に対して実行される。

制御部１４は、第五入室画像又は第三退室画像を画像表示部１８に更に表示する。

なお、図１３〜図１６では、第五マーキング処理を実行対象として、第一入室画像、第二入室画像、第一退室画像及び第二退室画像を例に挙げて説明した。第五マーキング処理は、第四入室画像に対して実行してもよい。

実施形態４に係る監視端末装置２は、第一監視対象者の第一入室状態と第一退室状態との第一差異を示す画像を含む第五入室画像又は第三退室画像を画像表示部に表示する。このため、実施形態４に係る監視端末装置２は、複数のユーザーが入退室する場合であっても、第一監視対象者の入室時及び退室時の差異を容易に確認でき、第一監視対象者を効率よく監視することができる。

［実施形態５］
図３及び図１７、図１８、図１９及び図２０を参照して、実施形態５に係る監視端末装置２について説明する。実施形態５は、更に第二差異判定処理を有する点で、実施形態１と異なる。以下、実施形態２について実施形態１と異なる事項について説明し、実施形態１と重複する部分についての説明は割愛する。図１７では、第一マーキング処理は実行されていない。第二マーキング処理、第三マーキング処理及び第六マーキング処理は、実行されている。第三マーキング処理は、第一非監視対象者を示す画像の明度を低下する処理である。第六マーキング処理は、第二差異を示す画像に色を付す処理である。第六マーキング処理は、実施形態１で説明した第一マーキング処理及び第二マーキング処理と異なる処理である。

第一非監視対象者は、第一監視対象者と同時に所定のエリアから退室する第三非監視対象者である。

制御部１４は、第三非監視対象者のユーザー入室情報及びユーザー退室情報に基づいて、所定のエリアに入室する際の第三非監視対象者の第二入室状態と、所定のエリアから退室する第三非監視対象者の第二退室状態とを対比する。制御部１４は、第二入室状態と、第二退室状態との間に第二差異が存在するか否かを判定する。

第二差異は、視覚で確認される外見上の差異であり、例えば、身に着けている物（より具体的には、服、靴、眼鏡、腕時計、帽子又はマスク等）及び持っている物（より具体的には、書類、荷物又は杖等）である。第二入室状態は、第三非監視対象者のユーザー入室情報で示される状態である。第二退室状態は、第三非監視対象者のユーザー退室情報で示される状態である。

制御部１４は、第二差異が存在すると判定すると、第二入室画像における第二差異を示す画像に第六マーキング処理を実行して、第六入室画像を作成する。又は制御部１４は、第二差異が存在すると判定すると、第二退室画像における第二差異を示す画像に第六マーキング処理を実行して、第四退室画像を作成する。

第六マーキング処理は、退室画像と、入室画像との対比において、第三非監視対象者を示す画像における第二差異の存在を見分けやすくする画像処理である。第六マーキング処理としては、例えば、第二差異を示す画像の明度を増加させる処理、第二差異を示す画像に色を付す処理又は第二差異を示す画像の輪郭を縁取る処理が挙げられる。なお、第六マーキング処理は、既に実行された画像処理により見分けがつく状態を維持して実行される。

画像表示部は、前記第六入室画像又は前記第四退室画像を更に表示する。

図１７は、実施形態５に係る監視端末装置２の画像表示部に表示された画面の一例を示す図である。画像表示画面１００は、退室画像１０２と、入室画像１０４と、入室画像１０６とを含む。入室画像１０４は、ユーザー１０８を示す画像を含む。ユーザー１０８は第一監視対象者である。ここで、入室画像１０４は、第一非監視対象者を示す画像を含まない。よって、第一マーキング処理が実行されない。このため、入室画像１０４は、第一入室画像である。

入室画像１０６は、ユーザー１１０を示す画像を含む。ユーザー１１０は第一非監視対象者である。ここで、入室画像１０６は、第一非監視対象者を示す画像を含む。そして、第三マーキング処理は、第一非監視対象者を示す画像の明度を低下させる処理である。よって、第三マーキング処理が実行される。このため、入室画像１０６は、第一マーキング処理が実行され作成された第三入室画像である。

退室画像１０２は、ユーザー１０８及び１１０を示す画像を含む。ユーザー１０８は第一監視対象者であり、入室画像１０４におけるユーザー１０８と同一人物である。ユーザー１１０は第一非監視対象者であり、入室画像１０６におけるユーザー１１０と同一人物である。入室画像１０６で示されるユーザー１１０の第二入室状態と、退室画像１０２で示されるユーザー１１０の第二退室状態とを対比すると、退室画像１０２は、入室画像１０６に対して、ユーザー１１０が帽子１１２を被っている点が相違する。すなわち、退室画像１０２には、第二差異としての帽子１１２が存在する。そして、図１７では、第六マーキング処理は、第二差異を示す画像に色を付す処理として設定されている。退室画像１０２は、第二退室画像に対して第六マーキング処理が実行され作成された第四退室画像である。

続いて、図１８〜図２０を参照して、第二差異判定処理について説明する。図１８〜図２０は、実施形態５に係る第二差異判定処理を示すフローチャートである。

図１８及び図１９に示すように、実施形態５では、まず、実施形態１と同様に、第二画像作成処理が実行される（ステップＳ１００〜Ｓ１１８）。

次に、第二差異判定処理が実行される（ステップＳ１４６）。詳しくは、図２０に示すように、制御部１４は、第三非監視対象者のユーザー入室情報及びユーザー退室情報に基づいて、所定のエリアに入室する際の第三非監視対象者の第二入室状態と、所定のエリアから退室する第三非監視対象者の第二退室状態とを対比する（ステップＳ１４８）。制御部１４は、第二入室状態と、第二退室状態との間に第二差異が存在するか否かを判定する（ステップＳ１５０）。

制御部１４は、第二差異が存在しないと判定すると（ステップＳ１５０のＮｏ）、第六マーキング処理は実行されず、第二差異判定処理は終了する。制御部１４は、第二差異が存在すると判定すると（ステップＳ１５０のＹｅｓ）、第二入室画像における第二差異を示す画像に第六マーキング処理を実行して（ステップＳ１５２）、第六入室画像を作成する（ステップＳ１５４）。又は、第二退室画像における第二差異を示す画像に第六マーキング処理を実行して（ステップＳ１５２）、第四退室画像を作成する（ステップＳ１５４）。

画像表示部１８は、第一入室画像又は第二入室画像、及び第一退室画像又は第二退室画像に加えて、第六入室画像又は第四退室画像を更に表示する（ステップＳ１２０）。

なお、図１８〜図２０では、第一監視対象者と第三非監視対象者とが異なる時刻に所定のエリアに入室する場合について説明した。第一監視対象者と第三非監視対象者とが所定のエリアに同時に入室する場合であっても、実施形態５に係る第二差異判定処理を実行することができる。

実施形態５に係る監視端末装置２は、第三監視対象者の第一入室状態と第一退室状態との第二差異を示す画像を含む第六入室画像又は第四退室画像を画像表示部に表示する。このため、実施形態５に係る監視端末装置２は、複数のユーザーが入室する場合であっても、第一監視対象者と関係する第三非監視対象者の入室時及び退室時の差異を容易に確認でき、第三非監視対象者を効率よく監視することができる。

［実施形態６］
図３、図１２、図２１、図２２、図２３及び図２４を参照して、実施形態６に係る監視端末装置２について説明する。実施形態６は、更に時刻バー作成処理を有する点で、実施形態３と異なる。以下、実施形態６について実施形態３と異なる事項について説明し、実施形態３と重複する部分についての説明は割愛する。

記憶部は、画像セットにユーザー入室情報と、ユーザー退室情報とを結び付けて記憶する。ユーザー入室情報は、所定のエリアに入室した時刻と、入室したゲートとを含む。ユーザー退室情報は、所定のエリアから退室した時刻と、退室したゲートとを含む。

制御部１４は、ユーザー退室情報と、第二入室画像とに基づいて、第一監視対象者が退室する第一退室時刻を基準として、第二非監視対象者を特定する。第二非監視対象者は、第一退室時刻より前に退室した者、第一退室時刻と同時に退室した者又は前記第一退室時刻より後に退室した者である。制御部１４は、第二入室画像のうち、第二非監視対象者を示す画像に第四マーキング処理を実行し、第四入室画像を作成する。制御部１４は、ユーザー入室情報と、ユーザー退室情報とに基づいて、第一退室時刻と、第一非監視対象者が退室する第二退室時刻とを示す時刻バーを作成する。

時刻バーは、第一退室時刻及び第二退室時刻に応じた位置にマークを有する。監視者が入力部１６を介して第一入室画像上又は第二入室画像上で第一非監視対象者を示す画像を選択すると、時刻バー上の第二退室時刻に応じた位置にフラグが付されて表示される。

画像表示部１８は、第四入室画像と前記時刻バーとを更に表示する。

図２１は、実施形態６に係る監視端末装置２の画像表示部に表示された画像表示画面の一例を示す。図２１では、第一マーキング処理、第二マーキング処理及び第四マーキング処理が実行されている。第四マーキング処理は、実施形態３で説明した第四マーキング処理と同一の処理である。

画像表示画面１４０は、時刻バー１４２を更に含む。時刻バー１４２は、マーク１４４、１４６及び１４８を含む。マーク１４４は、第一非監視対象者であるユーザー７２が退室した時間帯を示す。マーク１４６は、ユーザー６８及び７０が退室した時間帯を示す。マーク１４８は、第一非監視対象者であるユーザー７４が退室した時間帯を示す。マーク１４４〜１４８の下側には、退室時刻が付されている。そして、マーク１４４及び１４８の下側に付されている退室時刻は、第二退室時刻である。マーク１４６の下側に付されている退室時刻は、第一退室時刻及び第二退室時刻である。マーク１４４の上側には、フラグ１５０が付されている。フラグ中の７２はユーザー７２を示す。画像表示画面１４０では、監視者が、入力部１６を介して、ユーザー７２を選択した場面をしている。

画像表示画面１４０では、監視者が第一非監視対象者を選択すると、フラグが時刻バーに付されるため、第二退室時刻と、第一退室時刻及び他の第二退室時刻との前後関係を確認することができる。よって、実施形態６に係る監視端末装置２は、第一監視対象者が退室した時刻と、第二監視対象者が退室した時刻と、第一監視対象者に対する第一非監視対象者の退室した時刻の前後関係を容易に確認することができる。

続いて、図２２〜図２４を参照して、第四入室画像作成処理及び時刻バー作成処理について説明する。図２２〜図２４は、実施形態６に係る第四入室画像作成処理及び時刻バー作成処理を示すフローチャートである。

図１２、図２２及び図２３に示すように、実施形態６では、まず、実施形態３と同様に、第二画像作成処理（ステップＳ１００〜Ｓ１１８）及び第四入室画像作成処理（ステップＳ１２８〜Ｓ１３４）が実行される。

次に、時刻バー作成処理が実行される（ステップＳ１６６）。詳しくは、図２４に示すように、制御部１４は、ユーザー入室情報と、ユーザー退室情報とに基づいて、第一退室時刻と、第一非監視対象者が退室する第二退室時刻とを示す時刻バーを作成する（ステップＳ１６８）。制御部１４は、時刻バーを画像表示部１８に更に表示する（ステップＳ１２０）。

実施形態６に係る監視端末装置２は、時刻バーを表示するため、複数のユーザーの退室する時刻と、それらの時刻の前後関係と、時刻に関する第一監視対象者及び第一非監視対象者との関係とを容易に確認することができる。よって、実施形態６に係る監視端末装置２は、複数のユーザーを効率よく監視することができる。

［実施形態７］
図３、図２５及び図２６を参照して、実施形態７に係る表示処理方法を説明する。実施形態７は、実施形態１と実質的に同一である。以下、実施形態７について説明し、実施形態１と重複する部分についての説明をなるべく割愛するようにする。図２５及び図２６は、実施形態７に係る表示処理方法を示すフローチャートである。

表示処理方法は、監視端末装置２が実行する。表示処理方法は、第一取得ステップと、第二取得ステップと、第一判定ステップと、画像セット作成ステップと、特定ステップと、第一マーキング処理ステップと、第二マーキング処理ステップと、画像表示ステップとを備える。

第一取得ステップは、受信部１０が受信した所定のエリアに入室するユーザーを示す第一入室画像から、制御部１４がユーザー入室情報を取得する（ステップＳ１７２）。第二取得ステップは、受信部１０が受信した所定のエリアから退室するユーザーを示す第一退室画像から、制御部１４がユーザー退室情報を取得する（ステップＳ１７６）。第一判定ステップは、制御部１４が第一入室画像と、ユーザー入室情報と、第一退室画像と、ユーザー退室情報とに基づいて、第一入室画像と第一退室画像とが示すユーザーが同一人物であるか否かを判定する（ステップＳ１７８）。制御部１４が第一判定ステップにおいて、同一人物ではないと判定すると（ステップＳ１７８のＮｏ）、同一人物となるまで第一判定ステップを繰り返す。制御部１４が第一判定ステップにおいて、同一人物であると判定すると（ステップＳ１７８のＹｅｓ）、制御部１４が、第一入室画像と、第一退室画像とを結び付けて、特定のユーザーについての画像セットを作成する（ステップＳ１８０）。

特定ステップは、監視者が画像表示部１８に表示された第一入室画像が示すユーザーのうち、所定のエリアに入室するユーザーを監視すべきであると判定すると、判定結果に応じて、所定のエリアに入室するユーザーを第一監視対象者及び第一非監視対象者の何れかに特定する（ステップＳ１８２）。制御部１４は、第一入室画像に第一非監視対象者を示す画像が存在するか否かを判定する（ステップＳ１８４）。第一入室画像に第一非監視対象者を示す画像が存在しない場合（ステップＳ１８４のＮｏ）、ステップＳ１９０に進み、第一マーキング処理は実行されない。第一入室画像に第一非監視対象者を示す画像が存在する場合（ステップＳ１８４のＹｅｓ）、第一マーキング処理ステップは、第一入室画像のうち、第一非監視対象者を示す画像に第一マーキング処理を実行して（ステップＳ１８６）、第二入室画像を作成する（ステップＳ１８８）。制御部１４は、第一退室画像に第一非監視対象者を示す画像が存在するか否かを判定する（ステップＳ１９０）。第一退室画像に第一非監視対象者を示す画像が存在しない場合（ステップＳ１９０のＮｏ）、ステップＳ１９６に進み、第二マーキング処理は実行されない。第一退室画像に第一非監視対象者を示す画像が存在する場合（ステップＳ１９０のＹｅｓ）、第二マーキング処理ステップは、第一マーキング処理を実行する対象となった第一退室画像について、第一退室画像を示すユーザーを判定結果に基づいて第一監視対象者及び第一非監視対象者何れかに特定する。そして、第二マーキング処理ステップは、第一監視対象者及び第一非監視対象者を示す画像に第二マーキング処理を実行して（ステップＳ１９２）、第二退室画像を作成する（ステップＳ１９４）。画像表示ステップは、制御部１４が第一監視対象者を示す画像を含む第一入室画像又は第二入室画像と、同一の第一監視対象者を示す画像を含む第一退室画像又は第二退室画像とを画像表示部１８に表示させる（ステップＳ１９６）。

実施形態７に係る表示処理方法は、第一マーキング処理及び／又は第二マーキング処理を実行した第二画像を表示する。このため、複数のユーザーが所定のエリアに入退室する場合であっても、監視者は、視覚を通じて、監視すべきユーザーを容易に確認することができ、効率よく監視することができる。

本発明は、電気機器の分野に利用可能である。

Claims (12)

1. 所定のエリアの入室口から前記エリアへ入室するユーザー及び前記エリアの退室口から前記エリアを退室する前記ユーザーを監視するための監視端末装置であって、
   入室するユーザー及び退室するユーザーのうち、少なくとも一方が複数であり、
   制御部と、画像表示部とを備え、
   前記制御部は、第一入室画像において前記エリアに入室するユーザーを第一監視対象者及び第一非監視対象者の何れかに特定し、
   前記第一入室画像は、前記エリアに入室する前記ユーザーを示す画像を含み、
   前記制御部は、前記第一入室画像のうち、前記第一監視対象者又は前記第一非監視対象者を示す画像に第一マーキング処理を実行して、第二入室画像を作成し、
   前記制御部は、前記第一マーキング処理を実行する対象となった前記第一入室画像における前記第一監視対象者を示す第一退室画像において、前記エリアから退室する前記ユーザーを前記第一監視対象者及び前記第一非監視対象者の何れかに特定し、
   前記第一退室画像は、前記エリアを退室するユーザーを示す画像を含み、
   前記制御部は前記第一退室画像のうち、前記第一監視対象者又は前記第一非監視対象者を示す画像に第二マーキング処理を実行して、第二退室画像を作成し、
   前記画像表示部は、前記第一監視対象者を示す画像を含む前記第二入室画像、及び前記第一監視対象者と同一人物を示す画像を含む前記第二退室画像のうち少なくとも一方を表示する、監視端末装置。
2. 受信部と、記憶部と、入力部とを更に備え、
   前記受信部は、前記第一入室画像と、前記第一退室画像とを受信し、
   前記制御部は、前記第一入室画像に基づいて前記エリアに入室する前記ユーザーを示すユーザー入室情報と、前記第一退室画像に基づいて前記エリアから退室する前記ユーザーのユーザー退室情報とを取得し、
   前記記憶部は、前記第一入室画像と、前記第一退室画像と、前記ユーザー入室情報と、前記ユーザー退室情報とを記憶し、
   前記制御部は、前記ユーザー入室情報と、前記ユーザー退室情報とに基づいて、前記第一入室画像及び前記第一退室画像が示すユーザーが同一人物であるか否かを判定し、
   前記制御部が同一人物であると判定すると、前記記憶部は、同一のユーザーを示す前記第一入室画像と前記第一退室画像とを結び付けて、特定のユーザーに対する画像セットとして記憶し、
   前記画像表示部は、前記第一入室画像を表示し、
   監視者は、前記入力部を介して、前記画像表示部に表示された前記第一入室画像が示すユーザーのうち、前記エリアに入室するユーザーを監視すべきか否かを判定し、
   前記制御部は、判定結果に応じて、前記エリアに入室するユーザーを前記第一監視対象者及び前記第一非監視対象者の何れかに特定し、
   前記制御部は、前記第一入室画像のうち、前記第一監視対象者又は前記第一非監視対象者を示す画像に前記第一マーキング処理を実行して、前記第二入室画像を作成し、
   前記制御部は、前記第一マーキング処理を実行する対象となった前記第一入室画像について、前記第一監視対象者に対する画像セットとして結び付いている前記第一退室画像が示すユーザーを前記判定結果に基づいて前記第一監視対象者及び前記第一非監視対象者の何れかに特定し、
   前記制御部は前記第一退室画像のうち、前記第一監視対象者又は前記第一非監視対象者を示す画像に前記第二マーキング処理を実行して、前記第二退室画像を作成し、
   前記記憶部は、前記第二入室画像と、前記第二退室画像とを、前記画像セットと結び付けて記憶し、
   前記画像表示部は、前記第一監視対象者を示す画像を含む前記第一入室画像又は前記第二入室画像と、前記第一監視対象者と同一人物を示す画像を含む前記第一退室画像又は前記第二退室画像とを表示する、請求項１に記載の監視端末装置。
3. 少なくとも１人の前記第一非監視対象者が前記第一監視対象者と前記エリアから同時に退室し、
   前記第一監視対象者と前記エリアを同時に退室する前記第一非監視対象者のうち少なくとも１人が、前記第一監視対象者と同時に入室せず、
   前記制御部は、前記第二マーキング処理を実行する対象となった前記第一退室画像について、前記第一非監視対象者に対する画像セットとして結びついている前記第一入室画像が示す第一非監視対象者を示す画像に対して、第三マーキング処理を実行するか否かを判定し、
   前記制御部が前記第三マーキング処理を実行すると判定すると、前記制御部は、前記第一入室画像のうち、前記第一非監視対象者を示す画像に前記第三マーキング処理を実行して、第三入室画像を作成し、
   前記画像表示部は、前記第三入室画像を更に表示する、請求項２に記載の監視端末装置。
4. 前記ユーザー入室情報は、前記エリアに入室した時刻と、入室したゲートとを含み、
   前記ユーザー退室情報は、前記エリアから退室した時刻と、退室したゲートとを含み、
   前記記憶部は、前記画像セットに前記ユーザー入室情報と、前記ユーザー退室情報とを結び付けて記憶し、
   前記制御部は、前記ユーザー退室情報と、前記第二入室画像とに基づいて、前記第一監視対象者が退室する第一退室時刻を基準として、第二非監視対象者を特定し、
   前記第二非監視対象者は、前記第一退室時刻より前に退室した者、前記第一退室時刻と同時に退室した者又は前記第一退室時刻より後に退室した者であり、
   前記制御部は、前記第二入室画像のうち、前記第二非監視対象者を示す画像に第四マーキング処理を実行し、第四入室画像を作成し、
   前記画像表示部は、前記第四入室画像を更に表示する、請求項２に記載の監視端末装置。
5. 前記制御部は、前記第一監視対象者の前記ユーザー入室情報及び前記ユーザー退室情報に基づいて、前記エリアに入室する際の前記第一監視対象者の第一入室状態と、前記エリアから退室する際の前記第一監視対象者の第一退室状態とを対比し、前記第一入室状態と前記第一退室状態との間に第一差異が存在するか否かを判定し、
   前記制御部は、前記第一差異が存在すると判定すると、前記第一入室画像若しくは前記第二入室画像における前記第一差異を示す画像に第五マーキング処理を実行して、第五入室画像を作成し、又は前記第一退室画像若しくは前記第二退室画像における前記第一差異を示す画像に前記第五マーキング処理を実行して、第三退室画像を作成し、
   前記画像表示部は、前記第五入室画像又は前記第三退室画像を更に表示する、請求項２に記載の監視端末装置。
6. 前記第一非監視対象者が前記第一監視対象者と同時に前記エリアから退室する第三非監視対象者であり、
   前記制御部は、前記第三非監視対象者の前記ユーザー入室情報及び前記ユーザー退室情報に基づいて、前記エリアに入室する際の前記第三非監視対象者の第二入室状態と、前記エリアから退室する前記第三非監視対象者の第二退室状態とを対比し、
   前記制御部は、前記第二入室状態と、前記第二退室状態との間に第二差異が存在するか否かを判定し、
   前記制御部は、前記第二差異が存在すると判定すると、前記第二入室画像における前記第二差異を示す画像に第六マーキング処理を実行して、第六入室画像を作成し、又は前記第二退室画像における前記第二差異を示す画像に前記第六マーキング処理を実行して、第四退室画像を作成し、
   前記画像表示部は、前記第六入室画像又は前記第四退室画像を更に表示する、請求項２に記載の監視端末装置。
7. 前記ユーザー入室情報は、前記エリアに入室した時刻と、入室したゲートとを含み、
   前記ユーザー退室情報は、前記エリアから退室した時刻と、退室したゲートとを含み、
   前記記憶部は、前記画像セットに前記ユーザー入室情報と、前記ユーザー退室情報とを結び付けて記憶し、
   前記制御部は、前記ユーザー退室情報と、前記第二入室画像とに基づいて、前記第一監視対象者が退室する第一退室時刻を基準として、第二非監視対象者を特定し、
   前記第二非監視対象者は、前記第一退室時刻より前に退室した者、前記第一退室時刻と同時に退室した者又は前記第一退室時刻より後に退室した者であり、
   前記制御部は、前記第二入室画像のうち、前記第二非監視対象者を示す画像に第四マーキング処理を実行し、第四入室画像を作成し、
   前記制御部は、前記ユーザー入室情報と、前記ユーザー退室情報とに基づいて、前記第一退室時刻と、前記第一非監視対象者が退室する第二退室時刻とを示す時刻バーを作成し、
   前記時刻バーは、前記第一退室時刻及び前記第二退室時刻に応じた位置にマークを有し、
   前記監視者が前記入力部を介して前記第一入室画像上又は前記第二入室画像上で前記第一非監視対象者を示す画像を選択すると、前記時刻バー上の前記第二退室時刻に応じた位置にフラグが付されて表示され、
   前記画像表示部は、前記第四入室画像と前記時刻バーとを更に表示する、請求項２に記載の監視端末装置。
8. 前記入室口と前記退室口とが異なる、請求項２に記載の監視端末装置。
9. 前記入室口及び前記退室口のうち少なくとも一方が複数存在する、請求項２に記載の監視端末装置。
10. 前記第一マーキング処理は、前記第一非監視対象者を示す画像の明度を低下させる処理、前記第一監視対象者を示す画像の明度を増加させる処理、前記第一監視対象者を示す画像に色を付す処理又は前記第一監視対象者を示す画像の輪郭を縁取る処理を含む、請求項１に記載の監視端末装置。
11. 前記第二マーキング処理は、前記第一非監視対象者を示す画像の明度を低下させる処理、前記第一監視対象者を示す画像の明度を増加させる処理、前記第一監視対象者を示す画像に色を付す処理又は前記第一監視対象者を示す画像の輪郭を縁取る処理を含む、請求項１に記載の監視端末装置。
12. 監視端末装置が実行する表示処理方法であって、
    前記監視端末装置は、受信部と、制御部と、記憶部と、画像表示部と、入力部とを備え、
    前記受信部が受信した所定のエリアに入室するユーザーを示す第一入室画像から、前記制御部が前記エリアに入室するユーザーを示すユーザー入室情報を取得する、第一取得ステップと、
    前記受信部が受信した前記エリアから退室するユーザーを示す第一退室画像から、前記制御部が前記エリアから退室するユーザーを示すユーザー退室情報を取得する、第二取得ステップと、
    前記制御部が前記第一入室画像と、前記ユーザー入室情報と、前記第一退室画像と、前記ユーザー退室情報とに基づいて、前記第一入室画像と前記第一退室画像とが示すユーザーが同一人物であるか否かを判定する、第一判定ステップと、
    前記第一判定ステップにおいて、前記制御部が同一人物であると判定すると、前記制御部が前記第一入室画像と、前記第一退室画像とを結び付けて、特定のユーザーについての画像セットを作成する、画像セット作成ステップと、
    監視者が前記画像表示部に表示された前記第一入室画像が示すユーザーのうち、前記エリアに入室するユーザーを監視すべきであると判定すると、前記制御部が判定結果に応じて、前記エリアに入室するユーザーを第一監視対象者及び第一非監視対象者の何れかに特定する、特定ステップと、
    前記制御部が前記第一入室画像のうち、前記第一監視対象者又は前記第一非監視対象者を示す画像に第一マーキング処理を実行して、第二入室画像を作成する、第一マーキング処理ステップと、
    前記制御部が前記第一マーキング処理を実行する対象となった前記第一退室画像について、前記第一退室画像が示すユーザーを前記判定結果に基づいて前記第一監視対象者及び前記第一非監視対象者の何れかに特定し、前記第一監視対象者又は前記第一非監視対象者を示す画像に第二マーキング処理を実行して、第二退室画像を作成する、第二マーキング処理ステップと、
    前記制御部が前記第一監視対象者を示す画像を含む前記第一入室画像又は前記第二入室画像と、同一の前記第一監視対象者を示す画像を含む前記第一退室画像又は前記第二退室画像とを前記画像表示部に表示させる、画像表示ステップと
    を備える、表示処理方法。

Images