JP6703284B2 - 画像処理システム、画像処理システムの制御方法、およびプログラム - Google Patents

Description

本発明は、画像処理システム、画像処理システムの制御方法、およびプログラムに関する。

近年ネットワークカメラの映像を用いて人数をカウントするシステムが提案されている。例えば特許文献１には、カメラから出力された撮影画像を取得し、当該撮影画像に対して顔認識を行うことで、当該撮影画像中の顔の数に応じた人数を算出する仕組みが提案されている。

また特許文献２には、特定箇所を撮影し、撮影された映像を画像処理することによって当該特定箇所を通過した人数をカウントする仕組みが提案されている。

特開２０１１−２２１９０６号公報 特開２００８−２１７２０５号公報

特許文献１および特許文献２の仕組みを利用してネットワークカメラの画像（映像）を解析することで、画像中に写っている人の人数や、所定の位置を通過した人の人数を算出することができる。

しかしながら、これら特許文献にて提案された技術を利用した場合、例えばイベント会場などで参加した人の人数を数えたい場合に、係員などイベントの参加者ではない人まで数えてしまうことになってしまう。

また、長時間滞在した人や短時間しか滞在していない人も同様に数えてしまうためユーザごとの滞在時間を算出することができないという問題もあった。

また、同じユーザが何度もカウントされてしまうことによって、実人数を数えたい場合などには正しい人数を算出することができないとう問題もあった。

そこで本発明では、これら問題点に鑑み、画像から人数を確認する時に、所定の条件を満たす人物で入れ替わりのある人物による変動結果を把握することが可能な仕組みを提供することを目的とする。

本発明に係る画像処理システムは、画像に写った人物の人数をカウントすることが可能な画像処理システムであって、複数の画像を取得する取得手段と、人物認識により第１の画像と第２の画像のそれぞれに写った人物の人数をカウントするカウント手段と、複数の画像を用いて、前記第１の画像および第２の画像に写った人物のうち、所定の滞在時間に基づく条件を満たす人物を特定する人物特定手段と、前記条件を満たす人物において、人物認識による前記第１の画像と前記第２の画像における人物の入れ替わり結果と、前記人数のカウントに基づくカウント結果とを認識可能に表示制御する表示制御手段とを備える。

本発明に係る画像処理システムの制御方法は、画像に写った人物の人数をカウントすることが可能な画像処理システムの制御方法であって、複数の画像を取得する取得ステップと、人物認識により第１の画像と第２の画像のそれぞれに写った人物の人数をカウントするカウントステップと、複数の画像を用いて、前記第１の画像および第２の画像に写った人物のうち、所定の滞在時間に基づく条件を満たす人物を特定する人物特定ステップと、前記条件を満たす人物において、人物認識による前記第１の画像と前記第２の画像における人物の入れ替わり結果と、前記人数のカウントに基づくカウント結果とを認識可能に表示制御する表示制御ステップとを含む。

本発明に係るプログラムは、画像に写った人物の人数をカウントすることが可能な画像処理システムで読み取り可能なプログラムであって、前記画像処理システムを、複数の画像を取得する取得手段と、人物認識により第１の画像と第２の画像のそれぞれに写った人物の人数をカウントするカウント手段と、複数の画像を用いて、前記第１の画像および第２の画像に写った人物のうち、所定の滞在時間に基づく条件を満たす人物を特定する人物特定手段と、前記条件を満たす人物において、人物認識による前記第１の画像と前記第２の画像における人物の入れ替わり結果と、前記人数のカウントに基づくカウント結果とを認識可能に表示制御する表示制御手段として機能させるためのプログラムである。

本発明によると、画像から人数を確認する時に、所定の条件を満たす人物で入れ替わりのある人物による変動結果を把握することが可能な仕組みを提供することができる。

本発明の実施形態における画像処理システムのシステム構成の一例を示すシステム構成図である。 本発明の実施形態における画像処理システムのサーバ１００、クライアントＰＣ１０１に適用可能な情報処理装置のハードウェア構成の一例を示す図である。 本発明の実施形態におけるネットワークカメラ１０２のハードウェアの構成の一例を示す図である。 本発明の実施形態における画像処理システムの機能構成の一例を示す機能構成図である。 本発明の実施形態における人数カウントに利用される画像の一例を示す図である。 本発明の実施形態における通過人数カウントに利用される画像の一例を示す図である。 本発明の実施形態における画像処理システムの画像保存処理の一例を示すフローチャートである。 本発明の実施形態における画像処理システムの通過人数カウント処理の一例を示すフローチャートである。 本発明の実施形態における画像処理システムの人数カウント処理の一例を示すフローチャートである。 本発明の実施形態における画像処理システムの顔認識処理の一例を示すフローチャートである。 本発明の実施形態における画像処理システムの閲覧処理の一例を示すフローチャートである。 本発明の実施形態における画像処理システムの人物ＤＢの一例を示す図である。 本発明の実施形態における人数カウントの閲覧画面の一例を示す図である。 本発明の実施形態における通過人数カウントの閲覧画面の一例を示す図である。 別の実施形態に係る画像処理システムの通過人数カウント処理の一例を示すフローチャートである。 人物位置情報ＤＢの一例を示す図である。 境界越え情報ＤＢの一例を示す図である。 ラインカウンタＤＢの一例を示す図である。 別の実施形態に係る画像処理システムにおける画像に写った人数のカウント処理の一例を示すフローチャートである。 人数カウントの閲覧画面の一例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

図１は、本発明の実施形態における画像処理システムのシステム構成の一例を示すシステム構成図である。

本発明の実施形態における画像処理システム（情報処理システム）は、サーバ１００、クライアントＰＣ１０１、撮像装置であるネットワークカメラ１０２が、無線（または有線）ＬＡＮ１２０を介して通信接続可能に接続されている。尚、図１のシステム構成は一例であり、用途や目的に応じて様々な構成例がある。

サーバ１００は、ネットワークカメラ１０２において撮影された画像データを記憶管理する。また、サーバ１００は、当該サーバ１００で記憶管理する画像データを解析し、画像データに含まれるユーザの人数のカウントや、所定の領域を通過した人数のカウントを行う機能を有する。

本発明の実施形態における画像管理システムは、ネットワークカメラ１０２を複数［ネットワークカメラ１０２（Ａ）や（Ｂ）］含み、また、ＴＣＰ／ＩＰプロトコルで通信を行っており、各ネットワークカメラ１０２には、固定のＩＰアドレスが独自に割り当てられると共に、ネットワーク群毎に割り当てられた外部ポート番号が割り当てられている。

従って、サーバ１００では、受信した画像データが何れのネットワークカメラ１０２から送信されたものなのかを識別することが可能であり、受信した画像データと何れのネットワークカメラ１０２から送信されたものなのかを対応づけて記憶管理することが可能である。

ネットワークカメラ１０２は、例えば、企業の建物のフロアの打ち合わせスペースや催し物会場（以下、「所定の領域」ともいう）ごとに設けられ、例えばネットワークカメラ１０２（Ａ）は所定の領域全体の静止画または動画を撮影し、ネットワークカメラ１０２（Ｂ）はそこで撮影された人物を特定するための静止画または動画の撮影を行ったりする。

所定の領域の例としては、領域の全体を示す領域１０６、領域Ａ１０３、領域Ｂ１０４などである。領域Ａ１０３と領域Ｂ１０４の間に設けられた位置１０５は、当該位置１０５を通過したユーザ（ＵＳＥＲ）の人数をカウントする場合の基準位置である。すなわち、本位置は、領域Ａ１０３と領域Ｂ１０４とを区分けする境界である。本位置は、線状に設定されてもよいし、円状に設定されてもよいし、矩形で設定されてもよい。

クライアントＰＣ１０１は、サーバ１００で管理する画像データ（ネットワークカメラ１０２の映像）をユーザが閲覧するために用いられる。ユーザは、クライアントＰＣ１０１を介して、モニタリングシステムにログインすることにより、画像データの閲覧が可能となる。

次に、図２を用いて、図１に示したサーバ１００、クライアントＰＣ１０１に適用可能な情報処理装置のハードウェア構成の一例について説明する。

図２は、本発明の実施形態における画像処理システムのサーバ１００、クライアントＰＣ１０１に適用可能な情報処理装置のハードウェア構成の一例を示す図である。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるＣＦメモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。

次に、図３を用いて、図１に示したネットワークカメラ１０２のハードウェア構成の一例について説明する。

図３は、本発明の実施形態におけるネットワークカメラ１０２のハードウェアの構成の一例を示す図である。

ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０２あるいは外部メモリ３０５には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、画像処理サーバ１０８の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。

メモリコントローラ（ＭＣ）３０６は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像データ等を記憶するハードディスク（ＨＤ）やＰＣＭＣＩＡカードスロットにアダプタを介して接続されるＣＦメモリやスマートメディア（登録商標）等の外部メモリ３０５へのアクセスを制御する。

カメラ部３０７は、画像処理部３０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号を画像処理部３０８に対して出力する。

画像処理部３０８は、ＲＧＢ信号や捕色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成し、ＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像データとして外部メモリ３０５へ一時保管される。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、外部メモリ３０５に記憶された画像データは、通信Ｉ／Ｆコントローラ３０９によって外部機器へ送信される。以上で、図３の説明を終了する。

図４は、本発明の実施形態における画像処理システムの機能構成の一例を示す機能構成図である。

本実施形態に係る画像処理システムは、サーバ１００が、画像取得部４１１、人数カウント部４１２、人物認識部４１３、人物除外部４１４、および結果画面表示制御部４１５の各機能を有する。なお、サーバ１００は、図４に図示した機能構成に限られず、例えば、カウント除外対象であると判定された人物を記憶する記憶部、人物が所定の位置を通過した方向を示す通過方向情報を取得する通過方向取得部、人物が所定の領域に滞在している時間を算出する滞在時間算出手段等、その他の種々の機能構成を有していてもよい。

画像取得部４１１は、図７で説明するようにネットワークカメラ１０２で撮影した画像を取得する。画像には静止画および動画が含まれる。実施例では、ネットワークカメラ１０２（Ａ）は、所定の領域を撮影し、ネットワークカメラ１０２（Ｂ）は、識別された人物を認識し（例えば顔認証）、個人の特定を行うために利用する。

人数カウント部４１２は、ネットワークカメラ１０２（Ａ）で撮影された画像を利用して、図９で説明するように所定の領域に写っている人物の人数カウントや、図８で説明するように所定の位置を通過した人物の人数カウントを行う。

人物認識部４１３は、ネットワークカメラ１０２（Ｂ）で撮影された画像を利用して、画像に写っている人物の認証を行う。認証処理の一例については、図１０にて説明する。

人物除外部４１４は、画像取得部４１１により取得された画像に基づき、画像に写った人物が、人数カウント部４１２による人数のカウントから除外するカウント除外対象であるか否かを判定する。人物除外部４１４は、人数カウント部４１２による人数カウントから除外する人物を特定したり、認証された人物を図１２に示す人物テーブルや通過人物テーブルに保存したりする処理を行う。人物除外部４１４は、例えば、画像に写った人物が所定の位置を通過した通過方向を示す通過方向情報に基づき、所定の位置を通過した人物がカウント除外対象であるか否かを判定する。また、人物除外部４１４は、画像に写った人物の所定の領域における滞在時間に基づき、画像に写った人物がカウント除外対象であるか否かを判定する。

結果画面表示制御部４１５は、ユーザの要求に従って、画像処理結果をユーザの端末に表示するよう制御する処理を行う。

図５は、本発明の実施形態における人数カウントに利用される画像の一例を示す図である。

画像Ａ５０１は、ある場所における所定の領域が撮影された画像であり、画像Ｂ５０２は、画像Ａと同じ地点・同じ領域を異なる時刻に撮影された画像である。これらの画像は比較対象となる画像として管理される。

図５では、画像ＡにＡさんからＥさんまでの５名が写っていていて、例えば５分後の画像である画像Ｂには、同じ５名であっても、ＤさんとＥさんがいなくなり、ＦさんとＧさんが写っているという例である。ここで、例えばＡさん、Ｂさん、及びＣさんは、５分前の画像Ｂにも写っていたユーザであるので、人数カウントから除外される。すなわち、人物除外部４１４は、所定の領域５０１における滞在時間が５分以上であるＡさん、Ｂさん、及びＣさんを、カウント除外対象として判定する。そして、人数カウント部４１２は、人物除外部４１４によりカウント除外対象であると判定された人物を除外して人数カウントをおこなう。

また、例えば係員のためＡさんは人数カウントから除外するという設定も可能である。すなわち、人物除外部４１４は、既定の人物であることに基づきＡさんをカウント除外対象であると判定してもよい。なお、人数カウント部４１２は、人物除外部４１４によりカウント除外対象であると判定された人物に限られず、予め管理者等によって設定された人物を除外して人数カウントをおこなってもよい。

本実施形態では、ここで写っている人の変化状況を図１３で示す画面にて表示可能に構成されている。

図６は、本発明の実施形態における通過人数カウントに利用される画像の一例を示す図である。

ある場所における所定の領域が撮影された画像であり、それぞれ画像Ａ６０１→画像Ｂ６０２→画像Ｃ６０２の順に時間が経過したものである。

ここでは、所定の位置６０４を基準に領域Ａから領域Ｂへ移動（またはその逆の領域Ｂから領域Ａへ移動）した人数のカウントを行い、同じ方向に複数回移動する同一人物や既定のユーザをカウントから除外可能にするものである。ここで、同じ方向とは、ある一点からある一点に向かう直線上の全く同じ方向に限られず、例えば第一領域から第二領域に向かう方向として同じ方向であることをいう。便宜的に、領域Ａを基準として、領域Ｂに人物が移動した場合を「ＯＵＴ」、領域Ｂから領域Ａに人物が移動した場合を「ＩＮ」とカウントすることとして説明する。この場合、同じ方向とは、何れも「ＯＵＴ」（又は何れも「ＩＮ」）であることをいう。

画像Ａでは、Ｃさんが、領域Ａから領域Ｂに移動（所定の位置６０４を領域Ａから領域Ｂに移動）している様子を示している（ＯＵＴ）。

画像Ｂでは、Ｃさんが領域Ｂから領域Ａに移動し、Ｄさんが領域Ｂから領域Ａに移動した様子を示している（ＩＮ）。

画像Ｃでは、Ｃさんが再度領域Ａから領域Ｂに移動し、Ａさんが領域Ａから領域Ｂに移動した様子を示している（ＯＵＴ）。ここで、Ｃさんは同じ方向への２度目の移動となるので、人数カウントから除外される。すなわち、人物除外部４１４は、同じ通過方向に所定の位置６０４を複数回通過するＣさんを、カウント除外対象であると判定する。そして、人数カウント部４１２は、人物除外部４１４によりカウント除外対象であると判定された人物を除外して人数カウントをおこなう。

また、Ａさんは予め除外されることが既定されているので、初めての移動であっても除外される。すなわち、人物除外部４１４は、既定の人物であることに基づきＡさんをカウント除外対象であると判定してもよい。なお、人数カウント部４１２は、人物除外部４１４によりカウント除外対象であると判定された人物に限られず、予め管理者等によって設定された人物を除外して人数カウントをおこなってもよい。

図７は、本発明の実施形態における画像処理システムの画像保存処理の一例を示すフローチャートである。

本処理は、ネットワークカメラ１０２によって撮影された画像をサーバ１００に送信して保存する処理である。

ステップＳ７０１では、ネットワークカメラ１０２は、監視エリア（領域１０６）を撮影し、ステップＳ７０２で撮影した画像をサーバに送信する。

ステップＳ７０３でサーバ１００は、ネットワークカメラ１０２から画像を受信し、ステップＳ７０４で、録画ファイルとして受信した画像をサーバの外部メモリ２１１などに保存し処理を終了する。

ここで保存した画像を利用して本画像処理システムは、画像に写っているユーザの人数又は通過人数をカウントする。

図８は、本発明の実施形態における画像処理システムの通過人数カウント処理の一例を示すフローチャートである。

本処理は、所定の領域（例えば６０１）に設定された所定の位置（例えば６０４）を何人のユーザが通過したのかをカウントする処理であって、サーバに保存された画像から所定時間の画像を対象として処理を行う。

ステップＳ８０１では、ユーザや管理者に指定された所定時間繰り返し処理を行う。本実施例では、９：００から９：０５の５分間が指定されたものとして説明する。また、実際には、５分間分を動画にするには多数の画像から構成されるが、本実施例では、便宜的に３枚の画像を利用して説明する。

画像６０１は９：００、画像６０２は９：０３、画像６０３は９：０５に撮影されたものとする。

ステップＳ８０２では、ライン通過検知エリア情報を読み取る。具体的には、所定の位置６０４を通過した人物がいたかどうかの判定を行う。

ステップＳ８０３で、人物が識別（認識）できた場合はステップＳ８０４に進み、識別（認識）できなかった場合ステップＳ８１１に進み、ループの判定（所定時間経過したどうか）を行う。

ステップＳ８０４では、画像解析処理等により、ステップＳ８０２で所定の位置を通過したと判定された人物が、所定の位置を通過した方向を示す通過方向情報を取得する（通過方向取得手段）。通過方向情報とは、領域Ａから領域Ｂへ向かう第一方向と、領域Ｂから領域Ａへ向かう第二方向との何れかを示す情報であって、ここでは、領域Ａから領域Ｂへの移動（第一方向）を「ＯＵＴ」、領域Ｂから領域Ａへの移動（第二方向）を「ＩＮ」とする（逆でも構わない）。

ステップＳ８０５では、ステップＳ８０３において認識した人物を特定する処理を行う。本処理については、図１０にて説明するが、認識した人物を特定する処理である（人物特定手段）。この処理により、識別された人物のうち不要な人物を人数カウントから除外することができるようになる。

ステップＳ８０６は、ステップＳ８０３において認識された人物がカウント除外対象であるか否かを判定する。ステップＳ８０６で対象の人物がカウント除外対象であると判定された場合は、ステップＳ８０８に進み、当該人物の移動をカウント除外対象として記憶し（記憶手段）人数カウントに反映されないようにし、ステップＳ８０９に進む。ステップＳ８０６で対象の人物がカウント除外対象でないと判定された場合は、ステップＳ８０７に進み、ＩＮ／ＯＵＴの移動カウントをインクリメントし、ステップＳ８０９に進む。

ステップＳ８０９では、ステップＳ８０３で認識した人物の全ての処理が終了したかの確認を行い、終了していない場合はステップＳ８０４に戻り次の人物についての処理を行い、全人物に対する処理が完了した場合は、ステップＳ８１０に進む。

ステップＳ８１０では、本フローで処理した内容を結果テーブルに保存し、処理を終了する。なお、本処理は、本ステップでまとめて保存してもよいし、フローチャートの各ステップで都度保存するようにしてもよい。

次に図１２を利用して本フローチャートで保存される結果テーブル（人物テーブル）について説明する。

図１２は、本発明の実施形態における画像処理システムの人物ＤＢの一例を示す図である。人物ＤＢ１２００は、図９で説明する人数カウント処理の結果が保存された結果テーブルである。人物ＤＢ１２００には、画像Ａおよび画像Ｂで認識されたユーザのユーザ名およびそのユーザの種別が保存されている。詳細については後述する。

通過人物ＤＢ１２１０は、図８のライン通過カウント処理にて保存される結果テーブルである、通過人物ＤＢの一例である。

通過人物ＤＢ１２１０には、画像１２１１、その画像の撮影された時刻１２１２、通過方向１２１３、ユーザ１２１４、およびカウンタ１２１５が対応付いて記憶されている。

画像１２１１は、画像名であり、例えば画像のファイル名である。画像Ａ〜画像Ｃは、それぞれ図６の画像Ａ６０１〜画像Ｃ６０３に対応しており、それぞれ、９時０分、９時３分、９時５分に撮影されたものである。

通過方向１２１３は、ステップＳ８０４で検知された方向が記憶されており、ユーザ１２１４は、ステップＳ８０５で特定されたユーザが記憶される。

カウンタ１２１５は、ステップＳ８０７のＩＮ／ＯＵＴカウンタとなっており、ＩＮユーザおよびＯＵＴユーザの人数のカウンタである。例えば、ＯＵＴは２名、ＩＮは１名カウントされたことが分かる。

また、画像ＣのＣさんが除外となっている。これは、「所定時間内の同じ方向への同一ユーザの移動はカウントから除外」する設定による。すなわち、人物除外部４１４によって、所定時間内の同じ方向へ移動する同一ユーザがカウント除外対象であると判定され、その判定結果が結果テーブルに保存されている。

また、画像ＣのＡさんが除外となっている。これは、図６に示すように、「Ａさんは既定で（除外）」する設定による。すなわち、人物除外部４１４によって、既定のユーザがカウント除外対象者であると判定され、その判定結果が結果テーブルに保存される。設定は本設定以外にも予め管理者によって設定することが可能になっている。

図９は、本発明の実施形態における画像処理システムの人数カウント処理の一例を示すフローチャートである。

本処理は、所定の領域（例えば５０１）に何人のユーザが写っているのかをカウントする処理であって、サーバに保存された画像を対象とする。

例えば、画像Ａ５０１にも画像Ｂ５０２にも５名写っているが、２枚の画像を比較して、同じユーザを除外したり、所定のユーザを除外したり、新しいユーザの人数だけを表示したりする処理を行うことができる。すなわち、予め設定された除外対象者に限られず、画像に基づき、当該人物がカウント除外対象であるか否かを判定し、カウント除外対象であると判定された人物を人数カウントから除外する処理を行うことができる。

また、本処理は、画像の比較を行うので、セットされた所定の枚数の人数カウントを行うようになっており、本実施例では、画像Ａと画像Ｂとで２枚が所定の枚数となる。

ステップＳ９０１で、エリア情報を読み取る。エリア情報とは例えば図１の領域１０６のことであり、ネットワークカメラ１０２でプリセットされて撮影された領域の画像に対応する。

ステップＳ９０２で、領域内で人物を識別（認識）したかどうかの判定を行い、識別した場合は、ステップＳ９０３に進み、人物特定処理を行う。人物特定処理は図１０にて説明するが、人物特定処理により、当該認識された人物が除外対象かどうか決定される。

ステップＳ９０４では、ステップＳ９０２で認識された人物が除外対象かどうかの判定を行い、当該人物が除外対象であると判定された場合はステップＳ９０６に進み、当該人物が除外対象でないと判定された場合はステップＳ９０５に進む。

ステップＳ９０６では、除外対象であると判定された人物を人数カウントに反映されないようにし、ステップＳ９０７に進む。ステップＳ９０５では、ステップＳ９０２で認識された人物の人数をカウントし、ステップＳ９０７へ進む。

ステップＳ９０７では、全画像（ここでは２枚）についての処理が完了したかどうかの判定を行い、処理が完了していない場合は、ステップＳ９０３に戻り、処理が完了した場合は、ステップＳ９０８に進み、結果テーブルに処理の内容を保存して処理を終了する。なお、本処理は、本ステップでまとめて保存してもよいし、フローチャートの各ステップで都度保存するようにしてもよい。

本フローチャートで保存される結果テーブルについて、図１２の人物ＤＢ１２００を利用して説明する。画像Ａは９時０分に撮影された画像で、画像Ｂは９時５分に撮影された画像である。

人物ＤＢ１２００は、それぞれの画像について、認識されたユーザの人数と、そのユーザが除外対象なのかどうかと、を管理している。

画像Ａに対応する人物ＤＢ１２００には、ユーザ種別１２０１とユーザ名が記憶されている。当該人物ＤＢ１２００には、ユーザ名１２０２として、図５の画像５０１に基づき認識されたユーザＡ〜Ｅさんの５人の情報が格納されている。また、既定で除外対象とされるユーザＡさんのユーザ種別１２０１が「既定」とされている。。

画像Ｂに対応する人物ＤＢ１２００には、ユーザ名１２０４として、ユーザＡ〜Ｃ、Ｆ、Ｇさの５人の情報が格納されている。画像Ａには存在しないユーザ（新規）であるユーザＦ、Ｇさんのユーザ種別１２０３は空白となっている。

またユーザＡさんのユーザ種別１２０４が「既定」とされている他、画像Ａでも特定されたユーザＡ〜Ｃさんのユーザ種別１２０４は、「特定済」として（特定済・Ａ）として記憶されている。すなわち、人物除外部４１４によって、所定時間経過後も同じフロアに位置する同一ユーザがカウント除外対象であると判定され、その判定結果を結果テーブルに保存する。ここでは、特定済のユーザや既定のユーザを除外対象として扱うものとする。

図１０は、本発明の実施形態における画像処理システムの顔認識処理の一例を示すフローチャートである。

この顔認識処理は、図８のＳ８０５および図９のステップＳ９０３の人物特定処理に対応する。本実施例では、顔認識による人物特定処理について説明するが、人物が特定できれば顔認識処理に限られず何の技術を用いてよい。

ステップＳ１００１では、画像で認識された人物イメージを受信し、ステップＳ１００２では、当該人物の特徴点を切り出して個人特定を行う。この人物の特徴点を切り出して個人特定を行う処理は、既に提案されている技術を利用するものとする。

ステップＳ１００３では、特定された人物が結果テーブル（図８の場合は、通過人物ＤＢ１２１０、図９の場合は、人物ＤＢ１２００）に登録されているかどうかを確認し、登録済の場合は、ステップＳ１００６に進み、登録済でない場合は、ステップＳ１００４に進む。

ステップＳ１００６では、結果テーブルに登録済みの人物を、除外人物（除外対象）として返信する。登録済とは、人物ＤＢ１２００の場合は、ユーザ種別１２０１，１２０３が除外対象として登録されているかどうかによって判定する。具体的には、画像Ａの場合はＡさんが、ユーザ種別が既定なので除外対象となり、画像Ｂの場合は、既定のＡさん、および特定済のＡ〜Ｃさんが除外人物（除外対象）として返信され、処理が終了する。

また、通過人物ＤＢ１２１０の場合は、既定のＡさん、および、同じ方向に２度目の移動（複数回移動）となる画像ＣのＣさん（ＯＵＴ）が除外人物（除外対象）として返信され、処理が終了する。

ステップＳ１００４では、ステップＳ１００３で登録済でないと判定された人物を結果テーブルに（除外として）登録する。例えば、人物ＤＢ１２００においては、画像Ａに対応する人物ＤＢ１２００において特定済であることに基づく登録がなされていないＡ〜Ｃさんが、画像Ｂに対応する人物ＤＢ１２００において、画像Ａで特定済であることが登録される。

また、通過人物ＤＢ１２１０においては、同一ユーザが同一方向への移動である場合で登録されていないケースである画像ＣのＣさん（ＯＵＴ）および、既定ユーザである場合の画像ＣのＡさん（ＯＵＴ・既定）が除外対象として登録される。続いて、ステップＳ１００５では、ステップＳ１００４で登録された人物が非除外人物（非除外対象）として返信され、処理を終了する。

図１１は、本発明の実施形態における画像処理システムの閲覧処理の一例を示すフローチャートである。

本処理は、画像処理された結果をユーザからの指示によりユーザの端末へ表示制御する処理である。

ステップＳ１１０１では、表示するカメラの選択を行う。例えばネットワークカメラ１０２（Ａ）のシリアル番号や名称を選択し、ステップＳ１１０２で選択したカメラで撮影された画像の要求を行う。この画像は、静止画形式であっても動画形式であってもＬＩＶＥ動画であっても構わない。

ステップＳ１１０３で、要求する画像が、人数カウント（図５）なのかライン通過人数カウント（図６）なのかの判定を行い、人数カウントの場合はステップＳ１１０４に進み、ＬＩＮＥ通過の場合はステップＳ１１０５に進む。

ステップＳ１１０４では、人数情報として図１３に示す人数カウントの閲覧画面を表示すべく処理をする。ステップＳ１１０５では、図１４に示す通過人数カウントの閲覧画面を表示すべく処理をする。閲覧画面の詳細についは、図１３および図１４を利用して後述する。

ステップＳ１１０６では、表示すべき項目を閲覧画面に画像合成する処理を行い、ステップＳ１１０７でクライアントの画面に表示すべく画面の表示制御を行い、処理を終了する。

図１３は、本発明の実施形態における人数カウントの閲覧画面の一例を示す図である。

人数カウント閲覧画面１３０１および人数カウント閲覧画面１３１０の二つの例について説明する。

人数カウント閲覧画面１３０１では、現在の画像１３０２、認識した人数（５名）１３０３、既定の除外対象（１名）１３０４、個人特定済の除外対象（３名）１３０５、および当該画面にて新たに認識された人物および人数（２名）１３０６が表示される。

人数カウント閲覧画面１３１０は、１３０１の別の閲覧画面例であり、１３０１の表示内容を含んで表示することも可能である。

除外対象者を除いたカウント人数、既定の除外対象人数１３１１および、取得した画像が表示される。

また、カウントした人物を太枠などの枠線で囲って表示することで視認性を高めてもよく、また、既定の除外対象者であるＡさんを異なる色や線で他のユーザと識別可能に表示してもよい。

また、人物特定処理において個人特定できたユーザにはユーザ名（例えばＡさんやＢさんなど）を合成して表示し、個人特定できなかったユーザには何も表示しないなど、表示を異ならせることも有効である。

図１４は、本発明の実施形態における通過人数カウントの閲覧画面の一例を示す図である。

通過人数カウント閲覧画面１４０１および通過人数カウント閲覧画面１４１０の二つの例について説明する。

通過人数カウント閲覧画面１４０１では、所定のライン（位置）を通過した人数および方向１４０２、既定の除外対象（１名）１４０３、および２度通過することによる除外者および人数１４０４が表示される。

通過人数カウント閲覧画面１４１０は、１４０１の別の閲覧画面例であり、１４０１の表示内容を含んで表示することも可能である。

通過人数／方向／除外数１４１１および、取得した画像が表示される。実施例では、ＩＮ（１名）、ＯＵＴ（２名）、除外数（２名）となっているが、この除外数は、１４０３および１４０４の両方の除外対象を含んだものである。

画像には、ライン通過によりカウントされた人物を太枠などの枠線で囲って表示することで視認性を高めてもよく、また、既定の除外対象者であるＡさんを異なる色や線で他のユーザと識別可能に表示してもよい。また、ライン通過されなかったユーザ１４１２には枠線などの協調表示をせず（便宜上点線で示しているが、何も表示しなくてもよい）通過した人物と識別可能に表示することも可能である。

また、人物特定処理において個人特定できたユーザにはユーザ名（例えばＡさんやＢさんなど）を合成して表示し、個人特定できなかったユーザには何も表示しないなど、表示を異ならせることも有効である。

次に、通過人数カウント処理を行う場合に適用可能な別の実施形態に係る画像処理システムについて説明する。当該別の実施形態では、人物除外部４１４が、境界ラインを越えた人物が、境界ライン上をうろうろする人物、すなわち所定の位置を所定時間（例えば５分程度）内で繰り返し通過する（跨ぐ）人物であるか否かに基づき、カウント除外対象であるか否かを判定する点が、上記実施形態とは異なる。以下、この判定を、「うろうろ除外判定」ともいう。

以下、図１５を参照して、当該別の実施形態について詳述する。図１５は、別の実施形態に係る画像処理システムの通過人数カウント処理の一例を示すフローチャートである。

本処理は、所定の領域（例えば画像６０１に写った領域）に設定された所定の境界ライン（例えば位置６０４）を何人のユーザが通過したのかをカウントする通過人数カウント処理において、所定時間内に境界ライン上をうろうろと繰り返し通過する人物を人数カウントから除外する処理である。本処理は、画像処理システムのサーバ１００が行う。

本処理は、例えば、本処理を開始するための開始指示がユーザによって入力された場合に開始する。また、本処理は、例えば、後述するステップＳ１５０４で全ての人物について解析したと判定された場合、ユーザによる終了指示が入力された場合、又は、予め設定された処理時間が完了した場合等に、終了する。

まず、ステップＳ１５０１では、境界ライン情報、および、うろうろ見なし間隔時間を取得する。境界ライン情報、および、うろうろ見なし時間間隔は、例えば予めユーザ等によって設定された設定情報から取得される。

境界ライン情報は、境界ラインの位置情報であって、例えば画像６０１の左上端を基準とするピクセル座標で示される。うろうろ見なし間隔時間は、同一人物が境界ラインを複数回通過するタイミングの間隔を、領域Ａから領域Ｂ（又は領域Ｂから領域Ａ）に移動するために境界ラインを通過しているのではなく単に境界ライン上をうろうろと徘徊しているものと見なす時間であって、例えば５分と設定される。

続いて、ステップＳ１５０２では、画像取得部４１１が、ネットワークカメラ１０２により撮影された画像を取得する。画像取得部４１１は、例えば所定の時間内で撮影された画像を取得する。

続いて、ステップＳ１５０３では、人物認識部４１３が、ステップＳ１５０３で取得した画像に写っている全人物とその位置を認識して、全人物とその位置のリストをメモリ上に作成する。

続いて、ステップＳ１５０４では、ステップＳ１５０３で作成したリスト上に、解析をしていない人物がいるか否かを判定する。ここで、解析とは、後述するステップＳ１５０５以降のステップの処理を行うことをいう。

解析をしていない人物がいないと判定された場合（ステップＳ１５０４；ＮＯ）、すなわち全ての人物について解析をした場合には、処理を終了する。なお、この場合に、処理を終了せずにステップＳ１５０３の処理に戻り、再度画像を取得してステップＳ１５０４以降の処理を繰り返してもよい。

解析していない人物がいると判定された場合には（ステップＳ１５０４；ＹＥＳ）、ステップＳ１５０５の処理へ進む。すなわち、全ての人物について解析が完了するまで、ステップＳ１５０５以降の処理を繰り返す。

続いて、ステップＳ１５０５では、ステップＳ１５０３で作成したリスト上の解析をしていない未処理の人物のうち、次に解析をする人物情報を取得する。

続いて、ステップＳ１５０６では、人物認識部４１３が、ステップＳ１５０５で取得された次に解析をする人物情報が示す人物と同一の人物を認識する。

続いて、ステップＳ１５０７では、人物認識部４１３が、ステップＳ１５０６で同一人物と認識した人物の位置情報をキャッシュする。具体的には、図１６に示されるような人物位置情報ＤＢ１６００として保存する。図１６は、人物位置情報ＤＢ１６００の一例を示す図である。

図１６に示されるように、人物位置情報ＤＢ１６００には、タイムスタンプ１６０１、人物ＩＤ１６０２、カメラＩＤ１６０３、および位置情報１６０４が、互いに対応付けられて格納されている。

タイムスタンプ１６０１は、人物が認識された画像をネットワークカメラで撮影した日時を示す文字列である。図１６の例では、タイムスタンプ１６０１の日時が時系列で上から順に並ぶように格納されている。例えば、タイムスタンプ１６０１として「2018.07.27 12:00:01:00」の次に、タイムスタンプ１６０１として「2018.07.27 12:00:00:00」が格納されている。すなわち、タイムスタンプ１６０１が「2018.07.27 12:00:00:00」である日時と、タイムスタンプ１６０１が「2018.07.27 12:00:01:00」である日時とは、時系列的に互いに前後関係にある。以下、このような前後関係にある日時のうち、タイムスタンプ１６０１が「2018.07.27 12:00:00:00」である前の時間を単に「前時間」ともいい、タイムスタンプ１６０１が「2018.07.27 12:00:01:00」である後の時間を単に「後時間」ともいう。

なお、図１６の例では、図示を省略しているが、実際には、図示したタイムスタンプ１６０１の日時よりも前の日時を含む所定時間のタイムスタンプ１６０１に対応付けられたデータが格納されている。

人物ＩＤ１６０２は、ステップＳ１５０６で認識した人物を示す識別情報である。カメラＩＤ１６０３は、ステップＳ１５０６で認識した人物を撮影したネットワークカメラ１０２を示す識別情報である。位置情報１６０４は、ステップＳ１５０６で認識した人物の位置情報であって、例えば画像６０１の左上端を基準とするピクセル座標で示される。位置情報１６０４ａは、Ｘ座標で示される位置情報であって、位置情報１６０４ｂは、Ｙ座標で示される位置情報である。

再度図１５を参照し、続くステップＳ１５０８では、ステップＳ１５０６で同一人物と認識した人物について、人物位置情報ＤＢ１６００に基づき、例えば１時間等の所定時間内での移動位置および移動方向を算出する。

移動位置は、同一人物が所定時間内に移動した位置である。移動位置は、例えば同一の人物ＩＤ１６０２かつ所定時間内のタイムスタンプ１６０１に対応付けられた位置情報１６０４が示す各位置として算出される。

移動方向は、同一人物が所定時間内に移動した方向である。移動方向は、例えば、算出した各位置に基づき、前時間での位置から後時間での位置に向かう方向を示すベクトルとして算出される。

続いて、ステップＳ１５０９では、ステップＳ１５０１で取得された境界ライン情報と、ステップＳ１５０８で算出された移動位置および移動方向とに基づき、同一人物が境界ラインを通過したか否かを判定する。

同一人物が境界ラインを通過していないと判定された場合（ステップＳ１５０９；ＮＯ）、ステップＳ１５０４に戻り、解析をしていない人物がいるか否かの判定が行われる。同一人物が境界ラインを通過したと判定された場合（ステップＳ１５０９；ＹＥＳ）、ステップＳ１５１０に進む。

ステップＳ１５１０では、ステップＳ１５０９において境界ラインを通過したと判定された人物について、境界ラインの通過情報をキャッシュする。具体的には、境界ラインの通過情報を、図１７に示されるような境界越え情報ＤＢ1７００として保存する。図１７は、境界越え情報ＤＢ１７００の一例を示す図である。

図１７に示されるように、境界越え情報ＤＢ１７００には、タイムスタンプ１７０１、人物ＩＤ１７０２、カメラＩＤ１７０３、および境界越え方向１７０４が、互いに対応付けられて格納されている。

タイムスタンプ１７０１は、同一人物が境界ラインを通過したときの時間を示す文字列である。人物ＩＤ１７０２は、ステップＳ１５０９で境界ラインを通過したと判定された人物を示す識別情報である。カメラＩＤ１７０３は、ステップＳ１５０９で境界ラインを通過したと判定された人物を撮影したネットワークカメラ１０２を示す識別情報である。

境界越え方向１７０４は、ステップＳ１５０９で境界ラインを通過したと判定された人物の境界ラインを越えた方向を示す情報であって、前述した「ＩＮ」又は「ＯＵＴ」で示される。境界越え方向１７０４は、例えば、ステップＳ１５０８で算出された移動位置および移動方向と、ステップＳ１５０１で取得された境界ライン情報とに基づき算出され（通過方向情報取得手段）、記憶される。

続いて、ステップＳ１５１１では、ステップＳ１５１０で記憶された境界越え情報ＤＢ１７００を参照し、同一人物が、所定の時間（例えば、１時間）内に境界ラインを通過した情報を複数検索する。

続いて、ステップＳ１５１２では、ステップＳ１５１１で検索された情報に基づき、境界ラインをうろうろ通過しているか否かを判定する。例えば、ステップＳ１５０１で取得したうろうろ見なし間隔時間（例えば、５分）内において、反対方向への移動（「ＩＮ」から「ＯＵＴ」、又は、「ＯＵＴ」から「ＩＮ」への移動）が１回以上あった場合には、境界ラインをうろうろ通過していると判定する。

ステップＳ１５１２において境界ラインをうろうろ通過していると判定された場合（ステップＳ１５１２；ＹＥＳ）には、ステップＳ１５１３に進む。ステップＳ１５１３では、人物除外部４１４が、境界ラインを通過した人物をカウント除外対象であると判定し、人数カウント部４１２が、カウント除外対象と判定された人物の人数をカウントから除外する。ステップＳ１５１３の後は、ステップＳ１５０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。

なお、本明細書において、カウントから除外するとは、人数のカウントをインクリメントしない場合だけでなく、一度インクリメントしたカウントをデクリメントする場合も含む。

ステップＳ１５１２において境界ラインをうろうろ通過していないと判定された場合（ステップＳ１５１２；ＮＯ）には、ステップＳ１５１４に進み、通常の人数カウント処理と同様の処理を行う。具体的には、まずステップＳ１５１４において、テップＳ１５１１で検索された情報に基づき、同一人物が同じ方向へ複数回移動したか否かを判定する。

ステップＳ１５１４において同じ方向へ複数回移動したと判定された場合（ステップＳ１５１４；ＹＥＳ）、ステップＳ１５１５へ進み、人物除外部４１４が、境界ラインを通過した人物をカウント除外対象であると判定し、人数カウント部４１２が、カウント除外対象と判定された人物の人数をカウントから除外する。ステップＳ１５１４の後は、ステップＳ１５０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。

ステップＳ１５１４において同じ方向へ複数回移動していないと判定された場合（ステップＳ１５１４；ＮＯ）、ステップＳ１５１６へ進み、ＩＮ／ＯＵＴの通過方向毎に、境界ラインを通過した人数のカウントをインクリメントする。ステップＳ１５１６の後は、ステップＳ１５０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。

ステップＳ１５１６においてインクリメントされた人数カウントの結果は、例えば図１８に示されるようなラインカウンタＤＢ１８００として保存される。図１８は、ラインカウンタＤＢ１８００の一例を示す図である。

図１８に示されるように、ラインカウンタＤＢ１８００には、タイムスタンプ１８０１、カメラＩＤ１８０２、およびカウント数１８０３が、互いに対応付けられて格納されている。

タイムスタンプ１８０１は、人数カウントがインクリメントされた直近の日時を示す文字列である。カメラＩＤ１８０２は、人数カウントがインクリメントされた人物を撮影したネットワークカメラ１０２を示す識別情報である。カウント数１８０３は、カメラＩＤおよび通過方向毎にインクリメントされた人数であって、ある始点からの総加算人数である。カウント数１８０３ａは、「ＩＮ」方向へ通過した人数であり、カウント数１８０３ｂは、「ＯＵＴ」方向へ通過した人数である。

図１８に示されるように、ステップＳ１５０６においては、カメラＩＤおよび通過方向毎にカウントされた人数が記憶される。

以上、本実施形態によれば、人物が境界ラインを通過した通過方向に基づき、同一人物が第一方向（例えば「ＩＮ」）に移動した後、所定のうろうろ見なし間隔時間内に、第二方向（例えば「ＯＵＴ」）に移動した場合には、当該同一人物が通過カウントから除外される。よって、領域Ａから領域Ｂ（又は領域Ｂから領域Ａ）に移動するために境界ラインを通過しているのではなく、単に境界ライン上をうろうろと徘徊しているような人物を、通過人数カウントのノイズとして除去することができる。

次に、画像に写った人数のカウント処理を行う場合に適用可能な別の実施形態に係る画像処理システムについて説明する。当該別の実施形態では、人物除外部４１４が、所定の領域における長時間滞在者および短時間滞在者の少なくとも一方をカウント除外対象と判定する点が、上記実施形態とは異なる。

以下、図１９を参照して、当該別の実施形態について詳述する。図１９は、別の実施形態に係る画像処理システムにおける画像に写った人数のカウント処理の一例を示すフローチャートである。

本処理は、画像に含まれる人物の人数をカウントする人数カウント処理において、所定の領域（例えば領域６０１内の一部の領域）における長時間滞在者および短時間滞在者の少なくとも何れかを人数カウントから除外する処理である。本処理は、画像処理システムのサーバ１００が行う。

本処理は、例えば、本処理を開始するための開始指示がユーザによって入力された場合に開始する。また、本処理は、例えば、後述するステップＳ１９０４で全ての人物について解析したと判定された場合、ユーザによる終了指示が入力された場合、又は、予め設定された処理時間が完了した場合等に、終了する。

まず、ステップＳ１９０１では、滞在領域の位置情報、および、滞在判定時間を取得する。所定の領域の位置情報、および、滞在判定時間は、例えば予めユーザ等によって設定された設定情報から取得される。

滞在領域、例えば領域６０１中の一部の所定の領域であって、矩形や円形等の所定の形状を呈するように囲まれた領域である。滞在領域の位置情報は、例えば、領域６０１を写す画像の左上端を基準とするピクセル座標で示される。滞在判定時間は、滞在領域に同一人物が滞在する時間が長時間であるか短時間であるかを判定するための時間である。滞在判定時間は、例えば、長時間であるか否かを判定するための長時間滞在判定時間（例えば１時間）と、短時間であるか否かを判定するための短時間滞在判定時間（例えば１０分）と、を含む。

続くステップＳ１９０２〜ステップＳ１９０７の処理は、前述した図１５におけるステップＳ１５０２〜ステップＳ１５０７の処理と同様であるため、その説明を省略する。

ステップＳ１９０７に続くステップＳ１９０８では、ステップＳ１９０１で取得された滞在領域の位置情報と、ステップＳ１９０７でキャッシュされた人物の位置情報とに基づき、ステップＳ１９０６で認識された同一人物が滞在領域に入っているか否かを判定する。

ステップＳ１９０８において同一人物が滞在領域に入っていないと判定された場合（ステップＳ１９０８；ＮＯ）、ステップＳ１９０４に戻り、解析をしていない人物がいるか否かの判定が行われる。ステップＳ１９０８において同一人物が滞在領域に入っていると判定された場合（ステップＳ１９０８；ＹＥＳ）、ステップＳ１９０９に進む。

ステップＳ１９０９では、ステップＳ１９０８で滞在領域に入っていると判定された同一人物の滞在時間を算出する。具体的には、ステップＳ１９０７で記憶した人物位置情報ＤＢ１６００に基づき、滞在領域に入っていると判定された同一人物に紐づく最新の時間帯を検索し、当該時間帯の中で最も古い時刻と最も新しい時刻との差分を算出することで、同一人物の滞在時間を算出する。

続いて、ステップＳ１９１０では、ステップＳ１９０９で算出した滞在時間が、ステップＳ１９０１で取得した長時間滞在判定時間以上であるか否かを判定する。すなわち、認識された同一人物が滞在領域において所定の時間（例えば、１時間）以上滞在している長時間滞在者であるか否かを判定する。

ステップＳ１９１０において滞在時間が長時間滞在判定時間以上であると判定された場合（ステップＳ１９１０；ＹＥＳ）、ステップＳ１９１１に進む。ステップＳ１９１１では、人物除外部４１４が、長時間滞在者と判定された人物をカウント除外対象であると判定し、人数カウント部４１２が、カウント除外対象と判定された人物の人数をカウントから除外する。ステップＳ１９１１の後は、ステップＳ１９０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。

ステップＳ１９１１においてカウント除外された人物は、カウント除外されるタイミングで、長時間滞在によるカウント除外対象として記憶される。また、ステップＳ１９１１においてカウント除外された人数は、カウント除外されるタイミングで、長時間滞在によるカウント除外人数としてインクリメントされる。

ステップＳ１９１０において滞在時間が長時間滞在判定時間以上でないと判定された場合（ステップＳ１９１０；ＮＯ）、ステップＳ１９１２に進む。ステップＳ１９１２では、ステップＳ１９０９で算出した滞在時間が、ステップＳ１９０１で取得した短時間滞在判定時間以上であるか否かを判定する。すなわち、認識された同一人物が滞在領域において所定の時間（例えば、１０分）未満しか滞在していない短時間滞在者であるか否かを判定する。

ステップＳ１９１２において滞在時間が短時間滞在判定時間未満であると判定された場合（ステップＳ１９１２；ＹＥＳ）、ステップＳ１９１３に進む。ステップＳ１９１３では、人物除外部４１４が、短時間滞在者と判定された人物をカウント除外対象であると判定し、人数カウント部４１２が、カウント除外対象と判定された人物の人数をカウントから除外する。ステップＳ１９１３の後は、ステップＳ１９０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。

ステップＳ１９１３においてカウント除外された人物は、カウント除外されるタイミングで、短時間滞在によるカウント除外対象として記憶される。また、ステップＳ１９１３においてカウント除外された人数は、カウント除外されるタイミングで、短時間滞在によるカウント除外人数としてインクリメントされる。

ステップＳ１９１２において滞在時間が短時間滞在判定時間未満でないと判定された場合（ステップＳ１９１２；ＮＯ）、ステップＳ１９１４に進み、人数カウンタをインクリメントする。すなわち滞在時間が短時間判定時間以上でかつ長時間判定時間未満の人物だけをカウントすることができる。以下、短時間判定時間以上でかつ長時間判定時間未満の時間を「適正時間」ともいい、滞在時間が適正時間である人物を「適正時間滞在者」ともいう。ステップＳ１９１４の後は、ステップＳ１９０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。

本実施形態において、結果画面表示制御部４１５は、人数カウントの結果を閲覧する閲覧画面として例えば図２０で示される画面を表示する。

図２０は、人数カウントの閲覧画面の一例を示す図である。図２０に示されるように、閲覧画面においては、カウント除外対象を除外してカウントしたカウント人数２００１と、カウント除外対象としてカウント除外された人数２００２と、が表示される。

また、カウント除外対象としてカウント除外された人数２００２のうち、長時間滞在者としてカウント除外された人数２００３と、短時間滞在者としてカウント除外された人数２００４と、が、それぞれ識別可能に表示される。

また、一点鎖線で示される滞在領域２００５に滞在している人物のうち、長時間滞在者、短時間滞在者、および適正滞在者が、それぞれ識別可能に表示される。

例えば、長時間滞在者が実線の矩形枠２００６で囲って表示され、短時間滞在者が破線の矩形枠２００７で囲って表示され、適正滞在者は、何も囲まれない状態で表示される。また、各人物の滞在領域２００５における滞在時間が表示されてもよい。

以上、本実施形態によれば、滞在領域における長時間滞在者および短時間滞在者がカウントから除外されるので、滞在領域における長時間滞在者でも短時間滞在者でもない適正時間滞在者だけをカウントすることができる。適正時間は、長時間滞在判定時間や短時間判定時間を適宜設定変更することにより、ユーザの所望の時間に設定することができる。よって、ユーザが所望する適正時間だけ滞在している人物をカウントすることができる。

また、本実施形態によれば、長時間滞在者、短時間滞在者、および適正滞在者とその人数とが、それぞれ識別可能に表示される。よって、滞在領域に滞在している人物が、滞在領域にどの程度滞在し続けている状態なのかを容易に把握することができる。

なお、本実施形態では、滞在領域における長時間滞在者および短時間滞在者をカウントから除外する例について説明したが、これに限られず、滞在領域における長時間滞在者および短時間滞在者の何れか一方をカウントから除外してもよい。例えば、長時間滞在者だけをカウントから除外する場合は、短時間判定時間を０とすればよい。また、短時間滞在者だけをカウントから除外する場合は、長時間判定時間を非常に大きな値とすればよい。

以上、実施形態について説明したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ サーバ
１０１ クライアントＰＣ
１０２ ネットワークカメラ

Claims (7)

1. 画像に写った人物の人数をカウントすることが可能な画像処理システムであって、
   複数の画像を取得する取得手段と、
   人物認識により第１の画像と第２の画像のそれぞれに写った人物の人数をカウントするカウント手段と、
   複数の画像を用いて、前記第１の画像および第２の画像に写った人物のうち、所定の滞在時間に基づく条件を満たす人物を特定する人物特定手段と、
   前記条件を満たす人物において、人物認識による前記第１の画像と前記第２の画像における人物の入れ替わり結果と、前記人数のカウントに基づくカウント結果とを認識可能に表示制御する表示制御手段と
   を備える、画像処理システム。
2. 前記人物特定手段は、前記複数の画像に写った同一の人物が、所定の時間の範囲で滞在している場合に、当該同一の人物を前記条件を満たす人物として特定する、請求項１に記載の画像処理システム。
3. 前記表示制御手段は、前記第２の画像において、前記第１の画像から入れ替わりのある人物を識別可能に表示制御する、請求項１または２に記載の画像処理システム。
4. 前記画像を撮影する撮像装置を更に備え、
   前記取得手段は、前記撮像装置によって撮影された画像を取得することを特徴とする請求項１〜３の何れか一項に記載の画像処理システム。
5. 前記人物認識は、前記人物の顔による認識であることを特徴とする請求項１〜４の何れか一項に記載の画像処理システム。
6. 画像に写った人物の人数をカウントすることが可能な画像処理システムの制御方法であって、
   複数の画像を取得する取得ステップと、
   人物認識により第１の画像と第２の画像のそれぞれに写った人物の人数をカウントするカウントステップと、
   複数の画像を用いて、前記第１の画像および第２の画像に写った人物のうち、所定の滞在時間に基づく条件を満たす人物を特定する人物特定ステップと、
   前記条件を満たす人物において、人物認識による前記第１の画像と前記第２の画像における人物の入れ替わり結果と、前記人数のカウントに基づくカウント結果とを認識可能に表示制御する表示制御ステップとを含む、画像処理システムの制御方法。
7. 画像に写った人物の人数をカウントすることが可能な画像処理システムで読み取り可能なプログラムであって、
   前記画像処理システムを、
   複数の画像を取得する取得手段と、
   人物認識により第１の画像と第２の画像のそれぞれに写った人物の人数をカウントするカウント手段と、
   複数の画像を用いて、前記第１の画像および第２の画像に写った人物のうち、所定の滞在時間に基づく条件を満たす人物を特定する人物特定手段と、
   前記条件を満たす人物において、人物認識による前記第１の画像と前記第２の画像における人物の入れ替わり結果と、前記人数のカウントに基づくカウント結果とを認識可能に表示制御する表示制御手段として機能させるためのプログラム。
   

Images