JP7327923B2 - 情報処理装置、情報処理方法、システムおよびプログラム - Google Patents

Description

本発明は、情報処理技術に関する。

従来技術として、店舗やテーマパーク等の施設に入場した人物の各々について、当該施設に滞留する時間である滞留時間を導出する技術がある。そして、施設に入場した人物の各々に対して導出された滞留時間はマーケティング用途などに活用されることがある。

特開平０７－２４９１３８号公報

特許文献１では、入室者用と退室者用のカメラで撮像した２種類の画像から個々の人物の照合を取り、照合が取れた２枚の画像の取得時刻の差分から滞留時間を導出する旨の記載が開示されている。

しかしながら、特許文献１では、人物が所定の位置（ゲート）を通過した時点での時刻を検知していない。そのため、所定の領域へ入場するためのゲートから離れた位置での人物を含む画像が撮像された時刻を当該人物の入場時刻と判定してしまい、滞留時間の精度が低くなることがあった。

そこで、本発明は、撮像された画像から所定の領域における人物の滞留時間を導出する精度を向上させることを目的としている。

上記課題を解決するために、本発明の情報処理装置は以下の構成を備える。すなわち、所定領域に入場または退場するためのゲートを含む画像から人物を検出する検出手段と、前記検出手段により検出される人物を追尾する追尾手段と、前記追尾手段により追尾される人物が前記所定領域の外から内へ向かう方向である第１方向にゲートを通過したことを判定する第１判定手段と、前記第１判定手段により追尾される人物が前記第１方向にゲートを通過したことが判定された場合に、当該人物を撮像した画像の撮像時刻を第１時刻として取得する第１取得手段と、前記追尾手段により前記所定領域の外にいる状態から追尾される人物を含む複数の画像から、所定の条件を満たす画像を当該人物の登録画像として抽出する抽出手段と、前記登録画像と、当該登録画像に対応する人物が前記第１方向にゲートを通過した前記第１時刻と、を前記追尾手段による当該人物の追尾により関連付ける関連付け手段と、前記追尾手段により前記所定領域の内にいる状態から追尾される人物が撮像された複数の画像のうち少なくとも１つの画像と、前記登録画像と、に基づいて、当該人物と前記登録画像に対応する人物とが同一人物かを照合する照合手段と、前記追尾手段により追尾される人物が前記所定領域の内から外へ向かう方向である第２方向にゲートを通過したことを判定する第２判定手段と、前記第２判定手段によって前記追尾手段により追尾される人物が前記第２方向にゲートを通過したことが判定された場合に、当該人物を撮像した画像の撮像時刻を第２時刻として取得する第２取得手段と、前記第１時刻と、前記第２時刻と、に基づいて、前記照合手段により照合された人物が前記所定領域に滞留した時間である滞留時間を導出する導出手段と、を有し、前記関連付け手段は、前記第２判定手段の判定結果に基づいて、前記追尾手段により追尾される人物が前記第２方向にゲートを通過したことを示す退場フラグ、を前記追尾手段により追尾される人物に対して関連付けし、前記導出手段は、前記退場フラグが関連付けられた人物のうち、前記照合手段によって照合された人物がいる場合は前記滞留時間を導出し、前記退場フラグが関連付けられた人物のうち、前記照合手段によって照合された人物がいない場合は前記滞留時間を導出しないことを特徴とする。

本発明によれば、撮像された画像から所定の領域における人物の滞留時間を導出する精度を向上させることができる。

システム構成を示す図である。 滞留時間を導出するための情報処理を説明するための図である。 情報処理装置の機能ブロックを示す図である。 滞留時間を導出するための情報処理の流れを示すフローチャートである。 滞留時間を導出するための情報処理にて用いられるテーブルの一例を示す図である。 滞留時間を導出するための情報処理にて用いられるテーブルの一例を示す図である。 滞留時間を導出するための情報処理にて用いられるテーブルの一例を示す図である。 照合処理に適した顔画像を抽出する処理を説明するための図である。 情報処理の結果を表示する表示処理を説明するための図である。 滞留時間を導出するための情報処理を説明するための図である。 各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、情報処理装置１００、撮像装置１１１～１１４、記録装置１２０、およびディスプレイ１３０を有している。

情報処理装置１００、撮像装置１１１～１１４、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（ＬＯＣＡＬ ＡＲＥＡ ＮＥＴＷＯＲＫ）、無線ＬＡＮ（ＷＩＲＥＬＥＳＳ ＬＡＮ）、ＷＡＮ（ＷＩＤＥ ＡＲＥＡ ＮＥＴＷＯＲＫ）等により実現されてもよい。

情報処理装置１００は、撮像装置１１１～１１４の各々が撮像した画像に対して後述する滞留時間を導出するための情報処理を実行する装置である。なお、情報処理装置１００は、例えば、後述する情報処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。

撮像装置１１１～１１４は、画像を撮像する装置である。例えば、撮像装置１１１は、撮像した画像に基づく画像データと、撮像装置１１１を識別する識別情報（ＩＤ）と、当該画像を撮像した時刻に関する情報と、を関連付けて、ネットワーク１４０を介して、情報処理装置１００や記録装置１２０へ送信する。撮像装置１１２～１１４も同様に、撮像した画像データと、撮像装置の識別情報と、当該画像を撮像した時刻に関する情報と、を関連付けて情報処理装置１００や記録装置１２０へ送信する。

記録装置１２０は、撮像装置１１１～１１４の各々が撮像した画像の画像データと、撮像装置の識別情報と、当該画像を撮像した時刻とを関連付けて記録する。そして、情報処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像、ＩＤ、時刻等）を情報処理装置１００へ送信する。

ディスプレイ１３０は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）等により構成されている。また、ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置１００と接続されている。

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１１～１１４の各々が撮像した画像や、後述する情報処理に係る設定画面等を表示する。なお、ディスプレイ１３０、情報処理装置１００および記録装置１２０の少なくともいずれか２つは、単一の筐体に設けられてもよい。

次に、図２を参照して、本実施形態における情報処理について説明する。図２は、本実施形態における情報処理装置１００による情報処理を説明するための図である。

図２において、ゲート２１０およびゲート２１１は、店舗やテーマパーク等の施設である所定領域２００に人物が入場または退場するための通過地点である。なお、本実施形態において、所定領域２００におけるゲートは２つであるが、１つでもよいし、３つ以上であってもよい。なお、所定領域２００は、屋内でもいいし、屋外でもよい。また、入場方向２３０は、所定領域２００の外側から内側へ向かう方向を示す。一方、退場方向２３１は、所定領域２００の内側から外側へ向かう方向を示している。

図２において、撮像装置１１１は、ゲート２１０にて入場方向２３０（第１方向）を通過する人物を撮像するように設置され、撮像装置１１２は、ゲート２１０にて退場方向２３０（第２方向）を通過する人物を撮像するように設置されているものとする。また、撮像装置１１３は、ゲート２１１にて入場方向２３０を通過する人物を撮像するように設置され、撮像装置１１４は、ゲート２１１にて退場方向２３０を通過する人物を撮像するように設置されているものとする。

本実施形態における情報処理装置１００は、所定領域２００に入場した人物が所定領域２００に入場してから退場するまでの時間、言い換えれば、当該人物が所定領域２００に滞留した時間である滞留時間の導出を行う。

次に、図３に示す情報処理装置１００の機能ブロックを参照して、本実施形態における情報処理装置１００の滞留時間を導出する情報処理について説明する。なお、図３に示す各機能は、本実施形態の場合、情報処理装置１００のＲＯＭ１１２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ１１００が実行することにより実現される。

通信部３００は、図１１を参照して後述するＩ／Ｆ１１４０によって実現でき、ネットワーク１４０を介して、撮像装置１１１～１１４や記録装置１２０と通信を行う。通信部３００は、例えば、撮像装置１１１が撮像した画像の画像データを受信したり、撮像装置１１１を制御するための制御コマンドを撮像装置１１１へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１１～１１４に対して撮像指示を行うコマンドなどを含む。

記憶部３０１は、図１１を参照して後述するＲＡＭ１１１０やＨＤＤ１１３０等によって実現でき、情報処理装置１００による情報処理に関わる情報やデータを記憶する。例えば、記憶部３０１は、撮像装置１１１～１１４の各々の設置状況に関する情報である設置情報を記憶する。図７に示すテーブル７００は、設置情報の一例である。テーブル７００は、所定領域を識別する情報である所定領域ＩＤ７０１と、撮像装置を識別する情報である撮像装置ＩＤ７０２と、所定領域に対応するゲートを識別する情報であるゲートＩＤ７０３と、撮像装置の撮像対象の情報を示す撮像対象７０４と、を含む。なお、撮像対象７０４は、撮像装置の各々が、入場方向２３０にゲートを通過する人物を撮像するのか、もしくは、退場方向２３１にゲートを通過する人物を撮像するのかを示している。

例えば、テーブル７００にて、撮像装置１１１は、図２に示す所定領域２００のゲート２１０にて入場方向２３０を通過する人物を撮像するように設置されていることを示している。

表示制御部３０２は、撮像装置１１１～１１４が撮像した画像や、滞留時間を導出するための情報処理に関する設定を行う設定画面、情報処理の結果を示す情報などをディスプレイ１３０に表示させる。

操作受付部３０３は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作に関する情報を受け付ける。操作受付部３０３は、例えば、判定部３０７により人物がゲートを通過したかを判定するために用いられる通過線を示すユーザの操作などを受け付ける。

設定部３０４は、情報処理装置１００による情報処理に関する設定を行う。例えば、設定部３０４は、操作受付部３０３が受け付けたユーザによる操作に基づき、ユーザによる操作によって指定された通過線の設定を行う。

検出部３０５は、画像における人物を検出する検出処理を実行する。本実施形態における検出部３０５は、照合パターン（辞書）を使用して、パターンマッチング等を行うことにより画像に含まれる人物を検出する検出処理を行う。

追尾部３０６は、検出部３０５により検出された人物を追尾する。本実施形態における追尾部３０６は、例えば、撮像装置１１１が撮像した画像のフレームを対象にして次のような処理を行う。追尾部３０６は、現在のフレームよりも１つ以上前のフレームの画像から検出部３０５により検出された人物と同じ人物が現在のフレームの画像に存在する場合、それぞれのフレームにおける人物同士を対応づける。すなわち、時間的に近い複数のフレームについて画像間で人物を追尾する。なお、追尾部３０６による追尾処理の詳細な説明については後述する。

判定部３０７は、追尾部３０６により追尾される人物が画像における検知線を通過したこと及びその通過方向を判定する。

なお、本実施形態において、撮像装置の設置情報を示すテーブル７００にあるように、撮像装置１１１、１１３は、入場方向２３０にゲート２１０または２１１を通過する人物を撮像する。そして、撮像装置１１２、撮像装置１１４は、退場方向２３１にゲート２１０または２１１を通過する人物を撮像する。

そこで、本実施形態における判定部３０７は、撮像装置１１１、１１３が撮像した画像から、ゲート２１０または２１１を入場方向２３０に人物が通過したかを判定する。また、判定部３０７は、撮像装置１１２、１１４が撮像した画像から、ゲート２１０または２１１を退場方向２３１に人物が通過したかを判定する。

抽出部３０８は、追尾部３０６により所定領域の外にいる状態から追尾される人物を含む複数の画像から、所定の条件を満たす画像を当該人物の登録画像として抽出する。

なお、本実施形態において、抽出部３０８は、追尾部３０６により所定領域２００の外にいる状態から追尾される人物を含む複数の画像から、当該人物の顔を含む画像（顔画像）を抽出する。そして、抽出部３０８は、抽出した当該人物の顔画像のうち、所定の条件を満たす画像を当該人物の登録画像として抽出する。なお、所定の条件を満たす画像とは、後述する照合部３１０による照合処理に適した画像である。なお、抽出部３０８による処理の詳しい説明については後述する。

関連付け部３０９は、抽出部３０８により抽出された登録画像と、当該登録画像の人物が入場方向２３０にゲート２１０、２１１を通過した入場時刻と、を追尾部３０６による当該人物の追尾により関連付ける。なお、関連付け部３０９による処理の詳しい説明については後述する。

照合部３１０は、追尾部３０６により所定領域の内にいる状態から追尾される人物が撮像された複数の画像のうち少なくとも１つの画像と、記憶部３０１が記憶する登録画像と、に基づき、当該人物と登録画像の人物とが同一人物かを照合する。

そして、関連付け部３０９は、登録画像の人物と同一人物であると照合部３１０により照合された人物と、当該人物が退場方向２３１にゲート２１０または２１１を通過した退場時刻と、が追尾部３０６による追尾により関連付けられる。

導出部３１１は、ゲートを退場方向２３１に通過し、登録画像の人物と同一人物であると照合部３１０により照合された人物を対象に、当該人物に関連付けられた入場時刻と、退場時刻と、に基づいて、当該人物が所定領域２００に滞留した滞留時間を導出する。

次に図４～図８を参照して本実施形態における情報処理装置１００の情報処理について更に詳細に説明する。図４は、本実施形態における情報処理装置１００の情報処理の流れを示すフローチャートである。

図４（ａ）に示すフローチャートが実行されることで、ゲート２１０または２１１を入場方向２３０に通過する人物の入場時刻と、照合処理に適した当該人物の登録画像とを関連付けることができる。また、図４（ｂ）に示すフローチャートを実行することで、情報処理装置１００は、所定領域２００に入場した人物が所定領域２００に滞留する時間を導出することができる。

なお、図４（ａ）および図４（ｂ）に示すフローチャートの処理は、ユーザによる操作に従って開始または終了するものとする。

なお、図４（ａ）および図４（ｂ）に示すフローチャートの処理は、情報処理装置１００のＲＯＭ１１２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ１１００が実行して実現される図３に示す各機能ブロックにより実行されるものとする。

まず、図４（ａ）について説明する。なお、本実施形態において、図４（ａ）に示すフローチャートは、所定領域２００のゲートであるゲート２１０または２１１を入場方向２３０に通過する人物を含む画像に対して行われる処理である。したがって、図２に示す例の場合において、図４（ａ）に示す処理は、テーブル７００の撮像対象７０４が“入場”を示す撮像装置である撮像装置１１１および撮像装置１１３が撮像した画像に対して行われる処理である。

図４（ａ）に示すＳ４０１にて、通信部３００は、撮像装置１１１、１１３が撮像した画像を取得する。

次に、Ｓ４０２にて、検出部３０５は、Ｓ４０１にて取得した画像に対して人物を検出する検出処理を実行する。このとき、画像から人物が検出された場合、Ｓ４０３に遷移する。一方、画像から人物が検出されなかった場合、Ｓ４０１へ戻り、Ｓ４０１にて、通信部３００は、次の画像を取得する。

なお、画像から人物を検出する場合において、人物が正面向きである場合と横向きである場合とで使用する照合パターンを両方使うことで検出精度の向上が期待できる。例えば、正面（背面）向きの人体の画像と照合させるための照合パターンと、横向きの人物の画像と照合させるための照合パターンとを保持し、撮像装置の設置状態やユーザの指定に基づいて両方使うことができる。

また、照合パターンは、斜め方向からや上方向からなど他の角度からのものを用意しておいてもよい。また、人物を検出する場合、必ずしも全身の特徴を示す照合パターン（辞書）を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。

なお、検出部３０５は、画像から人物を検出する機能を有していればよく、既知の動体検出や肌色検出などでもよく、パターンマッチング処理にのみ限定されるものではない。

Ｓ４０３にて、通信部３００は、撮像装置１１１、１１３が撮像した画像であって、Ｓ４０１で取得された画像より時間的に後に撮像された画像を取得する。例えば、Ｓ４０３にて、通信部３００は、Ｓ４０１で取得された画像の次のフレームの画像を取得する。

次に、Ｓ４０４にて、検出部３０５は、Ｓ４０３にて取得した画像に対して人物を検出する検出処理を実行する。このとき、画像から人物が検出された場合、Ｓ４０５に遷移する。一方、画像から人物が検出されなかった場合、Ｓ４０３へ戻り、Ｓ４０３にて、通信部３００は、次のフレームの画像を取得する。

次に、Ｓ４０５にて、追尾部３０６は、検出部３０５により検出された人物を追尾する。なお、追尾部３０６は、追尾する対象となる人物ごとにＩＤを付与する。例えば、追尾部３０６は、現在のフレームよりも１つ以上前のフレームの画像から検出部３０５が検出した人物に対してＩＤ“１ａ”を付与したとする。その場合において、検出部３０５が現在のフレームの画像からも当該人物を検出した場合、追尾部３０６は、当該人物にもＩＤ“１ａ”を付与する。

このように、複数のフレームの画像にわたって同じ人物が検出された場合には、それぞれの人物に同じＩＤを付与する。なお、記憶部３０１は、人物ＩＤを付与した人物の各々に対して、人物の移動した軌跡の情報である軌跡情報をテーブルに格納する。

図５に示すテーブル５００は、追尾部３０６による処理に基づいて記憶部３０１により生成され、記憶部３０１に記憶される軌跡情報を含むデータ構造の一例を示すテーブルである。テーブル５００は、人物ＩＤ５０１に示すように追尾部３０６により“１ａ”が付与された人物について、追尾部３０６による処理に基づき、次のような情報が格納されている。テーブル５００は、撮像装置を識別する情報である撮像装置ＩＤ５０２と、画像を識別する情報である画像ＩＤ５０３と、ゲートを識別する情報であるゲートＩＤ５０４と、画像の撮像時刻を示す時刻５０５と、画像内での人物の位置を示す位置５０６と、を含む。このようなテーブル５００は、追尾部３０６により追尾される人物ＩＤ毎、すなわち、人物毎に存在し、それらのテーブルは記憶部３０１にて記憶される。なお、人物の位置は、画像の左上の端点を原点とした画像における当該人物の領域の重心点の座標を示す。なお、顔画像情報５０６、登録画像５０８は抽出部３０８の処理に基づき格納される情報であり、入場フラグ５０９は判定部３０７の処理に基づき格納される情報であるが、これらについての説明は後述する。

なお、追尾部３０６が複数のフレームの画像にわたって同じ人物であると判断する方法として次のような方法を用いることができる。例えば、検出された人物の移動ベクトルを用いて人物の移動予測位置と検出した人物の位置とが一定距離内であれば同一の人物であると判定する方法である。また、追尾部３０６は、人物の色、形状、大きさ（画素数）等を用いて、複数のフレームの画像間で相関の高い人物を対応付けてもよい。このように、追尾部３０６は、複数のフレームの画像にわたって同じ人物であると判断し追尾する処理を実行できればよく、特定の方法に限定されるものではない。

次に、Ｓ４０６にて、抽出部３０８は、追尾部３０６により所定領域２００の外にいる状態から追尾される人物を含む画像から、当該人物の顔を含む画像（顔画像）を抽出する。

図２に示す例の場合、抽出部３０８は、撮像装置１１１（または撮像装置１１３）が撮像した画像のうち、追尾部３０６により所定領域２００の外にいる状態から追尾される人物の顔画像を抽出する。このとき、抽出部３０８は、さらに、抽出した顔画像について、人物の顔の特徴を示す情報である特徴量を抽出する。なお、人物の特徴量としては、色・エッジ・テクスチャ、髪の色、顔の器官の形状、サングラスの有無、髭の有無等といった情報がある。また、このとき、検出部３０５は、抽出部３０８により抽出された顔画像と、人物の正面顔の照合パターン（辞書）とを比較することで、人物の顔の映り度合を示す情報である顔尤度を判定する。

なお、顔画像に含まれる人物の顔が正面顔に近いほど顔尤度は大きくなり、当該人物の顔が横顔に近くなると顔尤度は小さくなり、当該人物が後ろ向きになると更に顔尤度は小さくなる。なお、抽出された顔画像のサイズが大きいほど、当該顔画像の顔尤度を大きくしてもよい。

記憶部３０１は、抽出部３０８による処理によって抽出された顔画像に関する情報である登録情報をテーブルに格納する。本実施形態において、抽出部３０８の処理に基づき記憶部３０１により生成された登録情報はテーブル５００に格納される。テーブル５００に示すように、追尾部３０６により人物ＩＤ“１ａ”と付与された人物について、次のような情報が格納される。軌跡情報（撮像装置ＩＤ５０２、画像ＩＤ５０３、ゲートＩＤ５０４、時刻５０５、位置５０６）に加え、抽出部３０８によって抽出された顔画像に関する情報である顔画像情報５０７がテーブル５００に格納される。

顔画像情報は、テーブル５００の場合、撮像された画像における人物の顔画像の位置と、当該顔画像の大きさと、当該顔画像から抽出部３０８により抽出された特徴量と、当該顔画像から検出部３０５により判定された顔尤度とを含む。

次に、Ｓ４０７にて、判定部３０７は、追尾部３０６により追尾される人物が所定領域２００のゲートを入場方向２３０に通過したかを判定する。図２に示す例にて、判定部３０７は、撮像装置１１１、１１３が撮像した画像から、ゲート２１０または２１１を入場方向２３０に人物が通過したかを判定する。

なお、本実施形態における判定部３０７は、記憶部３０１が記憶する人物ごとの軌跡情報が示す軌跡と、検知線の位置とが交差するかを判定し、人物が検知線を通過したかを判定する。またこのとき、判定部３０７は、さらに人物の通過方向を判定する。

記憶部３０１は、判定部３０７により通過を判定された情報に基づいて、入場情報を生成してテーブルに格納する。本実施形態において、判定部３０７により通過を判定された情報に基づいて記憶部３０１により生成された入場情報はテーブル５００に格納される。このとき、追尾部３０６により人物ＩＤ“１ａ”が付与された人物について、テーブル５００に示すように、当該人物が入場したか否かを示す入場フラグ５０９の情報がテーブル５００に格納される。本実施形態において、テーブル５００の入場フラグ５０９として、“０”は入場していないことを示し、“１”は入場したことを示す。

なお判定部３０７は、入場方向２３０に人物がゲートを通過したことを判定するとともに、そのとき撮像された画像の撮像時刻を入場時刻とする。換言すると、判定部３０７により、入場方向２３０に人物がゲートを通過したことを判定されると、記憶部３０１によって、入場したことを示す“１”がテーブル５００に格納されるとともに、取得された画像が撮像された時刻が入場時刻として記録される。

テーブル５００の場合、画像ＩＤ“３ａ”にて判定部３０７は、人物がゲート２１０を入場方向２３０に向かって、時刻“１３：００：０２“にて通過したことを判定したことを示す。

テーブル５００に示すように、判定部３０７により入場方向２３０へ通過を判定された人物については入場したこと（入場済みであること）を示す“１”のフラグが入場フラグ５０９に格納される。

次に、Ｓ４０８にて、追尾部３０６により追尾されている人物のうち、ゲート２１０または２１１を通過して所定領域２００に入場している人物がいる場合、Ｓ４０９へ遷移し、入場している人物がいなければＳ４０３へ戻る。Ｓ４０３に戻った場合、Ｓ４０３にて、通信部３００は、次のフレームの画像を取得する。

なお、判定部３０７は、記憶部３０１が記憶するテーブル５００における入場フラグ５０９が“１”の人物がいた場合に、入場している人物がいると判定する。例えば、現在時刻が“１３：００：０３”の場合、テーブル５００に基づいて、判定部３０７は、画像ＩＤ“４ａ”が撮像された時刻において、人物ＩＤ“１ａ”の人物が所定領域２００に入場していると判定する。

次に、Ｓ４０９にて、判定部３０７は、入場済みの人物のうち、フレームアウトした人物がいる場合、Ｓ４１０へ遷移し、フレームアウトした人物がいない場合、Ｓ４０３へ戻る。Ｓ４０３に戻った場合、Ｓ４０３にて、通信部３００は、次のフレームの画像を取得する。

例えば、Ｓ４０９にて、判定部３０７は、Ｓ４０８にて所定領域２００に入場したと判定された人物である人物ＩＤ“１ａ”の人物に対して追尾部３０６の追尾処理が継続しているかを判定する。例えば、人物ＩＤ“１ａ”の人物が追尾部３０６により現在のフレームにて見つけられていない場合、判定部３０７は、当該人物に対して追尾処理が終了していると判定する。なお、当該人物が物陰に隠れてしまい、追尾処理が終了した場合も、当該人物に対して追尾処理が終了していると判定する。

このとき、判定部３０７は、人物ＩＤ“１ａ”の人物に対して追尾処理が終了していると判定した場合、当該人物はフレームアウトしたとみなして、Ｓ４１０へ遷移する。一方、判定部３０７は、人物ＩＤ“１ａ”の人物に対して追尾処理が継続されていると判定した場合、Ｓ４０３へ戻る。Ｓ４０３に戻った場合、Ｓ４０３にて、通信部３００は、次の画像を取得する。

なお、Ｓ４０８やＳ４０９にてＮｏとなった場合に、Ｓ４０６の処理は再度行われる。よって、Ｓ４０６の処理は複数行われるため、抽出部３０８は、撮像装置１１１（または撮像装置１１３）が撮像した複数の画像のうち、追尾部３０６により所定領域２００の外にいる状態から追尾される人物について複数の顔画像を抽出することになる。

次に、Ｓ４１０にて、抽出部３０８は、追尾が開始されてからフレームアウトするまでにＳ４０６にて抽出部３０８により抽出された人物の複数の顔画像のうち、所定の条件を満たす画像を当該人物の登録画像として抽出する。

なお、本実施形態における所定の条件を満たす画像は、追尾部３０６により追尾される人物を含む画像のうち、当該人物の顔の映り度合を示す顔尤度が第１閾値以上かつ顔尤度が最も高い顔画像とする。

ここで図８を参照して、Ｓ４１０における抽出部３０８による処理について説明する。図８にて人物８０１と人物８０２の各々を撮像装置８００が撮像している図である。なお、図８に示す矢印は人物８０１および人物８０２の進行方向を示し、点線で示される範囲８０３は、撮像装置８００が撮像する範囲を示している。

図８に示すように、人物８０１を撮像した画像にて人物８０１の正面の顔を撮像できる。一方で、人物８０２を撮像した場合、撮像装置８００と人物８０２との位置関係から、人物８０２を上から見下ろしたような画像が撮像される。つまり、撮像装置８００の設置状況や、撮像された画像における人物の位置などに応じて、同一人物であるかを照合する照合処理にて用いる登録画像に適した正面顔の画像が撮像されたり、登録画像に適さない画像が撮像されたりすることがある。

そこで、Ｓ４１０にて、抽出部３０８は、特定の人物について、抽出部３０８により抽出された複数の顔画像のうち、顔尤度が第１閾値以上かつ顔尤度が最も高い顔画像を登録画像として抽出する。なお、第１閾値は、ユーザにより設定されたものでもよいし、予め登録されたものでもよい。

なお記憶部３０１は、抽出部３０８による処理に基づく情報である登録情報を生成してテーブルに格納する。具体的には、テーブル５００に示すように、追尾部３０６により人物ＩＤ“１ａ”が付与された人物について、記憶部３０１により、照合処理に適した登録画像かを示すフラグである登録画像５０８がテーブル５００に格納される。

テーブル５００に示すように、登録画像５０８にて、“１”は対応する顔画像が照合処理に適していることを示し、“０”は対応する顔画像が照合処理に適さないことを示す。なお、本実施形態において抽出部３０８は、抽出した各顔画像のうち、顔尤度が第１閾値以上かつ顔尤度が最も高い顔画像についてフラグ情報“１”を付与する。

次に、Ｓ４１１にて、関連付け部３０９は、抽出部３０８により抽出された登録画像と、当該登録画像の人物が入場方向２３０にゲート２１０、２１１を通過した入場時刻と、を追尾部３０６による当該人物の追尾により関連付ける。

本実施形態において、関連付け部３０９は、追尾部３０６による追尾の処理に基づいて記憶部３０１により生成されたテーブル５００に基づき、登録画像と、当該登録画像の人物の入場時刻とを関連付けた関連情報を生成する。このとき生成された関連情報は、記憶部３０１によって記憶される。

図５に示すテーブル５５０は、Ｓ４１０における関連付け部３０９の処理に基づいて関連付け部３０９により生成される関連情報の一例を示すデータ構成である。テーブル５５０は、追尾部３０６により付与された人物を識別する人物ＩＤ５５１と、当該人物の各々の登録画像に紐づく画像ＩＤ５５２と、登録画像の顔画像情報である登録顔画像５５３と、当該人物の各々の入場時刻５５４とを含む。

テーブル５５０に示すように、関連付け部３０９は、例えば、人物ＩＤ“１ａ”の人物について、登録画像として抽出された顔画像に対応する画像ＩＤ“１ａ”と、当該顔画像の顔画像情報と、当該人物の入場時刻“１３：００：０２”とを関連付ける。

以上説明したように、ゲート２１０または２１１を入場方向２１０に通過する人物の入場時刻と、照合処理に適した当該人物の登録画像とを関連付けることができる。つまり、ゲートを入場方向２３０に人物が通過した時点の当該人物を含む画像に限らず、追尾される過程で撮像される画像のうち照合処理に適した画像を当該人物の登録画像として抽出することができる。そして、当該登録画像と、当該登録画像の人物の入場時刻と、を追尾によって関連付けることができる。

次に、図４（ｂ）に示すフローチャートについて説明する。なお、本実施形態において、図４（ｂ）に示すフローチャートは、所定領域２００のゲートであるゲート２１０または２１１を退場方向２３１に通過する人物を含む画像に対して行われる処理である。したがって、図２に示す例の場合において、図４（ｂ）に示す処理は、テーブル７００の撮像対象７０４が“退場”を示す撮像装置である撮像装置１１２、１１４が撮像した画像に対して行われる処理である。

まず、Ｓ４４１にて、通信部３００は、撮像装置１１２、１１４が撮像した画像を取得する。

次に、Ｓ４４２にて、検出部３０５は、Ｓ４４１にて取得した画像に対して人物を検出する検出処理を実行する。このとき、画像から人物が検出された場合、Ｓ４４３に遷移する。一方、画像から人物が検出されなかった場合、Ｓ４４１へ戻り、Ｓ４４１にて、通信部３００は、次のフレームの画像を取得する。

Ｓ４４３にて、通信部３００は、撮像装置１１２、１１４が撮像した画像であって、Ｓ４４１で取得された画像より時間的に後に撮像された画像を取得する。例えば、Ｓ４４３にて、通信部３００は、Ｓ４４１で取得された画像の次のフレームである画像を取得する。

次に、Ｓ４４４にて、検出部３０５は、Ｓ４４３にて取得した画像に対して人物を検出する検出処理を実行する。このとき、画像から人物が検出された場合、Ｓ４４５に遷移する。一方、画像から人物が検出されなかった場合、Ｓ４４３へ戻り、Ｓ４４３にて、通信部３００は、次のフレームの画像を取得する。

次に、Ｓ４４５にて、追尾部３０６は、検出部３０５により検出された人物を追尾する。このときＳ４０５と同様、追尾部３０６の処理に基づき、記憶部３０１は軌跡情報を生成する。図６に示すテーブル６００は、Ｓ４４５における追尾部３０６による処理に基づいて記憶部３０１により生成された軌跡情報を含むデータ構造の一例である。テーブル６００は、人物ＩＤ６０１に示すように追尾部３０６により“６ｄ”が付与された人物について、追尾部３０６による処理に基づき、次のような情報が格納されている。テーブル６００は、撮像装置を識別する情報である撮像装置ＩＤ６０２と、画像を識別する情報である画像ＩＤ６０３と、ゲートを識別する情報であるゲートＩＤ６０４と、画像の撮像時刻を示す時刻６０５と、画像内での人物の位置を示す位置６０６と、を含む。

なお、テーブル６００は、追尾部３０６により人物ＩＤが付与された人物の各々について生成される。テーブル６００の例においては、人物ＩＤ“６ｄ”に対して生成されている。なお、テーブル６００における顔画像情報６０７、照合６０８、退場フラグ６０９についての詳しい説明は後述する。

次に、Ｓ４４６にて、抽出部３０８は、追尾部３０６により所定領域２００の内にいる状態から追尾される人物を含む画像から、当該人物の顔を含む画像（顔画像）を抽出する。なお、このとき、抽出部３０８は、Ｓ４０６と同様、抽出した顔画像から特徴量を抽出する。また、このとき、検出部３０５は、Ｓ４０６と同様、抽出した顔画像から顔尤度を判定してもよい。

抽出部３０８の処理に基づき、記憶部３０１は、抽出情報を生成しテーブルに格納する。このとき、例えば、人物ＩＤ“６ｄ”の人物について、テーブル６００に示すように、顔画像情報６０７がテーブル６００に格納される。顔画像情報６０７は、顔画像情報５０７と同様、撮像された画像における人物の顔画像の位置と、当該顔画像の大きさと、当該顔画像から抽出された特徴量と、当該顔画像から検出部３０５により判定された顔尤度とを含む。

次に、Ｓ４４７にて、照合部３１０は、次のような照合処理を行う。照合部３１０は、追尾部３０６により所定領域２００の内にいる状態から追尾される人物が撮像された画像と、記憶部３０１が記憶する登録画像と、に基づき、当該人物と登録画像に対応する人物とが同一人物かを照合する。

本実施形態において、照合部３１０は、Ｓ４４６にて抽出部３０８により抽出された顔画像の特徴量と、登録画像の特徴量とを比較し、顔画像に対応する人物と、登録画像の人物との一致度を示す認証スコアを算出する。なお、認証スコアが高いほど、一致度が高いことを示す。

そして、照合部３１０は、顔画像の特徴量と、登録画像の特徴量とを比較して算出した認証スコアが第２閾値を超えた場合、顔画像の人物と登録画像の人物とが同一人物であると判定する。

なお、照合部３１０による照合処理に基づいて記憶部３０１により生成される照合情報はテーブルに格納される。追尾部３０６により人物ＩＤとして“６ｄ”を付与された人物について、テーブル６００に示すように、照合結果を示す情報である照合６０８がテーブル６００に格納される。テーブル６００の例において、画像ＩＤ“１ｄ”に対応する顔画像の人物（人物ＩＤ“６ｄ”）に対して、人物ＩＤ”１ａ”の人物が同一人物であることを示している。なお、本実施形態において、照合６０８における“０”は、照合処理により算出された認証スコアが第２閾値を超えずに、同一とみなせる人物がいないことを示している。

次に、Ｓ４４８にて、判定部３０７は、追尾部３０６により追尾される人物が所定領域２００のゲートを退場方向２３１に通過したかを判定する。図２に示す例にて、Ｓ４４８における判定部３０７は、撮像装置１１２、１１４が撮像した画像から、ゲート２１０または２１１を退場方向２３１に人物が通過したかを判定する。

判定部３０７により通過を判定された情報に基づいて、記憶部３０１は、退場情報を生成してテーブルに格納する。例えば、追尾部３０６により人物ＩＤ“６ｄ”が付与された人物について、テーブル６００に示すように、当該人物が所定領域２００を退場したか否かを示すフラグである退場フラグ６０９の情報がテーブル６００に格納される。本実施形態において、退場フラグ６０９として、“０”は退場していないことを示し、“１”は退場済みであることを示す。

なお判定部３０７は、退場方向２３１に人物がゲートを通過したことを判定するとともに、そのとき撮像された画像の撮像時刻を退場時刻とする。換言すると、退場方向２３１に人物がゲートを通過したことを判定部３０７により判定されると、退場済みであることを示す“１”が記憶部３０１により退場フラグ６０９に格納されるとともに、そのとき取得された画像の撮像時刻が退場時刻として記憶される。

テーブル６００の場合、画像ＩＤ“３ｄ”にて判定部３０７は、人物がゲート２１１を退場方向２３１に向かって、時刻“１４：００：０２“にて通過を判定し、退場済みであることを示す”１“が退場フラグ６０９に格納される。このとき、時刻“１４：００：０２“が退場時刻として記憶部３０１により記憶される。

次に、Ｓ４４９にて、追尾部３０６により追尾されている人物のうち、ゲート２１０または２１１を介して所定領域２００から退場している人物がいる場合、Ｓ４５０へ遷移する。一方、退場している人物がいなければＳ４４３へ戻り、Ｓ４４３にて、通信部３００は次のフレームの画像を取得する。なおこのとき、記憶部３０１が記憶する退場フラグ６０９の情報に基づいて、退場している人物がいるか否かを判定部３０７により判定される。

例えば、現在時刻が“１４：００：０３”である場合、テーブル６００の退場フラグ６０９に基づいて、判定部３０７は、ＩＤ“６ｄ”の人物は所定領域２００から退場済みであると判定する。

次に、Ｓ４５０にて、退場済みの人物のうち、照合部３１０により登録画像の人物と一致すると照合された人物がいる場合、Ｓ４５１へ遷移する。一方、照合された人物がいない場合、Ｓ４４３へ戻り、Ｓ４４３にて、通信部３００は次のフレームの画像を取得する。

例えば、Ｓ４５０にて、判定部３０７は、Ｓ４４９にて所定領域２００から退場済みであると判定された人物である人物ＩＤ“６ｄ”の人物に対して、照合部３１０により登録画像の人物と一致すると照合されたかを判定する。仮に、現在時刻が“１４：００：０３”である場合、判定部３０７は、テーブル６００に基づき、人物ＩＤ“６ｄ”の人物に対して、画像ＩＤ“１ｄ”にて登録画像の人物“１ａ”と一致すると照合されたと判定する。この場合、Ｓ４５１へ遷移する。

一方、ＩＤ“６ｄ”の人物に対して登録画像の人物と一致すると照合されていない場合、Ｓ４４３へ戻り、Ｓ４４３にて、通信部３００は次のフレームの画像を取得する。

次に、Ｓ４５１にて、関連付け部３０９は、照合部３１０により登録画像の人物と一致すると照合された人物と、当該人物が退場方向２３１にゲートを通過した退場時刻と、を追尾部３０６による追尾により関連付ける。

本実施形態において、関連付け部３０９は、追尾部３０６による追尾の処理に基づいて記憶部３０１により生成されたテーブル６００に基づき、次のような処理を行う。関連付け部３０９は、照合部３１０により登録画像の人物と一致すると照合された人物と、当該人物の退場時刻とを関連付けた関連情報を生成する。

例えば、関連付け部３０９は、テーブル６００に基づき、照合処理により人物ＩＤ“１ａ”の人物と一致すると照合された人物ＩＤ“６ｄ”の人物と、画像ＩＤ“３ｄ”に紐づく退場時刻“１４：００：０２”とを特定し、関連付ける。このような関連付け処理により、関連情報を生成する。

図６に示すテーブル６６０は、Ｓ４５１における関連付け部３０９の処理に基づいて関連付け部３０９により生成される関連情報の一例を示すデータ構成である。テーブル６６０は、追尾部３０６により付与された人物を識別する人物ＩＤ６６１と、当該人物に対して同一人物と照合された人物の人物ＩＤ６６３と、同一人物と照合したときの画像を識別する画像ＩＤ６６２と、当該人物の退場時刻６６４とを含む。

次に、Ｓ４５２にて、導出部３１１は、ゲート２１０または２１１を退場方向２３１に通過し、照合部３１０により登録画像と同一人物であると照合された人物を対象にして、次のような処理を行う。導出部３１１は、関連付け部３０９により生成された関連情報に基づき、当該人物に関連付けられた入場時刻と、退場時刻とから、当該人物が所定領域２００に滞留した滞留時間を導出する。

本実施形態において、導出部３１１は、Ｓ４１０およびＳ４５１にて関連付け部３０９により生成された関連情報であるテーブル５５０および６６０に基づき、所定領域２００における人物ごとの滞留時間を導出する。

例えば、導出部３１１は、テーブル５５０および６６０に基づき、人物ＩＤ“１ａ”に関連付けられた入場時刻と、人物ＩＤ“１ａ”と同一の人物である人物ＩＤ“６ｄ”に関連付けられた退場時刻とを特定する。そして、人物ＩＤ“１ａ”の退場時刻と入場時刻との差分に基づいて、当該人物の所定領域２００における滞留時間を導出する。

テーブル５５０および６６０に示す例の場合、導出部３１１は、人物ＩＤ“１ａ”（＝人物ＩＤ“６ｄ”）の人物の所定領域２００における滞留時間は、１時間であると導出する。

次に、Ｓ４５３にて、表示制御部３０２は、導出部３１１にて導出された滞留時間を示す情報をディスプレイ１３０に表示させる。

なお、本実施形態における表示制御部３０２は、本実施形態における情報処理の結果に基づいて得られた情報を撮像装置１１１～１１４に撮像された画像に重畳させディスプレイ１３０に表示させてもよい。

図９は、本実施形態における表示制御部３０２の処理に基づいて、ディスプレイ１３０に表示される画像の一例を示す図である。

図９（ａ）は、ゲート２１０に入場方向２３０に通過する人物を撮像するよう設置された撮像装置１１１が撮像した画像の一例を示す図である。図９（ａ）において、枠９０１は、人物９００に対して抽出部３０８が抽出した顔の位置を示す枠である。また、ラベル９０２は、人物９００に対して追尾部３０６が付与した人物ＩＤを示している。また、ラベル９０３は、人物９０４に対して、追尾部３０６が付与した人物ＩＤを示している。また、ラベル９０３は、更に、人物９０３がゲート２１０を入場方向２３０に通過した入場時刻の情報も示している。

図９（ｂ）は、ゲート２１１に退場方向２３１に通過する人物を撮像するよう設置された撮像装置１１４が撮像した画像の一例を示す図である。図９（ｂ）において、枠９９１は、人物９９０に対して抽出部３０８が抽出した顔の位置を示す枠である。また、人物９９０には、人物９００に対して付与された人物ＩＤ“６ｄ”を示すラベルが重畳されている。また、ラベル９９３は、人物９０４に対して、追尾部３０６が付与した人物ＩＤを示している。また、ラベル９９３は、更に、人物９０４がゲート２１１を退場方向２３０に通過した退場時刻の情報も示している。

なお、表示制御部３０２は、ゲート２１１を退場方向２３０に通過し、かつ、導出部３１１により滞留時間の導出が行われた人物については、当該人物の人物ＩＤと滞留時間とを含むラベルを画像における当該人物に重畳して表示させてもよい。

また、本実施形態において、照合部３１０は、Ｓ４４６にて抽出部３０８により抽出された顔画像の特徴量と、登録画像の特徴量とを比較し、認証スコアを導出して、当該認証スコアと第２閾値とを比較する。そして、照合部３１０は、当該認証スコアが第２閾値を超えた場合、顔画像の人物と登録画像の人物とが同一人物であると判定する。このように、本実施形態においては、照合部３１０によって、認証スコアの比較対象とする閾値は一定としているが、これに限らない。例えば、抽出部３０８により抽出される顔画像の人物の位置に応じて、閾値を変更するようにしてもよい。

具体的には、Ｓ４４６にて抽出部３０８は、判定部３０７による処理に基づき生成された退場フラグ６０９の情報に基づいて閾値の変更を行うようにしてもよい。この場合、抽出部３０８は、テーブル６００に示すように、退場済みであることを示す退場フラグ“１”が付与された人物について、照合処理をする場合、認証スコアの比較対象となる閾値を第２閾値より小さい第３閾値に変更するようにしてもよい。このようにすることで、所定領域２００から退場済みの人物について登録画像を用いた照合処理のとりこぼしを低減することが可能となる。

また、本実施形態において、Ｓ４４６にて抽出部３０８により顔画像が抽出されるたびに、照合部３１０は、当該顔画像と登録画像とで照合処理を行うが、これに限らない。Ｓ４９やＳ４５０にてＮｏとなり、Ｓ４４６における抽出部３０８の処理が繰り返し行われた場合、抽出部３０８は、抽出した複数の顔画像のうち、顔尤度が第１閾値以上の顔画像を抽出する。そして、照合部３１０は、顔尤度が第１閾値以上の顔画像と、登録画像とで照合処理を行うようにしてもよい。なお、抽出部３０８は、抽出した複数の顔画像のうち、顔尤度が第１閾値以上かつ顔尤度が最も高い顔画像を抽出し、照合部は、当該顔画像と、登録画像とで照合処理を行うようにしてもよい。

また、本実施形態において、Ｓ４４６で抽出部３０８は、顔画像の抽出を行い、照合部３１０は抽出された顔画像に対して、図４（ａ）に示すフローを実行して抽出された登録画像を用いて照合処理が行われる。このとき、第１の人物について照合処理により登録画像と同一であると照合されたのち、第２の人物に対して、当該登録画像と同一であると照合された場合を想定する。このとき、第１の人物および第２の人物に対する当該登録画像の認証スコアを比較して、第２の人物に対する当該登録画像の認証スコアの方が高い場合、第２の人物について当該登録画像を用いた滞留時間の導出するようにする。

具体的には、図６に示す照合情報の一例であるテーブル６００に示すように人物ＩＤ“６ｄ”の人物に対して、人物ＩＤ“１ａ”の人物が同一人物であると照合部３１０の照合処理により照合されている。このとき、一例として、認証スコアが“７０”であるとする。

この場合、人物ＩＤ“６ｄ”の人物に対する照合処理ののち、例えば、当該人物よりも後に検出された人物ＩＤ“１５ｄ”の人物に対して、人物ＩＤ“１ａ”の人物が同一人物であると照合部３１０の照合処理により照合されたとする。このとき、認証スコアが“８０”であるとする。

このとき、判定部３０７は、人物ＩＤ“６ｄ”に対する認証スコア“７０”と、人物ＩＤ“１５ｄ”に対する認証スコア“８０”とを比較し、人物ＩＤ“１５ｄ”の人物の認証スコアが高いと判定する。

これより、記憶部３０１は、人物ＩＤ“１５ｄ”に対して生成されたテーブル６００において、人物ＩＤ“１ａ”の人物と同一人物であるという情報を照合６０８に格納する。そして、導出部３１１は、人物ＩＤ“１５ｄ”の人物の退場時刻と、人物ＩＤ“１ａ”の入場時刻と、から当該人物の滞留時間を導出する。

このように、第１の人物および第２の人物に対する当該登録画像の認証スコアを比較して、第２の人物に対する当該登録画像の認証スコアの方が高い場合、第２の人物について当該登録画像を用いた滞留時間の導出するようにするようにしてもよい。

また、本実施形態にかかるユースケースにて、一度所定領域２００に入場した人物が、所定領域２００から退場したのち、当該人物が再度所定領域２００に入場することが考えられる。このとき、入場方向２３０へ当該人物が所定領域２００に入場する際の入場時刻を、当該人物が２度目に入場した場合における滞留時間の導出に用いると、誤った滞留時間が導出されてしまう。

そこで、照合部３１０により、所定領域２００から退場方向２３１にゲート２１０または２１１を通過する人物に対して同一人物と照合された登録画像は、記憶部３０１が記憶する登録情報から除外する。これより、所定領域２００に再入場した人物に対して、誤った滞留時間を導出してしまうことを抑制できる。

なお、実施形態１における情報処理装置１００の１以上の機能を、撮像装置や記録装置等の他の装置が有していてもよい。例えば、情報処理装置１００の検出部３０５は撮像装置が有していてもよい。

以上説明したように、図４（ａ）および図４（ｂ）に示すフローチャートが実行されることで、情報処理装置１００は、所定領域２００に入場した人物が所定領域２００に滞留する時間を導出することができる。

従来、所定領域における人物の滞留時間を導出するにあたって、所定領域に入退場するためのゲートを人物が通過した時の画像は人物の照合に適していないことがあり、所定領域における人物の滞留時間を導出する精度が低くなることがあった。

そこで、本実施形態における情報処理装置１００は、人物がゲートを入場方向２３０に通過した入場時刻と、照合処理に適した登録画像とを追尾により関連付ける。情報処理装置１００は、さらに、人物がゲートを退場方向に退場した退場時刻と、登録画像の人物と同一人物であると照合された人物とを追尾により関連付ける。

そして、人物に関連付けられた入場時刻と、退場時刻とから所定領域における当該人物の滞留時間を導出する。こうすることにより、所定領域における人物の滞留時間を導出する精度を向上させることができる。

（実施形態２）
実施形態１にて、所定領域２００のゲート２１０およびゲート２１１の各々に対して、撮像装置を２台ずつ設置した実施形態について説明したが、これに限らない。実施形態２では、複数台の撮像装置を用いてゲートを入場方向（または退場方向）に通過する人物を撮像する場合について説明する。

また、実施形態１では、一つの所定領域における人物の滞留時間を導出する実施形態について説明したが、これに限らない。そこで実施形態２では、さらに、複数の所定領域の各々について、人物の滞留時間を導出する場合について説明する。

図１０は、実施形態２における情報処理装置１００の情報処理を説明するための模式図である。図１０に示すように、撮像装置１０２１、１０２２は、所定領域２００のゲート２１１を入場方向２３０に通過する人物を撮像するよう設置されている。なお、撮像装置１０２１の撮像範囲と、撮像装置１０２２の撮像範囲は重複しない方が望ましい。本実施形態では、撮像装置１０２１、１０２２の各々の撮像範囲は重複しないものとして説明する。

また、撮像装置１０２３、１０２４は、所定領域２００のゲート２１１を退場方向２３１に通過する人物を撮像するよう設置されている。なお、撮像装置１０２３の撮像範囲と、撮像装置１０２４の撮像範囲は重複しない方が望ましい。本実施形態では、撮像装置１０２３、１０２４の各々の撮像範囲は重複しないものとして説明する。

また、図１０に示すように、撮像装置１０１１は、所定領域１０００へ入場または退場するための仮想的なゲートである仮想ゲート１０２０にて、入場方向１０３０を通過する人物を撮像するように設置されている。一方、撮像装置１０１２は、所定領域１０００に対応する仮想ゲート１０２０にて、退場方向１０３１を通過する人物を撮像するように設置されている。なお、図１０において、所定領域１０００は、所定領域２００内において市松模様で示された領域であり、エリアＡの領域を含んでいる。

なお、仮想ゲート１０２０は、撮像装置１０１１、１０２２が撮像した画像が情報処理装置１００の表示制御部３０２によりディスプレイ１３０に表示され、ユーザが表示された画像に対して通過線を指定することで設定される。なお、図１０において、ドア１０５０またはドア１０５１を介して、人物は、エリアＡやエリアＢへ移動できるものとする。

記憶部３０１は、撮像装置の各々の設置状況に関するテーブルである設置テーブルを記憶する。図７に示すテーブル７７０は、テーブル７００と同様、実施形態２に係る設置テーブルの一例である。テーブル７７０は、所定領域を識別する情報である所定領域ＩＤ７７１と、撮像装置を識別する情報である撮像装置ＩＤ７０２と、所定領域に対応するゲートを識別する情報であるゲートＩＤ７７３と、撮像装置の撮像対象の情報を示す撮像対象７０４と、を含む。

例えば、テーブル７７０にて、撮像装置１０１１は、所定領域１０００のゲート１０２０にて入場方向１０３０を通過する人物を撮像するように設置されていることを示している。

本実施形態における情報処理装置１００は、所定領域２００において人物が滞留した滞留時間、そして、所定領域１０００において人物が滞留した滞留時間を導出する。

本実施形態において、図４（ａ）および図４（ｂ）に示す処理は、所定領域２００および所定領域１０００の各々について行われる。

所定領域２００について処理が行われる場合、図４（ａ）の処理は、テーブル７７０に基づき、撮像装置１１１、１０２１、１０２２が撮像した画像に対して行われる。また、所定領域２００について処理が行われる場合、図４（ｂ）の処理は、テーブル７７０に基づき、撮像装置１１２、１０２３、１０２４が撮像した画像に対して行われる。

このようにすることで、所定領域２００における人物の滞留時間を導出することができる。

一方、所定領域１０００について処理が行われる場合、図４（ａ）の処理は、テーブル７７０に基づき、撮像装置１０１１が撮像した画像に対して行われる。また、所定領域１０００について処理が行われる場合、図４（ｂ）の処理は、テーブル７７０に基づき、撮像装置１０１２が撮像した画像に対して行われる。

このようにすることで、所定領域１０００における人物の滞留時間を導出することができる。

なお、実施形態２における情報処理装置１００の１以上の機能を、撮像装置や記録装置等の他の装置が有していてもよい。例えば、情報処理装置１００の検出部３０５は撮像装置が有していてもよい。

以上説明したように、複数台の撮像装置を用いてゲートを入場方向（または退場方向）に通過する人物を撮像した場合や、滞留時間を導出する領域である所定領域が複数あった場合でも、所定領域における人物の滞留時間を導出することができる。

（その他の実施形態）
次に図１１を参照して、各実施形態の各機能を実現するための情報処理装置１００のハードウェア構成を説明する。なお、以降の説明において情報処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１１～１１４も同様のハードウェア構成によって実現される。

本実施形態における情報処理装置１００は、ＣＰＵ１１００と、ＲＡＭ１１１０と、ＲＯＭ１１２０、ＨＤＤ１１３０と、Ｉ／Ｆ１１４０と、を有している。

ＣＰＵ（ＣＥＮＴＲＡＬ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）１１００は情報処理装置１００を統括制御する中央処理装置である。

ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）１１１０は、ＣＰＵ１１００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１１１０は、ＣＰＵ１１００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１１１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ（ＲＥＡＤ ＯＮＬＹ ＭＥＭＯＲＹ）１１２０は、ＣＰＵ１１００が情報処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ（ＨＡＲＤ ＤＩＳＫ ＤＲＩＶＥ）１１３０は、画像データ等を記録する記憶装置である。

Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ１１００が処理を実行する例について説明するが、ＣＰＵ１１００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ１１２０からプログラムコードを読み出してＲＡＭ１５０１に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、情報処理装置１００の各部は、図１１に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００ 情報処理装置
３００ 通信部
３０１ 記憶部
３０２ 表示制御部
３０３ 操作受付部
３０４ 設定部
３０５ 検出部
３０６ 追尾部
３０７ 判定部
３０８ 抽出部
３０９ 関連付け部
３１０ 照合部
３１１ 導出部

Claims (11)

1. 所定領域に入場または退場するためのゲートを含む画像から人物を検出する検出手段と、
   前記検出手段により検出される人物を追尾する追尾手段と、
   前記追尾手段により追尾される人物が前記所定領域の外から内へ向かう方向である第１方向にゲートを通過したことを判定する第１判定手段と、
   前記第１判定手段により追尾される人物が前記第１方向にゲートを通過したことが判定された場合に、当該人物を撮像した画像の撮像時刻を第１時刻として取得する第１取得手段と、
   前記追尾手段により前記所定領域の外にいる状態から追尾される人物を含む複数の画像から、所定の条件を満たす画像を当該人物の登録画像として抽出する抽出手段と、
   前記登録画像と、当該登録画像に対応する人物が前記第１方向にゲートを通過した前記第１時刻と、を前記追尾手段による当該人物の追尾により関連付ける関連付け手段と、
   前記追尾手段により前記所定領域の内にいる状態から追尾される人物が撮像された複数の画像のうち少なくとも１つの画像と、前記登録画像と、に基づいて、当該人物と前記登録画像に対応する人物とが同一人物かを照合する照合手段と、
   前記追尾手段により追尾される人物が前記所定領域の内から外へ向かう方向である第２方向にゲートを通過したことを判定する第２判定手段と、
   前記第２判定手段によって前記追尾手段により追尾される人物が前記第２方向にゲートを通過したことが判定された場合に、当該人物を撮像した画像の撮像時刻を第２時刻として取得する第２取得手段と、
   前記第１時刻と、前記第２時刻と、に基づいて、前記照合手段により照合された人物が前記所定領域に滞留した時間である滞留時間を導出する導出手段と、を有し、
   前記関連付け手段は、前記第２判定手段の判定結果に基づいて、前記追尾手段により追尾される人物が前記第２方向にゲートを通過したことを示す退場フラグ、を前記追尾手段により追尾される人物に対して関連付けし、
   前記導出手段は、前記退場フラグが関連付けられた人物のうち、前記照合手段によって照合された人物がいる場合は前記滞留時間を導出し、前記退場フラグが関連付けられた人物のうち、前記照合手段によって照合された人物がいない場合は前記滞留時間を導出しないことを特徴とする情報処理装置。
2. 前記所定の条件を満たす画像は、前記追尾手段により追尾される人物を含む画像のうち、当該人物の顔の映り度合を示す情報である顔尤度が第１閾値以上の画像であることを特徴とする請求項１に記載の情報処理装置。
3. 前記所定の条件を満たす画像は、前記追尾手段により追尾される人物を含む画像のうち、当該人物の顔の映り度合を示す情報である顔尤度が第１閾値以上かつ顔尤度が最も高い画像であることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記照合手段は、前記追尾手段により前記所定領域の内にいる状態から追尾される人物が撮像された複数の画像のうち少なくとも１つの画像から抽出された当該人物の特徴量と、前記登録画像に対応する人物の特徴量と、に基づいて、前記抽出された人物と前記登録画像に対応する人物とが同一人物かを照合することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記照合手段は、前記追尾手段により前記所定領域の内にいる状態から追尾される人物が撮像された複数の画像のうち少なくとも１つの画像から抽出された当該人物の特徴量と、前記登録画像に対応する人物の特徴量とを比較して算出された人物の一致度を示す認証スコアが第２閾値より大きい場合に、当該人物と前記登録画像に対応する人物とが同一人物であると照合することを特徴とする請求項４に記載の情報処理装置。
6. 前記抽出手段は、さらに、前記追尾手段により前記所定領域の内にいる状態から追尾される人物を含む複数の画像から、所定の条件を満たす画像を抽出し、
   前記照合手段は、前記抽出手段により抽出された当該画像から抽出された当該人物の特徴量と、前記登録画像に対応する人物の特徴量と、に基づいて、当該人物と前記登録画像に対応する人物とが同一人物かを照合することを特徴とする請求項４または５に記載の情報処理装置。
7. 前記照合手段は、前記追尾手段により前記所定領域の内にいる状態から追尾される人物が所定の位置を通過した場合に、認証スコアとの比較に用いる閾値を前記第２閾値より小さい第３閾値に変更し、前記追尾手段により前記所定領域の内にいる状態から追尾される人物が撮像された複数の画像のうち少なくとも１つの画像から抽出された当該人物の特徴量と、前記登録画像に対応する人物の特徴量とを比較して算出された人物の一致度を示す認証スコアが前記第３閾値より大きい場合に、当該人物と前記登録画像に対応する人物とが同一人物であると照合することを特徴とする請求項５に記載の情報処理装置。
8. 前記照合手段により照合された人物を含む画像に前記滞留時間を重畳して表示させる制御手段を更に有することを特徴とする請求項１乃至７のいずれか一項に記載の情報処理装置。
9. 所定領域に入場または退場するためのゲートを含む画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像から人物を検出する検出手段と、
   前記検出手段により検出される人物を追尾する追尾手段と、
   前記追尾手段により追尾される人物が前記所定領域の外から内へ向かう方向である第１方向にゲートを通過したことを判定する第１判定手段と、
   前記第１判定手段により追尾される人物が前記第１方向にゲートを通過したことが判定された場合に、当該人物を撮像した画像の撮像時刻を第１時刻として取得する第１取得手段と、
   前記追尾手段により前記所定領域の外にいる状態から追尾される人物を含む複数の画像から、所定の条件を満たす画像を当該人物の登録画像として抽出する抽出手段と、
   前記登録画像と、当該登録画像に対応する人物が前記第１方向にゲートを通過した前記第１時刻と、を前記追尾手段による当該人物の追尾により関連付ける関連付け手段と、
   前記追尾手段により前記所定領域の内にいる状態から追尾される人物が撮像された複数の画像のうち少なくとも１つの画像と、前記登録画像と、に基づいて、当該人物と前記登録画像に対応する人物とが同一人物かを照合する照合手段と、
   前記追尾手段により追尾される人物が前記所定領域の内から外へ向かう方向である第２方向にゲートを通過したことを判定する第２判定手段と、
   前記第２判定手段によって前記追尾手段により追尾される人物が前記第２方向にゲートを通過したことが判定された場合に、当該人物を撮像した画像の撮像時刻を第２時刻として取得する第２取得手段と、
   前記第１時刻と、前記第２時刻と、に基づいて、前記照合手段により照合された人物が前記所定領域に滞留した時間である滞留時間を導出する導出手段と、を有し、
   前記関連付け手段は、前記第２判定手段の判定結果に基づいて、前記追尾手段により追尾される人物が前記第２方向にゲートを通過したことを示す退場フラグ、を前記追尾手段により追尾される人物に対して関連付けし、
   前記導出手段は、前記退場フラグが関連付けられた人物のうち、前記照合手段によって照合された人物がいる場合は前記滞留時間を導出し、前記退場フラグが関連付けられた人物のうち、前記照合手段によって照合された人物がいない場合は前記滞留時間を導出しないことを特徴とするシステム。
10. 所定領域に入場または退場するためのゲートを含む画像から人物を検出する検出工程と、
    前記検出工程により検出される人物を追尾する追尾工程と、
    前記追尾工程により追尾される人物が前記所定領域の外から内へ向かう方向である第１方向にゲートを通過したことを判定する第１判定工程と、
    前記第１判定工程により追尾される人物が前記第１方向にゲートを通過したことが判定された場合に、当該人物を撮像した画像の撮像時刻を第１時刻として取得する第１取得工程と、
    前記追尾工程により前記所定領域の外にいる状態から追尾される人物を含む複数の画像から、所定の条件を満たす画像を当該人物の登録画像として抽出する抽出工程と、
    前記登録画像と、当該登録画像に対応する人物が前記第１方向にゲートを通過した前記第１時刻と、を前記追尾工程による当該人物の追尾により関連付ける第１関連付け工程と、
    前記所定領域の内にいる状態から追尾される人物が撮像された複数の画像のうち少なくとも１つの画像と、前記登録画像と、に基づいて、当該人物と前記登録画像に対応する人物とが同一人物かを照合する照合工程と、
    前記追尾工程により追尾される人物が前記所定領域の内から外へ向かう方向である第２方向にゲートを通過したことを判定する第２判定工程と、
    前記第２判定工程によって前記追尾工程により追尾される人物が前記第２方向にゲートを通過したことが判定された場合に、当該人物を撮像した画像の撮像時刻を第２時刻として取得する第２取得工程と、
    前記照合工程により照合された人物と、当該人物が前記第２方向にゲートを通過した前記第２時刻と、を前記追尾工程による追尾により関連付ける第２関連付け工程と、
    前記第１時刻と、前記第２時刻と、に基づいて、前記照合工程により照合された人物が前記所定領域に滞留した時間である滞留時間を導出する導出工程とを有し、
    前記関連付け工程は、前記第２判定工程の判定結果に基づいて、前記追尾工程により追尾される人物が前記第２方向にゲートを通過したことを示す退場フラグ、を前記追尾工程により追尾される人物に対して関連付けし、
    前記導出工程は、前記退場フラグが関連付けられた人物のうち、前記照合工程によって照合された人物がいる場合は前記滞留時間を導出し、前記退場フラグが関連付けられた人物のうち、前記照合工程によって照合された人物がいない場合は前記滞留時間を導出しないことを特徴とする情報処理方法。
11. コンピュータを、請求項１乃至８のいずれか一項に記載された情報処理装置の各手段として機能させるためのプログラム。

Images