JP7426630B2 - 情報処理装置、情報処理方法及び認証システム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及び認証システムに関する。

従来、カメラで撮影した画像に基づいて、人の位置を追跡する技術が知られている（例えば、特許文献１を参照）。

特開２０２０－０１３２９０号公報

施設に設置可能なカメラの台数に制約がある場合、カメラが撮影できるエリアに限りがある。従来の技術を用いる場合、カメラの撮影エリアから人が出てしまった場合、撮影エリアから出た人のその後の状態を特定することができないという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、カメラの撮影エリアから出た人が当該撮影エリアに戻ったことを特定することができる情報処理装置、情報処理方法及び認証システムを提供することを目的とする。

本発明の第１の態様における情報処理装置は、所定のエリアの撮像画像を取得する撮像画像取得部と、前記撮像画像取得部が取得した第１撮像画像に含まれている人の特徴を特定する特徴特定部と、前記第１撮像画像と、前記第１撮像画像よりも後に生成された第２撮像画像とにおいて、前記人が含まれている第１状態から、当該人が含まれない第２状態に変化した前記人である退場者の特徴を、前記第１状態から前記第２状態に変化した変化時刻に関連付けて記憶部に記憶させる変化記録部と、前記変化時刻から所定の時間が経過するまでの間に前記撮像画像取得部が取得した第３撮像画像において、前記変化記録部が前記変化時刻に関連付けて前記記憶部に記憶させた前記退場者の特徴と同一の人の特徴を前記特徴特定部が特定した場合に、前記退場者が前記エリアに戻ってきたと判定する判定部と、前記判定部が判定した結果に基づく情報を外部装置に通知する通知部と、を有する。

前記通知部は、前記退場者が前記エリアに戻ってきたことを、前記エリアに入場する入場者を認証する前記外部装置に通知してもよい。
前記通知部は、前記退場者が前記エリアに戻ってきたことを、前記エリアの管理者が使用する前記外部装置に通知してもよい。

前記特徴特定部は、特徴を特定した前記人が所定の時間以上にわたって滞在していた位置をさらに特定し、前記変化記録部は、前記特徴特定部が特定した位置を前記退場者の特徴に関連付けて前記記憶部に記憶させ、前記通知部は、前記退場者が前記エリアに戻ってきたこととともに、当該退場者の特徴に関連付けて前記記憶部に記憶された前記位置を前記外部装置に通知してもよい。

前記情報処理装置は、所定の期間内に前記エリアに戻ってきた前記退場者の数である再入場者数を算出する算出部をさらに有し、前記通知部は、前記再入場者数を前記外部装置に通知してもよい。

前記算出部は、前記所定の期間内に初めて前記エリアに入った前記人の数である新入場者数をさらに算出し、前記通知部は、前記新入場者数及び前記再入場者数、又は前記新入場者数に対する前記再入場者数の割合を前記外部装置に通知してもよい。

前記算出部は、前記退場者が前記エリアから退場してから前記エリアに戻ってくるまでの時間の統計値をさらに算出し、前記通知部は、前記統計値を前記外部装置に通知してもよい。

本発明の第２の態様における情報処理方法は、コンピュータが実行する、所定のエリアが撮像された第１撮像画像を取得するステップと、前記第１撮像画像に含まれている人の特徴を特定するステップと、前記第１撮像画像を取得した後に、前記エリアが撮像された第２撮像画像を取得するステップと、前記第１撮像画像と前記第２撮像画像とにおいて、前記人が含まれている第１状態から、当該人が含まれない第２状態に変化した前記人である退場者の特徴を、前記第１状態から前記第２状態に変化した変化時刻に関連付けて記憶部に記憶させるステップと、前記変化時刻から所定の時間が経過するまでの間に前記エリアが撮像された第３撮像画像を取得するステップと、前記第３撮像画像に含まれている人の特徴を特定するステップと、前記第３撮像画像において、前記変化時刻に関連付けて前記記憶部に記憶させた前記退場者の特徴と同一の人の特徴を特定した場合に、前記退場者が前記エリアに戻ってきたと判定するステップと、前記退場者が前記エリアに戻ってきたと判定した結果に基づく情報を外部装置に通知するステップと、を有する。

本発明の第３の態様における認証システムは、所定のエリアの撮像画像を処理する情報処理装置と、前記エリアへの入場者を認証する認証装置と、を備え、前記情報処理装置は、前記エリアの撮像画像を取得する撮像画像取得部と、前記撮像画像取得部が取得した第１撮像画像に含まれている人の特徴を特定する特徴特定部と、前記第１撮像画像と、前記第１撮像画像よりも後に生成された第２撮像画像とにおいて、前記人が含まれている第１状態から、当該人が含まれない第２状態に変化した前記人である退場者の特徴を、前記第１状態から前記第２状態に変化した変化時刻に関連付けて記憶部に記憶させる変化記録部と、前記変化時刻から所定の時間が経過するまでの間に前記撮像画像取得部が取得した第３撮像画像において、前記変化記録部が前記変化時刻に関連付けて前記記憶部に記憶させた前記退場者の特徴と同一の人の特徴を前記特徴特定部が特定した場合に、前記退場者が前記エリアに戻ってきたと判定する判定部と、前記退場者が前記エリアに戻ってきたことを示す再入場情報を前記認証装置に通知する通知部と、を有し、前記認証装置は、前記エリアに人が入場する前に前記通知部から前記再入場情報の通知を受けている場合に、前記エリアに入場する人を認証せず、前記エリアに人が入場する前に前記通知部から前記再入場情報の通知を受けていない場合に、前記エリアに入場する人を認証する。

本発明によれば、カメラの撮影エリアから出た人が当該撮影エリアに戻ったことを特定することができるという効果を奏する。

本明細書において前提となる情報処理システムの概要を説明するための図である。 本明細書において前提となる情報処理システムの概要を説明するための図である。 第１の実施の形態における情報処理システムの概要を説明するための図である。 第１の実施の形態における情報処理システムの概要を説明するための図である。 第１の実施の形態における情報処理装置の構成を示す図である。 情報処理システムの処理の流れを示すシーケンス図である。 第２の実施の形態における情報処理システムの概要を説明するための図である。 第２の実施の形態における情報処理装置の構成を示す図である。 店舗内を模式的に表した図である。

［情報処理システムＳの概要］
まず、本明細書において前提となる情報処理システムＳの概要について説明する。図１及び図２は、本明細書において前提となる情報処理システムＳの概要を説明するための図である。情報処理システムＳは、所定のエリアに出入りする人を管理するために用いられるシステムである。所定のエリアは、例えば、オフィス内及び店舗内等である。情報処理システムＳは、撮像装置１と、情報処理装置２とを有する。

撮像装置１は、撮像エリアを撮像した撮像画像を生成するカメラであり、所定のエリアを撮像エリアとして撮像可能な位置に設置されている。撮像画像は、動画像であってもよいし、静止画像であってもよい。撮像装置１は、例えば、撮像範囲が３６０度である全天球型のカメラであるが、これに限らず、撮像範囲が３６０度未満である従来型のカメラであってもよい。

情報処理装置２は、所定のエリア（例えば撮像エリア）の撮像画像を処理する装置であり、例えばサーバである。撮像装置１及び情報処理装置２は、ネットワークＮに接続されている。

以下において、図１及び図２を参照しながら、情報処理システムＳの処理の流れについて説明する。図１に示す例において、まず、情報処理装置２は、撮像装置１が撮像した撮像画像を取得する（図１の（１））。情報処理装置２は、取得した撮像画像である第１撮像画像に基づいて、所定のエリアにいる人の特徴を特定する（図１の（２））。

図２（ａ）に示す撮像画像Ｇ１は、人物Ｔが所定のエリアに入場した後に撮像された第１撮像画像である。情報処理装置２は、図２（ａ）に示す撮像画像Ｇ１に含まれている人物Ｔの特徴を特定する。

図１に戻り、情報処理装置２は、第１撮像画像及び第２撮像画像に基づいて、所定のエリアから退場した人である退場者の特徴を、当該退場者が退場した時刻とともに記録する（図１の（３））。第２撮像画像は、第１撮像画像よりも後に生成（撮像）された撮像画像である。

図２（ｂ）に示す撮像画像Ｇ２は、人物Ｔが所定のエリアから退場した後に撮像された第２撮像画像である。この場合において、情報処理装置２は、図２（ａ）、（ｂ）に示す撮像画像Ｇ１、Ｇ２において、人物Ｔが含まれている第１状態から、当該人物Ｔが含まれない第２状態に変化した人物Ｔを退場者として、当該人物Ｔの特徴と、第１状態から第２状態に変化した変化時刻とを関連付けて記録する。

図１に戻り、情報処理装置２は、第３撮像画像に基づいて、退場者が戻ってきたか否かを判定する（図１の（４））。第３撮像画像は、変化時刻から所定の時間が経過するまでの間に生成された撮像画像である。

図２（ｃ）に示す撮像画像Ｇ３は、人物Ｔが所定のエリアに戻った後に撮像された第３撮像画像である。この場合において、情報処理装置２は、撮像画像Ｇ３に含まれている人物Ｔの特徴が、変化時刻に関連付けて記録した退場者の特徴（撮像画像Ｇ１に基づいて特定された人物Ｔの特徴）と同一である場合に、当該退場者が所定のエリアに戻ってきたと判定する。

図１に戻り、そして、情報処理装置２は、上記判定の結果に基づく結果情報を外部装置に通知する（図１の（５））。外部装置の詳細については後述する。このようにすることで、情報処理システムＳは、所定のエリアから出た人が当該所定のエリアに戻ったことを特定することができる。

例えば、情報処理システムＳの利用者は、当該情報処理システムＳをオフィス内における従業員の行動を追跡する追跡システムとして用いることができる。オフィス内には、机及びパーティション等、様々な物が配置されているため、撮像装置１の死角となる場所が存在し得る。この場合において、オフィス内にいる従業員が撮像装置１の死角に入ってしまうと、撮像装置１が撮像した撮像画像に当該従業員が含まれなくなり、当該従業員の行動の追跡を続けることができなくなってしまう。また、死角が無いように撮像装置１を設置しようとすると、設置する撮像装置１の数が多くなり、追跡システムを導入する費用が増大してしまう。

しかしながら、情報処理装置２は、従業員が撮像装置１の死角に入った場合に、当該従業員（退場者）の特徴を記録し、当該従業員が撮像装置１の死角から出た場合に、当該従業員が戻ってきた（現れた）と判定した結果に基づく結果情報を外部装置に通知する。このようにすることで、情報処理装置２は、従業員が撮像装置１の死角に入った場合であっても、当該従業員が撮像装置１の死角から出た場合に当該従業員の行動の追跡を再開することができる。これにより、情報処理装置２は、オフィス内に撮像装置１の死角がある場合であっても、少ない数の撮像装置１でオフィス内における従業員の行動を追跡することができる。その結果、情報処理装置２は、追跡システムを導入するためにかかる費用を低減させることができる。
以下、第１の実施の形態について説明する。

＜第１の実施の形態＞
［オフィスに戻った人を特定する］
図３及び図４は、第１の実施の形態における情報処理システムＳ１の概要を説明するための図である。情報処理システムＳ１は、所定のエリアに入場する入場者を認証するために用いられる認証システムとして機能する。第１の実施の形態における所定のエリアは、オフィス内を含む。情報処理システムＳ１は、認証装置３をさらに有する。

認証装置３は、所定のエリアに入場する入場者を認証する外部装置であり、例えば、オフィスに入場する入場口に設置された入場ゲートである。認証装置３は、オフィスに入場するためのドアの錠を制御するために設置された電子錠装置であってもよい。認証装置３は、ネットワークＮに接続されている。

第１の実施の形態における撮像装置１は、入場ゲートの外側（オフィスの外側）とオフィス内とが撮像可能な位置に設置されている。なお、オフィスの入場口がドアで仕切られており、オフィス内からドアの外側が視認できない場合、ドアの外側からオフィス内までを撮像する複数の撮像装置１が設置されていてもよい。

例えば、オフィスで働いている人にはＩＣ（Integrated Circuit）カードが配布されており、認証装置３は、当該ＩＣカードに基づいて人を認証する。認証装置３は、人を認証すると、当該認証装置３が備えるゲートを開放する。図４（ａ）は、ある日において人物Ｔが初めてオフィスに入場する際（例えば出社する際等）の認証装置３の動作を模式的に表した図である。図４（ａ）の状態Ｍ１は、認証装置３のゲートが閉じている状態を示し、状態Ｍ２は、認証装置３のゲートが開いた状態を示す。

図４（ａ）の状態Ｍ１に示す例において、人物Ｔが認証装置３に近づき、認証装置３の所定の場所にカードＣをかざすと、認証装置３は、当該カードＣに基づいて人物Ｔを認証する。認証装置３が人物Ｔを認証すると、状態Ｍ２に示すように認証装置３のゲートが開放され、人物Ｔは入場ゲートを通ってオフィスに入場することができる。

オフィスに入場した人物Ｔが、オフィスから退場した後に、再びオフィスに入場するために認証装置３に近づくと、情報処理装置２は、退場者が所定のエリアに戻ってきたこと、換言すると、認証装置３に近づいた人が所定のエリアから退場した退場者であることを示す結果情報を認証装置３に通知する。この場合、認証装置３は、情報処理装置２が通知した結果情報を受けると、ＩＣカードに基づく人の認証を行わずにゲートを開放する。

図４（ｂ）は、ある日において人物Ｔがオフィスに再入場する際の認証装置３の動作を模式的に表した図である。図４（ａ）の状態Ｍ３は、認証装置３のゲートが閉じている状態を示し、状態Ｍ４は、認証装置３のゲートが開いた状態を示す。

図４（ｂ）の状態Ｍ３に示す例において、人物Ｔが認証装置３に近づくと、情報処理装置２は、当該人物Ｔを含む撮像画像に基づいて当該人物Ｔが退場者であると判定し、当該判定の結果に基づく結果情報を認証装置３に通知する。認証装置３は、情報処理装置２が通知した結果情報を受けると、状態Ｍ４に示すように人物Ｔを認証せずにゲートを開放する。

このようにすることで、情報処理システムＳ１は、人がオフィスに入場するごとに、当該人が入場ゲートを通るための操作（ＩＣカードを認証装置３の所定の場所にかざす操作等）を行う手間を省くことができる。
以下、第１の実施の形態における情報処理装置２の構成について説明する。

［第１の実施の形態における情報処理装置２の構成］
図５は、第１の実施の形態における情報処理装置２の構成を示す図である。情報処理装置２は、通信部２１と、記憶部２２と、制御部２３とを有する。通信部２１は、ネットワークＮに接続するためのネットワークインターフェイスであり、例えばＬＡＮ（Local Area Network）コントローラを含んで構成されている。

記憶部２２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部２２は、制御部２３が実行するプログラムを記憶している。

制御部２３は、例えばＣＰＵ（Central Processing Unit）である。制御部２３は、記憶部２２に記憶されたプログラムを実行することにより、撮像画像取得部２３１、特徴特定部２３２、変化記録部２３３、判定部２３４及び通知部２３５として機能する。

撮像画像取得部２３１は、通信部２１を介して、所定のエリアの撮像画像を撮像装置１から取得する。撮像画像取得部２３１は、例えば、撮像装置１が撮像画像を撮像するごとに、当該撮像画像を取得する。

特徴特定部２３２は、撮像画像取得部２３１が取得した第１撮像画像に含まれている人の特徴を特定する。特徴特定部２３２は、例えば、第１撮像画像に含まれている人の顔（眼鏡の有無、眼鏡の形状等）、体形、服装、姿勢、持ち物等の複数の特徴点を抽出することにより、当該人の特徴を特定する。特徴特定部２３２は、撮像画像取得部２３１が撮像画像を取得するごとに、当該撮像画像に含まれている人の特徴を特定する。例えば、第１撮像画像に複数の人が含まれている場合、特徴特定部２３２は、人ごとに当該人の特徴を特定する。

変化記録部２３３は、所定のエリアから退場した退場者の特徴を、当該退場者が退場した時刻に関連付けて記録する。具体的には、変化記録部２３３は、第１撮像画像と第２撮像画像とにおいて、人が含まれている第１状態から、当該人が含まれない第２状態に変化した人である退場者の特徴を、第１状態から第２状態に変化した変化時刻に関連付けて記憶部２２に記憶させる。

より具体的には、変化記録部２３３は、第１撮像画像に基づいて特徴を特定された人が、第２撮像画像に含まれていない場合、当該第１撮像画像に基づいて特定された人の特徴を、当該第２撮像画像が生成された時刻を変化時刻として関連付けて記憶部２２に記憶させる。

判定部２３４は、変化時刻から所定の時間（例えば１時間、当日等）が経過するまでの間に撮像画像取得部２３１が取得した第３撮像画像に基づいて、退場者が所定のエリアに戻ってきたか否かを判定する。具体的には、判定部２３４は、第３撮像画像において、変化記録部２３３が変化時刻に関連付けて記憶部２２に記憶させた退場者の特徴と同一の人の特徴を特徴特定部２３２が特定したか否かに基づいて、退場者が所定のエリアに戻ってきたか否かを判定する。

より具体的には、判定部２３４は、記憶部２２に記憶されている一以上の退場者の特徴のうち、当該退場者の特徴と関連付けて記憶部２２に記憶されている変化時刻に対応する第３撮像画像に基づいて特定された人の特徴と同一の退場者の特徴があるか否かに基づいて、退場者が所定のエリアに戻ってきたか否かを判定する。「人の特徴と同一の退場者の特徴」は、例えば、人の特徴（撮像画像から抽出された複数の特徴点）と、退場者の特徴（記憶部２２に記憶されている退場者の複数の特徴点）とが一致する割合が予め定められた閾値以上である場合である。

判定部２３４は、第３撮像画像において、変化記録部２３３が変化時刻に関連付けて記憶部２２に記憶させた退場者の特徴と同一の人の特徴を特徴特定部２３２が特定した場合に、退場者が所定のエリアに戻ってきた（特徴特定部２３２が特徴を特定した人が退場者である）と判定する。

通知部２３５は、通信部２１を介して、判定部２３４が判定した結果に基づく結果情報を認証装置３に通知する。具体的には、通知部２３５は、判定部２３４によって退場者が所定のエリアに戻ってきたと判定した場合、通信部２１を介して、当該退場者が所定のエリアに戻ってきたことを示す再入場情報を、結果情報として認証装置３に通知する。

認証装置３は、所定のエリアに人が入場する前に情報処理装置２から再入場情報の通知を受けている場合に、所定のエリアに入場する人を認証しない。この場合、認証装置３は、再入場情報の通知を受けたことに応じてゲートを開放する。一方、認証装置３は、所定のエリアに人が入場する前に情報処理装置２から再入場情報の通知を受けていない場合に、所定のエリアに入場する人を認証する。この場合、認証装置３は、例えば、ＩＣカードに基づいて所定のエリアに入場する人を認証する。このようにすることで、認証装置３は、人が入場するごとに当該人を認証するための処理（ＩＣカードに基づいて人を認証する処理）を省くことができる。

上記において外部装置が認証装置３である例を説明したが、これに限らない。例えば、オフィスで働く各従業員が使用する不図示の通信端末であってもよい。通信端末は、例えば、スマートフォン及びＰＣ（Personal Computer）等である。この場合、通知部２３５は、退場者が所定のエリアに戻ってきたことを示す再入場情報を通信端末に通知してもよい。このようにすることで、例えば、通知された再入場場を受けた通信端末を使用する従業員は、他の従業員の所在（オフィスに戻ったこと）を確認することができる。

また、外部装置は、オフィスを警備する警備員が使用する通信端末であってもよい。例えば、当該警備員が入場ゲートを監視する場合、一度確認した人を再度確認する警備員の手間を省くことができる。これにより、情報処理装置２は、人が入場するごとに確認する警備員の監視の負担を軽減することができる。

また、外部装置は、オフィスで働く従業員の上司（同僚）が使用する通信端末であってもよい。この場合、通知部２３５は、退場者が所定のエリアに戻ってきたことを示す再入場情報とともに、当該退場者の直前のスケジュールを通信端末に通知してもよい。例えば、記憶部２２には、各従業者のスケジュール（例えば、会議及び出張等）と、当該従業者に関する情報（例えば従業者の特徴等）とが記憶されている。この場合において、通知部２３５は、判定部２３４が所定のエリアに戻ってきたと判定した退場者の特徴によって特定される従業者の直前のスケジュールを通信端末に通知する。このようにすることで、上司は、オフィスに戻ってきた従業者がどこに行っていたのかを把握することができる。

［情報処理システムＳ１の処理］
続いて、情報処理システムＳ１の処理の流れについて説明する。図６は、情報処理システムＳ１の処理の流れを示すシーケンス図である。本処理は、情報処理装置２の撮像画像取得部２３１が、通信部２１を介して撮像装置１によって撮像された第１撮像画像を取得したことを契機として開始する（Ｓ１）。

特徴特定部２３２は、第１撮像画像に含まれている人の特徴を特定する（Ｓ２）。撮像画像取得部２３１は、通信部２１を介して、第１撮像画像よりも後に生成された第２撮像画像を撮像装置１から取得する（Ｓ３）。特徴特定部２３２は、第２撮像画像に含まれている人の特徴を特定する（Ｓ４）。

変化記録部２３３は、第１撮像画像と第２撮像画像とにおいて、人が含まれている第１状態から当該人が含まれない第２状態に変化した退場者がいるか否かを判定する（Ｓ５）。変化記録部２３３は、第１状態から第２状態に変化した退場者がいないと判定した場合（Ｓ５においてＮＯの場合）、処理をＳ３に戻す。一方、変化記録部２３３は、第１状態から第２状態に変化した退場者がいると判定した場合（Ｓ５においてＹＥＳの場合）、当該退場者の特徴を、第１状態から第２状態に変化した変化時刻に関連付けて記憶部２２に記憶させる（Ｓ６）。

撮像画像取得部２３１は、通信部２１を介して、変化時刻から所定の時間が経過するまでの間に撮像された第３撮像画像を撮像装置１から取得する（Ｓ７）。特徴特定部２３２は、第３撮像画像に含まれている人の特徴を特定する（Ｓ８）。

判定部２３４は、第３撮像画像において、変化記録部２３３が変化時刻に関連付けて記憶部２２に記憶させた退場者の特徴と同一の人の特徴を特徴特定部２３２が特定したか否かを判定する（Ｓ９）。判定部２３４は、退場者の特徴と同一の人の特徴を特徴特定部２３２が特定していないと判定した場合（Ｓ９においてＮＯの場合）、処理をＳ７に戻す。

一方、判定部２３４が退場者の特徴と同一の人の特徴を特徴特定部２３２が特定したと判定した場合（Ｓ９においてＹＥＳの場合）、通知部２３５は、通信部２１を介して、当該退場者が所定のエリアに戻ってきたことを示す再入場情報を、認証装置３に通知する（Ｓ１０）。そして、認証装置３は、情報処理装置２から通知された再入場情報を受けると、人を認証せずにゲートを開放する（Ｓ１１）。

［第１の実施の形態における効果］
以上説明したとおり、情報処理装置２は、第１撮像画像及び第２撮像画像において第１状態から第２状態に変化した退場者の特徴を変化時刻に関連付けて記録する。情報処理装置２は、第３撮像画像に基づいて退場者が所定のエリアに戻ってきたと判定した場合に再入場情報を認証装置３に通知する。そして、認証装置３は、再入場情報の通知を受けると、人を認証せずにゲートを開放する。このようにすることで、情報処理システムＳ１は、人がオフィスに入場するごとに、当該人が入場ゲートを通るための操作を行う手間を省くことができる。

＜第２の実施の形態＞
［店舗に戻った人を特定する］
続いて、第２の実施の形態について説明する。第１の実施の形態における情報処理装置２は、オフィスに戻った人を特定する。これに対して、第２の実施の形態における情報処理装置２は、店舗に戻った人を特定する。以下に、第１の実施の形態と異なる部分について説明する。第１の実施の形態と同じ部分については適宜説明を省略する。

図７は、第２の実施の形態における情報処理システムＳ２の概要を説明するための図である。情報処理システムＳ２は、所定のエリアに入場した入場者が当該所定のエリアに戻った人（退場者）であることを管理者に提示するために用いられる情報提示システムとして機能する。第２の実施の形態における所定のエリアは、店舗内を含む。管理者は、例えば店舗の店員である。入場者は、例えば店舗の顧客である。情報処理システムＳ２は、管理端末４をさらに有する。

管理端末４は、店舗を管理する管理者が使用する端末であり、例えば、スマートフォン及びＰＣ等である。管理端末４は、ネットワークＮに接続されている。管理端末４は、情報処理装置２から通知された結果情報を管理者に提示する。具体的には、情報処理装置２が再入場情報を結果情報として管理端末４に通知すると、当該管理端末４は、入店した顧客が再入店した顧客であることを管理者に提示する。

このようにすることで、管理者は、入店した顧客が再入店した顧客であることを認識することができる。これにより、例えば、管理者は、入店した顧客が店舗内の商品に興味を持っている蓋然性が高いことを把握することができる。その結果、情報処理システムＳ２は、店員の接客を支援することができる。
以下、第２の実施の形態における情報処理装置２の構成について説明する。

［第２の実施の形態における情報処理装置２の構成］
図８は、第２の実施の形態における情報処理装置２の構成を示す図である。制御部２３は、記憶部２２に記憶されたプログラムを実行することにより、算出部２３６としてさらに機能する。

通知部２３５は、判定部２３４によって退場者が所定のエリアに戻ってきたと判定した場合、通信部２１を介して、当該退場者が所定のエリアに戻ってきたことを示す再入場情報を、結果情報として管理端末４に通知する。管理端末４は、例えば、再入場情報の通知を受けると、店舗に入店した顧客が再入店した顧客であることを示すメッセージをディスプレイに表示する。

通知部２３５は、再入店した顧客が直前に入店したときの行動を示す情報をさらに通知してもよい。具体的には、まず、特徴特定部２３２は、第１撮像画像に含まれている人の特徴を特定するとともに、複数の第１撮像画像に基づいて、特徴を特定した人が所定の時間以上（例えば１分以上等）にわたって滞在していた位置をさらに特定する。特徴特定部２３２が特定する位置は、例えば、店舗内の位置座標、又は店舗内に配置された複数の商品棚の中のいずれかを示す棚番号等である。

続いて、変化記録部２３３は、特徴特定部２３２が特定した位置を退場者の特徴に関連付けて記憶部２２に記憶させる。そして、通知部２３５は、退場者が所定のエリアに戻ってきたこととともに、当該退場者の特徴に関連付けて記憶部２２に記憶された位置を管理端末４に通知する。

図９は、店舗内を模式的に表した図である。図９に示す例において、店舗には、商品棚である棚Ｒ１、Ｒ２が配置されている。例えば、人物Ｔが店舗に最初に入店したときにおいて、棚Ｒ２に５分にわたって滞在していたとする。この場合において、人物Ｔが店舗を出た後に再度店舗に入った場合に、通知部２３５は、当該人物Ｔが店舗に戻ってきたことと、当該人物Ｔが最初に入店したときに所定の時間以上にわたって滞在していた棚Ｒ２を示す棚番号とを管理端末４に通知する。

その後、管理端末４は、店舗に入店した顧客が再入店した顧客であることと、当該顧客が最初に入店したときに所定の時間以上にわたって棚Ｒ２に滞在していたこととを示すメッセージをディスプレイに表示する。このようにすることで、店員は、再入店した顧客が棚Ｒ２内の商品に興味を持っている蓋然性が高いことを把握することができる。

通知部２３５は、店舗に再入場した顧客の再入場者数を管理端末４に通知してもよい。具体的には、まず、算出部２３６は、所定の期間（例えば当日）内に所定のエリアに戻ってきた退場者の数である再入場者数を算出する。そして、通知部２３５は、算出部２３６が算出した再入場者数を管理端末４に通知する。通知部２３５は、例えば、日ごとに再入場者数を管理端末４に通知する。このようにすることで、管理者は、顧客が再入場した回数を把握することができる。

通知部２３５は、所定の期間内に初めて店舗に入った顧客の人数に基づく情報を管理端末４にさらに通知してもよい。具体的には、まず、算出部２３６は、所定の期間内に初めて所定のエリアに入った人の数である新入場者数をさらに算出する。そして、通知部２３５は、新入場者数及び再入場者数、又は新入場者数に対する再入場者数の割合を管理端末４に通知する。このようにすることで、管理者は、どのくらいの割合で顧客が再入場したかを把握することができる。

通知部２３５は、顧客が店舗を出てから戻ってくるまでの時間の統計値を管理端末４に通知してもよい。具体的には、まず、算出部２３６は、退場者が所定のエリアから退場してから当該所定のエリアに戻ってくるまでの回帰時間の統計値をさらに算出する。算出部２３６は、例えば、回帰時間の長さごと（例えば３０分、１時間、１時間３０分等）に統計値を算出する。

そして、通知部２３５は、算出部２３６が算出した統計値を管理端末４に通知する。例えば、短時間（例えば３０分以内）に何度も店舗を出入りする顧客は店舗の商品に興味を持って再入店した顧客である蓋然性が低い。管理者は、情報処理装置２から通知された統計値を用いることにより、上記のような顧客による再入場者数を除外することができる。これにより、管理者は、通知された再入場者数のうち、店舗の商品に興味を持った顧客による再入場者数を把握することができる。

［変形例］
上記において、所定のエリアが店舗である例を説明したが、これに限らない。例えば、所定のエリアはイベント会場であってもよい。この場合において、通知部２３５は、変化記録部２３３が記憶部２２に特徴を記憶させた退場者の人数と、算出部２３６が算出した再入場者数とを、イベントを管理する管理者が使用する管理端末４に通知する。このようにすることで、例えば、休憩等で一時的に中断していたイベントを再開する場合において、イベント会場から出た参加者が全員戻ってきたことが当該イベントを再開する条件である場合、管理者は、情報処理装置２から通知された退場者の人数と再入場者数とを確認することにより、参加者が全員戻ってきたか否かを把握することができる。

［第２の実施の形態における効果］
以上説明したとおり、情報処理装置２は、退場者が所定のエリアに戻ってきたと判定した場合に再入場情報を管理端末４に通知する。そして、管理端末４は、店舗に入店した顧客が再入店した顧客であることを示すメッセージをディスプレイに表示する。このようにすることで、管理者は、入店した顧客が再入店した顧客であることを認識することができる。これにより、例えば、管理者は、入店した顧客が店舗内の商品に興味を持っている蓋然性が高いことを把握することができる。その結果、情報処理システムＳ２は、店員の接客を支援することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、第１の実施の形態にかかる情報処理装置２は、第２の実施の形態において説明した算出部２３６をさらに有してもよい。この場合、情報処理装置２は、算出部２３６が算出した再入場者数、又は再入場者数の統計値を外部装置である通信端末に通知してもよい。

また、例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 撮像装置
２ 情報処理装置
２１ 通信部
２２ 記憶部
２３ 制御部
２３１ 撮像画像取得部
２３２ 特徴特定部
２３３ 変化記録部
２３４ 判定部
２３５ 通知部
２３６ 算出部
３ 認証装置
４ 管理端末
Ｎ ネットワーク
Ｓ 情報処理システム

Claims (9)

1. 所定のエリアの撮像画像を取得する撮像画像取得部と、
   前記撮像画像取得部が取得した第１撮像画像に含まれている人の特徴を特定する特徴特定部と、
   前記第１撮像画像と、前記第１撮像画像よりも後に生成された第２撮像画像とにおいて、前記人が含まれている第１状態から、当該人が含まれない第２状態に変化した前記人である退場者の特徴を記憶部に記憶させる変化記録部と、
   前記第１状態から前記第２状態に変化した後に前記撮像画像取得部が取得した第３撮像画像において、前記変化記録部が前記記憶部に記憶させた前記退場者の特徴と同一の人の特徴を前記特徴特定部が特定した場合に、前記退場者が前記エリアに戻ってきたと判定する判定部と、
   前記判定部が判定した結果に基づく情報を外部装置に通知する通知部と、
   を有する、
   情報処理装置。
2. 前記通知部は、前記退場者が前記エリアに戻ってきたことを、前記エリアに入場する入場者を認証する前記外部装置に通知する、
   請求項１に記載の情報処理装置。
3. 前記通知部は、前記退場者が前記エリアに戻ってきたことを、前記エリアの管理者が使用する前記外部装置に通知する、
   請求項１に記載の情報処理装置。
4. 前記特徴特定部は、特徴を特定した前記人が所定の時間以上にわたって滞在していた位置をさらに特定し、
   前記変化記録部は、前記特徴特定部が特定した位置を前記退場者の特徴に関連付けて前記記憶部に記憶させ、
   前記通知部は、前記退場者が前記エリアに戻ってきたこととともに、当該退場者の特徴に関連付けて前記記憶部に記憶された前記位置を前記外部装置に通知する、
   請求項３に記載の情報処理装置。
5. 所定の期間内に前記エリアに戻ってきた前記退場者の数である再入場者数を算出する算出部をさらに有し、
   前記通知部は、前記再入場者数を前記外部装置に通知する、
   請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記算出部は、前記所定の期間内に初めて前記エリアに入った前記人の数である新入場者数をさらに算出し、
   前記通知部は、前記新入場者数及び前記再入場者数、又は前記新入場者数に対する前記再入場者数の割合を前記外部装置に通知する、
   請求項５に記載の情報処理装置。
7. 前記算出部は、前記退場者が前記エリアから退場してから前記エリアに戻ってくるまでの時間の統計値をさらに算出し、
   前記通知部は、前記統計値を前記外部装置に通知する、
   請求項５又は６に記載の情報処理装置。
8. コンピュータが実行する、
   所定のエリアが撮像された第１撮像画像を取得するステップと、
   前記第１撮像画像に含まれている人の特徴を特定するステップと、
   前記第１撮像画像を取得した後に、前記エリアが撮像された第２撮像画像を取得するステップと、
   前記第１撮像画像と前記第２撮像画像とにおいて、前記人が含まれている第１状態から、当該人が含まれない第２状態に変化した前記人である退場者の特徴を記憶部に記憶させるステップと、
   前記第１状態から前記第２状態に変化した後に前記エリアが撮像された第３撮像画像を取得するステップと、
   前記第３撮像画像に含まれている人の特徴を特定するステップと、
   前記第３撮像画像において、前記記憶部に記憶させた前記退場者の特徴と同一の人の特徴を特定した場合に、前記退場者が前記エリアに戻ってきたと判定するステップと、
   前記退場者が前記エリアに戻ってきたと判定した結果に基づく情報を外部装置に通知するステップと、
   を有する、
   情報処理方法。
9. 所定のエリアの撮像画像を処理する情報処理装置と、前記エリアへの入場者を認証する認証装置と、を備え、
   前記情報処理装置は、
   前記エリアの撮像画像を取得する撮像画像取得部と、
   前記撮像画像取得部が取得した第１撮像画像に含まれている人の特徴を特定する特徴特定部と、
   前記第１撮像画像と、前記第１撮像画像よりも後に生成された第２撮像画像とにおいて、前記人が含まれている第１状態から、当該人が含まれない第２状態に変化した前記人である退場者の特徴を記憶部に記憶させる変化記録部と、
   前記第１状態から前記第２状態に変化した後に前記撮像画像取得部が取得した第３撮像画像において、前記変化記録部が前記記憶部に記憶させた前記退場者の特徴と同一の人の特徴を前記特徴特定部が特定した場合に、前記退場者が前記エリアに戻ってきたと判定する判定部と、
   前記退場者が前記エリアに戻ってきたことを示す再入場情報を前記認証装置に通知する通知部と、
   を有し、
   前記認証装置は、
   前記エリアに人が入場する前に前記通知部から前記再入場情報の通知を受けている場合に、前記エリアに入場する人を認証せず、前記エリアに人が入場する前に前記通知部から前記再入場情報の通知を受けていない場合に、前記エリアに入場する人を認証する、
   認証システム。

Images