JP5853141B2 - 人数計測装置、人数計測システムおよび人数計測方法 - Google Patents

人数計測装置、人数計測システムおよび人数計測方法 Download PDF

Info

Publication number
JP5853141B2
JP5853141B2 JP2014063544A JP2014063544A JP5853141B2 JP 5853141 B2 JP5853141 B2 JP 5853141B2 JP 2014063544 A JP2014063544 A JP 2014063544A JP 2014063544 A JP2014063544 A JP 2014063544A JP 5853141 B2 JP5853141 B2 JP 5853141B2
Authority
JP
Japan
Prior art keywords
area
flow line
measurement
person
walkable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014063544A
Other languages
English (en)
Other versions
JP2015185106A (ja
Inventor
裕一 松本
裕一 松本
大介 上田
大介 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014063544A priority Critical patent/JP5853141B2/ja
Priority to US14/666,766 priority patent/US9443135B2/en
Publication of JP2015185106A publication Critical patent/JP2015185106A/ja
Application granted granted Critical
Publication of JP5853141B2 publication Critical patent/JP5853141B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Description

本発明は、監視エリアを撮影した映像に基づいて、監視エリア内に設定された計測エリアの人物通過量を計測する人数計測装置、人数計測システムおよび人数計測方法に関するものである。
コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の人物を監視する監視システムが広く普及しているが、このカメラの映像を利用して、店舗内に設定された計測エリアの人物通過量を計測するようにすると、注目する商品の陳列棚の前の通路などに計測エリアを設定することで、その注目する商品の陳列棚に対する顧客の関心度を把握することができ、これにより、店舗内での商品の陳列方法の改善策などを考えることで、店舗の売上や利益の向上を図ることができる。
このような店舗内の人物通過量の計測に関連するものとして、従来、監視エリアを撮影するカメラの映像上に検出ラインを設定して、その検出ラインを横切る人物をカウントする技術が知られている(特許文献1参照)。この技術では、所定の画角を有するカメラ、いわゆるボックスカメラで監視エリアを斜めから撮像した映像の場合に、誤カウントが発生する問題に対して、人物の移動方向を考慮してカウントを行うことで、人物通過量の計測精度を高めるようにしている。
また、監視エリアを歩行可能エリア(有効領域)と歩行不能エリア(無効領域)とに区分して、人物追跡で取得した動線が歩行不能エリアを通る場合に、動線における歩行不能エリアを通る異常な部分を排除する技術が知られている(特許文献2参照)。この技術では、動線の異常な部分を排除することで、正常な動線が分割された状態で残り、この正常な動線のみを対象にして、オペレータが目視により完全な動線を復元する編集作業を行うことで、精度の高い動線を取得するようにしている。
特開2005−148863号公報 特許第4408916号公報
さて、計測エリアの人物通過量を計測するには、人物ごとの動線を取得して、計測エリアを通過する動線をカウントすればよいが、動線が異常である場合には、計測エリアの人物通過量に誤差が発生する。
すなわち、陳列棚の陰に隠れて人物が見えなくなる、いわゆるオクルージョンなどの影響で人物追跡が途中で失敗して、動線が途切れた場合に、2つの動線を接続する動線補正処理が行われると、歩行不能エリアを通過する異常な動線が得られる場合がある。また、人物追跡での誤検出、すなわち検出された人物の位置に誤りがある場合にも、歩行不能エリアを通過する異常な動線が得られる場合がある。このように動線が歩行不能エリアを通過する場合、人物が実際に通過した計測エリアのうち、動線が通過しない計測エリアでは、動線のカウント漏れが発生し、計測エリアの人物通過量の精度が低下する。
このような問題に対して、特許文献1に開示された技術は、検出ラインを通過する人物をカウントするものであり、検出ラインの周辺のみで人物の軌跡(動線)を取得するものであるが、オクルージョンなどの影響で人物検出が失敗した場合や、人物検出で検出された人物の位置に誤りがある場合に、人数のカウント漏れが生じることに変わりはなく、計測エリアの人物通過量の精度が低下する問題を何ら解決することはできない。
また、特許文献2に開示された技術は、人物追跡で取得した動線から異常な部分を排除することで、正常な動線のみを取得することができるものに過ぎず、これは、完全な動線を復元する作業では有益であるものの、動線の異常により発生した動線のカウント漏れの問題を何ら解決するものではなく、人物通過量の計測精度を向上させることができないという問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、歩行不能エリアを通過する異常な動線が得られた場合に発生するカウント漏れを低減して、計測エリアの人物通過量の計測精度を向上させることができるように構成された人数計測装置、人数計測システムおよび人数計測方法を提供することにある。
本発明の人数計測装置は、監視エリアを撮影した映像に基づいて、前記監視エリア内に設定された計測エリアの人物通過量を計測する人数計測装置であって、前記監視エリア内に歩行不能エリアを設定するとともに、その歩行不能エリアを除く歩行可能エリアに前記計測エリアを設定する計測条件設定部と、前記映像から検出された人物ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づいて、前記計測エリアの人物通過量を計測する通過量計測部と、前記動線取得部により取得した前記動線が前記歩行不能エリアを通過するか否かを判定する動線判定部と、この動線判定部により前記動線が前記歩行不能エリアを通過するものと判定された場合に、その動線の状態に基づいて、前記歩行不能エリアを通過しない回避ルート上に存在する前記計測エリアを推定して、その計測エリアを補正対象に選択する補正エリア選択部と、この補正エリア選択部により前記補正対象に選択された前記計測エリアについて、前記通過量計測部により取得した前記人物通過量を補正する通過量補正部と、前記通過量計測部から補正の必要のない前記計測エリアの前記人物通過量を取得するとともに、前記通過量補正部から補正が行われた前記計測エリアの前記人物通過量を取得して、前記計測エリアごとの前記人物通過量に関する人数計測結果情報を表示装置へ表示させるための表示情報を生成する表示情報生成部と、を備えた構成とする。
また、本発明の人数計測システムは、監視エリアを撮影した映像に基づいて、前記監視エリア内に設定された計測エリアの人物通過量を計測する人数計測システムであって、前記監視エリアを撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から人物を検出して位置情報を取得する人物追跡部と、前記監視エリア内に歩行不能エリアを設定するとともに、その歩行不能エリアを除く歩行可能エリアに前記計測エリアを設定する計測条件設定部と、前記人物追跡部により取得した前記位置情報に基づいて、人物ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づいて、前記計測エリアの人物通過量を計測する通過量計測部と、前記動線取得部により取得した前記動線が前記歩行不能エリアを通過するか否かを判定する動線判定部と、この動線判定部により前記動線が前記歩行不能エリアを通過するものと判定された場合に、その動線の状態に基づいて、前記歩行不能エリアを通過しない回避ルート上に存在する前記計測エリアを推定して、その計測エリアを補正対象に選択する補正エリア選択部と、この補正エリア選択部により前記補正対象に選択された前記計測エリアについて、前記通過量計測部により取得した前記人物通過量を補正する通過量補正部と、前記通過量計測部から補正の必要のない前記計測エリアの前記人物通過量を取得するとともに、前記通過量補正部から補正が行われた前記計測エリアの前記人物通過量を取得して、前記計測エリアごとの前記人物通過量に関する人数計測結果情報を表示装置へ表示させるための表示情報を生成する表示情報生成部と、を備えた構成とする。
また、本発明の人数計測方法は、監視エリアを撮影した映像に基づいて、前記監視エリア内に設定された計測エリアの人物通過量を計測する処理を情報処理装置に行わせる人数計測方法であって、前記監視エリア内に歩行不能エリアを設定するとともに、その歩行不能エリアを除く歩行可能エリアに前記計測エリアを設定するステップと、前記映像から検出された人物ごとの動線を取得するステップと、前記動線に基づいて、前記計測エリアの人物通過量を計測するステップと、前記動線が前記歩行不能エリアを通過するか否かを判定するステップと、前記動線が前記歩行不能エリアを通過するものと判定された場合に、その動線の状態に基づいて、前記歩行不能エリアを通過しない回避ルート上に存在する前記計測エリアを推定して、その計測エリアを補正対象に選択するステップと、前記補正対象に選択された前記計測エリアに関する前記人物通過量を補正するステップと、補正の必要のない前記計測エリアの前記人物通過量を取得するとともに、補正が行われた前記計測エリアの前記人物通過量を取得して、前記計測エリアごとの前記人物通過量に関する人数計測結果情報を表示装置へ表示させるための表示情報を生成するステップと、を有する構成とする。
本発明によれば、動線が歩行不能エリアを通過する異常な場合に、歩行不能エリアを通過しない回避ルート上に存在する計測エリアを推定して、その計測エリアの人物通過量を補正するため、動線のカウント漏れを低減して、計測エリアの人物通過量の計測精度を向上させることができる。
第1実施形態に係る人数計測システムの全体構成図 店舗のレイアウトおよびカメラ1の設置状況を説明する店舗の平面図 店舗内に歩行不能エリアおよび計測エリアを設定した例を示す説明図 歩行不能エリアを通過する異常な動線の例を示す説明図 PC3の概略構成を示す機能ブロック図 動線取得部22で行われる動線補間処理を説明する説明図 補正エリア選択部28で行われる処理を説明する説明図 補正エリア選択部28で用いられる推定テーブルの一例を示す説明図 補正エリア選択部28で用いられる推定テーブルの一例を示す説明図 動線の種々の例を示す説明図 動線の種々の例を示す説明図 第2実施形態において監視エリア内に設定される補助エリアの例を示す説明図 第3実施形態に係る人数計測システムにおけるPC3の概略構成を示す機能ブロック図
前記課題を解決するためになされた第1の発明は、監視エリアを撮影した映像に基づいて、前記監視エリア内に設定された計測エリアの人物通過量を計測する人数計測装置であって、前記監視エリア内に歩行不能エリアを設定するとともに、その歩行不能エリアを除く歩行可能エリアに前記計測エリアを設定する計測条件設定部と、前記映像から検出された人物ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づいて、前記計測エリアの人物通過量を計測する通過量計測部と、前記動線取得部により取得した前記動線が前記歩行不能エリアを通過するか否かを判定する動線判定部と、この動線判定部により前記動線が前記歩行不能エリアを通過するものと判定された場合に、その動線の状態に基づいて、前記歩行不能エリアを通過しない回避ルート上に存在する前記計測エリアを推定して、その計測エリアを補正対象に選択する補正エリア選択部と、この補正エリア選択部により前記補正対象に選択された前記計測エリアについて、前記通過量計測部により取得した前記人物通過量を補正する通過量補正部と、前記通過量計測部から補正の必要のない前記計測エリアの前記人物通過量を取得するとともに、前記通過量補正部から補正が行われた前記計測エリアの前記人物通過量を取得して、前記計測エリアごとの前記人物通過量に関する人数計測結果情報を表示装置へ表示させるための表示情報を生成する表示情報生成部と、を備えた構成とする。
これによると、動線が歩行不能エリアを通過する異常な場合に、歩行不能エリアを通過しない回避ルート上に存在する計測エリアを推定して、その計測エリアの人物通過量を補正するため、動線のカウント漏れを低減して、計測エリアの人物通過量の計測精度を向上させることができる。
また、第2の発明は、前記動線取得部は、人物認識により同一の人物となる複数の動線を1本に連結する動線補間処理を行う構成とする。
これによると、動線補間処理が行われることで、歩行不能エリアを通過する異常な動線が得られて、人物通過量の計測精度が低下する場合があるため、第1の発明のように人物通過量を補正する処理が有効である。
また、第3の発明は、前記補正エリア選択部は、予め設定された推定規則にしたがって、前記動線の状態から前記回避ルート上に存在する前記計測エリアを推定する構成とする。
これによると、回避ルート上に存在する計測エリアを簡単に推定することができる。
また、第4の発明は、前記推定規則は、複数の前記計測エリアおよび前記歩行不能エリアの相対的な位置関係に基づいて設定された構成とする。
これによると、回避ルート上に存在する計測エリアを精度よく推定することができる。
また、第5の発明は、前記補正エリア選択部は、前記歩行不能エリアに進入する直前および前記歩行不能エリアから退出した直後の少なくともいずれかにおける前記動線の状態から、前記回避ルート上に存在する前記計測エリアを推定する構成とする。
これによると、回避ルート上に存在する計測エリアを精度よく推定することができる。
また、第6の発明は、前記補正エリア選択部は、前記歩行不能エリアに進入する直前に前記計測エリアを動線が通過する場合には、その計測エリアを、前記回避ルートの起点が存在する起点エリアとし、前記歩行不能エリアから退出した直後に前記計測エリアを動線が通過する場合には、その計測エリアを、前記回避ルートの終点が存在する終点エリアとして、前記起点エリアおよび前記終点エリアにおける前記動線の状態から、前記回避ルート上に存在する前記計測エリアを推定する構成とする。
これによると、回避ルート上に存在する計測エリアを簡単にかつ精度よく推定することができる。
また、第7の発明は、前記計測条件設定部は、前記歩行可能エリアにおいて前記計測エリアが設定されていない領域に補助エリアを設定し、前記補正エリア選択部は、前記歩行不能エリアに進入する直前に前記補助エリアを動線が通過する場合には、その補助エリアを、前記回避ルートの起点が存在する起点エリアとし、前記歩行不能エリアから退出した直後に前記補助エリアを動線が通過する場合には、その補助エリアを、前記回避ルートの終点が存在する終点エリアとして、前記起点エリアおよび前記終点エリアにおける前記動線の状態から、前記回避ルート上に存在する前記計測エリアを推定する構成とする。
これによると、回避ルート上に存在する計測エリアを簡単にかつ精度よく推定することができる。そして、歩行不能エリアに進入する直前および歩行不能エリアから退出した直後に動線が計測エリアを通過しない場合に、回避ルート上に存在する計測エリアの推定ができなくなることを避けることができる。
また、第8の発明は、前記補正エリア選択部は、前記起点エリアおよび前記終点エリアの少なくともいずれかにおける人物の移動方向から、前記回避ルート上に存在する前記計測エリアを推定する構成とする。
これによると、起点エリアおよび終点エリアの位置のみで回避ルートを特定することができない場合でも、人物の移動方向により回避ルートを絞り込むことができるため、回避ルート上に存在する計測エリアの推定精度をより一層高めることができる。
また、第9の発明は、前記補正エリア選択部は、前記起点エリアから前記終点エリアまでの移動に要した経過時間から、前記回避ルート上に存在する前記計測エリアを推定する構成とする。
これによると、起点エリアおよび終点エリアの位置のみで回避ルートを特定することができない場合でも、経過時間により回避ルートを絞り込むことができるため、回避ルート上に存在する計測エリアの推定精度をより一層高めることができる。
また、第10の発明は、前記動線取得部により過去に取得した前記動線の中から、前記歩行不能エリアを通過しない正常な動線を収集して、その正常な動線に基づいて学習モデルを構築する学習部をさらに備え、前記補正エリア選択部は、前記学習部で構築された前記学習モデルに基づいて、前記動線の状態から前記回避ルート上に存在する前記計測エリアを推定する構成とする。
これによると、回避ルート上に存在する計測エリアを精度よく推定することができる。
また、第11の発明は、監視エリアを撮影した映像に基づいて、前記監視エリア内に設定された計測エリアの人物通過量を計測する人数計測システムであって、前記監視エリアを撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から人物を検出して位置情報を取得する人物追跡部と、前記監視エリア内に歩行不能エリアを設定するとともに、その歩行不能エリアを除く歩行可能エリアに前記計測エリアを設定する計測条件設定部と、前記人物追跡部により取得した前記位置情報に基づいて、人物ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づいて、前記計測エリアの人物通過量を計測する通過量計測部と、前記動線取得部により取得した前記動線が前記歩行不能エリアを通過するか否かを判定する動線判定部と、この動線判定部により前記動線が前記歩行不能エリアを通過するものと判定された場合に、その動線の状態に基づいて、前記歩行不能エリアを通過しない回避ルート上に存在する前記計測エリアを推定して、その計測エリアを補正対象に選択する補正エリア選択部と、この補正エリア選択部により前記補正対象に選択された前記計測エリアについて、前記通過量計測部により取得した前記人物通過量を補正する通過量補正部と、前記通過量計測部から補正の必要のない前記計測エリアの前記人物通過量を取得するとともに、前記通過量補正部から補正が行われた前記計測エリアの前記人物通過量を取得して、前記計測エリアごとの前記人物通過量に関する人数計測結果情報を表示装置へ表示させるための表示情報を生成する表示情報生成部と、を備えた構成とする。
これによると、第1の発明と同様に、歩行不能エリアを通過する異常な動線が得られた場合に発生するカウント漏れを低減して、計測エリアの人物通過量の計測精度を向上させることができる。
また、第12の発明は、監視エリアを撮影した映像に基づいて、前記監視エリア内に設定された計測エリアの人物通過量を計測する処理を情報処理装置に行わせる人数計測方法であって、前記監視エリア内に歩行不能エリアを設定するとともに、その歩行不能エリアを除く歩行可能エリアに前記計測エリアを設定するステップと、前記映像から検出された人物ごとの動線を取得するステップと、前記動線に基づいて、前記計測エリアの人物通過量を計測するステップと、前記動線が前記歩行不能エリアを通過するか否かを判定するステップと、前記動線が前記歩行不能エリアを通過するものと判定された場合に、その動線の状態に基づいて、前記歩行不能エリアを通過しない回避ルート上に存在する前記計測エリアを推定して、その計測エリアを補正対象に選択するステップと、前記補正対象に選択された前記計測エリアに関する前記人物通過量を補正するステップと、補正の必要のない前記計測エリアの前記人物通過量を取得するとともに、補正が行われた前記計測エリアの前記人物通過量を取得して、前記計測エリアごとの前記人物通過量に関する人数計測結果情報を表示装置へ表示させるための表示情報を生成するステップと、を有する構成とする。
これによると、第1の発明と同様に、歩行不能エリアを通過する異常な動線が得られた場合に発生するカウント漏れを低減して、計測エリアの人物通過量の計測精度を向上させることができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
(第1実施形態)
図1は、第1実施形態に係る人数計測システムの全体構成図である。この人数計測システムは、コンビニエンスストアなどの小売店舗などを対象にして構築されるものであり、カメラ1と、レコーダ(映像記録装置)2と、PC(人数計測装置)3と、人物追跡装置(人物追跡部)4と、を備えている。なお、この図1に示す構成では、カメラ1、人物追跡装置(人物追跡部)4を別々のデバイスとして記載しているが、近年のカメラの高機能化に伴い、移動体検出・追跡機能(動線の抽出など)が実装されたカメラの開発が進められており、このようなカメラを用いて、動線情報をPCやサーバへ直接送信する構成とすることもできる。この場合、PCやサーバでは、搭載された専用アプリケーションにより、カメラから送信された動線情報に基づいて、人数計測統計処理を行い、得られた統計情報を表示装置で閲覧可能な形への描画処理などを行うだけで済むため、データ処理にかかる負荷を大幅に軽減することができる。
カメラ1は店舗内の適所に設置され、カメラ1により店舗内の監視エリアが撮像され、これにより得られた映像情報がレコーダ2に録画される。
PC3には、監視員などのユーザが種々の入力操作を行うマウスなどの入力デバイス6と、監視画面を表示するモニタ(表示装置)7とが接続されている。なお、タッチパネルディスプレイで、入力デバイス6およびモニタ7を構成してもよい。
このPC3は、店舗の警備室などに設置され、監視者(警備員)が、モニタ7に表示される監視画面で、カメラ1で撮像された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ2に録画された過去の店舗内の映像を閲覧することができる。
なお、本部に設けられたPC11にも図示しないモニタが接続され、カメラ1で撮像された店舗内の映像をリアルタイムで閲覧し、また、レコーダ2に録画された過去の店舗内の映像を閲覧して、本部で店舗内の状況を確認することができる。
人物追跡装置4では、カメラ1の撮影映像から人物(移動体)を検出して、人物ごとの追跡情報(位置情報など)を出力する。この人物追跡処理は、公知の画像認識技術(人物検出技術および人物追跡技術など)を利用すればよい。
次に、コンビニエンスストアを例にして店舗のレイアウトおよびカメラ1の設置状況について説明する。図2は、店舗のレイアウトおよびカメラ1の設置状況を説明する店舗の平面図である。
店舗には、出入口と、陳列棚と、レジカウンタと、が設けられている。陳列棚は、弁当、ペットボトル、おにぎりなどの商品の種類に分けて設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計(代金の支払い)を済ませた後に出入口から退店する。
また、店舗には、店舗内(監視エリア)を撮像する複数のカメラ1が設置されている。特に、図2に示す例では、カメラ1に、魚眼レンズを用いて360度の撮影範囲を有する全方位カメラが採用され、このカメラ1により、店舗内を移動する人物を撮像することができる。
次に、監視エリア(店舗内)に設定される歩行不能エリアおよび計測エリアについて説明する。図3は、店舗内に歩行不能エリアおよび計測エリアを設定した例を示す説明図である。
本実施形態では、注目する商品の陳列棚に対する顧客の関心度を把握するため、その注目する商品の陳列棚の前の通路などに計測エリアを設定し、監視エリア(店舗内)を撮影したカメラ1の映像に基づいて、計測エリアを通過する人物を検知して、計測エリアでの人物通過量、すなわち所定の計測期間において計測エリアを通過した人物の人数を計測する人数計測処理がPC3で行われる。
この人数計測処理を行うにあたっては、まず、陳列棚やレジカウンタが設置された領域に、人物が立ち入ることが不可能な歩行不能エリアが設定される。そして、監視エリアから歩行不能エリアを除いた歩行可能エリアに、ユーザの必要に応じて計測エリアが設定される。この歩行不能エリアおよび計測エリアの設定は、ユーザの入力操作に応じて行われ、例えば、モニタ7に設定画面を表示させて、その設定画面に表示された配置図上で歩行不能エリアおよび計測エリアの位置を、マウスなどの入力デバイス6を用いて、ユーザが入力する。
次に、歩行不能エリアを通過する異常な動線について説明する。図4は、歩行不能エリアを通過する異常な動線の例を示す説明図である。
本実施形態では、監視エリア(店舗内)を撮影したカメラ1の映像に基づいて、人物ごとの動線を取得し、この人物ごとの動線が各計測エリアを通過する回数をカウントすることで、計測エリアごとの人物通過量(人数カウント値)を計測する。
ここで、陳列棚などによるオクルージョンなどが原因で人物追跡が失敗し、また、人物追跡で検出された人物の位置に誤りがあると、図4(A),(B)に示すように、取得した動線が歩行不能エリアを通過する異常なものとなる場合があり、この場合、実際の動線が通過する計測エリアのうち、取得した動線が通過しない計測エリアでは動線のカウント漏れが生じる。図4(A)に示す例では、計測エリアA1,A4で動線のカウント漏れが生じ、図4(B)に示す例では、計測エリアA2で動線のカウント漏れが生じる。
そこで、本実施形態では、取得した動線が歩行不能エリアを通過するか否かを判定し、動線が歩行不能エリアを通過する場合には、その動線の状態に基づいて、歩行不能エリアを通過しない回避ルート上に存在する計測エリアを推定して、その計測エリアの人物通過量を補正する。
次に、図1に示したPC3で行われる人数計測処理について説明する。図5は、PC3の概略構成を示す機能ブロック図である。
PC3は、追跡情報蓄積部21と、動線取得部22と、動線情報蓄積部23と、計測条件設定部24と、通過量計測部25と、動線判定部26と、推定規則格納部27と、補正エリア選択部28と、通過量補正部29と、表示情報生成部30と、を備えている。
追跡情報蓄積部21では、人物追跡装置4から取得した追跡情報が蓄積される。なお、追跡情報には、カメラ1の映像の各フレームで検出された人物ごとの検出位置、および人物が検出されたフレームの撮像時刻から取得した人物ごとの検出時刻などに関する情報が含まれる。
動線取得部22では、監視エリアの映像から検出された人物ごとの動線を取得する処理が行われる。この動線取得処理は、人物追跡装置4で生成されて追跡情報蓄積部21に蓄積された人物ごとの位置情報に基づいて行われる。この動線取得部22で取得した人物ごとの動線に関する情報は動線情報蓄積部23に蓄積される。
計測条件設定部24では、ユーザの入力操作に応じて、人数計測処理における計測条件を設定する処理が行われる。本実施形態では、監視エリア内に歩行不能エリアが設定されるとともに、その歩行不能エリアを除く歩行可能エリアに複数の計測エリアが設定される。
通過量計測部25では、動線取得部22により取得して動線情報蓄積部23に蓄積された人物ごとの動線に基づいて、複数の計測エリアごとの人物通過量、すなわち所定の計測期間において各計測エリアを通過した人物の人数を計測する処理が行われる。この通過量計測処理では、計測エリアを通過する動線、具体的には計測エリアに進入した動線をカウントすることで、計測エリアごとの人物通過量を計測する。
動線判定部26では、動線取得部22により取得して動線情報蓄積部23に蓄積された動線を対象にして、その動線が歩行不能エリアを通過するか否かを判定する処理が行われる。
なお、通過量計測部25や動線判定部26では、計測エリアや歩行不能エリアの辺(境界線)と動線との交差状況に基づいて、動線が計測エリアや歩行不能エリアに進入したか否かを判定するが、この判定では、計測エリアや歩行不能エリアの辺と動線との交点を求める必要はなく、時系列で並んだ検出位置の情報のみで判定を行うことも可能である。このため、動線取得部22で取得する動線情報には、検出位置を連結する線分(ベクトル)情報は必ずしも必要ではない。
補正エリア選択部28では、動線判定部26により動線が歩行不能エリアを通過するものと判定された場合に、その動線の状態に基づいて、歩行不能エリアを通過しない回避ルート上に存在する計測エリアを推定して、その計測エリアを補正対象に選択する処理が行われる。この補正エリア選択部28で行われる処理については後に詳しく説明する。
本実施形態では、予め設定された推定規則にしたがって、動線の状態から回避ルート上に存在する計測エリアを推定する。推定規則は、複数の計測エリアおよび歩行不能エリアの相対的な位置関係に基づいて設定される。すなわち、歩行不能エリアを通過しない回避ルートは、計測エリアおよび歩行不能エリアの相対的な位置関係に基づいて推定され、この位置関係に基づいて推定規則を設定することで、回避ルート上に存在する計測エリアを推定することができる。推定規則は、ユーザにより予め設定されて推定規則格納部27に格納される。
通過量補正部29では、補正エリア選択部28により補正対象に選択された計測エリアについて、通過量計測部25により取得した人物通過量を補正する処理が行われる。この通過量補正処理では、1本の動線に関して計測エリアが補正対象に選択されると、該当する計測エリアの人物通過量を1増分する。また、複数の計測エリアが補正対象に選択された場合、すなわち歩行不能エリアを通過しない回避ルート上に存在する計測エリアが複数存在する場合には、各計測エリアの人物通過量をそれぞれ補正する。
表示情報生成部30では、通過量計測部25から補正の必要のない計測エリアの人物通過量を取得するとともに、通過量補正部29から補正が行われた計測エリアの人物通過量を取得して、計測エリアごとの人物通過量に関する人数計測結果情報をモニタ7に表示させるための表示情報を生成する処理が行われる。これにより、人数計測結果がモニタ7に表示される。
なお、図5に示したPC3の各部は、PC3のCPUで人数計測用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのPC3に予め導入して専用の装置として構成する他、汎用OS上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
次に、図5に示した動線取得部22で行われる動線補間処理について説明する。図6は、動線取得部22で行われる動線補間処理を説明する説明図である。
本実施形態では、動線取得部22において、監視エリアの映像から検出された人物ごとの動線を取得する処理が行われる。この動線取得処理では、人物の検出位置を時系列で連結することで動線を取得し、取得した動線のうち、人物認識により複数の動線が同一の人物であると判定されると、その複数の動線を1本に接続する動線補間処理が行われる。
陳列棚によるオクルージョンなどが原因で人物追跡が途中で失敗すると、図6(A)に示すように、動線が途切れた状態となるが、人物認識により2本の動線L1,L2が同一の人物であると判定されると、図6(B)に示すように、その2本の動線L1,L2を1本に繋ぐ動線補間処理が行われる。これにより、図6(C)に示すように、動線L3が得られるが、この動線L3は歩行不能エリアを通過するため、動線判定部26において、歩行不能エリアを通過する異常な動線と判定される。
なお、ここでは、動線補間処理により、歩行不能エリアを通過する動線が生成する例について説明したが、このような動線補間処理によらずに、歩行不能エリアを通過する動線が得られる場合もある。すなわち、人物追跡で検出された人物の位置に誤りがあると、歩行不能エリアを通過する動線が得られる場合がある。
次に、図5に示した補正エリア選択部28で行われる処理について説明する。図7は、補正エリア選択部28で行われる処理を説明する説明図である。
補正エリア選択部28では、動線判定部26により動線が歩行不能エリアを通過するものと判定された場合に、その動線の状態に基づいて、歩行不能エリアを通過しない回避ルート上に存在する計測エリアを推定して、その計測エリアを補正対象に選択する処理が行われる。
ここで、歩行不能エリアを通過しない回避ルート上に存在する計測エリアを推定するには、動線において歩行不能エリアを通過する異常部分を除く正常部分の状態から回避ルートを予測する必要があり、特に、回避ルートを予測する上では、歩行不能エリアに進入する直前の動線の状態と、歩行不能エリアから退出した直後の動線の状態とが重要となる。そこで、本実施形態では、補正エリア選択部28において、歩行不能エリアに進入する直前および歩行不能エリアから退出した直後の少なくともいずれかにおける動線の状態から、回避ルート上に存在する計測エリアを推定する。
さらに、本実施形態では、歩行不能エリアに進入する直前に計測エリアを動線が通過する場合には、その計測エリアを、回避ルートの起点が存在する起点エリアとし、歩行不能エリアから退出した直後に計測エリアを動線が通過する場合には、その計測エリアを、回避ルートの終点が存在する終点エリアとして、起点エリアおよび終点エリアにおける動線の状態から、回避ルート上に存在する計測エリアを推定する。
次に、図5に示した補正エリア選択部28で用いられる推定テーブルについて説明する。図8および図9は、補正エリア選択部28で用いられる推定テーブルの一例を示す説明図である。図10および図11は、動線の種々の例を示す説明図である。
本実施形態では、補正エリア選択部28において、回避ルート上に存在する計測エリアを推定するための推定規則として、図8および図9に示す推定テーブルが用いられる。補正エリア選択部28では、この推定テーブルを参照して、回避ルート上に存在する計測エリア、すなわち補正エリア(補正対象となる計測エリア)を推定する。
推定テーブルは、起点エリアおよび終点エリアにおける動線の状態から、回避ルート上に存在する計測エリアを求めるものである。起点エリアと終点エリアとを結ぶ回避ルートは、起点エリアおよび終点エリアとその周辺の歩行不能エリアとの相対的な位置関係に基づいて予測されるが、この位置関係のみでは複数の回避ルートが存在する場合があり、この場合、起点エリアおよび終点エリアにおける動線の状態、具体的には起点エリアおよび終点エリアにおける人物の移動方向を考慮することで、回避ルートを絞り込むことができる。さらに、起点エリアから終点エリアまでの移動に要した経過時間を考慮することで、回避ルートを絞り込むことができる。
図8に示す推定テーブルは、起点エリアおよび終点エリアにおける移動方向のみに基づいて、回避ルート上に存在する計測エリアを求めるものである。
ここで、図10(A),(B)に示す各ケースでは、歩行不能エリアに進入する直前に計測エリアA2を動線が通過し、その計測エリアA2が、回避ルートの起点が存在する起点エリアとなり、また、歩行不能エリアから退出した直後に計測エリアA5を動線が通過し、その計測エリアA5が、回避ルートの終点が存在する終点エリアとなり、図10(A),(B)に示す例では、起点エリアおよび終点エリアが同一となる。
一方、図10(A),(B)に示す各ケースでは、起点エリアおよび終点エリアにおける移動方向が異なっている。すなわち、図10(A)に示すケースでは、起点エリアである計測エリアA2における移動方向が左、終点エリアである計測エリアA5における移動方向が右となり、図10(B)に示すケースでは、起点エリアである計測エリアA2における移動方向が右、終点エリアである計測エリアA5における移動方向が左となる。
したがって、起点エリアおよび終点エリアにおける移動方向に着目することで、図10(A),(B)の各ケースを判別することができ、図8に示すように、起点エリアである計測エリアA2における移動方向が左、終点エリアである計測エリアA5における移動方向が右となる場合には、補正エリアは計測エリアA1,A4となり、起点エリアである計測エリアA2における移動方向が右、終点エリアである計測エリアA5における移動方向が左となる場合には、補正エリアは計測エリアA6,A7となる。
また、図9に示す推定テーブルは、起点エリアおよび終点エリアにおける移動方向、および起点エリアから終点エリアまでの移動に要した経過時間に基づいて、回避ルート上に存在する計測エリアを求めるものである。
ここで、図11(A),(B)に示す各ケースでは、歩行不能エリアに進入する直前に計測エリアA2を動線が通過し、その計測エリアA2が、回避ルートの起点が存在する起点エリアとなり、歩行不能エリアから退出した直後に計測エリアA5を動線が通過し、その計測エリアA5が、回避ルートの終点が存在する終点エリアとなり、図11(A),(B)に示す例では、起点エリアおよび終点エリアが同一となる。
また、図11(A),(B)に示す各ケースでは、起点エリアである計測エリアA2における移動方向が左、終点エリアである計測エリアA5における移動方向が右となっており、図11(A),(B)に示す各ケースでは、起点エリアおよび終点エリアにおける移動方向も同一である。
一方、図11(A),(B)に示す各ケースでは、起点エリアである計測エリアA2から終点エリアである計測エリアA5までの移動に要した経過時間が異なる。すなわち、図11(A)に示すケースでは、実際の動線が計測エリアA1,A4のみを通過するため、経過時間は短くなり、図11(B)に示すケースでは、実際の動線が計測エリアA1,A4に加えて計測エリアA8を通過するため、経過時間は長くなる。
したがって、起点エリアから終点エリアまでの移動に要した経過時間に着目することで、図11(A),(B)の各ケースを判別することができ、図9に示すように、起点エリアである計測エリアA2から終点エリアである計測エリアA5までの移動に要した経過時間が短い場合、具体的には経過時間が10秒未満となる場合には、補正エリアは計測エリアA1,A4となり、起点エリアである計測エリアA2から終点エリアである計測エリアA5までの移動に要した経過時間が長い場合、具体的には経過時間が10秒以上となる場合には、補正エリアは計測エリアA1,A8,A4となる。
このように本実施形態では、補正エリア選択部28において、動線が歩行不能エリアを通過する場合に、その動線の状態に基づいて、歩行不能エリアを通過しない回避ルート上に存在する計測エリアを推定して、その計測エリアを補正対象に選択し、通過量補正部29において、補正対象に選択された計測エリアの人物通過量を補正するようにしたため、歩行不能エリアを通過する異常な動線が得られた場合に発生する動線のカウント漏れを低減して、計測エリアの人物通過量の計測精度を向上させることができる。
また、本実施形態では、動線取得部22において、人物認識により同一の人物となる複数の動線を1本に連結する動線補間処理を行うようにしており、このような動線補間処理が行われると、歩行不能エリアを通過する異常な動線が得られて、人物通過量の計測精度が低下する場合があるため、前記のように人物通過量を補正する処理が有効である。
また、本実施形態では、補正エリア選択部28において、予め設定された推定規則にしたがって、動線の状態から回避ルート上に存在する計測エリアを推定するようにしたため、回避ルート上に存在する計測エリアを簡単に推定することができる。
また、本実施形態では、推定規則が、複数の計測エリアおよび歩行不能エリアの相対的な位置関係に基づいて設定されているため、回避ルート上に存在する計測エリアを精度よく推定することができる。
また、本実施形態では、補正エリア選択部28において、歩行不能エリアに進入する直前および歩行不能エリアから退出した直後の少なくともいずれかにおける動線の状態から、回避ルート上に存在する計測エリアを推定するようにしたため、回避ルート上に存在する計測エリアを精度よく推定することができる。
また、本実施形態では、補正エリア選択部28において、歩行不能エリアに進入する直前に動線が通過する計測エリアを起点エリアとし、歩行不能エリアから退出した直後に動線が通過する計測エリアを終点エリアとして、その起点エリアおよび終点エリアにおける動線の状態から、回避ルート上に存在する計測エリアを推定するようにしたため、回避ルート上に存在する計測エリアを簡単にかつ精度よく推定することができる。
また、本実施形態では、補正エリア選択部28において、起点エリアおよび終点エリアの少なくともいずれかにおける人物の移動方向から、回避ルート上に存在する計測エリアを推定し、また、起点エリアから終点エリアまでの移動に要した経過時間から、回避ルート上に存在する計測エリアを推定するようにしたため、起点エリアおよび終点エリアの位置のみで回避ルートを特定することができない場合でも、人物の移動方向や経過時間により回避ルートを絞り込むことができるため、回避ルート上に存在する計測エリアの推定精度をより一層高めることができる。
(第2実施形態)
次に、第2実施形態について説明する。図12は、第2実施形態において監視エリア内に設定される補助エリアの例を示す説明図である。なお、ここで特に言及しない点は第1実施形態と同様である。
第1実施形態では、補正エリア選択部28において、歩行不能エリアに進入する直前に計測エリアを動線が通過する場合には、その計測エリアを起点エリアとし、歩行不能エリアから退出した直後に計測エリアを動線が通過する場合には、その計測エリアを終点エリアとして、起点エリアおよび終点エリアにおける動線の状態から、回避ルート上に存在する計測エリアを推定するようにしたが、このような構成では、歩行不能エリアの前後に計測エリアが設定されていない場合、すなわち歩行不能エリアに進入する直前および歩行不能エリアから退出した直後に動線が計測エリアを通過しない場合には、歩行不能エリアに進入する直前および歩行不能エリアから退出した直後における動線の状態を取得することができない。
そこで、この第2実施形態では、計測条件設定部24において、図12に示すように、歩行可能エリアにおいて計測エリアが設定されていない領域に補助エリアを設定するようにしており、補正エリア選択部28では、歩行不能エリアに進入する直前に補助エリアを動線が通過する場合には、その補助エリアを、回避ルートの起点が存在する起点エリアとし、歩行不能エリアから退出した直後に補助エリアを動線が通過する場合には、その補助エリアを、回避ルートの終点が存在する終点エリアとして、起点エリアおよび終点エリアにおける動線の状態から、回避ルート上に存在する計測エリアを推定する処理が行われる。このとき、第1実施形態と同様に、図8および図9に示した推定テーブルを用いることができる。
補助エリアは、歩行可能エリアにおいて計測エリアが設定されていない領域において、歩行不能エリアに隣接するように設定することが望ましいが、必ずしも歩行不能エリアの周囲に隙間なく設定する必要はなく、必要な位置にのみ設定するようにしてもよい。図12(A)に示す例では、歩行不能エリアの周囲に隙間なく補助エリアB1〜B7が設定されている。図12(B)に示す例では、歩行不能エリアの周囲のうち、特に動線が途切れやすい領域にのみ補助エリアB1,B2が設定されている。
なお、補助エリアは、計測条件設定部24において、ユーザの入力操作に応じて設定されるようにすればよいが、歩行可能エリアにおいて計測エリアが設定されていない領域に自動で設定されるようにしてもよい。
このように本実施形態では、計測条件設定部24において、歩行可能エリアに計測エリアとは別に補助エリアを設定し、補正エリア選択部28において、歩行不能エリアに進入する直前に動線が通過する補助エリアを起点エリアとし、歩行不能エリアから退出した直後に動線が通過する補助エリアを終点エリアとして、その起点エリアおよび終点エリアにおける動線の状態から、回避ルート上に存在する計測エリアを推定するようにしたため、回避ルート上に存在する計測エリアを簡単にかつ精度よく推定することができる。そして、歩行不能エリアに進入する直前および歩行不能エリアから退出した直後に動線が計測エリアを通過しない場合に、回避ルート上に存在する計測エリアの推定ができなくなることを避けることができる。
(第3実施形態)
次に、第3実施形態について説明する。図13は、第3実施形態に係る人数計測システムにおけるPC3の概略構成を示す機能ブロック図である。なお、ここで特に言及しない点は第1実施形態と同様である。
この第3実施形態では、学習部41と、学習モデル格納部42と、が設けられている。
この学習部41では、動線取得部22により過去に取得した動線の中から、歩行不能エリアを通過しない正常な動線を収集して、その正常な動線に基づいて、回避ルートを予測するための確率分布(学習モデル)を構築する処理が行われる。この学習部41で構築された確率分布は学習モデル格納部42に格納される。補正エリア選択部28では、学習部41で構築された確率分布に基づいて、注目する動線の状態から回避ルートを予測して、その回避ルート上に存在する計測エリアを推定する処理が行われる。
確率分布を構築する際には、歩行不能エリアを通過しない正常な動線を対象にしてラベル付けを行い、図7に示した例で説明すると、計測エリアA2から計測エリアA1,A4を経て計測エリアA5に向かう正常な動線では、ラベルを+1(正例)とし、計測エリアA2から計測エリアA6,A7を経て計測エリアA5に向かう正常な動線では、ラベルを−1(負例)として、確率分布を構築する。この確率分布では、起点エリアおよび終点エリアの位置、起点エリアおよび終点エリアにおける人物の移動方向、および起点エリアから終点エリアまでの移動に要した経過時間などの少なくとも1つ以上の情報を入力情報とし、回避ルートを出力情報とする。
なお、確率分布の構築には、公知の統計的学習手法、例えばサポートベクターマシンやブースティング法などを用いればよい。
このように本実施形態では、学習部41において、歩行不能エリアを通過しない正常な動線から学習モデルを構築し、補正エリア選択部28において、学習モデルに基づいて、回避ルート上に存在する計測エリアを推定するようにしたため、回避ルート上に存在する計測エリアを精度よく推定することができる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、前記の各実施形態に示した本発明に係る人数計測装置、人数計測システムおよび人数計測方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、前記の各実施形態では、コンビニエンスストアなどの店舗の例について説明したが、このような店舗に限定されるものではなく、監視エリア内を移動する人物の通過量を計測することが有用である場所に広く適用することができる。
また、前記の各実施形態では、図4などに示したように、計測エリアを矩形としたが、計測エリアの形状は、矩形に限定されるものではなく、円や多角形なども可能である。また、歩行不能エリアや補助エリアの形状も、矩形に限定されるものではなく、円や多角形なども可能である。
また、前記の各実施形態では、図2に示したように、カメラ1を、魚眼レンズを用いて360度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
また、前記の各実施形態では、カメラ1とは別に人物追跡装置4を設けたが、この人物追跡装置4の機能の一部あるいは全部をカメラ1に一体化して人物追跡機能付き撮像装置として構成することも可能であることは、前述の通りである。また、人物追跡装置4をPC3で構成することも可能である。
また、前記の各実施形態では、人数計測に必要な処理を店舗に設けられたPC3に行わせるようにしたが、この必要な処理を、本部に設けられたPC11や、クラウドコンピューティングシステムを構成するクラウドコンピュータ12に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、IPネットワークやLANなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で人数計測システムが構成される。
このような構成では、人数計測に必要な処理のうち、少なくとも演算量が大きな処理、例えば人物追跡処理や動線取得処理を、店舗に設けられたPC3などの装置に行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたPC11に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、人数計測に必要な処理のうち、少なくとも演算量が大きな処理、例えば人物追跡処理や動線取得処理を、クラウドコンピュータ12に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側に高速な情報処理装置が不要となり、ユーザが負担するコストを軽減することができる。
また、クラウドコンピュータ12に必要な処理の全部を行わせ、また、少なくともクラウドコンピュータ12に人数計測結果を出力する機能を与えるようにすると、店舗や本部に設けられたPC3,11の他に、スマートフォン13などの携帯型端末でも、人数計測結果を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で人数計測結果を確認することができる。
また、前記の各実施形態では、それぞれに特徴のある種々の構成を示したが、これらの構成は、各実施形態で示した組み合わせに限定されるものではなく、各実施形態で別々に示した構成を適宜に組み合わせることも可能である。
本発明にかかる人数計測装置、人数計測システムおよび人数計測方法は、歩行不能エリアを通過する異常な動線が得られた場合に発生するカウント漏れを低減して、計測エリアの人物通過量の計測精度を向上させることができる効果を有し、監視エリアを撮影した映像に基づいて、監視エリア内に設定された計測エリアの人物通過量を計測する人数計測装置、人数計測システムおよび人数計測方法などとして有用である。
1 カメラ
2 レコーダ
3 PC(人数計測装置)
4 人物追跡装置(人物追跡部)
6 入力デバイス
7 モニタ
12 クラウドコンピュータ
13 スマートフォン
21 追跡情報蓄積部
22 動線取得部
23 動線情報蓄積部
24 計測条件設定部
25 通過量計測部
26 動線判定部
27 推定規則格納部
28 補正エリア選択部
29 通過量補正部
30 表示情報生成部
41 学習部
42 学習モデル格納部

Claims (12)

  1. 監視エリアを撮影した映像に基づいて、前記監視エリア内に設定された計測エリアの人物通過量を計測する人数計測装置であって、
    前記監視エリア内に歩行不能エリアを設定するとともに、その歩行不能エリアを除く歩行可能エリアに前記計測エリアを設定する計測条件設定部と、
    前記映像から検出された人物ごとの動線を取得する動線取得部と、
    この動線取得部により取得した前記動線に基づいて、前記計測エリアの人物通過量を計測する通過量計測部と、
    前記動線取得部により取得した前記動線が前記歩行不能エリアを通過するか否かを判定する動線判定部と、
    この動線判定部により前記動線が前記歩行不能エリアを通過するものと判定された場合に、その動線の状態に基づいて、前記歩行不能エリアを通過しない回避ルート上に存在する前記計測エリアを推定して、その計測エリアを補正対象に選択する補正エリア選択部と、
    この補正エリア選択部により前記補正対象に選択された前記計測エリアについて、前記通過量計測部により取得した前記人物通過量を補正する通過量補正部と、
    前記通過量計測部から補正の必要のない前記計測エリアの前記人物通過量を取得するとともに、前記通過量補正部から補正が行われた前記計測エリアの前記人物通過量を取得して、前記計測エリアごとの前記人物通過量に関する人数計測結果情報を表示装置へ表示させるための表示情報を生成する表示情報生成部と、
    を備えたことを特徴とする人数計測装置。
  2. 前記動線取得部は、人物認識により同一の人物となる複数の動線を1本に連結する動線補間処理を行うことを特徴とする請求項1に記載の人数計測装置。
  3. 前記補正エリア選択部は、予め設定された推定規則にしたがって、前記動線の状態から前記回避ルート上に存在する前記計測エリアを推定することを特徴とする請求項1または請求項2に記載の人数計測装置。
  4. 前記推定規則は、複数の前記計測エリアおよび前記歩行不能エリアの相対的な位置関係に基づいて設定されたことを特徴とする請求項3に記載の人数計測装置。
  5. 前記補正エリア選択部は、前記歩行不能エリアに進入する直前および前記歩行不能エリアから退出した直後の少なくともいずれかにおける前記動線の状態から、前記回避ルート上に存在する前記計測エリアを推定することを特徴とする請求項1から請求項4のいずれかに記載の人数計測装置。
  6. 前記補正エリア選択部は、前記歩行不能エリアに進入する直前に前記計測エリアを動線が通過する場合には、その計測エリアを、前記回避ルートの起点が存在する起点エリアとし、前記歩行不能エリアから退出した直後に前記計測エリアを動線が通過する場合には、その計測エリアを、前記回避ルートの終点が存在する終点エリアとして、前記起点エリアおよび前記終点エリアにおける前記動線の状態から、前記回避ルート上に存在する前記計測エリアを推定することを特徴とする請求項5に記載の人数計測装置。
  7. 前記計測条件設定部は、前記歩行可能エリアにおいて前記計測エリアが設定されていない領域に補助エリアを設定し、
    前記補正エリア選択部は、前記歩行不能エリアに進入する直前に前記補助エリアを動線が通過する場合には、その補助エリアを、前記回避ルートの起点が存在する起点エリアとし、前記歩行不能エリアから退出した直後に前記補助エリアを動線が通過する場合には、その補助エリアを、前記回避ルートの終点が存在する終点エリアとして、前記起点エリアおよび前記終点エリアにおける前記動線の状態から、前記回避ルート上に存在する前記計測エリアを推定することを特徴とする請求項5に記載の人数計測装置。
  8. 前記補正エリア選択部は、前記起点エリアおよび前記終点エリアの少なくともいずれかにおける人物の移動方向から、前記回避ルート上に存在する前記計測エリアを推定することを特徴とする請求項6または請求項7に記載の人数計測装置。
  9. 前記補正エリア選択部は、前記起点エリアから前記終点エリアまでの移動に要した経過時間から、前記回避ルート上に存在する前記計測エリアを推定することを特徴とする請求項6から請求項8のいずれかに記載の人数計測装置。
  10. 前記動線取得部により過去に取得した前記動線の中から、前記歩行不能エリアを通過しない正常な動線を収集して、その正常な動線に基づいて学習モデルを構築する学習部をさらに備え、
    前記補正エリア選択部は、前記学習部で構築された前記学習モデルに基づいて、前記動線の状態から前記回避ルート上に存在する前記計測エリアを推定することを特徴とする請求項1または請求項2に記載の人数計測装置。
  11. 監視エリアを撮影した映像に基づいて、前記監視エリア内に設定された計測エリアの人物通過量を計測する人数計測システムであって、
    前記監視エリアを撮像するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記カメラによる撮像画像から人物を検出して位置情報を取得する人物追跡部と、
    前記監視エリア内に歩行不能エリアを設定するとともに、その歩行不能エリアを除く歩行可能エリアに前記計測エリアを設定する計測条件設定部と、
    前記人物追跡部により取得した前記位置情報に基づいて、人物ごとの動線を取得する動線取得部と、
    この動線取得部により取得した前記動線に基づいて、前記計測エリアの人物通過量を計測する通過量計測部と、
    前記動線取得部により取得した前記動線が前記歩行不能エリアを通過するか否かを判定する動線判定部と、
    この動線判定部により前記動線が前記歩行不能エリアを通過するものと判定された場合に、その動線の状態に基づいて、前記歩行不能エリアを通過しない回避ルート上に存在する前記計測エリアを推定して、その計測エリアを補正対象に選択する補正エリア選択部と、
    この補正エリア選択部により前記補正対象に選択された前記計測エリアについて、前記通過量計測部により取得した前記人物通過量を補正する通過量補正部と、
    前記通過量計測部から補正の必要のない前記計測エリアの前記人物通過量を取得するとともに、前記通過量補正部から補正が行われた前記計測エリアの前記人物通過量を取得して、前記計測エリアごとの前記人物通過量に関する人数計測結果情報を表示装置へ表示させるための表示情報を生成する表示情報生成部と、
    を備えたことを特徴とする人数計測システム。
  12. 監視エリアを撮影した映像に基づいて、前記監視エリア内に設定された計測エリアの人物通過量を計測する処理を情報処理装置に行わせる人数計測方法であって、
    前記監視エリア内に歩行不能エリアを設定するとともに、その歩行不能エリアを除く歩行可能エリアに前記計測エリアを設定するステップと、
    前記映像から検出された人物ごとの動線を取得するステップと、
    前記動線に基づいて、前記計測エリアの人物通過量を計測するステップと、
    前記動線が前記歩行不能エリアを通過するか否かを判定するステップと、
    前記動線が前記歩行不能エリアを通過するものと判定された場合に、その動線の状態に基づいて、前記歩行不能エリアを通過しない回避ルート上に存在する前記計測エリアを推定して、その計測エリアを補正対象に選択するステップと、
    前記補正対象に選択された前記計測エリアに関する前記人物通過量を補正するステップと、
    補正の必要のない前記計測エリアの前記人物通過量を取得するとともに、補正が行われた前記計測エリアの前記人物通過量を取得して、前記計測エリアごとの前記人物通過量に関する人数計測結果情報を表示装置へ表示させるための表示情報を生成するステップと、を有することを特徴とする人数計測方法。
JP2014063544A 2014-03-26 2014-03-26 人数計測装置、人数計測システムおよび人数計測方法 Active JP5853141B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014063544A JP5853141B2 (ja) 2014-03-26 2014-03-26 人数計測装置、人数計測システムおよび人数計測方法
US14/666,766 US9443135B2 (en) 2014-03-26 2015-03-24 Person counting device, person counting system, and person counting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014063544A JP5853141B2 (ja) 2014-03-26 2014-03-26 人数計測装置、人数計測システムおよび人数計測方法

Publications (2)

Publication Number Publication Date
JP2015185106A JP2015185106A (ja) 2015-10-22
JP5853141B2 true JP5853141B2 (ja) 2016-02-09

Family

ID=54190827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014063544A Active JP5853141B2 (ja) 2014-03-26 2014-03-26 人数計測装置、人数計測システムおよび人数計測方法

Country Status (2)

Country Link
US (1) US9443135B2 (ja)
JP (1) JP5853141B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10297051B2 (en) * 2014-09-11 2019-05-21 Nec Corporation Information processing device, display method, and program storage medium for monitoring object movement
US10360572B2 (en) * 2016-03-07 2019-07-23 Ricoh Company, Ltd. Image processing system, method and computer program product for evaluating level of interest based on direction of human action
EP3321652B1 (en) 2016-11-09 2019-10-09 Northeastern University Stop-start method in a microfluidic calorimeter
JP6910208B2 (ja) * 2017-05-30 2021-07-28 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7195782B2 (ja) * 2018-06-27 2022-12-26 キヤノン株式会社 情報処理装置、制御方法及びプログラム
US11053729B2 (en) * 2018-06-29 2021-07-06 Overhead Door Corporation Door system and method with early warning sensors
JP7118934B2 (ja) * 2019-09-04 2022-08-16 株式会社東芝 物体数推定装置、物体数推定方法、および物体数推定プログラム
JP7372099B2 (ja) * 2019-09-24 2023-10-31 東芝テック株式会社 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
KR102481215B1 (ko) * 2020-07-15 2022-12-26 (주)더길 통계적 인구 관제를 위한 공간 내 객체감지시스템
JP2022026849A (ja) * 2020-07-31 2022-02-10 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004029546A1 (ja) 2002-09-30 2004-04-08 Ishikawajima-Harima Heavy Industries Co., Ltd. 物体の計測方法及び物体の計測装置
JP2004185363A (ja) * 2002-12-04 2004-07-02 Ishikawajima Harima Heavy Ind Co Ltd エリアセンサによる物体識別方法
JP2005148863A (ja) 2003-11-11 2005-06-09 Konica Minolta Holdings Inc 人数計数システム
US7817822B2 (en) * 2005-10-14 2010-10-19 Microsoft Corporation Bi-directional tracking using trajectory segment analysis
US8139818B2 (en) * 2007-06-28 2012-03-20 Toshiba Tec Kabushiki Kaisha Trajectory processing apparatus and method
JP4408916B2 (ja) 2007-06-28 2010-02-03 東芝テック株式会社 動線編集装置,方法及びプログラム
JP4621716B2 (ja) * 2007-08-13 2011-01-26 東芝テック株式会社 人物行動分析装置,方法及びプログラム
US8098891B2 (en) * 2007-11-29 2012-01-17 Nec Laboratories America, Inc. Efficient multi-hypothesis multi-human 3D tracking in crowded scenes
JP2011170565A (ja) * 2010-02-17 2011-09-01 Toshiba Tec Corp 顧客動向収集方法、装置及びプログラム
JP2012108785A (ja) * 2010-11-18 2012-06-07 Panasonic Corp 人数カウント装置、人数カウント方法及び人数カウントプログラム
JP5687082B2 (ja) * 2011-01-31 2015-03-18 セコム株式会社 移動物体追跡装置
US9390334B2 (en) * 2011-03-31 2016-07-12 Panasonic Intellectual Property Management Co., Ltd. Number of persons measurement device
US20130027561A1 (en) 2011-07-29 2013-01-31 Panasonic Corporation System and method for improving site operations by detecting abnormalities
US20130030875A1 (en) 2011-07-29 2013-01-31 Panasonic Corporation System and method for site abnormality recording and notification
JP2013186556A (ja) * 2012-03-06 2013-09-19 Nec Corp 行動予測装置、行動予測システム、行動予測方法、および行動予測プログラム
JP5613815B1 (ja) * 2013-10-29 2014-10-29 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法

Also Published As

Publication number Publication date
US9443135B2 (en) 2016-09-13
JP2015185106A (ja) 2015-10-22
US20150278588A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
JP5853141B2 (ja) 人数計測装置、人数計測システムおよび人数計測方法
JP5834254B2 (ja) 人数計測装置、人数計測システムおよび人数計測方法
JP5866564B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
US10180326B2 (en) Staying state analysis device, staying state analysis system and staying state analysis method
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US10839227B2 (en) Queue group leader identification
US10304032B2 (en) Product monitoring device, product monitoring system, and product monitoring method
US9794508B2 (en) Monitoring device, monitoring system, and monitoring method
US20180075461A1 (en) Customer behavior analysis device and customer behavior analysis system
JP6261197B2 (ja) 表示制御装置、表示制御方法、及びプログラム
US20150220935A1 (en) Payment service support apparatus, payment service support system, and payment service support method
US20160104174A1 (en) Activity situation analysis apparatus, activity situation analysis system, and activity situation analysis method
JP6270433B2 (ja) 情報処理装置、情報処理方法、情報処理システム
WO2014050432A1 (ja) 情報処理システム、情報処理方法及びプログラム
US10186005B2 (en) Facility utilization measurement apparatus, facility utilization measurement system, and facility utilization measurement method
KR101897018B1 (ko) 객체 추적 방법 및 장치
JP5525495B2 (ja) 映像監視装置、映像監視方法およびプログラム
TW201946029A (zh) 影像監視裝置及其控制方法與電腦可讀取記錄媒體
JP4288428B2 (ja) 映像解析システムおよび映像解析方法
JP5111934B2 (ja) 監視装置
JP7359621B2 (ja) エリア設定支援装置、エリア設定支援方法及びエリア設定支援プログラム
JP2015141722A (ja) 店員作業管理装置、店員作業管理システムおよび店員作業管理方法
JP7010030B2 (ja) 店内監視装置、店内監視方法、および店内監視プログラム
JP5618366B2 (ja) 監視システム、監視装置、監視方法、及びプログラム
JP2014002502A (ja) 手のばし検出装置、手のばし検出方法及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150716

R151 Written notification of patent or utility model registration

Ref document number: 5853141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151