JP6883345B2 - 客数計測方法及び客数計測装置 - Google Patents

Description

本発明は、画像処理装置を用いて店舗に出入りする人物が店員か客かを判別して客数を計測する客数計測方法及び客数計測装置に関する。ここで店舗としては、店員が存在する販売店、飲食店、商業施設等のことを指す。

店舗において客数カウント情報は店舗の来客パターンの分析などに利用される。客数カウント情報を取得とする場合、カメラの撮像画像を用いる方法が知られている。この場合、店舗の客数は、カメラの撮像画像より店舗の入り口を通過した人数を計測することが一般的であるが、店舗の入り口を店員が通過する場合や一人の来店者が入口付近を何度も往復するような店舗のつくりの場合、実際の来客数に対して多い客数カウント情報となってしまう。例えば、店舗入り口付近に商品棚が設置されている場合や客の見送りに店員が店舗入り口を往復する場合などにおいては店員の入退店を多くカウントしてしまうことで実際の客数に対して誤差の大きい客数カウント情報となることがあり、実際の客数を正確に計測することが困難であった。

そこで、計測対象から店員を除外する必要があるが、その解決策として特定のエリアに所定時間以上静止した状態でいる人物を店員と判定する技術（特許文献１）、飲食店という限定した場所において、客は客席に向かって移動する行動形態をとることを判定条件として人物の行動を追跡して、その対象の行動がカウントすべき客の行動かを判定することで、それ以外の人物をカウント対象から除外する技術（特許文献２）、また、人物の顔の特徴量を抽出して、その特徴量を比較照合することで、同一人物を重複して計数することを避ける技術（特許文献３）などが知られている。

特開２０１１−０８６０４５号公報 特許第５４３８８５９号公報 特開２００５−２３４９４７号公報

しかしながら、例えば、衣料品店等のテナントや販売店、ショッピングモールや百貨店等の店舗等においては店員や客の行動ルートを制限するのは実際の運営上困難であり、店舗内外を自由に動くことが出来る必要がある。また、人物の顔の特徴量を取得するため人物の顔が映るような撮像が必要であったが、実際には下を向いている人や後ろ姿等では上手く検知出来ず、精度よく店舗へ訪れた客のカウントを行うことが出来なかった。さらに、飲食店において客は客席に向かって移動する行動形態を判定条件としても客席の案内に店員が先導して客と同じ行動形態をとることもあり、店員と客とを精度よく分離して客数をカウントすることが困難であった。

本発明は、以上の事情に鑑みてなされたものであり、店員が計数対象に含まれたり店員や客の行動を制限したりせずに簡易且つ精度よく実際の客数を計測できる客数計測方法及び客数計測装置を提供することを目的とする。

本発明に係る客数計測方法は、
店舗の出入口を含む領域を上方から撮像手段によって撮像し、画像処理装置によって撮像画像から店舗に出入りする人物が店員か客かを判別して客数を計測する客数計測方法であって、
前記画像処理装置により、
前記撮像手段の撮像画像に基づいて店舗の出入口と店内側領域と店外側領域とを含む計数領域を設定し、
撮像画像内の人物を認識し、その人物が前記計数領域に進入して退出するまで追跡し、
人物追跡履歴として、人物が前記計数領域に進入したときに属した領域を追跡開始地点とし、人物が前記計数領域から退出したときに属した領域を追跡終了地点とし、人物が前記追跡開始地点から前記追跡終了地点まで移動する間に属した領域を追跡経由地点とし、
人物の追跡が終了するとその人物が店員か客を判定し、
前記人物追跡履歴より、前記追跡開始地点と前記追跡終了地点とがともに店内側領域の場合はその人物を店員と判定し、この人物は客数にはカウントせず、
前記人物追跡履歴より、前記追跡開始地点が店外側領域で前記追跡終了地点が店内側領域の場合、前記追跡開始地点が店内側領域で前記追跡終了地点が店外側領域の場合、前記追跡開始地点と前記追跡終了地点とがともに店外側領域であるが前記追跡経由地点に店内側領域を含む場合はいずれもその人物を客と判定し、この人物は客数としてカウントする。

また、本発明に係る客数計測装置は、
店舗の出入口を含む領域を上方から撮像する撮像手段と、撮像画像から店舗に出入りする人物が店員か客かを判別して客数を計測する画像処理装置と、画像処理装置による計測結果を記録する集計装置とを備える客数計測装置であって、
前記画像処理装置は、
前記撮像手段の撮像画像に基づいて店舗の出入口と店内側領域と店外側領域とを含む計数領域の設定を行う地点記録部と、
撮像画像内の人物を認識し捉える処理を行う画像処理プロセス部と、
人物が前記計数領域に進入して退出するまでの移動を追跡する処理を行う追跡処理プロセス部と、
追跡する人物が店内側領域に属するか店外側領域に属するかを時系列的に記録し、その人物が、前記計数領域に進入したときに属した領域を追跡開始地点とし、前記計数領域から退出したときに属した領域を追跡終了地点とし、前記追跡開始地点から前記追跡終了地点まで移動する間に属した領域を追跡経由地点として記録する処理を行う人物追跡履歴記録部と、
人物の追跡が終了するとその人物が店員か客か判定する処理を行う客数カウントプロセス部とを備え、
前記客数カウントプロセス部は、
前記人物追跡履歴記録部を参照し、前記追跡開始地点と前記追跡終了地点とがともに店内側領域の場合はその人物を店員と判定し、この人物は客数にはカウントしない処理を行い、また、前記追跡開始地点が店外側領域で前記追跡終了地点が店内側領域の場合、前記追跡開始地点が店内側領域で前記追跡終了地点が店外側領域の場合、前記追跡開始地点と前記追跡終了地点とがともに店外側領域であるが前記追跡経由地点に店内側領域を含む場合はいずれもその人物を客と判定し、この人物は客数としてカウントする処理を行う店員判定プロセス部を有する。

本発明によれば、計数領域における追跡開始地点、追跡終了地点、追跡経由地点の地点情報に基づいて店員か客を判定する。これにより、店員の行動を制限したり人物の顔の特徴量を取得したりすることもなく、簡易な方法で店員と客とを分離して客数を精度よく計測することができる。また、前記地点情報により店舗の出入口でうろつく客の計測誤差を取り除くことも可能となる。従って、得られた客数情報の精度を向上することができ、店舗運営において有益な情報を提供することができる。

実施形態の客数計測装置により店舗の出入口周辺の領域を監視する状態を示す模式図である。 客数計測装置の構成を示すブロック図である。 地点情報に基づいた人物判定の方法を示す模式図である。

以下に、本発明の実施形態について添付図面を参照しながら説明する。
図１に示すように、実施形態の客数計測装置１は、カメラ（撮像手段）２と画像処理装置３とを備え、画像処理装置３はＬＡＮ等のネットワーク５により集計装置４が通信接続されている。この客数計測装置１は、カメラ２によって店舗の出入口７１周辺の領域を上方から撮像し、画像処理装置３によってカメラ２の撮像画像６から店舗に出入りする人物８が店員か客かを判別して客数を計測し、この計測結果を集計装置４に記録するシステムを構成する。

カメラ２は、CMOSカメラ等の撮像手段であり、店舗の客を上方から撮像できるように店舗の天井又は壁面等に設置されている。カメラ２は、店舗の出入口７１を境に店舗の内外を移動する客を監視できるように店舗の出入口７１、店内及び店外を含む監視領域を上方から床面が映るように常時撮像し、この撮像画像６をビデオ信号として連続的に画像処理装置３に送信する。カメラ２は、監視領域における店内側領域７２、出入口７１、店外側領域７３へと続く経路を障害物等なく撮像するが、この監視領域全体を１台のカメラ２で撮像してもよいし、複数台のカメラ２を連携させて撮像してもよい。なお、複数台のカメラ２を用いる場合、隣接する２台のカメラ２の撮像画像６を一部重複させ、この重複領域内で移動する人物８の同一性を判断し、同一人物８と判断した場合にその人物８の追跡情報を一方のカメラ２側から他方のカメラ２側へと伝達して隣接する２台のカメラ２間で人物８追跡を連携させる技術（特願２０１８−２２３４９７）を用いることができる。

図２に示すように、画像処理装置３は、地点記録部３１、画像処理プロセス部３２、追跡処理プロセス部３３、人物追跡履歴記録部３４、客数カウントプロセス部３５を備えている。

地点記録部３１は、カメラ２の撮像画像６において店舗の出入口７１と店内側領域７２と店外側領域７３とで形成する計数領域７０を設定しその記録を行う。計数領域７０は、そこに現れた人物８が属する地点情報を取得するために設定され、この地点情報に基づいて人物８が店員か客かの判定が行われる。計数領域７０となる店内側領域７２と店外側領域７３は、一般的に四角形形状に設定して店舗の出入口７１を直線で示すが、その店舗のレイアウト等に基づいて任意の形状に設定することもできる。店舗の出入口７１も直線に限らず曲線や折れ曲げ線等その他の線で示してよい。なお、計数領域７０の設定として、例えば、店舗の出入口７１を直線で示し、この直線により分けられた一方の領域を店内側領域７２、他方の領域を店外側領域７３とあらかじめ定義することにより計数領域設定の手間を省くことも可能である。

画像処理プロセス部３２は、撮像画像６内の人物８を認識し捉える処理を行う。この画像処プロセス部での人物認識方法として、例えば、ベクトル焦点法（特許第３４０６５７７号公報、特許第３３９０４２６号公報等）を用いることができる。ベクトル焦点法は、カメラ２の撮像画像６又はこの撮像画像６を複数に分割したブロックごとに仮想的に配置した標準化された人物モデルベース（例えば、実空間で身長１６０ｃｍの人物の外形をかたどったモデル）と、カメラ２の撮像画像６中の人物８を照合することにより人物８を認識し、認識された人物８を代表点ａとして表すようにする。この代表点ａについて人物８の追跡を実施する。これにより、撮像画像６上の人物８の認識を簡易且つ正確に行なえ、しかも人物８を代表点ａで示すことで、人物８の追跡が容易となり、人物８の位置（地点情報）を明確に把握することができる。

追跡処理プロセス部３３は、画像処理プロセス部３２で認識した人物８が計数領域７０に進入して退出するまでその人物８の移動を連続的に認識することで人物８を追跡する処理を行う。

人物追跡履歴記録部３４は、追跡処理プロセス部３３で追跡する人物８が店内側領域７２に属するか店外側領域７３に属するかを時系列的に記録する処理を行う。人物追跡履歴記録部３４は、その人物８が、計数領域７０に進入したときに属した領域を追跡開始地点ｐ１とし、計数領域７０から退出したときに属していた領域を追跡終了地点ｐ３とし、追跡開始地点ｐ１から追跡終了地点ｐ３まで移動する間に属した領域を追跡経由地点ｐ２として記録する。人物追跡履歴記録部３４は、人物８の属する領域を時間軸に従って連続的に全て記録してもよいが、記録量を必要最小限にするために人物８が元々いた領域から異なる領域へ移動したときにその領域を記録していくことが好ましい。この場合、追跡開始地点ｐ１と追跡終了地点ｐ３とは、連続的に人物８の位置を記録する場合であってもそれぞれ１つしか記録されないが、追跡経由地点ｐ２は、人物８が異なる領域へ移動したタイミングで記録する場合でも人物８が店舗の出入口７１を通過して店内側領域７２と店外側領域７３とを何度も往来するような場合は複数記録され、人物８が異なる領域へ移動しなかった場合は追跡経由地点ｐ２は記録されないこととなる。

客数カウントプロセス部３５は、追跡処理プロセス部３３で追跡した人物８が店員か客かを判定し、客であれば客数にカウントする処理を行う。客数カウントプロセス部３５は、店員判定プロセス部３６を備えており、この店員判定プロセス部３６によって人物８の判定を行う。店員判定プロセス部３６での人物判定は、図３に示すように、追跡開始地点ｐ１、追跡経由地点ｐ２及び追跡終了地点ｐ３に基づいて行う。この人物判定は、追跡処理プロセス部３３にて人物８が計数領域７０の外へ行く等により計数領域７０内での人物追跡が不可能となって人物８の追跡が終了した時点で行われる。具体的には、人物追跡履歴記録部３４を参照し、以下のようにして人物判定を行う。

人物追跡履歴の最初の地点（追跡開始地点ｐ１）が店内側領域７２であり、人物追跡履歴の最後の地点（追跡終了地点ｐ３）が店内側領域７２であれば、それは店内へ戻ってきた人物８であり、客であれば最終的には店外へ退店するため、この人物８は客ではなく店員であると判定する。追跡開始地点ｐ１と追跡終了地点ｐ３とがともに店内側領域７２であり、追跡経由地点ｐ２が存在しない人物８は、店内を移動する店員であると判定する。すなわち、追跡経由地点ｐ２にかかわらず追跡開始地点ｐ１と追跡終了地点ｐ３がともに店内側領域７２の人物８は、店員と判定する。そして、人物８が店員と判定した場合、この人物８の数は客数にはカウントしない。

一方、人物追跡履歴より、追跡開始地点ｐ１が店外側領域７３で追跡終了地点ｐ３が店内側領域７２の場合、その人物８は入店した客（入店者）であると判定し、この人物８の数を入店者の客数としてカウントする。追跡開始地点ｐ１が店内側領域７２で追跡終了地点ｐ３が店外側領域７３の場合、その人物８は退店した客（退店者）であると判定し、この人物８の数を退店者の客数としてカウントする。追跡開始地点ｐ１と追跡終了地点ｐ３とがともに店外側領域７３であるが、追跡経由地点ｐ２に店内側領域７２を含む場合には、その人物８は入店した後に退店した客（入店者及び退店者）であると判定し、この人物８の数を入店者及び退店者のそれぞれの客数にカウントする。このように、追跡開始地点ｐ１と追跡終了地点ｐ３とがともに店外側領域７３であるが追跡経由地点ｐ２に店内側領域７２を含む人物８、追跡開始地点ｐ１と追跡終了地点ｐ３とが異なる領域である人物８は、客と判定し、客数にカウントする。

他方、人物追跡履歴より、追跡開始地点ｐ１が店外側領域７３であり、追跡経由地点ｐ２に店内側領域７２を含まず、追跡終了地点ｐ３も店外側領域７３である場合は、その人物８は通行人であると判定し、この人物８の数は客数にはカウントしない。

例えば、図１を参照して、追跡履歴が、店内側領域７２（追跡開始地点ｐ１）→店外側領域７３（追跡経由地点ｐ２）→店内側領域７２（追跡終了地点ｐ３）であった人物８ａは、店員であると判定する。追跡履歴が、店外側領域７３（追跡開始地点ｐ１）→店内側領域７２（追跡経由地点ｐ２）→店外側領域７３（追跡終了地点ｐ３）であった人物８ｂは、客であると判定する。追跡履歴が、店外側領域７３（追跡開始地点ｐ１）→店外側領域７３（追跡終了地点ｐ３）であった人物８ｃは、通行人であると判定する。

店員判定プロセス部３６での処理においては、人物追跡履歴記録部３４は、１名の人物８に対して追跡開始地点ｐ１、追跡終了地点ｐ３、追跡経由地点ｐ２として１点ずつ、すなわち最低３点の記録ができればよい。この場合、追跡経由地点ｐ２としては、追跡開始地点ｐ１の領域から異なる領域へ移動したときの移動先の領域だけか、あるいは追跡終了地点ｐ３の領域へ移動する直前の異なる領域だけを記録すればよい。これにより、人物追跡履歴記録部３４での記録量を必要最小限にすることができる。

以上のように、実施形態の客数計測装置１によれば、店員判定プロセス部３６によって、計数領域７０における追跡開始地点ｐ１、追跡終了地点ｐ３、追跡経由地点ｐ２の地点情報に基づいて店員か客を判定する。これにより、店員の行動を制限したり人物８の顔の特徴量を取得したりすることもなく、簡易な方法で店員と客とを分離して客数を精度よく計測することができる。また、人物８の追跡が終了した時点でその人物８が店員か客かを判定し、客の場合に客数としてカウントするので、客と判定した人物８が複数回店内側領域７２と店外側領域７３を往来した場合でも、その人物８に対して入店者、退店者の客数が１回しかカウントされない。従って、客が店舗の出入口７１を行ったり来たりうろつくような場合に客数が多くカウントされてしまうことがなく、客数の計測誤差を取り除くことができ、実際の客数を正確に計測することができる。

また、客数カウントプロセス部３５は、重複カウントプロセス部３７を備えている。重複カウントプロセス部３７は、店員判定プロセス部３６にて人物８が客であると判定された場合、その人物８の人物追跡履歴より、店外側領域７３から店内側領域７２へ移動した入店回数を入店者数としてカウントし、店内側領域７２から店外側領域７３へ移動した退店回数を退店者数としてカウントする処理を行う。これにより、同一客が店舗を何度も出入りするような行動を把握したい等の要望にも応えることができる。また、重複カウントプロセス部３７において、同一客が店舗の出入口７１を往復した回数（例えば、その人物８の入店回数と退店回数の合計回数）を人物８ごとにカウントするようにしてもよい。

重複カウントプロセス部３７での処理においては、人物追跡履歴記録部３４は、１名の人物８に対して追跡開始地点ｐ１、追跡終了地点ｐ３としてそれぞれ１点ずつの記録と、追跡経由地点ｐ２として異なる領域へ移動するごとに移動した領域をそれぞれ記録しておく。もしくは、重複カウントプロセス部３７においては、人物８の追跡が終了した時点ではなく人物８の属する領域が変化する毎に入店者数、退店者数として客数をカウントし、人物追跡履歴記録部３４は、人物８が店舗の入退店を繰り返すごとに先に記録した追跡経由地点ｐ２を更新することで、追跡開始地点ｐ１、追跡終了地点ｐ３、追跡経由地点ｐ２の３点を記録として残すような構成としてもよい。この場合、重複カウントプロセス部３７は、人物８の追跡が終了した時点で店員判定プロセス部３６が客と判定した場合に限り、先の客数カウントを有効とし、それ以外は無効とする処理を行うようにしてもよい。

なお、本発明は、以上の実施形態に限定されず、特許請求の範囲内で様々な変更を施すことが可能である。本発明において、重複カウントプロセス部３７は、任意の構成であり、この重複カウントプロセス部３７を備えない構成であってもよい。

１ 客数計測装置
２ カメラ（撮像手段）
３ 画像処理装置
４ 集計装置
５ ネットワーク
６ 撮像画像
８ 人物
３１ 地点記録部
３２ 画像処理プロセス部
３３ 追跡処理プロセス部
３４ 人物追跡履歴記録部
３５ 客数カウントプロセス部
３６ 店員判定プロセス部
３７ 重複カウントプロセス部
７０ 計数領域
７１ 出入口
７２ 店内側領域
７３ 店外側領域
ａ 人物の代表点
ｐ１ 追跡開始地点
ｐ２ 追跡経由地点
ｐ３ 追跡終了地点

Claims (5)

1. 店舗の出入口を含む領域を上方から撮像手段によって撮像し、画像処理装置によって撮像画像から店舗に出入りする人物が店員か客かを判別して客数を計測する客数計測方法であって、
   前記画像処理装置により、
   前記撮像手段の撮像画像に基づいて店舗の出入口と店内側領域と店外側領域とを含む計数領域を設定し、
   撮像画像内の人物を認識し、その人物が前記計数領域に進入して退出するまで追跡し、
   人物追跡履歴として、人物が前記計数領域に進入したときに属した領域を追跡開始地点とし、人物が前記計数領域から退出したときに属した領域を追跡終了地点とし、人物が前記追跡開始地点から前記追跡終了地点まで移動する間に属した領域を追跡経由地点とし、
   人物の追跡が終了するとその人物が店員か客を判定し、
   前記人物追跡履歴より、前記追跡開始地点と前記追跡終了地点とがともに店内側領域の場合はその人物を店員と判定し、この人物は客数にはカウントせず、
   前記人物追跡履歴より、前記追跡開始地点が店外側領域で前記追跡終了地点が店内側領域の場合、前記追跡開始地点が店内側領域で前記追跡終了地点が店外側領域の場合、前記追跡開始地点と前記追跡終了地点とがともに店外側領域であるが前記追跡経由地点に店内側領域を含む場合はいずれもその人物を客と判定し、この人物は客数としてカウントする客数計測方法。
2. 請求項１に記載の客数計測方法において、
   前記画像処理装置により、人物が客であると判定した場合、前記追跡開始地点が店外側領域で前記追跡終了地点が店内側領域の場合は入店者数としてカウントし、前記追跡開始地点が店内側領域で前記追跡終了地点が店外側領域の場合は退店者数としてカウントし、前記追跡開始地点と前記追跡終了地点とがともに店外側領域であるが前記追跡経由地点に店内側領域を含む場合は入店者数と退店者数としてカウントする客数計測方法。
3. 店舗の出入口を含む領域を上方から撮像する撮像手段と、撮像画像から店舗に出入りする人物が店員か客かを判別して客数を計測する画像処理装置と、画像処理装置による計測結果を記録する集計装置とを備える客数計測装置であって、
   前記画像処理装置は、
   前記撮像手段の撮像画像に基づいて店舗の出入口と店内側領域と店外側領域とを含む計数領域の設定を行う地点記録部と、
   撮像画像内の人物を認識し捉える処理を行う画像処理プロセス部と、
   人物が前記計数領域に進入して退出するまでの移動を追跡する処理を行う追跡処理プロセス部と、
   追跡する人物が店内側領域に属するか店外側領域に属するかを時系列的に記録し、その人物が、前記計数領域に進入したときに属した領域を追跡開始地点とし、前記計数領域から退出したときに属した領域を追跡終了地点とし、前記追跡開始地点から前記追跡終了地点まで移動する間に属した領域を追跡経由地点として記録する処理を行う人物追跡履歴記録部と、
   人物の追跡が終了するとその人物が店員か客か判定する処理を行う客数カウントプロセス部とを備え、
   前記客数カウントプロセス部は、
   前記人物追跡履歴記録部を参照し、前記追跡開始地点と前記追跡終了地点とがともに店内側領域の場合はその人物を店員と判定し、この人物は客数にはカウントしない処理を行い、また、前記追跡開始地点が店外側領域で前記追跡終了地点が店内側領域の場合、前記追跡開始地点が店内側領域で前記追跡終了地点が店外側領域の場合、前記追跡開始地点と前記追跡終了地点とがともに店外側領域であるが前記追跡経由地点に店内側領域を含む場合はいずれもその人物を客と判定し、この人物は客数としてカウントする処理を行う店員判定プロセス部を有する客数計測装置。
4. 請求項３に記載の客数計測装置において、
   前記店員判定プロセス部は、客数としてカウントする際、前記追跡開始地点が店外側領域で前記追跡終了地点が店内側領域の場合は入店者数としてカウントし、前記追跡開始地点が店内側領域で前記追跡終了地点が店外側領域の場合は退店者数としてカウントし、前記追跡開始地点と前記追跡終了地点とがともに店外側領域であるが前記追跡経由地点に店内側領域を含む場合は入店者数と退店者数としてカウントする処理を行う客数計測装置。
5. 請求項３又は４に記載の客数計測装置において、
   前記店員判定プロセス部は、追跡開始地点と追跡終了地点とがともに店外側領域であり前記追跡経由地点が存在しない場合はその人物を通行人と判定し、この人物は客数にはカウントしない処理をさらに行う客数計測装置。

Images