JP5844802B2 - 画像処理システム、人物同定方法、画像処理装置およびその制御方法と制御プログラム - Google Patents
画像処理システム、人物同定方法、画像処理装置およびその制御方法と制御プログラム Download PDFInfo
- Publication number
- JP5844802B2 JP5844802B2 JP2013512512A JP2013512512A JP5844802B2 JP 5844802 B2 JP5844802 B2 JP 5844802B2 JP 2013512512 A JP2013512512 A JP 2013512512A JP 2013512512 A JP2013512512 A JP 2013512512A JP 5844802 B2 JP5844802 B2 JP 5844802B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- image processing
- best shot
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 140
- 238000000034 method Methods 0.000 title claims description 57
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Collating Specific Patterns (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
本発明は、撮影された人物画像から人物を同定するための技術に関する。
撮影された人物画像から人物を同定する技術の分野においては、特許文献１に示されている技術が知られている。この技術は、人物画像の入力画像と参照画像とを顔の向きや目間距離に基づいて正規化して、互いの顔画像を照合する。この照合により、人物が、同定される。また、特許文献２は、顔の表面反射率を照合することで、人物を同定する技術を開示している。また、特許文献３は、顔の特徴を共分散行列や周波数特徴ベクトルを使った特徴量で表わして顔を照合することを開示している。特許文献３の技術は、この照合により人物を同定する技術である。
特開２０００−３２２５７７号公報
特開２００２−０２４８３０号公報
特開２００７−１２２０９７号公報
上記特許文献１乃至３のいずれの特許文献の方法でも、個々の人物画像の照合（同一人物であるか否か）について信頼性の高い人物同定が可能である。しかし、異なる時間帯や異なる日に撮影された一連のフレームから人物を同定するには膨大な照合処理が必要となる。したがって、照合時間が長くかかる。また、照合に使用する資源が大量に費やされる。
本発明の目的は、上述の課題を解決する技術を提供することにある。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係るシステムは、撮影された人物画像に基づいて人物を同定するための画像処理システムであって、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための、選別条件を記憶する記憶手段と、前記記憶手段に記憶された選別条件に基づいて、撮影された一連の複数フレームに写っている人物画像から、人物を同定するための情報量がより多い第１人物画像を選別する選別手段と、を備え、前記選別手段は、複数の異なる長さの期間毎に前記第１人物画像を選別することを特徴とする。
また、上記目的を達成するため、本発明に係る方法は、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための選別条件に基づいて、撮影された一連の複数フレームに写っている人物画像から、人物を同定するための情報量がより多い第１人物画像を複数の異なる長さの期間毎に選別し、前記選別において選別した第１人物画像を、人物を同定するために比較する第１代表画像に設定することを特徴とする。
また、上記目的を達成するため、本発明に係る装置は、撮影された人物画像に基づいて人物を同定する画像処理装置であって、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための、選別条件を記憶する記憶手段と、撮影手段から一連の複数フレームを受信する受信手段と、受信された前記一連の複数フレームに写っている人物画像から、前記記憶手段に記憶された選別条件に基づいて、撮影された人物を同定するための情報量がより多い第１人物画像を選別する選別手段と、を備え、前記選別手段は、複数の異なる長さの期間毎に前記第１人物画像を選別することを特徴とする。
また、上記目的を達成するため、本発明に係る他の方法は、撮影された人物画像に基づいて人物を同定する画像処理装置の制御方法であって、撮影手段から一連の複数フレームを受信する受信ステップと、受信された前記一連の複数フレームに写っている人物画像から、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための選別条件に基づいて、撮影された人物を同定するための情報量がより多い第１人物画像を複数の異なる長さの期間毎に選別する選別ステップと、を含むことを特徴とする。
上記目的を達成するため、本発明に係るプログラムは、撮影された人物画像に基づいて人物を同定する画像処理装置の制御プログラムであって、撮影手段から一連の複数フレームを受信する受信ステップと、受信された前記一連の複数フレームに写っている人物画像から、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための選別条件に基づいて、撮影された人物を同定するための情報量がより多い第１人物画像を複数の異なる長さの期間毎に選別する選別ステップと、をコンピュータに実行させることを特徴とする。
また、上記目的を達成するため、本発明に係る方法は、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための選別条件に基づいて、撮影された一連の複数フレームに写っている人物画像から、人物を同定するための情報量がより多い第１人物画像を複数の異なる長さの期間毎に選別し、前記選別において選別した第１人物画像を、人物を同定するために比較する第１代表画像に設定することを特徴とする。
また、上記目的を達成するため、本発明に係る装置は、撮影された人物画像に基づいて人物を同定する画像処理装置であって、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための、選別条件を記憶する記憶手段と、撮影手段から一連の複数フレームを受信する受信手段と、受信された前記一連の複数フレームに写っている人物画像から、前記記憶手段に記憶された選別条件に基づいて、撮影された人物を同定するための情報量がより多い第１人物画像を選別する選別手段と、を備え、前記選別手段は、複数の異なる長さの期間毎に前記第１人物画像を選別することを特徴とする。
また、上記目的を達成するため、本発明に係る他の方法は、撮影された人物画像に基づいて人物を同定する画像処理装置の制御方法であって、撮影手段から一連の複数フレームを受信する受信ステップと、受信された前記一連の複数フレームに写っている人物画像から、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための選別条件に基づいて、撮影された人物を同定するための情報量がより多い第１人物画像を複数の異なる長さの期間毎に選別する選別ステップと、を含むことを特徴とする。
上記目的を達成するため、本発明に係るプログラムは、撮影された人物画像に基づいて人物を同定する画像処理装置の制御プログラムであって、撮影手段から一連の複数フレームを受信する受信ステップと、受信された前記一連の複数フレームに写っている人物画像から、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための選別条件に基づいて、撮影された人物を同定するための情報量がより多い第１人物画像を複数の異なる長さの期間毎に選別する選別ステップと、をコンピュータに実行させることを特徴とする。
本発明によれば、人物を同定するための照合時間を減少させ照合に使用する資源を削減できる。
以下に、図面を参照し、本発明の実施の形態が、例示的に且つ詳細に説明される。ただし、以下の実施の形態に記載されている構成要素はあくまで例示である。すなわち本発明の技術範囲は、それらのみに限定されるものではない。
［第１実施形態］
本発明の第１実施形態としての画像処理システム１００について、図１を用いて説明する。画像処理システム１００は、撮影された人物画像に基づいて人物を同定するためのシステムである。
図１に示すように、画像処理システム１００は、記憶部１１０と、選別部１２０と、を含む。記憶部１１０は、撮影された複数の人物画像から人物を同定するための情報量がより多いと予測される人物画像を選別するための、選別条件１１１を記憶する。選別部１２０は、記憶部１１０に記憶された選別条件１１１に基づいて、撮影された一連の複数フレーム１３０に写っている人物画像１３１〜１３４から、人物を同定するための情報量がより多いと予測される第１人物画像１４０を選別する。
本実施形態によれば、複数の人物画像から、人物を同定するための情報量がより多い人物画像を選別できるため、照合時間を減少させ照合に使用する資源を削減できる。
［第２実施形態］
次に、本発明の第２実施形態に係る画像処理システムが、説明される。本実施形態に係る画像処理システムは、種々の映像中の人物画像を含むフレームから、その人物を同定するための情報量が多い人物画像を含むフレームを代表画像であるベストショットとして選別する。また、本実施形態に係る画像処理システムは、そのベストショットを、蓄積する。そして、本実施形態に係る画像処理システムは、選別されたベストショットをユーザに提供する。本実施形態に係わる画像処理システムによれば、その人物画像の同定を少ない資源を使って高速により正確に行なうことができるその人物画像を含むフレームが、取得される。
《画像処理システムの構成》
図２は、本実施形態に係る画像処理システム２００の構成を示すブロック図である。
図２において、本実施形態に係るベストショットの選別は、画像処理装置２１０が行なう。画像処理装置２１０は、ネットワーク２６０を介して映像を受信する。また、画像処理装置２１０は、ベストショットを送信するための通信制御部２１１を有する。また、画像処理装置２１０は、顔画像特徴抽出部２１２を有する。顔画像特徴抽出部２１２は、通信制御部２１１が受信した映像の一連の複数のフレームの各フレームから、顔画像の特徴を抽出する。また、画像処理装置２１０は、フレームバッファ２１３を有する。フレームバッファ２１３は、通信制御部２１１により受信した映像の一連の複数のフレームを一時保存する。また、画像処理装置２１０は、ベストショット選別条件記憶部２１４を有する。ベストショット選別条件記憶部２１４は、通信制御部２１１により受信した映像の一連の複数のフレームから、人物の同定のための情報の量を最も多く有するベストショットを選別する条件を記憶する。また、画像処理装置２１０は、ベストショット選別部２１５を有する。ベストショット選別部２１５は、ベストショット選別条件記憶部２１４の選別条件に基づいて選別されたフレームバッファ２１３内のフレームを、ベストショットとして選別する。この選別は、顔画像特徴抽出部２１２において抽出された特徴の比較によってなされる。また、画像処理装置２１０は、ベストショット選別部２１５で選別されたベストショットを蓄積するベストショットＤＢ２１６（ＤＢ：Ｄａｔａ ｂａｓｅ）を有する。
図２に示すように、上記の画像処理装置２１０には、ネットワーク２６０を介してビデオカメラと端末とが接続される。ビデオカメラは各種の映像を送信する撮像装置である。ビデオカメラ２２０ａと端末２２０ｂとは店舗２２０に設置されている。ビデオカメラ２２０ａは、店舗２２０の入口で、店舗２２０に出入りする顧客を撮影する。端末２２０ｂはＰＯＳ（Ｐｏｉｎｔ ｏｆ ｓａｌｅ）端末を含んでいる。端末２２０ｂは、店舗２２０の種々の管理を行なう。また、端末２２０ｂは、必要に応じて、ベストショットを画像処理装置２１０からダウンロードすることができる。ビデオカメラ２３０ａは、デジタルサイネージ２３０に設置されている。ビデオカメラ２３０ａは、デジタルサイネージ２３０を視聴したユーザを撮影する。デジタルサイネージ２３０は広告を映写したり、情報を通知するために、路上あるいは店舗に配置されている。ビデオカメラ２４０ａは、パーソナルコンピュータ２４０に設置されている。ビデオカメラ２４０ａは、パーソナルコンピュータ２４０を操作するユーザを撮影する。また、データベース２５０は、撮影された映像を蓄積する。
なお、図２では、店舗２２０の入口、デジタルサイネージ２３０の前、パーソナルコンピュータ２４０の前にそれぞれ存在する人物が、撮影対象の例として示された。しかし、撮影対象は、これらに限定されない。また、図２では、各ビデオカメラが、ネットワーク２６０を介して直接、画像処理装置２１０と通信するように、図示されている。しかし、ビデオカメラが蓄積した画像は、一旦記憶装置に保持された後に、画像処理装置２１０に送信されてもよい。この場合、人物が撮影範囲に居ることが検知された期間の映像のみが保持され、送信されることが望ましい。
《画像処理装置のハードウェア構成》
図３は、本実施形態に係る画像処理装置２１０のハードウェア構成を示すブロック図である。ＣＰＵ３１０（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）は演算制御用のプロセッサであり、プログラムを実行することで図２の各機能構成部を実現する。ＲＯＭ３２０（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部２１１は、ネットワークを介してビデオカメラや映像を記憶する記憶装置と通信する。通信は無線で行なわれても、有線で行なわれてもよい。
ＲＡＭ３４０（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）は、ＣＰＵ３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ３４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。フレームバッファ２１３は、ネットワーク２６０を介して送信されてきた映像データを保持する。顔画像特徴データ３４２は、各フレームから抽出されたベストショット判別のための情報である顔画像特徴のデータである。本実施形態では、目間距離、顔の大きさ、顔らしさが、顔画像特徴データ３４２に含まれる。顔画像特徴データ３４２は、その他の顔画像特徴を含むこともある。人物ＩＤ３４３（ＩＤ：Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）は、ベストショットを判別する対象の顔を有する人物を識別する人物ＩＤである。ベストショットフレームデータ３４４は、人物ＩＤ３４３で特定される人物のベストショットとして選別された、ベストショットフレームデータである。
ストレージ３５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムを記憶している。人物同定条件記憶部３５１は、一連の複数フレームに写っている人物を同一人物と同定するための、人物同定条件を記憶する。例えば、一連の複数フレーム中の人物の位置や動きなどから、同一人物であることが、同定される。ベストショット選別条件記憶部２１４は、複数フレームから対象人物のベストショットを選別するための、ベストショット選別条件を記憶する（図４参照）。ベストショットＤＢ２１６は、選別されたベストショットのデータを、人物ＩＤに関連付けて蓄積する（図５参照）。ストレージ３５０には、以下に説明するプログラムが格納される。画像処理プログラム３５４は、画像処理装置２１０に、画像処理全体を実行させるプログラムである。人物同定モジュール３５５は、画像処理プログラム３５４において、人物の同定を行なう人物同定モジュールである。顔画像特徴算出モジュール３５６は、画像処理プログラム３５４において、各フレームにおける顔画像の特徴を算出するモジュールである。ベストショット選別モジュール３５７は、条件３５２に従って複数のフレームから対象人物のベストショットを選別するモジュールである。
なお、図３には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
（ベストショット選別条件）
図４は、本実施形態に係るベストショット選別条件記憶部２１４の構成を示す図である。
ベストショット選別条件記憶部２１４には、選別条件４０１に対応して、選別条件の内容である特徴情報４０２、選別条件の判断基準４０３、ベストショット選別のための各選別条件の関与程度を表わす重み４０４、が記憶されている。選別条件４０１の種類としては、目間距離４１０、顔の正面率４２０、顔らしさ４３０、撮影環境４４０、が含まれる。
目間距離４１０は、顔画像中の左右の目の中心間を結ぶ直線上の画素数で表わされる。顔の正面率４２０は、頭部面積中の肌色面積の割合や、顔画像中の左右の目と口が形成する三角形の底辺と高さの比で表わされる。顔らしさ４３０は、次の手順で判断される。最初に、実際の顔データサンプルが、大量に集められる。これと同時に、顔ではないサンプルが収集される。次に、両方のサンプルがデータベース化される。入力されたデータは、このデータベースと比較される。入力データに一番近い顔サンプルの距離と、一番近い顔ではないサンプルの距離との比率を計算することにより、顔らしさが決められる。そのサンプルの好適な選択方法が、例えば特開平６−３３３０５２号に開示されている。撮影環境４４０は、撮影時の天候、季節、時間帯などで表わされる。撮影環境４４０は、撮影時の照明の明るさや角度などで表されてもよい。
（ベストショットＤＢ）
図５は、本実施形態に係るベストショットＤＢ２１６の構成を示すブロック図である。ベストショットＤＢ２１６は、人物を識別する人物ＩＤ５０１に対応して、選別されたベストショットの撮影日時５０２、そのベストショットのベストショットフレームデータ５０３、条件値５０４、が記憶されている。条件値５０４は、そのベストショットがベストショットに選別された条件である。図５には、人物５１０、５２０のベストショットに関するデータが、記憶されている。
《画像処理装置の処理手順》
図６Ａは、本実施形態に係る画像処理装置２１０の処理手順を示すフローチャートである。このフローチャートで示された処理は、ＣＰＵ３１０により実行される。ＣＰＵ３１０は、ＲＡＭ３４０に蓄積されたデータを使用して、図２の各機能構成部を実現する。
まず、ステップＳ６０１において、通信制御部２１１は、ビデオカメラで撮像した映像データを受信する。ステップＳ６０３において、映像データの複数のフレームからベストショット選別の対象となる１人の対象人物を、人物同定条件記憶部３５１に記憶された人物同定条件に基づいて、顔画像特徴抽出部２１２が同定する。続いて、顔画像特徴抽出部２１２はこの対象人物に人物ＩＤを付与する。ステップＳ６０５において、ベストショット選別部２１５が、複数のフレームから対象人物のベストショットを選別する（図６Ｂ参照）。ステップＳ６０７において、ベストショット選別部２１５は、選別したベストショットを対象人物の人物ＩＤに対応付けてベストショットＤＢ２１６に蓄積する。
（ベストショット選別処理）
図６Ｂは、本実施形態に係るベストショット選別処理Ｓ６０５の処理手順を示すフローチャートである。本フローチャートで示された処理は、ＣＰＵ３１０により実行される。ＣＰＵ３１０は、ＲＡＭ３４０を使用して、図２の各機能構成部を実現する。
ステップＳ６１１において、ベストショット選別部２１５は、対象映像の各フレーム内の人物画像から目間距離を検出する。かかる目間距離の検出の一例が特許文献１に記載されている。この検出方法は本実施形態において使用されることができるが、本実施形態で用いることができる検出方法は、この方法に限定されるものではない。ステップＳ６１３において、ベストショット選別部２１５は、対象映像の各フレーム内の人物画像から顔の向きを表わす正面率を算出する。なお、正面率の算出は、例えば肌色領域の面積や、目・鼻・口などの位置関係などから算出することが可能である。しかし、本実施形態に用いられる算出方法は、この方法に限定されない。ステップＳ６１５においては、顔らしさを算出する。顔らしさの算出には、上述したように、入力データに一番近い顔サンプルの距離と一番近い顔ではないサンプルの距離との比率が使用される。
本実施形態では、ベストショットを選択する顔画像の特徴として、目間距離、正面率、顔らしさ、が示された。しかし、顔画像の特徴は、これらに限定されるものではない。他の条件が、顔画像の特徴として、追加されてもよい。
ステップＳ６１７においては、対象映像を撮影した撮影条件が取得される。例えば、撮影条件には、季節や、天候や、時間帯、あるいは照明の明るさや角度などが含まれる。
ステップＳ６１９において、上記ステップＳ６１１〜Ｓ６１７において得られた各選別条件の値、あるいは重み付けをして演算した値が比較される。そして、ステップＳ６２１において、ベストショット選別部２１５は、対象映像の複数のフレーム内の人物画像からベストショットを選別する。かかるベストショットは、複数のフレームの中で、人物の特徴を表わす情報量が最も多い人物画像を含むフレームである。すなわち、その人物画像を、他の人物画像から峻別して同定する対象の人物画像を含むフレームである。したがって、ベストショットにより人物の同定をすれば、全フレーム中の人物を比較する必要がない。少ない記憶容量で高速な人物同定が可能である。また、人物の特徴を表わす情報量が多いので、より正確な人物同定が可能となる。
［第３実施形態］
次に、本発明の第３実施形態に係る画像処理システムについて説明する。本実施形態に係る画像処理システムは、リピート回数記録部を有する点が、上記第２実施形態とは異なる。リピート回数記録部は、同一人物が所定の場所に来た回数を記憶する。ここで、同一人物が所定の場所に来たことは、生成されたベストショットＤＢの情報を基に、顔画像照合部７１７が画像を照合することで、認定される。ベストショットＤＢの情報は、第２の実施形態と同様に生成される。本実施形態においては、特に、店舗に設置されたビデオカメラの映像から店舗への各人物の出現数を、リピート回数記録部が積算する。この出現数は、再訪状況を表わすリピート回数として積算される。その結果は店舗に通知される。本実施形態によれば、店舗へのリピータ同定およびリピート回数測定、及びその集計が、少ない処理により正確に実施される。なお、本実施形態では店舗を例に説明するが、催し物の会場への再訪状況なども同様の対象である。
《画像処理システムの構成》
図７は、本実施形態に係る画像処理システム７００の構成を示すブロック図である。なお、以下の説明は、第２実施形態と異なる機能構成について行われる。第２実施形態と同様であるその他の構成および動作は、詳しい説明を省略する。なお、第２実施形態と同じ構成要素には、第２実施形態と同じ符号が付されている。
本実施形態に係るベストショットの選別と、ベストショットによる顔画像の照合およびリピート回数算出は、画像処理装置７１０が行なう。画像処理装置７１０のベストショット選別部７１５は、ベストショット選別条件記憶部２１４に記憶されたベストショット選別条件に基づいて、受信した複数フレームからベストショットを選択する。また、ベストショット選別部７１５は、ベストショット管理ＤＢ７１６に蓄積されている人物のベストショットと、新たに選別されたベストショットとを比較して、さらにベストショットを選別する。したがって、複数フレーム中のベストショットから、さらに、ある人物の１日のベストショット、１月のベストショット、季節のベストショット、１年のベストショットなどを選別して蓄積することができる。本実施形態のベストショット管理ＤＢ７１６は、上記のベストショット選別部７１５の説明で示したように、複数フレーム中のベストショットに加えて、最近日のベストショット、最近月のベストショット、最近年のベストショットを識別可能に蓄積する（図１２参照）。これらに加えて、ベストショット管理ＤＢ７１６は、１日のベストショット、１月のベストショット、季節のベストショット、１年のベストショットなども蓄積することが可能である。顔画像照合部７１７は、ベストショット管理ＤＢ７１６に蓄積された各人物ＩＤの１日のベストショットと、各人物ＩＤの他の１日のベストショットとを互いに照合して、同一人物であるか否かを判断する。顔画像照合部７１７は、この判断を元に、再訪分析を行なう。同一人物であると判断されれば、リピータを管理するリピータ管理ＤＢ７１８（図１３参照）における人物ＩＤに対応したリピート回数（リピートカウントとも言う）を更新する。同一人物が見付からなければ、各リピートカウントの値を維持する。また、新規に人物ＩＤをベストショット管理ＤＢ７１６に追加する。ベストショット管理ＤＢ７１６の内容は、画像処理装置７１０から所定時期に整理されて各店舗に通知される。かかる所定時期は、一週間、一ヶ月、季節（３月）、一年などに設定されてもよいし、店舗からの要求を受けて設定されてもよい。
図７において、ネットワーク２６０を介してリピータを撮影した映像を画像処理装置７１０に送信するのは、店舗７２１や店舗７２ｎの出入口に設置された、ビデオカメラ７２１ａや７２ｎａである。また、リピータのリピート回数の集計結果は、画像処理装置７１０から店舗７２１のコンピュータ７２１ｂや店舗７２ｎのコンピュータ７２ｎｂに送信される。なお、ビデオカメラ７２１ａや７２ｎａの設置は、店舗の出入口に限定されない。例えば、ビデオカメラ７２１ａや７２ｎａは、各売り場に設置されてもよい。また、リピータ管理は、売り場毎に行なわれてもよい。また、映像は、ビデオカメラ７２１ａや７２ｎａから直接送信されずに、コンピュータ７２１ｂや７２ｎｂに一時保存されてもよい。この場合、例えば人物が写った映像のみを通信制御部２１１に送信するように設定すれば、ネットワーク２６０の有効利用が図れる。
《画像処理システムの動作概要》
次に、図８および図９を参照して、本実施形態の画像処理システムにおけるベストショットの選別処理の概要を説明する。
（ベストショット選別処理）
図８は、本実施形態に係る画像処理システムにおけるベストショット選別処理の概要を示す図である。なお、本例では、１日の映像フレームを蓄積して、店舗の閉店後にベストショットの選別処理をする例を説明するが、ベストショット選別処理のタイミングはこれに限定されない。例えば、ベストショット選別処理８００は、一連の撮影フレームの取得ごとに順次行なわれてもよい。また、図８の例では、話を単純化するため、映像フレームには一人の対象人物しか写っていない場合、あるいは、一人の対象人物に対する処理のみについて説明するが、本実施形態は、これに限定されるものではない。
図８の撮影フレーム８１０のように、ファイル入力された映像は、対象人物を含む一連の撮影フレームに分けられる。すなわち、一連の撮影フレームは、対象人物の店舗への出入りを撮影したものである。それぞれの一連の撮影フレームから、例えば目間距離が最大でありかつ正面率が最も高い対象人物が写ったフレームを、対象人物のベストショットとして選択した状態が、図８のシーン内のベストショット８２０に示されている。ここでは、一連の撮影フレーム“０００００００１＿００１．ｊｐｇ”〜“０００００００１＿００４．ｊｐｇ”中の人物画像の内から、目間距離が最大でありかつ正面率が最も高い“０００００００１＿００３．ｊｐｇ８２１”がベストショットとして選別されている。なお、この実施形態においては、単純に「目間距離が最大でありかつ正面率が最も高い」ことを条件にしているが、この２つの条件に優先順位がつけられてもよい。また、本実施形態における選別条件は、この２つの条件に限定されない。図４に示した他の条件は、この２つの条件と同じく、選別条件の対象となる。また、本実施形態では、一連の撮影フレーム“０００００００２＿００１．ｊｐｇ”〜“０００００００２＿００３．ｊｐｇ”中の人物画像の内から、“０００００００２＿００２．ｊｐｇ８２２”がベストショットとして選別される。また、一連の撮影フレーム“０００００００３＿００１．ｊｐｇ”〜“０００００００３＿００２．ｊｐｇ”中の人物画像の内から、“０００００００３＿００１．ｊｐｇ８２３”がベストショットとして選別される。さらに、詳細には図示されていないが、“００００００１１＿００５．ｊｐｇ”８２４、“０００００１１１＿００２．ｊｐｇ８２５”、“００００１０１１＿００３．ｊｐｇ８２６”、が選別される。
次に、それぞれの一連の撮影フレームから選別されたベストショット８２１〜８２６から、図８のベストショットの照合８３０に示されるように、同じ対象人物であるものが集められる。次に、さらに、集められたベストショットが互いに照合されて、その中のベストショットが選別される。本実施形態においては、一連の撮影フレームのベストショット０００００００１＿００３．ｊｐｇ８２１と００００００１１＿００５．ｊｐｇ８２４、０００００００２＿００２．ｊｐｇ８２２と０００００１１１＿００２．ｊｐｇ８２５、０００００００３＿００１．ｊｐｇ８２３と００００１０１１＿００３．ｊｐｇ８２６、が同じ対象人物のベストショットとして集められる。そして、これらは互いに照合される。ベストショットの照合８３０は、時系列ではなく、正面率の高い順に照合順序を制御される。本実施形態において、ベストショットの照合８３０は、１日の対象人物のベストショットの選別であるとして示されている。
そして、これら各段階でベストショットに選別された撮影フレームは、人物ＩＤに対応付けてベストショット管理ＤＢ７１６に蓄積される（図１２参照）。
（リピータ検出処理）
図９は、本実施形態に係る画像処理システムにおけるリピータ検出処理９００の概要を示す図である。図９は、異なる日に同じ対象人物が撮影フレームに登場したことを照合により認識し、同じ人物があればその店舗へのリピータとしてカウントすることを示している。
図９のベストショットの照合９１０は、図８のベストショットの照合８３０に相当する。各人物ＩＤＸ００１〜Ｘ００３のそれぞれについて、１日（Ｘ日とする）のベストショットが上記同様の条件で選別される。図９のＸ日のベストショット９２０には、図８の０００００００１＿００３．ｊｐｇ８２１に相当する撮影フレームがベストショット９２１として選別されている。また、図８の０００００００２＿００２．ｊｐｇ８２２に相当する撮影フレームがベストショット９２２として選別され、図８の０００００００３＿００１．ｊｐｇ８２３に相当する撮影フレームがベストショット９２３として選別される。一方、他の１日（（Ｘ＋ｎ）日とする）のＸ＋ｎ日のベストショット９４０における各人物ＩＤＸｎ０１〜Ｘｎ０３のそれぞれのベストショット９３１〜ベストショット９３３が選別される。
本実施形態においては、顔画像照合部７１７において、人物ＩＤＸ００１〜Ｘ００３のベストショット９２１〜ベストショット９２３と人物ＩＤＸｎ０１〜Ｘｎ０３のベストショット９３１〜ベストショット９３３とがそれぞれ照合されている。その結果、ベストショット９２１とベストショット９３１、ベストショット９２２とベストショット９３２とは同一人物（リピータ）と判定して、リピートカウントをアップする。一方、ベストショット９２３とベストショット９３３とは同一人物でないと判定して、リピートカウントはアップしない。顔画像照合部７１７によるリピータの判定結果は、各店舗ＩＤと人物ＩＤとに対応付けてリピータ管理ＤＢ７１８に蓄積され、必要に応じて整理され各店舗に提供される。なお、図９は、ベストショット９２１とベストショット９３１、ベストショット９２２とベストショット９３２、ベストショット９２３とベストショット９３３との照合のみを示している。実際には、顔画像照合部７１７は、ベストショットを総当たりで照合して、同一人物が見付かればリピートカウントをアップする。
本実施形態においては、顔画像照合部７１７で照合する前に、既に各日の各人物のベストショットが選別されているので、照合は、各日の異なる人物の１つの撮影フレームを照合する処理のみでリピータの検出が可能であるので、短時間の処理が可能である。同時に、照合するのは、各日の各人物のベストショットなので、同一人物か否かの判定がより多くの情報量に基づいて正確にかつ緻密に実現できる。
《画像処理装置のハードウェア構成》
図１０は、本実施形態に係る画像処理装置７１０のハードウェア構成を示すブロック図である。なお、図１０において図３と同様の機能を果たす部分には同じ参照番号が付されている。これらの部分に関する説明は、図３において既に行っているので、ここでは省略する。
ＲＡＭ１０４０は、ＣＰＵ３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。ベストショットフレームデータ１０４１は、各ベストショットに人物ＩＤを対応づけたデータである（図１１参照）。リピートカウンタ１０４２は、各人物ＩＤに対応してリピート回数をカウントする。
ストレージ１０５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムを記憶している。ベストショット管理ＤＢ７１６は、各人物ＩＤに対応付けて、ベストショットを蓄積する。リピータ同定条件記憶部１０５４は、照合したベストショット同士が、同一人物であることを判定する。なお、リピータ同定条件記憶部１０５４は、人物同定条件記憶部３５１とは異なる条件とすることが可能である。また、リピータ同定条件記憶部１０５４は、人物同定条件記憶部３５１と同じ条件であって、閾値などが異なるものであってもよい。例えば、人物同定条件記憶部３５１には一連の撮影フレームとの条件があるが、リピータ同定条件記憶部１０５４には時間的な関連を表わす条件は無い。一方、顔の特徴点の位置関係や色などの同じ条件であれば、リピータ同定条件記憶部１０５４は人物同定条件記憶部３５１よりも厳しい条件を設定する。リピータ管理ＤＢ７１８は、各店舗ＩＤと各人物ＩＤとに対応付けて蓄積したリピート回数を管理する。リピータ管理ＤＢ７１８は、図７および図９にも図示されている。ストレージ１０５０には、画像処理プログラム１０５６、リピータ管理モジュール１０５７が格納される。画像処理プログラム１０５６は、画像処理装置７１０に、本実施形態における全体の処理を実行させる。リピータ管理モジュール１０５７は、画像処理プログラム１０５６において、ベストショットの照合からリピータを見付けリピート回数をカウントする。ストレージ１０５０には、人物同定モジュール３５５、顔画像特徴算出モジュール３５６、ベストショット選別モジュール３５７も格納されているが、これらについては図３で説明したので、ここでは詳述しない。なお、図１０には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳ（ＯＳ：Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）などの汎用のデータやプログラムは図示されていない。
（ベストショットフレームテーブル）
図１１は、本実施形態に係るベストショットフレームテーブル１０４１の構成を示す図である。ベストショットフレームテーブル１０４１は、各人物ＩＤ１１１０に対応付けて以下の各ベストショットを記憶する。例えば、ベストショットフレームテーブル１０４１は、撮影時刻とベストショットと選別された条件値とを含む本日取得のベストショット１１２０を記憶する。また、ベストショットフレームテーブル１０４１は、本日取得のベストショット１１２０から選別された本日のベストショット１１３０を記憶する。また、ベストショットフレームテーブル１０４１は、１月間の本日のベストショット１１３０から選別された１月間のベストショット１１３０を記憶する。また、ベストショットフレームテーブル１０４１は、３月〜５月の１月間のベストショット１１４０から選別された春のベストショット１１５０を記憶する。また、ベストショットフレームテーブル１０４１は、１年間の１月間のベストショット１１４０から選別された１年間のベストショット１１６０を記憶する。ベストショットフレームテーブル１０４１の例は、図１１の例に限定されない。
（ベストショット管理ＤＢ）
図１２は、本実施形態に係るベストショット管理ＤＢ７１６の構成を示す図である。ベストショット管理ＤＢ７１６は、全人物ＩＤについて、図１１のベストショットフレームテーブル１０４１のデータを管理している。ベストショット管理ＤＢ７１６は、人物ＩＤ１２０１に対応付けて、最近日のベストショット１２０２、最近月のベストショット１２０３、最近年のベストショット１２０４、を蓄積する。なお、ベストショット管理ＤＢ７１６の構成は、図１２の構成に限定はされない。
（リピータ管理ＤＢ）
図１３は、本実施形態に係るリピータ管理ＤＢ７１８の構成を示す図である。リピータ管理ＤＢ７１８には、図１０のリピートカウンタ１０４２の内容が各店舗および各人物ＩＤ１３０２に対応付けて蓄積される。
リピータ管理ＤＢ７１８は、各店舗ＩＤ１３０１および各人物ＩＤ１３０２に対応付けて、リピートカウント１３０３、条件付リピートカウント１３０４を記憶する。ここで、条件付リピートカウント１３０４は、例えば、時間や曜日の特定や、催し物のある日の特定など、各店舗にとって報告を望む条件の下で行われたリピートカウントの結果である。条件付リピートカウント１３０４は、複数種類が記憶されてもよい。
《画像処理装置の処理手順》
図１４Ａは、本実施形態に係る画像処理装置の処理手順を示すフローチャートである。このフローチャートで表される処理は、図１０のＣＰＵ３１０により実行される。この処理は、ＲＡＭ１０４０を使用して実行され、図７の機能構成部が実現される。
まず、ステップＳ１４０１において、店舗の開店に際し、画像処理装置７１０の初期化が行なわれる。実際には、この初期化は、店舗の端末からの初期画面の送信要請によってなされる。ステップＳ１４０３において、ベストショット処理が行なわれる。ステップＳ１４０５において店舗の閉店処理を検出するまで、ステップＳ１４０３のベストショット処理が繰り返される。なお、ステップＳ１４０３のベストショット処理は、第２実施形態の図６Ａ、図６Ｂで示した処理全体に相当する。したがって、ここではステップＳ１４０３についての詳細な説明は省略される。
閉店処理が検出されるとステップＳ１４０７において、ベストショット選別部７１５が、各対象人物について、上記図８の手順で本日中のベストショットを選別する。続いて、ステップＳ１４０９においては、ベストショット選別部７１５が、本日中のベストショットをこの１月間のベストショットと比較して、その１月のベストショットを選別する。これらのベストショットの選別処理を必要なだけ繰り返して、ベストショット管理ＤＢ７１６を更新する。
次に、ステップＳ１４１１において、ベストショット管理ＤＢ７１６の内容を利用して、リピータ管理処理を行なう。ステップＳ１４１１のリピータ管理処理は、図１４Ｂにより、後述する。ステップＳ１４１３においては、通信制御部２１１が、リピータ管理の結果を対応店舗に通知するか否かを判断する。通信制御部２１１は、通知が必要であると判断した場合、ステップＳ１４１５において、リピータ分析結果を店舗のＰＣに通知する。
（画像処理装置の処理手順）
図１４Ｂは、本実施形態に係るリピータ管理処理の処理手順を示すフローチャートである。
まず、ステップＳ１４２１において、人物ＩＤの初期化が行なわれる。例えば、本例であれば、人物ＩＤが“Ｃ０００１”に設定される。ステップＳ１４２３において、顔画像照合部７１７は、ベストショット管理ＤＢ７１６から人物ＩＤのベストショットを取得する。そして、ステップＳ１４２５においては、ステップＳ１４０７において選別された本日のベストショットのすべてと比較する。ステップＳ１４２７において、顔画像照合部７１７は、ステップＳ１４２５での比較結果から、同一人物がいるか否かを判定する。判定条件は、ベストショットの顔画像の特徴点の位置や距離、あるいは色である。これらの判定条件により、同一人物という同定がなされる。これらの判定条件に加えて、他の判定条件が用いられても構わない。ただし、これらの判定条件は、ベストショットを選別するための同一人物の判定条件よりも厳しく設定される。顔画像照合部７１７が、人物ＩＤＣ０００１の同一人物が、本日のベストショットの中にいると判定した場合、ステップＳ１４２９において、リピート管理ＤＢ７１８は、リピートカウンタ１０４２をカウントアップする。
ステップＳ１４３１において、顔画像照合部７１７は、全人物についての照合処理が終了したかを判断する。顔画像照合部７１７は、終了していないと判断した場合、ステップＳ１４２３に戻り、別の人物ＩＤの人物について処理する。顔画像照合部７１７が、全人物について処理を終了したことを判定した場合、ステップＳ１４３３において、リピータ管理ＤＢ７１８は、ステップＳ１４２９でカウントアップしたリピートカウントに更新する。
［第４実施形態］
次に、本発明の第４実施形態に係る画像処理システムが説明される。本実施形態に係る画像処理システムは、リピートカウントを行う対象が店舗に出入りする人物ではなく、デジタルサイネージを視聴する人物である点が、上記第３実施形態と異なる。本実施形態によれば、デジタルサイネージの配置位置の適否や、報知プログラム内容の適否が検証可能になる。なお、第４実施形態では、第３実施形態における店舗に出入りする人物の画像処理が、デジタルサイネージを視聴する人物の画像処理に変わる。以下においては、この変更部分のみが説明される。変更されていない部分については、第３実施形態の図面および説明が援用される。
《画像処理システムの構成》
図１５は、本実施形態に係る画像処理システム１５００の構成を示すブロック図である。図１５で追加された機能構成部あるいは変更のある機能構成部について説明する。その他の構成および動作は、第２実施形態または３実施形態と同様である。図１５において、同じ構成および動作については同じ符号が付されている。第２、第３の実施形態と同じ構成および動作については、その詳しい説明が、省略される。
画像処理装置１５１０において、第３実施形態では、画像処理装置７１０において、店舗ＩＤに対応付けられたリピータが管理されていた。これに対して、本実施形態では、デジタルサーネージＩＤあるいはデジタルサイネージの報知プログラムのＩＤであるデジタルサイネージプログラムＩＤに対応付けられたリピータが管理される。したがって、リピータ管理ＤＢ１５１８の構成は、リピータ管理ＤＢ７１８の構成とは異なる（図１３、図１６参照）。
そして、ネットワーク２６０を介して画像処理装置１５１０に撮影した映像を送るビデオカメラ１５３１ａや１５３ｎａは、デジタルサイネージ１５３１、１５３ｎに設置される。ビデオカメラ１５３１ａや１５３ｎａは、デジタルサイネージ１５３１、１５３ｎを視聴する人物を撮影する。また、デジタルサイネージ１５３１、１５３ｎに報知プログラムを送信するデジタルサイネージの管理サーバ１５７０が、ネットワーク２６０を介して、デジタルサイネージ１５３１、１５３ｎに接続されている。なお、画像処理装置１５１０がデジタルサイネージの管理サーバ１５７０の機能をも有し、デジタルサイネージを管理する構成がとられてもよい。
《リピート管理ＤＢ》
図１６は、本実施形態に係るリピータ管理ＤＢ１５１８の構成を示す図である。図１６に示すように、リピータ管理ＤＢ１５１８は、デジタルサイネージＩＤ１６１１に対応付けたリピートカウント１６１４を蓄積するＤＢ１６１０と、デジタルサイネージプログラムＩＤ１６２１に対応付けたリピートカウント１６２４を蓄積するＤＢ１６２０とを有する。
ＤＢ１６１０は、デジタルサイネージＩＤ１６１１に対応付けて視聴した人物のカウント総数１６１２を記憶する。なお、カウント総数は、１日単位、１週間単位、１月単位、あるいは希望の期間毎に集計される。このようなカウント総数の集計のタイミングは、このリピータ管理ＤＢ１５１８の運用を委託するユーザにより、任意に決定される。また、デジタルサイネージＩＤ１６１１と人物ＩＤ１６１３とに対応付けて、リピートカウント１６１４、条件付リピートカウント１６１５と、が記憶される。
一方、ＤＢ１６２０は、デジタルサイネージプログラムＩＤ１６２１に対応付けて視聴した人物のカウント総数１６２２が記憶される。なお、カウント総数は、１日単位、１週間単位、１月単位、プログラム実行期間毎、あるいは希望の期間毎に集計される。このようなカウント総数の集計のタイミングは、このリピータ管理ＤＢ１５１８を委託するユーザにより、任意に決定される。また、デジタルサイネージプログラムＩＤ１６２１と人物ＩＤ１６２３とに対応付けて、リピートカウント１６２４、条件付リピートカウント１６２５と、が記憶される。
なお、条件付リピートカウント１６１５、条件付リピートカウント１６２５は、第３実施形態の図１３で説明した条件付リピートカウント１３０４の例と同様である。
［第５実施形態］
次に、本発明の第５実施形態に係る画像処理システムについて説明する。本実施形態に係る画像処理システムは、購買情報集計部１７１９と購買履歴ＤＢ１７２０とを有する点で、上記第３実施形態とは異なる。また、本実施形態に係る画像処理システムは、リピート回数について管理するリピート回数管理部１７１８を有する点で、上記第３実施形態とは異なる。本実施形態によれば、画像処理装置１７１０は、リピータの管理に加えてリピータの購買データを管理できる。
《画像処理システムの構成》
図１７は、本実施形態に係る画像処理システム１７００の構成を示すブロック図である。図１７で追加された機能構成部あるいは変更のある機能構成部について説明する。その他の構成および動作は、第２実施形態乃至第３実施形態と同様である。図１７において、同じ構成および動作については同じ符号を付されている。第２、第３の実施形態と同じ構成および動作については、その詳しい説明が、省略される。
画像処理装置１７１０において、第３実施形態では、店舗ＩＤに対応付けたリピータが管理されていたのに加えて、本実施形態では、店舗ＩＤおよび人物ＩＤに対応付けて購買履歴が管理される。したがって、リピート回数管理部１７１８と、購買情報集計部１７１９と、購買履歴ＤＢ１７２０（図１８参照）が、画像処理装置１７１０に追加されている。
リピート回数管理部１７１８は、顔画像照合部７１７のベストショットの照合結果により得たリピート回数を管理する。リピート回数管理部１７１８は、購買履歴ＤＢ１７２０に対してリピート回数を転送する。購買情報集計部１７１９は、店舗７２１の支払カウンタに設置された会計用レジスタ１７２１ｂに配置されたビデオカメラ１７２１ｃからの映像と会計データを受信する。あるいは、購買情報集計部１７１９は、店舗７２ｎの支払カウンタに設置された会計用レジスタ１７２ｎｂに配置されたビデオカメラ１７２ｎｃからの映像と会計データを受信する。購買情報集計部１７１９は、人物ＩＤに対応付けて購買情報を集計する。購買履歴ＤＢ１７２０は、リピート回数管理部１７１８が転送したリピートカウントと、購買情報集計部１７１９が転送した購買情報とを、人物ＩＤに結び付けて蓄積する。購買履歴ＤＢ１７２０は、購買状況の分析である購買分析を行う。
そして、ネットワーク２６０を介して画像処理装置１７１０に撮影した映像を送るビデオカメラは、店舗７２１、７２ｎの出入口に設置されたビデオカメラ７２１ａ、７２ｎａと、会計用レジスタ１７２１ｂ、１７２ｎｂに配置されたビデオカメラ１７２ｃ、１７ｎｃである。ビデオカメラ１７２ｃ、１７ｎｃは図示されていない。
《購買履歴ＤＢ》
図１８は、本実施形態に係る購買履歴ＤＢ１７２０の構成を示す図である。購買履歴ＤＢ１７２０は、店舗ＩＤ１８０１および人物ＩＤ１８０２に対応付けて、リピートカウント１８０３と、条件付リピートカウント１８０４と、購買履歴１８０５とを記憶する。なお、条件付リピートカウント１８０４は、第３実施形態の図１３で説明した条件付リピートカウント１３０４の例と同様である。また、さらに、購買履歴ＤＢ１７２０が、売り場毎や商品種別ごとに細分化して店舗ＩＤ１８０１および人物ＩＤ１８０２に対応付けて、リピートカウント１８０３と、条件付リピートカウント１８０４と、購買履歴１８０５管理することも、同様に可能である。
［他の実施形態］
以上、本発明の実施形態が詳述された。それぞれの実施形態に含まれる別々の特徴は如何様にも組み合わせることができる。また、この組み合わせた特徴を持つシステムおよび装置は、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよい。また、本発明は、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバは、本発明の範疇に含まれる。
以上実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年４月２８日に出願された日本出願特願２０１１−１００７８１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
［第１実施形態］
本発明の第１実施形態としての画像処理システム１００について、図１を用いて説明する。画像処理システム１００は、撮影された人物画像に基づいて人物を同定するためのシステムである。
図１に示すように、画像処理システム１００は、記憶部１１０と、選別部１２０と、を含む。記憶部１１０は、撮影された複数の人物画像から人物を同定するための情報量がより多いと予測される人物画像を選別するための、選別条件１１１を記憶する。選別部１２０は、記憶部１１０に記憶された選別条件１１１に基づいて、撮影された一連の複数フレーム１３０に写っている人物画像１３１〜１３４から、人物を同定するための情報量がより多いと予測される第１人物画像１４０を選別する。
本実施形態によれば、複数の人物画像から、人物を同定するための情報量がより多い人物画像を選別できるため、照合時間を減少させ照合に使用する資源を削減できる。
［第２実施形態］
次に、本発明の第２実施形態に係る画像処理システムが、説明される。本実施形態に係る画像処理システムは、種々の映像中の人物画像を含むフレームから、その人物を同定するための情報量が多い人物画像を含むフレームを代表画像であるベストショットとして選別する。また、本実施形態に係る画像処理システムは、そのベストショットを、蓄積する。そして、本実施形態に係る画像処理システムは、選別されたベストショットをユーザに提供する。本実施形態に係わる画像処理システムによれば、その人物画像の同定を少ない資源を使って高速により正確に行なうことができるその人物画像を含むフレームが、取得される。
《画像処理システムの構成》
図２は、本実施形態に係る画像処理システム２００の構成を示すブロック図である。
図２において、本実施形態に係るベストショットの選別は、画像処理装置２１０が行なう。画像処理装置２１０は、ネットワーク２６０を介して映像を受信する。また、画像処理装置２１０は、ベストショットを送信するための通信制御部２１１を有する。また、画像処理装置２１０は、顔画像特徴抽出部２１２を有する。顔画像特徴抽出部２１２は、通信制御部２１１が受信した映像の一連の複数のフレームの各フレームから、顔画像の特徴を抽出する。また、画像処理装置２１０は、フレームバッファ２１３を有する。フレームバッファ２１３は、通信制御部２１１により受信した映像の一連の複数のフレームを一時保存する。また、画像処理装置２１０は、ベストショット選別条件記憶部２１４を有する。ベストショット選別条件記憶部２１４は、通信制御部２１１により受信した映像の一連の複数のフレームから、人物の同定のための情報の量を最も多く有するベストショットを選別する条件を記憶する。また、画像処理装置２１０は、ベストショット選別部２１５を有する。ベストショット選別部２１５は、ベストショット選別条件記憶部２１４の選別条件に基づいて選別されたフレームバッファ２１３内のフレームを、ベストショットとして選別する。この選別は、顔画像特徴抽出部２１２において抽出された特徴の比較によってなされる。また、画像処理装置２１０は、ベストショット選別部２１５で選別されたベストショットを蓄積するベストショットＤＢ２１６（ＤＢ：Ｄａｔａ ｂａｓｅ）を有する。
図２に示すように、上記の画像処理装置２１０には、ネットワーク２６０を介してビデオカメラと端末とが接続される。ビデオカメラは各種の映像を送信する撮像装置である。ビデオカメラ２２０ａと端末２２０ｂとは店舗２２０に設置されている。ビデオカメラ２２０ａは、店舗２２０の入口で、店舗２２０に出入りする顧客を撮影する。端末２２０ｂはＰＯＳ（Ｐｏｉｎｔ ｏｆ ｓａｌｅ）端末を含んでいる。端末２２０ｂは、店舗２２０の種々の管理を行なう。また、端末２２０ｂは、必要に応じて、ベストショットを画像処理装置２１０からダウンロードすることができる。ビデオカメラ２３０ａは、デジタルサイネージ２３０に設置されている。ビデオカメラ２３０ａは、デジタルサイネージ２３０を視聴したユーザを撮影する。デジタルサイネージ２３０は広告を映写したり、情報を通知するために、路上あるいは店舗に配置されている。ビデオカメラ２４０ａは、パーソナルコンピュータ２４０に設置されている。ビデオカメラ２４０ａは、パーソナルコンピュータ２４０を操作するユーザを撮影する。また、データベース２５０は、撮影された映像を蓄積する。
なお、図２では、店舗２２０の入口、デジタルサイネージ２３０の前、パーソナルコンピュータ２４０の前にそれぞれ存在する人物が、撮影対象の例として示された。しかし、撮影対象は、これらに限定されない。また、図２では、各ビデオカメラが、ネットワーク２６０を介して直接、画像処理装置２１０と通信するように、図示されている。しかし、ビデオカメラが蓄積した画像は、一旦記憶装置に保持された後に、画像処理装置２１０に送信されてもよい。この場合、人物が撮影範囲に居ることが検知された期間の映像のみが保持され、送信されることが望ましい。
《画像処理装置のハードウェア構成》
図３は、本実施形態に係る画像処理装置２１０のハードウェア構成を示すブロック図である。ＣＰＵ３１０（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）は演算制御用のプロセッサであり、プログラムを実行することで図２の各機能構成部を実現する。ＲＯＭ３２０（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部２１１は、ネットワークを介してビデオカメラや映像を記憶する記憶装置と通信する。通信は無線で行なわれても、有線で行なわれてもよい。
ＲＡＭ３４０（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）は、ＣＰＵ３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ３４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。フレームバッファ２１３は、ネットワーク２６０を介して送信されてきた映像データを保持する。顔画像特徴データ３４２は、各フレームから抽出されたベストショット判別のための情報である顔画像特徴のデータである。本実施形態では、目間距離、顔の大きさ、顔らしさが、顔画像特徴データ３４２に含まれる。顔画像特徴データ３４２は、その他の顔画像特徴を含むこともある。人物ＩＤ３４３（ＩＤ：Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）は、ベストショットを判別する対象の顔を有する人物を識別する人物ＩＤである。ベストショットフレームデータ３４４は、人物ＩＤ３４３で特定される人物のベストショットとして選別された、ベストショットフレームデータである。
ストレージ３５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムを記憶している。人物同定条件記憶部３５１は、一連の複数フレームに写っている人物を同一人物と同定するための、人物同定条件を記憶する。例えば、一連の複数フレーム中の人物の位置や動きなどから、同一人物であることが、同定される。ベストショット選別条件記憶部２１４は、複数フレームから対象人物のベストショットを選別するための、ベストショット選別条件を記憶する（図４参照）。ベストショットＤＢ２１６は、選別されたベストショットのデータを、人物ＩＤに関連付けて蓄積する（図５参照）。ストレージ３５０には、以下に説明するプログラムが格納される。画像処理プログラム３５４は、画像処理装置２１０に、画像処理全体を実行させるプログラムである。人物同定モジュール３５５は、画像処理プログラム３５４において、人物の同定を行なう人物同定モジュールである。顔画像特徴算出モジュール３５６は、画像処理プログラム３５４において、各フレームにおける顔画像の特徴を算出するモジュールである。ベストショット選別モジュール３５７は、条件３５２に従って複数のフレームから対象人物のベストショットを選別するモジュールである。
なお、図３には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
（ベストショット選別条件）
図４は、本実施形態に係るベストショット選別条件記憶部２１４の構成を示す図である。
ベストショット選別条件記憶部２１４には、選別条件４０１に対応して、選別条件の内容である特徴情報４０２、選別条件の判断基準４０３、ベストショット選別のための各選別条件の関与程度を表わす重み４０４、が記憶されている。選別条件４０１の種類としては、目間距離４１０、顔の正面率４２０、顔らしさ４３０、撮影環境４４０、が含まれる。
目間距離４１０は、顔画像中の左右の目の中心間を結ぶ直線上の画素数で表わされる。顔の正面率４２０は、頭部面積中の肌色面積の割合や、顔画像中の左右の目と口が形成する三角形の底辺と高さの比で表わされる。顔らしさ４３０は、次の手順で判断される。最初に、実際の顔データサンプルが、大量に集められる。これと同時に、顔ではないサンプルが収集される。次に、両方のサンプルがデータベース化される。入力されたデータは、このデータベースと比較される。入力データに一番近い顔サンプルの距離と、一番近い顔ではないサンプルの距離との比率を計算することにより、顔らしさが決められる。そのサンプルの好適な選択方法が、例えば特開平６−３３３０５２号に開示されている。撮影環境４４０は、撮影時の天候、季節、時間帯などで表わされる。撮影環境４４０は、撮影時の照明の明るさや角度などで表されてもよい。
（ベストショットＤＢ）
図５は、本実施形態に係るベストショットＤＢ２１６の構成を示すブロック図である。ベストショットＤＢ２１６は、人物を識別する人物ＩＤ５０１に対応して、選別されたベストショットの撮影日時５０２、そのベストショットのベストショットフレームデータ５０３、条件値５０４、が記憶されている。条件値５０４は、そのベストショットがベストショットに選別された条件である。図５には、人物５１０、５２０のベストショットに関するデータが、記憶されている。
《画像処理装置の処理手順》
図６Ａは、本実施形態に係る画像処理装置２１０の処理手順を示すフローチャートである。このフローチャートで示された処理は、ＣＰＵ３１０により実行される。ＣＰＵ３１０は、ＲＡＭ３４０に蓄積されたデータを使用して、図２の各機能構成部を実現する。
まず、ステップＳ６０１において、通信制御部２１１は、ビデオカメラで撮像した映像データを受信する。ステップＳ６０３において、映像データの複数のフレームからベストショット選別の対象となる１人の対象人物を、人物同定条件記憶部３５１に記憶された人物同定条件に基づいて、顔画像特徴抽出部２１２が同定する。続いて、顔画像特徴抽出部２１２はこの対象人物に人物ＩＤを付与する。ステップＳ６０５において、ベストショット選別部２１５が、複数のフレームから対象人物のベストショットを選別する（図６Ｂ参照）。ステップＳ６０７において、ベストショット選別部２１５は、選別したベストショットを対象人物の人物ＩＤに対応付けてベストショットＤＢ２１６に蓄積する。
（ベストショット選別処理）
図６Ｂは、本実施形態に係るベストショット選別処理Ｓ６０５の処理手順を示すフローチャートである。本フローチャートで示された処理は、ＣＰＵ３１０により実行される。ＣＰＵ３１０は、ＲＡＭ３４０を使用して、図２の各機能構成部を実現する。
ステップＳ６１１において、ベストショット選別部２１５は、対象映像の各フレーム内の人物画像から目間距離を検出する。かかる目間距離の検出の一例が特許文献１に記載されている。この検出方法は本実施形態において使用されることができるが、本実施形態で用いることができる検出方法は、この方法に限定されるものではない。ステップＳ６１３において、ベストショット選別部２１５は、対象映像の各フレーム内の人物画像から顔の向きを表わす正面率を算出する。なお、正面率の算出は、例えば肌色領域の面積や、目・鼻・口などの位置関係などから算出することが可能である。しかし、本実施形態に用いられる算出方法は、この方法に限定されない。ステップＳ６１５においては、顔らしさを算出する。顔らしさの算出には、上述したように、入力データに一番近い顔サンプルの距離と一番近い顔ではないサンプルの距離との比率が使用される。
本実施形態では、ベストショットを選択する顔画像の特徴として、目間距離、正面率、顔らしさ、が示された。しかし、顔画像の特徴は、これらに限定されるものではない。他の条件が、顔画像の特徴として、追加されてもよい。
ステップＳ６１７においては、対象映像を撮影した撮影条件が取得される。例えば、撮影条件には、季節や、天候や、時間帯、あるいは照明の明るさや角度などが含まれる。
ステップＳ６１９において、上記ステップＳ６１１〜Ｓ６１７において得られた各選別条件の値、あるいは重み付けをして演算した値が比較される。そして、ステップＳ６２１において、ベストショット選別部２１５は、対象映像の複数のフレーム内の人物画像からベストショットを選別する。かかるベストショットは、複数のフレームの中で、人物の特徴を表わす情報量が最も多い人物画像を含むフレームである。すなわち、その人物画像を、他の人物画像から峻別して同定する対象の人物画像を含むフレームである。したがって、ベストショットにより人物の同定をすれば、全フレーム中の人物を比較する必要がない。少ない記憶容量で高速な人物同定が可能である。また、人物の特徴を表わす情報量が多いので、より正確な人物同定が可能となる。
［第３実施形態］
次に、本発明の第３実施形態に係る画像処理システムについて説明する。本実施形態に係る画像処理システムは、リピート回数記録部を有する点が、上記第２実施形態とは異なる。リピート回数記録部は、同一人物が所定の場所に来た回数を記憶する。ここで、同一人物が所定の場所に来たことは、生成されたベストショットＤＢの情報を基に、顔画像照合部７１７が画像を照合することで、認定される。ベストショットＤＢの情報は、第２の実施形態と同様に生成される。本実施形態においては、特に、店舗に設置されたビデオカメラの映像から店舗への各人物の出現数を、リピート回数記録部が積算する。この出現数は、再訪状況を表わすリピート回数として積算される。その結果は店舗に通知される。本実施形態によれば、店舗へのリピータ同定およびリピート回数測定、及びその集計が、少ない処理により正確に実施される。なお、本実施形態では店舗を例に説明するが、催し物の会場への再訪状況なども同様の対象である。
《画像処理システムの構成》
図７は、本実施形態に係る画像処理システム７００の構成を示すブロック図である。なお、以下の説明は、第２実施形態と異なる機能構成について行われる。第２実施形態と同様であるその他の構成および動作は、詳しい説明を省略する。なお、第２実施形態と同じ構成要素には、第２実施形態と同じ符号が付されている。
本実施形態に係るベストショットの選別と、ベストショットによる顔画像の照合およびリピート回数算出は、画像処理装置７１０が行なう。画像処理装置７１０のベストショット選別部７１５は、ベストショット選別条件記憶部２１４に記憶されたベストショット選別条件に基づいて、受信した複数フレームからベストショットを選択する。また、ベストショット選別部７１５は、ベストショット管理ＤＢ７１６に蓄積されている人物のベストショットと、新たに選別されたベストショットとを比較して、さらにベストショットを選別する。したがって、複数フレーム中のベストショットから、さらに、ある人物の１日のベストショット、１月のベストショット、季節のベストショット、１年のベストショットなどを選別して蓄積することができる。本実施形態のベストショット管理ＤＢ７１６は、上記のベストショット選別部７１５の説明で示したように、複数フレーム中のベストショットに加えて、最近日のベストショット、最近月のベストショット、最近年のベストショットを識別可能に蓄積する（図１２参照）。これらに加えて、ベストショット管理ＤＢ７１６は、１日のベストショット、１月のベストショット、季節のベストショット、１年のベストショットなども蓄積することが可能である。顔画像照合部７１７は、ベストショット管理ＤＢ７１６に蓄積された各人物ＩＤの１日のベストショットと、各人物ＩＤの他の１日のベストショットとを互いに照合して、同一人物であるか否かを判断する。顔画像照合部７１７は、この判断を元に、再訪分析を行なう。同一人物であると判断されれば、リピータを管理するリピータ管理ＤＢ７１８（図１３参照）における人物ＩＤに対応したリピート回数（リピートカウントとも言う）を更新する。同一人物が見付からなければ、各リピートカウントの値を維持する。また、新規に人物ＩＤをベストショット管理ＤＢ７１６に追加する。ベストショット管理ＤＢ７１６の内容は、画像処理装置７１０から所定時期に整理されて各店舗に通知される。かかる所定時期は、一週間、一ヶ月、季節（３月）、一年などに設定されてもよいし、店舗からの要求を受けて設定されてもよい。
図７において、ネットワーク２６０を介してリピータを撮影した映像を画像処理装置７１０に送信するのは、店舗７２１や店舗７２ｎの出入口に設置された、ビデオカメラ７２１ａや７２ｎａである。また、リピータのリピート回数の集計結果は、画像処理装置７１０から店舗７２１のコンピュータ７２１ｂや店舗７２ｎのコンピュータ７２ｎｂに送信される。なお、ビデオカメラ７２１ａや７２ｎａの設置は、店舗の出入口に限定されない。例えば、ビデオカメラ７２１ａや７２ｎａは、各売り場に設置されてもよい。また、リピータ管理は、売り場毎に行なわれてもよい。また、映像は、ビデオカメラ７２１ａや７２ｎａから直接送信されずに、コンピュータ７２１ｂや７２ｎｂに一時保存されてもよい。この場合、例えば人物が写った映像のみを通信制御部２１１に送信するように設定すれば、ネットワーク２６０の有効利用が図れる。
《画像処理システムの動作概要》
次に、図８および図９を参照して、本実施形態の画像処理システムにおけるベストショットの選別処理の概要を説明する。
（ベストショット選別処理）
図８は、本実施形態に係る画像処理システムにおけるベストショット選別処理の概要を示す図である。なお、本例では、１日の映像フレームを蓄積して、店舗の閉店後にベストショットの選別処理をする例を説明するが、ベストショット選別処理のタイミングはこれに限定されない。例えば、ベストショット選別処理８００は、一連の撮影フレームの取得ごとに順次行なわれてもよい。また、図８の例では、話を単純化するため、映像フレームには一人の対象人物しか写っていない場合、あるいは、一人の対象人物に対する処理のみについて説明するが、本実施形態は、これに限定されるものではない。
図８の撮影フレーム８１０のように、ファイル入力された映像は、対象人物を含む一連の撮影フレームに分けられる。すなわち、一連の撮影フレームは、対象人物の店舗への出入りを撮影したものである。それぞれの一連の撮影フレームから、例えば目間距離が最大でありかつ正面率が最も高い対象人物が写ったフレームを、対象人物のベストショットとして選択した状態が、図８のシーン内のベストショット８２０に示されている。ここでは、一連の撮影フレーム“０００００００１＿００１．ｊｐｇ”〜“０００００００１＿００４．ｊｐｇ”中の人物画像の内から、目間距離が最大でありかつ正面率が最も高い“０００００００１＿００３．ｊｐｇ８２１”がベストショットとして選別されている。なお、この実施形態においては、単純に「目間距離が最大でありかつ正面率が最も高い」ことを条件にしているが、この２つの条件に優先順位がつけられてもよい。また、本実施形態における選別条件は、この２つの条件に限定されない。図４に示した他の条件は、この２つの条件と同じく、選別条件の対象となる。また、本実施形態では、一連の撮影フレーム“０００００００２＿００１．ｊｐｇ”〜“０００００００２＿００３．ｊｐｇ”中の人物画像の内から、“０００００００２＿００２．ｊｐｇ８２２”がベストショットとして選別される。また、一連の撮影フレーム“０００００００３＿００１．ｊｐｇ”〜“０００００００３＿００２．ｊｐｇ”中の人物画像の内から、“０００００００３＿００１．ｊｐｇ８２３”がベストショットとして選別される。さらに、詳細には図示されていないが、“００００００１１＿００５．ｊｐｇ”８２４、“０００００１１１＿００２．ｊｐｇ８２５”、“００００１０１１＿００３．ｊｐｇ８２６”、が選別される。
次に、それぞれの一連の撮影フレームから選別されたベストショット８２１〜８２６から、図８のベストショットの照合８３０に示されるように、同じ対象人物であるものが集められる。次に、さらに、集められたベストショットが互いに照合されて、その中のベストショットが選別される。本実施形態においては、一連の撮影フレームのベストショット０００００００１＿００３．ｊｐｇ８２１と００００００１１＿００５．ｊｐｇ８２４、０００００００２＿００２．ｊｐｇ８２２と０００００１１１＿００２．ｊｐｇ８２５、０００００００３＿００１．ｊｐｇ８２３と００００１０１１＿００３．ｊｐｇ８２６、が同じ対象人物のベストショットとして集められる。そして、これらは互いに照合される。ベストショットの照合８３０は、時系列ではなく、正面率の高い順に照合順序を制御される。本実施形態において、ベストショットの照合８３０は、１日の対象人物のベストショットの選別であるとして示されている。
そして、これら各段階でベストショットに選別された撮影フレームは、人物ＩＤに対応付けてベストショット管理ＤＢ７１６に蓄積される（図１２参照）。
（リピータ検出処理）
図９は、本実施形態に係る画像処理システムにおけるリピータ検出処理９００の概要を示す図である。図９は、異なる日に同じ対象人物が撮影フレームに登場したことを照合により認識し、同じ人物があればその店舗へのリピータとしてカウントすることを示している。
図９のベストショットの照合９１０は、図８のベストショットの照合８３０に相当する。各人物ＩＤＸ００１〜Ｘ００３のそれぞれについて、１日（Ｘ日とする）のベストショットが上記同様の条件で選別される。図９のＸ日のベストショット９２０には、図８の０００００００１＿００３．ｊｐｇ８２１に相当する撮影フレームがベストショット９２１として選別されている。また、図８の０００００００２＿００２．ｊｐｇ８２２に相当する撮影フレームがベストショット９２２として選別され、図８の０００００００３＿００１．ｊｐｇ８２３に相当する撮影フレームがベストショット９２３として選別される。一方、他の１日（（Ｘ＋ｎ）日とする）のＸ＋ｎ日のベストショット９４０における各人物ＩＤＸｎ０１〜Ｘｎ０３のそれぞれのベストショット９３１〜ベストショット９３３が選別される。
本実施形態においては、顔画像照合部７１７において、人物ＩＤＸ００１〜Ｘ００３のベストショット９２１〜ベストショット９２３と人物ＩＤＸｎ０１〜Ｘｎ０３のベストショット９３１〜ベストショット９３３とがそれぞれ照合されている。その結果、ベストショット９２１とベストショット９３１、ベストショット９２２とベストショット９３２とは同一人物（リピータ）と判定して、リピートカウントをアップする。一方、ベストショット９２３とベストショット９３３とは同一人物でないと判定して、リピートカウントはアップしない。顔画像照合部７１７によるリピータの判定結果は、各店舗ＩＤと人物ＩＤとに対応付けてリピータ管理ＤＢ７１８に蓄積され、必要に応じて整理され各店舗に提供される。なお、図９は、ベストショット９２１とベストショット９３１、ベストショット９２２とベストショット９３２、ベストショット９２３とベストショット９３３との照合のみを示している。実際には、顔画像照合部７１７は、ベストショットを総当たりで照合して、同一人物が見付かればリピートカウントをアップする。
本実施形態においては、顔画像照合部７１７で照合する前に、既に各日の各人物のベストショットが選別されているので、照合は、各日の異なる人物の１つの撮影フレームを照合する処理のみでリピータの検出が可能であるので、短時間の処理が可能である。同時に、照合するのは、各日の各人物のベストショットなので、同一人物か否かの判定がより多くの情報量に基づいて正確にかつ緻密に実現できる。
《画像処理装置のハードウェア構成》
図１０は、本実施形態に係る画像処理装置７１０のハードウェア構成を示すブロック図である。なお、図１０において図３と同様の機能を果たす部分には同じ参照番号が付されている。これらの部分に関する説明は、図３において既に行っているので、ここでは省略する。
ＲＡＭ１０４０は、ＣＰＵ３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。ベストショットフレームデータ１０４１は、各ベストショットに人物ＩＤを対応づけたデータである（図１１参照）。リピートカウンタ１０４２は、各人物ＩＤに対応してリピート回数をカウントする。
ストレージ１０５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムを記憶している。ベストショット管理ＤＢ７１６は、各人物ＩＤに対応付けて、ベストショットを蓄積する。リピータ同定条件記憶部１０５４は、照合したベストショット同士が、同一人物であることを判定する。なお、リピータ同定条件記憶部１０５４は、人物同定条件記憶部３５１とは異なる条件とすることが可能である。また、リピータ同定条件記憶部１０５４は、人物同定条件記憶部３５１と同じ条件であって、閾値などが異なるものであってもよい。例えば、人物同定条件記憶部３５１には一連の撮影フレームとの条件があるが、リピータ同定条件記憶部１０５４には時間的な関連を表わす条件は無い。一方、顔の特徴点の位置関係や色などの同じ条件であれば、リピータ同定条件記憶部１０５４は人物同定条件記憶部３５１よりも厳しい条件を設定する。リピータ管理ＤＢ７１８は、各店舗ＩＤと各人物ＩＤとに対応付けて蓄積したリピート回数を管理する。リピータ管理ＤＢ７１８は、図７および図９にも図示されている。ストレージ１０５０には、画像処理プログラム１０５６、リピータ管理モジュール１０５７が格納される。画像処理プログラム１０５６は、画像処理装置７１０に、本実施形態における全体の処理を実行させる。リピータ管理モジュール１０５７は、画像処理プログラム１０５６において、ベストショットの照合からリピータを見付けリピート回数をカウントする。ストレージ１０５０には、人物同定モジュール３５５、顔画像特徴算出モジュール３５６、ベストショット選別モジュール３５７も格納されているが、これらについては図３で説明したので、ここでは詳述しない。なお、図１０には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳ（ＯＳ：Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）などの汎用のデータやプログラムは図示されていない。
（ベストショットフレームテーブル）
図１１は、本実施形態に係るベストショットフレームテーブル１０４１の構成を示す図である。ベストショットフレームテーブル１０４１は、各人物ＩＤ１１１０に対応付けて以下の各ベストショットを記憶する。例えば、ベストショットフレームテーブル１０４１は、撮影時刻とベストショットと選別された条件値とを含む本日取得のベストショット１１２０を記憶する。また、ベストショットフレームテーブル１０４１は、本日取得のベストショット１１２０から選別された本日のベストショット１１３０を記憶する。また、ベストショットフレームテーブル１０４１は、１月間の本日のベストショット１１３０から選別された１月間のベストショット１１３０を記憶する。また、ベストショットフレームテーブル１０４１は、３月〜５月の１月間のベストショット１１４０から選別された春のベストショット１１５０を記憶する。また、ベストショットフレームテーブル１０４１は、１年間の１月間のベストショット１１４０から選別された１年間のベストショット１１６０を記憶する。ベストショットフレームテーブル１０４１の例は、図１１の例に限定されない。
（ベストショット管理ＤＢ）
図１２は、本実施形態に係るベストショット管理ＤＢ７１６の構成を示す図である。ベストショット管理ＤＢ７１６は、全人物ＩＤについて、図１１のベストショットフレームテーブル１０４１のデータを管理している。ベストショット管理ＤＢ７１６は、人物ＩＤ１２０１に対応付けて、最近日のベストショット１２０２、最近月のベストショット１２０３、最近年のベストショット１２０４、を蓄積する。なお、ベストショット管理ＤＢ７１６の構成は、図１２の構成に限定はされない。
（リピータ管理ＤＢ）
図１３は、本実施形態に係るリピータ管理ＤＢ７１８の構成を示す図である。リピータ管理ＤＢ７１８には、図１０のリピートカウンタ１０４２の内容が各店舗および各人物ＩＤ１３０２に対応付けて蓄積される。
リピータ管理ＤＢ７１８は、各店舗ＩＤ１３０１および各人物ＩＤ１３０２に対応付けて、リピートカウント１３０３、条件付リピートカウント１３０４を記憶する。ここで、条件付リピートカウント１３０４は、例えば、時間や曜日の特定や、催し物のある日の特定など、各店舗にとって報告を望む条件の下で行われたリピートカウントの結果である。条件付リピートカウント１３０４は、複数種類が記憶されてもよい。
《画像処理装置の処理手順》
図１４Ａは、本実施形態に係る画像処理装置の処理手順を示すフローチャートである。このフローチャートで表される処理は、図１０のＣＰＵ３１０により実行される。この処理は、ＲＡＭ１０４０を使用して実行され、図７の機能構成部が実現される。
まず、ステップＳ１４０１において、店舗の開店に際し、画像処理装置７１０の初期化が行なわれる。実際には、この初期化は、店舗の端末からの初期画面の送信要請によってなされる。ステップＳ１４０３において、ベストショット処理が行なわれる。ステップＳ１４０５において店舗の閉店処理を検出するまで、ステップＳ１４０３のベストショット処理が繰り返される。なお、ステップＳ１４０３のベストショット処理は、第２実施形態の図６Ａ、図６Ｂで示した処理全体に相当する。したがって、ここではステップＳ１４０３についての詳細な説明は省略される。
閉店処理が検出されるとステップＳ１４０７において、ベストショット選別部７１５が、各対象人物について、上記図８の手順で本日中のベストショットを選別する。続いて、ステップＳ１４０９においては、ベストショット選別部７１５が、本日中のベストショットをこの１月間のベストショットと比較して、その１月のベストショットを選別する。これらのベストショットの選別処理を必要なだけ繰り返して、ベストショット管理ＤＢ７１６を更新する。
次に、ステップＳ１４１１において、ベストショット管理ＤＢ７１６の内容を利用して、リピータ管理処理を行なう。ステップＳ１４１１のリピータ管理処理は、図１４Ｂにより、後述する。ステップＳ１４１３においては、通信制御部２１１が、リピータ管理の結果を対応店舗に通知するか否かを判断する。通信制御部２１１は、通知が必要であると判断した場合、ステップＳ１４１５において、リピータ分析結果を店舗のＰＣに通知する。
（画像処理装置の処理手順）
図１４Ｂは、本実施形態に係るリピータ管理処理の処理手順を示すフローチャートである。
まず、ステップＳ１４２１において、人物ＩＤの初期化が行なわれる。例えば、本例であれば、人物ＩＤが“Ｃ０００１”に設定される。ステップＳ１４２３において、顔画像照合部７１７は、ベストショット管理ＤＢ７１６から人物ＩＤのベストショットを取得する。そして、ステップＳ１４２５においては、ステップＳ１４０７において選別された本日のベストショットのすべてと比較する。ステップＳ１４２７において、顔画像照合部７１７は、ステップＳ１４２５での比較結果から、同一人物がいるか否かを判定する。判定条件は、ベストショットの顔画像の特徴点の位置や距離、あるいは色である。これらの判定条件により、同一人物という同定がなされる。これらの判定条件に加えて、他の判定条件が用いられても構わない。ただし、これらの判定条件は、ベストショットを選別するための同一人物の判定条件よりも厳しく設定される。顔画像照合部７１７が、人物ＩＤＣ０００１の同一人物が、本日のベストショットの中にいると判定した場合、ステップＳ１４２９において、リピート管理ＤＢ７１８は、リピートカウンタ１０４２をカウントアップする。
ステップＳ１４３１において、顔画像照合部７１７は、全人物についての照合処理が終了したかを判断する。顔画像照合部７１７は、終了していないと判断した場合、ステップＳ１４２３に戻り、別の人物ＩＤの人物について処理する。顔画像照合部７１７が、全人物について処理を終了したことを判定した場合、ステップＳ１４３３において、リピータ管理ＤＢ７１８は、ステップＳ１４２９でカウントアップしたリピートカウントに更新する。
［第４実施形態］
次に、本発明の第４実施形態に係る画像処理システムが説明される。本実施形態に係る画像処理システムは、リピートカウントを行う対象が店舗に出入りする人物ではなく、デジタルサイネージを視聴する人物である点が、上記第３実施形態と異なる。本実施形態によれば、デジタルサイネージの配置位置の適否や、報知プログラム内容の適否が検証可能になる。なお、第４実施形態では、第３実施形態における店舗に出入りする人物の画像処理が、デジタルサイネージを視聴する人物の画像処理に変わる。以下においては、この変更部分のみが説明される。変更されていない部分については、第３実施形態の図面および説明が援用される。
《画像処理システムの構成》
図１５は、本実施形態に係る画像処理システム１５００の構成を示すブロック図である。図１５で追加された機能構成部あるいは変更のある機能構成部について説明する。その他の構成および動作は、第２実施形態または３実施形態と同様である。図１５において、同じ構成および動作については同じ符号が付されている。第２、第３の実施形態と同じ構成および動作については、その詳しい説明が、省略される。
画像処理装置１５１０において、第３実施形態では、画像処理装置７１０において、店舗ＩＤに対応付けられたリピータが管理されていた。これに対して、本実施形態では、デジタルサーネージＩＤあるいはデジタルサイネージの報知プログラムのＩＤであるデジタルサイネージプログラムＩＤに対応付けられたリピータが管理される。したがって、リピータ管理ＤＢ１５１８の構成は、リピータ管理ＤＢ７１８の構成とは異なる（図１３、図１６参照）。
そして、ネットワーク２６０を介して画像処理装置１５１０に撮影した映像を送るビデオカメラ１５３１ａや１５３ｎａは、デジタルサイネージ１５３１、１５３ｎに設置される。ビデオカメラ１５３１ａや１５３ｎａは、デジタルサイネージ１５３１、１５３ｎを視聴する人物を撮影する。また、デジタルサイネージ１５３１、１５３ｎに報知プログラムを送信するデジタルサイネージの管理サーバ１５７０が、ネットワーク２６０を介して、デジタルサイネージ１５３１、１５３ｎに接続されている。なお、画像処理装置１５１０がデジタルサイネージの管理サーバ１５７０の機能をも有し、デジタルサイネージを管理する構成がとられてもよい。
《リピート管理ＤＢ》
図１６は、本実施形態に係るリピータ管理ＤＢ１５１８の構成を示す図である。図１６に示すように、リピータ管理ＤＢ１５１８は、デジタルサイネージＩＤ１６１１に対応付けたリピートカウント１６１４を蓄積するＤＢ１６１０と、デジタルサイネージプログラムＩＤ１６２１に対応付けたリピートカウント１６２４を蓄積するＤＢ１６２０とを有する。
ＤＢ１６１０は、デジタルサイネージＩＤ１６１１に対応付けて視聴した人物のカウント総数１６１２を記憶する。なお、カウント総数は、１日単位、１週間単位、１月単位、あるいは希望の期間毎に集計される。このようなカウント総数の集計のタイミングは、このリピータ管理ＤＢ１５１８の運用を委託するユーザにより、任意に決定される。また、デジタルサイネージＩＤ１６１１と人物ＩＤ１６１３とに対応付けて、リピートカウント１６１４、条件付リピートカウント１６１５と、が記憶される。
一方、ＤＢ１６２０は、デジタルサイネージプログラムＩＤ１６２１に対応付けて視聴した人物のカウント総数１６２２が記憶される。なお、カウント総数は、１日単位、１週間単位、１月単位、プログラム実行期間毎、あるいは希望の期間毎に集計される。このようなカウント総数の集計のタイミングは、このリピータ管理ＤＢ１５１８を委託するユーザにより、任意に決定される。また、デジタルサイネージプログラムＩＤ１６２１と人物ＩＤ１６２３とに対応付けて、リピートカウント１６２４、条件付リピートカウント１６２５と、が記憶される。
なお、条件付リピートカウント１６１５、条件付リピートカウント１６２５は、第３実施形態の図１３で説明した条件付リピートカウント１３０４の例と同様である。
［第５実施形態］
次に、本発明の第５実施形態に係る画像処理システムについて説明する。本実施形態に係る画像処理システムは、購買情報集計部１７１９と購買履歴ＤＢ１７２０とを有する点で、上記第３実施形態とは異なる。また、本実施形態に係る画像処理システムは、リピート回数について管理するリピート回数管理部１７１８を有する点で、上記第３実施形態とは異なる。本実施形態によれば、画像処理装置１７１０は、リピータの管理に加えてリピータの購買データを管理できる。
《画像処理システムの構成》
図１７は、本実施形態に係る画像処理システム１７００の構成を示すブロック図である。図１７で追加された機能構成部あるいは変更のある機能構成部について説明する。その他の構成および動作は、第２実施形態乃至第３実施形態と同様である。図１７において、同じ構成および動作については同じ符号を付されている。第２、第３の実施形態と同じ構成および動作については、その詳しい説明が、省略される。
画像処理装置１７１０において、第３実施形態では、店舗ＩＤに対応付けたリピータが管理されていたのに加えて、本実施形態では、店舗ＩＤおよび人物ＩＤに対応付けて購買履歴が管理される。したがって、リピート回数管理部１７１８と、購買情報集計部１７１９と、購買履歴ＤＢ１７２０（図１８参照）が、画像処理装置１７１０に追加されている。
リピート回数管理部１７１８は、顔画像照合部７１７のベストショットの照合結果により得たリピート回数を管理する。リピート回数管理部１７１８は、購買履歴ＤＢ１７２０に対してリピート回数を転送する。購買情報集計部１７１９は、店舗７２１の支払カウンタに設置された会計用レジスタ１７２１ｂに配置されたビデオカメラ１７２１ｃからの映像と会計データを受信する。あるいは、購買情報集計部１７１９は、店舗７２ｎの支払カウンタに設置された会計用レジスタ１７２ｎｂに配置されたビデオカメラ１７２ｎｃからの映像と会計データを受信する。購買情報集計部１７１９は、人物ＩＤに対応付けて購買情報を集計する。購買履歴ＤＢ１７２０は、リピート回数管理部１７１８が転送したリピートカウントと、購買情報集計部１７１９が転送した購買情報とを、人物ＩＤに結び付けて蓄積する。購買履歴ＤＢ１７２０は、購買状況の分析である購買分析を行う。
そして、ネットワーク２６０を介して画像処理装置１７１０に撮影した映像を送るビデオカメラは、店舗７２１、７２ｎの出入口に設置されたビデオカメラ７２１ａ、７２ｎａと、会計用レジスタ１７２１ｂ、１７２ｎｂに配置されたビデオカメラ１７２ｃ、１７ｎｃである。ビデオカメラ１７２ｃ、１７ｎｃは図示されていない。
《購買履歴ＤＢ》
図１８は、本実施形態に係る購買履歴ＤＢ１７２０の構成を示す図である。購買履歴ＤＢ１７２０は、店舗ＩＤ１８０１および人物ＩＤ１８０２に対応付けて、リピートカウント１８０３と、条件付リピートカウント１８０４と、購買履歴１８０５とを記憶する。なお、条件付リピートカウント１８０４は、第３実施形態の図１３で説明した条件付リピートカウント１３０４の例と同様である。また、さらに、購買履歴ＤＢ１７２０が、売り場毎や商品種別ごとに細分化して店舗ＩＤ１８０１および人物ＩＤ１８０２に対応付けて、リピートカウント１８０３と、条件付リピートカウント１８０４と、購買履歴１８０５管理することも、同様に可能である。
［他の実施形態］
以上、本発明の実施形態が詳述された。それぞれの実施形態に含まれる別々の特徴は如何様にも組み合わせることができる。また、この組み合わせた特徴を持つシステムおよび装置は、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよい。また、本発明は、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバは、本発明の範疇に含まれる。
以上実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年４月２８日に出願された日本出願特願２０１１−１００７８１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１００ 画像処理システム
１１０ 記憶部
１１１ 選別条件
１２０ 選別部
１３０ 複数フレーム
１４０ 第１人物画像
２００ 画像処理システム
２１０ 画像処理装置
２１１ 通信制御部
２１２ 顔画像特徴抽出部
２１３ フレームバッファ
２１４ ベストショット選別条件記憶部
２１５ ベストショット選別部
２１６ ベストショットＤＢ
２２０ 店舗
２２０ａ ビデオカメラ
２２０ｂ 端末
２３０ デジタルサイネージ
２３０ａ ビデオカメラ
２４０ パーソナルコンピュータ
２４０ａ ビデオカメラ
２５０ データベース
２６０ ネットワーク
３１０ ＣＰＵ
３２０ ＲＯＭ
３４０ ＲＡＭ
３４２ 顔画像特徴データ
３４３ 人物ＩＤ
３４４ ベストショットフレームデータ
３５０ ストレージ
３５１ 人物同定条件記憶部
３５４ 画像処理プログラム
３５５ 人物同定モジュール
３５６ 顔画像特徴算出モジュール
３５７ ベストショット選別モジュール
４０１ 選別条件
４０２ 特徴情報
４０３ 判断基準
４０４ 重み
４１０ 目間距離
４２０ 正面率
４３０ 顔らしさ
４４０ 撮影環境
５０１ 人物ＩＤ
５０２ 撮影日時
５０３ ベストショットフレームデータ
５０４ 条件値
５１０ 人物
５２０ 人物
７００ 画像処理システム
７１０ 画像処理装置
７１５ ベストショット選別部
７１６ ベストショット管理ＤＢ
７１７ 顔画像照合部
７１８ リピータ管理ＤＢ
７２１ 店舗
７２１ａ ビデオカメラ
７２１ｂ コンピュータ
７２ｎ 店舗
７２ｎａ ビデオカメラ
７２ｎｂ コンピュータ
８００ ベストショット選別処理
８１０ 撮影フレーム
８２０ シーン内のベストショット
８２１ ０００００００１＿００３．ｊｐｇ
８２２ ０００００００２＿００２．ｊｐｇ
８２３ ０００００００３＿００１．ｊｐｇ
８２４ ００００００１１＿００５．ｊｐｇ
８２５ ０００００１１１＿００２．ｊｐｇ
８２６ ００００１０１１＿００３．ｊｐｇ
８３０ ベストショットの照合
９００ リピータ検出処理
９１０ ベストショットの照合
９２０ Ｘ日のベストショット
９２１ ベストショット
９２２ ベストショット
９２３ ベストショット
９３１ ベストショット
９３２ ベストショット
９３３ ベストショット
９４０ Ｘ＋ｎ日のベストショット
１０４０ ＲＡＭ
１０４１ ベストショットフレームデータテーブル
１０４２ リピートカウンタ
１０５０ ストレージ
１０５４ リピータ同定条件記憶部
１０５６ 画像処理プログラム
１０５７ リピータ管理モジュール
１１１０ 人物ＩＤ
１１２０ ベストショット
１１３０ ベストショット
１１４０ １月間のベストショット
１１５０ 春のベストショット
１１６０ 一年間のベストショット
１２０１ 人物ＩＤ
１２０２ 最近日のベストショット
１２０３ 最近月のベストショット
１２０４ 最近年のベストショット
１３０１ 店舗ＩＤ
１３０２ 人物ＩＤ
１３０３ リピートカウント
１３０４ 条件付リピートカウント
１５００ 画像処理システム
１５１０ 画像処理装置
１５１８ リピータ管理ＤＢ
１５３１ デジタルサイネージ
１５３１ａ ビデオカメラ
１５３ｎ デジタルサイネージ
１５３ｎａ ビデオカメラ
１５７０ 管理サーバ
１６１０ ＤＢ
１６１１ デジタルサイネージＩＤ
１６１２ カウント総数
１６１３ 人物ＩＤ
１６１４ リピートカウント
１６１５ 条件付リピートカウント
１６２０ ＤＢ
１６２１ デジタルサイネージプログラムＩＤ
１６２２ カウント総数
１６２３ 人物ＩＤ
１６２４ リピートカウント
１６２５ 条件付リピートカウント
１７００ 画像処理システム
１７１０ 画像処理装置
１７１８ リピート回数管理部
１７１９ 購買情報集計部
１７２０ 購買履歴ＤＢ
１７２１ｂ 会計用レジスタ
１７２１ｃ ビデオカメラ
１７２ｎｃ ビデオカメラ
１７２ｎｂ 会計用レジスタ
１８０１ 店舗ＩＤ
１８０２ 人物ＩＤ
１８０３ リピートカウント
１８０４ 条件付リピートカウント
１８０５ 購買履歴
１１０ 記憶部
１１１ 選別条件
１２０ 選別部
１３０ 複数フレーム
１４０ 第１人物画像
２００ 画像処理システム
２１０ 画像処理装置
２１１ 通信制御部
２１２ 顔画像特徴抽出部
２１３ フレームバッファ
２１４ ベストショット選別条件記憶部
２１５ ベストショット選別部
２１６ ベストショットＤＢ
２２０ 店舗
２２０ａ ビデオカメラ
２２０ｂ 端末
２３０ デジタルサイネージ
２３０ａ ビデオカメラ
２４０ パーソナルコンピュータ
２４０ａ ビデオカメラ
２５０ データベース
２６０ ネットワーク
３１０ ＣＰＵ
３２０ ＲＯＭ
３４０ ＲＡＭ
３４２ 顔画像特徴データ
３４３ 人物ＩＤ
３４４ ベストショットフレームデータ
３５０ ストレージ
３５１ 人物同定条件記憶部
３５４ 画像処理プログラム
３５５ 人物同定モジュール
３５６ 顔画像特徴算出モジュール
３５７ ベストショット選別モジュール
４０１ 選別条件
４０２ 特徴情報
４０３ 判断基準
４０４ 重み
４１０ 目間距離
４２０ 正面率
４３０ 顔らしさ
４４０ 撮影環境
５０１ 人物ＩＤ
５０２ 撮影日時
５０３ ベストショットフレームデータ
５０４ 条件値
５１０ 人物
５２０ 人物
７００ 画像処理システム
７１０ 画像処理装置
７１５ ベストショット選別部
７１６ ベストショット管理ＤＢ
７１７ 顔画像照合部
７１８ リピータ管理ＤＢ
７２１ 店舗
７２１ａ ビデオカメラ
７２１ｂ コンピュータ
７２ｎ 店舗
７２ｎａ ビデオカメラ
７２ｎｂ コンピュータ
８００ ベストショット選別処理
８１０ 撮影フレーム
８２０ シーン内のベストショット
８２１ ０００００００１＿００３．ｊｐｇ
８２２ ０００００００２＿００２．ｊｐｇ
８２３ ０００００００３＿００１．ｊｐｇ
８２４ ００００００１１＿００５．ｊｐｇ
８２５ ０００００１１１＿００２．ｊｐｇ
８２６ ００００１０１１＿００３．ｊｐｇ
８３０ ベストショットの照合
９００ リピータ検出処理
９１０ ベストショットの照合
９２０ Ｘ日のベストショット
９２１ ベストショット
９２２ ベストショット
９２３ ベストショット
９３１ ベストショット
９３２ ベストショット
９３３ ベストショット
９４０ Ｘ＋ｎ日のベストショット
１０４０ ＲＡＭ
１０４１ ベストショットフレームデータテーブル
１０４２ リピートカウンタ
１０５０ ストレージ
１０５４ リピータ同定条件記憶部
１０５６ 画像処理プログラム
１０５７ リピータ管理モジュール
１１１０ 人物ＩＤ
１１２０ ベストショット
１１３０ ベストショット
１１４０ １月間のベストショット
１１５０ 春のベストショット
１１６０ 一年間のベストショット
１２０１ 人物ＩＤ
１２０２ 最近日のベストショット
１２０３ 最近月のベストショット
１２０４ 最近年のベストショット
１３０１ 店舗ＩＤ
１３０２ 人物ＩＤ
１３０３ リピートカウント
１３０４ 条件付リピートカウント
１５００ 画像処理システム
１５１０ 画像処理装置
１５１８ リピータ管理ＤＢ
１５３１ デジタルサイネージ
１５３１ａ ビデオカメラ
１５３ｎ デジタルサイネージ
１５３ｎａ ビデオカメラ
１５７０ 管理サーバ
１６１０ ＤＢ
１６１１ デジタルサイネージＩＤ
１６１２ カウント総数
１６１３ 人物ＩＤ
１６１４ リピートカウント
１６１５ 条件付リピートカウント
１６２０ ＤＢ
１６２１ デジタルサイネージプログラムＩＤ
１６２２ カウント総数
１６２３ 人物ＩＤ
１６２４ リピートカウント
１６２５ 条件付リピートカウント
１７００ 画像処理システム
１７１０ 画像処理装置
１７１８ リピート回数管理部
１７１９ 購買情報集計部
１７２０ 購買履歴ＤＢ
１７２１ｂ 会計用レジスタ
１７２１ｃ ビデオカメラ
１７２ｎｃ ビデオカメラ
１７２ｎｂ 会計用レジスタ
１８０１ 店舗ＩＤ
１８０２ 人物ＩＤ
１８０３ リピートカウント
１８０４ 条件付リピートカウント
１８０５ 購買履歴
Claims (19)
- 撮影された人物画像に基づいて人物を同定するための画像処理システムであって、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための、選別条件を記憶する記憶手段と、
前記記憶手段に記憶された選別条件に基づいて、撮影された一連の複数フレームに写っている人物画像から、人物を同定するための情報量がより多い第１人物画像を選別する選別手段と、を備え、
前記選別手段は、複数の異なる長さの期間毎に前記第１人物画像を選別する
画像処理システム。 - 前記一連の複数フレームを受信する受信手段を有する請求項１に記載の画像処理システム。
- 前記記憶手段が記憶する選別条件は、前記人物画像における顔の向き、顔の大きさ、および、顔らしさのうち少なくとも１つを含む請求項１に記載の画像処理システム。
- 前記選別手段は、前記人物画像において、顔が正面を向き、顔が大きく、顔らしい顔画像を有する人物画像を前記第１人物画像に選別する請求項３に記載の画像処理システム。
- 前記顔の向きおよび前記顔の大きさは、前記人物画像における目間の距離および顔の正面率に基づいて算出される請求項３または４に記載の画像処理システム。
- 前記顔らしさは、撮影された人物画像に一番近い顔サンプルの距離と、一番近い顔ではないサンプルの距離との比率に基づいて算出される請求項３または４に記載の画像処理システム。
- 前記選別手段は、さらに前記人物画像を撮影した撮影環境を条件として、前記第１人物画像を選別する請求項１乃至６のいずれか１項に記載の画像処理システム。
- 前記撮影環境は、撮影の時間帯と撮影日の天候との少なくともいずれかを含む請求項７に記載の画像処理システム。
- 前記選別手段が選別した前記第１人物画像を、人物を同定するための比較において参照する第１代表画像に設定する設定手段をさらに備える請求項１乃至８のいずれか１項に記載の画像処理システム。
- 前記設定手段が設定した異なる時間帯の複数の第１代表画像を互いに照合することで人物を同定し、前記複数の第１代表画像の内から人物を同定するための情報量がより多い第２人物画像を第２代表画像として選択する第１同定手段をさらに備える請求項９に記載の画像処理システム。
- 前記第１同定手段が同定した異なる日の複数の第２代表画像を互いに照合することで人物を同定し、前記複数の第２代表画像の内から人物を同定するための情報量がより多い第３人物画像を第３代表画像として選択する第２同定手段と、
前記第２同定手段が同定した人物に対応する第２代表画像の出現数をカウントするカウンタ手段と、をさらに備える請求項１０に記載の画像処理システム。 - 前記カウンタ手段のカウントに基づいて、撮影された人物画像から顧客の再訪状況を分析する再訪分析手段と、
前記再訪分析手段が分析した顧客の再訪状況を報知する報知手段と、をさらに備える請求項１１に記載の画像処理システム。 - 店舗または会場の入口に備えられて、店舗または会場に入る人物の人物画像を撮影する第１撮影手段をさらに備え、
前記選別手段は、前記第１撮影手段により撮影された一連の複数の人物画像から、人物を同定するための情報量がより多い第１人物画像を選別する請求項１２に記載の画像処理システム。 - デジタルサイネージに設置されて、前記デジタルサイネージからの報知を視聴した人物の人物画像を撮影する第２撮影手段をさらに備え、
前記選別手段は、前記第２撮影手段により撮影された一連の複数の人物画像から、人物を同定するための情報量がより多い第１人物画像を選別する請求項１２または１３に記載の画像処理システム。 - 前記第２同定手段が同定した人物を示す前記複数の第２代表画像にそれぞれ対応付いた購買履歴を記憶する記憶手段と、
前記記憶手段の購買履歴に基づいて、撮影された人物画像から顧客の購買状況を分析する購買分析手段をさらに備える請求項１１乃至１４のいずれか１項に記載の画像処理システム。 - 支払カウンタに設置されて、購買した人物の人物画像を撮影する第２撮影手段をさらに備え、
前記記憶手段は、前記第２同定手段が同定した人物を示す前記複数の第２代表画像に照合する前記第２撮影手段により撮影された人物画像の購買履歴を記憶する請求項１５に記載の画像処理システム。 - 撮影された人物画像に基づいて人物を同定するための人物同定方法であって、
撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための選別条件に基づいて、撮影された一連の複数フレームに写っている人物画像から、人物を同定するための情報量がより多い第１人物画像を複数の異なる長さの期間毎に選別し、
前記選別において選別した第１人物画像を、人物を同定するために比較する第１代表画像に設定する人物同定方法。 - 撮影された人物画像に基づいて人物を同定する制御方法であって、
撮影手段から一連の複数フレームを受信し、
受信された前記一連の複数フレームに写っている人物画像から、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための選別条件に基づいて、撮影された人物を同定するための情報量がより多い第１人物画像を複数の異なる長さの期間毎に選別する制御方法。 - 撮影された人物画像に基づいて人物を同定する画像処理装置の制御プログラムであって、
撮影手段から一連の複数フレームを受信する受信ステップと、
受信された前記一連の複数フレームに写っている人物画像から、撮影された複数の人物画像から人物を同定するための情報量がより多い人物画像を選別するための選別条件に基づいて、撮影された人物を同定するための情報量がより多い第１人物画像を複数の異なる長さの期間毎に選別する選別ステップと、
をコンピュータに実行させる制御プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013512512A JP5844802B2 (ja) | 2011-04-28 | 2012-04-27 | 画像処理システム、人物同定方法、画像処理装置およびその制御方法と制御プログラム |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011100781 | 2011-04-28 | ||
| JP2011100781 | 2011-04-28 | ||
| PCT/JP2012/061786 WO2012148000A1 (ja) | 2011-04-28 | 2012-04-27 | 画像処理システム、人物同定方法、画像処理装置およびその制御方法と制御プログラム |
| JP2013512512A JP5844802B2 (ja) | 2011-04-28 | 2012-04-27 | 画像処理システム、人物同定方法、画像処理装置およびその制御方法と制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2012148000A1 JPWO2012148000A1 (ja) | 2014-07-28 |
| JP5844802B2 true JP5844802B2 (ja) | 2016-01-20 |
Family
ID=47072509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013512512A Active JP5844802B2 (ja) | 2011-04-28 | 2012-04-27 | 画像処理システム、人物同定方法、画像処理装置およびその制御方法と制御プログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5844802B2 (ja) |
| WO (1) | WO2012148000A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9690978B2 (en) | 2013-09-13 | 2017-06-27 | Nec Hong Kong Limited | Information processing apparatus, information processing and program |
| JP2016110165A (ja) * | 2014-12-02 | 2016-06-20 | 日本電信電話株式会社 | イベント情報抽出装置、イベント情報抽出方法及びイベント情報抽出プログラム |
| JP2018081402A (ja) * | 2016-11-15 | 2018-05-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6921694B2 (ja) * | 2017-09-21 | 2021-08-18 | 株式会社東芝 | 監視システム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175730A (ja) * | 1997-12-05 | 1999-07-02 | Omron Corp | 人間検出追跡システム |
| JP2000215308A (ja) * | 1999-01-27 | 2000-08-04 | Toshiba Corp | 生体情報認証装置およびその方法 |
| JP2000259833A (ja) * | 1999-03-08 | 2000-09-22 | Toshiba Corp | 顔画像処理装置及びその処理方法 |
| JP2002041770A (ja) * | 2000-07-25 | 2002-02-08 | Oki Electric Ind Co Ltd | 顧客情報収集システム |
| JP2005227957A (ja) * | 2004-02-12 | 2005-08-25 | Mitsubishi Electric Corp | 最適顔画像記録装置及び最適顔画像記録方法 |
| JP2009230565A (ja) * | 2008-03-24 | 2009-10-08 | Laurel Bank Mach Co Ltd | 行動管理装置 |
-
2012
- 2012-04-27 JP JP2013512512A patent/JP5844802B2/ja active Active
- 2012-04-27 WO PCT/JP2012/061786 patent/WO2012148000A1/ja active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175730A (ja) * | 1997-12-05 | 1999-07-02 | Omron Corp | 人間検出追跡システム |
| JP2000215308A (ja) * | 1999-01-27 | 2000-08-04 | Toshiba Corp | 生体情報認証装置およびその方法 |
| JP2000259833A (ja) * | 1999-03-08 | 2000-09-22 | Toshiba Corp | 顔画像処理装置及びその処理方法 |
| JP2002041770A (ja) * | 2000-07-25 | 2002-02-08 | Oki Electric Ind Co Ltd | 顧客情報収集システム |
| JP2005227957A (ja) * | 2004-02-12 | 2005-08-25 | Mitsubishi Electric Corp | 最適顔画像記録装置及び最適顔画像記録方法 |
| JP2009230565A (ja) * | 2008-03-24 | 2009-10-08 | Laurel Bank Mach Co Ltd | 行動管理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2012148000A1 (ja) | 2012-11-01 |
| JPWO2012148000A1 (ja) | 2014-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7196893B2 (ja) | 顔照合システム、顔照合方法、及びプログラム | |
| US9141184B2 (en) | Person detection system | |
| JP5785667B1 (ja) | 人物特定システム | |
| JP5450089B2 (ja) | 対象検出装置および対象検出方法 | |
| JP2021140830A (ja) | 店舗装置、店舗管理方法、プログラム | |
| WO2014081726A1 (en) | Method and system for metadata extraction from master-slave cameras tracking system | |
| JP5844802B2 (ja) | 画像処理システム、人物同定方法、画像処理装置およびその制御方法と制御プログラム | |
| Li et al. | Real-world re-identification in an airport camera network | |
| KR20140005195A (ko) | 얼굴 등록 방법 | |
| CN109903172A (zh) | 理赔信息提取方法和装置、电子设备 | |
| WO2023029574A1 (zh) | 获取客流信息的方法、装置、计算机设备以及存储介质 | |
| CN113592390A (zh) | 一种基于多传感器融合的仓储数字孪生的方法与系统 | |
| CN109889773A (zh) | 评标室人员的监控的方法、装置、设备和介质 | |
| CN109167998A (zh) | 检测相机状态的方法及装置、电子设备、存储介质 | |
| JP6516702B2 (ja) | 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法 | |
| JP2011232864A (ja) | 施設情報分類システムおよび施設情報分類プログラム | |
| CN110263830A (zh) | 图像处理方法、装置和系统及存储介质 | |
| JP7020567B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
| JP6567638B2 (ja) | 鼻紋照合システム、鼻紋照合方法及び鼻紋照合プログラム | |
| CN112385180A (zh) | 基于交易时间戳将身份和易于获得的个人标识符信息进行匹配的系统和方法 | |
| CN109982051A (zh) | 具有动物识别功能的监控摄像方法和监控相机 | |
| JP2022058833A (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
| CN110751046B (zh) | 一种用户识别方法、装置、可读存储介质及终端设备 | |
| JP2014042170A (ja) | 撮影システム、撮影支援方法、撮影装置及びその制御方法、管理装置及びその制御方法、並びにプログラム | |
| JP5103287B2 (ja) | 広告効果測定装置、広告効果測定方法、広告効果測定プログラムおよびそのプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151027 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151119 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5844802 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |