JP4198951B2 - グループ属性推定方法及びグループ属性推定装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の人物が撮像された場面画像データから、複数の人物によって形成されるグループのグループ属性を推定するグループ属性推定方法及びグループ属性推定装置に関するものである。
【０００２】
【従来の技術】
従来、例えばコンビニエンス・ストア等の店舗では、商品を購入した顧客について、その性別・年代等の属性を店員が目視によって推定し、その商品に対する購入情報として蓄積・利用することが知られている。このような顧客の属性情報を、顧客が撮像された画像データを画像処理することによって自動で取得する試みが提案されている。
【０００３】
例えば特開平２０００−１４９１０５号広報には、商品購入者を撮像し、その顔画像データを解析して商品購入者の性別や年代を推定する自動販売機が提案されている。その手法としては、予め性別・年代別の平均顔データを用意しておき、購入者の顔画像データに最も類似する平均顔データの性別・年代を購入者の性別・年代として推定する方法を用いることが記載されている。
【０００４】
また、特開２００１−２１８０２０号広報には、未知人物の顔画像データから唇部分の領域を抽出し、その唇部分の色味に基づいて未知人物の性別を推定する画像処理方法が提案されている。
【０００５】
また、特開平６−３３３０２３号広報には、顔の縦横比、目の高さ、しわの本数、髪際の後退度等の特徴量に基づいて、対象人物の年齢を推定する方法が提案されている。
【０００６】
【発明が解決しようとする課題】
ところで、商品の購入情報としては、複数の顧客で形成されたグループの、例えば親子、友人、カップル等といったグループ属性との関連が重要である。
【０００７】
しかしながら、上記の各公報に開示されている手法は、人物毎の人物属性を推定しようとするものであり、複数の人物によって形成されるグループのグループ属性を自動で推定するものではない。従って、上記の各手法を用いる限りでは、商品の購入情報をより高度に蓄積・利用することができない問題がある。
【０００８】
本発明は、上記課題を解決するためになされたものであって、その目的は、複数の人物が撮像された場面画像から、複数の人物によって形成されるグループのグループ属性を推定することができるグループ属性推定方法及びグループ属性推定装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出処理と、前記場面画像データを用い、人物抽出処理により前記抽出された人物同士の実空間における距離間隔を求め、この距離間隔に基づき、同一のグループを形成する複数の人物を推定するグループ推定処理と、前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定処理と、前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定処理とを行うことを特徴とする。
【００１０】
請求項１に記載の発明によれば、先ず、場面画像データに撮像された複数の人物から、同一のグループを形成する複数の人物が推定される。そして、この複数の人物毎の人物属性から、そのグループのグループ属性が判定される。従って、複数の人物が撮像された場面画像から、複数の人物によって形成されるグループのグループ属性を推定することができる。
【００１２】
特に、人物同士の距離間隔がある距離以下であれば、その人物同士が同一のグループを形成する可能性があると推定できる。このため、場面画像から推定可能な、人物同士の距離間隔に基づいて、同一のグループを形成する複数の人物を推定することができる。
【００１３】
請求項２に記載の発明は、グループ推定処理において、前記場面画像データを用いて、人物抽出処理により前記抽出された人物同士の場面画像上での重なり状態を検出し、この重なり状態に基づき、同一のグループを形成する複数の人物を推定することを特徴とする。
【００１４】
請求項２に記載の発明には、次の作用がある。人物同士の重なり程度が大きいときには、その人物同士が手を繋いだり、あるいは、腕を組んでいる可能性が高い状態であって、この人物同士の親密度が高いと推定できる。このため、場面画像から推定可能な、人物同士の重なり状態に基づいて、同一のグループを形成する複数の顧客を推定することができる。
【００１５】
請求項３に記載の発明は、グループ推定処理において、時間を隔てて撮像された前記場面画像データを用い、前記人物抽出処理により抽出された人物同士の実空間における距離間隔の変化状態を検出し、この変化状態に基づき、同一のグループを形成する複数の人物を推定することを特徴とする。
【００１６】
請求項３に記載の発明には、次の作用がある。人物同士の実空間における距離間隔がある距離以下である状態が継続するときには、その人物同士がいっしょに行動している状態であって、この人物同士の親密度が高いと推定できる。このため、時間を隔てて撮像された場面画像から推定可能な、人物同士の距離間隔の変化状態に基づいて、同一のグループを形成する複数の人物を推定できる。
【００１７】
請求項４に記載の発明は、グループ推定処理において、前記場面画像データを用いて、前記人物抽出処理により抽出された人物同士の顔向き合い状態を検出し、この顔向き合い状態に基づき、同一のグループを形成する複数の人物を推定することを特徴とする。
【００１８】
請求項４に記載の発明には、次の作用がある。人物同士が互いに顔を向き合わせているときには、その人物同士がいっしょに会話をしている状態であって、この人物同士の親密度が高いと推定できる。
このため、場面画像から推定可能な、人物同士の顔向き合い状態に基づいて、同一のグループを形成する複数の人物を推定することができる。
【００１９】
請求項５に記載の発明は、請求項１〜請求項４のいずれか一項に記載の発明において、前記人物属性推定処理では、属性が異なる複数の参照人物の顔を所定の異なる複数の顔向き方向で撮像した参照顔画像毎に取得され、かつ、その参照人物の属性が関連付けられた参照特徴量と、前記場面画像を用いて前記人物毎の顔画像から取得された対象特徴量とから該人物の属性を推定することを特徴とする。
【００２０】
請求項５に記載の発明には、請求項１〜請求項４のいずれか一項に記載の発明の作用に加えて次の作用がある。人物の顔画像から取得された対象特徴量は、属性が異なる複数の参照人物の顔を所定の異なる複数の顔向き方向で撮像した参照顔画像毎に取得された参照特徴量の内、その顔向き方向に近い顔向き方向の範囲で撮像された参照人物の参照顔画像から取得された参照特徴量に類似する。さらに、対象特徴量は、その顔向き方向に近い顔向き方向の範囲で撮像された参照顔画像の参照特徴量の内、人物の属性に近い属性を備えた参照人物の参照顔画像から取得された参照特徴量に類似する。このため、先ず、全ての参照特徴量の中から、人物の顔画像の対象特徴量に類似する参照特徴量を判別することによって人物の顔画像が撮像された顔向き方向が推定される。そして、推定された顔向き方向の範囲で撮像された参照顔画像の参照特徴量の中から、人物の顔画像の対象特徴量に類似する参照特徴量を判別することによって、人物の属性が推定される。
従って、場面画像から抽出された人物の顔画像から、その人物の人物属性が推定される。
【００２１】
請求項６に記載の発明は、請求項１〜請求項５のいずれか一項に記載の発明において、前記人物属性は、性別及び年齢の少なくともいずれか一方であることを特徴とする。
【００２２】
請求項６に記載の発明には、請求項１〜請求項５のいずれか一項に記載の発明の作用に加えて次の作用がある。同一のグループを形成する複数の人物毎の性別及び年齢の少なくともいずれか一方から、そのグループのグループ属性が推定される。このため、グループを形成する人物の性別及び年齢の少なくともいずれか一方によって特徴付けられるグループ属性がより高い精度で推定できる。
【００２３】
請求項７に記載の発明は、請求項１〜請求項６のいずれか一項に記載の発明において、前記グループ属性は、親子、カップル、夫婦、友達、兄弟、姉妹、及び、祖父又は祖母と孫のいずれかであることを特徴とする。
【００２４】
請求項７に記載の発明には、請求項１〜請求項６のいずれか一項に記載の発明の作用に加えて次の作用がある。同一のグループを形成する複数の人物毎の属性から、そのグループのグループ属性が親子、カップル、夫婦、友達、兄弟、姉妹、及び、祖父又は祖母と孫のいずれかであることが推定される。
【００２５】
請求項８に記載の発明は、人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出手段と、前記場面画像データを用い、前記人物抽出処理により抽出された複数の人物から、同一のグループを形成する複数の人物を推定するグループ推定手段と、前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定手段と、前記人物毎に推定された属性に基づき、前記グループのグループ属性を判定するグループ属性判定手段とを備えたことを特徴とする。
請求項９に記載の発明は、人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出手段と、前記場面画像データを用いて、前記人物抽出処理により抽出された人物同士の場面画像上での重なり状態を検出し、この重なり状態に基づき、同一のグループを形成する複数の人物を推定するグループ推定手段と、前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定手段と、前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定手段とを行うことを特徴とする。
請求項１０に記載の発明は、人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出手段と、時間を隔てて撮像された前記場面画像データを用い、前記人物抽出処理により抽出された人物同士の実空間における距離間隔の変化状態を検出し、この変化状態に基づき、同一のグループを形成する複数の人物を推定するグループ推定手段と、前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定手段と、前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定手段とを行うことを特徴とする。
請求項１１に記載の発明は、人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出手段と、前記場面画像データを用いて、前記人物抽出処理により抽出された人物同士の顔向き合い状態を検出し、この顔向き合い状態に基づき、同一のグループを形成する複数の人物を推定するグループ推定手段と、前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定手段と、前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定手段とを行うことを特徴とする。
【００２６】
請求項８〜１１に記載の発明には、請求項１〜４に記載の発明と同様の作用がある。
【００２７】
【発明の実施の形態】
（第１実施形態）
以下、本発明を、店舗内で複数の顧客が形成するグループのグループ属性を推定するグループ属性推定方法に具体化した第１実施形態を図１〜図８に従って説明する。
【００２８】
本実施形態のグループ属性推定装置は、店舗内において顧客が通過する場所が撮像された場面画像から複数の顧客を検出し、この複数の顧客から同一のグループを形成する複数の顧客を推定する。そして、同一のグループを形成する複数の顧客毎にその人物属性を推定し、この各顧客の人物属性に基づいてそのグループのグループ属性を推定する。本実施形態における人物属性は性別及び年齢であり、同じくグループ属性は親子、カップル、夫婦、友達、兄弟、姉妹、及び、祖父又は祖母と孫である。
【００２９】
グループ属性推定装置が推定したグループの属性情報は、例えば、このグループの顧客が購入した商品の販売情報として蓄積され、商品販売戦略に利用される。
【００３０】
図２に示すように、グループ属性推定装置１０は、ビデオカメラ１１、画像処理装置１２とからなる。
ビデオカメラ１１は、店舗内の、顧客が通過する場所を撮像範囲とする場面画像をカラーで撮像する。
【００３１】
画像処理装置１２は、信号処理装置１３及びコンピュータ１４等からなる。
本実施形態では、ビデオカメラ１１が撮像手段であり、信号処理装置１３及びコンピュータ１４が画像取得手段である。また、コンピュータ１４が、人物抽出手段、グループ推定手段、人物属性推定手段及びグループ属性判定手段である。
【００３２】
コンピュータ１４は、ビデオカメラ１１を撮像制御して場面画像を撮像し、所定時間が経過する毎に、そのときビデオカメラ１１が撮像する場面画像を取得する。コンピュータ１４は、取得した場面画像に撮像された複数の顧客によって形成されるグループを推定し、このグループのグループ属性を推定するグループ属性推定処理を行う。
【００３３】
（グループ属性推定処理）
次に、画像処理装置が行うグループ属性推定処理の概要を説明する。
グループ属性推定処理は、図１に示すように、画像取得処理、人物抽出処理、グループ推定処理、人物属性推定処理、グループ属性判定処理及び結果出力処理からなる。
【００３４】
先ず、画像取得処理として、所定時間経過毎に、ビデオカメラ１１がそのとき撮像する場面画像の場面画像データ（以下、単に場面画像という。）を取得する（Ｓ１００）。
【００３５】
次に、人物抽出処理として、取得された場面画像から、画像処理を用いて複数の顧客を抽出する（Ｓ２００）。
次に、グループ推定処理として、抽出された複数の顧客から、同一のグループを形成する複数の顧客を推定する（Ｓ３００）。
【００３６】
次に、人物属性推定処理として、同一のグループを形成する複数の顧客毎に、その顧客の人物属性を推定する（Ｓ４００）。本実施形態で推定する人物属性は、性別及び年齢である。
【００３７】
次に、グループ属性判定処理として、顧客毎に推定された人物属性に基づき、そのグループのグループ属性を推定する（Ｓ５００）。本実施形態で推定するグループ属性は、親子、カップル、夫婦、友達、兄弟、姉妹、及び、祖父又は祖母と孫である。
【００３８】
最後に、結果出力処理として、同一のグループを形成する複数の顧客毎の人物属性と、そのグループのグループ属性とを対応させて出力する（Ｓ６００）。
（人物抽出処理）
次に、人物抽出処理について詳述する。
【００３９】
人物抽出処理では、場面画像データから、画像処理によって、顧客の全身に対応する画像領域である人物領域を求め、また、顧客の顔部分に対応する画像領域である顔領域を抽出する。そして、人物領域が抽出され、かつ、その人物領域内に顔領域が抽出できたときに、１人の顧客として認識する。
【００４０】
人物領域を検出するには、図３に示すように、先ず、顧客がいない状態で予め撮像されている背景画像と、新たに取得された場面画像とから背景差分画像を生成する（Ｓ２１０）。
【００４１】
次に、この背景差分画像から、所定の閾値により背景領域と背景領域以外の検出領域を分離する。なお、検出領域に対して膨張縮小処理を施すことで、ノイズ除去および検出領域の安定化を図る（Ｓ２２０）。
【００４２】
最後に、この検出領域から、その面積が所定の判定値を超える画像領域を抽出し、この画像領域を人物領域とする（Ｓ２３０）。
また、顔領域を検出するには、色情報を用いた公知の肌色基準値による手法を用いる。肌色基準値による手法としては、均等知覚色空間の１つであるＣＩＥ−Ｌ＊Ｕ＊Ｖ＊表色系の他、ｒｇｂ，ＨＳＶ，ＣＩＥ−Ｌａｖ，ＣＩＥ−ｘｙｘ表色系等を用いてもよい。
【００４３】
先ず、場面画像の全領域に亘り、Ｕ，Ｖ座標値による２次元ヒストグラムを求め、予め設定された肌色有効範囲内のピーク値（度数が最大の値）を肌色基準値とする（Ｓ２４０）。
【００４４】
次に、公知の判別分析法を用いて、肌色基準値からの色差に対する閾値を決定し、この閾値に基づいて場面画像を肌色領域と非肌色領域とに２値化する（Ｓ２５０）。
【００４５】
最後に、抽出された複数の肌色領域毎に、その肌色領域を形成する画素数（面積）を求め、その画素数が所定の判定値以上である肌色領域を顔領域とする（Ｓ２６０）。
【００４６】
従って、この人物抽出処理では、場面画像に撮像されている顧客であっても、その顔がある大きさで場面画像に撮像されていない場合には、顧客として抽出されない。
【００４７】
（グループ推定処理）
次に、グループ推定処理について詳述する。
グループ推定処理は、図４に示すように、距離間隔推定処理及び重なり状態推定処理からなる。
【００４８】
先ず、距離間隔推定処理として、場面画像を用いて、人物抽出処理で抽出された複数の顧客同士の実空間における距離間隔を求め、この距離間隔に基づき、同一のグループを形成する可能性がある複数の顧客を選別する（Ｓ３１０）。
【００４９】
次に、重なり状態推定処理として、場面画像を用い、距離間隔推定処理で選別された顧客同士の場面画像上での重なり状態を検出し、この重なり状態に基づき、同一のグループを形成する複数の顧客を最終的に推定する（Ｓ３２０）。
【００５０】
（距離間隔推定処理）
次に、距離間隔推定処理について詳述する。
距離間隔推定処理では、図５に示すように、先ず、場面画像から抽出された人物領域毎にその重心位置を求め、この重心位置間の場面画像上での重心間距離を求める（Ｓ３１１）。
【００５１】
次に、この重心間距離から、予め記憶されているテーブルを用いて実空間における人物同士の距離間隔を算出する（Ｓ３１２）。
最後に、算出された距離間隔が予め設定されている距離判定値以下である顧客同士を同一のグループを形成する顧客であると判定することにより、同一のグループを形成する可能性がある複数の顧客として推定する（Ｓ３１３）。
【００５２】
（重なり状態推定処理）
次に、重なり状態推定処理について詳述する。
重なり状態推定処理では、図６に示すように、先ず、同一のグループを形成する可能性がある複数の顧客について、人物抽出処理で検出した人物領域から、各顧客に対応する人物領域の垂直方向での画素数の累積ヒストグラムを作成する（Ｓ３２１）。
【００５３】
そして、この累積ヒストグラムから、所定の閾値以上の領域を人物領域としてカウントし、顔領域の検出より得られた人数と比較することで、顧客同士が寄り添っている、または手をつないでいる可能性があるか否かを判定する。
【００５４】
例えば、図８（ａ）は、夫、妻及び子供からなる３人の親子が撮像された場面画像から生成された２値画像を示す。
この親子は、夫と妻とが寄り添い、又、夫と子供とが手を繋いでいる。
【００５５】
この２値画像の人物領域から得られる累積ヒストグラムは、図８（ｂ）に示すように、夫と妻との人物領域が明確に分離されず、また、夫と子供との人物領域は、繋がれた手の領域が重なった状態となる。しかし、カメラアングル、ノイズなどにより顧客同士が手をつないでいなくても、累積ヒストグラム上で接触していると判断される場合がある。
【００５６】
そこで、次に、隣り合う人物領域の範囲で、画素の累積数が「０」でなく、かつ、所定の閾値未満の領域を抽出し、この画像領域を腕候補領域とする（Ｓ３２２）。
【００５７】
最後に、この腕候補領域に対し、人物抽出処理と同様の手法によって、肌色領域が含まれているか否かを判定し、肌色領域が含まれていたときには、人物同士が手を繋いでいると推定する（Ｓ３２３）。
【００５８】
そして、手を繋いでいる顧客同士が同一のグループを形成していると最終的に推定する。
（人物属性推定処理）
次に、人物属性推定処理について詳述する。
【００５９】
人物属性推定処理では、性別及び年齢が異なる不特定多数の参照人物の顔を所定の異なる複数の顔向き方向で撮像した参照顔画像毎に取得され、かつ、その参照人物の性別及び年齢が関連付けられた参照特徴量と、場面画像を用いて顧客毎の顔画像から取得した対象特徴量とから該顧客の性別及び年齢を推定する。
【００６０】
参照人物の参照特徴量は、学習データとしてコンピュータ１４に予め記憶されている。
（学習データ）
この学習データは、グループ属性推定装置１０とは異なるシステムにより、顔画像取得処理、顔領域検出処理及び特徴ベクトル作成処理によって生成される。
【００６１】
先ず、顔画像取得処理では、参照人物毎に、予め設定された複数の異なる顔向き方向で撮像された参照顔画像を取得する。
次に、顔領域検出処理では、参照顔画像毎に、その参照人物の顔領域を検出する。これは、人物抽出処理で用いる手法によって検出することができる。
【００６２】
次に、特徴ベクトル作成行程では、顔領域が検出された参照顔画像毎に、その参照顔領域の特徴量を表した参照特徴ベクトル（参照特徴量）を作成する。これは、以下のように行うことができる。先ず、参照顔画像の顔領域における濃淡勾配から４方向のベクトル場を求め、この各方向毎に分割した方向エッジ画像を得る。次に、４つの方向エッジ画像を顔領域で正規化した後、それぞれ８×８に低解像度化する。最後に、参照顔画像毎に、４つの方向エッジ画像について、それぞれ８×８に低解像度化した画像の濃淡値を特徴量として抽出した２５６次元の特徴ベクトル（以下、参照特徴ベクトルという。）とする。
【００６３】
この参照特徴ベクトルは、その参照顔画像が撮像された参照人物、撮像された顔向き方向、その参照人物の性別及び年齢に対応された学習データとしてコンピュータ１４に記憶される。
【００６４】
（人物属性推定処理）
人物属性推定処理は、特徴ベクトル作成処理、顔向き推定処理、性別推定処理及び年齢推定処理からなる。
【００６５】
先ず、特徴ベクトル作成処理では、同一のグループを形成する可能性がある顧客毎に、人物抽出処理で抽出したその顔領域に対応する場面画像の領域である顔画像から、その顧客の顔画像に対する対象特徴ベクトル（対象特徴量）を取得する（Ｓ４１０）。この対象特徴ベクトルは、参照人物から参照特徴ベクトルを取得した方法と同じ手法で取得される。
【００６６】
次に、顔向き推定処理では、対象特徴ベクトルが取得された顧客毎に、学習データの全ての参照特徴ベクトルと、その顧客の対象特徴ベクトルとを用いて、その顧客の顔画像が撮像された顔向き方向が含まれる可能性が高い顔向き方向の範囲を推定する（Ｓ４２０）。
【００６７】
これは、線形判別分析によって異なる顔向き方向の範囲毎にクラス化された顔向き判別空間に対象特徴ベクトルを線形写像し、この顔向き方向判別空間において対象特徴ベクトルが最も類似するクラスの顔向き方向の範囲を識別結果とする方法で推定することができる。
【００６８】
次に、性別推定処理では、顔向き方向の範囲が推定された顧客毎に、推定された顔向き方向の範囲で撮像された全ての参照顔画像から取得された参照特徴ベクトルと、その顧客の対象特徴ベクトルとを用いて、その顧客の性別を推定する（Ｓ４３０）。
【００６９】
これは、線形判別分析によって性別毎にクラス化された性別判別空間に対象特徴ベクトルを線形写像し、この性別判別空間において対象特徴ベクトルが最も類似するクラスの性別を識別結果とする方法で推定することができる。
【００７０】
次に、年齢推定処理では、性別が推定された顧客毎に、推定された顔向き方向の範囲で取得された参照特徴ベクトルの内、推定された性別の参照人物から取得された全ての参照特徴ベクトルと、その顧客の対象特徴ベクトルとを用いて、その顧客の年齢を推定する（Ｓ４４０）。
【００７１】
これは、線形判別分析によって異なる年齢毎にクラス化された年齢判別空間に対象特徴ベクトルを線形写像し、この年齢判別空間において対象特徴ベクトルが最も類似するクラスの年齢を識別結果とする方法で推定することができる。
【００７２】
（グループ属性判定処理）
次に、グループ属性判定処理について説明する。
グループ属性判定処理では、あるグループを形成する顧客の人数と、各顧客の性別及び年齢とに基づいて、そのグループ属性を推定する。
【００７３】
例えば、グループを形成する顧客の人数が２〜４人であり、グループが２０歳以上かつ４０歳未満の年齢差がある２つの顧客のサブグループに分割でき、かつ、年齢が高い方のサブグループを形成する顧客の人数が１人又は２人であるときには、そのグループ属性が親子であると推定する。
【００７４】
また、グループを形成する顧客の人数が２〜４人であり、グループが６０歳以上の年齢差がある２つの顧客のサブグループに分割でき、かつ、年齢が高い方のサブグループを形成する顧客の人数が１人又は２人であるときには、そのグループ属性が祖父及び祖母の少なくとも一方と孫であると推定する。
【００７５】
また、グループを形成する顧客の人数が２人であり、性別が男女であり、かつ、その年齢差が１０歳以内であるときには、そのグループ属性がカップル、夫婦、あるいは友達のいずれかであると推定する。
【００７６】
さらに、カップル、夫婦あるいは友達のいずれかであると推定したグループを形成する２人の顧客同士が重なり状態推定処理において互いに手を繋いでいると推定されているときには、このグループ属性が一組のカップル又は夫婦であると推定する。
【００７７】
また、グループを形成する顧客の人数が２人又は３人であり、性別が男のみ又は女のみであり、かつ、その年齢差が１０歳以内であるときには、そのグループ属性が兄弟、姉妹あるいは友達のいずれかであると推定する。
【００７８】
さらに、グループを形成する顧客の人数が３人以上あり、性別が男のみ又は女のみであり、かつ、その年齢差が５歳以内であるときには、そのグループ属性が友達であると推定する。
【００７９】
このグループ属性判定処理における各グループ属性の推定の結果は、確率で表してもよい。例えば、友人の確率８０％となる。
以上詳述した本実施形態は、下記（１）〜（６）に記載した各効果を有する。
【００８０】
（１） 本実施形態では、先ず、店舗内が撮像された場面画像から、その場面画像に撮像された顧客（人物）を抽出する人物抽出処理を行う。次に、場面画像データを用い、抽出された複数の顧客から同一のグループを形成する複数の顧客を推定するグループ推定処理を行う。次に、場面画像を用いて、同一のグループを形成すると推定された顧客毎に、その人物属性を推定する人物属性推定処理を行う。最後に、顧客毎に推定された人物属性に基づき、グループ属性を推定するグループ属性推定処理を行う。
【００８１】
このため、先ず、場面画像に撮像された複数の顧客から、同一のグループを形成する複数の顧客が推定される。そして、この複数の顧客毎の人物属性から、そのグループのグループ属性が推定される。従って、複数の顧客が撮像された場面画像から、複数の顧客によって形成されるグループのグループ属性を推定することができる。
【００８２】
（２） 又、本実施形態では、グループ推定処理として、場面画像を用いて、抽出された顧客同士の実空間における距離間隔を求め、この距離間隔に基づき、同一のグループを形成する可能性がある複数の顧客を推定する距離間隔推定処理を行う。このため、場面画像から推定可能な、顧客同士の距離間隔に基づいて、同一のグループを形成する複数の顧客を推定することができる。
【００８３】
（３） 又、本実施形態では、グループ推定処理として、場面画像を用いて、抽出された顧客同士の場面画像上での重なり状態を検出し、この重なり状態に基づき、同一のグループを形成する複数の顧客を推定する。このため、場面画像から推定可能な、顧客同士の重なり状態に基づいて、同一のグループを形成する複数の顧客を推定することができる。
【００８４】
また、距離間隔推定処理で推定された顧客に対して行うので、同一のグループに属するか否かをより高い精度で推定することができる。
（４） 又、本実施形態では、人物属性推定処理として、性別及び年齢（属性）が異なる複数の参照人物の顔画像から取得された参照特徴量（参照特徴ベクトル）と、顧客の顔画像から取得された対象特徴量（対象特徴ベクトル）とから該顧客の性別及び年齢を推定する。従って、場面画像から抽出された顧客の顔画像から、その顧客の人物属性が推定される。
【００８５】
（５） 又、本実施形態では、人物属性として、性別及び年齢を推定する。このため、グループを形成する顧客の性別及び年齢によって特徴付けられるグループ属性がより高い精度で推定できる。
【００８６】
（６） 又、本実施形態では、グループ属性として、親子、カップル、夫婦、友達、兄弟、姉妹、及び、祖父又は祖母と孫を推定することができる。
（第２実施形態）
次に、本発明を具体化した第２実施形態を図９に従って説明する。尚、本実施形態は、前記第１実施形態における重なり状態推定処理に代えて、距離変化推定処理を行うことのみが第１実施形態と異なる。従って、第１実施形態と同じ構成については、符号を同じにしてその説明を省略し、距離変化推定処理のみについて詳述する。
【００８７】
（距離変化推定処理）
距離変化推定処理について詳述する。
距離変化推定処理では、時間を隔てて撮像された場面画像を用い、同一のグループを形成する可能性がある人物同士の実空間における距離間隔を求める。そして、この距離間隔が所定値以下である状態が所定時間以上継続したときに、この人物同士が同一のグループを形成すると推定する。
【００８８】
距離変化推定処理では、図９に示すように、先ず、グループ推定処理において同一のグループを形成すると推定された複数の顧客毎に、次に取得した場面画像から人物抽出処理によって抽出した人物領域の重心と、先の場面画像から抽出した人物領域の重心との重心間距離が所定値以下であるか否か判断する。
【００８９】
そして、この重心距離が所定値以下のときに、この２つの場面画像から人物領域が抽出された顧客が同一人物であると推定する（Ｓ３２１）。
次に、先の場面画像において同一のグループを形成すると推定され、かつ、前記次の場面画像においてそれぞれ同一人物であると推定された複数の顧客について、同次の場面画像における両人物領域間の重心間距離が所定値以下であるか否かを判定する。
【００９０】
そして、次の場面画像において両人物領域の重心距離が所定値以下であったときには、この顧客同士が近い距離を保っていると判断する（Ｓ３２２）。
次に、順次取得する場面画像から抽出する人物領域から、同一のグループを形成すると一旦推定した顧客同士が、継続して重心間距離が所定値以下である状態が所定時間を超えて継続したか否かを判断する。
【００９１】
そして、顧客同士の距離間隔が所定値以下である状態が所定時間を超えて継続したときには、その顧客同士が同一のグループを形成していると最終的に推定する（Ｓ３２３）。
【００９２】
距離変化推定処理が終了すると、その推定結果に基づき、同一のグループを形成していると推定された複数の顧客について、第１実施形態と同様に、人物属性推定処理及びグループ属性推定処理を行って、その複数の顧客によって形成されるグループのグループ属性を推定する。
【００９３】
以上詳述した本実施形態は、前記第１実施形態の（１），（２），（４）〜（６）に記載した各効果に加え、下記（７）に記載した効果を有する。
（７） 本実施形態では、グループ推定処理として、時間を隔てて撮像された場面画像データを用い、抽出された顧客同士の実空間における距離間隔の変化状態を検出し、この変化状態に基づき、同一のグループを形成する複数の顧客を推定する。このため、時間を隔てて撮像された複数の場面画像から推定可能な、顧客同士の距離間隔の変化状態に基づいて、同一のグループを形成する複数の顧客を推定することができる。
【００９４】
また、距離間隔推定処理で推定された顧客に対して行うので、同一のグループに属するか否かをより高い精度で推定することができる。
（第３実施形態）
次に、本発明を具体化した第３実施形態を図１０及び図１１に従って説明する。尚、本実施形態は、前記第１実施形態における重なり状態推定処理に代えて、顔向き合い状態推定処理を行うことのみが第１実施形態と異なる。従って、第１実施形態と同じ構成については、符号を同じにしてその説明を省略し、顔向き合い状態推定処理のみについて詳述する。
【００９５】
（顔向き合い状態推定処理）
顔向き合い状態推定処理について詳述する。
顔向き合い状態推定処理では、場面画像を用い、同一のグループを形成する可能性がある顧客同士の顔向き合い状態を検出し、この顔向き合い状態に基づき、同一のグループを形成する複数の顧客を最終的に推定する。
【００９６】
詳述すると、親密度推定処理は、図１０に示すように、人物位置推定処理、顔向き方向推定処理及び顔向き合い状態判定処理からなる。
先ず、人物位置推定処理では、場面画像を用い、同一のグループを形成する可能性がある顧客毎に、その顧客に対応する人物領域の場面画像上の重心位置から、実空間に対応した所定の座標系における座標位置を求める（Ｓ３２１）。これは、予め場面画像上に設定した複数の参照位置に対し、前記座標系の座標位置を対応させておき、参照位置以外の重心位置に対応する座標位置を、複数の参照位置に対応する座標位置から求めることで行う。
【００９７】
次に、顔向き方向推定処理では、座標位置が求められた顧客毎に、その顧客の顔向き方向を線形判別分析によって推定する（Ｓ３２２）。
次に、顔向き合い状態判定処理では、顔向き方向が推定された顧客毎に、人物位置推定処理で推定した座標位置と、その顔向き方向とから、顧客同士が顔を互いに向き合わせているか否かを判定する（Ｓ３２３）。
【００９８】
そして、顧客同士が顔を向き合わせているときに、この顧客同士が同一のグループを形成していると最終的に推定する。
（顔向き方向推定処理）
次に、顔向き方向推定処理について詳述する。
【００９９】
顔向き方向推定処理では、座標位置が求められた顧客毎に、その顧客の顔領域に対応する顔画像から取得した特徴量に最も類似する特徴量を、人物属性推定処理で用いる学習データに登録されている参照人物の参照特徴量の中から抽出する。そして、この最も類似する特徴量が取得された参照人物の参照顔画像が撮像された顔向き方向が、その顧客の顔向き方向であると推定する。
【０１００】
顔向き方向推定処理は、図１１に示すように、特徴ベクトル作成処理、左右顔向き推定処理及び上下顔向き推定処理からなる。
先ず、特徴ベクトル作成処理では、座標位置が求められた顧客毎に、その顧客の顔画像から、学習データと同様にして、その対象特徴ベクトルを取得する（Ｓ３２２１）。
【０１０１】
次に、左右顔向き推定処理では、顔画像の対象特徴ベクトルが取得された顧客毎に、学習データの全ての参照特徴ベクトルと、その顧客の対象特徴ベクトルとを用いて、その顧客の顔画像が撮像された顔向き方向が含まれる左右方向の顔向き範囲を推定する（Ｓ３２２２）。
【０１０２】
これは、線形判別分析によって左右方向の異なる顔向き範囲毎にクラス化された左右顔向き判別空間に対象特徴ベクトルを線形写像し、この左右顔向き判別空間において対象特徴ベクトルが最も類似するクラスの左右顔向き範囲を識別結果とする方法で推定することができる。
【０１０３】
次に、上下顔向き推定処理では、顔向き方向が含まれる左右方向の範囲が推定された顧客毎に、その左右方向の顔向き範囲で撮像された参照顔画像の参照特徴ベクトルと、その顧客の対象特徴ベクトルとを用いて、その顧客の顔画像が撮像された上下方向の顔向き範囲を推定する（Ｓ３２２３）。
【０１０４】
これは、線形判別分析によって上下方向の異なる顔向き範囲毎にクラス化された上下顔向き判別空間に対象特徴ベクトルを線形写像し、この上下顔向き判別空間において対象特徴ベクトルが最も類似するクラスの上下顔向き範囲を識別結果とする方法で推定することができる。
【０１０５】
顔向き合い状態推定処理が終了すると、その推定結果に基づき、同一のグループを形成すると推定された複数の顧客について、第１実施形態と同様に、人物属性推定処理及びグループ属性推定処理を行って、その複数の顧客によって形成されるグループのグループ属性を推定する。
【０１０６】
以上詳述した本実施形態は、前記第１実施形態の（１），（２），（４）〜（６）に記載した各効果の他に、下記（８）に記載した効果を有する。
（８） 本実施形態では、グループ推定処理として、場面画像データを用いて、抽出された顧客同士の顔向き合い状態を検出し、この顔向き合い状態に基づき、同一のグループを形成する複数の顧客を推定する。このため、場面画像から推定可能な、顧客同士の顔向き合い状態に基づき、同一のグループを形成する複数の顧客を推定することができる。
【０１０７】
また、距離間隔推定処理で推定された顧客に対して行うので、同一のグループに属するか否かをより高い精度で推定することができる。
（他の実施形態）
次に、上記第１、第２及び第３実施形態以外の実施形態を列記する。
【０１０８】
・ 前記第１実施形態の重なり状態推定処理で、累積ヒストグラムの閾値をより大きく設定することにより、顧客同士が腕を組んでいる状態を検出する構成とする。この場合には、腕を組む可能性があるカップルをより確実に検出できる可能性がある。
【０１０９】
・ 前記第１、第２及び第３実施形態の距離間隔推定処理として、時間を隔てて撮像された複数の場面画像データを用い、同一の場面画像に撮像されていない人物同士の距離間隔を推定し、この距離間隔に基づき、同一のグループを形成する可能性がある複数の顧客を推定する構成とする。この場合には、時間を隔てて撮像された複数の場面画像から推定可能な、人物同士の距離間隔に基づいて、同一のグループを形成する複数の人物を推定することができる。
【０１１０】
・ 前記第１、第２及び第３実施形態の人物属性推定処理として、共に場面画像から取得可能な、人物のビデオカメラ１１からの距離と、人物領域の横幅とに基づいて、その顧客が大人であるか子供であるかという人物属性を推定する構成とする。そして、グループ属性推定処理において、年齢に代えて、性別に加え、大人であるか子供であるかという人物属性に基づいてグループ属性を推定する構成とする。
【０１１１】
・ 前記第１、第２及び第３実施形態のグループ推定処理として、人物抽出処理で抽出された顧客の人物領域について色ヒストグラムを求め、顧客同士でその分布がある所定の閾値より差がない場合は、その顧客同士が共に同じ衣服を着用していると推定する。すなわち、衣服の類似度が高いと推定する。そして、この同じ服を着た各顧客が、学生やクラブチームといったグループに属していると推定する構成とする。この場合には、学生やクラブチームを形成する複数の顧客をより高い精度で推定することができる。
【０１１２】
・ 前記第３実施形態の顔向き方向推定処理として、場面画像から抽出した顔部品（眼、鼻、口）の実空間上での位置関係に基づいて顔向き方向を推定する構成であってもよい。または、３Ｄ顔モデルを回転させて最もマッチした顔向き方向を推定結果とする構成であってもよい。
【０１１３】
・ 前記第１、第２及び第３実施形態の人物属性推定処理で、その顔画像から、その顧客が東洋人であるか西洋人であるかといった人種を人物属性として推定する構成とする。そして、グループ属性推定処理において、性別及び年齢に加え、人種を考慮してグループ属性を推定する構成とする。
【０１１４】
・ 前記第３実施形態の顔向き合い状態推定処理で行う人物位置推定処理で、人物位置を検出するために、場面画像を撮像するビデオカメラ１１とは別に設けられた天井カメラで撮像した場面画像を用いて、人物位置を検出する構成とする。この場合には、人物位置をより高い精度で検出することが可能となり、グループ属性の推定精度の向上を図ることができる。
【０１１５】
・ 前記第３実施形態で、ビデオカメラ１１としてステレオカメラを用いることにより、人物位置推定処理において、カメラから顧客までの距離を図ることによって、人物位置を検出する構成とする。
【０１１６】
（その他の技術的思想）
以下、前記各実施形態から把握される技術的思想を列記する。
（１） 請求項１に記載の発明において、前記グループ推定処理では、前記場面画像データを用いて、前記抽出された人物同士の実空間における距離間隔を求め、この距離間隔に基づき、同一のグループを形成する可能性がある複数の人物を選別する距離間隔推定処理と、前記場面画像データを用いて、前記選別された人物同士の場面画像上での重なり状態を検出し、この重なり状態に基づき、同一のグループを形成する複数の人物を最終的に推定する重なり状態推定処理とを行うことを特徴とするグループ属性推定方法。
【０１１７】
（２） 請求項１に記載の発明において、前記グループ推定処理では、前記場面画像データを用いて、前記抽出された人物同士の実空間における距離間隔を求め、この距離間隔に基づき、同一のグループを形成する可能性がある複数の人物を選別する距離間隔推定処理と、時間を隔てて撮像された前記場面画像データを用い、前記選別された人物同士の実空間における距離間隔の変化状態を検出し、この変化状態に基づき、同一のグループを形成する複数の人物を最終的に推定する距離変化推定処理とを行うことを特徴とするグループ属性推定方法。
【０１１８】
（３） 請求項１に記載の発明において、前記グループ推定処理では、前記場面画像データを用いて、前記抽出された人物同士の実空間における距離間隔を求め、この距離間隔に基づき、同一のグループを形成する可能性がある複数の人物を選別する距離間隔推定処理と、前記場面画像データを用いて、前記選別された人物同士の顔向き合い状態を検出し、この顔向き合い状態に基づき、同一のグループを形成する複数の人物を最終的に推定する顔向き合い状態推定処理とを行うことを特徴とするグループ属性推定方法。
【０１１９】
（４） 請求項１に記載の発明において、前記グループ推定処理では、前記場面画像データを用いて、前記抽出された人物同士が着用する衣服の類似度を求め、この服装の類似度に基づき、同一のグループを形成する複数の顧客を推定することを特徴とするグループ属性推定方法。
【０１２０】
（５） 請求項９に記載の発明において、前記場面画像を撮像する撮像手段（ビデオカメラ１１）と、所定時間経過する毎に、前記撮像手段がそのとき撮像する場面画像を取得する画像取得手段（画像処理装置１２）と、同一のグループを形成する複数の人物毎の人物属性と、そのグループのグループ属性とを対応させて出力する結果出力手段（コンピュータ１４）とを備えていることを特徴とするグループ属性推定装置。
【０１２１】
【発明の効果】
請求項１〜請求項９に記載の発明によれば、場面画像データに撮像された複数の人物から、同一のグループを形成する複数の人物が推定され、この複数の人物毎の人物属性から、そのグループのグループ属性が判定される。従って、複数の人物が撮像された場面画像から、複数の人物によって形成されるグループのグループ属性を推定することができる。
【図面の簡単な説明】
【図１】 第１実施形態のグループ属性推定処理を示すフローチャート。
【図２】 グループ属性推定装置を示す模式構成図。
【図３】 人物抽出処理を示すフローチャート。
【図４】 グループ推定処理を示すフローチャート。
【図５】 距離間隔推定処理を示すフローチャート。
【図６】 重なり状態推定処理を示すフローチャート。
【図７】 人物属性推定処理を示すフローチャート。
【図８】 （ａ）は人物領域が抽出された２値画像を示す模式図、（ｂ）は人物領域における垂直方向での画素数の累積ヒストグラム。
【図９】 第２実施形態の距離変化推定処理を示すフローチャート。
【図１０】 第３実施形態の顔向き合い状態推定処理を示すフローチャート。
【図１１】 顔向き方向推定処理を示すフローチャート。
【符号の説明】
１０…グループ属性推定装置、１１…ビデオカメラ（撮像手段）、１２…画像処理装置（画像取得手段）、１３…信号処理装置、１４…コンピュータ（人物抽出手段、グループ推定手段、人物属性推定手段、グループ属性判定手段）。

Claims (11)

1. 人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出処理と、
   前記場面画像データを用いて、前記人物抽出処理により抽出された人物同士の実空間における距離間隔を求め、この距離間隔に基づき、同一のグループを形成する複数の人物を推定するグループ推定処理と、
   前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定処理と、
   前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定処理とを行うことを特徴とするグループ属性推定方法。
2. 人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出処理と、
   前記場面画像データを用いて、前記人物抽出処理により抽出された人物同士の場面画像上での重なり状態を検出し、この重なり状態に基づき、同一のグループを形成する複数の人物を推定するグループ推定処理と、
   前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定処理と、
   前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定処理とを行うことを特徴とするグループ属性推定方法。
3. 人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出処理と、
   時間を隔てて撮像された前記場面画像データを用い、前記人物抽出処理により抽出された人物同士の実空間における距離間隔の変化状態を検出し、この変化状態に基づき、同一のグループを形成する複数の人物を推定するグループ推定処理と、
   前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定処理と、
   前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定処理とを行うことを特徴とするグループ属性推定方法。
4. 人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出処理と、
   前記場面画像データを用いて、前記人物抽出処理により抽出された人物同士の顔向き合い状態を検出し、この顔向き合い状態に基づき、同一のグループを形成する複数の人物を推定するグループ推定処理と、
   前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定処理と、
   前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定処理とを行うことを特徴とするグループ属性推定方法。
5. 前記人物属性推定処理では、
   属性が異なる複数の参照人物の顔を所定の異なる複数の顔向き方向で撮像した参照顔画像毎に取得され、かつ、その参照人物の属性が関連付けられた参照特徴量と、前記場面画像を用いて前記人物毎の顔画像から取得された対象特徴量とから該人物の属性を推定することを特徴とする請求項１〜請求項４のいずれか一項に記載のグループ属性推定方法。
6. 前記人物属性は、性別及び年齢の少なくともいずれか一方であることを特徴とする請求項１〜請求項５のいずれか一項に記載のグループ属性推定方法。
7. 前記グループ属性は、親子、カップル、夫婦、友達、兄弟、姉妹、及び、祖父又は祖母と孫のいずれかであることを特徴とする請求項１〜請求項６のいずれか一項に記載のグループ属性推定方法。
8. 人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出手段と、
   前記場面画像データを用いて、前記人物抽出処理により抽出された人物同士の実空間に おける距離間隔を求め、この距離間隔に基づき、同一のグループを形成する複数の人物を推定するグループ推定手段と、
   前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定手段と、
   前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定手段とを備えたことを特徴とするグループ属性推定装置。
9. 人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出手段と、
   前記場面画像データを用いて、前記人物抽出処理により抽出された人物同士の場面画像上での重なり状態を検出し、この重なり状態に基づき、同一のグループを形成する複数の人物を推定するグループ推定手段と、
   前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定手段と、
   前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定手段とを行うことを特徴とするグループ属性推定装置。
10. 人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出手段と、
    時間を隔てて撮像された前記場面画像データを用い、前記人物抽出処理により抽出された人物同士の実空間における距離間隔の変化状態を検出し、この変化状態に基づき、同一のグループを形成する複数の人物を推定するグループ推定手段と、
    前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定手段と、
    前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定手段とを行うことを特徴とするグループ属性推定装置。
11. 人物が通過する場所が撮像された場面画像データから、その場面画像に撮像された人物を抽出する人物抽出手段と、
    前記場面画像データを用いて、前記人物抽出処理により抽出された人物同士の顔向き合い状態を検出し、この顔向き合い状態に基づき、同一のグループを形成する複数の人物を推定するグループ推定手段と、
    前記場面画像データを用い、同一のグループを形成すると推定された人物毎にその人物属性を推定する人物属性推定手段と、
    前記人物毎に推定された人物属性に基づき、前記グループのグループ属性を判定するグループ属性判定手段とを行うことを特徴とするグループ属性推定装置。

Images