JP4732849B2 - 自動計数装置、プログラムおよび方法 - Google Patents

Description

本発明は、画像に含まれる計数対象の数を自動的に計測する自動計数装置、プログラムおよび方法に関する。

画像に含まれる被写体の顔情報から個人もしくは性別、年齢などの属性を識別し、人物ごと、あるいは属性ごとの傾向を分析する技術が知られている。例えば、特許文献１、２には、店内にいる顧客を店内各所に設置されたカメラにより撮影し、各撮影画像から抽出される顔の特徴量に基づいて顧客個人を識別してその足取りを追跡したり、顔の特徴量から顧客の性別や年齢を識別して各売り場に立ち寄る顧客の傾向を調べる方法およびシステムが示されている。
特開２０００−２００３５７号公報 特開２００４−３４８６１８号公報

顔情報に基づいて性別や個人を識別する技術は、年々進歩しているものの、あらゆる対象を１００％識別できるまでには至っていない。１００％の識別率を達成できない理由は大きく分けて２つある。１つは、識別を行なうために必要な顔情報が十分得られないケースがあることである。例えば、髪の長い人物は、特に横向きのときなどは顔から抽出できる情報が少ない。このため、髪の短い人物に比べると識別率は低くなる。一般には、髪の長い人物は男性よりも女性に多いため、女性の識別率は男性の識別率よりも低いと言われている。また、もう１つの理由は、個人の特徴が変化するケースがあることである。例えば、女性は化粧によって顔の特徴が変わるため男性よりも識別率が低い。また眼鏡をかけた人も眼鏡を交換すると顔の特徴が変わるため、眼鏡をかけない対象に比べると識別率が低い。子供も、成長とともに顔つきが変わるため、大人に比べて識別率が低い。

上記のようなケースでは、同じ識別処理を実行しても、識別しようとする対象の種類によって識別率（識別成功率）は２割から３割も異なる。統計調査では、上記特許文献１、２にも示されているように、性別や年齢による分類調査を行なうことが少なくないが、対象の種類による識別率の違いは、調査精度に大きく影響する。本発明は、この問題に鑑みて、識別率の違いから生じる統計誤差を抑制するためのしくみを提案するものである。

本発明は、画像に含まれる計数対象の数を計測する自動計数装置であって、次に説明する識別手段、計数手段および補正手段を備えた装置を提供する。識別手段は、画像から抽出された顔情報に基づいて該画像に含まれる計数対象を識別する。計数手段は、識別手段により識別された計数対象の数を計測する。補正手段は、計数手段により計測された各計数対象の数を、対象ごとの識別精度に係る情報に基づいて、対象による識別精度の違いから生じる計数誤差が低減されるように補正する。

より具体的には、例えば、前記識別精度に係る情報が計数対象ごとの識別率の情報であり、前記補正手段が、前記計数手段により計測された各計数対象の数を、その数を当該計数対象の識別率で除算して得られる数に置き換える補正を行う形態が考えられる。

あるいは、前記識別精度に係る情報が、所定期間において前記識別手段が識別に失敗した対象に含まれる各計数対象の割合を示す情報であり、前記補正手段が、前記計数手段により計測された各計数対象の数を、その数に前記識別手段が識別に失敗した対象の数を前記割合に応じて各計数対象に分配した数を加算して得られる数に置き換える補正を行う形態も考えられる。

さらには、前記識別精度に係る情報が、前記識別手段が識別に成功した対象に含まれる各計数対象の割合を示す情報であり、前記補正手段が、前記計数手段により計測された各計数対象の数を、その数に前記識別手段が識別に失敗した対象の数を前記割合に応じて各計数対象に分配した数を加算して得られる数に置き換える補正を行う形態も考えられる。

また、本発明は、画像に含まれる計数対象の数を計測するための自動計数プログラムであって、コンピュータに、画像から抽出された顔情報に基づいて該画像に含まれる計数対象を識別する識別処理と、前記識別処理により識別された計数対象の数を計測する計数処理と、前記計数処理により計測された各計数対象の数を、対象ごとの識別精度に係る情報に基づいて、対象による識別精度の違いから生じる計数誤差が低減されるように補正する補正処理とを実行させる自動計数プログラムを提供する。

また、本発明は、画像に含まれる計数対象の数を自動的に計測する自動計数方法として、画像から抽出された顔情報に基づいて該画像に含まれる計数対象を識別する識別処理と、前記識別処理により識別された計数対象の数を計測する計数処理と、前記計数処理により計測された各計数対象の数を、対象ごとの識別精度に係る情報に基づいて、対象による識別精度の違いから生じる計数誤差が低減されるように補正する補正処理とを実行する方法を提案する。

本発明によれば、顔識別処理による計数結果に、識別精度を考慮した補正が施されるため、対象ごとに識別精度が異なる場合でも対象の違いから生じる計数誤差は抑制され、より正確な計数結果を得ることができる。

［第１実施形態］
図１は、第１実施形態における自動計数装置１の概略構成を示す図である。図に示すように、本実施形態の自動計数装置１は、画像入力制御部１１、抽出部１２、識別部１３、計数部１４、設定部１５および補正部１６を備える。詳細には本実施形態の自動計数装置１は、汎用のコンピュータに、上記各処理部の機能を実現するための要素プログラムを組み込んだものである。本実施形態ではコンピュータは複数のプロセッサを備えており、各要素プログラムの処理は複数のプロセッサにより並列に実行される。

画像入力制御部１１は、画像撮影を行なうカメラと自動計数装置１とを直接接続するためのインタフェース、自動計数装置１をＤＶＤドライブなどのメディア読み取り装置と接続するためのインタフェース、および、自動計数装置１をローカルエリアネットワークやインターネットに接続するためのインタフェースを提供する。自動計数装置１はカメラから直接、あるいはネットワークを介して画像を取り込みながら、リアルタイムに対象をカウントすることもできるし、メディアなどに保存されている画像を読み込んで、その画像に含まれる対象をカウントすることもできる。

抽出部１２は、画像入力制御部１１を介して入力された画像から人物の顔を検出する。画像から顔を検出する技術としては公知のいずれの技術を用いてもよいが、例えば所定の大きさの肌色領域を顔として検出する。続いて抽出部１２は、検出した顔ごとに、顔の特徴を表す特徴を抽出する。抽出する特徴の種類および数は、計数対象の種類に応じて予め設定しておく。以下の説明では、男性の数、女性の数をそれぞれ計数する場合を例示して説明する。この場合、抽出部１２は、検出した各顔から、男性の特徴、女性の特徴を抽出し、抽出した特徴を示す１または複数のデータ（以下特徴量）を所定の管理データとともに、顔情報として、自動計数装置１内のメモリに記憶する。

識別部１３は、メモリ内の顔情報に含まれる特徴量に基づいて、画像に含まれている人物の属性あるいは状態を識別する。上記のとおり、ここでは、識別部１３が、男性および女性を、それぞれ識別する場合について例示する。本実施形態では、識別部１３は、顔情報に含まれる複数の特徴量を、男性の特徴を示す複数の特徴量と照合して、各照合の結果をスコアに換算して集計し、集計スコアを所定の閾値と比較することにより、顔が検出された人物の中から男性を識別する。同様に、女性の特徴を示す特徴量との照合も行なって、女性を識別する。なお、性別を識別する際には、男性のみを識別し、男性として識別されなかった対象を無条件に女性と判断する方法も考えられるが、本実施形態では、識別部１３は、男性、女性それぞれについて識別処理を実行する。そして、男性を識別した場合には男性を示すコード、女性を識別した場合には女性を示すコードを出力する。また、顔は検出されたものの、その人物が男性か女性か識別できなかった場合には、識別部１３は識別失敗を示すコードを出力する（図示せず）。

計数部１４は、男性を計数するためのカウンタ１４１、女性を計数するためのカウンタ１４２を備え、識別部１３が男性を示すコードを出力したときはカウンタ１４１を、女性を示すコードを出力したときはカウンタ１４２を、それぞれカウントアップする。本実施形態では、計数部１４は、識別部１３が識別失敗を示すコードを出力したときには、何もしない。なお、本実施形態では計数する対象は男性、女性の２種類であるため計数部１４により制御されるカウンタは２つであるが、計数部１４のカウンタの数は計数する対象の種類に応じて増減する。本実施形態では、カウンタはメモリ上に確保された８ビットの領域であり、確保するメモリ領域の大きさを変えることによって、カウンタの数を増減することができる。

設定部１５は、識別部１３の識別精度を示す情報を、識別する対象ごとに記憶している。本実施形態では、識別精度を示す情報として、識別率を記憶している。識別率は、０以上１以下の数値で表され、値が大きいほど識別が正確であることを意味する。

識別率は、装置の性能あるいは装置が採用した識別アルゴリズムに少なからず依存する。このため、装置出荷時の初期状態では、設定部１５は、装置メーカが登録した識別率を記憶している。一方、識別率は、計測を行なう環境にも依存する。例えば長髪の人物ばかりが集まる場所での計測では、他の場所での計測よりも識別率は悪くなる。このため、設定部１５は、オペレータからの要求に応じて自動計数装置１に付属するモニタ（図示せず）に所定の登録画面を表示し、その登録画面において計数対象ごとに識別率の入力を受け付ける。オペレータは、この機能を利用して、自らの経験に基づき登録されている識別率を変更することができる。

補正部１６は、計数部１４のカウンタ１４１およびカウンタ１４２の値を読み取り、読み取った値を、設定部１５が記憶している男性識別率および女性識別率に基づいて補正し、補正後の数値を、自動計数装置１による計数結果として出力する。本実施形態では、補正部１６は、次式に基づいて補正を行う。

男性の数 ＝ カウンタ１４１の値 ／ 男性識別率
女性の数 ＝ カウンタ１４２の値 ／ 女性識別率
これにより、例えば、識別率として男性０．９８、女性０．８２という値が記憶されており、カウンタ１４１の値が４９、カウンタ１４２の値が４１だった場合には、自動計数装置は、男性５０人、女性５０人という計数結果を出力する。

なお、補正部１６は、計数部１４による計数処理がすべて終了した後に上記計算を行なって最終的な計数結果のみを出力することもできるし、計数処理が行なわれている最中に計数結果を出力することもできる。例えば男性、女性の数の単位時間（例えば５分）ごとの数を調べる場合には、補正部１６は計数部１４のカウンタの値を５分おきに読み込み、各カウンタの値を０にリセットしてから上記補正演算を行って求めた値を出力する。また、男性、女性の数の経時的な変化を調べる場合には、補正部１６は計数部１４のカウンタの値を５分おきに読み込み、各カウンタの値はリセットせずに、上記補正演算を行って求めた値を出力する。

以上に説明したように、この自動計数装置１は、装置の性能や識別アルゴリズム、あるいは計測を行なう環境によって、計数対象ごとに識別率が異なる場合でも、実際に得られた計数結果を識別率に基づいて補正するので、概ね正しい計数結果を得ることができる。

［第２実施形態］
図２は、第２実施形態における自動計数装置２の概略構成を示す図である。図に示すように、本実施形態の自動計数装置２は、画像入力制御部２１、抽出部２２、識別部２３、計数部２４、設定部２５および補正部２６を備える。

画像入力制御部２１の機能は、第１実施形態の装置の画像入力制御部１１の機能とほぼ同じであるが、処理中の画像を設定部２５に供給する点が異なる。また、抽出部２２の機能も、第１実施形態の装置の抽出部１２の機能とほぼ同じであるが、抽出した顔の輪郭を示す情報を設定部２５に供給する点が異なる。識別部２３の機能も、第１実施形態の装置の識別部１３の機能とほぼ同じであるが、識別結果を示す各コードを、計数部２４のみならず設定部２５にも供給する点が異なる。

計数部２４は、男性を計数するためのカウンタ２４１、女性を計数するためのカウンタ２４２および識別に失敗した回数を計数するためのカウンタ２４３を備え、識別部２３が男性を示すコードを出力したときはカウンタ２４１を、女性を示すコードを出力したときはカウンタ２４２を、識別失敗を示すコードを出力したときにはカウンタ２４３を、それぞれカウントアップする。カウンタの数を計数する対象の種類に応じて増減できる点は、実施形態１の自動計数装置１と同じである。

設定部２５は、オペレータから所定の要求があった場合に、自動計数装置２による計測が開始されてからの所定期間、画像入力制御部２１、抽出部２２および識別部２３からの情報を収集し、蓄積記憶する。そして、オペレータにより設定画面が呼び出された場合に、図示されないモニタ画面に、画像入力制御部２１から供給された画像を時系列に出力する。この際、抽出部２２から供給された情報を利用して、その画像上に抽出された顔の輪郭を示す線を重ねて表示する。さらに、識別部２３から供給されたコードの情報に基づいて、各顔の付近に識別結果を示すマークを表示する。識別に失敗した顔の付近には、特に目立つマークを表示して、オペレータに識別失敗顔を確認させる。

オペレータは、画像を視認することにより自動計数装置２が識別に失敗した人物が男性か女性かを判断し、識別に失敗した人物の人数の男女比を求め、自動計数装置２に接続されている図示されない入力機器を使って、その男女比の値を自動計数装置２に入力する。男女比は、例えば視認により確認した男性、女性の数をそのまま入力する。設定部２５は、このオペレータによる入力を受け付けて、入力された情報を男性、女性それぞれの割合を示す値に置き換える。この処理により、自動計測装置２の設定部２６には、期間が限られているとはいえ実際に観測された処理状況に基づいて求められた、識別失敗顔に含まれる男性、女性それぞれの割合（識別失敗顔の男女比）が記憶されることとなる。

補正部２６は、設定部２５による情報収集とオペレータによる設定操作が完了するまでは動作を開始することはできないが、オペレータによる設定操作が完了した後は、任意のタイミングで計数部２４のカウンタ２４１、カウンタ２４２およびカウンタ２４３の値を読み出すことができる。補正部２６は、計数部２４による計数処理がすべて終了した後に計算を行なって最終的な計数結果のみを出力することもできるし、計数処理が行なわれている最中に計数結果を出力することもできる。本実施形態では、補正部２６が行なう演算は、次式により示される。

男性の数 ＝ カウンタ２４１の値 ＋ カウンタ２４３の値 × 男性比率
女性の数 ＝ カウンタ２４２の値 ＋ カウンタ２４３の値 × 女性比率
これにより、例えば、設定部２５から男性比率０．２５、女性比率０．７５という値が供給され、カウンタ２４１の値が４１、カウンタ２４２の値が３９、カウンタ２４３の値が２０であった場合、自動計数装置は、男性４６人、女性５４人という計数結果を出力する。

この自動計数装置２によれば、オペレータは所定の期間、自動計数装置２の識別精度を自らの目で確認し、確認により得た知識に基づいて、補正に必要な情報を設定入力することができる。自動計数装置２は、その入力された情報に基づいて計数値を補正するため、計測環境にあった補正を行なうことができ、概ね正確な計数結果を得ることができる。また、オペレータにより設定された値は、同じ環境で同じ対象を計数する場合にはその設定をそのまま利用できるため、オペレータに大きな負担がかかることもない。

［実施形態３］
図３は、第３実施形態における自動計数装置３の概略構成を示す図である。図に示すように、本実施形態の自動計数装置３は、画像入力制御部３１、抽出部３２、識別部３３、計数部３４および設定部３５を備える。

画像入力制御部３１、抽出部３２、識別部３３の機能は、第１実施形態の装置の画像入力制御部１１、抽出部１２、識別部１３の機能と同じであるため説明を省略する。また計数部３４の機能は、第２実施形態の装置の計数部２４と同じであるため説明を省略する。

本実施形態の自動計数装置３は、他の実施形態の装置が備えるような設定部を備えていない。自動計数装置３は、補正処理に用いる数値を予め記憶しておくのではなく、識別に成功した対象の計数結果を利用して、識別に失敗した対象をいずれかの計数対象に振り分ける処理を行なう。

補正部３５は、計数部３４のカウンタ３４１、カウンタ３４２およびカウンタ３４３の値を読み取り、カウンタ３４１の値とカウンタ３４２の値の比率に基づいて、カウンタ３４３の値を男性または女性に振り分ける。本実施形態では、補正部３５は、次式に基づいて計数値を補正する。

男性の数 ＝ カウンタ３４１の値 ＋ カウンタ３４３の値 × カウンタ３４１の値／（カウンタ３４１の値＋カウンタ３４２の値）
女性の数 ＝ カウンタ３４２の値 ＋ カウンタ３４３の値 × カウンタ３４２の値 ／（カウンタ３４１の値＋カウンタ３４２の値）
これにより、例えば、カウンタ３４１の値が６０、カウンタ３４２の値が２０、カウンタ２４３の値が２０であった場合、自動計数装置は、男性７５人、女性２５人という計数結果を出力する。

自動計数装置３は、計数対象の識別に失敗することがあっても、識別に成功した対象の計数結果を利用して補正を行うため、実際の状況に即した計数結果を得ることができ、また、設定のための操作も不要であり、オペレータの負担も少ない。

第１実施形態における自動計数装置の構成を示す図 第２実施形態における自動計数装置の構成を示す図 第３実施形態における自動計数装置の構成を示す図

符号の説明

１，２，３ 自動計数装置
１４，２４，３４ 計数部
１４１，１４２，２４１，２４２，２４３，３４１，３４２，３４３ カウンタ

Claims (6)

1. 画像に含まれる計数対象の数を計測する自動計数装置であって、
   画像から抽出された顔情報に基づいて該画像に含まれる計数対象を識別する識別手段と、
   前記識別手段により識別された計数対象の数を計測する計数手段と、
   前記計数手段により計測された各計数対象の数を、対象ごとの識別精度に係る情報に基づいて、対象による識別精度の違いから生じる計数誤差が低減されるように補正する補正手段とを備え、
   前記識別精度に係る情報は、所定期間において前記識別手段が識別に失敗した対象に含まれる各計数対象の割合を示す情報であり、
   前記補正手段は、前記計数手段により計測された各計数対象の数を、該数に前記識別手段が識別に失敗した対象の数を前記割合に応じて各計数対象に分配した数を加算して得られる数に置き換える補正を行うことを特徴とする自動計数装置。
2. 画像に含まれる計数対象の数を計測する自動計数装置であって、
   画像から抽出された顔情報に基づいて該画像に含まれる計数対象を識別する識別手段と、
   前記識別手段により識別された計数対象の数を計測する計数手段と、
   前記計数手段により計測された各計数対象の数を、対象ごとの識別精度に係る情報に基づいて、対象による識別精度の違いから生じる計数誤差が低減されるように補正する補正手段とを備え、
   前記識別精度に係る情報は、前記識別手段が識別に成功した対象に含まれる各計数対象の割合を示す情報であり、
   前記補正手段は、前記計数手段により計測された各計数対象の数を、該数に前記識別手段が識別に失敗した対象の数を前記割合に応じて各計数対象に分配した数を加算して得られる数に置き換える補正を行うことを特徴とする自動計数装置。
3. 画像に含まれる計数対象の数を計測するための自動計数プログラムであって、コンピュータに、
   画像から抽出された顔情報に基づいて該画像に含まれる計数対象を識別する識別処理と、
   前記識別処理により識別された計数対象の数を計測する計数処理と、
   前記計数処理により計測された各計数対象の数を、対象ごとの識別精度に係る情報に基づいて、対象による識別精度の違いから生じる計数誤差が低減されるように補正する補正処理とを実行させ、
   前記識別精度に係る情報は、所定期間において前記識別処理において識別に失敗した対象に含まれる各計数対象の割合を示す情報であり、
   前記補正処理は、前記計数処理により計測された各計数対象の数を、該数に前記識別処理において識別に失敗した対象の数を前記割合に応じて各計数対象に分配した数を加算して得られる数に置き換える処理であることを特徴とする自動計数プログラム。
4. 画像に含まれる計数対象の数を計測するための自動計数プログラムであって、コンピュータに、
   画像から抽出された顔情報に基づいて該画像に含まれる計数対象を識別する識別処理と、
   前記識別処理により識別された計数対象の数を計測する計数処理と、
   前記計数処理により計測された各計数対象の数を、対象ごとの識別精度に係る情報に基づいて、対象による識別精度の違いから生じる計数誤差が低減されるように補正する補正処理とを実行させ、
   前記識別精度に係る情報は、前記識別処理において識別に成功した対象に含まれる各計数対象の割合を示す情報であり、
   前記補正処理は、前記計数処理により計測された各計数対象の数を、該数に前記識別処理において識別に失敗した対象の数を前記割合に応じて各計数対象に分配した数を加算して得られる数に置き換える処理であることを特徴とする自動計数プログラム。
5. 画像から抽出された顔情報に基づいて該画像に含まれる計数対象を識別する識別処理と、
   前記識別処理により識別された計数対象の数を計測する計数処理と、
   前記計数処理により計測された各計数対象の数を、対象ごとの識別精度に係る情報に基づいて、対象による識別精度の違いから生じる計数誤差が低減されるように補正する補正処理とを自動計数装置に実行させることにより、画像に含まれる計数対象の数を自動的に計測する自動計数方法であって、
   前記識別精度に係る情報は、所定期間において前記識別処理において識別に失敗した対象に含まれる各計数対象の割合を示す情報であり、
   前記補正処理は、前記計数処理により計測された各計数対象の数を、該数に前記識別処理において識別に失敗した対象の数を前記割合に応じて各計数対象に分配した数を加算して得られる数に置き換える処理であることを特徴とする自動計数方法。
6. 画像から抽出された顔情報に基づいて該画像に含まれる計数対象を識別する識別処理と、
   前記識別処理により識別された計数対象の数を計測する計数処理と、
   前記計数処理により計測された各計数対象の数を、対象ごとの識別精度に係る情報に基づいて、対象による識別精度の違いから生じる計数誤差が低減されるように補正する補正処理とを自動計数装置に実行させることにより、画像に含まれる計数対象の数を自動的に計測する自動計数方法であって、
   前記識別精度に係る情報は、前記識別処理において識別に成功した対象に含まれる各計数対象の割合を示す情報であり、
   前記補正処理は、前記計数処理により計測された各計数対象の数を、該数に前記識別処理において識別に失敗した対象の数を前記割合に応じて各計数対象に分配した数を加算して得られる数に置き換える処理であることを特徴とする自動計数方法。

Images