JP6911995B2 - 特徴抽出方法、照合システム、およびプログラム - Google Patents

Description

本開示は、画像に含まれる前景領域から特徴を抽出する技術に関する。

監視カメラ等により得られる画像をコンピュータにより処理することで、不審物の検出や、人物の識別等を行う技術が、盛んに開発されている。このような技術においては、物体または人物の特徴を抽出するのに先立って、背景差分法等により画像中の前景に相当する領域（以下、「前景領域」）を抽出する処理が含まれるのが一般的である。

前景領域を抽出する処理の正確さは、照明の状態等、被写体が撮影される環境等により左右されやすい。そこで、正確に前景領域を抽出するための技術が種々提案されている。例えば、特許文献１から４が、前景領域をより正確に抽出する方法を記載している文献である。

特許文献１に記載の人物検索システムは、人物を抽出するための背景差分を行った際に発生し得る、人物の領域の欠損を補うために、人物と背景を分割するためのクラスタリングを行う。

特許文献２に記載の画像処理装置は、対象物の影の領域を、前景領域と思われる領域から除去することで、高精度に前景領域を抽出する。

特許文献３に記載の画像処理装置は、背景差分画像が破綻しているか否かを判定し、破綻の種別を特定し、破綻の種別に応じて基準背景画像を更新する。

特許文献４に記載の画像処理装置は、画像の各画素に対する視点からの距離情報を利用することで、被写体領域の抽出をより正確に実行する。

特許第５９５９０９３号公報 特開２００８−１２９８６４号公報 特開２０１１−２１１６２８号公報 特許第５９１４０４６号公報

特許文献１から４に記載の技術を用いたとしても、前景領域が正しく抽出されない場合は生じ得る。

また、前景領域の抽出および特徴の抽出の技術を、画像に写る対象の認識等を行う監視システムに実際に適用する場合には、正確性だけでなく、迅速性も要求される。そのため、前景領域を抽出する処理にかかる計算量および時間は、なるべく少ない方が望ましい。そのような要請に基づき監視システムにおいて計算量が少ない前景領域の抽出方法が適用された場合は、前景領域が常には正しく抽出されない可能性がある。

したがって、前景領域が正しく抽出されなかった場合に特徴が不正確に導出されることを抑制するための方法があると良い。

本発明は、前景領域が正しく抽出されなかった場合でも、特徴が不正確に導出されることを抑制することができる特徴抽出装置を提供することを目的の１つとする。

本発明の一実施態様に係る特徴抽出装置は、画像から認識対象を含む部分領域として抽出された第１の領域内の、前記画像の前景領域として抽出された領域である第２の領域に対し、前記認識対象らしさを示す信頼度を決定する信頼度決定手段と、前記信頼度に基づき、前記第１の領域から抽出される特徴である第１の特徴と、前記第２の領域から抽出される特徴である第２の特徴とを用いて、前記認識対象の特徴を決定する特徴決定手段と、決定された前記認識対象の特徴を示す情報を出力する出力手段と、を備える。

本発明の一実施態様に係る特徴抽出方法は、画像から認識対象を含む部分領域として抽出された第１の領域内の、前記画像の前景領域として抽出された領域である第２の領域に対し、前記認識対象らしさを示す信頼度を決定し、前記信頼度に基づき、前記第１の領域から抽出される特徴である第１の特徴と、前記第２の領域から抽出される特徴である第２の特徴とを用いて、前記認識対象の特徴を決定し、決定された前記認識対象の特徴を示す情報を出力する。

本発明の一実施態様に係るプログラムは、画像から認識対象を含む部分領域として抽出された第１の領域内の、前記画像の前景領域として抽出された領域である第２の領域に対し、前記認識対象らしさを示す信頼度を決定する信頼度決定処理と、前記信頼度に基づき、前記第１の領域から抽出される特徴である第１の特徴と、前記第２の領域から抽出される特徴である第２の特徴とを用いて、前記認識対象の特徴を決定する特徴決定処理と、決定された前記認識対象の特徴を示す情報を出力する出力処理と、をコンピュータに実行させる。上記プログラムは、コンピュータ読み取り可能な、非一時的な記憶媒体に記憶され得る。

本発明によれば、前景領域が正しく抽出されなかった場合でも、特徴が不正確に導出されることを抑制することができる。

本発明の第１の実施形態に係る特徴抽出装置の構成を示すブロック図である。 第１領域の基となる部分領域の例を示す図である。 第１領域の例を示す図である。 信頼度の算出方法の一例を説明するための図である。 第１の実施形態に係る特徴抽出装置による処理の流れを示すフローチャートである。 第１の実施形態に係る特徴抽出装置による効果を説明するための第１の図である。 第１の実施形態に係る特徴抽出装置による効果を説明するための第２の図である。 モデルシルエットの例を示す図である。 本発明の第２の実施形態に係る照合システムの構成を示すブロック図である。 第２の実施形態に係る照合部による処理の流れを示すフローチャートである。 本発明の一実施形態に係る特徴抽出装置の構成を示すブロック図である。 本発明の一実施形態に係る特徴抽出装置による処理の流れを示すフローチャートである。 本発明の各実施形態の各部を構成するハードウェアの例を示すブロック図である。

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。

＜＜第１の実施形態＞＞
まず、本発明の第１の実施形態について説明する。

＜構成＞
図１は、第１の実施形態に係る特徴抽出装置１１の構成を示すブロック図である。

特徴抽出装置１１は、画像取得部１１０と、第１領域設定部１１１と、前景領域抽出部１１２と、信頼度決定部１１３と、第１抽出部１１４と、第２抽出部１１５と、特徴決定部１１６と、出力部１１７と、を備える。

以下、特徴抽出装置１１内の構成要素のそれぞれの機能について説明する。後述するが、特徴抽出装置１１内の各構成要素は、例えば、プログラムに基づいて命令を実行する１つまたは複数のプロセッサとメモリとを含むコンピュータにより実現され得る。

特徴抽出装置１１内の各構成要素は、データを生成または取得した場合、そのデータを他の構成要素に使用可能な状態にし得る。例えば、各構成要素は、生成または取得したデータを、そのデータを使用する他の構成要素に送出し得る。あるいは、各構成要素は、生成または取得したデータを、特徴抽出装置１１内の記憶領域（メモリ等。不図示）に記録してもよい。特徴抽出装置１１の各構成要素は、それぞれの処理を実行する際、使用するデータを、そのデータを生成または取得した構成要素から直接受け取ってもよいし、上記記憶領域から読み出してもよい。

図１において示される、構成要素どうしをつなぐ線は、データの流れに対する理解を容易にするための例示的な線である。各構成要素が図１に示される線と同様の信号線により接続されることは必ずしも要求されない。

＝＝＝画像取得部１１０＝＝＝
画像取得部１１０は、特徴抽出装置１１による処理に用いられる画像を取得する。画像取得部１１０は、例えば、カメラ等の撮影装置により撮影された画像を、その撮影装置またはその画像を記憶する記憶媒体等から取得する。画像取得部１１０が取得する画像は、典型的には、同じ場所を、ある間隔をおいて撮影することで得られる複数の画像である。画像取得部１１０は、動画データを取得してもよい。そして、画像取得部１１０は、動画データを構成する複数のフレームを、特徴抽出装置１１による処理に用いられる画像として取得してもよい。

＝＝＝第１領域設定部１１１＝＝＝
第１領域設定部１１１は、画像取得部１１０が取得した画像の少なくとも１つ（以下、「対象画像」とも称す）から、「第１領域」を設定する。本開示において画像の「第１領域」とは、その画像における、その画像に写る認識対象を含むように設定される領域である。

以下の説明では、認識対象として人物を想定する。ただし、認識対象は、人物以外の動体（例えば、人以外の生物、車両、船舶、飛翔体等）でもよい。認識対象は、動体の一部（上半身、顔等）でもよい。

第１領域設定部１１１は、対象画像に写る人物を含む部分領域を特定し、その特定された部分領域を第１領域として設定すればよい。人物を含む部分領域を特定する方法は、人検出の手法として知られる既存の方法でよい。

具体的には、例えば、第１領域設定部１１１は、ある範囲の画像から得られる特徴を用いてその画像に人物が含まれるか否かを識別する識別器を用いて、対象画像において人物が含まれる部分領域を探索することにより、当該部分領域を特定してもよい。上記識別器による識別の方法の具体例としては、輝度勾配方向ヒストグラムと分類器とを用いる方法等が挙げられる。

図２および図３は、人物を含む部分領域として特定された部分領域の例を示す図である。特定される部分領域の範囲は、図２または図３において破線で示される範囲のように、人物を囲う矩形の範囲であり得る。図３で示される部分領域は、四辺が人物に接するような矩形である。四辺が人物に接するような矩形を特定するためには、第１領域設定部１１１は、例えば、人物の領域を特定し、特定された領域の上端、下端、左端および右端を求めればよい。

特定される部分領域の大きさおよび形状は画一的でなくてもよい。例えば、第１領域設定部１１１は、人物を含む部分領域の探索時において、探索に用いる部分領域の大きさや形状を、画面内の位置に応じて変化させてもよい。

また、特定される部分領域の形は矩形に限られない。特定される部分領域の形は、長方形以外の四角形（台形やひし形等）、四角形以外の多角形、または円、長円もしくはその他の閉曲線でもよい。

また、特定される部分領域と第１領域とは同じでなくてもよい。第１領域設定部１１１は、特定された部分領域を変形した領域を第１領域として設定してもよい。例えば、第１領域設定部１１１は、特定された部分領域から人物を含まない一部分を除いた領域を、第１領域として設定してもよい。

第１領域設定部１１１は、人物の一部を検出することにより、対象画像に写る人物を含む部分領域を特定してもよい。例えば、第１領域設定部１１１は、顔や手等の部位または帽子や靴等の装飾品等、人物の一部にあたる部分を検出し、その部分が検出された位置に基づき、人物を含む部分領域を推定してもよい。

なお、認識対象が人物でない場合も、第１領域設定部１１１は、その認識対象の種類に応じた検出方法により、認識対象を含む領域を特定すればよい。

＝＝＝前景領域抽出部１１２＝＝＝
前景領域抽出部１１２は、第１領域設定部１１１が第１領域を設定した（または設定する）対象画像から、前景領域を抽出する。前景領域は、前景であると推定される領域である。別の表現では、前景領域は、背景画像には存在しない認識対象の領域と想定される領域である。

前景領域抽出部１１２は、例えば、対象画像と、その対象画像の撮影よりも前の撮影により取得された、認識対象を含まない画像（いわば、背景画像）とを用いて、背景差分を行うことで、前景領域を抽出する。背景差分（ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ）の手法は既存の手法でよい。背景差分の手法の例としては、混合ガウス分布を用いて構築された背景モデルに基づく背景差分法が挙げられる。

なお、本実施形態では、前景領域抽出部１１２が抽出する前景領域のうち、第１領域内の前景領域が使用される。したがって、前景領域抽出部１１２は、第１領域の範囲から前景領域を抽出するよう構成されていてもよい。以下の説明において、「前景領域」という語は、特に記載のない限り、第１領域内の前景領域を指す。

＝＝＝信頼度決定部１１３＝＝＝
信頼度決定部１１３は、第１領域設定部１１１によって抽出された第１領域と、前景領域抽出部１１２により抽出された前景領域とに基づき、前景領域の信頼度を決定する。

前景領域の信頼度は、前景領域から抽出される特徴が認識対象の特徴であると期待される程度を示す指標である。つまり、信頼度が高いほど、前景領域から特徴を抽出した場合に認識対象の特徴が正確に得られることが期待される。信頼度決定部１１３は、抽出された前景領域が認識対象の真の領域に類似するほど信頼度が高くなるような決定方法により、信頼度を決定する。信頼度は、いわば、前景領域の、認識対象らしさ、を表す。信頼度は、あるいは、前景領域の、認識対象が占める領域らしさを表す、ともいえる。

信頼度は、例えば数値で表される。以下の説明では、信頼度を示す値が大きいほど信頼性が高いと解するものとするが、信頼度を示す値が小さいほど信頼性が高いという定義がされてもよい。

信頼度決定部１１３により信頼度を決定する方法の例を示す。第１領域設定部１１１により設定された第１領域の面積を「第１面積」とする。前景領域抽出部１１２により算出された前景領域の面積を「前景面積」とする。信頼度決定部１１３は、第１面積に対する前景面積の割合（以下、「前景割合」と呼ぶ）に基づいて、信頼度を決定してもよい。

例えば、第１領域が図３で示される矩形の領域である場合、歩行している人物が占める面積の、第１領域の面積に対する割合は、０．７程度であることが期待される。したがって、例えば、信頼度決定部１１３は、前景割合が０．７程度である場合に信頼度が最も高く決定されるような決定方法により、前景割合に応じて信頼度を決定してもよい。例えば、信頼度決定部１１３は、図４に示されるような、前景割合が０．７付近である場合に信頼度を示す値が最大値となるように定義された決定方法で、信頼度を決定してもよい。

なお、前景割合が１であることは、第１領域内が全て前景領域として抽出されたことを意味する。認識対象が第１領域の形状に完全に一致することは考えにくいため、前景割合が１に近い場合（例えば、第１の値αよりも大きい場合）は、信頼度を示す値は最大値ではない値に決定されると良い。より詳細には、前景割合が１に近い場合は、前景割合が第１の値αよりも大きいほど信頼度が低く決定されるように、信頼度の決定方法が設計されてもよい。

また、前景割合が０に近い場合（例えば、第２の値β（≦α）よりも小さい場合）、第１領域内において前景領域がほとんど抽出されていないため、信頼度を示す値は最大値ではない値に決定されると良い。より詳細には、前景割合が０に近い場合は、前景割合が第２の値βよりも小さいほど信頼度が低く決定されるように、信頼度の決定方法が設計されてもよい。

信頼度決定部１１３は、前景割合の範囲に応じて用意される値を、信頼度を示す値として決定してもよい。例えば、信頼度決定部１１３は、前景割合ｘが０．５＜ｘ＜０．９を満たす場合は信頼度を示す値を「１」に決定し、そうでない場合は信頼度を示す値を「０」に決定してもよい。

前景割合を変数とする関数によって信頼度を示す値を決定してもよい。関数の例として、ｆ（ｘ）＝４ｘ^２（１−ｘ^２）が挙げられる。ただしｘは前景割合である。この関数は、前景割合が１／√２である場合に最大値１をとる。

以上に説明された信頼度の決定方法および数値は例である。第１領域の設定の仕方によって、前景割合と信頼度との関係は異なり得る。例えば、図２において破線で例示される第１領域に基づく前景割合と、図３において破線で例示される第１領域に基づく前景割合と、では、信頼度が最も高い前景割合の値は、前者の方が小さくなるはずである。

信頼度の決定方法には、他にも様々な方法が考えられる。信頼度の決定方法の他の例は、後述の変形例において詳述する。

＝＝＝第１抽出部１１４＝＝＝
第１抽出部１１４は、対象画像の第１領域から、特徴を抽出する。特徴を抽出する方法は周知の方法でよい。抽出される特徴の例としては、色特徴、周波数特徴等が挙げられる。特徴は、例えば、ベクトルの形式で表現される。特徴を表すデータの形式は、識別のために使用可能な形式であればよい。以下、第１抽出部１１４により抽出される特徴を、「第１領域特徴」と表記する。第１抽出部１１４は、第１領域特徴を、第１領域の全ての画素の情報を用いて抽出する。

＝＝＝第２抽出部１１５＝＝＝
第２抽出部１１５は、対象画像の前景領域から、特徴を抽出する。抽出される特徴は、第１領域特徴と同じ種類の特徴である。以下、第２抽出部１１５により抽出される特徴を、「前景領域特徴」と表記する。

第２抽出部１１５は、第１抽出部１１４による抽出のアルゴリズムと同種のアルゴリズムにより、前景領域特徴を抽出してもよい。なお、前景領域特徴の成分の数と第１領域特徴の成分の数とは同じとなるように、第１抽出部１１４および第２抽出部１１５は構成される。

＝＝＝特徴決定部１１６＝＝＝
特徴決定部１１６は、信頼度決定部１１３より決定された信頼度に基づき、第１抽出部１１４により抽出された第１領域特徴と、第２抽出部１１５により抽出された前景領域特徴との、少なくとも１つを用いて、認識対象の特徴を決定する。

認識対象の特徴は、第１領域特徴および前景領域特徴と同様の形式で表現される情報である。認識対象の特徴は、例えば、認識対象の識別（すなわち、個人の特定等）に用いられる。

認識対象の特徴の決定方法の例を説明する。特徴決定部１１６は、例えば、前景領域特徴と第１領域特徴とに対して、信頼度に基づく重みづけを伴う加算を行い、その加算の結果を認識対象の特徴として決定する。すなわち、特徴決定部１１６は、次の式に基づいて認識対象の特徴Ｆを導出してもよい。
Ｆ＝ｃ×ｆ_２＋（１−ｃ）×ｆ_１
ただし、ｆ_１は第１領域特徴、ｆ_２は前景領域特徴、ｃは信頼度を示すスカラー値である。

ただし、上記の式において、ｆ_１、ｆ_２、またはｃの代わりに、ｆ_１、ｆ_２、またはｃを補正した値が用いられてもよい。例えば、第１領域特徴を示す値と前景領域特徴を示す値のスケール（取り得る範囲の規模）が異なる場合は、ｆ_１とｆ_２とのスケールが互いに一致するようにｆ_１またはｆ_２が補正されてもよい。例えば、特徴が色の度数分布を表すヒストグラムである場合、特徴が抽出される対象の領域が大きいほど、値のスケールは大きくなる。したがって、特徴決定部１１６は、例えば、ｆ_２を第１領域特徴の面積に対する前景領域特徴値の面積の比で割るという補正を行い、補正後の値ｆ_２’をｆ_２の代わりに用いてもよい。上記のような補正の他、ｆ_１、ｆ_２、およびｃについて、本発明の思想を逸脱しない限り何らかの補正や前処理が行われてもよい。

上記の式によれば、信頼度を示す値が大きいほど、決定される認識対象の特徴に対する第１領域特徴の寄与は小さくなり、前景領域特徴の寄与が大きくなる。逆に、信頼度を示す値が小さいほど、決定される認識対象の特徴に対する第１領域特徴の寄与は大きくなり、前景領域特徴の寄与が小さくなる。つまり、決定される認識対象の特徴に対する前景領域特徴の寄与の大きさが、信頼度に応じて変化する。信頼度は、決定される認識対象の特徴に対する前景領域特徴の寄与の大きさを示す値であるともいえる。

上記の式は、信頼度が０から１の範囲の値として表現される場合の式の例であり、信頼度の決定方法が異なる場合は、上記の式も設計により変更され得る。

なお、以下、特徴決定部１１６により決定される、認識対象の特徴を、「決定特徴」とも称する。

＝＝＝出力部１１７＝＝＝
出力部１１７は、特徴決定部１１６により決定された、認識対象の特徴（決定特徴）を出力する。出力部１１７による出力の出力先の例には、表示装置、記憶装置、および通信ネットワークが含まれる。出力部１１７が情報を表示装置に出力する場合、出力部１１７は、表示装置が該情報を表示できるよう、情報を変換してもよい。なお、上記した表示装置および記憶装置は、特徴抽出装置１１の外部のデバイスであってもよいし、特徴抽出装置１１に含まれる構成要素であってもよい。

＜動作＞
以下、特徴抽出装置１１による処理の流れを、図５のフローチャートを参照しながら説明する。なお、各処理は、各処理がプログラムを実行するデバイスによって実行される場合においては、プログラムの中の命令の順序に従って実行されればよい。各処理が別個のデバイスによって実行される場合においては、処理を完了したデバイスが次の処理を実行するデバイスに通知を行うことで、次の処理が実行されればよい。なお、処理を行う各部は、めいめいの処理に必要なデータを、そのデータを生成した部から受け取るか、特徴抽出装置１１の記憶領域から読み出せばよい。

まず画像取得部１１０が、カメラ等の撮影装置または記憶媒体等から、画像を取得する（ステップＳ１１）。

次に、第１領域設定部１１１は、取得された画像のうちの少なくとも１つの画像（対象画像）において、第１領域を設定する（ステップＳ１２）。対象画像から認識対象が検出されなかった場合等、第１領域が設定できなかった場合は（ステップＳ１３においてＮＯ）、特徴抽出装置１１は処理を終了する。

第１領域が設定できた場合は（ステップＳ１３においてＹＥＳ）、前景領域抽出部１１２が、対象画像における前景領域を抽出する（ステップＳ１４）。

次に、信頼度決定部１１３が、第１領域と前景領域との関係に基づいて、前景領域の信頼度を決定する（ステップＳ１５）。信頼度決定部１１３は、信頼度を決定したら、例えば、決定した信頼度を示す情報を前景領域に関連づける。具体的には、例えば、信頼度決定部１１３は、前景領域を特定する情報と信頼度を示す情報とが関連づけられたデータを生成してもよい。そして、信頼度決定部１１３は、その生成したデータを、特徴抽出装置１１内の記憶領域に記録し、または、信頼度を参照する構成要素に直接送出してもよい。

ステップＳ１６からステップＳ１９の処理は、必要な特徴を抽出するための処理である。信頼度決定部１１３により決定された信頼度を示す値が１でなければ（ステップＳ１６においてＮＯ）、第１抽出部１１４は第１領域内の特徴を抽出する（ステップＳ１７）。信頼度を示す値が１である場合は（ステップＳ１６においてＹＥＳ）、第１抽出部１１４は第１領域内の特徴を抽出しなくてよい。また、信頼度を示す値が０でなければ（ステップＳ１８においてＮＯ）、第２抽出部１１５は前景領域内の特徴を抽出する（ステップＳ１９）。信頼度を示す値が０である場合は（ステップＳ１８においてＹＥＳ）、第２抽出部１１５は前景領域内の特徴を抽出しなくてよい。

なお、追加的な構成として、信頼度を示す値が著しく低い場合（例えば、信頼度を示す値が所定値τを下回る場合）は、特徴抽出装置１１は、例外処理を行ってもよい。例外処理では、特徴抽出装置１１は、第１領域特徴も前景領域特徴も抽出せず、「有意な特徴が抽出できなかった」という情報を示すエラーを出力して、処理を終了してもよい。

必要な特徴が抽出されたら、特徴決定部１１６が、認識対象の特徴を決定する（ステップＳ２０）。そして、出力部１１７が、認識対象の特徴を出力する（ステップＳ２１）。

＜効果＞
第１の実施形態に係る特徴抽出装置１１によれば、前景が正しく抽出されなかった場合でも、認識対象の特徴を安定的に抽出することができる。その理由は、信頼度決定部１１３が前景領域の信頼度を決定し、特徴決定部１１６が、信頼度が低いほど前景領域からの特徴よりも第１領域からの特徴に重みをつけて、認識対象の特徴を決定するからである。つまり、信頼度を設定することにより、正しく抽出されなかった前景領域から抽出される特徴が、決定される特徴に大きく反映されることが、抑制される。

効果について具体的な例を使って説明する。例えば、対象画像が、図６に示されるような、ある人物５Ａとその後ろを通る別の人物５Ｂとを撮影した画像であるとする。図６における破線は、第１領域設定部１１１により設定された第１領域を表す。このような画像において、例えば人物５Ａの色が背景に類似する等の原因により、前景領域抽出部１１２により抽出される、第１領域内の前景領域が、図７において白塗りで示された部分となることがあり得る。

このような場合、抽出された前景領域から抽出される特徴は、人物５Ａの特徴が全く反映されない。このような場合、むしろ第１領域全体から導出される特徴の方が、人物５Ａの特徴が反映された特徴として有用である。本実施形態では、このような場合には信頼度決定部１１３が信頼度を低い値に決定するので、決定特徴には、第１領域から導出される特徴が強く反映される。したがって、特徴抽出装置１１は、人物５Ａの特徴をより誤りなく取得することができる。

［変形例］
（信頼度の決定方法の例）
（１）
信頼度決定部１１３は、前景領域の形状と基準の形状との比較に基づいて信頼度を決定してもよい。

例えば、特徴抽出装置１１は、基準となる、認識対象のシルエット（以下、「モデルシルエット」と表記）を予め用意しておく。図８の破線で示される形状が、モデルシルエットの形状の例である。信頼度決定部１１３は、モデルシルエットの形状と、前景領域の形状との比較を行う。この比較に基づき、信頼度決定部１１３は、前景領域の信頼度を決定する。具体的には、信頼度決定部１１３は、前景領域の形状がモデルシルエットの形状に類似するほど信頼度が高く決定されるような決定方法により、信頼度を決定する。

なお、特徴抽出装置１１は姿勢が異なる複数のモデルシルエットを用意しておいてもよい。その場合は、信頼度決定部１１３は、例えば、第１領域設定部１１１によって抽出された第１領域の大きさおよび縦横比の少なくともいずれかに基づいて、複数のモデルシルエットから１つのモデルシルエットを選択すればよい。例えば、第１領域設定部１１１は、第１領域の大きさが標準よりも小さい場合は、屈んでいる姿勢のモデルであるモデルシルエットを選択し得る。また、例えば、第１領域設定部１１１は、第１領域の縦の長さと横の長さとの比が１対１である場合は、縦の長さと横の長さとの比が１対１であるモデルシルエットを選択し得る。そして、第１領域設定部１１１は、選択したモデルシルエットを比較に用いる。

比較の具体例を以下に示す。

例えば、信頼度決定部１１３は、前景領域のうちモデルシルエットに重なる領域の面積Ａ１と、第１領域のうち前景領域にもモデルシルエットにも含まれない領域の面積Ａ２とを、それぞれ算出する。そして、信頼度決定部１１３は、面積Ａ１とＡ２との和が大きいほど信頼度が高く決定されるような決定方法により、信頼度を決定する。一例として、信頼度決定部１１３は、信頼度を示す値ｃを、次の式により算出してもよい。
ｃ＝ｍｉｎ｛１，ｐ×（Ａ１＋Ａ２）／Ｓ｝
ただし、「ｐ」は１以上の係数（設定値）、「Ｓ」は第１領域の面積である。例えばｐ＝１．２５と設定されている場合は、面積Ａ１とＡ２との和の、第１領域の面積に対する割合が８０％以上であれば、信頼度は「１」となる。

信頼度決定部１１３は、前景領域のうちモデルシルエットに重ならない領域の面積Ａ３、および、モデルシルエットの領域のうち前景領域に重ならない領域の面積Ａ４を用いてもよい。一例として、信頼度決定部１１３は、信頼度を示す値ｃを、次の式により算出してもよい。
ｃ＝ｍｉｎ｛１，ｍａｘ｛０，ｐ×Ａ１／（Ａ１＋Ａ３＋Ａ４）｝｝

（２）
信頼度決定部１１３は、前景領域が分離している個数に基づいて信頼度を決定してもよい。認識対象が１つの塊であれば、理想的には、前景領域抽出部１１２により抽出される前景領域は１つの連続した領域である。したがって、連続していない前景領域の数が多いほど、前景領域が正しく抽出されていない蓋然性が高いといえる。この理論に基づき、信頼度決定部１１３は、分離している（すなわち、別々のものとして、つながらずに存在している）前景領域の個数が多いほど信頼度を低く決定するよう構成されてもよい。

（信頼度が数値でない例）
信頼度は必ずしも数値で表されなくともよい。例えば、信頼度は、「高い」「低い」等のテキストデータの形式で表されてもよい。この場合、信頼度を表すテキストデータと、重みを表す数値とを紐付ける情報を、特徴抽出装置１１が記憶しておけばよい。信頼度決定部１１３は、認識対象の特徴の決定において、信頼度を表すテキストデータに紐付く数値を用いて、前景領域特徴と第１領域特徴とに対して重みづけを伴う加算を行い、認識対象の特徴を導出すればよい。

＜＜第２の実施形態＞＞
本発明の第２の実施形態について説明する。図９は、第２の実施形態に係る照合システム２の構成を示すブロック図である。照合システム２は、撮影部２０と、特徴抽出部２１と、照合部２２と、データベース部２３と、を含む。

照合システム２に含まれる各部は、別々の装置により実装されてもよいし、一部または全部が１つの装置により実現されてもよい。

別々の装置により実現される部どうしのデータのやりとりは、例えば、有線または無線の通信により行われる。

撮影部２０は、所定の範囲を撮影し、それにより所定の範囲の画像を取得する。撮影部２０は、例えば、監視カメラである。撮影部２０は、取得した画像を、特徴抽出部２１の画像取得部１１０に送出する。

特徴抽出部２１は、第１の実施形態の特徴抽出装置１１が含む構成と同じ構成を備える部である。特徴抽出部２１に含まれる各部の説明は省略する。

照合部２２は、特徴抽出部２１の特徴決定部１１６により決定された認識対象の特徴（決定特徴）の照合に係る部である。照合部２２は、特徴抽出部２１の出力部１１７から決定特徴を受け取る。

照合実行部２２１は、決定特徴に対して、データベース部２３において蓄積された特徴（以下、「参照特徴」と表記）との照合を、実行する。すなわち、照合実行部２２１は、参照特徴の各々について、決定特徴にマッチするかを判定し、決定特徴とマッチすると判定される参照特徴を特定する。２つの特徴が「マッチすると判定される」とは、２つの特徴が同一の人物（または物体）から得られた特徴であると判定されることである。照合実行部２２１による照合の方法は、既知の方法でよい。

データベース部２３は、１つ以上の参照特徴を記憶する。データベース部２３は、参照特徴とその参照特徴に関連する情報とを記憶する。例えば、認識対象が人物である場合において、参照特徴に関連する情報の例としては、その参照特徴が抽出された人物の情報（名前、識別番号、年齢等）、および、その人物が撮影された日時ならびに場所の履歴等である。

照合実行部２２１は、決定特徴とマッチすると判定される参照特徴を特定した場合、特定された参照特徴に関連する情報を出力部２２２に送出する。照合実行部２２１は、決定特徴とマッチすると判定される参照特徴があったことを示す情報を送出するだけでもよい。

出力部２２２は、照合の結果を示す情報を出力する。

照合の結果を示す情報は、決定特徴とマッチすると判定される参照特徴に関連する情報を示す情報である。あるいは、照合の結果を示す情報は、例えば、決定特徴とマッチすると判定される参照特徴がデータベース部２３にあることを示す情報である。

出力部２２２が照合の結果を示す情報を出力することにより、例えば、監視員は、データベース部２３において記憶された人物が撮影部２０の撮影範囲に存在することを知る。

第２の実施形態に係る照合システム２は、特徴抽出部２１により決定される認識対象の特徴を用いるため、より正確に照合結果を得ることができる。

照合部２２による、照合に係る処理の流れを、図１０のフローチャートを参照しながら説明する。

まず、照合部２２は、特徴決定部１１６により決定された決定特徴を出力部１１７から受け取る（ステップＳ３１）。すると、照合実行部２２１が、決定特徴を参照特徴と比較する照合を行う（ステップＳ３２）。そして、出力部２２２が、照合の結果を示す情報を出力する（ステップＳ３３）。

＜＜第３の実施形態＞＞
本発明の一実施形態に係る特徴抽出装置１０について説明する。図１１は、特徴抽出装置１０の構成を示すブロック図である。特徴抽出装置１０は、信頼度決定部１０１と、特徴決定部１０２と、出力部１０３と、を備える。

信頼度決定部１０１は、画像から認識対象を含む部分領域として抽出された第１の領域内の、画像の前景領域として抽出された領域である第２の領域に対し、信頼度を決定する。信頼度は、第２の領域の、認識対象らしさを示す情報である。上述の実施形態における信頼度決定部１１３は、信頼度決定部１０１の一例である。

特徴決定部１０２は、信頼度決定部１０１により決定された信頼度に基づき、第１の領域から抽出される特徴である第１の特徴と、第２の領域から抽出される特徴である第２の特徴とを用いて、認識対象の特徴を決定する。上述の実施形態における特徴決定部１１６は、特徴決定部１０２の一例である。

出力部１０３は、特徴決定部１０２により決定された認識対象の特徴を示す情報を、出力する。上述の実施形態における出力部１１７は、出力部１０３の一例である。

特徴抽出装置１０による処理の流れを、図１２のフローチャートを参照しながら説明する。

まず、信頼度決定部１０１が、第１の領域内の、前景領域として抽出された領域である第２の領域に対し、信頼度を決定する（ステップＳ１０１）。

次に、特徴決定部１０２が、信頼度に基づき、第１の特徴と第２の特徴とを用いて認識対象の特徴を決定する（ステップＳ１０２）。

そして、出力部１０３が、決定された認識対象の特徴を示す情報を、出力する（ステップＳ１０３）。

特徴抽出装置１０によれば、前景領域が正しく抽出されなかった場合でも、特徴が不正確に導出されることを抑制することができる。その理由は、信頼度決定部１０１が、前景領域として抽出された領域である第２の領域に対し信頼度を決定し、信頼度に基づき、第１の特徴と第２の特徴とを用いて認識対象の特徴を決定するからである、特に、信頼度決定部１０１が、信頼度が低いほど第１の特徴の寄与が大きくなるような特徴決定方法により認識対象の特徴を決定する場合、前景領域が正しく抽出されなかった場合に導出される特徴の不正確さは低減され得る。その理由は、第１の実施形態の効果の説明で述べた通りである。

＜実施形態の各部を実現するハードウェアの構成＞
以上で説明された本発明の各実施形態において、各装置の各構成要素を示すブロックは、機能単位で示されている。しかし、構成要素を示すブロックは、各構成要素が別個のモジュールにより構成されることを必ずしも意味していない。

各構成要素の処理は、たとえば、コンピュータシステムが、コンピュータ読み取り可能な記憶媒体により記憶された、その処理をコンピュータシステムに実行させるプログラムを、読み出し、実行することによって、実現されてもよい。「コンピュータ読み取り可能な記憶媒体」は、たとえば、光ディスク、磁気ディスク、光磁気ディスク、および不揮発性半導体メモリ等の可搬媒体、ならびに、コンピュータシステムに内蔵されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびハードディスク等の記憶装置である。「コンピュータ読み取り可能な記憶媒体」は、コンピュータシステム内部の揮発性メモリのようにプログラムを一時的に保持可能なもの、および、ネットワークや電話回線等の通信回線のように、プログラムを伝送するものも含む。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記憶されているプログラムとの組み合わせで実現できるものであってもよい。

「コンピュータシステム」とは、一例として、図１３に示されるようなコンピュータ９００を含むシステムである。コンピュータ９００は、以下のような構成を含む。
・１つまたは複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３へロードされるプログラム９０４Ａおよび記憶情報９０４Ｂ
・プログラム９０４Ａおよび記憶情報９０４Ｂを格納する記憶装置９０５
・記憶媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１

たとえば、各実施形態における各装置の各構成要素は、その構成要素の機能を実現するプログラム９０４ＡをＣＰＵ９０１がＲＡＭ９０３にロードして実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４Ａは、例えば、予め、記憶装置９０５やＲＯＭ９０２に格納される。そして、必要に応じてＣＰＵ９０１がプログラム９０４Ａを読み出す。記憶装置９０５は、たとえば、ハードディスクである。プログラム９０４Ａは、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記憶媒体９０６に格納されており、ドライブ装置９０７に読み出され、ＣＰＵ９０１に供給されてもよい。なお、記憶媒体９０６は、たとえば、光ディスク、磁気ディスク、光磁気ディスク、および不揮発性半導体メモリ等の、可搬媒体である。

各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個のコンピュータ９００とプログラムとの可能な組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータ９００とプログラムとの可能な組み合わせにより実現されてもよい。

また、各装置の各構成要素の一部または全部は、その他の汎用または専用の回路、コンピュータ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

各装置の各構成要素の一部または全部が複数のコンピュータや回路等により実現される場合には、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、コンピュータや回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。

＜＜付記＞＞
［付記１］
画像から認識対象を含む部分領域として抽出された第１の領域内の、前記画像の前景領域として抽出された領域である第２の領域に対し、前記認識対象らしさを示す信頼度を決定する信頼度決定手段と、
前記信頼度に基づき、前記第１の領域から抽出される特徴である第１の特徴と、前記第２の領域から抽出される特徴である第２の特徴とを用いて、前記認識対象の特徴を決定する特徴決定手段と、
決定された前記認識対象の特徴を示す情報を出力する出力手段と、
を備える特徴抽出装置。
［付記２］
前記特徴決定手段は、前記信頼度が高いほど前記第２の特徴が大きく反映され、前記信頼度が低いほど前記第１の特徴が大きく反映されるような特徴決定方法により、前記認識対象の特徴を決定する
付記１に記載の特徴抽出装置。
［付記３］
前記特徴決定手段は、前記第１の特徴および前記第２の特徴に対し前記信頼度に基づく重みづけを伴う加算を行い、前記加算による結果を前記認識対象の特徴として決定する、
付記２に記載の特徴抽出装置。
［付記４］
前記信頼度決定手段は、
前記第１の領域の面積に対する前記第２の領域の面積の割合を算出し、
前記割合が第１の所定値よりも大きいほど前記信頼度が低く決定され、前記割合が第２の所定値よりも小さいほど前記信頼度が低く決定されるような信頼度決定方法に基づき、前記信頼度を決定する、
付記１から３のいずれか１つに記載の特徴抽出装置。
［付記５］
前記信頼度決定手段は、前記第２の領域と前記認識対象の形状のモデルとの比較に基づいて前記信頼度を決定する、
付記１から３のいずれか１つに記載の特徴抽出装置。
［付記６］
前記信頼度決定手段は、前記第１の領域の大きさおよび縦横比の少なくともいずれかに基づいて、複数の前記モデルから、比較に用いられる前記モデルを選択する、
付記５に記載の特徴抽出装置。
［付記７］
前記信頼度決定手段は、分離している前記第２の領域の個数に基づいて前記信頼度を決定する、
付記１から３のいずれか１つに記載の特徴抽出装置。
［付記８］
付記１から７のいずれか１つに記載の特徴抽出装置と、
前記出力手段により出力された前記認識対象の特徴を、データベースに記憶された特徴と比較する照合を行う照合実行手段と、
前記照合の結果を示す情報を出力する第２の出力手段と、
を含む照合システム。
［付記９］
画像から認識対象を含む部分領域として抽出された第１の領域内の、前記画像の前景領域として抽出された領域である第２の領域に対し、前記認識対象らしさを示す信頼度を決定し、
前記信頼度に基づき、前記第１の領域から抽出される特徴である第１の特徴と、前記第２の領域から抽出される特徴である第２の特徴とを用いて、前記認識対象の特徴を決定し、
決定された前記認識対象の特徴を示す情報を出力する、
特徴抽出方法。
［付記１０］
前記信頼度が高いほど前記第２の特徴が大きく反映され、前記信頼度が低いほど前記第１の特徴が大きく反映されるような特徴決定方法により、前記認識対象の特徴を決定する
付記９に記載の特徴抽出方法。
［付記１１］
前記第１の特徴および前記第２の特徴に対し前記信頼度に基づく重みづけを伴う加算を行い、前記加算による結果を前記認識対象の特徴として決定する、
付記１０に記載の特徴抽出方法。
［付記１２］
前記第１の領域の面積に対する前記第２の領域の面積の割合を算出し、
前記割合が第１の所定値よりも大きいほど前記信頼度が低く決定され、前記割合が第２の所定値よりも小さいほど前記信頼度が低く決定されるような信頼度決定方法に基づき、前記信頼度を決定する、
付記９から１１のいずれか１つに記載の特徴抽出方法。
［付記１３］
前記第２の領域と前記認識対象の形状のモデルとの比較に基づいて前記信頼度を決定する、
付記９から１１のいずれか１つに記載の特徴抽出方法。
［付記１４］
前記第１の領域の大きさおよび縦横比の少なくともいずれかに基づいて、複数の前記モデルから、比較に用いられる前記モデルを選択する、
付記１３に記載の特徴抽出方法。
［付記１５］
分離している前記第２の領域の個数に基づいて前記信頼度を決定する、
付記９から１１のいずれか１つに記載の特徴抽出方法。
［付記１６］
出力された前記認識対象の特徴を、データベースに記憶された特徴と比較する照合を行い、
前記照合の結果を示す情報を出力する、
付記９から１５のいずれか１つに記載の特徴抽出方法。
［付記１７］
画像から認識対象を含む部分領域として抽出された第１の領域内の、前記画像の前景領域として抽出された領域である第２の領域に対し、前記認識対象らしさを示す信頼度を決定する信頼度決定処理と、
前記信頼度に基づき、前記第１の領域から抽出される特徴である第１の特徴と、前記第２の領域から抽出される特徴である第２の特徴とを用いて、前記認識対象の特徴を決定する特徴決定処理と、
決定された前記認識対象の特徴を示す情報を出力する出力処理と、
をコンピュータに実行させるプログラムを記憶した、コンピュータ読み取り可能な記憶媒体。
［付記１８］
前記特徴決定処理は、前記信頼度が高いほど前記第２の特徴が大きく反映され、前記信頼度が低いほど前記第１の特徴が大きく反映されるような特徴決定方法により、前記認識対象の特徴を決定する
付記１７に記載の記憶媒体。
［付記１９］
前記特徴決定処理は、前記第１の特徴および前記第２の特徴に対し前記信頼度に基づく重みづけを伴う加算を行い、前記加算による結果を前記認識対象の特徴として決定する、
付記１８に記載の記憶媒体。
［付記２０］
前記信頼度決定処理は、
前記第１の領域の面積に対する前記第２の領域の面積の割合を算出し、
前記割合が第１の所定値よりも大きいほど前記信頼度が低く決定され、前記割合が第２の所定値よりも小さいほど前記信頼度が低く決定されるような信頼度決定方法に基づき、前記信頼度を決定する、
付記１７から１９のいずれか１つに記載の記憶媒体。
［付記２１］
前記信頼度決定処理は、前記第２の領域と前記認識対象の形状のモデルとの比較に基づいて前記信頼度を決定する、
付記１７から１９のいずれか１つに記載の記憶媒体。
［付記２２］
前記信頼度決定処理は、前記第１の領域の大きさおよび縦横比の少なくともいずれかに基づいて、複数の前記モデルから、比較に用いられる前記モデルを選択する、
付記２１に記載の記憶媒体。
［付記２３］
前記信頼度決定処理は、分離している前記第２の領域の個数に基づいて前記信頼度を決定する、
付記１７から１９のいずれか１つに記載の記憶媒体。
［付記２４］
前記プログラムは、
決定された前記認識対象の特徴を、データベースに記憶された特徴と比較する照合を行う照合実行処理と、
前記照合の結果を示す情報を出力する第２の出力処理と、
をさらにコンピュータに実行させる、付記１７から２３のいずれか１つに記載の記憶媒体。

本願発明は以上に説明した実施形態に限定されるものではない。以上に説明した実施形態の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１８年２月２０日に出願された日本出願特願２０１８−０２７５１２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０、１１、１２ 特徴抽出装置
１１１ 第１領域設定部
１１２ 前景領域抽出部
１１３、１０１ 信頼度決定部
１１４ 第１抽出部
１１５ 第２抽出部
１１６、１０２ 特徴決定部
１１７、１０３ 出力部
２ 照合システム
２０ 撮影部
２１ 特徴抽出部
２２ 照合部
２２１ 照合実行部
２２２ 出力部
２３ データベース部
５Ａ 第１の人物
５Ｂ 第２の人物
９００ コンピュータ
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４Ａ プログラム
９０４Ｂ 記憶情報
９０５ 記憶装置
９０６ 記憶媒体
９０７ ドライブ装置
９０８ 通信インタフェース
９０９ 通信ネットワーク
９１０ 入出力インタフェース
９１１ バス

Claims (10)

1. 画像から認識対象を含む部分領域を抽出する方法によって抽出された第１の領域内の、背景差分法によって前記画像の前景領域として抽出された領域である第２の領域に対し、前記認識対象らしさを示す信頼度を決定する信頼度決定手段と、
   前記信頼度に基づき、前記第１の領域から抽出される特徴である第１の特徴と、前記第２の領域から抽出される前記特徴である第２の特徴とを用いて、前記認識対象の前記特徴を決定する特徴決定手段と、
   決定された前記認識対象の前記特徴を示す情報を出力する出力手段と、
   を備える照合システム。
2. 前記特徴決定手段は、前記信頼度が高いほど前記第２の特徴が大きく反映され、前記信頼度が低いほど前記第１の特徴が大きく反映されるような特徴決定方法により、前記認識対象の特徴を決定する
   請求項１に記載の照合システム。
3. 前記特徴決定手段は、前記第１の特徴および前記第２の特徴に対し前記信頼度に基づく重みづけを伴う加算を行い、前記加算による結果を前記認識対象の特徴として決定する、
   請求項２に記載の照合システム。
4. 前記信頼度決定手段は、
   前記第１の領域の面積に対する前記第２の領域の面積の割合を算出し、
   前記割合が第１の所定値よりも大きいほど前記信頼度が低く決定され、前記割合が第２の所定値よりも小さいほど前記信頼度が低く決定されるような信頼度決定方法に基づき、前記信頼度を決定する、
   請求項１から３のいずれか１項に記載の照合システム。
5. 前記信頼度決定手段は、前記第２の領域と前記認識対象の形状のモデルとの比較に基づいて前記信頼度を決定する、
   請求項１から３のいずれか１項に記載の照合システム。
6. 前記信頼度決定手段は、前記第１の領域の大きさおよび縦横比の少なくともいずれかに基づいて、複数の前記モデルから、比較に用いられる前記モデルを選択する、
   請求項５に記載の照合システム。
7. 前記信頼度決定手段は、分離している前記第２の領域の個数に基づいて前記信頼度を決
   定する、
   請求項１から３のいずれか１項に記載の照合システム。
8. 前記出力手段により出力された前記認識対象の特徴を、データベースに記憶された特徴と比較する照合を行う照合実行手段と、
   前記照合の結果を示す情報を出力する第２の出力手段と、をさらに備える、
   請求項１から７のいずれか一項に記載の照合システム。
9. 画像から認識対象を含む部分領域を抽出する方法によって抽出された第１の領域内の、背景差分法によって前記画像の前景領域として抽出された領域である第２の領域に対し、前記認識対象らしさを示す信頼度を決定し、
   前記信頼度に基づき、前記第１の領域から抽出される特徴である第１の特徴と、前記第２の領域から抽出される前記特徴である第２の特徴とを用いて、前記認識対象の前記特徴を決定し、
   決定された前記認識対象の前記特徴を示す情報を出力する、
   特徴抽出方法。
10. 画像から認識対象を含む部分領域を抽出する方法によって抽出された第１の領域内の、背景差分法によって前記画像の前景領域として抽出された領域である第２の領域に対し、前記認識対象らしさを示す信頼度を決定する信頼度決定処理と、
    前記信頼度に基づき、前記第１の領域から抽出される特徴である第１の特徴と、前記第２の領域から抽出される前記特徴である第２の特徴とを用いて、前記認識対象の前記特徴を決定する特徴決定処理と、
    決定された前記認識対象の前記特徴を示す情報を出力する出力処理と、
    をコンピュータに実行させるプログラム。

Images