JP5085621B2 - 画像認識処理に適用する特徴情報選択装置、画像認識処理装置、監視システム、方法、及びプログラム - Google Patents

Description

本発明は、カメラにより撮影された画像情報から認識対象を抽出するための画像認識処理技術に関し、特に認識対象の特徴情報を選択するための技術に関する。

近年、カメラにより撮影された画像（映像）情報を利用した監視システムが普及している。特に、多数の人が通行するようなエリアを監視対象とする広域監視システムに対する需要が高まっている。

監視システムでは、カメラにより撮影された画像情報を処理して、監視対象である人の特徴を抽出するための画像認識処理装置が適用されている。広域監視システムでは、複数のカメラを使用し、監視対象である人の特徴に基づいて、移動している人を同定し、追跡するための画像認識処理装置が必要となる。

従来では、人の複数の特徴情報に基づいて個人認証を行なう先行技術が提案されている（例えば、特許文献１、２を参照）。これらの先行技術は、指紋、虹彩、顔、声紋、筆跡などの複数種類の生体情報を取得し、事前に登録しておいた生体情報と照合することで個人認証を行なう構成である。これらの先行技術は、個人認証装置への生体情報の事前登録を前提としており、理想的な環境で収集した生体情報を用いる処理を実行するものである。

画像処理技術に含まれるパターン認識技術に関する先行技術が提案されている（例えば、特許文献３、４を参照）。特許文献３に記載されている先行技術は、文字認識等を想定し、画像から過多の特徴を生成しておき、その中から必要な特徴を選択する仕組みに関するものである。この先行技術は、認識対象について事前に多くの特徴を装置に入力しておき、平均パターンを辞書データとして登録することを基本としている。また、特許文献４に記載されている先行技術は、ニューラルネットワークなどのパターン学習機能を組み込むことで、画像からパターン識別に必要な特徴を抽出するものである。

特許第３８２７６００号公報 特許第４１９６９７３号公報 特許第３０６０９２２号公報 特許第３４８０５６３号公報

前述したように、例えば、特に多数の人が通行するエリアなどを対象とする広域監視システムでは、画像情報から得られる人に関する特徴に基づいて、人を追跡、同定するための画像認識処理技術が要求される。しかし、人の特徴は、カメラから人までの距離、カメラに対する人の向きなどの環境条件の変動により大きく変動する。前述の特許文献１、２の先行技術は、環境条件が変動するような状況に適応することは困難である。また、特許文献３、４の先行技術は、認識対象について事前学習が必要であり、人毎に特徴情報を事前学習できない広域監視システムへの適用は困難である。

そこで、本発明の目的は、環境条件の変動がある場合でも人の追跡、同定を確実に実現できる画像認識処理に有効な特徴情報を選択できる特徴情報選択装置を提供することにある。

本発明の観点は、画像処理を利用した人の追跡、同定に用いる特徴情報を重要度と信頼度の２つの属性で定義し、人の追跡、同定を確実に実現できる画像認識処理に有効な特徴情報を選択する特徴情報選択装置である。

本発明の観点に従った特徴情報選択装置は、複数のカメラにより撮影された画像情報から特定対象を認識するための画像認識処理に適用する特徴情報選択装置において、前記特定対象の画像情報より特徴情報として輝度分布情報と輝度輪郭情報と色分布情報とを抽出する特徴抽出手段と、各特徴情報について前記特定対象の周囲の特徴から外れた特異性の程度を示す重要度を定義し、前記特徴情報毎に前記重要度を示す重要度情報を設定する重要度設定手段と、前記特徴情報について前記各カメラの撮影環境に基づいて前記特徴情報の信頼の程度を示す信頼度を定義し、前記特徴情報毎に前記信頼度を示す信頼度情報を設定する信頼度設定手段と、特定対象の撮影環境に係るパラメータの変動を検知する環境変動検知手段と、前記環境変動検知手段にてパラメータの変動を検知した場合、前記輝度分布情報、前記輝度輪郭情報又は前記色分布情報のいずれかについて信頼度情報を変更する信頼度情報変更手段と、前記複数カメラにより撮影された特定対象の画像に基づく画像認識に係り、各カメラにより撮影された画像について前記重要度又は信頼性が相対的に高い、前記輝度分布情報、前記輝度輪郭情報又は前記色分布情報のいずれかを選択する選択手段とを備えた構成である。

本発明によれば、環境条件の変動がある場合でも人の追跡、同定を確実に実現できる画像認識処理に有効な特徴情報を選択することができる。

本発明の実施形態に関する画像処理装置及び監視システムの要部を示すブロック図。 本実施形態に関する画像処理装置において人を同定する仕組みの一例を説明するための図。 本実施形態に関する画像処理装置の追跡及び同定の処理を説明するためのフローチャート。 本実施形態に関する重要度の定義を説明するための図。 本実施形態に関する重要度の定義を説明するための図。 本実施形態に関する重要度の設定処理を説明するためのフローチャート。 本実施形態に関する信頼度の設定処理を説明するためのフローチャート。 本実施形態に関する環境変動を説明するための図。 本実施形態に関する信頼度の設定方法を説明するための図。 本実施形態に関する同定処理を説明するための図。 本実施形態に関する特徴情報選択の方法を説明するための図。 本実施形態に関する同定処理を説明するためのフローチャート。

以下図面を参照して、本発明の実施形態を説明する。

（画像処理装置の構成）
図１は、本実施形態に関する画像処理装置の要部を示すブロック図である。

本実施形態は、複数のカメラ１１Ａ〜１１Ｃを使用する監視システムに適用する画像処理装置１０である。画像処理装置１０は、画像入力部１２と、画像処理部１３と、記憶部１４と、表示装置１５を有し、具体的にはパーソナルコンピュータなどのコンピュータシステムから構成されている。

画像入力部１２は、カメラ１１Ａ〜１１Ｃにより撮影された画像（映像）を入力し、各種の前処理を実行して画像処理部１３に送出する。画像処理部１３は、マイクロプロセッサ（ＣＰＵ）及び画像処理用ソフトウェアからなり、後述する画像認識処理を含む画像処理を実行する。記憶部１４は、画像処理部１３の処理結果や画像処理部１３の画像処理に必要な情報などを格納する。表示装置１５は、画像処理部１３からの処理結果を表示する表示画面を有する。また、表示装置１５は、カメラ１１Ａ〜１１Ｃにより撮影された画像を表示する監視用モニタを構成する。

（監視システムの動作）
本実施形態の監視システムは、図１に示すように、例えば大規模店舗内に設置されたカメラ１１Ａ〜１１Ｃ及び画像処理装置１０から構成されている。カメラ１１Ａ〜１１Ｃは、店舗フロア１００に割り当てられた監視エリア１１０Ａ〜１１０Ｃ毎に配置される。画像処理装置１０は、異なるカメラ１１Ａ〜１１Ｃにより撮影された各画像から人１２０を抽出する。さらに、画像処理装置１０は、人１２０の特徴情報に基づいて、点線１３０で示すように店舗フロア１００を移動する人１２０を、追跡及び同定するための画像認識処理を実行する。

図２は、画像処理装置１０が、異なるカメラ１１Ａ〜１１Ｃからの画像情報を使用して人１２０を同定する仕組みの一例を示す図である。画像処理装置１０は、図２（Ａ）に示すように、カメラ１１Ａにより撮影された画像２００Ａから、後ろ姿の人を抽出する。また、画像処理装置１０は、図２（Ｂ）に示すように、カメラ１１Ｂにより撮影された画像２００Ｂから、前からの人を抽出する。

さらに、画像処理装置１０は、カメラ１１Ａにより撮影された画像２００Ａから、抽出した人の特徴情報として、例えばオレンジ色の服とグレーのズボンを検出する。また、画像処理装置１０は、カメラ１１Ｂにより撮影された画像２００Ｂから、抽出した人の特徴情報として、例えばオレンジ色の服とグレーのズボンを検出する。

画像処理装置１０は、異なるカメラ１１Ａ，１１Ｂの画像情報から取得した特徴情報として、抽出した人のオレンジ色の服とグレーのズボンとが合致しているため、同一人物として同定する。従って、画像処理装置１０は、異なるカメラ１１Ａ，１１Ｂの監視範囲（撮影範囲）間を移動している人を同定し、追跡することができる。

次に図３のフローチャートを参照して、画像処理装置１０の追跡及び同定するための画像認識処理を含む画像処理を説明する。

まず、画像入力部１２は、ここでは２台のカメラ１１Ａ，１１Ｂにより撮影された画像を入力し、各種の前処理を実行して画像処理部１３に送出する。画像処理部１３は、画像入力部１２からの各画像情報から人の領域（人領域）を切り出す処理を実行する（ステップＳ１Ａ，Ｓ１Ｂ）。画像処理部１３は、切り出した人領域の特徴量（特徴情報）を抽出する（ステップＳ２Ａ，Ｓ２Ｂ）。

次に、画像処理部１３は、抽出した複数の特徴量（特徴情報）間の類似度を判定する（ステップＳ３）。画像処理部１３は、類似度が基準値より高い場合には、２台のカメラ１１Ａ，１１Ｂにより撮影された人領域が同一人物であると同定する処理結果を出力する。これにより、監視システムは、画像処理部１３の画像処理結果に基づいて、同一人物がカメラ１１Ａ，１１Ｂの監視範囲１１０Ａ，１１０Ｂ間を移動している人を同定し、追跡する監視処理を実行できる（ステップＳ４）。

（特徴情報選択）
前述したように、広域監視システムでは、画像処理装置１０は、複数のカメラ１１Ａ〜１１Ｃにより撮影された画像を画像処理し、この画像処理結果から人に関する複数の特徴情報を取得する。画像処理装置１０は、取得した複数の特徴情報から有効な特徴情報を選択することで、監視対象の人を同定、追跡することができる。

しかし、実際には人の追跡、同定を実現する場合、カメラから人までの距離や、カメラに対する人の向きなどの環境条件（環境パラメータ）の変動により、監視性能が低下し易い状況が発生する。即ち、具体的に、環境条件とは、カメラ１１Ａ〜１１Ｃの撮影における環境条件である。本実施形態は、環境条件の変動がある場合でも、高性能の追跡、同定を実現するための有効な特徴情報選択の仕組みを実現する。以下、特徴情報選択の仕組みを具体的に説明する。

本実施形態は、画像処理を利用して人の追跡、同定を行なう場合の有効な特徴情報（特徴量）として、重要度と信頼度の２種類の属性を定義する。重要度は、ある特徴情報を平均と比較した場合に、その特徴情報の特異の程度を示す数値情報である。また、信頼度は、ある特徴情報が他の特徴情報と比較した場合に、信頼の高低の程度を示す情報である。

人を追跡、同定する監視動作では、監視範囲に類似した特徴を有する人が多く存在する場合には、監視対象の識別が困難になるため、当該監視性能が低下する。このような場合、人に関する複数の特徴情報の中から特異なものを選択し、その情報に重きを置くことで、監視性能の低下を抑制することが可能となる。

特徴情報の特異性を判断する方法として、図４に示すように、特徴量の標準的な分布を予め用意し、得られた特徴量が平均値４００から外れた値４１０であれば特異性があると判断し、重要度を高く設定する。また、別の方法として、図５に示すように、特徴量の標準的な空間５００を予め用意し、得られる特徴量から空間までの距離が離れている外れた値５１０がある場合に特異性があると判断し、重要度を高く設定する。図５において、符号５２０は超平面を意味する。

図６は、画像処理部１３において、特徴情報の重要度を設定する処理を説明するためのフローチャートである。

まず、画像処理部１３は、画像入力部１２を介してカメラ１１Ａ〜１１Ｃにより撮影された画像を取込む（ステップＳ１１）。画像処理部１３は、画像入力部１２からの各画像情報から人領域を切り出す（ステップＳ１２）。画像処理部１３は、切り出した人領域の複数の特徴情報（特徴量）を抽出する（ステップＳ１３）。

次に、画像処理部１３は、抽出した複数の特徴情報毎の特異性を判定する（ステップＳ１４）。この特異性を判定結果に基づいて、画像処理部１３は、特徴情報毎に数値である重要度を設定し、この重要度を付加した特徴情報（特徴データ）を記憶装置１４に格納して登録する（ステップＳ１６）。

次に、特徴情報（特徴量）の属性として、特徴情報の信頼性の高低を示す信頼度に関して、図７から図９を参照して具体的に説明する。

監視システムの環境変動が発生した場合、複数の特徴情報の中に人同士の差異を示す情報が含まれないものが存在する。また、環境変動の内容により、信頼度の高い特徴情報と信頼度の低い特徴情報が変化することがある。

図８は、環境パラメータ、その変動の種類、及び環境変動の発生を検知する変動検知方法のルールを示す図である。図８に示すように、環境パラメータ（カメラの撮影条件）としては、例えばカメラの撮影時の照度、コントラスト、映像（画像）の色み、カメラの俯角、カメラレンズの焦点距離、カメラと人との距離などがある。また、変動の種類としては、低下、変動、増大、変化がある。

図７に示すように、画像処理部１３は、画像入力部１２からの各画像情報から人領域を切り出し、この人領域の複数の特徴情報（特徴量）を抽出する（ステップＳ２１）。画像処理部１３は、抽出した複数の特徴情報に対して信頼度の高低を設定する（ステップＳ２２）。ここで、信頼度の設定は、図９に示すようなルールにより、複数の特徴情報に対して信頼度の高低を設定する方法で行なわれる。この場合、人の特徴量を示す特徴情報として、輝度分布情報、輝度輪郭情報、及び色分布情報の３種類がある。

次に、画像処理部１３は、図８に示すような変動検知方法により、環境パラメータの変動の発生を検知する（ステップＳ２３）。画像処理部１３は、環境パラメータの変動を検知すると、それに連動して特徴情報の信頼度を変更する処理を実行する（ステップＳ２４のＹＥＳ，Ｓ２５）。具体的には、環境パラメータの中で、例えばカメラ撮影時の照度の低下が発生した場合には、３種類の特徴情報の中で、輝度輪郭情報の信頼度を相対的に高くし、輝度分布情報と色分布情報を信頼度を相対的に低くするように変更設定する。

以上のように特徴情報（特徴量）の２種類の属性として定義、設定した重要度と信頼度の情報に基づいて、図１０から図１２を参照して人の追跡、同定を行なう具体的方法を説明する。

画像処理部１３は、異なるカメラにより撮影された異なる画像間で、人を追跡、同定するときに、図１０に示すように、見かけの大きさやカメラに対する向きが異なる人の画像を比較し、それらの人が同一であるか否かを判断する。図１０（Ａ）は、カメラの撮影条件が相対的に良い場合であって、サイズの大きい人の画像６００Ａである。一方、図１０（Ｂ）は、カメラの撮影条件が相対的に悪い場合であって、サイズの小さい人の画像６００Ｂである。即ち、画像処理部１３は、図１０（Ａ），（Ｂ）に示すように、環境条件、例えば照度やコントラストが異なる画像同士を比較して、同一人物であるか否かの同定処理を実行する。

ここで、異なる画像間で人を追跡、同定するときに、一方の画像で有効と想定される人の特徴情報と、他方の画像で有効と想定される特徴情報は異なる可能性が高い。人の同定、追跡は、２つの画像間で同一の特徴情報を用いて実行することになるため、重要度や信頼度の設定が異なる特徴情報を用いることになり監視性能が低下し易い。

そこで、本実施形態の画像処理装置１０は、設定された特徴情報選択基準に基づいて、複数の特徴情報を選択し、それらを組み合わせて用いることで人の追跡、同定処理を実行する。特徴情報選択基準とは、２枚の画像の中で撮影条件の悪い方の画像を基準として、信頼度が高い特徴情報を選択する場合と、重要度の高い特徴情報を選択する場合である。

図１１（Ａ），（Ｂ）は、異なる画像間で人を追跡、同定するときに、特徴情報（特徴量）選択の具体例を示す図である。図１１（Ａ），（Ｂ）において、符号７００は、選択した特徴情報を示す。符号７１０は、重要度の高い特徴情報を選択したことを示す。また、符号７２０は、撮影条件の悪い画像の主要な特徴情報を基準として選択したことを示す。

図１２（Ａ），（Ｂ）は、選択基準の異なる特徴情報を用いた人の追跡、同定の処理をパターンＡ，Ｂに分けて説明するフローチャートである。

図１２（Ａ）に示すように、パターンＡとして、画像処理装置１０は、重要度の高い特徴情報に基づいて同定候補の人物を選択する処理を実行し、この同定候補から信頼度の高い特徴情報に基づいて人物を同定する処理を実行する。一方、図１２（Ｂ）に示すように、パターンＢとして、画像処理装置１０は、信頼度の高い特徴情報に基づいて同定候補の人物を選択する処理を実行し、この同定候補から重要度の高い特徴情報に基づいて人物を同定する処理を実行する。

以上要するに本実施形態によれば、画像認識処理を利用して人の追跡、同定を行なう場合の有効な特徴情報（特徴量）として重要度と信頼度の２種類の属性を定義し、カメラの撮影条件などの環境変動に応じて当該属性の設定をダイナミックに変更する。ここで、重要度とは、換言すれば、平均的な特徴から外れた特徴であり、色、外形（体型）、性別などの個別情報や、歩き方（歩様または歩容）などの時系列情報に相当する。例えば、デパート等の大規模店舗の建物に出入する人の中で、夏に黒い色の服を着ている人や、女性が出入する場所での男性などの人の特徴に対する重み付けとなる。また、信頼度は、換言すれば、カメラの撮影における環境条件に基づいて設定される信頼性情報である。

このような本実施形態の画像認識処理であれば、環境条件の変動がある場合でも、人の追跡、同定を確実に行なうことが可能となる。従って、複数のカメラを使用する特に広域監視システムに対して有効に適用できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０…画像処理装置、１１Ａ〜１１Ｃ…カメラ、１２…画像入力部、
１３…画像処理部、１４…記憶装置、１５…表示装置、
１００…店舗フロア、１１０Ａ〜１１０Ｃ…監視エリア（撮影範囲）。

Claims (9)

1. 複数のカメラにより撮影された画像情報から特定対象を認識するための画像認識処理に適用する特徴情報選択装置において、
   前記特定対象の画像情報より特徴情報として輝度分布情報と輝度輪郭情報と色分布情報とを抽出する特徴抽出手段と、
   各特徴情報について前記特定対象の周囲の特徴から外れた特異性の程度を示す重要度を定義し、前記特徴情報毎に前記重要度を示す重要度情報を設定する重要度設定手段と、
   前記特徴情報について前記各カメラの撮影環境に基づいて前記特徴情報の信頼の程度を示す信頼度を定義し、前記特徴情報毎に前記信頼度を示す信頼度情報を設定する信頼度設定手段と、
   特定対象の撮影環境に係るパラメータの変動を検知する環境変動検知手段と、
   前記環境変動検知手段にてパラメータの変動を検知した場合、前記輝度分布情報、前記輝度輪郭情報又は前記色分布情報のいずれかについて信頼度情報を変更する信頼度情報変更手段と、
   前記複数カメラにより撮影された特定対象の画像に基づく画像認識に係り、各カメラにより撮影された画像について前記重要度又は信頼性が相対的に高い、前記輝度分布情報、前記輝度輪郭情報又は前記色分布情報のいずれかを選択する選択手段と
   を具備したことを特徴とする特徴情報選択装置。
2. 前記重要度情報は、
   前記画像認識処理に有効な特徴情報で色、外形、体型、性別を示す個別情報または歩き方を示す時系列情報において、前記平均的特徴から外れた特徴を示す情報であることを特徴とする請求項１に記載の特徴情報選択装置。
3. 前記撮影環境は、
   照度、コントラスト、映像の色み、カメラの俯角、レンズの焦点距離、カメラと人の距離に関する複数のパラメータを含むことを特徴とする請求項１または請求項２のいずれか１項に記載の特徴情報選択装置。
4. 請求項１から請求項３のいずれか１項に記載の特徴情報選択装置を有し、
   前記カメラにより撮影された画像情報を入力する画像入力手段と、
   前記選択手段により選択された特徴情報に基づいて、認識対象を追跡及び同定するための画像認識処理を実行する画像認識処理手段と
   を具備したことを特徴とする画像認識処理装置。
5. 複数のカメラにより撮影された画像情報から特定対象を認識するための画像認識処理に適用する特徴情報を選択する方法であって、
   前記特定対象の画像情報より特徴情報として輝度分布情報と輝度輪郭情報と色分布情報とを抽出する処理と、
   各特徴情報について前記特定対象の周囲の特徴から外れた特異性の程度を示す重要度を定義し、前記特徴情報毎に前記重要度を示す重要度情報を設定する処理と、
   前記特徴情報について前記各カメラの撮影環境に基づいて前記特徴情報の信頼の程度を示す信頼度を定義し、前記特徴情報毎に前記信頼度を示す信頼度情報を設定する処理と、
   特定対象の撮影環境に係るパラメータの変動を検知する処理と、
   前記環境変動検知手段にてパラメータの変動を検知した場合、前記輝度分布情報、前記輝度輪郭情報又は前記色分布情報のいずれかについて信頼度情報を変更する処理と、
   前記複数カメラにより撮影された特定対象の画像に基づく画像認識に係り、各カメラにより撮影された画像について前記重要度又は信頼性が相対的に高い、前記輝度分布情報、前記輝度輪郭情報又は前記色分布情報のいずれかを選択する処理と
   を実行することを特徴とする特徴情報選択方法。
6. 請求項５に記載の特徴情報選択方法を有し、
   前記カメラにより撮影された画像情報を入力する処理と、
   前記選択された特徴情報に基づいて、前記認識対象を追跡及び同定するための画像認識処理を実行する画像処理と
   を実行することを特徴とする画像認識処理方法。
7. 複数のカメラにより撮影された画像情報から特定対象を認識するための画像認識処理に適用する特徴情報を選択するためのプログラムであって、
   前記特定対象の画像情報より特徴情報として輝度分布情報と輝度輪郭情報と色分布情報とを抽出する処理と、
   各特徴情報について前記特定対象の周囲の特徴から外れた特異性の程度を示す重要度を定義し、前記特徴情報毎に前記重要度を示す重要度情報を設定する処理と、
   前記特徴情報について前記各カメラの撮影環境に基づいて前記特徴情報の信頼の程度を示す信頼度を定義し、前記特徴情報毎に前記信頼度を示す信頼度情報を設定する処理と、
   特定対象の撮影環境に係るパラメータの変動を検知する処理と、
   前記環境変動検知手段にてパラメータの変動を検知した場合、前記輝度分布情報、前記輝度輪郭情報又は前記色分布情報のいずれかについて信頼度情報を変更する処理と、
   前記複数カメラにより撮影された特定対象の画像に基づく画像認識に係り、各カメラにより撮影された画像について前記重要度又は信頼性が相対的に高い、前記輝度分布情報、前記輝度輪郭情報又は前記色分布情報のいずれかを選択する処理と
   を有する手順をコンピュータに実行させるプログラム。
8. 前記選択された特徴情報に基づいて、特定対象を認識するための画像認識処理を実行する画像認識処理の手順をさらにコンピュータに実行させる請求項７に記載のプログラム。
9. 複数のカメラと、
   前記各カメラにより撮影された画像情報を入力する手段と、
   前記画像情報から特定対象の画像情報より特徴情報として輝度分布情報と輝度輪郭情報と色分布情報とを抽出する特徴抽出手段と、
   各特徴情報について前記特定対象の周囲の特徴から外れた特異性の程度を示す重要度を定義し、前記特徴情報毎に前記重要度を示す重要度情報を設定する重要度設定手段と、
   前記特徴情報について前記各カメラの撮影環境に基づいて前記特徴情報の信頼の程度を示す信頼度を定義し、前記特徴情報毎に前記信頼度を示す信頼度情報を設定する信頼度設定手段と、
   特定対象の撮影環境に係るパラメータの変動を検知する環境変動検知手段と、
   前記環境変動検知手段にてパラメータの変動を検知した場合、前記輝度分布情報、前記輝度輪郭情報又は前記色分布情報のいずれかについて信頼度情報を変更する信頼度情報変更手段と、
   前記複数カメラにより撮影された特定対象の画像に基づく画像認識に係り、各カメラにより撮影された画像について前記重要度又は信頼性が相対的に高い、前記輝度分布情報、前記輝度輪郭情報又は前記色分布情報のいずれかを選択する選択手段と
   を具備したことを特徴とする監視システム。

Images