JP4492412B2

JP4492412B2 - 画像処理方法および装置

Info

Publication number: JP4492412B2
Application number: JP2005100484A
Authority: JP
Inventors: 誠也伊藤; 誠人数井; 宏昌藤井
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-03-31
Filing date: 2005-03-31
Publication date: 2010-06-30
Anticipated expiration: 2025-03-31
Also published as: JP2006285312A

Description

本発明は、実環境下で撮影した画像から画像内における各画素の特徴ベクトルを算出し、その特徴ベクトルを用いて画像に出現する物体を抽出する方法およびその装置、又特定のパターンを持つ対象を検出する方法と装置に関するものである。

従来画像処理において、取得した画像から特定の文字，記号および形状を検出する分野では、これらの画像データを正規化相関によりマッチングする手法、エッジ情報を特徴量へ変換し、この特徴量をマッチングする手法が用いられてきた。後者の手法において、エッジ情報などから形状を表す特徴量へ変換するものとしてHough 変換やフーリエ記述子などが挙げられる。これらは主に屋内環境やＦＡ分野などの整備された環境など安定した照明条件下で適用されてきた。

一方、監視セキュリティやＩＴＳなどの分野において、屋外における不安定な撮像条件下での画像処理技術の適用の要求も多く、実環境での安定性が課題となっている。多くの場合、天候の変化や時間的な日照条件の変化によって画像全体の明るさが変動したり、光および影などが部分的に情景内に現れることがある。これは部分的な遮蔽やコントラストの変化による性能の低下を引き起こし、特定パターンの誤検出や検出漏れとなることが多い。

ここで、明度変化やノイズなどの不安定な撮像条件に対してロバストな手法として増分符号相関法がある。これは増分符号と呼ばれる画像データの微分方向のみに着目した評価値により画像間の相関を求めるもので、２画素間での明度の増減を符号化する手法である。そのため、２画素間の明度の増減が反転しない範囲の明度変化に対してロバストな手法である。

増分符号相関法を基本とし、その符号化領域を注目画素の周辺領域まで広げ、ロバストな背景差分を行う手法としてＰＩＳＣ (Peripheral Increment Sign Correlation)やRRC
(Radial Reach Correlation)がある。

ＰＩＳＣは注目画素と隣接する画素において明度の増減を符号化し、画素の類似度を判定するための情報量を増やしたものである。このため、増分符号相関法に比べ安定した手法である。

また、ＲＲＣは注目画素から８方向に放射直線上の領域を定め、注目画素としきい値以上の明度差を持つ画素を選択して増分符号を算出し、注目画素の評価値とする。これは明度変化に対してより安定な画素を周辺領域から選択するため、ＰＩＳＣに比べより安定な手法である。

特開２００３―１４１５４６村瀬，金子，五十嵐，"増分符号相関によるロバスト画像照合"，電子情報通信学会論文誌，D-II, Vol. J83-D-II No. 5, pp. 1323-1331, 2000．佐藤，金子，五十嵐，"周辺増分符号相関画像に基づくロバスト物体検出および分離"，電子情報通信学会論文誌，D-II, Vol. J84-D-II No. 12, pp. 2585-2594 2001．佐藤，金子，丹羽，山本，"Radial Reach Filter(RRF)によるロバストな物体検出"，電子情報通信学会論文誌，Vol. J86-D-II, No.5, pp.616-624, 2003.

特定の形状パターンを検出する場合の代表的な手法であるＨｏｕｇｈ変換は撮像条件の変化により対象物体のエッジなど、パターンの輪郭形状の検出精度が低い場合はそれに伴い性能が低下する。さらに、パラメータの次元数や計算量が検出対象の大きさや条件に依存するため、大きさの条件を設定できない場合は対象の線形変換を行ってすべての大きさで走査するため計算コストが高い。

また、パターン形状の特徴量を算出する手法であるフーリエ記述子は、ある形状の境界線を追跡し、その接線の偏角により表された関数をフーリエ級数展開して、それを特徴量とする手法である。この手法もまた、撮像条件の変化によってパターンの輪郭形状の検出精度が低下し、開曲線になった場合に適応できないなどの問題点がある。

一方、ＲＲＣは、注目画素とある明度差があり条件変化に対して安定な画素を、注目画素を中心とした８方向の放射直線上において選択する。この処理を画像全体で行った場合、選択される画素は画像内のあるパターンのエッジ付近に集中する。このことから、注目画素と選択された画素との距離情報は、注目画素周辺のパターン上のエッジ点までの空間的な特徴を表しているといえる。ところが、注目画素と選択された画素では明度差の大小関係から増分符号を算出するのみであり、増分符号は注目画素周辺の明度分布の傾向を表し、特定の形状パターンを検出するために有効な特徴ではない。

ここで形状パターンを検出するためには、注目画素と選択された画素との距離情報を利用することが有効であるが，この距離情報を直接パターンマッチングなどへ適用した場合、その参照情報量は入力画像サイズの約８倍となり、データの保存領域の確保や処理コストが問題となるため、情報量の削減が課題となる。

本発明の目的は、形状特徴を用いて条件変化に安定な背景差分やパターン認識を行うために、注目画素から安定な画素を選択して、注目画素の周辺のパターン形状を表す特徴ベクトルを算出する画像処理方法および装置を提供することにある。

上記目的を達成するために、本発明では画像処理装置において、取得した画像から、画像データ内における任意の位置の注目画素に関する領域で、予め設定した判定条件を満たす特徴画素を１つ以上選択し、前記注目画素から前記特徴画素への方向と距離を要素とするベクトルを算出するベクトル算出手段と、該ベクトル算出手段において得られた１つ以上のベクトルから、それらの長さの大小関係を求め、前記注目画素周辺の前記特徴画素の分布を表す特徴ベクトルへ変換する特徴ベクトル算出手段とを備えたことを特徴とするものである。

また、本発明は画像処理装置において、前記注目画素を中心として探索方向を１つ以上定義し、各々の前記探索方向で予め設定した距離範囲内にある画素列の中から前記特徴画素を選択し、前記ベクトルを算出することを特徴とするものである。

また、本発明は画像処理装置において、前記探索方向を任意に序列し、その前記序列に従い隣接した前記ベクトルの長さを比較して、その大小関係から前記特徴ベクトルを算出することを特徴とするものである。

また、本発明は画像処理装置において、算出される前記ベクトルまたは前記特徴ベクトルを基準画像および入力画像のある画素位置で求め、前記入力画像と前記基準画像の画素の類似度を前記ベクトルまたは前記特徴ベクトルの比較により判定する画素判定手段を備えたことを特徴とするものである。

また、本発明は画像処理装置において、前記基準画像と前記入力画像の所定の領域における画素に対して前記画素判定手段により、前記基準画像と前記入力画像との差分領域を算出することを特徴とするものである。

また、本発明は請求項の画像処理装置において、ユーザーが識別のために与えた文字，記号又は物体の対象パターンに対して算出した前記ベクトルまたは前記特徴ベクトルと、入力パターンにおいて算出した前記ベクトルまたは前記特徴ベクトルを比較し、前記入力パターンが前記対象パターンであるか否かを判定することを特徴とするものである。

更に、上記目的を達成するために、本発明では画像処理方法において、取得した画像から、画像データ内における任意の位置の注目画素に関する領域で、予め設定した判定条件を満たす特徴画素を１つ以上選択し、前記注目画素から前記特徴画素への方向と距離を要素とするベクトルを算出すること、該ベクトル算出において得られた１つ以上のベクトルから、それらの長さの大小関係を求め、前記注目画素周辺の前記特徴画素の分布を表す特徴ベクトルへ変換することを有するものである。

また、本発明は画像処理方法において、前記注目画素を中心として探索方向を１つ以上定義し、各々の前記探索方向で予め設定した距離範囲内にある画素列の中から前記特徴画素を選択し、前記ベクトルを算出することを有するものである。

また、本発明は画像処理方法において、前記探索方向を任意に序列し、その前記序列に従い隣接した前記ベクトルの長さを比較して、その大小関係から前記特徴ベクトルを算出することを特徴とするものである。

また、本発明は画像処理方法において、算出される前記ベクトルまたは前記特徴ベクトルを基準画像および入力画像のある画素位置で求め、前記入力画像と前記基準画像の画素の類似度を前記ベクトルまたは前記特徴ベクトルの比較により判定することを有するものである。

また、本発明は画像処理方法において、前記基準画像と前記入力画像の所定の領域における画素に対して前記画素判定により、前記基準画像と前記入力画像との差分領域を算出することを特徴とするものである。

また、本発明は画像処理方法において、ユーザーが識別のために与えた文字，記号又は物体の対象パターンに対して算出した前記ベクトルまたは前記特徴ベクトルと入力パターンにおいて算出した前記ベクトルまたは前記特徴ベクトルを比較し、前記入力パターンが前記対象パターンであるか否かを判定することを特徴とするものである。

本発明の画像処理方法および装置においては、注目画素を中心とした周辺領域で、撮像条件の変化に対して安定した特徴画素を選択する機能と、注目画素から放射状に伸び、注目画素と特徴画素との距離と方向を表すベクトルを算出する機能と、そのベクトルの長さの大小関係を符号化した特徴ベクトル算出する機能を備え、その特徴ベクトルを画素および画像の比較に用いることで高速かつ安定なパターン検出や画素の類似度判定を行うことができるという利点がある。

本発明の画像処理方法および装置においては、従来の技術と比較して高速かつ安定なパターン検出や画素の類似度判定を行うことができるという利点がある。

（実施例１）
図１は、本発明の一実施例の全体図であり、本発明を背景差分に用いた例である。カメラ等の信号入力部１０１，入力信号から基準画像を作成または更新し、基準画像と比較して入力画像に出現した物体の検出行う画像処理部１０，検出結果を利用する出力部２０を備えている。

画像処理部１０において、特徴ベクトルを算出する特徴ベクトル部３０は、入力画像の画素におけるベクトルを算出するベクトル作成部１０２と、ベクトルから特徴量を作成する特徴抽出部１０３から構成される。また、基準画像との比較を行う変化抽出部１０４，入力画像の特徴および変化抽出部１０４の結果から基準画像の作成および更新，基準画像の特徴量の作成および更新を行う基準画像作成部１０５を備えている。

出力部２０においては、検出画像表示部１０６，検出画像配信部１０７，警報発報部
１０８を備えている。本実施例では信号入力部１０１で取得した入力信号を画像処理部
１０で処理し、結果検出画像表示部１０６で検出結果を表示する。これにより、オペレーターや管理者は検出結果を確認することができる。検出画像配信部１０７は検出結果のデータをネットワークに配信する部分であり、監視システムでの動体抽出シーン、あるいは車両検知での車両の通過するシーンなど、要求される結果のみを配信する場合に用いられる。警報発報部１０８はセキュリティシステムに用いられ、監視システムにおける不審者侵入の発報，監視エリアの異常検知、および侵入者によるカメラへの不正行為の発報に用いる。

図２に入力画像からベクトルを算出するベクトル作成部１０２での処理について詳細に示す。ベクトル作成部は特徴画素決定部２０１，特徴画素決定部２０１で決定した特徴画素からベクトルを生成するベクトル算出部２０２，算出したベクトルを保存領域に保持するベクトル記憶部２０３を備えている。ベクトル作成部１０２の各部の詳細を以下に示す。

特徴画素決定部２０１では信号入力部１０１で得た入力画像における画像内の全領域で、指定した注目画素と予め定義した判定条件を満たす特徴画素を求める。ここでは図３のように注目画素を中心として４５度おきの８方向とその方向番号を定めて、各方向でそれぞれ注目画素とある明度差を持つ画素を選択し特徴画素とする。まず、注目画素から方向０に並ぶ画素列から、ユーザーが設定した明度差のしきい値を超える画素を特徴画素として選択する。同様にこの処理を方向１から方向７まで行い、８つの特徴画素を決定する。

注目画素に対して特徴画素の満たす条件は、情景の明度分布，撮像装置の設置条件，対象とする物体のパターンによって任意に指定することもできる。具体的には、色情報，明度勾配，エッジ情報，距離、および周辺明度分布などの特徴を撮像環境によって選択する。たとえば、画像全体の明度変化の起こる可能性の高い情景には、エッジ強度と方向の情報により特徴画素を求める、もしくは特定の色情報が情景内で有効な特徴であれば、色情報に着目した特徴画素を求めるなど、対象に応じて適宜ユーザーが安定である特徴画素の判定条件を選択することが可能である。

ベクトル算出部２０２では特徴画素決定部２０１で求めた特徴画素を用いて、画像内の注目画素と８つの特徴画素までの距離と方向を表すベクトルを算出する。注目画素を中心とした特徴画素までの距離は、物体や背景が持つテクスチャの形状、すなわち注目画素を中心とする周辺領域における明度差に着目した空間的な特徴を表しているといえる。このベクトルの算出は画像内の全画素について行われ、ベクトル記憶部２０３における保存領域で保持される。

ベクトル作成部１０２で生成された各画素のベクトルを、特徴抽出部１０３では特徴ベクトルへ変換する。

図４に特徴抽出部１０３の処理について詳細に示す。特徴抽出部１０３において特徴ベクトル算出部４０１，特徴ベクトル算出部４０１で算出した特徴ベクトルを保存する特徴ベクトル保存部４０２を備えている。以下その詳細を説明する。

特徴ベクトル算出部４０１ではベクトル作成部１０２で算出した８つのベクトルの長さを比較し、その増減を符号化する。図５にその概要を示す。これは、図３における方向０から方向７まで隣接方向のベクトルの長さを比較し、例えば方向ｎの長さをｌ_n(ｎ＝０，Λ，７) と定義すると、ｌ_n＜ｌ_n+1であれば１、そうでなければ０とする。これを全方向で繰り返し８ｂｉｔの特徴ベクトルとする。

図５の（ａ）の楕円形状における注目画素の周辺形状を表す特徴ベクトルは「11000101」となる。また（ｂ）の三角形状においては「１１００１００１」であり、両者の符号は異なりそれぞれの形状パターンを表す。

この特徴ベクトルは各方向におけるベクトルの長さの関係を表す符号列であり、特徴ベクトルへ変換することで情報量が削減され、特徴量の保存領域や計算コストの削減につながる。特徴ベクトルの類似度を判定することは画素の周辺のテクスチャ形状を比較する一つの手段である。算出された特徴ベクトルは特徴ベクトル保存部４０２に保存される。保存された特徴ベクトルは、変化抽出部１０４および基準画像作成部１０５の処理において適宜用いられる。

図６に基準画像作成部１０５の処理について詳細に示す。基準画像作成部１０５では特徴抽出部１０３で作成された入力画像の特徴ベクトルと変化抽出部１０４で求めた結果を用いて基準画像の作成と更新、および基準画像における特徴ベクトルの作成と更新を行う。

基準画像更新判定部５０１では特徴抽出部１０３で保存された入力画像の特徴ベクトルと、変化抽出部１０４で求めた変化領域が入力され、それらから基準画像の更新判定が行われる。これは日照変化による情景の明度変化や情景の状況変化を捉えて誤検出に対応するためである。基準画像特徴更新部５０２において入力画像の特徴ベクトルおよび基準画像更新判定部５０１の判定結果を受けて基準画像の特徴ベクトルを更新する。そして、基準画像特徴保存部５０３にて更新された基準画像とその特徴ベクトルを保存する。

基準画像更新判定部５０１で日照変化や照明変動などの影響を低減するために、基準画像の全更新および部分更新する判定を行い、また、出現物体の長時間の停留や建物内における設備の設置変更などの情景変化がある場合の誤検出を低減するために基準画像を更新する判定が行われる。また、カメラ軸のぶれによる情景の変化に対する更新判定も行われる。

入力画像が入力される毎に基準画像更新を行うよう設定すれば、隣接した時系列画像のフレーム間差分として、本実施例を利用できる。

図７に変化抽出部１０４の処理について詳細に示す。変化抽出部１０４では特徴抽出部１０３および基準画像作成部１０５から得た入力画像と基準画像の特徴ベクトルの比較を行い、変化領域を求める。

特徴ベクトル比較部６０１では特徴抽出部１０３から得た入力画像の特徴ベクトルと、基準画像作成部１０５から得た基準画像の特徴ベクトルを比較する部分で、８ｂｉｔの符号列の比較演算を行う。

図８にその処理の詳細について示す。画像内の指定した位置で、入力画像と基準画像それぞれの特徴ベクトルの類似度を判定する。これは図に示すように入力画像と基準画像の符号列をｂｉｔ毎に一致判定を行う処理であり、その一致総数を予め設定したしきい値と比較し注目画素の類似性、すなわち注目画素が情景内に出現した物体であるか否かを判定する。これを画像内の画素全体で行うことで、入力画像の基準画像との差分画像を取得することができる。

特徴ベクトル比較部６０１で得た特徴ベクトルの比較結果から、変化領域抽出部６０２において入力画像と基準画像で出現物体による変化と思われる画素および領域を算出する。変化領域保存部６０３では変化領域抽出部６０２で求めた変化領域を保存領域で保持し、適宜出力部２０へ送る。

変化領域抽出部６０２において、出現物体と判定された変化画素の連結および変化領域の関連付けが行われる。変化領域において画素の抜けなどがあった場合、変化領域の膨張縮退処理、周辺領域における変化画素の分布の判定によって変化領域の補正を行う。

本実施例の画像処理部１０における処理は入力画像内の領域で処理を行い、ユーザーの設定で処理領域を指定することもできる。監視セキュリティでの入り口や重要物の領域、および車両検知での車両進入位置やナンバープレートの出現領域の指定を行うことができる。

ここで説明したベクトル算出部２０２においてベクトルを算出する場合、画像内において予想される照明変化などの条件変化に安定なエッジ強度の大きい画素などを選択し、その画素においてベクトルを算出することができる。これにより、条件変化に不安定な画素を除いて処理を行うことで、ロバストな評価値のみを求めることが可能である。

ベクトル算出部２０２においてベクトルを算出する場合、注目画素から特に着目したい方向や特徴を指定して、特徴画素決定部２０１で決定された特徴画素から任意に選択し、ベクトルを算出することができる。

前述したベクトルの長さの増減を符号化する方法では、長さの差分絶対値があるしきい値以下であれば０、それ以上に増分であれば１、減分であれば−１にし３次元ベクトルへの変換することもできる。さらにしきい値設定を多段階にして高精度化を図ることも可能である。

（実施例２）
本発明の変形例について、図９を用いて説明する。以下、この実施例においては特に言及しない限りにおいては前述の実施例と同様の構成を備えるものであり、前述の実施例と比較して変えた構成について述べる。ベクトル作成部１０２と特徴抽出部１０３で構成される特徴ベクトル部３０により算出された特徴ベクトルは、ユーザーが定義した固有の形状やパターンであるか否かを判定する認識処理に用いることができる。ここで本実施例では対象パターンを学習するパターン学習部７０１，パターン学習部７０１で学習した対象パターンの特徴ベクトルが保持される学習データ蓄積部７０２を備え、入力パターンが対象パターンであるか否かを判定するパターン識別部７０３も有している。

パターン認識の方法としてはまず事前に学習パターン部７０１にて検出対象のパターン学習を行う。検出対象の画像データの画素毎に特徴ベクトル部３０で特徴ベクトルを算出し、それを検出対象における特徴ベクトルとして学習データ蓄積部７０２で保持する。これをニューラルネットによる判別や識別器へ利用し、文字や記号の認識、バイオメトリクス認証、および車両識別へ適用することができる。パターン識別部７０３においてこれらの処理が行われる。

特徴ベクトル部３０で算出された特徴ベクトルは、注目画素の周辺領域のテクスチャ形状を表す符号列であり、事前に対象パターンとして与えた文字や記号などの画像データにおける特徴ベクトルを保持し、入力パターンの特徴ベクトルと比較することで入力パターンが対象パターンであるか否かを実行することが可能である。

本発明の画像処理方法及び装置によれば、例えば、監視カメラ，防犯カメラ等およびこれらに準ずる画像処理システムに適用することが可能である。

本発明の一実施例である背景差分を行う画像処理装置を示した図である。ベクトル作成部についての詳細を示した図である。特徴画素探索のための領域の方向番号を示した図である。特徴ベクトルを算出する特徴抽出部について示した図である。特徴ベクトルの算出についての概要を示した図である。基準画像作成部についての詳細を示した図である。入力画像と基準画像の変化領域を抽出する、変化領域抽出部について示した図である。入力画像と基準画像の特徴ベクトルの比較について示した図である。本発明の一実施例であるパターン認識処理を行う画像処理装置示した図である。

符号の説明

１０…画像処理部、２０…出力部、３０…特徴ベクトル部、１０１…信号入力部、１０２…ベクトル作成部、１０３…特徴抽出部、１０４…変化抽出部、１０５…基準画像作成部、１０６…検出画像表示部、１０７…検出画像配信部、１０８…警報発報部、２０１…特徴画素決定部、２０２…ベクトル算出部、２０３…ベクトル記憶部、４０１…特徴ベクトル算出部、４０２…特徴ベクトル保存部、５０１…基準画像更新判定部、５０２…基準画像特徴更新部、５０３…基準画像特徴保存部、６０１…特徴ベクトル比較部、６０２…変化領域抽出部、６０３…変化領域保存部、７０１…パターン学習部、７０２…学習データ蓄積部、７０３…パターン識別部。

Claims

取得した画像から、画像データ内における任意の位置の注目画素に関する領域で、予め設定した判定条件を満たす特徴画素を１つ以上選択し、前記注目画素から前記特徴画素への方向と距離を要素とするベクトルを算出するベクトル算出手段と、
該ベクトル算出手段において得られた１つ以上のベクトルから、それらの長さの大小関係を求め、前記注目画素周辺の前記特徴画素の分布を表す特徴ベクトルへ変換する特徴ベクトル算出手段とを備えたことを特徴とする画像処理装置。
請求項１の画像処理装置において、
前記注目画素を中心として探索方向を１つ以上定義し、各々の前記探索方向で予め設定した距離範囲内にある画素列の中から前記特徴画素を選択し、前記ベクトルを算出することを特徴とする画像処理装置。
請求項２の画像処理装置において、
前記探索方向を任意に序列し、その前記序列に従い隣接した前記ベクトルの長さを比較して、その大小関係から前記特徴ベクトルを算出することを特徴とする画像処理装置。
請求項１から請求項３のうちの一つの請求項の画像処理装置において、
算出される前記ベクトルまたは前記特徴ベクトルを基準画像および入力画像のある画素位置で求め、前記入力画像と前記基準画像の画素の類似度を前記ベクトルまたは前記特徴ベクトルの比較により判定する画素判定手段を備えたことを特徴とする画像処理装置。
請求項１から請求項４のうちの一つの請求項の画像処理装置において、
前記基準画像と前記入力画像の所定の領域における画素に対して前記画素判定手段により、前記基準画像と前記入力画像との差分領域を算出することを特徴とする画像処理装置。
請求項１から請求項３のうちの一つの請求項の画像処理装置において、
ユーザーが識別のために与えた文字、記号又は物体の対象パターンに対して算出した前記ベクトルまたは前記特徴ベクトルと、
入力パターンにおいて算出した前記ベクトルまたは前記特徴ベクトルを比較し、前記入力パターンが前記対象パターンであるか否かを判定することを特徴とする画像処理装置。