JPH04216182A - 物体認識処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、背景上のある領域に、
あるカテゴリーに属する物体が存在するか否かを識別す
る物体認識処理方法に関するものである。

【０００２】

【従来の技術】従来、固定されたカメラから撮影した画
像から画像中の指定された領域における物体の有無を識
別する方法としては、 （１）領域の輝度値からエッジ特徴、またはエッジの方
向、またはそれらから推定される物体の形状などの特徴
算出と、あらかじめ用意されている所の識別すべき物体
の同様の特徴量とを比較し、物体の有無を推定する方法
、 （２）領域の平均輝度値、領域の分割区画の平均輝度値
、微分画像の方向コード頻度分布、などを特徴量として
利用する方法などがあった。

【０００３】

【発明が解決しようとする課題】上記従来技術（１）に
おいては、あらかじめ物体に関するモデルをもっていな
ければならない。さらに、特定の同じ形状の物体である
ならば、そういったモデルを用意することは可能である
が、人物とか車といったようなあるカテゴリーとして定
義されるような物体が識別対象となる場合、そのカテゴ
リーに属する物体の一般的なモデルをたて、特徴量を算
出することは容易でない。また、その物体を特徴づける
ような量を、そのカテゴリーごとに用意しなければなら
ない。

【０００４】一方上記従来技術（２）においては、背景
画像の不均一パターン、環境の明るさの全体的な変動、
明るさの部分的な変動、などの影響を受け易いなどの問
題点があった。

【０００５】本発明は、上述した問題点を解消し、学習
画像と参照画像とにおけるエリアの輝度値から特徴ベク
トルを算出して識別系を設計し、参照画像と処理画像と
におけるエリアの輝度値から特徴ベクトルを算出して、
エリアにおける物体の有無を識別することを目的とする
。

【０００６】

【課題を解決するための手段】本発明では、上記目的を
達成するため、まず、各領域（エリア）内で輝度値を分
散と平均で正規化し、次に、各領域を小区画に分割し、
そして、参照画像と学習画像とから各小区画ごとに画像
間の類似度を表すような特徴量を算出して、識別系を設
計し、さらに、参照画像と処理画像とから同様の処理に
よって特徴量を算出し、先の識別系と算出された特徴量
とから、各領域での物体の有無を識別するようにする。

【０００７】

【作用】　　　　従来技術とは、識別対象に関する先験
的な知識を必要としないこと、また、正規化処理を施す
ことによって、撮影環境の全体的な明るさの変動、他の
物体の影の影響、などに影響されにくいこと、さらに小
区画に分割することによって、撮影環境の部分的な明る
さの変動、領域中の小さな異物体の影響、などに影響さ
れにくいこと、さらに、参照画像を利用して特徴量を算
出しているため、背景上の不均一パターン、などに影響
されにくいこと、などの点が異なる。

【０００８】

【実施例】図２は、この発明の一実施例による物体認識
処理方法の全体構成を示すブロック図である。

【０００９】図中の符号１−１は画像入力部、１−２は
学習画像蓄積部、１−３は参照画像蓄積部、１−４は処
理画像蓄積部、１−５は識別エリアデータ、１−６は正
規化処理部、１−７は学習用物体有無データ入力部、１
−８は物体有無データ、１−９は小区画分割処理部、１
−１０は特徴量算出部、１−１１は特徴ベクトル、１−
１２は識別系設計部、１−１３は識別処理部、１−１４
は識別結果送出部を表している。

【００１０】この動作を説明すると、まず画像入力部１
−１から、学習画像、参照画像が学習画像蓄積部１−２
、参照画像蓄積部１−３へそれぞれ送られる。学習画像
は、識別エリアデータ１−５とともに、学習用物体有無
データ入力部１−７へ送られ、ここで学習画像の各エリ
ア上に有無を識別すべき物体があるかどうかを見て、物
体有無データ１−８を生成する。物体有無データ１−８
は、学習を行う際の教師データとなる。

【００１１】次に蓄積部１−２，１−３より学習画像、
参照画像が、また識別エリアデータ１−５が、正規化処
理部１−６へ送られ、各画像の各エリア内輝度値の平均
と分散とがすべてのエリアで等しくなるように輝度値の
正規化を行う。正規化処理部１−６の実施例については
、後述する。

【００１２】正規化処理された画像である、正規化学習
画像と正規化参照画像とは、小区画分割処理部１−９へ
送られ、各エリアは小区画に分割される。小区画分割処
理部１−９の実施例については、図３を参照して述べる
。

【００１３】小区画に分割された正規化画像の各エリア
の各小区画の輝度値から、特徴量算出部１−１０におい
て、特徴量が算出され、同一エリアから計算された特徴
量をあらかじめ番号付けされた小区画の順に並べたもの
が特徴ベクトル１−１１である。特徴量算出部１−１０
の実施例については、後述する。

【００１４】識別系設計部１−１２では算出された特徴
ベクトル１−１１と、物体有無データ１−８からＦｉｓ
ｈｅｒの線形識別法やｋ−最近隣法や神経回路網法など
既存の学習アルゴリズムとを使って、識別エリアにおけ
る物体の有無を識別する識別系を作る。構成された識別
系は、識別処理部１−１３で使われる。

【００１５】物体の有無を識別したい画像である処理画
像は処理画像蓄積部１−４から正規化処理部１−６へ送
られ、識別エリアデータ１−５を使って正規化処理され
て正規化処理画像となり、さらに小区画分割処理部１−
９で各エリアは小区画に分割される。

【００１６】小区画に分割された正規化参照画像と正規
化処理画像とから特徴量算出部１−１０において特徴量
が算出され、特徴ベクトル１−１１となる。

【００１７】特徴ベクトルは、すでに構成された識別系
を用いて、識別処理部１−１３において、処理画像の各
エリアに識別すべき物体があるかどうかを識別して、そ
の結果を識別結果送出部１−１４へ送る。

【００１８】正規化処理部１−６について説明する。

【数１】

【数２】

【数３】

【数４】

【数５】

【数６】

【００１９】上記（２−１）式ないし（２−６）式にお
いて、ｘを画像上の位置ベクトルを表す変数とし、Ａｉ
　を画像上の第ｉ番目のエリアに含まれる画素の位置ベ
クトルからなる集合とし、Ｎｉ　を画像上の第ｉ番目の
エリアに含まれる画素の個数とし、ｇ０　（ｘ）　，ｇ
１　（ｘ）　，ｇ２　（ｘ）　をそれぞれ、参照画像、
学習画像、処理画像の位置ｘにある画素の輝度値である
とする。

【００２０】このとき、正規化処理後の位置ｘにおける
画素の輝度値Ｎ（ｇｋ　（ｘ））は、一実施例として、
（２−１）式から求めることができる。ここで、ｕと、
σとは正規化処理前の画像の第ｉ番目のエリアの平均と
分散とである。また、正規化処理後の画像の第ｉ番目の
エリアの平均と分散の平方根ｕとσとは、（２−４）式
や（２−５）式の様に、エリアによらず、それぞれ、０
，１であり、正規化処理後の輝度値は、輝度値の平均と
分散とについて正規化された値となっている。なお、（
２−１）式、（２−２）式、（２−３）式、（２−４）
式、（２−５）式において、ｉ、ｋの範囲は、（２−６
）式で与えられる。

【００２１】 図３は、小区画分割処理部の一実施例を説明する図であ
る。 図３（ａ）ないし（ｄ）は、それぞれエリアが四角形で
ある場合の一実施例である。

【００２２】 図３（ａ）では、上辺、下辺をＬ１　分割、左辺、右辺
をＭ１　分割し、それぞれ対応する点を結んだ線を小区
画の境界としたもので、（３−１−１）式で表される数
の小区画に分割される。

【数７】

【００２３】 図３（ｂ）では、対角線の交点をＰとし、点Ｐから各頂
点までの線分を、（３−２−１）式を満たすようにＬ２
　分割したもので、（３−２−２）式で表される数の小
区画に分割される。ここで、（３−２−１）式の様に分
割の比を決めた理由は、各小区画の面積が近似的に等し
くなるようにするためである。

【数８】

【００２４】 図３（ｃ）では、上辺、下辺をＬ３　分割、左辺、右辺
をＭ３分割し、対角線の交点をＰとし、点Ｐから各辺の
分割点までの線分を小区画の境界としたもので、（３−
３−１）式で表される数の小区画に分割される。

【数９】

【００２５】 図３（ｄ）では、上辺、下辺または左辺、右辺を２分割
、左辺、右辺または上辺、下辺をＭ４　分割し、それぞ
れ対応する点を結んだ線を小区画の境界としたもので、
（３−４−１）式で表される数の小区画に分割される。

【数１０】

【００２６】ここで特徴量算出部１−１０について説明
する。

【数１１】

【数１２】

【数１３】

【数１４】

【数１５】

【数１６】

【数１７】

【数１８】

【数１９】

【数２０】

【数２１】

【数２２】

【００２７】図３と同様の表記法を用い、さらに、Ｒｉ
ｊを画像上の第ｉ番目のエリアの第ｊ番目の小区画に含
まれる画素の位置ベクトルからなる集合とし、Ｎｉｊを
画像上の第ｉ番目のエリアの第ｊ番目の小区画に含まれ
る画素の個数とする。ただし、ｉ＝１，２，．．．，Ｎ
Ａ　，ｊ＝１，２，．．．，ＮＲ　である。

【００２８】参照画像、学習画像、処理画像の第ｉ番目
のエリアの第ｊ番目の小区画の輝度値の平均は（４−１
）式で表され、（共）分散は（４−２）式で表される。

【００２９】正規化画像についても同様に平均は（４−
３）式で表され、（共）分散は（４−４）式で表される
。

【００３０】特徴量として以下に挙げるもののいずれか
を利用する。 ａ）正規化参照画像と正規化対象画像との輝度値の差を
新たな輝度値とした画像（正規化差分画像）の小区画の
輝度値の平均値を特徴量とする。これは（４−５）式で
表される。 ｂ）正規化差分画像の小区画の輝度値の分散値を特徴量
とする。これは（４−６）式で表される。 ｃ）参照画像と処理画像の対応する小区画の対応する点
の輝度値の分布から計算されるＰｅａｒｓｏｎの積率相
関係数を特徴量とする。これは（４−７）式で表される
。ただしＰｅａｒｓｏｎの積率相関係数の定義式におけ
る分母が０になるときには、（４−７）式は零とする。 ｄ）正規化参照画像と正規化対象画像との対応する点の
輝度値の分布について、その分布全体に対する主軸方向
と副軸方向との寄与の相違度を表す量を特徴量とする。 これは例えば、（４−８）式で表される。 ｅ）正規化参照画像と正規化対象画像との対応する点の
輝度値の分布について、主軸の方向を表す量を特徴量と
する。これは例えば、（４−９）式で表される。ただし
、（４−１）式ないし（４−９）式におけるα，β，γ
の夫々については、（４−１０）式、（４−１１）式、
（４−１２）式で表される量である。 ｆ）上記ａ），ｂ），ｃ），ｄ），ｅ）のうちの複数の
特徴量の線形和と積で表される量を特徴量とする、もし
くは、 ｇ）上記ａ），ｂ），ｃ），ｄ），ｅ），ｆ）のうちの
複数の特徴量を同時に特徴量とする。

【００３１】図４は、特徴量算出部に関連する（４−８
）式や（４−９）式で表されるもののもつ意味を図解し
たものである。

【００３２】図４において、Ｘ軸は正規化学習画像もし
くは正規化処理画像の第ｉエリアの第ｊ小区画の輝度値
を表し、Ｙ軸は正規化参照画像の第ｉエリアの第ｊ小区
画の輝度値を表す。グラフ中の楕円は（Ｘ，Ｙ）の分布
を表す。この分布を主成分分析したときの、主軸の方向
と副軸の方向とが、ベクトルｕとベクトルｖとであり、
それぞれのベクトルに対応する固有値がλと上部に山形
をつけたλとであるとする。また主軸方向と直線Ｙ＝Ｘ
とのなす角をθとする。

【００３３】このとき、（４−８）式と（４−９）式と
の特徴量は、夫々（５−１）式と（５−２）式とで表す
ことができる。

【数２３】

【数２４】

【００３４】図５ないし図８は、図２における処理の流
れに沿って、その結果を表示したものである。

【００３５】本実施例では、カメラは、常に駐車場の情
景を同じ位置から撮影し、有無を識別すべき物体は、車
両であるとする。すなわち、特定の車両ではなく、車両
一般の有無を識別するものとしている。それぞれの図に
おいて、識別すべきエリアは白枠で囲んで図示してあり
、図５で番号付けしてあるように、６４個のエリアが指
定されている。

【００３６】 図５は処理画像の例である。 図６は参照画像の例である。 図７は正規化処理画像の例であり、図５から処理された
ものである。

【００３７】図８は処理画像の各エリアにおいて、車両
の有無を識別して表示したものである。各エリア中に、
２本の斜線と１本の縦線が描いてあれば、そのエリアに
は、車両が存在すると識別されたことを意味している。

【００３８】ここで、判定には、図５、図６からの処理
結果が用いられており、本実施例において使用した、特
徴量は、

【数２５】 であり、分割処理部では、図３（ｃ）の実施例における
状況を使用し、識別系の設計にはＦｉｓｈｅｒの線形判
別関数を使用している。

【００３９】

【発明の効果】以上説明したように、本発明によれば、
カメラ位置が固定で撮影された画像に対して、あるカテ
ゴリーに属する物体の有無を識別したい複数の領域（エ
リア）を指定したとき、任意の物体の色、形状に対して
、エリア上における物体の有無を認識することができ、
しかも、 ａ：エリアの位置、 ｂ：物体のないときに撮影されるエリアの背景にある不
均一パターン、 ｃ：降雨など自然現象による背景の状態の変化、ｄ：日
照（太陽位置の季節変動、時間変動、および天候の影響
）の変動による背景及び物体の明るさの変化、ｅ：建築
物、雲、他物体などの影、 ｆ：隣接物体による隠ぺい、 ｇ：識別すべき物体に比して小さなエリア上の異物体、
などの影響を受けにくいという利点がある。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の一実施例による物体認識処理方法の構
成を示すブロック図である。

【図３】小区画分割処理部の実施例を説明する図である
。

【図４】特徴量算出部に関連する図である。

【図５】処理画像の例を表す。

【図６】参照画像の例を表す。

【図７】正規化処理画像の例を表す。

【図８】識別結果を表す。

【符号の説明】

１−１　　画像入力部 １−２　　学習画像蓄積部 １−３　　参照画像蓄積部 １−４　　処理画像蓄積部 １−５　　識別エリアデータ １−６　　正規化処理部 １−７　　学習用物体有無データ入力部１−８　　物体
有無データ １−９　　小区画分割処理部 １−１０　　特徴量算出部 １−１１　　特徴ベクトル １−１２　　識別系設計部 １−１３　　識別処理部 １−１４　　識別結果送出部

Claims (7)

【特許請求の範囲】
1. 【請求項１】　　カメラ位置から撮影された画像におい
   て、あるカテゴリーに属する物体の有無を識別したい複
   数のエリアをあらかじめ指定し、同一カメラ位置から撮
   影され、且つ、該物体が存在しない参照画像を撮影し、
   同一カメラ位置から撮影され、且つ、画像上の該エリア
   において該物体が存在するか否かがあらかじめ判明して
   いる学習画像を撮影し、上記参照画像と学習画像とから
   該エリアの特徴ベクトルを算出し、この特徴ベクトルか
   ら該エリアに該物体が存在するか否かを識別して識別系
   を設計し、同一カメラ位置から撮影され、且つ、画像上
   の該エリアにおいて該物体が存在するか否かが判明して
   いない処理画像を撮影し、処理画像中の該エリアに該物
   体が存在するか否かを識別することを特徴とする物体認
   識処理方法。
2. 【請求項２】　　参照画像と処理画像と、あるいは参照
   画像と学習画像と（以降、学習画像と処理画像とをあわ
   せて対象画像と称する）から、該エリアの特徴ベクトル
   を算出する上記方法において、 ａ）各エリア内の画素の輝度値を各領域の画素の輝度値
   の平均及び各領域の画素の輝度値の分散がエリアによら
   ず等しくなるように正規化し、 ｂ）各エリアを小区画に分割し、 ｃ）各小区画について特徴量を計算し、ｄ）該エリアの
   複数個の小区画について計算された（小区画の個数）×
   （１つの区画から計算される特徴量の個数） で与えられる個数の特徴量を、そのエリアの特徴ベクト
   ルとすることを特徴とする請求項１記載の物体認識処理
   方法。
3. 【請求項３】　　上記小区画の特徴量の計算において、
   請求項２の正規化処理を行った正規化参照画像と正規化
   処理を行った正規化対象画像との輝度値の差を新たな輝
   度値とした正規化差分画像における小区画の輝度値の平
   均値を特徴量とすることを特徴とする請求項２記載の物
   体認識処理方法。
4. 【請求項４】　　請求項３の正規化差分画像の小区画の
   輝度値の分散値を特徴量とすることを特徴とする請求項
   ３記載の物体認識処理方法。
5. 【請求項５】　　参照画像と処理画像の対応する小区画
   の対応する点の輝度値の分布から計算されるＰｅａｒｓ
   ｏｎの積率相関係数を特徴量とすることを特徴とする請
   求項１記載の物体認識処理方法。
6. 【請求項６】　　正規化参照画像と正規化対象画像との
   対応する点の輝度値の分布について、その分布全体に対
   する主軸方向と副軸方向との寄与の相違度を表す量を特
   徴量とすることを特徴とする請求項３記載の物体認識処
   理方法。
7. 【請求項７】　　正規化参照画像と正規化対象画像との
   対応する点の輝度値の分布について、主軸方向を表す量
   を特徴量とすることを特徴とする請求項３記載の物体認
   識処理方法。