JP2635447B2 - 物体認識処理方法 - Google Patents
物体認識処理方法Info
- Publication number
- JP2635447B2 JP2635447B2 JP2411144A JP41114490A JP2635447B2 JP 2635447 B2 JP2635447 B2 JP 2635447B2 JP 2411144 A JP2411144 A JP 2411144A JP 41114490 A JP41114490 A JP 41114490A JP 2635447 B2 JP2635447 B2 JP 2635447B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- learning
- feature
- normalization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、背景上のある領域に、
あるカテゴリーに属する物体が存在するか否かを識別す
る物体認識処理方法に関するものである。
あるカテゴリーに属する物体が存在するか否かを識別す
る物体認識処理方法に関するものである。
【０００２】
【従来の技術】従来、固定されたカメラから撮影した画
像から画像中の指定された領域における物体の有無を識
別する方法としては、 （１）領域の輝度値からエッジ特徴、またはエッジの方
向、またはそれらから推定される物体の形状などの特徴
算出と、あらかじめ用意されている所の識別すべき物体
の同様の特徴量とを比較し、物体の有無を推定する方
法、 （２）領域の平均輝度値、領域の分割区画の平均輝度
値、微分画像の方向コード頻度分布、などを特徴量とし
て利用する方法などがあった。
像から画像中の指定された領域における物体の有無を識
別する方法としては、 （１）領域の輝度値からエッジ特徴、またはエッジの方
向、またはそれらから推定される物体の形状などの特徴
算出と、あらかじめ用意されている所の識別すべき物体
の同様の特徴量とを比較し、物体の有無を推定する方
法、 （２）領域の平均輝度値、領域の分割区画の平均輝度
値、微分画像の方向コード頻度分布、などを特徴量とし
て利用する方法などがあった。
【０００３】
【発明が解決しようとする課題】上記従来技術（１）に
おいては、あらかじめ物体に関するモデルをもっていな
ければならない。さらに、特定の同じ形状の物体である
ならば、そういったモデルを用意することは可能である
が、人物とか車といったようなあるカテゴリーとして定
義されるような物体が識別対象となる場合、そのカテゴ
リーに属する物体の一般的なモデルをたて、特徴量を算
出することは容易でない。また、その物体を特徴づける
ような量を、そのカテゴリーごとに用意しなければなら
ない。
おいては、あらかじめ物体に関するモデルをもっていな
ければならない。さらに、特定の同じ形状の物体である
ならば、そういったモデルを用意することは可能である
が、人物とか車といったようなあるカテゴリーとして定
義されるような物体が識別対象となる場合、そのカテゴ
リーに属する物体の一般的なモデルをたて、特徴量を算
出することは容易でない。また、その物体を特徴づける
ような量を、そのカテゴリーごとに用意しなければなら
ない。
【０００４】一方上記従来技術（２）においては、背景
画像の不均一パターン、環境の明るさの全体的な変動、
明るさの部分的な変動、などの影響を受け易いなどの問
題点があった。
画像の不均一パターン、環境の明るさの全体的な変動、
明るさの部分的な変動、などの影響を受け易いなどの問
題点があった。
【０００５】本発明は、上述した問題点を解消し、学習
画像と参照画像とにおけるエリアの輝度値から特徴ベク
トルを算出して識別系を設計し、参照画像と処理画像と
におけるエリアの輝度値から特徴ベクトルを算出して、
エリアにおける物体の有無を識別することを目的とす
る。
画像と参照画像とにおけるエリアの輝度値から特徴ベク
トルを算出して識別系を設計し、参照画像と処理画像と
におけるエリアの輝度値から特徴ベクトルを算出して、
エリアにおける物体の有無を識別することを目的とす
る。
【０００６】
【課題を解決するための手段】本発明では、上記目的を
達成するため、まず、各領域（エリア）内で輝度値を分
散と平均で正規化し、次に、各領域を小区画に分割し、
そして、参照画像と学習画像とから各小区画ごとに画像
間の類似度を表すような特徴量を算出して、識別系を設
計し、さらに、参照画像と処理画像とから同様の処理に
よって特徴量を算出し、先の識別系と算出された特徴量
とから、各領域での物体の有無を識別するようにする。
達成するため、まず、各領域（エリア）内で輝度値を分
散と平均で正規化し、次に、各領域を小区画に分割し、
そして、参照画像と学習画像とから各小区画ごとに画像
間の類似度を表すような特徴量を算出して、識別系を設
計し、さらに、参照画像と処理画像とから同様の処理に
よって特徴量を算出し、先の識別系と算出された特徴量
とから、各領域での物体の有無を識別するようにする。
【０００７】
【作用】 従来技術とは、識別対象に関する先験的な
知識を必要としないこと、また、正規化処理を施すこと
によって、撮影環境の全体的な明るさの変動、他の物体
の影の影響、などに影響されにくいこと、さらに小区画
に分割することによって、撮影環境の部分的な明るさの
変動、領域中の小さな異物体の影響、などに影響されに
くいこと、さらに、参照画像を利用して特徴量を算出し
ているため、背景上の不均一パターン、などに影響され
にくいこと、などの点が異なる。
知識を必要としないこと、また、正規化処理を施すこと
によって、撮影環境の全体的な明るさの変動、他の物体
の影の影響、などに影響されにくいこと、さらに小区画
に分割することによって、撮影環境の部分的な明るさの
変動、領域中の小さな異物体の影響、などに影響されに
くいこと、さらに、参照画像を利用して特徴量を算出し
ているため、背景上の不均一パターン、などに影響され
にくいこと、などの点が異なる。
【０００８】
【実施例】図２は、この発明の一実施例による物体認識
処理方法の全体構成を示すブロック図である。
処理方法の全体構成を示すブロック図である。
【０００９】図中の符号１−１は画像入力部、１−２は
学習画像蓄積部、１−３は参照画像蓄積部、１−４は処
理画像蓄積部、１−５は識別エリアデータ、１−６は正
規化処理部、１−７は学習用物体有無データ入力部、１
−８は物体有無データ、１−９は小区画分割処理部、１
−１０は特徴量算出部、１−１１は特徴ベクトル、１−
１２は識別系設計部、１−１３は識別処理部、１−１４
は識別結果送出部を表している。
学習画像蓄積部、１−３は参照画像蓄積部、１−４は処
理画像蓄積部、１−５は識別エリアデータ、１−６は正
規化処理部、１−７は学習用物体有無データ入力部、１
−８は物体有無データ、１−９は小区画分割処理部、１
−１０は特徴量算出部、１−１１は特徴ベクトル、１−
１２は識別系設計部、１−１３は識別処理部、１−１４
は識別結果送出部を表している。
【００１０】この動作を説明すると、まず画像入力部１
−１から、学習画像、参照画像が学習画像蓄積部１−
２、参照画像蓄積部１−３へそれぞれ送られる。学習画
像は、識別エリアデータ１−５とともに、学習用物体有
無データ入力部１−７へ送られ、ここで学習画像の各エ
リア上に有無を識別すべき物体があるかどうかを見て、
物体有無データ１−８を生成する。物体有無データ１−
８は、学習を行う際の教師データとなる。
−１から、学習画像、参照画像が学習画像蓄積部１−
２、参照画像蓄積部１−３へそれぞれ送られる。学習画
像は、識別エリアデータ１−５とともに、学習用物体有
無データ入力部１−７へ送られ、ここで学習画像の各エ
リア上に有無を識別すべき物体があるかどうかを見て、
物体有無データ１−８を生成する。物体有無データ１−
８は、学習を行う際の教師データとなる。
【００１１】次に蓄積部１−２，１−３より学習画像、
参照画像が、また識別エリアデータ１−５が、正規化処
理部１−６へ送られ、各画像の各エリア内輝度値の平均
と分散とがすべてのエリアで等しくなるように輝度値の
正規化を行う。正規化処理部１−６の実施例について
は、後述する。
参照画像が、また識別エリアデータ１−５が、正規化処
理部１−６へ送られ、各画像の各エリア内輝度値の平均
と分散とがすべてのエリアで等しくなるように輝度値の
正規化を行う。正規化処理部１−６の実施例について
は、後述する。
【００１２】正規化処理された画像である、正規化学習
画像と正規化参照画像とは、小区画分割処理部１−９へ
送られ、各エリアは小区画に分割される。小区画分割処
理部１−９の実施例については、図３を参照して述べ
る。
画像と正規化参照画像とは、小区画分割処理部１−９へ
送られ、各エリアは小区画に分割される。小区画分割処
理部１−９の実施例については、図３を参照して述べ
る。
【００１３】小区画に分割された正規化画像の各エリア
の各小区画の輝度値から、特徴量算出部１−１０におい
て、特徴量が算出され、同一エリアから計算された特徴
量をあらかじめ番号付けされた小区画の順に並べたもの
が特徴ベクトル１−１１である。特徴量算出部１−１０
の実施例については、後述する。
の各小区画の輝度値から、特徴量算出部１−１０におい
て、特徴量が算出され、同一エリアから計算された特徴
量をあらかじめ番号付けされた小区画の順に並べたもの
が特徴ベクトル１−１１である。特徴量算出部１−１０
の実施例については、後述する。
【００１４】識別系設計部１−１２では算出された特徴
ベクトル１−１１と、物体有無データ１−８からＦｉｓ
ｈｅｒの線形識別法やｋ−最近隣法や神経回路網法など
既存の学習アルゴリズムとを使って、識別エリアにおけ
る物体の有無を識別する識別系を作る。構成された識別
系は、識別処理部１−１３で使われる。
ベクトル１−１１と、物体有無データ１−８からＦｉｓ
ｈｅｒの線形識別法やｋ−最近隣法や神経回路網法など
既存の学習アルゴリズムとを使って、識別エリアにおけ
る物体の有無を識別する識別系を作る。構成された識別
系は、識別処理部１−１３で使われる。
【００１５】物体の有無を識別したい画像である処理画
像は処理画像蓄積部１−４から正規化処理部１−６へ送
られ、識別エリアデータ１−５を使って正規化処理され
て正規化処理画像となり、さらに小区画分割処理部１−
９で各エリアは小区画に分割される。
像は処理画像蓄積部１−４から正規化処理部１−６へ送
られ、識別エリアデータ１−５を使って正規化処理され
て正規化処理画像となり、さらに小区画分割処理部１−
９で各エリアは小区画に分割される。
【００１６】小区画に分割された正規化参照画像と正規
化処理画像とから特徴量算出部１−１０において特徴量
が算出され、特徴ベクトル１−１１となる。
化処理画像とから特徴量算出部１−１０において特徴量
が算出され、特徴ベクトル１−１１となる。
【００１７】特徴ベクトルは、すでに構成された識別系
を用いて、識別処理部１−１３において、処理画像の各
エリアに識別すべき物体があるかどうかを識別して、そ
の結果を識別結果送出部１−１４へ送る。
を用いて、識別処理部１−１３において、処理画像の各
エリアに識別すべき物体があるかどうかを識別して、そ
の結果を識別結果送出部１−１４へ送る。
【００１８】正規化処理部１−６について説明する。
【数１】
【数２】
【数３】
【数４】
【数５】
【数６】
【００１９】上記（２−１）式ないし（２−６）式にお
いて、ｘを画像上の位置ベクトルを表す変数とし、Ａi
を画像上の第ｉ番目のエリアに含まれる画素の位置ベク
トルからなる集合とし、Ｎi を画像上の第ｉ番目のエリ
アに含まれる画素の個数とし、ｇ0 (x) ，ｇ1 (x) ，ｇ
2 (x) をそれぞれ、参照画像、学習画像、処理画像の位
置ｘにある画素の輝度値であるとする。
いて、ｘを画像上の位置ベクトルを表す変数とし、Ａi
を画像上の第ｉ番目のエリアに含まれる画素の位置ベク
トルからなる集合とし、Ｎi を画像上の第ｉ番目のエリ
アに含まれる画素の個数とし、ｇ0 (x) ，ｇ1 (x) ，ｇ
2 (x) をそれぞれ、参照画像、学習画像、処理画像の位
置ｘにある画素の輝度値であるとする。
【００２０】このとき、正規化処理後の位置ｘにおける
画素の輝度値Ｎ（ｇk (x))は、一実施例として、（２−
１）式から求めることができる。ここで、ｕと、σとは
正規化処理前の画像の第ｉ番目のエリアの平均と分散と
である。また、正規化処理後の画像の第ｉ番目のエリア
の平均と分散の平方根ｕとσとは、（２−４）式や（２
−５）式の様に、エリアによらず、それぞれ、０，１で
あり、正規化処理後の輝度値は、輝度値の平均と分散と
について正規化された値となっている。なお、（２−
１）式、（２−２）式、（２−３）式、（２−４）式、
（２−５）式において、ｉ、ｋの範囲は、（２−６）式
で与えられる。
画素の輝度値Ｎ（ｇk (x))は、一実施例として、（２−
１）式から求めることができる。ここで、ｕと、σとは
正規化処理前の画像の第ｉ番目のエリアの平均と分散と
である。また、正規化処理後の画像の第ｉ番目のエリア
の平均と分散の平方根ｕとσとは、（２−４）式や（２
−５）式の様に、エリアによらず、それぞれ、０，１で
あり、正規化処理後の輝度値は、輝度値の平均と分散と
について正規化された値となっている。なお、（２−
１）式、（２−２）式、（２−３）式、（２−４）式、
（２−５）式において、ｉ、ｋの範囲は、（２−６）式
で与えられる。
【００２１】 図３は、小区画分割処理部の一実施例を説明する図であ
る。 図３（ａ）ないし（ｄ）は、それぞれエリアが四角形で
ある場合の一実施例である。
る。 図３（ａ）ないし（ｄ）は、それぞれエリアが四角形で
ある場合の一実施例である。
【００２２】 図３（ａ）では、上辺、下辺をＬ1 分割、左辺、右辺を
Ｍ1 分割し、それぞれ対応する点を結んだ線を小区画の
境界としたもので、（３−１−１）式で表される数の小
区画に分割される。
Ｍ1 分割し、それぞれ対応する点を結んだ線を小区画の
境界としたもので、（３−１−１）式で表される数の小
区画に分割される。
【数７】
【００２３】 図３（ｂ）では、対角線の交点をＰとし、点Ｐから各頂
点までの線分を、（３−２−１）式を満たすようにＬ2
分割したもので、（３−２−２）式で表される数の小区
画に分割される。ここで、（３−２−１）式の様に分割
の比を決めた理由は、各小区画の面積が近似的に等しく
なるようにするためである。
点までの線分を、（３−２−１）式を満たすようにＬ2
分割したもので、（３−２−２）式で表される数の小区
画に分割される。ここで、（３−２−１）式の様に分割
の比を決めた理由は、各小区画の面積が近似的に等しく
なるようにするためである。
【数８】
【００２４】 図３（ｃ）では、上辺、下辺をＬ3 分割、左辺、右辺を
Ｍ3分割し、対角線の交点をＰとし、点Ｐから各辺の分
割点までの線分を小区画の境界としたもので、（３−３
−１）式で表される数の小区画に分割される。
Ｍ3分割し、対角線の交点をＰとし、点Ｐから各辺の分
割点までの線分を小区画の境界としたもので、（３−３
−１）式で表される数の小区画に分割される。
【数９】
【００２５】 図３（ｄ）では、上辺、下辺または左辺、右辺を２分
割、左辺、右辺または上辺、下辺をＭ4 分割し、それぞ
れ対応する点を結んだ線を小区画の境界としたもので、
（３−４−１）式で表される数の小区画に分割される。
割、左辺、右辺または上辺、下辺をＭ4 分割し、それぞ
れ対応する点を結んだ線を小区画の境界としたもので、
（３−４−１）式で表される数の小区画に分割される。
【数１０】
【００２６】ここで特徴量算出部１−１０について説明
する。
する。
【数１１】
【数１２】
【数１３】
【数１４】
【数１５】
【数１６】
【数１７】
【数１８】
【数１９】
【数２０】
【数２１】
【数２２】
【００２７】図３と同様の表記法を用い、さらに、Ｒij
を画像上の第ｉ番目のエリアの第ｊ番目の小区画に含ま
れる画素の位置ベクトルからなる集合とし、Ｎijを画像
上の第ｉ番目のエリアの第ｊ番目の小区画に含まれる画
素の個数とする。ただし、ｉ＝１，２，．．．，ＮA ，
ｊ＝１，２，．．．，ＮR である。
を画像上の第ｉ番目のエリアの第ｊ番目の小区画に含ま
れる画素の位置ベクトルからなる集合とし、Ｎijを画像
上の第ｉ番目のエリアの第ｊ番目の小区画に含まれる画
素の個数とする。ただし、ｉ＝１，２，．．．，ＮA ，
ｊ＝１，２，．．．，ＮR である。
【００２８】参照画像、学習画像、処理画像の第ｉ番目
のエリアの第ｊ番目の小区画の輝度値の平均は（４−
１）式で表され、（共）分散は（４−２）式で表され
る。
のエリアの第ｊ番目の小区画の輝度値の平均は（４−
１）式で表され、（共）分散は（４−２）式で表され
る。
【００２９】正規化画像についても同様に平均は（４−
３）式で表され、（共）分散は（４−４）式で表され
る。
３）式で表され、（共）分散は（４−４）式で表され
る。
【００３０】特徴量として以下に挙げるもののいずれか
を利用する。 ａ）正規化参照画像と正規化対象画像との輝度値の差を
新たな輝度値とした画像（正規化差分画像）の小区画の
輝度値の平均値を特徴量とする。これは（４−５）式で
表される。 ｂ）正規化差分画像の小区画の輝度値の分散値を特徴量
とする。これは（４−６）式で表される。 ｃ）参照画像と処理画像の対応する小区画の対応する点
の輝度値の分布から計算されるＰｅａｒｓｏｎの積率相
関係数を特徴量とする。これは（４−７）式で表され
る。ただしＰｅａｒｓｏｎの積率相関係数の定義式にお
ける分母が０になるときには、（４−７）式は零とす
る。 ｄ）正規化参照画像と正規化対象画像との対応する点の
輝度値の分布について、その分布全体に対する主軸方向
と副軸方向との寄与の相違度を表す量を特徴量とする。
これは例えば、（４−８）式で表される。 ｅ）正規化参照画像と正規化対象画像との対応する点の
輝度値の分布について、主軸方向とベクトル（１，１）
方向との差を表す量を特徴量とする。これは例えば、
（４−９）式で表される。ただし、（４−１）式ないし
（４−９）式におけるα，β，γの夫々については、
（４−１０）式、（４−１１）式、（４−１２）式で表
される量である。 ｆ）上記ａ），ｂ），ｃ），ｄ），ｅ）のうちの複数の
特徴量の線形和と積で表される量を特徴量とする、もし
くは、 ｇ）上記ａ），ｂ），ｃ），ｄ），ｅ），ｆ）のうちの
複数の特徴量を同時に特徴量とする。
を利用する。 ａ）正規化参照画像と正規化対象画像との輝度値の差を
新たな輝度値とした画像（正規化差分画像）の小区画の
輝度値の平均値を特徴量とする。これは（４−５）式で
表される。 ｂ）正規化差分画像の小区画の輝度値の分散値を特徴量
とする。これは（４−６）式で表される。 ｃ）参照画像と処理画像の対応する小区画の対応する点
の輝度値の分布から計算されるＰｅａｒｓｏｎの積率相
関係数を特徴量とする。これは（４−７）式で表され
る。ただしＰｅａｒｓｏｎの積率相関係数の定義式にお
ける分母が０になるときには、（４−７）式は零とす
る。 ｄ）正規化参照画像と正規化対象画像との対応する点の
輝度値の分布について、その分布全体に対する主軸方向
と副軸方向との寄与の相違度を表す量を特徴量とする。
これは例えば、（４−８）式で表される。 ｅ）正規化参照画像と正規化対象画像との対応する点の
輝度値の分布について、主軸方向とベクトル（１，１）
方向との差を表す量を特徴量とする。これは例えば、
（４−９）式で表される。ただし、（４−１）式ないし
（４−９）式におけるα，β，γの夫々については、
（４−１０）式、（４−１１）式、（４−１２）式で表
される量である。 ｆ）上記ａ），ｂ），ｃ），ｄ），ｅ）のうちの複数の
特徴量の線形和と積で表される量を特徴量とする、もし
くは、 ｇ）上記ａ），ｂ），ｃ），ｄ），ｅ），ｆ）のうちの
複数の特徴量を同時に特徴量とする。
【００３１】図４は、特徴量算出部に関連する（４−
８）式や（４−９）式で表されるもののもつ意味を図解
したものである。
８）式や（４−９）式で表されるもののもつ意味を図解
したものである。
【００３２】図４において、Ｘ軸は正規化学習画像もし
くは正規化処理画像の第ｉエリアの第ｊ小区画の輝度値
を表し、Ｙ軸は正規化参照画像の第ｉエリアの第ｊ小区
画の輝度値を表す。グラフ中の楕円は（Ｘ，Ｙ）の分布
を表す。この分布を主成分分析したときの、主軸の方向
と副軸の方向とが、ベクトルｕとベクトルｖとであり、
それぞれのベクトルに対応する固有値がλと上部に山形
をつけたλとであるとする。また主軸方向と直線Ｙ＝Ｘ
とのなす角をθとする。
くは正規化処理画像の第ｉエリアの第ｊ小区画の輝度値
を表し、Ｙ軸は正規化参照画像の第ｉエリアの第ｊ小区
画の輝度値を表す。グラフ中の楕円は（Ｘ，Ｙ）の分布
を表す。この分布を主成分分析したときの、主軸の方向
と副軸の方向とが、ベクトルｕとベクトルｖとであり、
それぞれのベクトルに対応する固有値がλと上部に山形
をつけたλとであるとする。また主軸方向と直線Ｙ＝Ｘ
とのなす角をθとする。
【００３３】このとき、（４−８）式と（４−９）式と
の特徴量は、夫々（５−１）式と（５−２）式とで表す
ことができる。
の特徴量は、夫々（５−１）式と（５−２）式とで表す
ことができる。
【数２３】
【数２４】 （４−８）式、（４−９）式の特徴量が従来の相関係数
（４−７）式と比較して、どの様な効果をもつかについ
て説明する。 図９および図１０は、正規化対象画像Ｉと
正規化参照画像Ｉ R の輝度値の分布の例を表した図であ
る。 縦軸（Ｙ軸）はＩ R の輝度値、横軸（Ｘ軸）はＩの
輝度値を表し、Ｒ ij のすべての画素について、その輝度
値をＸ−Ｙ平面上にプロットした。図において矢印は分
布の主軸の向きを示す。 図右側の数値は、それぞれの分
布の時に、特徴量のとる値を示している。 γはｆ
ij 3k （数４−７）であり、一般に言われる相関係数に相
当する。 Φ 2 , Ψ 2 は（ｆ ij 4k ） 2 ，（ｆ ij 5k ） 2 であ
り，正規化主成分特徴量（以下ＮＰａｃと略す）であ
る。 図９および図１０の例から、ＮＰａｃのそれぞれ
は、従来の相関係数とは異なる値をとることがわかる。
物体検出において、このＮＰａｃを使うことで、どの様
な効果が表れるかを説明すると、 例えば、一様でない背
景上に、比較的一様な物体が存在する場合、Ｙ−Ｘ上で
の分布は図９（Ｂ）の様になる。この時、γ＝０，Φ 2
≒１，Ψ 2 ＝０．５であ る。 物体が領域上に存在しない
場合γ≒１、もしくは、Φ 2 ≒１かつΨ 2 ≒１となるの
で、この分布は物体が存在することを表している。 とこ
ろが、雑音等の影響で、この分布の主軸が少し傾いた場
合を考えると、図９（Ｄ）又は図１０（Ａ）になる。 相
関係数を使うと傾いた方向によってγの値が大きく変動
し物体の有無を正確に検出することができない。 一方、
ＮＰａｃの値は、主軸の向きに対して安定であり、Φ 2
＝１かつΨ 2 ＝１でないことから、“物体有り”である
ことを示している。 図１１は、正規化処理部、小区画分
割処理部、特徴量算出部の処理の流れを表したフローチ
ャート図である。
（４−７）式と比較して、どの様な効果をもつかについ
て説明する。 図９および図１０は、正規化対象画像Ｉと
正規化参照画像Ｉ R の輝度値の分布の例を表した図であ
る。 縦軸（Ｙ軸）はＩ R の輝度値、横軸（Ｘ軸）はＩの
輝度値を表し、Ｒ ij のすべての画素について、その輝度
値をＸ−Ｙ平面上にプロットした。図において矢印は分
布の主軸の向きを示す。 図右側の数値は、それぞれの分
布の時に、特徴量のとる値を示している。 γはｆ
ij 3k （数４−７）であり、一般に言われる相関係数に相
当する。 Φ 2 , Ψ 2 は（ｆ ij 4k ） 2 ，（ｆ ij 5k ） 2 であ
り，正規化主成分特徴量（以下ＮＰａｃと略す）であ
る。 図９および図１０の例から、ＮＰａｃのそれぞれ
は、従来の相関係数とは異なる値をとることがわかる。
物体検出において、このＮＰａｃを使うことで、どの様
な効果が表れるかを説明すると、 例えば、一様でない背
景上に、比較的一様な物体が存在する場合、Ｙ−Ｘ上で
の分布は図９（Ｂ）の様になる。この時、γ＝０，Φ 2
≒１，Ψ 2 ＝０．５であ る。 物体が領域上に存在しない
場合γ≒１、もしくは、Φ 2 ≒１かつΨ 2 ≒１となるの
で、この分布は物体が存在することを表している。 とこ
ろが、雑音等の影響で、この分布の主軸が少し傾いた場
合を考えると、図９（Ｄ）又は図１０（Ａ）になる。 相
関係数を使うと傾いた方向によってγの値が大きく変動
し物体の有無を正確に検出することができない。 一方、
ＮＰａｃの値は、主軸の向きに対して安定であり、Φ 2
＝１かつΨ 2 ＝１でないことから、“物体有り”である
ことを示している。 図１１は、正規化処理部、小区画分
割処理部、特徴量算出部の処理の流れを表したフローチ
ャート図である。
【００３４】図５ないし図８は、図２における処理の流
れに沿って、その結果を表示したものである。
れに沿って、その結果を表示したものである。
【００３５】本実施例では、カメラは、常に駐車場の情
景を同じ位置から撮影し、有無を識別すべき物体は、車
両であるとする。すなわち、特定の車両ではなく、車両
一般の有無を識別するものとしている。それぞれの図に
おいて、識別すべきエリアは白枠で囲んで図示してあ
り、図５で番号付けしてあるように、６４個のエリアが
指定されている。
景を同じ位置から撮影し、有無を識別すべき物体は、車
両であるとする。すなわち、特定の車両ではなく、車両
一般の有無を識別するものとしている。それぞれの図に
おいて、識別すべきエリアは白枠で囲んで図示してあ
り、図５で番号付けしてあるように、６４個のエリアが
指定されている。
【００３６】 図５は処理画像の例である。 図６は参照画像の例である。 図７は正規化処理画像の例であり、図５から処理された
ものである。
ものである。
【００３７】図８は処理画像の各エリアにおいて、車両
の有無を識別して表示したものである。各エリア中に、
２本の斜線と１本の縦線が描いてあれば、そのエリアに
は、車両が存在すると識別されたことを意味している。
の有無を識別して表示したものである。各エリア中に、
２本の斜線と１本の縦線が描いてあれば、そのエリアに
は、車両が存在すると識別されたことを意味している。
【００３８】ここで、判定には、図５、図６からの処理
結果が用いられており、本実施例において使用した、特
徴量は、
結果が用いられており、本実施例において使用した、特
徴量は、
【数２５】 であり、分割処理部では、図３（ｃ）の実施例における
状況を使用し、識別系の設計にはＦｉｓｈｅｒの線形判
別関数を使用している。識別系の設計及び学習方法に
は、Fisherの判別分析による方法、k-nearest neighbor
法、Neural Networkによる方法、層状線形識別関数によ
る方法など、通常パタン認識において用いられる、識別
法、学習法のどれをも使用することができる。図２の識
別系設計部（１−１２）と識別処理部（１−１３）の動
作について説明する。 （１）識別系設計部（１−１２）の動作 識別系設計部（１−１２）には、以下の入力がある。 特徴ベクトル（１−１１）の出力（学習画像特徴ベク
トル） 特徴ベクトルブロックで作られる学習画像特徴ベクトル
の数 ＝各学習画像に存在するエリア数（ＮＡ個）×学習画像
の枚数（Ｐ１）である。 物体有無データ（１−８）の出力（各学習画像のエリ
アに対して、それぞれ物体が存在するかどうかの情報）
物体が存在するかどうかの情報の数はで得られた学習
画像特徴ベクトルの数と一致する。なお、得られる各特
徴ベクトルを構成する要素の要求数は、 （実際に使う特
徴量の種類）×（エリアをさらに分割した小領域の数Ｎ
Ｒ）である。 また、エリアは学習画像、処理画像何れに
おいても画像中の同一の位置にあることは言うまでもな
い。 実際に使う特徴量の数とは図１１では、特徴量算出
部内の送出部において、５種類の特徴量（ｆ 1k ij, …ｆ
5k ij ）が存在しており、そのすべてを使えば実際に使う
特徴量の種類は５となる。 識別系設計部では、学習画像
特徴ベクトル出力と物体有無データ出力を参考にして
（Ａ）Fisherの判別分析による方法、（Ｂ）ｋ−最近隣
法、（Ｃ）Neural Networkによる方法、（Ｄ）層状線形
識別関数の何れの識別法を使うかをシステム設計者が判
断し、決定した識別法と決定された識別法固有の評価式
のパラメータを学習画像特徴ベクトルおよび物体有無デ
ータから求め、識別処理部（１−１３）に通知する。 （２）識別処理部（１−１３）の動作 識別処理部では前記（Ａ）〜（Ｄ）等の識別法に関する
具体的な手順を記憶している。識別系設計部からは、何
れの識別法を使うかの情報が通知されるので、該当の識
別法に関する手順を呼び出すとともに、判定したいエリ
アの処理画像特徴ベクトル、また決定された識別法に必
要なパラメータが送られてくるので、これらの値を評価
式に代入する。 今、例えば（Ｂ）ｋ−最近隣法が選択さ
れた場合を例にとると、判別したい処理画像のエリアの
処理画像特徴ベクトル（特徴ベクトル（１−１１）出
力）に対して、識別系設計部からパラメータとして入力
された学習画像特徴ベクトル群（ＮＡ×Ｐ１個）の中か
ら最も近似する学習画像特徴ベクトルを処理画像特徴ベ
クトルとの距離計算により探索する。この探索された学
習画像特徴ベクトルに対応してそれぞれ物体有無データ
（１−８）が存在するので、処理画像の各エリアの物体
の有無の判定は、探索された学習画像特徴ベクトルの物
体有無データを参照して行うことになる。これらの探索
処理を物体の有無判定を行わなければならない処理画像
のエリア（１番エリア〜ＮＡ番エリア）について行い、
この情報を識別結果送出部に転送する。
状況を使用し、識別系の設計にはＦｉｓｈｅｒの線形判
別関数を使用している。識別系の設計及び学習方法に
は、Fisherの判別分析による方法、k-nearest neighbor
法、Neural Networkによる方法、層状線形識別関数によ
る方法など、通常パタン認識において用いられる、識別
法、学習法のどれをも使用することができる。図２の識
別系設計部（１−１２）と識別処理部（１−１３）の動
作について説明する。 （１）識別系設計部（１−１２）の動作 識別系設計部（１−１２）には、以下の入力がある。 特徴ベクトル（１−１１）の出力（学習画像特徴ベク
トル） 特徴ベクトルブロックで作られる学習画像特徴ベクトル
の数 ＝各学習画像に存在するエリア数（ＮＡ個）×学習画像
の枚数（Ｐ１）である。 物体有無データ（１−８）の出力（各学習画像のエリ
アに対して、それぞれ物体が存在するかどうかの情報）
物体が存在するかどうかの情報の数はで得られた学習
画像特徴ベクトルの数と一致する。なお、得られる各特
徴ベクトルを構成する要素の要求数は、 （実際に使う特
徴量の種類）×（エリアをさらに分割した小領域の数Ｎ
Ｒ）である。 また、エリアは学習画像、処理画像何れに
おいても画像中の同一の位置にあることは言うまでもな
い。 実際に使う特徴量の数とは図１１では、特徴量算出
部内の送出部において、５種類の特徴量（ｆ 1k ij, …ｆ
5k ij ）が存在しており、そのすべてを使えば実際に使う
特徴量の種類は５となる。 識別系設計部では、学習画像
特徴ベクトル出力と物体有無データ出力を参考にして
（Ａ）Fisherの判別分析による方法、（Ｂ）ｋ−最近隣
法、（Ｃ）Neural Networkによる方法、（Ｄ）層状線形
識別関数の何れの識別法を使うかをシステム設計者が判
断し、決定した識別法と決定された識別法固有の評価式
のパラメータを学習画像特徴ベクトルおよび物体有無デ
ータから求め、識別処理部（１−１３）に通知する。 （２）識別処理部（１−１３）の動作 識別処理部では前記（Ａ）〜（Ｄ）等の識別法に関する
具体的な手順を記憶している。識別系設計部からは、何
れの識別法を使うかの情報が通知されるので、該当の識
別法に関する手順を呼び出すとともに、判定したいエリ
アの処理画像特徴ベクトル、また決定された識別法に必
要なパラメータが送られてくるので、これらの値を評価
式に代入する。 今、例えば（Ｂ）ｋ−最近隣法が選択さ
れた場合を例にとると、判別したい処理画像のエリアの
処理画像特徴ベクトル（特徴ベクトル（１−１１）出
力）に対して、識別系設計部からパラメータとして入力
された学習画像特徴ベクトル群（ＮＡ×Ｐ１個）の中か
ら最も近似する学習画像特徴ベクトルを処理画像特徴ベ
クトルとの距離計算により探索する。この探索された学
習画像特徴ベクトルに対応してそれぞれ物体有無データ
（１−８）が存在するので、処理画像の各エリアの物体
の有無の判定は、探索された学習画像特徴ベクトルの物
体有無データを参照して行うことになる。これらの探索
処理を物体の有無判定を行わなければならない処理画像
のエリア（１番エリア〜ＮＡ番エリア）について行い、
この情報を識別結果送出部に転送する。
【００３９】
【発明の効果】以上説明したように、本発明によれば、
カメラ位置が固定で撮影された画像に対して、あるカテ
ゴリーに属する物体の有無を識別したい複数の領域（エ
リア）を指定したとき、任意の物体の色、形状に対し
て、エリア上における物体の有無を認識することがで
き、しかも、 ａ：エリアの位置、 ｂ：物体のないときに撮影されるエリアの背景にある不
均一パターン、 ｃ：降雨など自然現象による背景の状態の変化、 ｄ：日照（太陽位置の季節変動、時間変動、および天候
の影響）の変動による背景及び物体の明るさの変化、 ｅ：建築物、雲、他物体などの影、 ｆ：隣接物体による隠ぺい、 ｇ：識別すべき物体に比して小さなエリア上の異物体、 などの影響を受けにくいという利点がある。
カメラ位置が固定で撮影された画像に対して、あるカテ
ゴリーに属する物体の有無を識別したい複数の領域（エ
リア）を指定したとき、任意の物体の色、形状に対し
て、エリア上における物体の有無を認識することがで
き、しかも、 ａ：エリアの位置、 ｂ：物体のないときに撮影されるエリアの背景にある不
均一パターン、 ｃ：降雨など自然現象による背景の状態の変化、 ｄ：日照（太陽位置の季節変動、時間変動、および天候
の影響）の変動による背景及び物体の明るさの変化、 ｅ：建築物、雲、他物体などの影、 ｆ：隣接物体による隠ぺい、 ｇ：識別すべき物体に比して小さなエリア上の異物体、 などの影響を受けにくいという利点がある。
【図１】本発明の原理構成図である。
【図２】本発明の一実施例による物体認識処理方法の構
成を示すブロック図である。
成を示すブロック図である。
【図３】小区画分割処理部の実施例を説明する図であ
る。
る。
【図４】特徴量算出部に関連する図である。
【図５】処理画像の例を表す。
【図６】参照画像の例を表す。
【図７】正規化処理画像の例を表す。
【図８】識別結果を表す。
【図９】
正規化対象画像Ｉと正規化参照画像Ｉ
R
の輝度
値の分布の例を表した図である。
値の分布の例を表した図である。
【図１０】
正規化対象画像Ｉと正規化参照画像Ｉ
R
の輝
度値の分布の他の例を表した図である。
度値の分布の他の例を表した図である。
【図１１】
正規化処理部、小区画分割処理部、特徴量算
出部の処理の流れを表したフローチャート図である。
出部の処理の流れを表したフローチャート図である。
Claims (7)
- 【請求項１】 カメラ位置から撮影された画像におい
て、あるカテゴリーに属する物体の有無を識別したい複
数のエリアを予め指定し、該複数のエリアにわたって、 同一カメラ位置から撮影され、且つ、該物体が存在しな
い参照画像を撮影し、 同一カメラ位置から撮影され、且つ、画像上の各エリア
において該物体が存在するか否かが予め判明している学
習画像を１枚以上撮影し、上記参照画像と学習画像とから該エリアの学習画像特徴
ベクトルを算出し、該学習画像特徴ベクトルと該学習画
像特徴ベクトルに付随する物体有無データとに基づいて
識別法を決定するとともに、該決定された識別法によっ
ては、該識別法を実行するのに必要なパラメータを学習
画像特徴ベクトルと前記学習画像の各エリアに物体が存
在するか否かに関わる情報とから抽出し、 同一カメラ位置から撮影され、且つ、画像上の該エリア
において該物体が存在するか否かが判明していない処理
画像を撮影し、上記参照画像と上記処理画像とから各エリアの処理画像
特徴ベクトルを算出し 該決定された識別法に、物体の有
無を判定したいエリアの処理画像特徴ベクトルと、決定
された識別法によっては該識別法を実行するのに必要な
パラメータとを与え、該識別法により物体の有無を判定
したい処理画像のエリアの物体の有無の判定結果を算出
する ことを特徴とする物体認識処理方法。 - 【請求項２】 参照画像と処理画像と、あるいは参照画
像と学習画像と（以降、学習画像と処理画像とをあわせ
て対象画像と称する）から、該エリアの特徴ベクトルを
算出する上記方法において、 ａ）各エリア内の画素の輝度値を各領域の画素の輝度値
の平均及び各領域の画素の輝度値の分散がエリアによら
ず等しくなるように正規化し、 ｂ）各エリアを小区画に分割し、 ｃ）各小区画について特徴量を計算し、 ｄ）該エリアの複数個の小区画について計算された （小区画の個数）×（１つの区画から計算される特徴量
の個数） で与えられる個数の特徴量を、そのエリアの特徴ベクト
ルとすることを特徴とする請求項１記載の物体認識処理
方法。 - 【請求項３】 上記小区画の特徴量の計算において、請
求項２の正規化処理を行った正規化参照画像と正規化処
理を行った正規化対象画像との輝度値の差を新たな輝度
値とした正規化差分画像における小区画の輝度値の平均
値を特徴量とすることを特徴とする請求項２記載の物体
認識処理方法。 - 【請求項４】 請求項３の正規化差分画像の小区画の輝
度値の分散値を特徴量とすることを特徴とする請求項３
記載の物体認識処理方法。 - 【請求項５】 参照画像と処理画像の対応する小区画の
対応する点の輝度値の分布から計算されるＰｅａｒｓｏ
ｎの積率相関係数を特徴量とすることを特徴とする請求
項１記載の物体認識処理方法。 - 【請求項６】 正規化参照画像と正規化対象画像との対
応する点の輝度値の分布について、その分布全体に対す
る主軸方向と副軸方向との寄与の相違度を表す量を特徴
量とすることを特徴とする請求項３記載の物体認識処理
方法。 - 【請求項７】 正規化参照画像と正規化対象画像との対
応する点の輝度値の分布について、主軸方向とベクトル
（１，１）方向の差を表す量を特徴量とすることを特徴
とする請求項３記載の物体認識処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2411144A JP2635447B2 (ja) | 1990-12-17 | 1990-12-17 | 物体認識処理方法 |
| US07/805,612 US5291563A (en) | 1990-12-17 | 1991-12-12 | Method and apparatus for detection of target object with improved robustness |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2411144A JP2635447B2 (ja) | 1990-12-17 | 1990-12-17 | 物体認識処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04216182A JPH04216182A (ja) | 1992-08-06 |
| JP2635447B2 true JP2635447B2 (ja) | 1997-07-30 |
Family
ID=18520190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2411144A Expired - Fee Related JP2635447B2 (ja) | 1990-12-17 | 1990-12-17 | 物体認識処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2635447B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004012422A (ja) * | 2002-06-11 | 2004-01-15 | Dainippon Screen Mfg Co Ltd | パターン検査装置、パターン検査方法およびプログラム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4155497B2 (ja) * | 2002-04-25 | 2008-09-24 | 大日本スクリーン製造株式会社 | 欠陥分類方法、プログラムおよび欠陥分類装置 |
| JP5361576B2 (ja) * | 2009-07-02 | 2013-12-04 | 公立大学法人大阪府立大学 | 駐車場における車両の検知システムおよび検知方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63276676A (ja) * | 1986-09-26 | 1988-11-14 | Olympus Optical Co Ltd | 画像間の対応領域の検出方式 |
| JPH01236791A (ja) * | 1988-03-17 | 1989-09-21 | Toshiba Corp | 近接監視装置 |
| JPH0397080A (ja) * | 1989-09-11 | 1991-04-23 | Secom Co Ltd | 画像監視装置 |
-
1990
- 1990-12-17 JP JP2411144A patent/JP2635447B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004012422A (ja) * | 2002-06-11 | 2004-01-15 | Dainippon Screen Mfg Co Ltd | パターン検査装置、パターン検査方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04216182A (ja) | 1992-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522793B (zh) | 基于机器视觉的多人异常行为检测与识别方法 | |
| JP5214533B2 (ja) | 人物追跡方法、人物追跡装置および人物追跡プログラム | |
| JP5227888B2 (ja) | 人物追跡方法、人物追跡装置および人物追跡プログラム | |
| CN112084869B (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
| CN111563442A (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
| US6205242B1 (en) | Image monitor apparatus and a method | |
| CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
| KR20060058147A (ko) | 화상 대조 시스템 및 화상 대조 방법 | |
| US20220366570A1 (en) | Object tracking device and object tracking method | |
| CN109902576B (zh) | 一种头肩图像分类器的训练方法及应用 | |
| CN111079518A (zh) | 一种基于执法办案区场景下的倒地异常行为识别方法 | |
| CN116704273A (zh) | 一种自适应红外可见光双模融合检测方法 | |
| CN111860297A (zh) | 一种应用于室内固定空间的slam回环检测方法 | |
| CN115187786A (zh) | 一种基于旋转的CenterNet2目标检测方法 | |
| CN112287802A (zh) | 人脸图像检测方法、系统、存储介质及设备 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| CN113052869A (zh) | 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质 | |
| CN113516771A (zh) | 一种基于实景三维模型的建筑物变化特征提取方法 | |
| US7403636B2 (en) | Method and apparatus for processing an image | |
| CN109344758B (zh) | 基于改进局部二值模式的人脸识别方法 | |
| CN113627302A (zh) | 一种登高施工合规性检测方法及系统 | |
| JP2635447B2 (ja) | 物体認識処理方法 | |
| KR100543706B1 (ko) | 비젼기반 사람 검출방법 및 장치 | |
| JP2003263639A (ja) | 顔画像認識装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090425 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |