JPH05303645A - 画像認識装置 - Google Patents
画像認識装置Info
- Publication number
- JPH05303645A JPH05303645A JP4109604A JP10960492A JPH05303645A JP H05303645 A JPH05303645 A JP H05303645A JP 4109604 A JP4109604 A JP 4109604A JP 10960492 A JP10960492 A JP 10960492A JP H05303645 A JPH05303645 A JP H05303645A
- Authority
- JP
- Japan
- Prior art keywords
- correlation
- image
- target
- recognition
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】本発明は、監視等の複雑背景下の所望の対象認
識を確実に行なえることを最も主要な目的としている。 【構成】あらかじめ入力された背景画像を記憶する背景
画像記憶手段（２）と、あらかじめ入力された代表的な
対象画像を基準画像として記憶する基準画像記憶手段
（３）と、入力対象画像と背景画像との相関演算を行な
う第１の相関演算手段（４）と、入力対象画像と基準画
像との相関演算を複数の相関領域サイズで行なう第２の
相関演算手段（５）と、自己学習機能を有し、各相関演
算手段（４，５）による演算結果に基づいて対象の認識
を行ない対象認識結果を出力する対象認識手段（６）
と、背景画像と基準画像とに基づいて、対象認識手段
（６）における対象認識の学習データおよび教師信号を
生成する学習データ生成手段（７）とを備えたことを特
徴としている。
識を確実に行なえることを最も主要な目的としている。 【構成】あらかじめ入力された背景画像を記憶する背景
画像記憶手段（２）と、あらかじめ入力された代表的な
対象画像を基準画像として記憶する基準画像記憶手段
（３）と、入力対象画像と背景画像との相関演算を行な
う第１の相関演算手段（４）と、入力対象画像と基準画
像との相関演算を複数の相関領域サイズで行なう第２の
相関演算手段（５）と、自己学習機能を有し、各相関演
算手段（４，５）による演算結果に基づいて対象の認識
を行ない対象認識結果を出力する対象認識手段（６）
と、背景画像と基準画像とに基づいて、対象認識手段
（６）における対象認識の学習データおよび教師信号を
生成する学習データ生成手段（７）とを備えたことを特
徴としている。
Description
【０００１】
【産業上の利用分野】本発明は、画像を認識する装置に
係り、特にあらかじめ複数の代表的な対象画像と対象の
位置および範囲を教示し、背景画像を与えることによっ
て対象認識の方法を自己学習し、監視等の複雑背景下の
所望の対象認識を確実に行ない得るようにした画像認識
装置に関する。
係り、特にあらかじめ複数の代表的な対象画像と対象の
位置および範囲を教示し、背景画像を与えることによっ
て対象認識の方法を自己学習し、監視等の複雑背景下の
所望の対象認識を確実に行ない得るようにした画像認識
装置に関する。
【０００２】
【従来の技術】従来から、画像を認識する手法として
は、一般に、対象の特徴量を捉えて認識する方法と、あ
らかじめ入力された基準画像とのパターンマッチングに
よる方法とがある。ここで、パターンマッチングの代表
的な方法としては、相関演算法がある。すなわち、この
相関演算法は、対象画像をｐ，基準画像をｒとすると、
適当な領域ａについて、
は、一般に、対象の特徴量を捉えて認識する方法と、あ
らかじめ入力された基準画像とのパターンマッチングに
よる方法とがある。ここで、パターンマッチングの代表
的な方法としては、相関演算法がある。すなわち、この
相関演算法は、対象画像をｐ，基準画像をｒとすると、
適当な領域ａについて、
【０００３】
【数１】 とおいて、 ｃpr＝ｓpr／（ｓp ・ｓr ） ……（４） を求めることによって相関値ｃprが求められる。
【０００４】ここで、ｐv はｐの領域ａにおける平均
値、ｒv はｒの領域ａにおける平均値である。−１≦ｃ
pr≦＋１が成立し、ｃpr＝＋１の時に、ｐとｒが領域ａ
で一致することを示している。なお、この場合、（４）
式には平方根演算があり、演算を複雑にすることから、 Ｃpr＝ｓpr 2 ／（ｓp ・ｓr ） （ｓpr＞０の時） Ｃpr＝０ （ｓpr≦０のとき） ……（５） とすることがしばしば行なわれる。
値、ｒv はｒの領域ａにおける平均値である。−１≦ｃ
pr≦＋１が成立し、ｃpr＝＋１の時に、ｐとｒが領域ａ
で一致することを示している。なお、この場合、（４）
式には平方根演算があり、演算を複雑にすることから、 Ｃpr＝ｓpr 2 ／（ｓp ・ｓr ） （ｓpr＞０の時） Ｃpr＝０ （ｓpr≦０のとき） ……（５） とすることがしばしば行なわれる。
【０００５】この相関演算法は、対象および背景濃淡値
（明るさ）の変動に強く、また比較的にランダムノイズ
に強い長所を持っている。また、特徴を求めるアルゴリ
ズムを厳密に求めなくても、対象を認識することができ
る。
（明るさ）の変動に強く、また比較的にランダムノイズ
に強い長所を持っている。また、特徴を求めるアルゴリ
ズムを厳密に求めなくても、対象を認識することができ
る。
【０００６】一方、近年、研究が盛んになってきたニュ
ーラルネットワークに、画像データを入力して認識する
方法も考えられてきている。ニューラルネットワーク
は、学習により最適な認識方法を自動生成できる利点が
ある。
ーラルネットワークに、画像データを入力して認識する
方法も考えられてきている。ニューラルネットワーク
は、学習により最適な認識方法を自動生成できる利点が
ある。
【０００７】一般に用いられる３層パーセプトン型ニュ
ーラルネットワークは、図１１に示すような構成となっ
ており、図中の丸印はニューロンを示している。また、
図１１における第ｍ層ｎ番目のニューロンの詳細を図１
２に示す。図１２において、ニューロンの出力Ｏ
m n は、第ｍ−１層ｉ番目のニューロンの出力をＯ
m-11 として、
ーラルネットワークは、図１１に示すような構成となっ
ており、図中の丸印はニューロンを示している。また、
図１１における第ｍ層ｎ番目のニューロンの詳細を図１
２に示す。図１２において、ニューロンの出力Ｏ
m n は、第ｍ−１層ｉ番目のニューロンの出力をＯ
m-11 として、
【０００８】 ｏ m n ＝ΣＷ m-1 1 ± m n ・Ｏ m-1 1 ……（６） Ｏ m n ＝ｆ（ｏ m n ） ……（７） となる。
【０００９】ここで、Ｗ m-1 1 m n は第ｍ−１層ｉ番目
のニューロンと第ｍ層ｎ番目のニューロンの間のシナプ
ス結合値、ｆ（）は非線形な関数である。ｆ（）は、通
常はシグモイド関数が用いられ、 ｆ（ｘ）＝１／（１＋ｅ-x） ……（８） で示される。
のニューロンと第ｍ層ｎ番目のニューロンの間のシナプ
ス結合値、ｆ（）は非線形な関数である。ｆ（）は、通
常はシグモイド関数が用いられ、 ｆ（ｘ）＝１／（１＋ｅ-x） ……（８） で示される。
【００１０】多層パーセプトン型ニューラルネットワー
クの学習法としてしばしば用いられる誤差逆伝播法は、
シナプス結合値Ｗ m-1 1 ± m n を出力層から入力層に向
かって順に修正して所望のシナプス結合値を得る手法で
ある。すなわち、出力層において、ｎ番目のニューロン
に与えられる教師信号をＹnとすると、学習信号ｄ m n
は、 ｄ m n ＝（Ｏ m n −Ｙn ）・ｆ・（ｏ m n ） ……（９） となる。また、中間層における学習信号ｄ m n は、
クの学習法としてしばしば用いられる誤差逆伝播法は、
シナプス結合値Ｗ m-1 1 ± m n を出力層から入力層に向
かって順に修正して所望のシナプス結合値を得る手法で
ある。すなわち、出力層において、ｎ番目のニューロン
に与えられる教師信号をＹnとすると、学習信号ｄ m n
は、 ｄ m n ＝（Ｏ m n −Ｙn ）・ｆ・（ｏ m n ） ……（９） となる。また、中間層における学習信号ｄ m n は、
【００１１】
【数２】 となる。シナプス結合値Ｗ m-1 1 m n の変更量Δ m-1
1 m n は、ηを学習定数として Δ m-1 1 m n ＝−η・ｄ m n ・Ｏ m-1 1 ……（１１） となる。以上の過程において、出力と教師信号との差が
微少になれば、ニューラルネットワークは所望の出力を
するようになる。
1 m n は、ηを学習定数として Δ m-1 1 m n ＝−η・ｄ m n ・Ｏ m-1 1 ……（１１） となる。以上の過程において、出力と教師信号との差が
微少になれば、ニューラルネットワークは所望の出力を
するようになる。
【００１２】しかしながら、特徴量の抽出によって対象
を認識する方法では、対象や背景毎に認識アルゴニズム
を作成する必要があり、監視等の状況が変化しやすい場
合には適用することができない。
を認識する方法では、対象や背景毎に認識アルゴニズム
を作成する必要があり、監視等の状況が変化しやすい場
合には適用することができない。
【００１３】また、相関演算法によるパターンマッチン
グを用いて対象を認識する方法では、明るさの変動に強
いという長所がある。が、その反面、背景の形状が変化
すると、相関値が極めて小さくなるため、対象を認識す
ることができないばかりでなく、背景の一部の領域では
対象があるものと誤認識する等、背景の形状変化に極め
て弱いという問題がある。
グを用いて対象を認識する方法では、明るさの変動に強
いという長所がある。が、その反面、背景の形状が変化
すると、相関値が極めて小さくなるため、対象を認識す
ることができないばかりでなく、背景の一部の領域では
対象があるものと誤認識する等、背景の形状変化に極め
て弱いという問題がある。
【００１４】さらに、画像を直接ニューラルネットワー
クに入力して認識する方法は、複雑背景下の画像認識で
は、非常に多くの背景下での対象画像を学習させる必要
があるため、学習が収束し難い、学習時間が膨大になる
等の問題がある。このため、画像データを直接ニューラ
ルネットワークに入力して処理することは一般的ではな
い。
クに入力して認識する方法は、複雑背景下の画像認識で
は、非常に多くの背景下での対象画像を学習させる必要
があるため、学習が収束し難い、学習時間が膨大になる
等の問題がある。このため、画像データを直接ニューラ
ルネットワークに入力して処理することは一般的ではな
い。
【００１５】
【発明が解決しようとする課題】以上のように、従来の
画像認識方法においては、監視等の複雑背景下の所望の
対象認識を行なうことができないという問題があった。
画像認識方法においては、監視等の複雑背景下の所望の
対象認識を行なうことができないという問題があった。
【００１６】本発明の目的は、あらかじめ複数の代表的
な対象画像と対象の位置および範囲を教示し、背景画像
を与えることによって対象認識の方法を自己学習でき、
監視等の複雑背景下の所望の対象認識を確実に行なうこ
とが可能な極めて信頼性の高い画像認識装置を提供する
ことにある。
な対象画像と対象の位置および範囲を教示し、背景画像
を与えることによって対象認識の方法を自己学習でき、
監視等の複雑背景下の所望の対象認識を確実に行なうこ
とが可能な極めて信頼性の高い画像認識装置を提供する
ことにある。
【００１７】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明の画像認識装置は、図１に示すように、対
象画像を入力する対象画像入力手段１と、あらかじめ入
力された背景画像を記憶する背景画像記憶手段２と、あ
らかじめ入力された代表的な対象画像を基準画像として
記憶する基準画像記憶手段３と、入力された対象画像と
背景画像記憶手段２に記憶された背景画像との相関演算
を行なう第１の相関演算手段４と、入力された対象画像
と基準画像記憶手段３に記憶された基準画像との相関演
算を複数の相関領域サイズで行なう第２の相関演算手段
５と、自己学習機能を有し、第１の相関演算手段４によ
る演算結果と第２の相関演算手段５による演算結果とに
基づいて対象の認識を行ない対象認識結果を出力する対
象認識手段６と、背景画像記憶手段２に記憶された背景
画像と基準画像記憶手段３に記憶された基準画像とに基
づいて、対象認識手段６における対象認識の学習データ
および教師信号を生成する学習データ生成手段７とを備
えて構成している。
めに、本発明の画像認識装置は、図１に示すように、対
象画像を入力する対象画像入力手段１と、あらかじめ入
力された背景画像を記憶する背景画像記憶手段２と、あ
らかじめ入力された代表的な対象画像を基準画像として
記憶する基準画像記憶手段３と、入力された対象画像と
背景画像記憶手段２に記憶された背景画像との相関演算
を行なう第１の相関演算手段４と、入力された対象画像
と基準画像記憶手段３に記憶された基準画像との相関演
算を複数の相関領域サイズで行なう第２の相関演算手段
５と、自己学習機能を有し、第１の相関演算手段４によ
る演算結果と第２の相関演算手段５による演算結果とに
基づいて対象の認識を行ない対象認識結果を出力する対
象認識手段６と、背景画像記憶手段２に記憶された背景
画像と基準画像記憶手段３に記憶された基準画像とに基
づいて、対象認識手段６における対象認識の学習データ
および教師信号を生成する学習データ生成手段７とを備
えて構成している。
【００１８】ここで、特に上記対象認識手段６として
は、第１の相関演算手段４による演算結果と第２の相関
演算手段５による演算結果と学習データ生成手段７によ
る教師信号とに基づいて、誤差逆伝播法により対象認識
方法を自己学習する３層パーセプトロン型ニューラルネ
ットワークである。
は、第１の相関演算手段４による演算結果と第２の相関
演算手段５による演算結果と学習データ生成手段７によ
る教師信号とに基づいて、誤差逆伝播法により対象認識
方法を自己学習する３層パーセプトロン型ニューラルネ
ットワークである。
【００１９】また、上記対象認識手段６としては、第１
および第２の相関演算手段４および５による演算結果で
ある各相関値と学習データ生成手段７による教師信号と
の傾きを最小自乗法により求めて、当該傾きの値をその
相関値の出力重み係数とし、傾き０（相関がない）であ
る相関値を排除し、傾きが正の相関値を正の出力重みで
肯定し、傾きが負の相関値を負の出力重みで否定するこ
とにより、総合的に相関値を取捨選択して対象を認識す
る統計処理部である。
および第２の相関演算手段４および５による演算結果で
ある各相関値と学習データ生成手段７による教師信号と
の傾きを最小自乗法により求めて、当該傾きの値をその
相関値の出力重み係数とし、傾き０（相関がない）であ
る相関値を排除し、傾きが正の相関値を正の出力重みで
肯定し、傾きが負の相関値を負の出力重みで否定するこ
とにより、総合的に相関値を取捨選択して対象を認識す
る統計処理部である。
【００２０】
【作用】本発明の画像認識装置においては、まず、自己
学習時には、基準画像記憶手段３に、あらかじめ代表的
な対象画像を基準画像として記憶し、同時に対象の位置
および範囲を記憶しておく。また、対象認識の実環境下
で対象が現われない時に、あらかじめ背景画像を入力し
て背景画像記憶手段２に記憶する。次に、学習データ作
成手段７では、基準画像と背景画像とを基に対象認識の
学習データおよび教師信号を生成する。そして、対象認
識の学習データを、第１の相関演算手段４および第２の
相関演算手段５に入力し、対象認識手段６に教師信号を
入力する。
学習時には、基準画像記憶手段３に、あらかじめ代表的
な対象画像を基準画像として記憶し、同時に対象の位置
および範囲を記憶しておく。また、対象認識の実環境下
で対象が現われない時に、あらかじめ背景画像を入力し
て背景画像記憶手段２に記憶する。次に、学習データ作
成手段７では、基準画像と背景画像とを基に対象認識の
学習データおよび教師信号を生成する。そして、対象認
識の学習データを、第１の相関演算手段４および第２の
相関演算手段５に入力し、対象認識手段６に教師信号を
入力する。
【００２１】すると、第１の相関演算手段４では、学習
データと背景画像記憶手段２に記憶された背景画像との
相関演算を行ない、その結果を対象認識手段６に入力す
る。また、第２の相関演算手段５では、学習データと基
準画像記憶手段３に記憶された基準画像との相関演算を
複数の相関領域サイズで行ない、その各結果を対象認識
手段６に入力する。これにより、対象認識手段６では、
第１の相関演算結果と第２の相関演算結果と教師信号と
を基に、あらかじめ定められた学習方式によって対象認
識方法を自己学習する。
データと背景画像記憶手段２に記憶された背景画像との
相関演算を行ない、その結果を対象認識手段６に入力す
る。また、第２の相関演算手段５では、学習データと基
準画像記憶手段３に記憶された基準画像との相関演算を
複数の相関領域サイズで行ない、その各結果を対象認識
手段６に入力する。これにより、対象認識手段６では、
第１の相関演算結果と第２の相関演算結果と教師信号と
を基に、あらかじめ定められた学習方式によって対象認
識方法を自己学習する。
【００２２】一方、画像認識時には、背景画像記憶手段
２に記憶した背景に類似した背景を持つ対象画像を、対
象画像入力手段１に入力する。そして、この対象画像と
背景画像記憶手段２に記憶された背景画像との相関演算
を第１の相関演算手段４で行ない、その結果を対象認識
手段６に入力する。また、対象画像と基準画像記憶手段
３に記憶された基準画像との相関演算を第２の相関演算
手段５で複数の相関領域サイズで行ない、その結果を対
象認識手段６に入力する。これにより、対象認識手段６
では、第１の相関演算手段４の結果と第２の相関演算手
段５の結果とから、対象の認識を行ない、その対象認識
結果を出力する。
２に記憶した背景に類似した背景を持つ対象画像を、対
象画像入力手段１に入力する。そして、この対象画像と
背景画像記憶手段２に記憶された背景画像との相関演算
を第１の相関演算手段４で行ない、その結果を対象認識
手段６に入力する。また、対象画像と基準画像記憶手段
３に記憶された基準画像との相関演算を第２の相関演算
手段５で複数の相関領域サイズで行ない、その結果を対
象認識手段６に入力する。これにより、対象認識手段６
では、第１の相関演算手段４の結果と第２の相関演算手
段５の結果とから、対象の認識を行ない、その対象認識
結果を出力する。
【００２３】
【実施例】以下、本発明の一実施例について図面を参照
して説明する。図２は、本発明による画像認識装置の構
成例を示す機能ブロック図であり、図１と同一部分には
同一符号を付して示している。
して説明する。図２は、本発明による画像認識装置の構
成例を示す機能ブロック図であり、図１と同一部分には
同一符号を付して示している。
【００２４】すなわち、本実施例の画像認識装置は、図
２に示すように、対象画像入力部１と、背景画像記憶部
２と、基準画像記憶部３と、第１の相関演算部４と、第
２の相関演算部５と、対象認識部６と、学習データ生成
部７とから構成している。ここで、対象画像入力部１
は、対象画像を入力するものである。また、背景画像記
憶部２は、あらかじめ入力された背景画像を記憶するも
のである。さらに、基準画像記憶部３は、あらかじめ入
力された代表的な対象画像を基準画像として記憶するも
のである。一方、第１の相関演算部４は、入力された対
象画像と背景画像記憶手段２に記憶された背景画像との
相関演算を行なうものである。また、第２の相関演算部
５は、入力された対象画像と基準画像記憶手段３に記憶
された基準画像との相関演算を複数の相関領域サイズで
行なうものである。
２に示すように、対象画像入力部１と、背景画像記憶部
２と、基準画像記憶部３と、第１の相関演算部４と、第
２の相関演算部５と、対象認識部６と、学習データ生成
部７とから構成している。ここで、対象画像入力部１
は、対象画像を入力するものである。また、背景画像記
憶部２は、あらかじめ入力された背景画像を記憶するも
のである。さらに、基準画像記憶部３は、あらかじめ入
力された代表的な対象画像を基準画像として記憶するも
のである。一方、第１の相関演算部４は、入力された対
象画像と背景画像記憶手段２に記憶された背景画像との
相関演算を行なうものである。また、第２の相関演算部
５は、入力された対象画像と基準画像記憶手段３に記憶
された基準画像との相関演算を複数の相関領域サイズで
行なうものである。
【００２５】さらに、対象認識部６は、自己学習機能を
有し、第１の相関演算手段４による演算結果と第２の相
関演算手段５による演算結果とに基づいて対象の認識を
行ない対象認識結果を出力するものである。
有し、第１の相関演算手段４による演算結果と第２の相
関演算手段５による演算結果とに基づいて対象の認識を
行ない対象認識結果を出力するものである。
【００２６】すなわち、この対象認識部６は、３層パー
セプトロン型ニューラルネットワーク６ａを備えてな
り、第１の相関演算手段４による演算結果と第２の相関
演算手段５による演算結果と学習データ生成手段７によ
る教師信号とに基づいて、誤差逆伝播法により対象認識
方法を自己学習するものである。
セプトロン型ニューラルネットワーク６ａを備えてな
り、第１の相関演算手段４による演算結果と第２の相関
演算手段５による演算結果と学習データ生成手段７によ
る教師信号とに基づいて、誤差逆伝播法により対象認識
方法を自己学習するものである。
【００２７】さらにまた、学習データ生成部７は、対象
抽出部８と、対象移動部９と、画像合成部１０と、教師
信号生成部１１とを備えてなり、背景画像記憶手段２に
記憶された背景画像と基準画像記憶手段３に記憶された
基準画像とに基づいて、対象認識手段６における対象認
識の学習データおよび教師信号を生成する学習データ生
成手段７とを備えて構成している。次に、以上のように
構成した本実施例の画像認識装置の作用について、図３
ないし図８を用いて説明する。まず、自己学習時の作用
について、図３ないし図５を用いて述べる。
抽出部８と、対象移動部９と、画像合成部１０と、教師
信号生成部１１とを備えてなり、背景画像記憶手段２に
記憶された背景画像と基準画像記憶手段３に記憶された
基準画像とに基づいて、対象認識手段６における対象認
識の学習データおよび教師信号を生成する学習データ生
成手段７とを備えて構成している。次に、以上のように
構成した本実施例の画像認識装置の作用について、図３
ないし図８を用いて説明する。まず、自己学習時の作用
について、図３ないし図５を用いて述べる。
【００２８】まず、図３に示すように、基準画像記憶部
３に、あらかじめ代表的な対象画像を、対象の部分のみ
基準画像として記憶しておく。また、対象認識の実環境
下で対象が現われない時に、あらかじめ背景画像を入力
して背景画像記憶部２に記憶する。
３に、あらかじめ代表的な対象画像を、対象の部分のみ
基準画像として記憶しておく。また、対象認識の実環境
下で対象が現われない時に、あらかじめ背景画像を入力
して背景画像記憶部２に記憶する。
【００２９】次に、自己学習時には、図４に示すよう
に、学習データ生成部７で、基準画像と背景画像とを基
に対象認識の学習データおよび教師信号を生成する。図
５は、学習データ生成部７で生成される学習データおよ
び教師信号の詳細を示す図である。
に、学習データ生成部７で、基準画像と背景画像とを基
に対象認識の学習データおよび教師信号を生成する。図
５は、学習データ生成部７で生成される学習データおよ
び教師信号の詳細を示す図である。
【００３０】すなわち、基準画像記憶部３の基準画像の
うち、対象の部分だけを基準画像と共に記憶されている
対象の位置・範囲情報を用いて対象抽出部８で抽出し、
対象移動部９で適当に位置を移動してから、画像合成部
１０で背景画像の上に画像合成する。この画像合成部１
０は、単純に基準画像で対象のある部分は基準画像のデ
ータを出力し、対象のない部分は背景画像のデータを出
力する一種のスイッチである。そして、画像の移動量を
変えて、いくつかの学習データを生成する。元の対象の
位置・範囲は基準画像記憶部３に記憶されており、対象
移動部９による移動量は既知であるから、この２つから
教師信号として、対象の中心位置を示す信号と対象の範
囲および種別を示す信号を容易に生成できる。
うち、対象の部分だけを基準画像と共に記憶されている
対象の位置・範囲情報を用いて対象抽出部８で抽出し、
対象移動部９で適当に位置を移動してから、画像合成部
１０で背景画像の上に画像合成する。この画像合成部１
０は、単純に基準画像で対象のある部分は基準画像のデ
ータを出力し、対象のない部分は背景画像のデータを出
力する一種のスイッチである。そして、画像の移動量を
変えて、いくつかの学習データを生成する。元の対象の
位置・範囲は基準画像記憶部３に記憶されており、対象
移動部９による移動量は既知であるから、この２つから
教師信号として、対象の中心位置を示す信号と対象の範
囲および種別を示す信号を容易に生成できる。
【００３１】次に、このようにして生成した対象認識の
学習データを第１の相関演算部４および第２の相関演算
部５に入力し、また対象認識部６に教師信号を入力す
る。すると、第１の相関演算部４では、学習データと背
景画像記憶部２に記憶された背景画像との相関演算を複
数の相関領域サイズでもって行ない、その結果を対象認
識部６に入力する。また、第２の相関演算部５では、学
習データと基準画像記憶部３に記憶された基準画像との
相関演算を複数の相関領域サイズでもって行ない、その
各結果を対象認識部６に入力する。これにより、対象認
識部６では、第１の相関演算結果と第２の相関演算結果
と教師信号とから、３層パーセプトロン型ニューラルネ
ットワーク６ａにおいて誤差逆伝播法により対象認識方
法を自己学習する。
学習データを第１の相関演算部４および第２の相関演算
部５に入力し、また対象認識部６に教師信号を入力す
る。すると、第１の相関演算部４では、学習データと背
景画像記憶部２に記憶された背景画像との相関演算を複
数の相関領域サイズでもって行ない、その結果を対象認
識部６に入力する。また、第２の相関演算部５では、学
習データと基準画像記憶部３に記憶された基準画像との
相関演算を複数の相関領域サイズでもって行ない、その
各結果を対象認識部６に入力する。これにより、対象認
識部６では、第１の相関演算結果と第２の相関演算結果
と教師信号とから、３層パーセプトロン型ニューラルネ
ットワーク６ａにおいて誤差逆伝播法により対象認識方
法を自己学習する。
【００３２】かかる自己学習により、第２の相関演算部
５の出力のうち適当なものが肯定条件として、第１の相
関演算部４の出力のうち適当なものが否定条件としてそ
れぞれ選択され、上記判定ができるような最適な構成が
自動生成される。次に、認識時の作用について、図６を
用いて述べる。
５の出力のうち適当なものが肯定条件として、第１の相
関演算部４の出力のうち適当なものが否定条件としてそ
れぞれ選択され、上記判定ができるような最適な構成が
自動生成される。次に、認識時の作用について、図６を
用いて述べる。
【００３３】いま、背景画像記憶部２に記憶した背景に
類似した背景を持つ対象画像が、対象画像入力部１から
入力される。次に、対象画像と背景画像記憶部２に記憶
された背景画像との相関演算を第１の相関演算部４で行
ない、その結果を対象認識部６に入力する。また、対象
画像と基準画像記憶部３に記憶された基準画像との相関
演算を第２の相関演算部５で行ない、その結果を対象認
識部６に入力する。これにより、対象認識部６では、第
１の相関演算部４の結果と第２の相関演算部５の結果と
から、３層パーセプトロン型ニューラルネットワーク６
ａにより対象の認識を行なって出力する。この場合、既
に、類似した背景において対象の認識について自己学習
がなされているので、ほぼ所望の対象認識が行なわれる
ことになる。次に、かかる認識時の作用についてより詳
細に述べる。
類似した背景を持つ対象画像が、対象画像入力部１から
入力される。次に、対象画像と背景画像記憶部２に記憶
された背景画像との相関演算を第１の相関演算部４で行
ない、その結果を対象認識部６に入力する。また、対象
画像と基準画像記憶部３に記憶された基準画像との相関
演算を第２の相関演算部５で行ない、その結果を対象認
識部６に入力する。これにより、対象認識部６では、第
１の相関演算部４の結果と第２の相関演算部５の結果と
から、３層パーセプトロン型ニューラルネットワーク６
ａにより対象の認識を行なって出力する。この場合、既
に、類似した背景において対象の認識について自己学習
がなされているので、ほぼ所望の対象認識が行なわれる
ことになる。次に、かかる認識時の作用についてより詳
細に述べる。
【００３４】まず、背景が単純で対象がはっきりしてい
る場合には、従来の技術で述べたように、単純に対象画
像と基準画像の相関演算を適当な相関領域サイズで行な
えばよいが、複雑背景下で対象が若干変型するような場
合には、相関領域サイズが大きい場合、相関値が非常に
小さくなる傾向がある。一方、相関領域サイズが小さく
なると、画像全体にかかるランダムノイズ等に弱くな
る。このため、図７に示すように、複数の相関領域サイ
ズで各々相関演算を行ない、その結果を総合的に判定す
ることによって、認識精度がより一層向上する。
る場合には、従来の技術で述べたように、単純に対象画
像と基準画像の相関演算を適当な相関領域サイズで行な
えばよいが、複雑背景下で対象が若干変型するような場
合には、相関領域サイズが大きい場合、相関値が非常に
小さくなる傾向がある。一方、相関領域サイズが小さく
なると、画像全体にかかるランダムノイズ等に弱くな
る。このため、図７に示すように、複数の相関領域サイ
ズで各々相関演算を行ない、その結果を総合的に判定す
ることによって、認識精度がより一層向上する。
【００３５】また、複雑背景下では、対象部分以外に背
景部分にも相関値が大きくなる部分が発生することが多
い。このため、図８に示すように、第２の相関演算部５
で対象画像と基準画像との相関演算を行ない、そこから
第１の相関演算部４で対象画像と背景画像との相関演算
結果の大きいところ（背景部分）を除外することによっ
て、認識精度をより一層大幅に向上できる。
景部分にも相関値が大きくなる部分が発生することが多
い。このため、図８に示すように、第２の相関演算部５
で対象画像と基準画像との相関演算を行ない、そこから
第１の相関演算部４で対象画像と背景画像との相関演算
結果の大きいところ（背景部分）を除外することによっ
て、認識精度をより一層大幅に向上できる。
【００３６】上述したように、本実施例の画像認識装置
は、対象画像を入力する対象画像入力部１と、あらかじ
め入力された背景画像を記憶する背景画像記憶部２と、
あらかじめ入力された代表的な対象画像を基準画像とし
て記憶する基準画像記憶部３と、入力された対象画像と
背景画像記憶手段２に記憶された背景画像との相関演算
を行なう第１の相関演算部４と、入力された対象画像と
基準画像記憶手段３に記憶された基準画像との相関演算
を複数の相関領域サイズで行なう第２の相関演算部５
と、第１の相関演算手段４による演算結果と第２の相関
演算手段５による演算結果と学習データ生成手段７によ
る教師信号とに基づいて、誤差逆伝播法により対象認識
方法を自己学習する３層パーセプトロン型ニューラルネ
ットワーク６ａを備えてなり、第１の相関演算手段４に
よる演算結果と第２の相関演算手段５による演算結果と
に基づいて対象の認識を行ない対象認識結果を出力する
対象認識部６と、対象抽出部８と、対象移動部９と、画
像合成部１０と、教師信号生成部１１とを備えてなり、
背景画像記憶手段２に記憶された背景画像と基準画像記
憶手段３に記憶された基準画像とに基づいて、対象認識
手段６における対象認識の学習データおよび教師信号を
生成する学習データ生成部７とから構成したものであ
る。
は、対象画像を入力する対象画像入力部１と、あらかじ
め入力された背景画像を記憶する背景画像記憶部２と、
あらかじめ入力された代表的な対象画像を基準画像とし
て記憶する基準画像記憶部３と、入力された対象画像と
背景画像記憶手段２に記憶された背景画像との相関演算
を行なう第１の相関演算部４と、入力された対象画像と
基準画像記憶手段３に記憶された基準画像との相関演算
を複数の相関領域サイズで行なう第２の相関演算部５
と、第１の相関演算手段４による演算結果と第２の相関
演算手段５による演算結果と学習データ生成手段７によ
る教師信号とに基づいて、誤差逆伝播法により対象認識
方法を自己学習する３層パーセプトロン型ニューラルネ
ットワーク６ａを備えてなり、第１の相関演算手段４に
よる演算結果と第２の相関演算手段５による演算結果と
に基づいて対象の認識を行ない対象認識結果を出力する
対象認識部６と、対象抽出部８と、対象移動部９と、画
像合成部１０と、教師信号生成部１１とを備えてなり、
背景画像記憶手段２に記憶された背景画像と基準画像記
憶手段３に記憶された基準画像とに基づいて、対象認識
手段６における対象認識の学習データおよび教師信号を
生成する学習データ生成部７とから構成したものであ
る。
【００３７】従って、代表的な対象画像と対象の位置お
よび範囲を基準画像として記憶し、さらに対象認識前に
対象がない状態で背景画像を記憶し、基準画像と背景画
像をもとに学習データと教師信号を生成して対象認識部
６を自己学習できるため、監視等の複雑背景下の所望の
対象認識を確実に行なうことが可能となる。
よび範囲を基準画像として記憶し、さらに対象認識前に
対象がない状態で背景画像を記憶し、基準画像と背景画
像をもとに学習データと教師信号を生成して対象認識部
６を自己学習できるため、監視等の複雑背景下の所望の
対象認識を確実に行なうことが可能となる。
【００３８】また、相関演算法を基本として、背景の形
状変化に強い対象認識方法を提供することができると共
に、相関演算法の利点である、基本的には基準画像を提
示した対象との区分を教示するだけによって、対象を容
易に認識することが可能となる。次に、本発明の他の実
施例について説明する。
状変化に強い対象認識方法を提供することができると共
に、相関演算法の利点である、基本的には基準画像を提
示した対象との区分を教示するだけによって、対象を容
易に認識することが可能となる。次に、本発明の他の実
施例について説明する。
【００３９】図９は、本発明による画像認識装置の他の
構成例を示す機能ブロック図であり、図２と同一部分に
は同一符号を付してその説明を省略し、ここでは異なる
部分についてのみ述べる。
構成例を示す機能ブロック図であり、図２と同一部分に
は同一符号を付してその説明を省略し、ここでは異なる
部分についてのみ述べる。
【００４０】すなわち、本実施例の画像認識装置は、図
９に示すように、対象認識部６として、図２における３
層パーセプトロン型ニューラルネットワーク６ａに代え
て、統計処理部６ｂを備えて構成している。
９に示すように、対象認識部６として、図２における３
層パーセプトロン型ニューラルネットワーク６ａに代え
て、統計処理部６ｂを備えて構成している。
【００４１】ここで、統計処理部６ｂは、前記第１およ
び第２の相関演算部４および５による演算結果である各
相関値と、前記学習データ生成部７による教師信号との
傾きを最小自乗法により求めて、この傾きの値をその相
関値の出力重み係数とし、傾き０（相関がない）である
相関値を排除し、傾きが正の相関値を正の出力重みで肯
定し、傾きが負の相関値を負の出力重みで否定すること
により、総合的に相関値を取捨選択して対象を認識する
ものである。
び第２の相関演算部４および５による演算結果である各
相関値と、前記学習データ生成部７による教師信号との
傾きを最小自乗法により求めて、この傾きの値をその相
関値の出力重み係数とし、傾き０（相関がない）である
相関値を排除し、傾きが正の相関値を正の出力重みで肯
定し、傾きが負の相関値を負の出力重みで否定すること
により、総合的に相関値を取捨選択して対象を認識する
ものである。
【００４２】かかる画像認識装置においては、前述の実
施例の場合と同様に、学習データ生成部７で学習データ
と教師信号が生成される。そして、統計処理部６ｂで
は、各相関値と教師信号との傾きを最小自乗法により求
め、この傾きの値をその相関値の出力重み係数とする。
施例の場合と同様に、学習データ生成部７で学習データ
と教師信号が生成される。そして、統計処理部６ｂで
は、各相関値と教師信号との傾きを最小自乗法により求
め、この傾きの値をその相関値の出力重み係数とする。
【００４３】これにより、図１０に示すように、傾き０
（相関が無い）である相関値を排除し、傾きが正の相関
値を正の出力重みで肯定し、傾きが負の相関値を負の出
力重みで否定することにより、総合的に相関値を取捨選
択して対象認識ができることになる。
（相関が無い）である相関値を排除し、傾きが正の相関
値を正の出力重みで肯定し、傾きが負の相関値を負の出
力重みで否定することにより、総合的に相関値を取捨選
択して対象認識ができることになる。
【００４４】以上のようにして、代表的な対象画像と対
象の位置・範囲を基準画像として記憶し、さらに対象認
識前に対象がない状態で背景画像を記憶し、基準画像と
背景画像をもとに学習データと教師信号を生成して対象
認識部６を自己学習することにより、前述の実施例の場
合と同様に、監視等の複雑背景下の所望の対象認識を確
実に行なうことが可能となる。
象の位置・範囲を基準画像として記憶し、さらに対象認
識前に対象がない状態で背景画像を記憶し、基準画像と
背景画像をもとに学習データと教師信号を生成して対象
認識部６を自己学習することにより、前述の実施例の場
合と同様に、監視等の複雑背景下の所望の対象認識を確
実に行なうことが可能となる。
【００４５】
【発明の効果】以上説明したように本発明によれば、あ
らかじめ複数の代表的な対象画像と対象の位置および範
囲を教示し、背景画像を与えることによって対象認識の
方法を自己学習でき、監視等の複雑背景下の所望の対象
認識を確実に行なうことが可能な極めて信頼性の高い画
像認識装置が提供できる。
らかじめ複数の代表的な対象画像と対象の位置および範
囲を教示し、背景画像を与えることによって対象認識の
方法を自己学習でき、監視等の複雑背景下の所望の対象
認識を確実に行なうことが可能な極めて信頼性の高い画
像認識装置が提供できる。
【図１】本発明による画像認識装置を示す機能ブロック
図。
図。
【図２】本発明による画像認識装置の一実施例を示す機
能ブロック図。
能ブロック図。
【図３】同実施例における基準画像および背景画像入力
時の作用を説明するための図。
時の作用を説明するための図。
【図４】同実施例における自己学習時の作用を説明する
ための図。
ための図。
【図５】同実施例における学習データおよび教師信号の
詳細を示す図。
詳細を示す図。
【図６】同実施例における認識時の作用を説明するため
の図。
の図。
【図７】同実施例における複数の相関領域サイズの相関
演算部の効果を説明するための図。
演算部の効果を説明するための図。
【図８】同実施例における第１の相関演算部と第２の相
関演算部および対象認識部の効果を説明するための図。
関演算部および対象認識部の効果を説明するための図。
【図９】本発明による画像認識装置の他の実施例を示す
機能ブロック図。
機能ブロック図。
【図１０】同他の実施例における作用を説明するための
図。
図。
【図１１】３層ニューラルネットワークの詳細を示す
図。
図。
【図１２】図１１における一部を拡大して示す図。
１…対象画像入力手段、２…背景画像記憶手段、３…基
準画像記憶手段、４…第１の相関演算手段、５…第２の
相関演算手段、６…対象認識手段、６ａ…３層パーセプ
トロン型ニューラルネットワーク、６ｂ…統計処理部、
７…学習データ生成手段。
準画像記憶手段、４…第１の相関演算手段、５…第２の
相関演算手段、６…対象認識手段、６ａ…３層パーセプ
トロン型ニューラルネットワーク、６ｂ…統計処理部、
７…学習データ生成手段。
Claims (3)
- 【請求項１】 あらかじめ入力された背景画像を記憶す
る背景画像記憶手段と、 あらかじめ入力された代表的な対象画像を基準画像とし
て記憶する基準画像記憶手段と、 入力された対象画像と前記背景画像記憶手段に記憶され
た背景画像との相関演算を行なう第１の相関演算手段
と、 前記入力された対象画像と前記基準画像記憶手段に記憶
された基準画像との相関演算を複数の相関領域サイズで
行なう第２の相関演算手段と、 自己学習機能を有し、前記第１の相関演算手段による演
算結果と前記第２の相関演算手段による演算結果とに基
づいて対象の認識を行ない対象認識結果を出力する対象
認識手段と、 前記背景画像記憶手段に記憶された背景画像と前記基準
画像記憶手段に記憶された基準画像とに基づいて、前記
対象認識手段における対象認識の学習データおよび教師
信号を生成する学習データ生成手段と、 を備えて成ることを特徴とする画像認識装置。 - 【請求項２】 前記対象認識手段としては、前記第１の
相関演算手段による演算結果と前記第２の相関演算手段
による演算結果と前記学習データ生成手段による教師信
号とに基づいて、誤差逆伝播法により対象認識方法を自
己学習する３層パーセプトロン型ニューラルネットワー
クであることを特徴とする請求項１に記載の画像認識装
置。 - 【請求項３】 前記対象認識手段としては、前記第１お
よび第２の相関演算手段による演算結果である各相関値
と前記学習データ生成手段による教師信号との傾きを最
小自乗法により求めて、当該傾きの値をその相関値の出
力重み係数とし、傾き０（相関がない）である相関値を
排除し、傾きが正の相関値を正の出力重みで肯定し、傾
きが負の相関値を負の出力重みで否定することにより、
総合的に相関値を取捨選択して対象を認識する統計処理
部であることを特徴とする請求項１に記載の画像認識装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4109604A JPH05303645A (ja) | 1992-04-28 | 1992-04-28 | 画像認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4109604A JPH05303645A (ja) | 1992-04-28 | 1992-04-28 | 画像認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05303645A true JPH05303645A (ja) | 1993-11-16 |
Family
ID=14514500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4109604A Pending JPH05303645A (ja) | 1992-04-28 | 1992-04-28 | 画像認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05303645A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008165731A (ja) * | 2006-12-08 | 2008-07-17 | Sony Corp | 情報処理装置および情報処理方法、認識装置および情報認識方法、並びに、プログラム |
| JP2020038666A (ja) * | 2018-09-04 | 2020-03-12 | 株式会社ストラドビジョン | 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置 |
| US10984538B2 (en) | 2016-03-09 | 2021-04-20 | Nec Corporation | Image-processing device, image-processing method, and recording medium |
-
1992
- 1992-04-28 JP JP4109604A patent/JPH05303645A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008165731A (ja) * | 2006-12-08 | 2008-07-17 | Sony Corp | 情報処理装置および情報処理方法、認識装置および情報認識方法、並びに、プログラム |
| US8411906B2 (en) | 2006-12-08 | 2013-04-02 | Sony Corporation | Image processing apparatus, image processing method, image recognition apparatus, and image recognition method |
| US10984538B2 (en) | 2016-03-09 | 2021-04-20 | Nec Corporation | Image-processing device, image-processing method, and recording medium |
| JP2020038666A (ja) * | 2018-09-04 | 2020-03-12 | 株式会社ストラドビジョン | 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210089895A1 (en) | Device and method for generating a counterfactual data sample for a neural network | |
| KR102224253B1 (ko) | 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법 | |
| US5095443A (en) | Plural neural network system having a successive approximation learning method | |
| CN108764107A (zh) | 基于人体骨架序列的行为与身份联合识别方法及装置 | |
| US20200193607A1 (en) | Object shape regression using wasserstein distance | |
| JP7405198B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN112149491A (zh) | 用于确定探测到的对象的信任值的方法 | |
| Tavanaei et al. | A minimal spiking neural network to rapidly train and classify handwritten digits in binary and 10-digit tasks | |
| CN113065431B (zh) | 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法 | |
| JP2019152964A (ja) | 学習方法および学習装置 | |
| US20030179933A1 (en) | Recognition device and method | |
| KR20190061538A (ko) | 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치 | |
| CN112149616A (zh) | 基于动态信息的人物交互行为识别方法 | |
| CN113971764A (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
| CN110263808B (zh) | 一种基于lstm网络和注意力机制的图像情感分类方法 | |
| CN110837787B (zh) | 一种三方生成对抗网络的多光谱遥感图像检测方法及系统 | |
| KR20000023923A (ko) | 표정변화와 주변환경에 독립적인 지능형 얼굴검출방법. | |
| Choi et al. | Biologically motivated visual attention system using bottom-up saliency map and top-down inhibition | |
| JPH05303645A (ja) | 画像認識装置 | |
| CN112150344A (zh) | 用于确定一类别的对象的置信值的方法 | |
| CN116682178A (zh) | 密集场景下的多人姿态检测方法 | |
| JP4532678B2 (ja) | パターン検出装置及び方法、画像処理装置及び方法、ニューラルネットワーク装置 | |
| JPH08305855A (ja) | 画像のパターン認識方法及び装置 | |
| US5950180A (en) | Process for the classification of objects | |
| Sapkal et al. | Analysis of classification by supervised and unsupervised learning |