JP6255296B2 - Object identification device - Google Patents
Object identification device Download PDFInfo
- Publication number
- JP6255296B2 JP6255296B2 JP2014072837A JP2014072837A JP6255296B2 JP 6255296 B2 JP6255296 B2 JP 6255296B2 JP 2014072837 A JP2014072837 A JP 2014072837A JP 2014072837 A JP2014072837 A JP 2014072837A JP 6255296 B2 JP6255296 B2 JP 6255296B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- learning
- sample data
- input data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000013016 learning Effects 0.000 claims description 122
- 238000003860 storage Methods 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 14
- 238000013500 data storage Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 33
- 238000000034 method Methods 0.000 description 24
- 238000010187 selection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- GZPBVLUEICLBOA-UHFFFAOYSA-N 4-(dimethylamino)-3,5-dimethylphenol Chemical compound CN(C)C1=C(C)C=C(O)C=C1C GZPBVLUEICLBOA-UHFFFAOYSA-N 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、入力データが所定の対象を含むか否かを識別する対象識別装置に関する。 The present invention relates to an object identification device for identifying whether or not input data includes a predetermined object.
監視カメラの画像やデジタルスチルカメラの画像から人や顔などの対象物を検知する技術として識別器を用いたものが知られている。識別器は、対象物である人が撮された対象物画像、及び対象物が撮されていない非対象物画像からなる多数の学習用画像を用いた学習により生成される。従来は、一群の学習用画像から生成された同じ識別器を用いて、複数の入力画像について識別を行っている。また、学習用画像の数を増やすこと、特に識別境界付近の学習用画像を増やすことが識別精度の向上に効果があると言われており、できる限り多数の画像を収集して識別器を学習させるための研究が行われてきた。 As a technique for detecting an object such as a person or a face from an image of a surveillance camera or an image of a digital still camera, a technique using an identifier is known. The discriminator is generated by learning using a large number of learning images including a target object image taken by a person as a target object and a non-target image where the target object is not taken. Conventionally, a plurality of input images are identified using the same classifier generated from a group of learning images. It is said that increasing the number of learning images, especially increasing the number of learning images in the vicinity of the identification boundary, is effective in improving the identification accuracy. Collect as many images as possible to learn the classifier. Research has been carried out.
例えば、特許文献1には、装置の設置環境の特性にあわせて識別器を学習させる物体検出装置が提案されている。この物体検出装置は、監視カメラを設置した時に監視カメラからの画像を用いて識別器を学習させることで、識別境界付近の学習用画像を増やしている。この物体検出装置が学習した識別器は、各監視カメラが撮影する画像の全てに共通して用いられる。 For example, Patent Document 1 proposes an object detection device that learns a discriminator in accordance with the characteristics of the installation environment of the device. This object detection device increases the number of learning images near the identification boundary by learning a classifier using an image from the monitoring camera when the monitoring camera is installed. The classifier learned by the object detection device is used in common for all images taken by each surveillance camera.
しかし、実際に学習用画像を増やしても識別精度は飽和する傾向にあり、効果的に識別精度を向上させることが困難であった。精度飽和の要因の1つに、全ての入力画像に対して共通の識別器を学習させていることが考えられる。つまり、識別器の精度を全ての入力画像に対して平均的に高くしても、統計的に見て少数派となる一定割合の入力画像に対しては精度が平均値より大きく下回ることが考えられる。また、識別境界付近では、学習用画像が有限個数であり離散的である以上、入力画像に近い学習用画像を用いて学習したか否かの次第で性能が左右される偶発性が存在する。この偶発性によって性能が安定せず、近い学習用画像を用意できなかった一定割合の入力画像に対して精度が低くなることも精度飽和の要因と考えられる。そして、識別境界付近の全ての入力画像について、それに近い対象物画像と非対象物画像とを実際に用意しておくことはほぼ不可能である。 However, even if the number of learning images is actually increased, the identification accuracy tends to be saturated, and it is difficult to effectively improve the identification accuracy. One of the causes of saturation of accuracy is that a common classifier is learned for all input images. In other words, even if the accuracy of the discriminator is increased on the average for all input images, the accuracy may be significantly lower than the average value for a certain percentage of input images that are statistically minor. It is done. Further, in the vicinity of the identification boundary, since there are a finite number of learning images and they are discrete, there is a randomness whose performance depends on whether learning is performed using a learning image close to the input image. The fact that the performance is not stable due to the randomness and the accuracy is lowered with respect to a certain percentage of input images for which a close learning image could not be prepared is also considered as a factor of the saturation of accuracy. It is almost impossible to actually prepare object images and non-object images close to all input images near the identification boundary.
本発明は上記問題を鑑みてなされたものであり、入力データ付近における学習データの収集状態に依存せずに高い識別精度を実現可能な対象識別装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an object identification device capable of realizing high identification accuracy without depending on the collection state of learning data in the vicinity of input data.
本発明に係る対象識別装置は、入力データが所定の対象を含むか否かを識別する対象識別装置であって、予め前記対象を含むか否かが識別された複数の標本データを記憶している標本データ記憶手段と、前記各標本データと前記入力データとの相違度を算出し、前記相違度が疎隔値を超えない標本データを除外して前記相違度が疎隔値を超える標本データの一部または全部を学習用データとして選出する学習用データ選出手段と、前記学習用データを用いた学習により、前記入力データについての識別器を生成する識別器生成手段と、前記識別器により前記入力データが前記対象を含むか否かを識別させる入力データ識別手段と、を備える。 An object identification device according to the present invention is an object identification device for identifying whether or not input data includes a predetermined object, and stores a plurality of sample data in which whether or not the object includes the object in advance is stored. Sample data storage means, calculating the difference between each sample data and the input data, excluding sample data whose difference does not exceed a sparse value, and sample data exceeding the sparse value The learning data selecting means for selecting part or all of the learning data as learning data, the discriminator generating means for generating a discriminator for the input data by learning using the learning data, and the discriminator Input data identifying means for identifying whether or not the input data includes the object.
本発明に係る対象識別装置において、さらに、予めの学習にて定められた、前記標本データを表すベクトルの各成分の信頼度を予め記憶した信頼度記憶手段を有し、前記学習用データ選出手段は、前記標本データと前記入力データとの前記相違度として、当該両データを表す2つのベクトルについて前記信頼度で重み付けした相違度を算出する構成とすることができる。 The object identification device according to the present invention further includes a reliability storage unit that stores in advance the reliability of each component of the vector representing the sample data, which is determined in advance learning, and the learning data selection unit Can be configured to calculate the degree of difference between the sample data and the input data by weighting the two vectors representing the data with the reliability.
また本発明に係る対象識別装置において、さらに、予めの学習により定められた、前記対象を含む標本データ及び前記対象を含まない標本データを分ける識別境界と、前記各標本データとの間の第1距離値を予め記憶した距離値記憶手段を有し、前記学習用データ選出手段は、前記識別境界と前記入力データとの間の第2距離値を算出して、前記標本データと前記入力データとの前記相違度として前記第1距離値と前記第2距離値との差を算出する構成とすることができる。 Moreover, in the object identification device according to the present invention, a first boundary between the identification data, which is determined by learning in advance and separates the sample data including the object and the sample data not including the object, and the sample data. A distance value storage unit that stores a distance value in advance; and the learning data selection unit calculates a second distance value between the identification boundary and the input data, and the sample data and the input data The difference between the first distance value and the second distance value can be calculated as the degree of difference.
他の本発明に係る対象識別装置においては、前記学習用データ選出手段は、前記入力データと前記対象を含むと識別された標本データとの前記相違度に基づいて前記対象を含むと識別された標本データのうちの複数の標本データを前記学習用データとして選出可能な前記疎隔値を決定する構成とすることができる。 In another object identification device according to the present invention, the learning data selection means is identified as including the object based on the difference between the input data and the sample data identified as including the object. The sparse value that can select a plurality of sample data of the sample data as the learning data can be determined.
別の本発明に係る対象識別装置においては、前記学習用データは前記対象を含む標本データと前記対象を含まない標本データとを予め定めた同じ数ずつ含む構成とすることができる。 In the object identification device according to another aspect of the invention, the learning data may include a predetermined number of sample data including the object and sample data not including the object.
他の本発明に係る対象識別装置は、入力データが所定の対象を含むか否かを識別する対象識別装置であって、前記入力データがとり得る範囲内の複数の特徴データそれぞれに付与したインデックスと、当該インデックスを付与した特徴データの識別に適した識別器の構成情報とを対応付けたテーブルを予め記憶した識別器テーブル記憶手段と、前記入力データと対応する特徴データから前記インデックスを特定し、当該インデックスに対応する前記識別器の構成情報を用いて識別器を生成する識別器生成手段と、を有し、前記識別器生成手段が生成した識別器にて前記入力データに所定の対象を含むか否かを識別する。 Another object identification device according to the present invention is an object identification device for identifying whether or not input data includes a predetermined object, and an index assigned to each of a plurality of feature data within a range that the input data can take And a discriminator table storage means for storing a table in which the configuration information of the discriminator suitable for identifying the feature data to which the index is assigned is stored in advance, and the index is specified from the feature data corresponding to the input data. A discriminator generating unit that generates a discriminator using configuration information of the discriminator corresponding to the index, and a predetermined target is applied to the input data by the discriminator generated by the discriminator generating unit. Identifies whether or not to include.
本発明に係る対象識別装置においては、前記識別器テーブル記憶手段に記憶する前記構成情報は、前記対象を含むか否かが予め識別された複数の標本データの中から前記特徴データとの相違度が疎隔値を超えない標本データを除外した残余の標本データの一部又は全部を用いた学習により生成された構成情報である構成とすることができる。 In the object identification device according to the present invention, the configuration information stored in the classifier table storage means is a degree of difference from the feature data from a plurality of sample data that has been identified in advance as to whether or not the object is included. Can be configured as configuration information generated by learning using part or all of the remaining sample data excluding sample data that does not exceed the sparse value.
本発明によれば、入力データごとに、当該入力データ付近を除いて選出した学習用データを用いた学習により識別器を生成して当該入力データを識別するので、個々の入力データに対する識別精度を高めることが容易となり、また入力データの近傍に存在する学習データに識別精度を左右されにくくなる。そのため、学習用標本データの収集状態に依存せずに高精度な識別が可能となる。 According to the present invention, for each input data, a discriminator is generated by learning using learning data selected except for the vicinity of the input data, and the input data is identified. It becomes easy to increase, and the identification accuracy is not easily influenced by the learning data existing in the vicinity of the input data. Therefore, highly accurate identification is possible without depending on the collection state of the learning sample data.
本発明の実施の形態(以下実施形態という)である画像センサー1は監視空間を撮影して侵入者を検知する。画像センサー1は本発明に係る対象識別装置を備える。当該対象識別装置は撮影した画像、又は当該画像から抽出した特徴量を入力データとし、入力データに所定の対象が含まれているか否かを識別する。対象識別装置の基本構成における原理では、予め用意した複数クラスの標本データのうちの比較的少数であって入力データの識別に有効なものを学習用データとして選択し、これら選択した学習用データで識別境界を生成し入力データの識別を行う。以下、標本データ全てを用いて生成され各入力データに共通に適用される従来の識別器、識別境界をグローバル識別器、グローバル識別境界と呼び、一方、用意した標本データから各入力データに対応して選択したものを用いて生成される識別器、識別境界をローカル識別器、ローカル識別境界と呼ぶことにする。本発明の発明者は、入力データに対して一定以下の相違度を有する標本データを選択対象から除外し、相違度が一定より大きな標本データだけを用いてローカル識別器、ローカル識別境界を生成すると、入力データの識別精度が格段に向上するとの知見を得た。本発明は上記知見に基づいてなされたものである。以下、本発明の実施形態である画像センサー1を図面に基づいて説明する。 An image sensor 1 according to an embodiment of the present invention (hereinafter referred to as an embodiment) detects an intruder by photographing a monitoring space. The image sensor 1 includes an object identification device according to the present invention. The target identification device uses a captured image or a feature amount extracted from the image as input data, and identifies whether or not a predetermined target is included in the input data. According to the principle of the basic configuration of the object identification device, a relatively small number of sample data of a plurality of classes prepared in advance and effective for identifying input data are selected as learning data, and the selected learning data An identification boundary is generated and input data is identified. Hereinafter, a conventional classifier that is generated using all sample data and is commonly applied to each input data, the identification boundary is referred to as a global classifier, and a global identification boundary, while corresponding to each input data from the prepared sample data. The discriminator and the discriminating boundary generated by using the selected one are called the local discriminator and the local discriminating boundary. The inventor of the present invention excludes sample data having a degree of difference below a certain level with respect to input data from the selection target, and generates a local discriminator and a local identification boundary using only sample data having a degree of difference larger than a constant. The knowledge that the identification accuracy of input data improves remarkably was acquired. The present invention has been made based on the above findings. Hereinafter, an image sensor 1 according to an embodiment of the present invention will be described with reference to the drawings.
《第1の実施形態》
[画像センサー1の構成]
画像センサー1は監視空間を撮影して侵入者を検知する。そのため画像センサー1は人の像を識別対象とした対象識別装置を備える。図1は画像センサー1の概略の構成を示すブロック図である。画像センサー1は撮影部2、記憶部3、画像処理部4及び出力部5を含んで構成される。画像処理部4は撮影部2、記憶部3及び出力部5と接続される。
<< First Embodiment >>
[Configuration of Image Sensor 1]
The image sensor 1 captures the surveillance space and detects an intruder. Therefore, the image sensor 1 includes an object identification device that identifies an image of a person. FIG. 1 is a block diagram showing a schematic configuration of the image sensor 1. The image sensor 1 includes a
撮影部2は例えば、CCDイメージセンサまたはC−MOSイメージセンサなどの撮像素子を用いて、監視空間から受光した光をグレースケールまたはカラーの画像信号に変換するカメラである。撮影部2は監視空間を所定時間おきに撮影し、撮影した画像を順次、画像処理部4に入力する。
The photographing
記憶部3は、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶装置である。記憶部3は画像処理部4を後述する各手段として動作させるためのプログラム、学習データや各手段が生成したデータなどの各種データを記憶し、画像処理部4との間でこれらのプログラムやデータを入出力する。
The
画像処理部4はCPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の少なくとも1つのプロセッサ、及びその周辺回路を用いて構成される。画像処理部4は記憶部3からプログラムを読み出して実行することで、後述する各手段として動作し、撮影部2から入力された画像に人の像が含まれているか否かを識別し、人の像が含まれていた場合、侵入者を検知したとして出力部5に検知信号を出力する。
The
出力部5は検知信号を入力されると外部出力を行うインターフェース機器であり、例えば、ネットワークに接続されて警備センターに通報を行う。また例えば、ブザー等に接続されてブザー鳴動による報知を行わせる。
The
図2は第1の実施形態である画像センサー1の概略の機能ブロック図である。画像処理部4は、切り出し手段10、特徴抽出手段11、学習用データ選出手段13、ローカル識別器生成手段14及び入力データ識別手段15として適宜動作する。記憶部3は標本データ記憶手段12、信頼度記憶手段、及び距離値記憶手段として機能する。対象識別装置は、少なくとも標本データ記憶手段12、学習用データ選出手段13、ローカル識別器生成手段14及び入力データ識別手段15を含む。
FIG. 2 is a schematic functional block diagram of the image sensor 1 according to the first embodiment. The
切り出し手段10は撮影部2から入力された画像(入力画像)から一部の領域を切り出して、切り出した部分画像を特徴抽出手段11に入力する。切り出し手段10は入力画像全体の各所から切り出しを行う。また切り出しは、入力画像中で検出したい人サイズの範囲に応じて画像または切り出す領域を拡大及び縮小して行われる。部分画像のサイズ(幅及び高さ)は標本データの基となった画像と同サイズに規格化する。切り出し手段10は、例えば、入力画像を予め定めた範囲で複数通りに拡大及び縮小し、入力画像、並びにその拡大画像及び縮小画像それぞれの画像上にて、標本データを抽出した画像のサイズと同一サイズの窓領域を垂直方向及び水平方向に所定画素ずつずらして順次配置し、各配置における窓領域内の画像を部分画像として順次出力する。
The
特徴抽出手段11は切り出し手段10が切り出した部分画像から予め定めた種類の特徴量を抽出し、抽出した特徴量を学習用データ選出手段13へ出力する。特徴量として輝度勾配方向分布に関するヒストグラム・オブ・オリエンティッド・グラディエント(Histograms of Oriented Gradients:HoG)を用いることができる。または、ハール(Haar)特徴量、ローカル・バイナリー・パターン(Local Binary Pattern:LBP)、スパースコーディング(Sparse Coding)係数、部分画像そのもの、エッジ画像など、対象の識別に適した特徴量を用いることができる。いずれの特徴量も複数の要素からなる特徴ベクトルで表現される。この部分画像から抽出した特徴量が本実施形態における入力データである。
The
標本データ記憶手段12は予め対象を含むことが識別された複数の対象データと予め対象を含まないことが識別された複数の非対象データとを標本データとして予め記憶している。標本データは、ローカル識別器の学習用データとして学習用データ選出手段13により読み出され、ローカル識別器生成手段14によるローカル識別器の学習・生成に用いられる。 The sample data storage means 12 stores in advance, as sample data, a plurality of target data that has been identified as including a target in advance and a plurality of non-target data that has been identified as not including a target in advance. The sample data is read as learning data for the local classifier by the learning data selection means 13 and used for learning and generation of the local classifier by the local classifier generation means 14.
具体的には、対象データは、人の全身が写っているNG枚の画像それぞれから特徴抽出手段11が事前に抽出したNG個の特徴量と、それらが対象データであることを示す符号(例えば値“1”)とを対応付けたデータである。また、非対象データは、人が写っていないMG枚の画像それぞれから特徴抽出手段11が事前に抽出したMG個の特徴量と、それらが対象データでないことを示す符号(例えば値“0”)とを対応付けたデータである。
Specifically, the target data includes NG feature amounts extracted in advance by the
標本データを抽出する画像のサイズは規格化され、全て一定サイズであり、例えば、幅64×高さ128画素である。また、標本データは抽出元の画像の特徴量(特徴ベクトル)であり、その種類は特徴抽出手段11が抽出する特徴量と同種である。
The size of the image from which the sample data is extracted is standardized and all have a constant size, for example, width 64 × height 128 pixels. The sample data is a feature amount (feature vector) of the image from which the extraction is performed, and the type thereof is the same type as the feature amount extracted by the
ここで、標本データ記憶手段12に格納される全ての対象データと全ての非対象データ、つまり全ての標本データを用いて予め機械学習を行い、入力データが対象データと非対象データとのいずれのクラスであるかを識別するグローバル識別器を生成することができる。例えば、グローバル識別器はサポートベクターマシーン(SVM)で構成することができる。また、サポートベクターマシーンに代えて、全ての対象データと全ての非対象データにフィッシャー(Fisher)判別分析法あるいはアダブースト(AdaBoost)法などを適用することによって生成したグローバル識別器を用いることもできる。グローバル識別器の構成情報は予め記憶部3に記憶される。
Here, machine learning is performed in advance using all target data and all non-target data stored in the sample data storage means 12, that is, all sample data, and the input data is either target data or non-target data. A global classifier can be generated that identifies whether it is a class. For example, the global classifier can be composed of a support vector machine (SVM). Further, instead of the support vector machine, a global discriminator generated by applying a Fisher discriminant analysis method or an AdaBoost method to all target data and all non-target data can be used. The configuration information of the global identifier is stored in the
グローバル識別器を用いてグローバル識別境界と各標本データとの間の距離値(第1距離値)を予め求めることができる。グローバル識別境界は、全ての標本データを用いた予めの学習により定められた、これらの標本データを対象データと非対象データとに分ける識別境界であり、グローバル識別器の構成情報として記憶部3に記憶される。ちなみに、当該距離値はグローバル識別器に各標本データを入力したときの出力値として得られる。記憶部3は、予め算出された当該距離値、すなわちグローバル識別境界から対象データそれぞれまでの距離値及びグローバル識別境界から非対象データそれぞれまでの距離値を記憶する(距離値記憶手段)。
A distance value (first distance value) between the global identification boundary and each sample data can be obtained in advance using a global classifier. The global identification boundary is an identification boundary determined by pre-learning using all sample data, and divides the sample data into target data and non-target data, and is stored in the
なお、識別器の種類によっては、尤度をその出力値とするものもあるが、尤度も距離値と同質のものとして扱うことができる。 Depending on the type of discriminator, the likelihood may be the output value, but the likelihood can be treated as the same quality as the distance value.
また、記憶部3は標本データを表す特徴ベクトルの各成分が有する識別の信頼度を予め記憶する(信頼度記憶手段)。当該信頼度は、グローバル識別器における特徴ベクトルの各成分の重みであり、グローバル識別器の構成情報として予め記憶部3に記憶される。
In addition, the
学習用データ選出手段13は、対象を含む標本データである対象データNL個と、対象を含まない標本データである非対象データML個との両方を学習用データとして選出する。特に、学習用データ選出手段13は、標本データのうち入力データの近傍のものを除外して当該入力データに対する相違度が疎隔値を超えるものの一部または全部を学習用データとして選出する。
Training
疎隔値は、入力データ近傍の標本データとそれ以外の標本データとを弁別するための閾値であり、相違度と比較される。疎隔値は事前の実験に基づいて予め設定される、或いは入力データと標本データとの関係に基づいて入力データごとに設定される。 The sparse value is a threshold for discriminating between sample data in the vicinity of input data and other sample data, and is compared with the degree of difference. The sparse value is set in advance based on a prior experiment, or is set for each input data based on the relationship between the input data and the sample data.
例えば、学習用データ選出手段13は、標本データのうち当該入力データとの相違度が予め定めた疎隔値未満のものを除いた残存標本データから学習用データを選出する。つまり、学習用データ選出手段13は標本データ記憶手段12に記憶されている標本データの中から、少なくとも入力データとの相違度が疎隔値TD以上であるものを学習用データとして選出し、当該学習用データをローカル識別器生成手段14へ出力する。これにより、ローカル識別器の学習に用いる学習用データは、特徴空間において入力データの近傍に存在する標本データを含まないデータ集合となる。
For example, the learning data selection means 13 selects learning data from the remaining sample data excluding the sample data whose difference from the input data is less than a predetermined sparse value. That is, the learning data selecting means 13 from the sample data stored in the sample
具体的にはこの選出方法では、学習用データ選出手段13は標本データ記憶手段12に記憶されている対象データの中から入力データとの相違度が疎隔値TD以上であるNL個の対象データを選出すると共に、標本データ記憶手段12に記憶されている非対象データの中から入力データとの相違度が疎隔値TD以上であるML個の非対象データを選出する。但し、NL<NG、ML<MGであり、NL及びMLは予め定めておく。
In particular this selection method, the learning
ここで、選出する対象データの数NLと非対象データの数MLは同数とし、ローカル識別器の学習用データが対象データと非対象データとのいずれかに偏らないようにするのが好適である。このようにすることでローカル識別器が対象データ側、又は非対象データ側に偏ることが防げ、識別精度が向上する。 Here, the number M L of the number N L and the non-target data of the target data to be elected by the same number, preferred to as data for learning the local identifier is not biased in any one of the target data and non-target data It is. By doing so, the local discriminator can be prevented from being biased toward the target data side or the non-target data side, and the discrimination accuracy is improved.
また、ローカル識別器生成手段14における学習が確実に収束するよう、特徴量の次元数Pと比べて、NL+MLを十分小さくするのが望ましい。例えば、P=5000のときにNL=ML=100とする。 Furthermore, as the learning in local identifier generating means 14 is reliably converge, compared with the number of dimensions P of the feature, it is desirable to sufficiently reduce the N L + M L. For example, when P = 5000, N L = M L = 100.
学習用データ選出手段13における学習用データの選出の仕方についてはさらに後述する。
The method of selecting learning data in the learning
ローカル識別器生成手段14は学習用データ選出手段13にて選出した学習用データを用いた機械学習によりローカル識別器を生成する。すなわち、ローカル識別器生成手段14は、選出されたNL個の対象データ及びML個の非対象データを用い、当該対象データ及び当該非対象データによって形成される特徴空間において、当該対象データが帰属する対象領域と当該非対象データが帰属する非対象領域とを分けるローカル識別境界を学習し、入力データ識別手段15へ出力する。
The local
例えば、ローカル識別器はサポートベクターマシーンで構成される。また、フィッシャー判別分析法、アダブースト法などを用いた機械学習により生成することもできる。なお、ローカル識別器はグローバル識別器と同種の識別器である必要はない。 For example, the local classifier is composed of a support vector machine. It can also be generated by machine learning using a Fisher discriminant analysis method, an Adaboost method or the like. Note that the local classifier need not be the same classifier as the global classifier.
入力データ識別手段15は入力データをローカル識別器生成手段14により生成されたローカル識別器に入力して、入力データに対象が含まれているか否かを識別する。対象が含まれていると識別した場合、入力データ識別手段15は検知信号を生成して出力部5へ出力する。すなわち、入力データ識別手段15は入力データをローカル識別器に入力することでローカル識別境界から入力データまでの距離値を算出し、当該距離値が正であれば入力データが対象を含むと識別し、距離値が0又は負であれば入力データが対象を含まないと識別する。
The input
[学習用データの選出方法]
学習用データ選出手段13による学習用データの選出方法を説明する。NL,NG,ML,MG,TD等の記号は上述した選出方法と共通とする。なお、TDは入力データの近傍にて学習用データが選出されない領域(空白領域)を規定する相違度の上限値であり、上述した選出方法では学習用データの選出範囲の下限閾値として選出に利用している。
[Selection method of learning data]
A method for selecting learning data by the learning
以下に説明する選出方法は、入力データと標本データとの相違度として入力データから標本データまでの距離値を直接算出するのではなく、グローバル識別境界から入力データまでの距離値(第2距離値)とグローバル識別境界から標本データまでの距離値(第1距離値)との差を相違度として算出する。 The selection method described below does not directly calculate the distance value from the input data to the sample data as the degree of difference between the input data and the sample data, but rather the distance value from the global identification boundary to the input data (second distance value). ) And the distance value (first distance value) from the global identification boundary to the sample data is calculated as the dissimilarity.
グローバル識別境界から入力データまでの距離値は、入力データを記憶部3に記憶しているグローバル識別器に入力したときの出力値として得られる。一方、グローバル識別境界から各標本データまでの距離値は記憶部3に予め記憶されており、これを読み出して利用することができる。
A distance value from the global identification boundary to the input data is obtained as an output value when the input data is input to the global classifier stored in the
なお、グローバル識別器に入力して得られる距離値は、特徴ベクトルにて識別性の高い要素(成分)ほど高く重み付けた重み付け距離値となっている。ここで、重み付けを行わない場合、入力データと標本データとの間の識別性の低い要素における違いによって相違度が不当に高くなり、特徴空間において入力データの近傍に存在する標本データが学習用データとして選出されてしまう可能性が高まってしまうが、重み付け距離値を相違度とすることでその可能性を低減できる。 Note that the distance value obtained by inputting to the global classifier is a weighted distance value that is weighted higher for elements (components) having higher distinguishability in the feature vector. Here, when weighting is not performed, the difference is unreasonably high due to a difference in the low discriminability between the input data and the sample data, and the sample data existing in the vicinity of the input data in the feature space is the learning data. However, the possibility can be reduced by setting the weighted distance value as the dissimilarity.
また、グローバル識別境界から各標本データまでの距離値は予め算出しておくことができるため、入力データごとに相違度を算出するための負荷を減じることができる。標本データの数が多いほど当該効果は大きくなる。 Further, since the distance value from the global identification boundary to each sample data can be calculated in advance, it is possible to reduce the load for calculating the difference for each input data. The effect increases as the number of sample data increases.
空白領域の疎隔値TDは上述した選出方法のように予め定めて選出範囲の閾値として利用することができるが、対象データを基準にして動的に定まるような選出方法もある。図3はこのTDが動的に定まる学習用データの選出の仕方を説明する模式図である。同図において横軸はグローバル識別器の出力値(スコアS)であり、S=0がグローバル識別境界の位置であり、対象データのスコアは主に正の領域(境界から右側)に分布し、非対象データのスコアは主に負の領域(境界から左側)に分布する。 Although alienation values T D blank region can be used as a threshold value predetermined by selection range as selected method described above, there is also a method for selecting, as determined dynamically based on the target data. Figure 3 is a schematic view for explaining how to elect the learning data the T D is determined dynamically. In the figure, the horizontal axis is the output value (score S) of the global discriminator, S = 0 is the position of the global discriminating boundary, and the score of the target data is distributed mainly in the positive region (right side from the boundary), The scores of non-target data are distributed mainly in the negative region (left side from the boundary).
学習用データ選出手段13はまず、学習用データの選出範囲の基準位置として、入力データと対象データとの相違度の最大値DMAXを求める。そして対象データの中から相違度が当該最大値DMAXに近い順、つまり入力データとの相違度が大きい順にNL個の対象データを学習用データとして選出する。例えば、入力データのスコアSIを0.3、標本データのうちの対象データのスコア最大値SP−MAXを0.8とすると、DMAX=0.5となる。学習用データの対象データはSP−MAXを起点にSが大きい順にNL個選出される。選出された対象データのスコアの範囲(選出範囲)を[SP−L,SP−H]とする。ここでSP−H=SP−MAXであり、対象データについての選出範囲はDMAXを基準にして入力データ側に設定される。 First, the learning data selection means 13 obtains the maximum difference D MAX between the input data and the target data as the reference position of the learning data selection range. From the target data, N L target data are selected as learning data in the order in which the degree of difference is close to the maximum value D MAX , that is, in order of the degree of difference from the input data. For example, 0.3 score S I of the input data and a score maximum S P-MAX of the target data in the sample data and 0.8, and D MAX = 0.5. Target data of the learning data is N L pieces elected in order S is greater starting from the S P-MAX. The score range (selected range) of the selected target data is assumed to be [S P-L , S P-H ]. Here, SP-H = SP-MAX , and the selection range for the target data is set on the input data side with reference to DMAX .
標本データのうちの学習用データとして選出する非対象データのスコア最小値SN−Lを入力データとの相違度がDMAXとなる値に定める。具体的にはSN−L=SI−DMAXであり、図3の例ではSN−Lは−0.2となる。学習用データとしての非対象データはSN−Lを起点にSが小さい順(入力データとの相違度が大きい順)にML個選出される。選出された対象データのスコアの範囲を[SN−L,SN−H]とする。非対象データについての選出範囲は入力データに対して相違度がDMAX異なるSN−Lを基準にして入力データ側に設定される。 The minimum score value S N−L of the non-target data selected as the learning data among the sample data is determined to be a value at which the degree of difference from the input data is D MAX . Specifically, S N−L = S I −D MAX , and S N−L is −0.2 in the example of FIG. Non-target data as the learning data is M L pieces elected (forward dissimilarity is large between the input data) S N-L to S is small as a starting point order. The score range of the selected target data is [S N−L , S N−H ]. The selection range for the non-target data is set on the input data side on the basis of S N-L whose degree of difference is D MAX with respect to the input data.
この学習用データの選出では、選出した対象データに対する相違度の最小値(SP−L−SI)と、選出した非対象データに対する相違度の最小値(SI−SN−H)とのいずれか小さい方が上述したTDに相当する。すなわち、或る入力データについて選出した学習用データは、当該入力データとの相違度がTD未満のものを除いた標本データから選出されている。 In selection of the learning data, the minimum value of dissimilarity for selected the target data and (S P-L -S I) , the minimum value of the dissimilarity against non-target data selected with (S I -S N-H) smaller one of corresponds to T D described above. That is, the learning data selected for a certain input data, the dissimilarity between the input data is selected from the sample data excluding those less than T D.
識別対象が人である本実施形態のように対象データ数よりも非対象データ数が多い場合は(SI−SN−H)>(SP−L−SI)となる。よって、DMAXとNLとによって疎隔値TDが定まり、相違度がTD未満の標本データを除外した残存標本データの中から学習用データを選出したことになる。 When the number of non-target data is larger than the number of target data as in this embodiment in which the identification target is a person, (S I −S N−H )> (S P−L −S I ). Therefore, the sparse value T D is determined by D MAX and N L, and the learning data is selected from the remaining sample data excluding sample data having a difference degree less than T D.
別の選出方法として、標本データの対象データの中から入力データとの相違度が大きい順にNL個を学習用データの対象データとして選出すると共に選出した対象データの相違度の最小値(SP−L−SI)を疎隔値TDとし、これを非対象データの選出に際して閾値として用い、標本データの非対象データのうち入力データとの相違度が疎隔値TD以上であるものの中から相違度が小さい順にML個の非対象データを選出する方法がある。この選出方法においてもDMAXとNLとによって疎隔値TDが定まり、相違度がTD未満の標本データを除外した残存標本データの中から学習用データを選出したことになる。 As another selection method, N L items are selected as target data of learning data in descending order of the difference from the input data from the target data of the sample data, and the minimum value of the difference of the selected target data (S P -L -S I) was the alienation value T D, which used as the threshold value when selection of the non-target data, although the degree of difference between the input data of the non-target data of the sample data is alienation value T D or There is a method of selecting ML non-target data in ascending order of difference. Also in this selection method, the sparse value T D is determined by D MAX and N L, and the learning data is selected from the remaining sample data excluding sample data having a difference degree less than T D.
ここで説明した入力データと対象データとの相違度の最大値DMAXを用いた選出方法では、対象データの中から入力データとの相違度ができるだけ大きなものを選出できる。このようにすれば、識別対象を人とした場合のように標本データにおいて非対象データよりも対象データの分布範囲の方が狭いデータを識別する場合に、特徴空間において入力データの近傍に存在する標本データが学習用データに選出される可能性を好適に排除できる。 In the selection method using the maximum difference D MAX between the input data and the target data described here, it is possible to select the target data having the largest possible difference from the input data. In this way, when identifying data with a narrower distribution range of the target data than the non-target data in the sample data as in the case where the identification target is a person, it exists near the input data in the feature space. The possibility that the sample data is selected as learning data can be suitably eliminated.
DMAXを用いたこれらの選出方法によって、学習用データ選出手段13は入力データと対象データとの相違度に基づいて複数の対象データを選出可能な疎隔値を決定している。これにより、複数の対象データ及び複数の非対象データを確実に含んだ学習用データを選出できる。 With these selection methods using D MAX , the learning data selection means 13 determines a sparse value from which a plurality of target data can be selected based on the difference between the input data and the target data. As a result, learning data that reliably includes a plurality of target data and a plurality of non-target data can be selected.
[画像センサー1の動作]
図4は画像センサー1の概略の動作を示すフロー図である。例えば、装置の管理者が電源を投入すると画像センサー1の各部が動作を始める。撮影部2は所定の時間間隔で監視空間を撮像し、撮像した画像を画像処理部4に入力する。画像処理部4は画像が入力されるたびにS1〜S7の処理を繰り返す。
[Operation of image sensor 1]
FIG. 4 is a flowchart showing a schematic operation of the image sensor 1. For example, when the administrator of the apparatus turns on the power, each unit of the image sensor 1 starts operating. The
画像処理部4は、撮影部2から順次、画像を取得する(ステップS1)。画像処理部4は切り出し手段10として機能し、例えば、0 .75倍〜1.5倍まで0.125刻みの7段階で監視画像を順次、拡大または縮小し、各倍率の画像の各所から64×128画素の部分画像を順次切り出す(ステップS2)。次に、画像処理部4は特徴抽出手段11として機能し、ステップS2にて切り出した部分画像から特徴量を抽出する(ステップS3)。ここでは、この部分画像から抽出された特徴量が上述した入力データに当たる。当該特徴量は画像センサー1の対象識別装置に入力され、当該特徴量に人の情報が含まれるかを識別する識別処理が行われる(ステップS4)。
The
図5は識別処理S4の概略のフロー図である。画像処理部4は本発明の対象識別装置を構成する学習用データ選出手段13として機能し、標本データ記憶手段12から標本データである対象データ及び非対象データを読み出すと共に、記憶部3の信頼度記憶手段から信頼度を、記憶部3の距離値記憶手段から距離値をそれぞれ読み出し、上述した相違度を算出する(S10)。具体的には、部分画像から抽出した特徴量と各対象データとの間で信頼度にて重み付けた相違度を算出し、相違度で対象データをソートする。また部分画像から抽出した特徴量と各非対象データとの間で信頼度にて重み付けた相違度を算出し、相違度で非対象データをソートする。そして、学習用データ選出手段13は、対象データの相違度の最大値DMAXを求め(ステップS11)、対象データの中から相違度が上位のNL個を学習用データとして選出する(ステップS12)。また、非対象データのうち相違度がDMAX以下のものの中から相違度が上位のML個を学習用データとして選出する(ステップS13)。
FIG. 5 is a schematic flowchart of the identification process S4. The
次に、画像処理部4は本発明の対象識別装置を構成するローカル識別器生成手段14として機能し、特徴量に対応してステップS12及びS13にて選出した(NL+ML)個の学習用データを用いて当該特徴量に対応したローカル識別器を生成する(ステップS14)。
Next, the
ローカル識別器が得られると、画像処理部4は本発明の対象識別装置を構成する入力データ識別手段15として機能し、ステップS14にて生成したローカル識別器に部分画像から抽出した特徴量を入力し、ローカル識別器の出力を識別結果として得る(ステップS15)。人の情報が含まれていることを示す識別結果が得られた場合、例えば、人を検知したことと、当該部分画像の切り出し位置及び倍率を記憶部3に記録する(ステップS16)。なお、侵入者を検知する画像センサー1においては、人の情報が含まれていないことを示す識別結果が得られた場合の記録は省略してもよい。
When the local discriminator is obtained, the
図4に戻り説明を続ける。監視画像から切り出される全ての部分画像についてステップS2〜S4の処理が繰り返され(ステップS5)、それが完了すると、画像処理部4はステップS4にて記録した識別結果に、人の情報が含まれていたことを示すものがあるかを調べる(ステップS6)。人の情報が含まれていたことを示す識別結果があれば、画像処理部4は侵入者を検知した旨を表す検知信号を出力部5に送出して、ステップS1に戻り次の監視画像の処理を開始する。一方、人の情報が含まれていたことを示す識別結果がなければ、画像処理部4は侵入者を検知しないとしてステップS1に戻り次の監視画像の処理を開始する。
Returning to FIG. The processing in steps S2 to S4 is repeated for all partial images cut out from the monitoring image (step S5). When the processing is completed, the
[学習用データの選出方法の変形例]
(1)図3を用いて説明した上述の選出方法では、入力データに対する対象データの相違度の最大値DMAXを基準に学習用データとする対象データ及び非対象データをそれぞれ選出したが、基準とする値はDMAXに代えて、入力データに対する対象データの相違度の平均値DAVEとしてもよい。
[Variation of selection method of learning data]
(1) In the above-described selection method described with reference to FIG. 3, target data and non-target data are selected as learning data based on the maximum difference D MAX of the target data with respect to the input data. The value may be an average value D AVE of the degree of difference between the target data and the input data, instead of D MAX .
図6は平均値DAVEを基準にした学習用データの選出の仕方を説明する模式図であり、図3と同様、横軸はグローバル識別器のスコアSである。学習用データ選出手段13は、学習用データとする対象データを、標本データにおける対象データのスコアの平均値SP−AVE又は、入力データと対象データとの相違度の平均値DAVEを求める。なお、SP−AVEとDAVEとはSP−AVE=SI+DAVEなる関係にある。 FIG. 6 is a schematic diagram for explaining how to select the learning data based on the average value D AVE , and the horizontal axis is the score S of the global discriminator as in FIG. The learning data selection means 13 obtains the average value SP-AVE of the score of the target data in the sample data or the average value D AVE of the difference between the input data and the target data as the target data as the learning data. Note that the S P-AVE and D AVE in S P-AVE = S I + D AVE the relationship.
学習用データとするNL個の対象データとして、スコアSP−AVEの両側からそれぞれNL/2個選出する。つまり、DAVEより相違度が大きい(つまりスコアがSP−AVEより大きい)対象データとDAVEより相違度が小さい(つまりスコアがSP−AVEより小さい)対象データとをそれぞれNL/2個選出する。 N L / 2 are selected from both sides of the score SP-AVE as N L target data as learning data. That is, target data having a degree of difference larger than D AVE (that is, the score is greater than SP-AVE ) and target data having a degree of difference smaller than D AVE (that is, the score is smaller than SP-AVE ) are each represented by N L / 2. Select one.
非対象データに関しては、対象データに基づいて求めたDAVEを用いてSN−M=SI−DAVEで与えられる基準点を定め、学習用データとするML個の非対象データとして、当該基準点SN−Mの両側からそれぞれML/2個選出する。つまり、DAVEより相違度が大きい(つまりスコアがSN−Mより小さい)対象データとDAVEより相違度が小さい(つまりスコアがSN−Mより大きい)対象データとをそれぞれML/2個選出する。 For non-target data, set a reference point given by S N-M = S I -D AVE with D AVE calculated based on the target data, as M L pieces of non-target data to learning data, M L / 2 are selected from both sides of the reference point S N-M . That is, target data having a degree of difference larger than D AVE (that is, the score is smaller than S N-M ) and target data having a degree of difference smaller than D AVE (that is, the score is larger than S N-M ) are respectively M L / 2. Select one.
たとえば、図6の例では、標本データにおける対象データの分布に応じてSP−AVE=0.7またはスコアSI=0.3なる入力データに対してDAVE=0.4が定まり、その結果、非対象データの選出基準点SN−MはSN−M=−0.1に設定される。 For example, in the example of FIG. 6, D AVE = 0.4 is determined for input data with S P-AVE = 0.7 or score S I = 0.3 according to the distribution of the target data in the sample data. As a result, the selection reference point S N-M for the non-target data is set to S N-M = −0.1.
なお、この選出方法を実行すると、DAVEとNLとによって疎隔値TDが定まり、相違度がTD未満の標本データを除外した残存標本データの中から学習用データを選出したことになる。 When this selection method is executed, the sparse value T D is determined by D AVE and N L, and the learning data is selected from the remaining sample data excluding the sample data having a difference degree less than T D. Become.
この方法によっても、学習用データ選出手段13は入力データと対象データとの相違度に基づいて複数の対象データを選出可能な疎隔値を決定している。これにより、複数の対象データ及び複数の非対象データを確実に含んだ学習用データを選出できる。 Also by this method, the learning data selection means 13 determines a sparse value that can select a plurality of target data based on the difference between the input data and the target data. As a result, learning data that reliably includes a plurality of target data and a plurality of non-target data can be selected.
(2)図3や図6で説明した選出方法では入力データ及び標本データそれぞれのグローバル識別境界からの距離値の差を相違度として求めたが、入力データから各標本データまでの距離値を直接求めて相違度とすることもできる。その際、特徴ベクトルで表現された入力データ及び標本データそれぞれの各要素(ベクトル成分)を、全ての対象データと全ての非対象データを用いて機械学習した識別の信頼度にて重み付けた重み付け距離値(重み付けユークリッド距離)とするのがよい。なお、各要素に対する識別の信頼度は、グローバル識別器における当該要素に対する重みとして標本データ記憶手段12に記憶されている。
(2) In the selection method described in FIG. 3 and FIG. 6, the difference between the distance values from the global identification boundary of each of the input data and the sample data is obtained as the dissimilarity, but the distance value from the input data to each sample data is directly calculated. The degree of difference can also be obtained. At this time, the weighted distance obtained by weighting each element (vector component) of the input data and sample data expressed by the feature vector with the reliability of machine learning using all target data and all non-target data A value (weighted Euclidean distance) is preferable. Note that the reliability of identification for each element is stored in the sample
重み付け距離値を用いることで、識別性の低い要素が入力データと偶然に相違している標本データの相違度が不当に高くなることを防止でき、特徴空間において入力データの近傍に存在する標本データが学習用データに含まれてしまう可能性を減じることができる。 By using the weighted distance value, it is possible to prevent the sample data in which elements with low discriminability from accidentally differing from the input data from becoming unduly high, and the sample data that exists in the vicinity of the input data in the feature space Can be reduced in the learning data.
図7はこの選出方法の一例を示す特徴空間の模式図であり、▲印は入力データ、標本データのうち対象データを●及び○印で、また非対象データを■及び□印で示している。このうち●及び■印は本手法で学習用データとして選出され得る候補であり、○及び□印は選出されないデータである。 FIG. 7 is a schematic diagram of the feature space showing an example of this selection method. The ▲ mark indicates the input data and sample data, the target data is indicated by ● and ○, and the non-target data is indicated by ■ and □. . Among these, ● and ■ are candidates that can be selected as learning data by this method, and ○ and □ are data that are not selected.
図7に示す選出方法では、空白領域の上限相違度として予め設定された疎隔値TDを用い、相違度が疎隔値TD以上の対象データの中からNL個をランダムに選出し、相違度が疎隔値TD以上の非対象データの中からML個をランダムに選出する。この方法では簡単な方法でローカルデータにおける対象データ及び非対象データのそれぞれが偏りなく選出でき、ローカル識別器の識別精度が向上する。なお、距離値の代わりに正規化相関値の逆数を相違度としてもよい。 In the selection method shown in FIG. 7, in advance using the set alienation value T D, dissimilarity elected N L pieces at random from the subject data or alienation value T D as an upper limit dissimilarity blank area dissimilarity is selected randomly M L pieces from the non-target data or alienation values T D. In this method, the target data and the non-target data in the local data can be selected without bias by a simple method, and the discrimination accuracy of the local discriminator is improved. The reciprocal of the normalized correlation value may be used as the dissimilarity instead of the distance value.
図8は他の例を示す特徴空間の模式図であり、図に示す記号は図7と共通である。図8に示す選出方法では、相違度が疎隔値TD以上の対象データと相違度が疎隔値TDより大きな非対象データとを比較して、NL個の対象データ及びML個の非対象データを確保可能な相違度の範囲[TMIN,TMAX]を決定し、当該範囲の中からNL個の対象データ及びML個の非対象データをランダムに選出する。この方法では規定数の学習用データを確実に確保でき、ローカル識別器の識別精度が向上する。 FIG. 8 is a schematic diagram of a feature space showing another example, and symbols shown in the figure are the same as those in FIG. In the selection method shown in FIG. 8, the degree of difference is compared with the large non-target data from the different degree of alienation values T D or more target data alienation value T D, N L pieces of object data and M L pieces non-object data range of possible dissimilarity ensure [T MIN, T MAX] of determining and selects randomly N L pieces of object data and M L-number of the non-target data from the corresponding range. With this method, a specified number of learning data can be reliably secured, and the identification accuracy of the local classifier is improved.
なお、相違度が疎隔値TD以上の対象データの中から相違度の分散を最大化するNL個を選出し、相違度が疎隔値TD以上の非対象データの中から相違度の分散を最大化するML個を選出してもよい。具体的には、選出するNL個の対象データを変えながらこれらNL個の相違度の分散を求め、先に求めた分散と比較することを繰り返すことで、相違度の分散を最大化するNL個を選出する。非対象データについても同様にして分散の最大化を図る。 Incidentally, degree of difference elected N L pieces that maximizes the variance of dissimilarity among the target data or alienation value T D, dissimilarity dissimilarity among the non-target data or alienation values T D M L that maximizes the variance of may be selected. Specifically, the variance of these NL differences is obtained while changing the NL target data to be selected, and the variance of the difference is maximized by repeating the comparison with the previously obtained variance. NL are selected. The same applies to non-target data.
《第2の実施形態》
本発明の第2の実施形態に係る画像センサー1では、本発明の特徴である、学習用データの選出及びそれに基づくローカル識別器の生成の中核処理が予め行われ、生成されたローカル識別器の構成情報を記憶部から読み出して各入力データに対応したローカル識別器を生成する。この点で第1の実施形態の画像センサー1と基本的に相違する。
<< Second Embodiment >>
In the image sensor 1 according to the second embodiment of the present invention, the core processing of selecting the learning data and generating the local discriminator based on the selection of the learning data, which is a feature of the present invention, is performed in advance. The configuration information is read from the storage unit, and a local discriminator corresponding to each input data is generated. This is fundamentally different from the image sensor 1 of the first embodiment.
以下、第1の実施形態と同一の構成要素には同一の符号を付して第1の実施形態での説明を援用しここでの説明の簡素化を図ることとし、主に、第2の実施形態の画像センサー1が第1の実施形態と異なる点について説明する。 Hereinafter, the same components as those in the first embodiment are denoted by the same reference numerals, and the description in the first embodiment is used to simplify the description. The difference between the image sensor 1 of the embodiment and the first embodiment will be described.
図9は第2の実施形態である画像センサー1の概略の機能ブロック図である。画像処理部4は、切り出し手段10、特徴抽出手段11、ローカル識別器生成手段17及び入力データ識別手段15として適宜動作する。記憶部3は識別器テーブル記憶手段16として動作する。対象識別装置は、少なくとも識別器テーブル記憶手段16、ローカル識別器生成手段17及び入力データ識別手段15を含む。
FIG. 9 is a schematic functional block diagram of the image sensor 1 according to the second embodiment. The
識別器テーブル記憶手段16は、入力データがとり得る範囲内の特徴データそれぞれに付与したインデックスと、当該インデックスを付与した特徴データの識別に適したローカル識別器の構成情報とを対応付けるテーブルである。各特徴データの識別に適したローカル識別器は、特徴空間における各点で表される特徴データ(特徴ベクトル)を仮想的な入力データとして第1の実施形態で説明した方法を適用して予め生成することができる。すなわち、識別器テーブル記憶手段16に記載する構成情報は、対象を含むか否かが予め識別された複数の標本データの中から、インデックスを介して当該構成情報と対応付けられた特徴データとの相違度が疎隔値を超えない標本データを除外した残余の標本データの一部又は全部を用いた学習により生成された構成情報である。
The discriminator
ローカル識別器は線形結合された識別関数で与えられ、その線形式の各項の係数のセットを識別器の構成情報とすることができる。なお、係数の個数は基本的には特徴量の次元数で定まるが、スパースコーディングや、主成分分析、独立成分分析などの手法を用いることで、実質的な係数の個数を減らすことができ、そのような手法により、識別器テーブル記憶手段16に格納するテーブルのサイズを小さくすることができる。
A local discriminator is given by a linearly combined discriminant function, and a set of coefficients of each term in the linear form can be used as configuration information of the discriminator. The number of coefficients is basically determined by the number of dimensions of the feature quantity, but by using techniques such as sparse coding, principal component analysis, and independent component analysis, the number of substantial coefficients can be reduced. By such a method, the size of the table stored in the discriminator
例えば、入力データがとり得る範囲は、特徴空間における標本データの分布範囲とすることができ、この範囲において、特徴空間の各次元を予め定めた間隔で離散化して得られる微小空間ごとに、当該微小空間を代表する特徴ベクトル定め、これに対応するローカル識別器の構成情報を求める。 For example, the range that the input data can take can be the distribution range of the sample data in the feature space, and in this range, for each minute space obtained by discretizing each dimension of the feature space at a predetermined interval, A feature vector representing a minute space is determined, and configuration information of a local classifier corresponding to the feature vector is obtained.
微小空間にはそれらを代表するインデックスを付与し、識別器テーブル記憶手段16には当該インデックスとローカル識別器の構成情報とを対応付けたテーブルが格納される。 An index representing them is assigned to the minute space, and the classifier table storage means 16 stores a table in which the index is associated with the configuration information of the local classifier.
ローカル識別器生成手段17は、特徴抽出手段11から入力データが入力されると、入力データと対応する特徴データを求め、求めた特徴データからそのインデックスを特定する。例えば、入力データとの距離が最も近い特徴データのインデックスを求める。そして、これをキーとして識別器テーブル記憶手段16のテーブルを検索して当該インデックスに対応するローカル識別器の構成情報を読み出し、ローカル識別器を作る。
When the input data is input from the
入力データ識別手段15は入力データをローカル識別器生成手段17により生成されたローカル識別器に入力して、ローカル識別器により入力データが対象をが含むか否かを識別させる。対象が含まれていると識別された場合、入力データ識別手段15は検知信号を生成して出力部5へ出力する。
The input
このテーブルに予めローカル識別器の構成情報を格納しておく構成は、入力データごとに学習用データの選出、及びローカル識別器の生成のための演算処理を省略することができ、画像センサー1の処理負荷が軽減され、処理速度が向上する効果がある。 The configuration in which the configuration information of the local discriminator is stored in advance in this table can omit the selection of learning data for each input data and the arithmetic processing for generating the local discriminator. The processing load is reduced and the processing speed is improved.
特に当該効果は、テーブルがグローバル識別器の出力値(スコア)をローカル識別器の構成情報に対応付けた場合に顕著となる。この場合には、テーブルは離散化されたスコアごとにローカル識別器の構成情報を格納する。対象識別装置は予め用意した標本データから予め生成されたグローバル識別器を有し、ローカル識別器生成手段17は入力データに対してグローバル識別器のスコアを算出し、それに対応するインデックスを求めテーブルを検索する。 In particular, the effect becomes remarkable when the table associates the output value (score) of the global classifier with the configuration information of the local classifier. In this case, the table stores configuration information of the local discriminator for each discretized score. The object discriminating apparatus has a global discriminator generated in advance from sample data prepared in advance, and the local discriminator generating means 17 calculates the score of the global discriminator for the input data and obtains a corresponding index to obtain a table. Search for.
この構成では、インデックスは1次元であるスコア軸を離散化して設定され、インデックスの数は多次元の空間を離散化する場合よりはるかに少なくなる。つまり、テーブルのサイズを小さくでき、記憶部3の容量を少なくできると共に画像処理部4におけるテーブルの検索処理時間を短縮できる。
In this configuration, the index is set by discretizing a one-dimensional score axis, and the number of indexes is much smaller than when discretizing a multidimensional space. That is, the size of the table can be reduced, the capacity of the
なお、グローバル識別器は例えば、その構成情報を識別器テーブル記憶手段16に格納しておき、ローカル識別器生成手段17が読み出して利用する構成とすることができる。
The global discriminator can be configured to store the configuration information in the discriminator
[その他の変形例]
(1)入力データは、入力画像そのもの、入力画像の全体から特徴抽出手段11により抽出した特徴量または切り出し手段10が切り出した部分画像とすることもできる。
[Other variations]
(1) The input data may be the input image itself, a feature amount extracted by the
撮影部2に代えて画像ファイルを格納している録画装置やコンピューターを接続し、過去に撮影された画像又はその特徴量を対象識別装置への入力データとしてもよい。
Instead of the photographing
さらに、入力データは画像に限らない。音響信号、マイクロ波センサー等のセンサー信号又はそれらの特徴量などとしてもよい。 Furthermore, the input data is not limited to images. It may be an acoustic signal, a sensor signal such as a microwave sensor, or a feature amount thereof.
(2)上記実施形態では人の像と人以外の像を識別する例を示したが、対象はこれに限らない。例えば、入力データが画像又はその特徴量の場合は対象を人の顔、性別または車両などとすることができ、入力データが音響信号又はその特徴量の場合は対象を悲鳴などとすることができる。 (2) In the above embodiment, an example in which a human image and a non-human image are identified has been described, but the target is not limited to this. For example, when the input data is an image or a feature amount thereof, the target can be a human face, gender or vehicle, and when the input data is an acoustic signal or a feature amount thereof, the target can be a scream. .
(3)上記実施形態では対象と非対象を識別する2クラス問題を例示したが、車種判定、文字認識、顔による個人識別などの多クラス問題にも適用できる。この場合、クラスのペアごとに学習データを選出して該ペア間のローカル識別境界を学習すればよい。 (3) In the above embodiment, a two-class problem for identifying a target and a non-target is illustrated, but it can also be applied to multi-class problems such as vehicle type determination, character recognition, and personal identification by face. In this case, learning data may be selected for each class pair to learn local identification boundaries between the pairs.
(4)上記第1の実施形態では、標本データ記憶手段12が記憶している全ての標本データを用いてグローバル識別器、グローバル識別境界及び信頼度を学習しておくとしたが、記憶している標本データ数と学習に用いた標本データ数とは異なっていてもよく、NL個より十分多い個数の対象データ及びML個より十分多い個数の非対象データを用いて学習しておけばよい。例えば、グローバル識別器、グローバル識別境界及び信頼度の学習後に、標本データ記憶手段12に新たな標本データを追記してローカル識別器の生成に利用可能なデータを増やす運用などが考えられる。要するにグローバル識別器、グローバル識別境界及び信頼度は入力データの近傍の標本データを除外した学習によって生成できない代わりに、ローカル識別器の学習用データよりも多くの標本データを用いて予めの学習により生成しておける点が重要である。
(4) In the first embodiment, the global discriminator, the global discriminating boundary, and the reliability are learned using all the sample data stored in the sample
なお、この場合、標本データの追記と共に当該標本データの第1距離値を算出して距離値記憶手段に追記しておく。 In this case, the first distance value of the sample data is calculated and added to the distance value storage means together with the sample data.
(5)上記実施形態では、対象識別装置が入力データの全てに対してローカル識別器を生成または読み出し、当該ローカル識別器により入力データを識別したが、別の実施形態において対象識別装置はグローバル識別境界付近の入力データに限定してローカル識別器を用い、その他の入力データに対してはグローバル識別器により入力データを識別することで識別精度を維持しつつ計算量を削減する。 (5) In the above embodiment, the object identification device generates or reads a local identifier for all input data, and the input data is identified by the local identifier. However, in another embodiment, the object identification device performs global identification. A local discriminator is used only for input data near the boundary, and for other input data, the input data is discriminated by a global discriminator, thereby reducing the amount of calculation while maintaining the discrimination accuracy.
すなわち、対象識別装置はまずグローバル識別器に入力データを入力して、出力値であるスコア(グローバル・スコア)の絶対値|SG|を予め定めた閾値TSと比較する。|SG|>TSの場合、対象識別装置はSGに基づき入力データが対象を含むか否かを識別する。例えばSG>0であれば対象を含み、SG≦0であれば対象を含まないと識別する。他方、|SG|≦TSの場合、対象識別装置は上述したように入力データに対応してローカル識別器を生成または読み出して、当該ローカル識別器により入力データを識別する。 That is, the target identification device first inputs input data to the global classifier, and compares the absolute value | S G | of the score (global score), which is the output value, with a predetermined threshold value T S. If | S G |> T S , the object identification device identifies whether or not the input data includes an object based on S G. For example, if S G > 0, the target is included, and if S G ≦ 0, the target is not included. On the other hand, in the case of | S G | ≦ T S , the object identification device generates or reads a local identifier corresponding to the input data as described above, and identifies the input data by the local identifier.
1 画像センサー、2 撮影部、3 記憶部、4 画像処理部、5 出力部、10 切り出し手段、11 特徴抽出手段、12 標本データ記憶手段、13 学習用データ選出手段、14,17 ローカル識別器生成手段、15 入力データ識別手段、16 識別器テーブル記憶手段。 DESCRIPTION OF SYMBOLS 1 Image sensor, 2 imaging | photography part, 3 memory | storage part, 4 image processing part, 5 output part, 10 cutting-out means, 11 characteristic extraction means, 12 sample data storage means, 13 learning data selection means, 14, 17 local discriminator production | generation Means, 15 input data identification means, 16 identifier table storage means.
Claims (6)
予め前記対象を含むか否かが識別された複数の標本データを記憶している標本データ記憶手段と、
前記各標本データと前記入力データとの相違度を算出し、前記相違度が疎隔値を超えない標本データを除外して前記相違度が疎隔値を超える標本データの一部または全部を学習用データとして選出する学習用データ選出手段と、
前記学習用データを用いた学習により、前記入力データについての識別器を生成する識別器生成手段と、
前記識別器により前記入力データが前記対象を含むか否かを識別させる入力データ識別手段と、
を備えたことを特徴とする対象識別装置。 An object identification device for identifying whether input data includes a predetermined object,
Sample data storage means for storing a plurality of sample data identified whether or not to include the object in advance,
The degree of difference between each sample data and the input data is calculated, and part or all of the sample data in which the degree of difference exceeds the sparse value is excluded by excluding sample data whose degree of difference does not exceed the sparse value Learning data selection means for selecting as data for use,
Classifier generating means for generating a classifier for the input data by learning using the learning data;
Input data identifying means for identifying whether or not the input data includes the object by the identifier;
An object identification device comprising:
前記学習用データ選出手段は、前記標本データと前記入力データとの前記相違度として、当該両データを表す2つのベクトルについて前記信頼度で重み付けした相違度を算出すること、
を特徴とする請求項1に記載の対象識別装置。 Furthermore, it has a reliability storage means for storing in advance the reliability of each component of the vector representing the sample data, determined in advance learning,
The learning data selection means calculates, as the degree of difference between the sample data and the input data, a degree of difference weighted by the reliability with respect to two vectors representing the data,
The object identification device according to claim 1.
前記学習用データ選出手段は、前記識別境界と前記入力データとの間の第2距離値を算出して、前記標本データと前記入力データとの前記相違度として前記第1距離値と前記第2距離値との差を算出すること、
を特徴とする請求項1に記載の対象識別装置。 Further, a distance value storage means for preliminarily storing a first distance value between each of the sample data and an identification boundary for dividing the sample data including the target and the sample data not including the target, which is determined in advance by learning. Have
The learning data selection means calculates a second distance value between the identification boundary and the input data, and the first distance value and the second distance as the difference between the sample data and the input data. Calculating the difference from the distance value,
The object identification device according to claim 1.
前記入力データがとり得る範囲内の複数の特徴データそれぞれに付与したインデックスと、当該インデックスを付与した特徴データの識別に適した識別器の構成情報とを対応付けたテーブルを予め記憶した識別器テーブル記憶手段と、
前記入力データと対応する特徴データから前記インデックスを特定し、当該インデックスに対応する前記識別器の構成情報を用いて識別器を生成する識別器生成手段と、を有し、
前記識別器生成手段が生成した識別器にて前記入力データに所定の対象を含むか否かを識別し、
前記識別器テーブル記憶手段に記憶する前記構成情報は、前記対象を含むか否かが予め識別された複数の標本データの中から前記特徴データとの相違度が疎隔値を超えない標本データを除外した残余の標本データの一部又は全部を用いた学習により生成された構成情報であること、
を特徴とする対象識別装置。 An object identification device for identifying whether input data includes a predetermined object,
A discriminator table preliminarily storing a table in which an index assigned to each of a plurality of feature data within a range that can be taken by the input data is associated with configuration information of a discriminator suitable for identifying the feature data to which the index is assigned Storage means;
Classifier generating means for identifying the index from the feature data corresponding to the input data and generating a classifier using configuration information of the classifier corresponding to the index;
Identify whether the input data includes a predetermined target in the classifier generated by the classifier generation means ,
The configuration information stored in the discriminator table storage means includes sample data whose degree of difference from the feature data does not exceed a sparse value from among a plurality of sample data that have been identified in advance as to whether or not the target is included. Configuration information generated by learning using a part or all of the remaining sample data excluded,
The object identification device characterized by this.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014072837A JP6255296B2 (en) | 2014-03-31 | 2014-03-31 | Object identification device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014072837A JP6255296B2 (en) | 2014-03-31 | 2014-03-31 | Object identification device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015194927A JP2015194927A (en) | 2015-11-05 |
JP6255296B2 true JP6255296B2 (en) | 2017-12-27 |
Family
ID=54433866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014072837A Active JP6255296B2 (en) | 2014-03-31 | 2014-03-31 | Object identification device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6255296B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6623110B2 (en) * | 2016-04-05 | 2019-12-18 | 日本電信電話株式会社 | Training image selection device, method, and program |
JP7231996B2 (en) * | 2018-08-02 | 2023-03-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Information processing method and information processing system |
JP7187244B2 (en) | 2018-10-10 | 2022-12-12 | キヤノンメディカルシステムズ株式会社 | Medical image processing device, medical image processing system and medical image processing program |
JP7353825B2 (en) * | 2019-06-27 | 2023-10-02 | キヤノン株式会社 | Image processing device and method, image input device, image processing system, program |
WO2022157892A1 (en) * | 2021-01-21 | 2022-07-28 | 日本電信電話株式会社 | Image selection device, image selection method, and image selection program |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4099981B2 (en) * | 2001-12-04 | 2008-06-11 | 日本電気株式会社 | Image recognition system, image recognition method, and image recognition program |
JP4121060B2 (en) * | 2002-01-10 | 2008-07-16 | 三菱電機株式会社 | Class identification device and class identification method |
JP2004341959A (en) * | 2003-05-16 | 2004-12-02 | Just Syst Corp | Data classification device, data classification method, and program for making computer execute the method |
JP2005198970A (en) * | 2004-01-19 | 2005-07-28 | Konica Minolta Medical & Graphic Inc | Medical image processor |
JP4050273B2 (en) * | 2004-12-28 | 2008-02-20 | オリンパス株式会社 | Classification apparatus and classification method |
JP2009140285A (en) * | 2007-12-07 | 2009-06-25 | Fujifilm Corp | Image identification device, image identification method, and imaging device |
JP4995770B2 (en) * | 2008-05-21 | 2012-08-08 | 日本電信電話株式会社 | Image dictionary generation device, image dictionary generation method, and image dictionary generation program |
JP5253195B2 (en) * | 2009-01-20 | 2013-07-31 | セコム株式会社 | Object detection device |
JP2011044064A (en) * | 2009-08-24 | 2011-03-03 | Nikon Corp | Image processing device and image processing program |
US8965111B2 (en) * | 2010-09-09 | 2015-02-24 | Nec Corporation | Learning apparatus, a learning system, learning method and a learning program for object discrimination |
CN104412300B (en) * | 2012-06-14 | 2017-09-29 | 丰田自动车株式会社 | Identifier generating means and pattern detection device |
-
2014
- 2014-03-31 JP JP2014072837A patent/JP6255296B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015194927A (en) | 2015-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5010905B2 (en) | Face recognition device | |
EP3333768A1 (en) | Method and apparatus for detecting target | |
US9652694B2 (en) | Object detection method, object detection device, and image pickup device | |
US9292745B2 (en) | Object detection apparatus and method therefor | |
JP6544900B2 (en) | Object identification device, object identification method and program | |
JP6255296B2 (en) | Object identification device | |
JP5202148B2 (en) | Image processing apparatus, image processing method, and computer program | |
US20160110586A1 (en) | Image recognition apparatus, image recognition method and computer-readable medium | |
Sarfraz et al. | Head Pose Estimation in Face Recognition Across Pose Scenarios. | |
JP6921694B2 (en) | Monitoring system | |
JP6111297B2 (en) | Method, apparatus, and program | |
JP5591360B2 (en) | Classification and object detection method and apparatus, imaging apparatus and image processing apparatus | |
KR101449744B1 (en) | Face detection device and method using region-based feature | |
JP5792985B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
JP6351243B2 (en) | Image processing apparatus and image processing method | |
US20140140583A1 (en) | Image recognition apparatus and image recognition method for identifying object | |
CN111814690B (en) | Target re-identification method, device and computer readable storage medium | |
CN108280421B (en) | Human behavior recognition method based on multi-feature depth motion map | |
US9489593B2 (en) | Information processing apparatus and training method | |
WO2020195732A1 (en) | Image processing device, image processing method, and recording medium in which program is stored | |
US9704024B2 (en) | Object discriminating apparatus and method | |
CN112651364B (en) | Image processing method, device, electronic equipment and storage medium | |
CN103530646B (en) | The complex object cascaded using grader is detected | |
Benlamoudi et al. | Face spoofing detection using multi-level local phase quantization (ML-LPQ) | |
JP5648452B2 (en) | Image processing program and image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6255296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |