JP6884546B2 - Attribute judgment device, attribute judgment method, computer program, and recording medium - Google Patents
Attribute judgment device, attribute judgment method, computer program, and recording medium Download PDFInfo
- Publication number
- JP6884546B2 JP6884546B2 JP2016205379A JP2016205379A JP6884546B2 JP 6884546 B2 JP6884546 B2 JP 6884546B2 JP 2016205379 A JP2016205379 A JP 2016205379A JP 2016205379 A JP2016205379 A JP 2016205379A JP 6884546 B2 JP6884546 B2 JP 6884546B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- attribute
- patch
- target
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、属性判定装置、属性判定方法、コンピュータプログラム、及び記録媒体に関する。 The present invention relates to an attribute determination device, an attribute determination method, a computer program, and a recording medium.
対象画像取得装置で取得された対象画像を画像処理して対象画像に含まれる対象物の属性を判定する技術が知られている。対象物の属性とは、対象物が属する性質又は特徴をいう。対象物の属性の判定とは、予め定義されている複数の属性の中から対象物が属する属性を判定することをいう。対象物の属性として、植物、動物、人工物、水、空、道、及び土などが例示される。 There is known a technique of performing image processing on a target image acquired by a target image acquisition device to determine the attributes of an object included in the target image. The attribute of an object is the property or characteristic to which the object belongs. Determining the attribute of an object means determining the attribute to which the object belongs from a plurality of predefined attributes. Examples of the attributes of the object include plants, animals, man-made objects, water, sky, roads, and soil.
従来技術においては、対象画像から小領域のパッチ画像が抽出され、パッチ画像の中から対象物が抽出され、抽出された対象物の特徴量と予め定義されている物体の特徴量とが比較されることによって、対象物の属性が判定される。 In the prior art, a small area patch image is extracted from the target image, the object is extracted from the patch image, and the feature amount of the extracted object is compared with the feature amount of the predefined object. By doing so, the attribute of the object is determined.
2次元画像から対象物の属性を判定する場合、対象画像取得装置と対象物との距離が考慮されないと、対象物の属性の判定精度が低下する可能性がある。例えば、画像に複雑な地形が含まれている場合、画像には対象画像取得装置との距離がそれぞれ異なる複数の対象物が含まれることとなる。パッチ画像が単一サイズである場合、対象画像取得装置と複数の対象物のそれぞれとの距離が大きく異なると、パッチ画像において対象物が占める割合が対象物毎に異なることとなる。その結果、対象物の属性の判定精度が低下する可能性がある。 When determining the attributes of an object from a two-dimensional image, the accuracy of determining the attributes of the object may decrease unless the distance between the object image acquisition device and the object is taken into consideration. For example, when the image contains a complicated terrain, the image includes a plurality of objects having different distances from the target image acquisition device. When the patch image has a single size, if the distance between the target image acquisition device and each of the plurality of objects is significantly different, the proportion of the objects in the patch image will be different for each object. As a result, the determination accuracy of the attribute of the object may decrease.
そのため、対象画像に含まれる対象物の距離情報を算出し、算出された距離情報に基づいてパッチ画像のサイズを変更する技術が案出されている。特許文献1には、注目画素の距離情報に基づいてウインドウのサイズを変更し、ウインドウ内の注目画素の特徴量を抽出し、抽出した特徴量と予め求められている特徴量とを比較することにより対象物を識別する技術が開示されている。 Therefore, a technique has been devised in which the distance information of the object included in the target image is calculated and the size of the patch image is changed based on the calculated distance information. In Patent Document 1, the size of the window is changed based on the distance information of the pixel of interest, the feature amount of the pixel of interest in the window is extracted, and the extracted feature amount is compared with the feature amount obtained in advance. Discloses a technique for identifying an object.
対象物の距離情報の算出には、レーザセンサのような3次元計測センサを用いる直接計側方法又はステレオカメラを用いるステレオ計測方法のような算出方法が利用される。しかし、3次元計測センサを利用できない状況又はステレオカメラを利用できない状況においては、対象物の距離情報の算出が困難となる。 For the calculation of the distance information of the object, a calculation method such as a direct meter side method using a three-dimensional measurement sensor such as a laser sensor or a stereo measurement method using a stereo camera is used. However, in a situation where a three-dimensional measurement sensor cannot be used or a stereo camera cannot be used, it becomes difficult to calculate the distance information of the object.
本発明の態様は、対象物の距離情報の算出が困難な状況においても、対象物の属性の判定を精度良く実施できることを目的とする。 An object of the present invention is to be able to accurately determine the attributes of an object even in a situation where it is difficult to calculate the distance information of the object.
本発明の第1の態様に従えば、対象物の画像データを取得する対象画像データ取得部と、対象注目画素をそれぞれ含み異なるサイズの複数のパッチ画像データを前記対象画像データから生成するパッチ画像データ生成部と、前記パッチ画像データの前記対象注目画素の特徴量を抽出する特徴量抽出部と、学習注目画素をそれぞれ含み異なるサイズの複数のライブラリ画像データのそれぞれから算出された特徴量に基づいて予め生成された複数の識別器を記憶する属性データ記憶部と、前記パッチ画像データから算出された特徴量と、複数の前記識別器とを用いて、前記対象注目画素の属性を判定する属性判定部と、を備える属性判定装置が提供される。 According to the first aspect of the present invention, a target image data acquisition unit that acquires image data of an object and a patch image that includes a target pixel of interest and generates a plurality of patch image data of different sizes from the target image data. Based on the data generation unit, the feature amount extraction unit that extracts the feature amount of the target pixel of interest of the patch image data, and the feature amount calculated from each of a plurality of library image data of different sizes including the learning attention pixel. An attribute for determining the attribute of the target pixel of interest using an attribute data storage unit that stores a plurality of classifiers generated in advance, a feature amount calculated from the patch image data, and the plurality of classifiers. An attribute determination device including a determination unit is provided.
本発明の第1の態様において、前記パッチ画像データ生成部は、前記パッチ画像データのサイズが前記ライブラリ画像データの複数の前記サイズのそれぞれと同一となるように、複数の前記パッチ画像データを生成してもよい。 In the first aspect of the present invention, the patch image data generation unit generates a plurality of the patch image data so that the size of the patch image data is the same as each of the plurality of sizes of the library image data. You may.
本発明の第1の態様において、前記対象物の画像データ取得時の状況を示す撮像状況データを取得する撮像状況データ取得部を備え、前記属性判定部は、前記撮像状況データに基づいて複数の前記識別器から特定の識別器を選択し、選択した前記識別器に基づいて前記対象注目画素の属性を判定してもよい。 In the first aspect of the present invention, there is an imaging status data acquisition unit that acquires imaging status data indicating a status at the time of acquiring image data of the object, and the attribute determination unit has a plurality of imaging status data based on the imaging status data. A specific classifier may be selected from the classifiers, and the attributes of the target pixel of interest may be determined based on the selected classifiers.
本発明の第2の態様に従えば、対象画像データを取得することと、対象注目画素をそれぞれ含み異なるサイズの複数のパッチ画像データを前記対象画像データから生成することと、前記パッチ画像データの前記対象注目画素の特徴量を抽出することと、前記パッチ画像データから算出された特徴量と、学習注目画素をそれぞれ含み異なるサイズの複数のライブラリ画像データのそれぞれから算出された特徴量に基づいて予め生成された複数の識別器とを用いて、前記対象注目画素の属性を判定することと、を含む属性判定方法が提供される。 According to the second aspect of the present invention, the target image data is acquired, a plurality of patch image data having different sizes including the target pixel of interest are generated from the target image data, and the patch image data Based on extracting the feature amount of the target pixel of interest, the feature amount calculated from the patch image data, and the feature amount calculated from each of a plurality of library image data having different sizes including the learning attention pixel. An attribute determination method including determining the attribute of the target pixel of interest using a plurality of classifiers generated in advance is provided.
本発明の第3の態様に従えば、コンピュータに、対象注目画素をそれぞれ含み異なるサイズの複数のパッチ画像データを前記対象画像データから生成することと、前記パッチ画像データの前記対象注目画素の特徴量を抽出することと、前記パッチ画像データから算出された特徴量と、学習注目画素をそれぞれ含み異なるサイズの複数のライブラリ画像データのそれぞれから算出された特徴量に基づいて予め生成された複数の識別器とを用いて、前記対象注目画素の属性を判定することと、を実行させるコンピュータプログラムが提供される。 According to the third aspect of the present invention, a computer can generate a plurality of patch image data having different sizes including the target pixel of interest from the target image data, and the characteristics of the target pixel of the patch image data. A plurality of features generated in advance based on extracting the amount, the feature amount calculated from the patch image data, and the feature amount calculated from each of a plurality of library image data having different sizes including learning attention pixels. A computer program for determining the attributes of the target pixel of interest using a classifier and executing the data is provided.
本発明の第4の態様に従えば、コンピュータに、対象注目画素をそれぞれ含み異なるサイズの複数のパッチ画像データを前記対象画像データから生成することと、前記パッチ画像データの前記対象注目画素の特徴量を抽出することと、前記パッチ画像データから算出された特徴量と、学習注目画素をそれぞれ含み異なるサイズの複数のライブラリ画像データのそれぞれから算出された特徴量に基づいて予め生成された複数の識別器とを用いて、前記対象注目画素の属性を判定することと、を実行させるコンピュータプログラムが記録された記録媒体が提供される。 According to the fourth aspect of the present invention, the computer generates a plurality of patch image data having different sizes including the target pixel of interest, and the characteristics of the target pixel of the patch image data. A plurality of features generated in advance based on extracting the amount, the feature amount calculated from the patch image data, and the feature amount calculated from each of a plurality of library image data having different sizes including learning attention pixels. A recording medium in which a computer program for determining the attributes of the target pixel of interest using a classifier and executing the determination is recorded is provided.
本発明の態様によれば、対象物の距離情報の算出が困難な状況においても、対象物の属性の判定を精度良く実施できる。 According to the aspect of the present invention, even in a situation where it is difficult to calculate the distance information of the object, the attribute of the object can be determined with high accuracy.
以下、本発明に係る実施形態について説明するが、本発明はこれに限定されない。実施形態に係る構成要素は適宜組み合わせることができるし、一部の構成要素を使用しないこともできる。 Hereinafter, embodiments according to the present invention will be described, but the present invention is not limited thereto. The components according to the embodiment can be combined as appropriate, or some components may not be used.
[ハードウェア構成]
図1は、本実施形態に係る属性判定装置100の一例を示すハードウェア構成図である。属性判定装置1は、コンピュータシステムを含む。図1に示すように、属性判定装置100は、演算処理装置1と、記憶装置2と、ドライブ装置3とを備える。
[Hardware configuration]
FIG. 1 is a hardware configuration diagram showing an example of the
演算処理装置1は、CPU(Central Processing Unit)のようなプロセッサを含む。記憶装置2は、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含む。ドライブ装置3は、フラッシュメモリ又はハードディスクのようなストレージを含む。記憶装置2には、演算処理装置1の演算処理において実行されるコンピュータプログラム4が記憶される。コンピュータプログラム4は、演算処理装置1に読み込まれて実行される。
The arithmetic processing device 1 includes a processor such as a CPU (Central Processing Unit). The
記録媒体5は、CD−ROM、フレキシブルディスク、又は光磁気ディスクのような、光学的、電気的、又は磁気的に情報を記録する記録媒体でもよいし、ROM又はフラッシュメモリのような、電気的に情報を記録する半導体メモリでもよい。 The recording medium 5 may be a recording medium that records information optically, electrically, or magnetically, such as a CD-ROM, a flexible disk, or a magneto-optical disk, or an electrical, such as a ROM or a flash memory. It may be a semiconductor memory that records information on the optical disk.
演算処理装置1の演算処理において実行されるコンピュータプログラム4が、記録媒体5に記録され、ドライブ装置3を介して演算処理装置1にインストールされてもよい。なお、演算処理装置1の演算処理において実行されるコンピュータプログラム4が、サーバから演算処理装置1に送信されインストールされてもよい。 The computer program 4 executed in the arithmetic processing of the arithmetic processing unit 1 may be recorded on the recording medium 5 and installed in the arithmetic processing unit 1 via the drive device 3. The computer program 4 executed in the arithmetic processing of the arithmetic processing unit 1 may be transmitted from the server to the arithmetic processing unit 1 and installed.
属性判定装置1は、記録媒体5、入力装置6、及び表示装置7と接続される。
The attribute determination device 1 is connected to the recording medium 5, the
入力装置6は、操作者に操作されることにより入力データを生成する。入力装置6で生成された入力データは、演算処理装置1に出力される。入力装置6は、例えばコンピュータ用キーボード、マウス、及びタッチパネルの少なくとも一つを含む。
The
出力装置7は、例えば液晶ディスプレイ(Liquid Crystal Display:LCD)又は有機ELディスプレイ(Organic Electroluminescence Display:OELD)のようなフラットパネルディスプレイを含み、演算処理装置1で生成された表示データを表示する。表示データは、画像データでもよいし文字データでもよい。なお、出力装置7が、印刷装置及び音声データを出力するスピーカ装置の少なくとも一方を含んでもよい。 The output device 7 includes a flat panel display such as a liquid crystal display (LCD) or an organic EL display (OELD), and displays display data generated by the arithmetic processing device 1. The display data may be image data or character data. The output device 7 may include at least one of a printing device and a speaker device that outputs audio data.
属性判定装置1は、対象画像取得装置8及びセンサ9と接続される。対象画像取得装置8は、属性判定の対象物を含む対象画像データを取得する。対象画像取得装置8として、カメラが例示される。カメラは、可視カメラでもよいし、赤外カメラ(サーモグラフィ)でもよい。なお、対象画像取得装置8として、レーザセンサ又は温度センサが用いられてもよい。本実施形態においては、対象画像取得装置8として、カメラを用いることとする。以下の説明においては、対象画像取得装置8を適宜、カメラ8、と称する。
The attribute determination device 1 is connected to the target
カメラ8は、属性判定の対象物を含む対象画像データを撮像する。カメラ8は、光学系と、イメージセンサとを含む。イメージセンサは、CMOSイメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor)及びCCDイメージセンサ(Charge Coupled Device Image Sensor)の少なくとも一方を含む。
The
センサ9は、カメラ8の撮像時の状況を示す撮像状況データを検出する。カメラ8の撮像時の状況は、撮像時のカメラ8の姿勢及び位置を含む。カメラ8の姿勢は、カメラ8の光学系の向き(光学系の光軸の角度)を含む。カメラ8の位置は、地面からのカメラ8の光学系の設置位置(光学系の設置高さ)を含む。センサ9は、カメラ8の姿勢を検出可能な姿勢センサ及びカメラ8の位置を検出可能な位置センサを含む。
The
[機能構成]
図2は、本実施形態に係る属性判定装置100の一例を示す機能ブロック図である。図2に示すように、属性判定装置100は、データ解析部10と、データ記憶部20と、出力制御部30とを有する。
[Functional configuration]
FIG. 2 is a functional block diagram showing an example of the
データ解析部10は、データ取得部11と、パッチ画像データ生成部12と、特徴量抽出部13と、属性判定部14とを有する。データ解析部10の機能は、演算処理装置1及び記憶装置2に含まれる。
The
データ記憶部20は、対象画像データ記憶部21と、撮像状況データ記憶部22と、属性データ記憶部23とを有する。データ記憶部20の機能は、記憶装置2に含まれる。
The data storage unit 20 includes a target image data storage unit 21, an imaging status data storage unit 22, and an attribute
データ取得部11は、カメラ8で撮像された属性判定の対象物を含む対象画像を示す対象画像データを取得する。また、データ取得部11は、センサ9で検出されたカメラ8の撮像時の状況を示す撮像状況データを取得する。データ取得部11は、カメラ8で撮像された対象画像データを取得する対象画像データ取得部として機能する。また、データ取得部11は、カメラ8の撮像時の状況を示す撮像状況データを取得する撮像状況データ取得部として機能する。
The
パッチ画像データ生成部12は、パッチ画像を示すパッチ画像データを対象画像データから生成する。パッチ画像とは、対象画像のうち小領域の部分画像をいう。パッチ画像データ生成部12は、対象画像からパッチ画像を抽出する。パッチ画像データ生成部12は、対象画像から任意のサイズ(パッチサイズ)のパッチ画像を切り取ることができる。本実施形態において、パッチ画像データ生成部12は、異なるサイズの複数のパッチ画像データを対象画像データから生成する。 The patch image data generation unit 12 generates patch image data indicating a patch image from the target image data. The patch image is a partial image of a small area of the target image. The patch image data generation unit 12 extracts a patch image from the target image. The patch image data generation unit 12 can cut out a patch image of an arbitrary size (patch size) from the target image. In the present embodiment, the patch image data generation unit 12 generates a plurality of patch image data of different sizes from the target image data.
本実施形態において、パッチ画像データ生成部12は、対象注目画素を含むようにパッチ画像を生成する。パッチ画像データ生成部12は、対象注目画素をそれぞれ含み異なるサイズの複数のパッチ画像データを対象画像データから生成する。 In the present embodiment, the patch image data generation unit 12 generates a patch image so as to include the target pixel of interest. The patch image data generation unit 12 generates a plurality of patch image data having different sizes including the target pixel of interest from the target image data.
特徴量抽出部13は、パッチ画像データの対象注目画素の特徴量を抽出する。対象注目画素の特徴量は、対象注目画素に含まれる特徴量の集合(特徴量ベクトル)を含む。特徴量抽出部13は、物体の表面の輝度、明度、色相、模様、及び質感のようなテクスチャデータを含む特徴量を抽出する。特徴量抽出部13は、例えばHOG(Histograms of Oriented Gradients)のような公知の特徴量算出方法を用いて、対象注目画素の特徴量を抽出する。
The feature
属性判定部14は、対象注目画素を含むパッチ画像データから算出された特徴量と、ライブラリ画像データから算出された特徴量に基づいて予め生成された識別器とを用いて、対象注目画素の属性を判定する。パッチ画像データの対象注目画素の特徴量は、特徴量抽出部13により抽出される。属性データ記憶部23は、予め生成された識別器を記憶する。ライブラリ画像データは、学習注目画素を含む。学習注目画素の特徴量は、予め算出されている既知データである。また、学習注目画素の特徴量と、その学習注目画素についての属性とが関連付けられている。学習注目画素についての属性は、予め定義されている既知データである。属性判定部14は、特徴量抽出部13において特徴量が抽出された対象注目画素を含むパッチ画像データと、特徴量が既知であり属性と関連付けられている学習注目画素を含むライブラリ画像データとを照合することによって、対象注目画素の属性を判定することができる。
The attribute determination unit 14 uses the feature amount calculated from the patch image data including the target attention pixel and the classifier generated in advance based on the feature amount calculated from the library image data to attribute the target attention pixel. To judge. The feature amount of the target pixel of interest in the patch image data is extracted by the feature
対象注目画素の属性とは、対象注目画素が属する性質又は特徴をいう。対象注目画素の属性の判定とは、予め定義されている複数の属性の中から対象注目画素が属する属性を判定することをいう。対象物の属性として、植物、動物、人工物、水、空、道、及び土などが例示される。 The attribute of the target pixel of interest refers to a property or feature to which the target pixel of interest belongs. Determining the attribute of the target pixel of interest means determining the attribute to which the target pixel of interest belongs from a plurality of predefined attributes. Examples of the attributes of the object include plants, animals, man-made objects, water, sky, roads, and soil.
対象画像データ記憶部21は、カメラ8で撮像された対象画像データを記憶又は一時的に保持する。対象画像データ記憶部21は、対象画像データをデータ取得部11に出力する。データ取得部11は、対象画像データ記憶部21を介して、カメラ8から対象画像データを取得する。
The target image data storage unit 21 stores or temporarily holds the target image data captured by the
撮像状況データ記憶部22は、センサ9で取得された撮像状況データを記憶又は一時的に保持する。撮像状況データ記憶部22は、撮像状況データをデータ取得部11に出力する。データ取得部11は、撮像状況データ記憶部22を介して、カメラ8から撮像状況データを取得する。
The imaging status data storage unit 22 stores or temporarily holds the imaging status data acquired by the
属性データ記憶部23は、特徴量が既知である学習注目画素をそれぞれ含み、異なるサイズの複数のライブラリ画像データを記憶する。属性データ記憶部23は、ライブラリ画像データをデータ取得部11に出力する。データ取得部11は、属性データ記憶部23から、ライブラリ画像データを取得する。
The attribute
学習注目画素には、その学習注目画素に対応する物体の属性が関連付けられている。属性データ記憶部23は、パッチ画像データ生成部12で生成されたパッチ画像データと、属性データ記憶部23に記憶されている複数の前記ライブラリ画像データとのそれぞれを照合して、対象注目画素の属性を判定する。
The learning attention pixel is associated with the attribute of the object corresponding to the learning attention pixel. The attribute
特徴量が既知である学習注目画素をそれぞれ含む複数のライブラリ画像データは、データベース形式で属性データ記憶部23に記憶されている。本実施形態において、属性データ記憶部23は、同一サイズの複数のライブラリ画像データを保持する識別器を複数保有する。識別器とは、対象画像から抽出された対象注目画素の特徴量を入力データとして、対応する特徴量のクラスに分類する機能を提供する機能部をいう。本実施形態において、識別器は、少なくとも、対象注目画素の属性判定に使用されるライブラリ画像データのデータベースを含む。1つの識別器には、同一サイズのライブラリ画像データが複数保持されている。1つの識別器に保持される複数のライブラリ画像データは、異なる属性を有する。識別器は、画像データから算出された特徴量と、正解属性データとに基づいて予め作成される。
A plurality of library image data including learning attention pixels having known feature amounts are stored in the attribute
属性データ記憶部23は、識別器を複数保有する。複数の識別器は、異なるサイズのライブラリ画像データをそれぞれ保持する。すなわち、第1識別器は、第1サイズのライブラリ画像データを複数保持する。第2識別器は、第2サイズのライブラリ画像データを複数保持する。第3識別器は、第3サイズのライブラリ画像データを複数保持する。なお、属性データ記憶部23は、異なるサイズのパッチ画像データを保持する識別器を任意の複数N個保有することができる。
The attribute
また、識別器は、複数の弱識別器を含む。複数の弱識別器は、同一サイズの複数のライブラリ画像データを保持する。1つの弱識別器に保持される複数のライブラリ画像データは、異なる属性を有する。すなわち、1つの弱識別器は、特徴量が異なる学習注目画素をそれぞれ含み同一サイズの複数のライブラリ画像データを保持する。なお、識別器は、弱識別器を含まなくてもよい。 The classifier also includes a plurality of weak classifiers. The plurality of weak classifiers hold a plurality of library image data of the same size. The plurality of library image data held in one weak classifier have different attributes. That is, one weak classifier holds a plurality of library image data of the same size including learning attention pixels having different feature amounts. The classifier does not have to include a weak classifier.
出力制御部30は、データ解析部10と接続される。出力制御部30の機能は、演算処理装置1及び記憶装置2に含まれる。出力制御部30は、属性判定部14の判定結果を示す判定データを加工し、出力装置7において出力可能な出力データを生成する。
The output control unit 30 is connected to the
出力制御部30で生成された出力データは、出力装置7に送信される。出力制御部30は、例えば、出力装置7の表示画面に表示される表示データ、又はスピーカ装置から出力される音声データを生成し、出力装置7に送信する。出力装置7は、出力制御部30から送信された出力データ(表示データ又は音声データ)に基づいて作動する。 The output data generated by the output control unit 30 is transmitted to the output device 7. The output control unit 30 generates, for example, display data displayed on the display screen of the output device 7 or audio data output from the speaker device, and transmits the display data to the output device 7. The output device 7 operates based on the output data (display data or voice data) transmitted from the output control unit 30.
本実施形態において、出力制御部30は、カメラ8で撮像された対象画像に、属性判定部14による判定データを重畳させて出力装置7に出力させる。
In the present embodiment, the output control unit 30 superimposes the determination data by the attribute determination unit 14 on the target image captured by the
[対象画像とパッチ画像との関係]
図3は、本実施形態に係る対象画像とパッチ画像との関係を模式的に示す図である。対象画像は、マトリクス状に配置された複数の画素を含む。図3は、第1サイズのパッチ画像データと、第2サイズのパッチ画像データと、第2サイズよりも大きいパッチ画像データとが生成される例を示す。パッチ画像データのサイズは、画素の数を含む。図3に示す例において、第1サイズのパッチ画像データは、9個の画素によって構成される。第2サイズのパッチ画像データは、49個の画素によって構成される。第3サイズのパッチ画像データは、121個の画素によって構成される。
[Relationship between target image and patch image]
FIG. 3 is a diagram schematically showing the relationship between the target image and the patch image according to the present embodiment. The target image includes a plurality of pixels arranged in a matrix. FIG. 3 shows an example in which patch image data of the first size, patch image data of the second size, and patch image data larger than the second size are generated. The size of the patch image data includes the number of pixels. In the example shown in FIG. 3, the patch image data of the first size is composed of nine pixels. The patch image data of the second size is composed of 49 pixels. The patch image data of the third size is composed of 121 pixels.
なお、図3に示すパッチ画像のサイズは一例である。パッチ画像データ生成部12は、異なるサイズのパッチ画像データを任意の複数N個生成することができる。 The size of the patch image shown in FIG. 3 is an example. The patch image data generation unit 12 can generate an arbitrary plurality of N patch image data of different sizes.
図3に示すように、本実施形態において、パッチ画像データ生成部12は、対象注目画素がパッチ画像の中心に配置されるように、異なるサイズのパッチ画像データを複数生成する。 As shown in FIG. 3, in the present embodiment, the patch image data generation unit 12 generates a plurality of patch image data of different sizes so that the target pixel of interest is arranged at the center of the patch image.
図3に示す例では、対象注目画素は、1つの画素である。なお、対象注目画素は、隣り合う複数の画素によって構成されてもよい。すなわち、対象注目画素は、複数の画素を含む画素領域によって構成されてもよい。 In the example shown in FIG. 3, the target pixel of interest is one pixel. The target pixel of interest may be composed of a plurality of adjacent pixels. That is, the target pixel of interest may be composed of a pixel region including a plurality of pixels.
[パッチ画像データ及びライブラリ画像データ]
図4は、本実施形態に係るパッチ画像データ及び属性データ記憶部23に記憶されているライブラリ画像データの一例を模式的に示す図である。属性データ記憶部23は、異なるサイズの複数のライブラリ画像データを記憶する。
[Patch image data and library image data]
FIG. 4 is a diagram schematically showing an example of the patch image data and the library image data stored in the attribute
図4に示すように、属性データ記憶部23は、第1サイズのライブラリ画像データを複数保持する第1識別器と、第2サイズのライブラリ画像データを複数保持する第2識別器と、第3サイズのライブラリ画像データを複数保持する第3識別器とを保有する。第1サイズ、第2サイズ、及び第3サイズのうち、第1サイズが最も小さく、第1サイズに次いで第2サイズが小さく、第3サイズが最も大きい。
As shown in FIG. 4, the attribute
第1識別器に保持されている複数のライブラリ画像データのサイズは、全て第1サイズである。第2識別器に保持されている複数のライブラリ画像データのサイズは、全て第2サイズである。第3識別器に保持されている複数のライブラリ画像データのサイズは、全て第3サイズである。すなわち、1つの識別器は、同一サイズのライブラリ画像を複数保持する。 The sizes of the plurality of library image data held in the first classifier are all the first size. The sizes of the plurality of library image data held in the second classifier are all the second size. The sizes of the plurality of library image data held in the third classifier are all the third size. That is, one classifier holds a plurality of library images of the same size.
第1識別器は、属性が異なる複数のライブラリ画像データを保持する。第2識別器は、属性が異なる複数のライブラリ画像データを保持する。第3識別器は、属性が異なる複数のライブラリ画像データを保持する。 The first classifier holds a plurality of library image data having different attributes. The second classifier holds a plurality of library image data having different attributes. The third classifier holds a plurality of library image data having different attributes.
図4に示す例では、第1識別器は、属性が「動物」である第1サイズのライブラリ画像データ1aと、属性が「植物」である第1サイズのライブラリ画像データ1bとを保持する。第2識別器は、属性が「人工物」である第2サイズのライブラリ画像データ2aと、属性が「植物」である第2サイズのライブラリ画像データ2bとを保持する。 In the example shown in FIG. 4, the first classifier holds the first size library image data 1a having the attribute "animal" and the first size library image data 1b having the attribute "plant". The second classifier holds the second size library image data 2a having the attribute "artificial object" and the second size library image data 2b having the attribute "plant".
なお、図4に示す属性データ記憶部23は、一例である。第1識別器は、ライブラリ画像データ1a及びライブラリ画像データ1bのみならず、属性が異なる複数X個の第1サイズのライブラリ画像データ1xを保持する。第2識別器は、ライブラリ画像データ2a及びライブラリ画像データ2bのみならず、属性が異なる複数X個の第2サイズのライブラリ画像データ2xを保持する。同様に、第3識別器は、属性が異なる複数X個の第3サイズのライブラリ画像データ3xを保持する。
The attribute
また、属性データ記憶部23は、任意の複数N個の識別器を保有することができる。第N識別器は、属性が異なる複数X個の第Nサイズのライブラリ画像データNXを保持する。
Further, the attribute
図4に示すように、対象画像データがカメラ8によって撮像される。パッチ画像データ生成部12は、対象画像データから異なるサイズのパッチ画像データを複数生成する。複数のパッチ画像データはそれぞれ、対象注目画素を含む。
As shown in FIG. 4, the target image data is captured by the
本実施形態において、パッチ画像データ生成部12は、パッチ画像データのサイズがライブラリ画像データの複数のサイズのそれぞれと同一となるように、複数のパッチ画像データを生成する。図4に示す例では、属性データ記憶部23には、第1サイズのライブラリ画像データと、第2サイズのライブラリ画像データと、第3サイズのライブラリ画像データとが記憶されている。パッチ画像データ生成部12は、第1サイズのパッチ画像データと、第2サイズのパッチ画像データと、第3サイズのパッチ画像データとを生成する。
In the present embodiment, the patch image data generation unit 12 generates a plurality of patch image data so that the size of the patch image data is the same as each of the plurality of sizes of the library image data. In the example shown in FIG. 4, the attribute
なお、図4に示すパッチ画像データは一例である。属性データ記憶部23に第Nサイズのライブラリ画像データが記憶されている場合、パッチ画像データ生成部12は、対象画像データから、対象注目画素が中心に配置されるように、第Nサイズのパッチ画像データを生成する。
The patch image data shown in FIG. 4 is an example. When the Nth size library image data is stored in the attribute
属性判定部14は、同一サイズのパッチ画像データとライブラリ画像データとを照合する。属性判定部14は、複数N個の識別器のそれぞれにおいてパッチ画像データとライブラリ画像データとを照合して照合データを算出する。照合データは、パッチ画像データの対象注目画素の特徴量と、ライブラリ画像データの学習注目画素の特徴量との相関値を含む。属性判定部14は、複数N個の識別器のそれぞれにおいて算出された複数の照合データに基づいて、対象注目画素の属性を判定する。 The attribute determination unit 14 collates the patch image data of the same size with the library image data. The attribute determination unit 14 collates the patch image data with the library image data in each of the plurality of N classifiers and calculates the collation data. The collation data includes a correlation value between the feature amount of the target pixel of interest in the patch image data and the feature amount of the learning attention pixel of the library image data. The attribute determination unit 14 determines the attributes of the target pixel of interest based on the plurality of collation data calculated by each of the plurality of N classifiers.
図4に示す例では、属性判定部14は、第1サイズのパッチ画像データと、第1識別器に保持されている第1サイズの複数M個のライブラリ画像データのそれぞれとを照合する。また、属性判定部14は、第2サイズのパッチ画像データと、第2識別器に保持されている第2サイズの複数M個のライブラリ画像データのそれぞれとを照合する。また、属性判定部14は、第3サイズのパッチ画像データと、第3識別器に保持されている第3サイズの複数M個のライブラリ画像データのそれぞれとを照合する。また、属性判定部14は、第Nサイズのパッチ画像データと、第N識別器に保持されている第Nサイズの複数M個のライブラリ画像データのそれぞれとを照合する。 In the example shown in FIG. 4, the attribute determination unit 14 collates the patch image data of the first size with each of the plurality of M library image data of the first size held in the first classifier. Further, the attribute determination unit 14 collates the patch image data of the second size with each of the plurality of M library image data of the second size held in the second classifier. Further, the attribute determination unit 14 collates the patch image data of the third size with each of the plurality of M library image data of the third size held in the third classifier. Further, the attribute determination unit 14 collates the patch image data of the Nth size with each of the plurality of M library image data of the Nth size held in the Nth classifier.
属性判定部14は、第1サイズのパッチデータと、第1識別器に保持されている第1サイズの複数M個のライブラリ画像データのそれぞれとを照合して、第1識別器についての複数M個の照合データを算出する。属性判定部14は、第2サイズのパッチデータと、第2識別器に保持されている第2サイズの複数M個のライブラリ画像データのそれぞれとを照合して、第2識別器についての複数M個の照合データを算出する。属性判定部14は、第3サイズのパッチデータと、第3識別器に保持されている第3サイズの複数M個のライブラリ画像データのそれぞれとを照合して、第3識別器についての複数Mの照合データを算出する。属性判定部14は、第Nサイズのパッチデータと、第N識別器に保持されている第Nサイズの複数M個のライブラリ画像データのそれぞれとを照合して、第N識別器についての複数M個の照合データを算出する。 The attribute determination unit 14 collates the patch data of the first size with each of the plurality of M library image data of the first size held in the first classifier, and the plurality of M of the first classifier. Calculate the matching data. The attribute determination unit 14 collates the patch data of the second size with each of the plurality of M library image data of the second size held in the second classifier, and collates the plurality of Ms of the second classifier. Calculate the matching data. The attribute determination unit 14 collates the patch data of the third size with each of the plurality of M library image data of the third size held in the third classifier, and the plurality of M of the third classifier. Calculate the collation data of. The attribute determination unit 14 collates the patch data of the Nth size with each of the plurality of M library image data of the Nth size held in the Nth discriminator, and collates the plurality of Ms of the Nth discriminator. Calculate the matching data.
すなわち、識別器がN個あり、1つの識別器にM個のライブラリ画像データが保持されている場合、属性判定部14は、[N×M]通りの照合データを算出する。属性判定部14は、複数[N×M]の照合データに基づいて、パッチ画像データの対象注目画素の属性を判定する。 That is, when there are N classifiers and M library image data are held in one classifier, the attribute determination unit 14 calculates the collation data according to [N × M]. The attribute determination unit 14 determines the attribute of the target pixel of interest in the patch image data based on the collation data of a plurality of [N × M].
図4に示す例では、属性判定部14は、パッチ画像データ生成部12で生成された第2サイズのパッチ画像データと、第2識別器のライブラリ画像データ2bとの相関が最も高いと判定する。属性判定部14は、対象注目画素を中心とする対象物の属性が、ライブラリ画像データ2bで示される「植物」であると判定する。 In the example shown in FIG. 4, the attribute determination unit 14 determines that the second size patch image data generated by the patch image data generation unit 12 has the highest correlation with the library image data 2b of the second classifier. .. The attribute determination unit 14 determines that the attribute of the object centered on the target pixel of interest is the "plant" shown in the library image data 2b.
[識別器]
図5は、本実施形態に係る識別器の一例を模式的に示す図である。図5は、第N識別器の一例を模式的に示す図である。
[Identifier]
FIG. 5 is a diagram schematically showing an example of the classifier according to the present embodiment. FIG. 5 is a diagram schematically showing an example of the Nth classifier.
第N識別器は、特徴量が異なる学習注目画素をそれぞれ含み同一サイズの複数のライブラリ画像データを保持する複数の弱識別器を有する。図5に示す例では、第N識別器は、第1弱識別器と、第2弱識別器と、第M弱識別器とを有する。 The Nth classifier has a plurality of weak classifiers including learning attention pixels having different feature amounts and holding a plurality of library image data of the same size. In the example shown in FIG. 5, the Nth classifier has a first weak classifier, a second weak classifier, and an M weak classifier.
第1弱識別器は、第Nサイズの複数のライブラリ画像データを複数保持する。第2弱識別器は、第Nサイズの複数のライブラリ画像データを複数保持する。第M弱識別器は、第Nサイズの複数のライブラリ画像データを複数保持する。 The first weak classifier holds a plurality of N-size library image data. The second weak classifier holds a plurality of N-size library image data. The M-th weak classifier holds a plurality of N-size library image data.
図6は、本実施形態に係る弱識別器の一例を模式的に示す図である。図6に示すように、1つの識別器は、複数の弱識別器を有する。複数の識別器はそれぞれ、決定木(decision tree)を含む。なお、本実施形態においては、識別器が複数の弱識別器を有することとするが、弱識別器を含まなくてもよい。また、識別器は、決定木を含まなくてもよい。識別器は、識別結果を定量的に表現できればよく、識別結果をスコアとして表現できればよい。 FIG. 6 is a diagram schematically showing an example of a weak classifier according to the present embodiment. As shown in FIG. 6, one classifier has a plurality of weak classifiers. Each of the discriminators includes a decision tree. In the present embodiment, the classifier has a plurality of weak classifiers, but the weak classifiers may not be included. Also, the classifier does not have to include a decision tree. The discriminator only needs to be able to express the discrimination result quantitatively, and may express the discrimination result as a score.
図6は、公知技術であるランダムフォレストを説明する図である。図6に示すように、第1弱識別器の決定木は、非終端ノードに付される属性判定ラベル41と、複数の終端ノードのそれぞれに付される複数の属性クラス42とを有する。同様に、第2弱識別器から第M弱識別器の決定木はそれぞれ、非終端ノードに付される属性判定ラベル41と、複数の終端ノードのそれぞれに付される複数の属性クラス42とを有する。
FIG. 6 is a diagram illustrating a known technique, a random forest. As shown in FIG. 6, the decision tree of the first weak classifier has an
なお、図6は、第1弱識別器の属性クラス42が、属性A、属性B、及び属性Cを含み、第2弱識別器の属性クラス42が、属性B、属性C、及び属性Dを含み、第M弱識別器の属性クラス42が、属性A、属性B、属性C、及び属性Dを含む例を示す。本実施形態においては、第1弱識別器から第M弱識別器の属性クラス42はそれぞれ、属性Aから任意の属性Xまでの属性を含む。
In FIG. 6, the
上述のように、1つの識別器において、複数の弱識別器は、同一サイズの複数のライブラリ画像データを保持する。1つの弱識別器に保持される複数のライブラリ画像データは、異なる属性を有する。 As described above, in one classifier, the plurality of weak classifiers hold a plurality of library image data of the same size. The plurality of library image data held in one weak classifier have different attributes.
複数の弱識別器のそれぞれにおいて、特徴量(属性)が既知である複数のライブラリ画像データの学習注目画素の属性が属性クラス42に設定される。また、複数のライブラリ画像データの学習注目画素の特徴量に基づいて、複数の弱識別器のそれぞれにおいて、属性判定ラベル41を含む決定木が構築される。属性判定部14は、ライブラリ画像データに基づいて構築された複数の決定木のそれぞれを決定木分析して、対象注目画素の属性を決定する。
In each of the plurality of weak classifiers, the attributes of the learning attention pixels of the plurality of library image data whose feature amounts (attributes) are known are set in the
属性判定部14は、複数の弱識別器のそれぞれにおいて、決定木分析により、決定木の複数の属性クラス42の中から、対象注目画素の属性を決定する。本実施形態において、照合データは、複数の弱識別器のそれぞれにおいて得票率が算出された属性のうち得票率が最も高い属性を含む。すなわち、本実施形態において、属性判定部14は、複数の弱識別器のそれぞれにおいて得票率が算出された属性のうち、得票率が最も高い属性を、第N識別器における対象注目画素の属性あると決定する。
The attribute determination unit 14 determines the attribute of the target pixel of interest from the plurality of
例えば、第1弱識別器の属性クラス42が属性Aから属性Xを含み、決定木分析により対象注目画素の属性を判定した場合において、属性Aの得票数がA1であり、属性Bの得票数がB1であり、属性Xの得票数がX1であるとする。第2弱識別器の属性クラス42が属性Aから属性Xを含み、決定木分析により対象注目画素の属性を判定した場合において、属性Aの得票数がA2であり、属性Bの得票数がB2であり、属性Xの得票数がX2であるとする。第M弱識別器の属性クラス42が属性Aから属性Xを含み、決定木分析により対象注目画素の属性を判定した場合において、属性Aの得票数がAM、属性Bの得票数がBMであり、属性Xの得票数がXMであるとする。属性判定部14は、第1弱識別器から第M弱識別器のそれぞれにおいて算出された得票数を集計する。すなわち、属性判定部14は、[A1+A2+…+AM]の演算、[B1+B2+…BM]の演算、…、[X1+X2+…+XM]の演算を実施する。属性判定部14は、第N識別器全体の得票数と、属性Aから属性Xそれぞれの得票数とに基づいて、属性Aから属性Xそれぞれの得票率を算出する。例えば、属性判定部14は、第N識別器全体の得票数に対する[A1+A2+…+AM]の比を算出して、属性Aの得票率を算出する。同様に、属性判定部14は、第N識別器全体の得票数に対する[B1+B2+…BM]の比を算出して、属性Bの得票率を算出し、第N識別器全体の得票数に対する[X1+X2+…+XM]の比を算して、属性Xの得票率を算出する。同様に、属性判定部14は、属性Cから属性Wまでの得票率を算出する。属性Aから属性Xまで得票率のうち、属性Aの得票率が最も高い場合、属性判定部14は、得票率が最も高い属性を、第N識別器における対象注目画素の属性であると決定する。
For example, when the
属性判定部14は、第1識別器から第N識別器のそれぞれについて、同様の処理を実施する。本実施形態において、属性判定部14は、複数の識別器のそれぞれにおいて決定された属性のうち得票率が最も高い属性を対象注目画素の属性あると判定する。 The attribute determination unit 14 performs the same processing for each of the first classifier to the Nth classifier. In the present embodiment, the attribute determination unit 14 determines that the attribute with the highest voter turnout among the attributes determined by each of the plurality of classifiers is the attribute of the target pixel of interest.
[センサ]
図7は、本実施形態に係るカメラ8及びセンサ9の一例を模式的に示す図である。図7に示すように、カメラ8は、支持装置50に支持される。支持装置50は、カメラ8の姿勢及び位置を調整可能である。カメラ8の姿勢は、カメラ8の光学系の向き及び設置位置を含む。カメラ8の光学系の向きは、水平面に対するカメラ8の光学系の光軸の角度を含む。カメラ8の設置位置は、地面からのカメラ8の光学系の設置高さを含む。
[Sensor]
FIG. 7 is a diagram schematically showing an example of the
センサ9は、カメラ8の姿勢を検出可能な姿勢センサ及びカメラ8の位置を検出可能な位置センサを含む。センサ9で検出されたカメラ8の姿勢及び位置を含むカメラ8の撮影時の状況を含む撮影状況データは、データ取得部11に出力される。
The
属性判定部14は、センサ9の検出データに基づいて、カメラ8が遠景の対象画像データ、中景の対象画像データ、及び近景の対象画像データのうち、いずれの対象画像データを撮像している状況であるかを判定する。例えば、水平面に対するカメラ8の光学系の光軸の角度が0[°]に近い場合、属性判定部14は、カメラ8は遠景を撮像している状況であると判定する。地面に対するカメラ8の光学系の光軸の角度が大きい場合(例えば下向きに60[°]である場合)属性判定部14は、カメラ8は近景を撮像している状況であると判定する。地面に対するカメラ8の光学系の光軸の角度が中程度である場合(例えば下向きに30[°]である場合)属性判定部14は、カメラ8は中景を撮像している状況であると判定する。
Based on the detection data of the
上述のように、属性データ記憶部23は、異なるN種類のサイズのライブラリ画像データをそれぞれ保持する識別器を複数保有する。本実施形態において、属性判定部14は、センサ9で取得された撮像状況データに基づいて、複数の識別器から特定の識別器を選択し、選択した識別器に基づいて対象注目画素の属性を判定する。例えば、カメラ8が遠景を撮像していると判定した場合、属性判定部14は、複数の識別器のうち、小さいサイズのライブラリ画像データを保持する識別器を選択し、大きいサイズのライブラリ画像データを保持する識別器をリジェクトする。カメラ8が近景を撮像していると判定した場合、属性判定部14は、複数の識別器のうち、大きいサイズのライブラリ画像データを保持する識別器を選択し、小さいサイズのライブラリ画像データを保持する識別器をリジェクトする。
As described above, the attribute
本実施形態において、属性判定部14は、撮像状況データに基づいて、リジェクトする識別器の大きさ及び数を適宜選択することができる。 In the present embodiment, the attribute determination unit 14 can appropriately select the size and number of the classifiers to be rejected based on the imaging status data.
[属性判定方法]
次に、本実施形態に係る属性判定方法の一例について説明する。図8は、本実施形態に係る属性判定方法の一例を示すフローチャートである。図8に示すように、本実施形態に係る属性判定方法は、ライブラリ画像データのデータベースを構築する学習フェーズSAと、パッチ画像データとライブラリ画像データとを照合して対象注目画素の属性を判定する識別フェーズSBとを含む。
[Attribute judgment method]
Next, an example of the attribute determination method according to the present embodiment will be described. FIG. 8 is a flowchart showing an example of the attribute determination method according to the present embodiment. As shown in FIG. 8, in the attribute determination method according to the present embodiment, the learning phase SA for constructing a database of library image data is collated with the patch image data and the library image data to determine the attributes of the target pixel of interest. Includes identification phase SB.
(学習フェーズ)
図9は、本実施形態に係る学習フェーズSAの一例を模式的に示す図である。図9に示すように、学習フェーズSAにおいては、教師画像が取得される。教師画像とは,学習フェーズで利用する,正解属性を導出可能な画像をいう。教師画像が機械学習アルゴリズムに基づいて処理されることにより、決定木を含む複数の識別器が構築される。
(Learning phase)
FIG. 9 is a diagram schematically showing an example of the learning phase SA according to the present embodiment. As shown in FIG. 9, the teacher image is acquired in the learning phase SA. A teacher image is an image used in the learning phase from which the correct answer attribute can be derived. By processing the teacher image based on the machine learning algorithm, a plurality of classifiers including a decision tree are constructed.
図10は、本実施形態に係る学習フェーズSAの一例を示すフローチャートである。図10に示すように、まず、教師画像が取得される(ステップSA1)。次に、第1識別器を生成する処理が実施される(ステップSA2)。 FIG. 10 is a flowchart showing an example of the learning phase SA according to the present embodiment. As shown in FIG. 10, first, a teacher image is acquired (step SA1). Next, a process for generating the first classifier is performed (step SA2).
第1識別器を生成する処理においては、教師画像から任意の学習注目画素が選択される。本実施形態においては、まず、第1学習注目画素が選択される(ステップSA11)。 In the process of generating the first classifier, an arbitrary learning attention pixel is selected from the teacher image. In the present embodiment, first, the first learning attention pixel is selected (step SA11).
次に、教師画像から、第1学習注目画素を中心とする第1サイズのライブラリ画像データが生成される。第1学習注目画素を含む第1サイズのライブラリ画像データから、例えばHOG(Histograms of Oriented Gradients)のような公知の特徴量算出方法を用いて、第1学習注目画素の特徴量が抽出される。 Next, first-sized library image data centered on the first learning attention pixel is generated from the teacher image. From the library image data of the first size including the first learning attention pixel, the feature amount of the first learning attention pixel is extracted by using a known feature amount calculation method such as HOG (Histograms of Oriented Gradients).
第1学習注目画素の特徴量と、その第1学習注目画素についての正解属性とが関連付けられる。第1学習注目画素についての正解属性は、教師画像から導出可能である。 The feature amount of the first learning attention pixel is associated with the correct answer attribute for the first learning attention pixel. The correct answer attribute for the first learning attention pixel can be derived from the teacher image.
また、教師画像から任意の第2学習注目画素が選択される(ステップSA21)。次に、教師画像から、第2学習注目画素を中心とする第1サイズのライブラリ画像データが生成される。第2学習注目画素を含む第1サイズのライブラリ画像データから、例えばHOG(Histograms of Oriented Gradients)のような公知の特徴量算出方法を用いて、第2学習注目画素の特徴量が抽出される。 Further, an arbitrary second learning attention pixel is selected from the teacher image (step SA21). Next, the first size library image data centered on the second learning attention pixel is generated from the teacher image. From the library image data of the first size including the second learning attention pixel, the feature amount of the second learning attention pixel is extracted by using a known feature amount calculation method such as HOG (Histograms of Oriented Gradients).
第2学習注目画素の特徴量と、その第2学習注目画素についての正解属性とが関連付けられる。第2学習注目画素についての正解属性は、教師画像から導出可能である。 The feature amount of the second learning attention pixel is associated with the correct answer attribute for the second learning attention pixel. The correct answer attribute for the second learning attention pixel can be derived from the teacher image.
上述と同様の処理が、第1学習注目画素から第Z学習注目画素のそれぞれについて実施される。 The same processing as described above is performed for each of the first learning attention pixel to the Z learning attention pixel.
正解属性が関連付けられた第1学習注目画素を含む第1サイズのライブラリ画像データから正解属性が関連付けられた第Z学習注目画素を含む第1サイズのライブラリ画像データが機械学習アルゴリズムに基づいて処理される(ステップSA3)。これにより、複数の学習注目画素を含む第1サイズのライブラリ画像データに基づいて生成された決定木を含む第1識別器が生成される。 The first size library image data including the first learning attention pixel associated with the correct answer attribute is processed from the first size library image data including the first learning attention pixel associated with the correct answer attribute based on the machine learning algorithm. (Step SA3). As a result, a first classifier including a decision tree generated based on the library image data of the first size including a plurality of learning attention pixels is generated.
以上により、特徴量が異なる第1学習注目画素から第Z学習注目画素をそれぞれ含み、同一の第1サイズの複数のライブラリ画像データを保持する複数の弱識別器を有する第1識別器が構築される。 As described above, the first classifier including the first learning attention pixel to the Z learning attention pixel having different feature amounts and having a plurality of weak classifiers holding a plurality of library image data of the same first size is constructed. To.
上述の第1識別器を生成する処理と同様の処理が、第2サイズのライブラリ画像データ、第3サイズのライブラリ画像データ、…、第Nサイズのライブラリ画像データのそれぞれについて実施される。以上により、第1サイズから第Nサイズのライブラリ画像データをそれぞれ保持する第1識別器から第N識別器が構築される。生成された第1識別器から第N識別器は、属性データ記憶部23に記憶される。
The same process as the process for generating the first classifier described above is performed for each of the second size library image data, the third size library image data, ..., And the Nth size library image data. As described above, the Nth classifier is constructed from the first classifier that holds the library image data of the first size to the Nth size, respectively. The generated first to Nth classifiers are stored in the attribute
(識別フェーズ)
次に、識別フェーズSBについて説明する。図11は、本実施形態に係る識別フェーズSBの一例を模式的に示す図である。図11に示すように、識別フェーズSBにおいては、まず、カメラ8により対象画像が撮像される(ステップSB1)。データ取得部11は、カメラ8で撮像された対象画像データを取得する。
(Identification phase)
Next, the identification phase SB will be described. FIG. 11 is a diagram schematically showing an example of the identification phase SB according to the present embodiment. As shown in FIG. 11, in the identification phase SB, first, the target image is captured by the camera 8 (step SB1). The
また、センサ9によりカメラ8の撮像時の状況を示す撮像状況データが検出される。データ取得部11は、センサ9で検出された撮像状況データを取得する。
In addition, the
属性判定部14は、データ取得部11で取得された撮像状況データに基づいて、属性データ記憶部23に記憶されている複数の識別器から特定の識別器を選択する(ステップSB2)。
The attribute determination unit 14 selects a specific classifier from a plurality of classifiers stored in the attribute
属性判定部14は、データ取得部11で取得された撮像状況データに基づいて、カメラ8が遠景の対象画像データ、中景の対象画像データ、及び近景の対象画像データのうち、いずれの対象画像データを撮像している状況であるかを判定する。例えば、遠景の対象画像データが取得されたと判定した場合、属性判定部14は、複数の識別器のうち、小さいサイズのライブラリ画像データを保持する識別器を選択し、大きいサイズのライブラリ画像データを保持する識別器をリジェクトする。近景の対象画像データが取得されたと判定された場合、属性判定部14は、複数の識別器のうち、大きいサイズのライブラリ画像データを保持する識別器を選択し、小さいサイズのライブラリ画像データを保持する識別器をリジェクトする。
Based on the imaging status data acquired by the
本実施形態においては、属性データ記憶部23に記憶されている第1識別器から第N識別器のうち、一部の識別器がリジェクトされ、第1識別器から第K識別器が選択されることとする。
In the present embodiment, some of the first classifiers to the Nth classifiers stored in the attribute
次に、対象画像から任意の学習注目画素が選択される。本実施形態においては、まず、第1対象注目画素が選択される(ステップSB3)。 Next, an arbitrary learning attention pixel is selected from the target image. In the present embodiment, first, the first target pixel of interest is selected (step SB3).
次に、パッチ画像データ生成部12は、対象画像から、第1対象注目画素を中心とする第1サイズのパッチ画像データを生成する。次に、特徴量抽出部13は、第1対象注目画素を含む第1サイズのパッチ画像データから、例えばHOG(Histograms of Oriented Gradients)のような公知の特徴量算出方法を用いて、第1対象注目画素の特徴量を抽出する(ステップSB11)。
Next, the patch image data generation unit 12 generates patch image data of the first size centered on the first target pixel of interest from the target image. Next, the feature
次に、属性判定部14は、属性データ記憶部23に記憶されている第1識別器において、第1サイズのパッチ画像データと第1サイズのライブラリ画像データとを照合する(ステップSB12)。 Next, the attribute determination unit 14 collates the patch image data of the first size with the library image data of the first size in the first classifier stored in the attribute data storage unit 23 (step SB12).
属性判定部14は、第1識別器の複数の弱識別器のそれぞれにおいて決定木分析により決定木の複数の属性クラスの中から対象注目画素の属性を決定する。属性判定部14は、第1識別器の複数の弱識別器のそれぞれにおいて得票率が算出された属性のうち得票率が最も高い属性を決定する(ステップSB13)。本実施形態においては、第1識別器において決定された属性は、属性Aであり、その属性Aの最高得票率は80[%]であることとする。 The attribute determination unit 14 determines the attribute of the target pixel of interest from the plurality of attribute classes of the decision tree by the decision tree analysis in each of the plurality of weak classifiers of the first classifier. The attribute determination unit 14 determines the attribute having the highest voter turnout among the attributes for which the voter turnout has been calculated in each of the plurality of weak classifiers of the first classifier (step SB13). In the present embodiment, the attribute determined by the first classifier is the attribute A, and the maximum voter turnout of the attribute A is 80 [%].
次に、パッチ画像データ生成部12は、対象画像から、第1対象注目画素を中心とする第2サイズのパッチ画像データを生成する。次に、特徴量抽出部13は、第1対象注目画素を含む第2サイズのパッチ画像データから、例えばHOG(Histograms of Oriented Gradients)のような公知の特徴量算出方法を用いて、第1対象注目画素の特徴量を抽出する(ステップSB21)。
Next, the patch image data generation unit 12 generates patch image data of a second size centered on the first target pixel of interest from the target image. Next, the feature
次に、属性判定部14は、属性データ記憶部23に記憶されている第2識別器において、第2サイズのパッチ画像データと第2サイズのライブラリ画像データとを照合する(ステップSB22)。 Next, the attribute determination unit 14 collates the patch image data of the second size with the library image data of the second size in the second classifier stored in the attribute data storage unit 23 (step SB22).
属性判定部14は、第2識別器の複数の弱識別器のそれぞれにおいて決定木分析により決定木の複数の属性クラスの中から対象注目画素の属性を決定する。属性判定部14は、第2識別器の複数の弱識別器のそれぞれにおいて得票率が算出された属性のうち得票率が最も高い属性を決定する(ステップSB23)。本実施形態においては、第2識別器において決定された属性は、属性Bであり、その属性Bの最高得票率は60[%]であることとする。 The attribute determination unit 14 determines the attribute of the target pixel of interest from the plurality of attribute classes of the decision tree by the decision tree analysis in each of the plurality of weak classifiers of the second classifier. The attribute determination unit 14 determines the attribute having the highest voter turnout among the attributes for which the voter turnout has been calculated in each of the plurality of weak classifiers of the second classifier (step SB23). In the present embodiment, the attribute determined by the second classifier is the attribute B, and the maximum voter turnout of the attribute B is 60 [%].
以下、第1対象注目画像を中心とする第1サイズのパッチ画像データから第Kサイズのパッチ画像データのそれぞれについて、上述と同様の処理が実施される。第K識別器において決定された属性は、属性Bであり、その属性Bの最高得票率は40[%]であることとする。 Hereinafter, the same processing as described above is performed for each of the patch image data of the first size to the patch image data of the K size centering on the first target image of interest. The attribute determined by the K-th classifier is attribute B, and the maximum voter turnout of the attribute B is 40 [%].
本実施形態においては、第1識別器から第K識別器のそれぞれにおいて決定された属性のうち最高得票率は、80[%]であり、最高得票率80[%]を獲得した属性は、属性Aであることとする。 In the present embodiment, the highest voter turnout among the attributes determined in each of the first classifier to the Kth classifier is 80 [%], and the attribute that has obtained the highest voter turnout 80 [%] is an attribute. It shall be A.
属性判定部14は、第1識別器から第K識別器のそれぞれにおいて決定された属性のうち得票率が最も高い属性を、第1対象注目画素の属性あると判定する(ステップSB5)。 The attribute determination unit 14 determines that the attribute with the highest voter turnout among the attributes determined in each of the first classifier to the Kth classifier is the attribute of the first target pixel of interest (step SB5).
出力制御部30は、第1対象注目画素の識別結果である属性を出力する(ステップSB6)。すなわち、出力制御部30は、第1対象注目画素の属性が属性Aであることを出力する。 The output control unit 30 outputs an attribute that is the identification result of the first target pixel of interest (step SB6). That is, the output control unit 30 outputs that the attribute of the first target pixel of interest is the attribute A.
上述と同様の処理が、第1対象注目画素から第Z学習注目画素のそれぞれについて実施される。 The same processing as described above is performed for each of the first target pixel of interest to the Z-learning attention pixel.
上述の第1識別器を生成する処理と同様の処理が、第2対象注目画素を中心とする第1サイズから第Kサイズの対象画像データ、第3対象注目画素を中心とする第1サイズから第Kサイズの対象画像データ、…、第Z対象注目画素を中心とする第1サイズから第Kサイズの対象画像データのそれぞれについて実施される。以上により、第1対象注目画素から第Z対象注目画素のそれぞれの属性が判定され、出力される。 The same process as the process for generating the first classifier described above is performed from the first size to K size target image data centered on the second target pixel of interest and the first size centered on the third target pixel of interest. This is performed for each of the K-size target image data, ..., And the Z-target attention pixel-centered first-size to K-size target image data. As described above, each attribute of the first target pixel of interest to the Zth target pixel of interest is determined and output.
属性判定部14は、第1対象注目画素から第Z対象注目画素のそれぞれの属性の判定結果に基づいて、対象画素の属性を判定する。出力制御部30は、属性判定部14において判定された対象画素の識別結果である属性を出力する(ステップSB7)。 The attribute determination unit 14 determines the attribute of the target pixel based on the determination result of each attribute of the first target pixel of interest to the Zth target pixel of interest. The output control unit 30 outputs the attribute which is the identification result of the target pixel determined by the attribute determination unit 14 (step SB7).
[作用及び効果]
以上説明したように、本実施形態によれば、特徴量が既知である学習注目画素をそれぞれ含み異なるサイズの複数のライブラリ画像データのデータベースが予め構築される。そのため、属性判定装置100は、対象物の距離情報が無くても、パッチ画像データと複数のライブラリ画像データとのそれぞれを照合して、対象注目画素の属性を精度良く判定することができる。
[Action and effect]
As described above, according to the present embodiment, a database of a plurality of library image data having different sizes including learning attention pixels having known feature amounts is constructed in advance. Therefore, the
また、本実施形態によれば、パッチ画像データ生成部12は、パッチ画像データのサイズがライブラリ画像データの複数のサイズのそれぞれと同一となるように、複数のパッチ画像データを生成し、属性判定部14は、同一サイズのパッチ画像データとライブラリ画像データとを照合する。これにより、パッチ画像データとライブラリ画像データとの照合は精度良く実施され、対象注目画素の属性は精度良く判定される。 Further, according to the present embodiment, the patch image data generation unit 12 generates a plurality of patch image data so that the size of the patch image data is the same as each of the plurality of sizes of the library image data, and determines the attributes. Part 14 collates the patch image data of the same size with the library image data. As a result, the patch image data and the library image data are collated with high accuracy, and the attributes of the target pixel of interest are determined with high accuracy.
また、本実施形態によれば、属性データ記憶部23は、同一サイズの複数のライブラリ画像データを保持する識別器を複数保有する。複数の識別器は、異なるサイズのライブラリ画像データをそれぞれ保持する。これにより、属性判定部14は、複数の識別器のそれぞれにおいてパッチ画像データとライブラリ画像データとを照合して、複数の照合データに基づいて対象注目画素の属性を精度良く判定することができる。
Further, according to the present embodiment, the attribute
また、本実施形態によれば、識別器は、特徴量が異なる学習注目画素をそれぞれ含み同一サイズの複数のライブラリ画像データを保持する複数の弱識別器を有する。弱識別器は、決定木を含む。これにより、属性判定部は、複数の識別器のそれぞれにおいて決定された属性のうち得票率が最も高い属性を対象注目画素の属性あると判定することができる。 Further, according to the present embodiment, the classifier has a plurality of weak classifiers including learning attention pixels having different feature amounts and holding a plurality of library image data of the same size. Weak classifiers include decision trees. As a result, the attribute determination unit can determine that the attribute with the highest voter turnout among the attributes determined by each of the plurality of classifiers is the attribute of the target pixel of interest.
また、本実施形態によれば、カメラ8の撮像時の状況を示す撮像状況データを取得する撮像状況データ取得部22が設けられる。属性判定部14は、撮像状況データに基づいて複数の識別器から特定の識別器を選択する。これにより、使用する識別器の数が低減され、パッチ画像データとライブラリ画像データとの照合は、低負荷で実施される。
Further, according to the present embodiment, an imaging status data acquisition unit 22 for acquiring imaging status data indicating the status of the
1…演算処理装置、2…記憶装置、3…ドライブ装置、4…コンピュータプログラム、5…記録媒体、6…入力装置、7…出力装置、8…カメラ、9…センサ、10…データ解析部、11…データ取得部、12…パッチ画像データ生成部、13…特徴量抽出部、14…属性判定部、20…データ記憶部、21…対象画像データ記憶部、22…撮像状況データ記憶部、23…属性データ記憶部、30…出力制御部、41…属性判定ラベル、42…属性クラス、50…支持装置、100…属性判定装置。 1 ... Arithmetic processing device, 2 ... Storage device, 3 ... Drive device, 4 ... Computer program, 5 ... Recording medium, 6 ... Input device, 7 ... Output device, 8 ... Camera, 9 ... Sensor, 10 ... Data analysis unit, 11 ... Data acquisition unit, 12 ... Patch image data generation unit, 13 ... Feature amount extraction unit, 14 ... Attribute determination unit, 20 ... Data storage unit, 21 ... Target image data storage unit, 22 ... Imaging status data storage unit, 23 ... Attribute data storage unit, 30 ... Output control unit, 41 ... Attribute determination label, 42 ... Attribute class, 50 ... Support device, 100 ... Attribute determination device.
Claims (6)
対象注目画素をそれぞれ含み異なるサイズの複数のパッチ画像を示すパッチ画像データを前記対象画像データから生成するパッチ画像データ生成部と、
前記パッチ画像データの前記対象注目画素の特徴量を抽出する特徴量抽出部と、
学習注目画素をそれぞれ含み異なるサイズの複数のライブラリ画像データのそれぞれから算出された特徴量に基づいて予め生成された複数の識別器を記憶する属性データ記憶部と、
前記パッチ画像データから算出された特徴量と、複数の前記識別器とを用いて、前記対象注目画素の属性を判定する属性判定部と、を備え、
複数のパッチ画像のそれぞれは、前記対象画像から切り取られた前記対象画像の部分画像であり、
前記対象注目画素が複数の前記パッチ画像のそれぞれの中心に配置されるように、異なるサイズのパッチ画像データが複数生成される、
属性判定装置。 A target image data acquisition unit that acquires target image data indicating a target image including an object,
A patch image data generation unit that generates patch image data from the target image data indicating a plurality of patch images of different sizes including the target pixel of interest, and a patch image data generation unit.
A feature amount extraction unit that extracts the feature amount of the target pixel of interest of the patch image data, and a feature amount extraction unit.
An attribute data storage unit that stores a plurality of classifiers generated in advance based on feature quantities calculated from each of a plurality of library image data having different sizes including learning attention pixels.
A feature amount calculated from the patch image data and an attribute determination unit for determining the attributes of the target pixel of interest using the plurality of classifiers are provided .
Each of the plurality of patch images is a partial image of the target image cut out from the target image.
A plurality of patch image data of different sizes are generated so that the target pixel of interest is arranged at the center of each of the plurality of patch images.
Attribute judgment device.
請求項1に記載の属性判定装置。 The patch image data generation unit generates a plurality of the patch image data so that the size of the patch image data is the same as each of the plurality of sizes of the library image data.
The attribute determination device according to claim 1.
前記属性判定部は、前記撮像状況データに基づいて複数の前記識別器から特定の識別器を選択し、選択した前記識別器に基づいて前記対象注目画素の属性を判定する、
請求項2に記載の属性判定装置。 It is provided with an imaging status data acquisition unit that acquires imaging status data indicating the status at the time of acquiring image data of the object.
The attribute determination unit selects a specific classifier from the plurality of classifiers based on the imaging status data, and determines the attribute of the target pixel of interest based on the selected classifier.
The attribute determination device according to claim 2.
対象注目画素をそれぞれ含み異なるサイズの複数のパッチ画像を示すパッチ画像データを前記対象画像データから生成することと、
前記パッチ画像データの前記対象注目画素の特徴量を抽出することと、
前記パッチ画像データから算出された特徴量と、学習注目画素をそれぞれ含み異なるサイズの複数のライブラリ画像データのそれぞれから算出された特徴量に基づいて予め生成された複数の識別器とを用いて、前記対象注目画素の属性を判定することと、を含み、
複数のパッチ画像のそれぞれは、前記対象画像から切り取られた前記対象画像の部分画像であり、
前記対象注目画素が複数の前記パッチ画像のそれぞれの中心に配置されるように、異なるサイズのパッチ画像データが複数生成される、
属性判定方法。 Acquiring target image data indicating a target image including an object, and
Generating patch image data indicating a plurality of patch images of different sizes including the target pixel of interest from the target image data, and
Extracting the feature amount of the target pixel of interest in the patch image data,
Using the feature amount calculated from the patch image data and a plurality of classifiers generated in advance based on the feature amount calculated from each of the plurality of library image data of different sizes including the learning attention pixel, respectively. and determining an attribute of the object pixel of interest, only including,
Each of the plurality of patch images is a partial image of the target image cut out from the target image.
A plurality of patch image data of different sizes are generated so that the target pixel of interest is arranged at the center of each of the plurality of patch images.
Attribute judgment method.
対象物を含む対象画像を示す対象画像データを取得することと、
対象注目画素をそれぞれ含み異なるサイズの複数のパッチ画像を示すパッチ画像データを前記対象画像データから生成することと、
前記パッチ画像データの前記対象注目画素の特徴量を抽出することと、
前記パッチ画像データから算出された特徴量と、学習注目画素をそれぞれ含み異なるサイズの複数のライブラリ画像データのそれぞれから算出された特徴量に基づいて予め生成された複数の識別器とを用いて、前記対象注目画素の属性を判定することと、を実行させ、
複数のパッチ画像のそれぞれは、前記対象画像から切り取られた前記対象画像の部分画像であり、
前記対象注目画素が複数の前記パッチ画像のそれぞれの中心に配置されるように、異なるサイズのパッチ画像データが複数生成される、
コンピュータプログラム。 On the computer
Acquiring target image data indicating a target image including an object, and
Generating patch image data indicating a plurality of patch images of different sizes including the target pixel of interest from the target image data, and
Extracting the feature amount of the target pixel of interest in the patch image data,
Using the feature amount calculated from the patch image data and a plurality of classifiers generated in advance based on the feature amount calculated from each of the plurality of library image data of different sizes including the learning attention pixel, respectively. and determining an attribute of the object pixel of interest, is the execution,
Each of the plurality of patch images is a partial image of the target image cut out from the target image.
A plurality of patch image data of different sizes are generated so that the target pixel of interest is arranged at the center of each of the plurality of patch images.
Computer program.
対象物を含む対象画像を示す対象画像データを取得することと、
対象注目画素をそれぞれ含み異なるサイズの複数のパッチ画像を示すパッチ画像データを前記対象画像データから生成することと、
前記パッチ画像データの前記対象注目画素の特徴量を抽出することと、
前記パッチ画像データから算出された特徴量と、学習注目画素をそれぞれ含み異なるサイズの複数のライブラリ画像データのそれぞれから算出された特徴量に基づいて予め生成された複数の識別器とを用いて、前記対象注目画素の属性を判定することと、を実行させるコンピュータプログラムが記録され、
複数のパッチ画像のそれぞれは、前記対象画像から切り取られた前記対象画像の部分画像であり、
前記対象注目画素が複数の前記パッチ画像のそれぞれの中心に配置されるように、異なるサイズのパッチ画像データが複数生成される、
記録媒体。 On the computer
Acquiring target image data indicating a target image including an object, and
Generating patch image data indicating a plurality of patch images of different sizes including the target pixel of interest from the target image data, and
Extracting the feature amount of the target pixel of interest in the patch image data,
Using the feature amount calculated from the patch image data and a plurality of classifiers generated in advance based on the feature amount calculated from each of a plurality of library image data having different sizes including learning attention pixels. A computer program that determines the attributes of the target pixel of interest and executes it is recorded .
Each of the plurality of patch images is a partial image of the target image cut out from the target image.
A plurality of patch image data of different sizes are generated so that the target pixel of interest is arranged at the center of each of the plurality of patch images.
recoding media.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016205379A JP6884546B2 (en) | 2016-10-19 | 2016-10-19 | Attribute judgment device, attribute judgment method, computer program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016205379A JP6884546B2 (en) | 2016-10-19 | 2016-10-19 | Attribute judgment device, attribute judgment method, computer program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018067149A JP2018067149A (en) | 2018-04-26 |
JP6884546B2 true JP6884546B2 (en) | 2021-06-09 |
Family
ID=62086097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016205379A Active JP6884546B2 (en) | 2016-10-19 | 2016-10-19 | Attribute judgment device, attribute judgment method, computer program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6884546B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019225595A1 (en) * | 2018-05-23 | 2019-11-28 | 日本電気株式会社 | Dictionary learning device, information processing device, dictionary learning method, and program storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032766A (en) * | 2000-07-18 | 2002-01-31 | Matsushita Electric Ind Co Ltd | Device and method for recognizing image |
JP2007240832A (en) * | 2006-03-08 | 2007-09-20 | Citizen Holdings Co Ltd | Automatic focusing unit |
JP2010262576A (en) * | 2009-05-11 | 2010-11-18 | Toyota Central R&D Labs Inc | Subject detecting apparatus and program |
US9818025B2 (en) * | 2012-06-14 | 2017-11-14 | Toyota Jidosha Kabushiki Kaisha | Discrimination container generation device and pattern detection device |
-
2016
- 2016-10-19 JP JP2016205379A patent/JP6884546B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018067149A (en) | 2018-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Automatic grape bunch detection in vineyards with an SVM classifier | |
CN108549870B (en) | Method and device for identifying article display | |
JP6397379B2 (en) | CHANGE AREA DETECTION DEVICE, METHOD, AND PROGRAM | |
CN109154978A (en) | System and method for detecting plant disease | |
AU2021208647A1 (en) | Systems for multiclass object detection and alerting and methods therefor | |
US8818112B2 (en) | Methods and apparatus to perform image classification based on pseudorandom features | |
US9633284B2 (en) | Image processing apparatus and image processing method of identifying object in image | |
JP2015207280A (en) | target identification method and target identification device | |
Wilber et al. | Animal recognition in the mojave desert: Vision tools for field biologists | |
JP5936561B2 (en) | Object classification based on appearance and context in images | |
Rabab et al. | A template-free machine vision-based crop row detection algorithm | |
He et al. | Distinguishing individual red pandas from their faces | |
Buehler et al. | An automated program to find animals and crop photographs for individual recognition | |
CN108875500B (en) | Pedestrian re-identification method, device and system and storage medium | |
JP2009163682A (en) | Image discrimination device and program | |
JP4721829B2 (en) | Image retrieval method and apparatus | |
JP6958719B2 (en) | Image analyzer, image analysis method and image analysis program | |
JP6884546B2 (en) | Attribute judgment device, attribute judgment method, computer program, and recording medium | |
CN108875501B (en) | Human body attribute identification method, device, system and storage medium | |
JP6132996B1 (en) | Image processing apparatus, image processing method, and image processing program | |
Perko et al. | Airborne based high performance crowd monitoring for security applications | |
JP6326622B2 (en) | Human detection device | |
KR20150114088A (en) | Device, method and computer readable recording medium for detecting object from an input image | |
Perko et al. | Counting people from above: Airborne video based crowd analysis | |
TWI517055B (en) | Image foreground object screening method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6884546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |