JP6981553B2 - Identification system, model provision method and model provision program - Google Patents
Identification system, model provision method and model provision program Download PDFInfo
- Publication number
- JP6981553B2 JP6981553B2 JP2020540901A JP2020540901A JP6981553B2 JP 6981553 B2 JP6981553 B2 JP 6981553B2 JP 2020540901 A JP2020540901 A JP 2020540901A JP 2020540901 A JP2020540901 A JP 2020540901A JP 6981553 B2 JP6981553 B2 JP 6981553B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- identification
- unit
- identification system
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 115
- 230000005540 biological transmission Effects 0.000 claims description 76
- 230000008569 process Effects 0.000 claims description 66
- 230000010354 integration Effects 0.000 claims description 60
- 238000012937 correction Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 21
- 239000013598 vector Substances 0.000 description 19
- 238000013480 data collection Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 15
- 238000013500 data storage Methods 0.000 description 12
- 238000009434 installation Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Description
本発明は、データをモデルに適用することによって、そのデータが表わす物体を識別する識別システム、並びに、その識別システムが他の識別システムにモデルを提供するモデル提供方法およびモデル提供プログラムに関する。 The present invention relates to an identification system that identifies an object represented by the data by applying the data to a model, and a model providing method and a model providing program that the identification system provides a model to another identification system.
一般的な識別システムの例を以下に説明する。一般的な識別システムは、その識別システムが備えているカメラが撮影によって得た画像と、その画像に写っている物体を表したラベルとの組を教師データとして、機械学習によってモデルを予め学習する。そして、その一般的な識別システムは、カメラが撮影によって新たに得た画像をそのモデルに適用することによって、その画像に写っている物体を識別する。 An example of a general identification system will be described below. In a general identification system, a model is learned in advance by machine learning using a set of an image obtained by a camera equipped with the identification system and a label representing an object in the image as teacher data. .. Then, the general identification system identifies an object in the image by applying the image newly obtained by the camera to the model.
このような一般的な識別システムは、不審な車両や不審な人物を検出し、犯罪等を未然に防ぐ目的で用いられたり、白杖または車椅子の使用者を検出し、白杖または車椅子の使用者を誘導する等の支援の目的で用いられたりする。 Such a general identification system is used for the purpose of detecting a suspicious vehicle or a suspicious person and preventing crimes, or detecting a user of a white cane or a wheelchair, and using a white cane or a wheelchair. It is used for the purpose of support such as guiding people.
ここでは、画像に写っている物体を識別する識別システムを例にして説明したが、一般的な識別システムとして、音声データが表わす物体を識別する識別システムも考えられる。以下、画像に写っている物体を識別する識別システムを例にして説明する。 Here, an identification system for identifying an object in an image has been described as an example, but as a general identification system, an identification system for identifying an object represented by voice data can also be considered. Hereinafter, an identification system for identifying an object in an image will be described as an example.
なお、特許文献1には、撮像環境の違いによる追加学習の長期化を回避する画像認識方法が記載されている。特許文献1に記載の画像認識方法は、複数のカメラ装置を含むカメラシステムにおける画像認識方法である。そして、特許文献1に記載の画像認識方法では、第1カメラ装置から、第1画像および第1撮像環境情報を取得する。そして、各カメラ装置が過去に画像を撮像した際の各撮像環境を示す撮像環境情報と、その各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを管理するパラメータテーブルを用いて、第1撮像環境情報に示される第1撮像環境と同一または類似の撮像環境に対応する第1検出器関数を示す第1認識制御パラメータを選択する。そして、第1認識制御パラメータで示された第1検出器関数を用いて、第1カメラ装置から取得した第1画像を認識する。
In addition,
また、特許文献2には、画像監視装置が記載されている。特許文献2に記載の画像監視装置は、検出された顔特徴点を用いて顔領域の正規化を行うとともに、人物の辞書との照合を行う。 Further, Patent Document 2 describes an image monitoring device. The image monitoring device described in Patent Document 2 normalizes the face region using the detected facial feature points and collates it with a person's dictionary.
前述の一般的な識別システムが複数台設けられ、各識別システムのカメラが各地に設置されることが考えられる。 It is conceivable that a plurality of the above-mentioned general identification systems will be installed and cameras of each identification system will be installed in various places.
ここで、1台のカメラが撮影によって得た画像における物体の写り方に、偏りが生じる場合がある。例えば、ある1台のカメラは、そのカメラから見て右側から左側への方向に進行する自動車を撮影する機会が多いが、その逆方向に進行する自動車を撮影する機会が少ないとする。この場合、右側から左側への方向に進行する自動車が写った画像は多く得られるが、その逆方向に進行する自動車が写った画像は少ししか得られない。すると、教師データには、右側から左側への方向に進行する自動車が写った画像が多く含まれ、その逆方向に進行する自動車が写った画像は少ししか含まれない。その結果、教師データを用いて機械学習によって得たモデルに、右側から左側への方向に進行する自動車が写った画像を適用した場合には、識別システムは高い精度で自動車を識別するが、逆方向に進行する自動車が写った画像をそのモデルに適用した場合の自動車の識別精度は低くなる。 Here, there may be a bias in the way an object appears in an image obtained by shooting with one camera. For example, suppose that one camera has many opportunities to shoot a car traveling from the right side to the left side when viewed from the camera, but has few opportunities to shoot a car traveling in the opposite direction. In this case, many images of a car traveling from the right side to the left side can be obtained, but only a few images of a car traveling in the opposite direction can be obtained. Then, the teacher data includes many images of a car traveling from the right side to the left side, and only a few images of a car traveling in the opposite direction. As a result, when an image of a car traveling from right to left is applied to a model obtained by machine learning using teacher data, the identification system identifies the car with high accuracy, but vice versa. When an image of a car traveling in a direction is applied to the model, the identification accuracy of the car is low.
各地に配置されるそれぞれの識別システムにおいて、データが表わす物体を識別するためのモデルの識別精度が向上することが好ましい。 It is preferable that the identification accuracy of the model for identifying the object represented by the data is improved in each identification system arranged in each place.
そこで、本発明は、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システムのモデルの識別精度向上に寄与することができる識別システム、モデル提供方法およびモデル提供プログラムを提供することを目的とする。 Therefore, the present invention is an identification system that can relearn its own model so as to improve the identification accuracy of its own model and can contribute to the improvement of the identification accuracy of the models of other identification systems. The purpose is to provide a model provision method and a model provision program.
本発明による識別システムは、データが表わす物体を識別するためのモデルを、教師データを用いて学習する学習手段と、学習手段によって学習されたモデルを記憶する第1のモデル記憶手段と、学習手段によって学習されたモデルを用いて、データが表わす物体を識別する第1の識別手段と、予め定められた複数の第1の識別システムで学習された個々のモデルをそれぞれ記憶する第2のモデル記憶手段と、第1の識別システムから当該第1の識別システムで学習されたモデルを受信した場合に、第2のモデル記憶手段に記憶されているその第1の識別システムで学習されたモデルを、その第1の識別システムから受信したモデルに更新するモデル更新手段と、所定の場合に、第2のモデル記憶手段に記憶されている個々のモデル毎に、第1の識別手段が識別対象としたデータが表わす物体を識別する第2の識別手段とを備え、学習手段が、第2の識別手段が導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第1のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、学習手段によって学習されたモデルを、予め定められた1つまたは複数の第2の識別システムに送信するモデル送信手段を備えることを特徴とする。 The identification system according to the present invention has a learning means for learning a model for identifying an object represented by data by using teacher data, a first model storage means for storing a model learned by the learning means, and a learning means. A first discriminating means for identifying the object represented by the data and a second model storage for storing individual models trained by a plurality of predetermined first discriminating systems using the model trained by. When the means and the model learned by the first identification system are received from the first identification system, the model learned by the first identification system stored in the second model storage means is displayed. The model update means for updating to the model received from the first identification system and, in a predetermined case, the first identification means for each individual model stored in the second model storage means. A second discriminating means for identifying the object represented by the data is provided, and the learning means uses the teacher data including the label for the data determined based on the discriminating result derived by the second discriminating means and the data. The model is retrained, the model stored in the first model storage means is updated to the retrained model, and the model learned by the learning means is replaced with one or more predetermined second identification systems. It is characterized by providing a model transmission means for transmitting to.
また、本発明によるモデル提供方法は、データが表わす物体を識別するためのモデルを、教師データを用いて学習し、モデルを第1のモデル記憶手段に記憶させ、第1のモデル記憶手段に記憶されているモデルを用いて、データが表わす物体を識別する第1の識別処理を実行し、予め定められた複数の第1の識別システムで学習された個々のモデルをそれぞれ第2のモデル記憶手段に記憶させ、第1の識別システムから当該第1の識別システムで学習されたモデルを受信した場合に、第2のモデル記憶手段に記憶されているその第1の識別システムで学習されたモデルを、その第1の識別システムから受信したモデルに更新し、所定の場合に、第2のモデル記憶手段に記憶されている個々のモデル毎に、第1の識別処理で識別対象としたデータが表わす物体を識別する第2の識別処理を実行し、第2の識別処理で導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第1のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、第1のモデル記憶手段に記憶されているモデルを、予め定められた1つまたは複数の第2の識別システムに送信することを特徴とする。 Further, in the model providing method according to the present invention, a model for identifying an object represented by the data is learned by using the teacher data, the model is stored in the first model storage means, and the model is stored in the first model storage means. Using the model, the first identification process for identifying the object represented by the data is executed, and the individual models trained by the plurality of predetermined first identification systems are stored in the second model storage means. When a model learned by the first identification system is received from the first identification system, the model learned by the first identification system stored in the second model storage means is stored in the second model storage means. , Update to the model received from the first identification system, and in a predetermined case, the data to be identified in the first identification process is represented for each individual model stored in the second model storage means. A second identification process for identifying an object is executed, and the model is retrained using the teacher data including the label for the data determined based on the identification result derived in the second identification process and the data, and the second. The model stored in the model storage means is updated to the relearned model, and the model stored in the first model storage means is transmitted to one or a plurality of predetermined second identification systems. It is characterized by doing.
また、本発明によるモデル提供プログラムは、コンピュータに、データが表わす物体を識別するためのモデルを、教師データを用いて学習し、モデルを第1のモデル記憶手段に記憶させる学習処理、第1のモデル記憶手段に記憶されているモデルを用いて、データが表わす物体を識別する第1の識別処理、予め定められた複数の第1の識別システムで学習された個々のモデルをそれぞれ第2のモデル記憶手段に記憶させる処理、第1の識別システムから当該第1の識別システムで学習されたモデルを受信した場合に、第2のモデル記憶手段に記憶されているその第1の識別システムで学習されたモデルを、その第1の識別システムから受信したモデルに更新するモデル更新処理、所定の場合に、第2のモデル記憶手段に記憶されている個々のモデル毎に、第1の識別処理で識別対象としたデータが表わす物体を識別する第2の識別処理、第2の識別処理で導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第1のモデル記憶手段に記憶されているモデルを再学習したモデルに更新する再学習処理、および、第1のモデル記憶手段に記憶されているモデルを、予め定められた1つまたは複数の第2の識別システムに送信するモデル送信処理を実行させることを特徴とする。 Further, the model providing program according to the present invention is a learning process of learning a model for identifying an object represented by data by a computer using teacher data and storing the model in a first model storage means. Using the model stored in the model storage means, the first identification process for identifying the object represented by the data, and the individual models learned by the plurality of predetermined first identification systems are each used as the second model. Processing to be stored in the storage means, when a model learned by the first identification system is received from the first identification system, it is learned by the first identification system stored in the second model storage means. A model update process for updating a model to a model received from the first identification system, and, in a predetermined case, identification by the first identification process for each individual model stored in the second model storage means. The model is retrained using the second identification process for identifying the object represented by the target data, the label for the data determined based on the identification result derived in the second identification process, and the teacher data including the data. Then, the re-learning process for updating the model stored in the first model storage means to the re-learned model, and one or more predetermined models stored in the first model storage means. It is characterized in that the model transmission process to be transmitted to the second identification system of the above is executed.
本発明によれば、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システムのモデルの識別精度向上に寄与することができる。 According to the present invention, it is possible to relearn its own model so as to improve the identification accuracy of its own model, and it is possible to contribute to the improvement of the identification accuracy of the model of another identification system.
以下、本発明の実施形態を図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明の識別システムが複数設けられている状況を示す模式図である。図1では、6個の識別システム100が各所に設けられている場合を例示しているが、各所に設けられる識別システム100の数は、特に限定されない。本実施形態では、複数の識別システム100が同様の構成であるものとして説明する。
FIG. 1 is a schematic diagram showing a situation in which a plurality of identification systems of the present invention are provided. FIG. 1 illustrates a case where six
各識別システム100は、例えば、通信ネットワークを介して、通信可能である。
Each
個々の識別システム100はそれぞれ、データ収集部(後述の図3に示すデータ収集部101)を備える。各識別システム100のデータ収集部(図1において図示略。後述の図3を参照。)は、データを収集する各地に設置される。データ収集部は、データ収集部の設置場所におけるデータを収集する。例えば、データ収集部は、設置場所において画像や音声データを収集する。データ収集部は、カメラやマイクロホンによって実現される。例えば、データ収集部は、監視場所を撮影することによって画像を収集してもよい。また、例えば、設置場所において録音することによって音声データを収集してもよい。
Each of the
個々の識別システム100は、データ収集部とは別にコンピュータを備え、そのコンピュータは、データ(画像や音声データ等)が表わす物体を識別する。
The
また、個々の識別システム100は、データ収集部が収集したデータを教師データとしてモデルを学習する。このモデルは、データが表わす物体を識別するためのモデルである。
Further, the
そして、各識別システム100は、モデルを提供し合い、他の識別システム100から提供されたモデルを利用して、自身のモデルを学習し直す。
Then, each
ここで、1つの識別システム100に着目した場合、着目している識別システム100に対してモデルを送信する他の識別システム100が予め定められている。着目している識別システム100に対してモデルを送信する他の識別システム100を、第1の識別システムと称する。本実施形態では、着目している識別システム100に対して、第1の識別システムが複数定められているものとして説明する。着目している識別システム100は、第1の識別システムからモデルの提供を受けると言うことができる。
Here, when focusing on one
また、着目している識別システム100がモデルを送信するときの送信先となる他の識別システム100が予め定められている。着目している識別システム100がモデルを送信するときの送信先となる他の識別システム100を、第2の識別システムと称する。本実施形態では、着目している識別システム100に対して、第2の識別システムが1つまたは複数定められているものとして説明する。着目している識別システム100は、第2の識別システムにモデルを提供すると言うことができる。
Further, another
第1の識別システムおよび第2の識別システムは、個々の識別システム100毎に予め定められている。例えば、各識別システム100を管理する管理者が、個々の識別システム100毎に、第1の識別システムおよび第2の識別システムを予め定めておけばよい。
The first identification system and the second identification system are predetermined for each
各識別システム100は、同様の構成であるが、第1の識別システムおよび第2の識別システムは、識別システム100毎に個別に定められる。
Each
図2は、第1の識別システムおよび第2の識別システムの例を示す説明図である。ここでは、図2に示す識別システム100aに着目するものとする。また、図2において、矢印は、モデルが送られる方向を表わしている。図2に示す例では、着目している識別システム100aに関して、識別システム100b,100cが第1の識別システムとして定められ、識別システム100b,100c,100dが第2の識別システムとして定められている。識別システム100b,100c,100dに関しても、それぞれ個別に、第1の識別システムおよび第2の識別システムが定められている。
FIG. 2 is an explanatory diagram showing an example of a first identification system and a second identification system. Here, attention will be paid to the
図3は、本発明の実施形態の識別システム100の構成例を示すブロック図である。識別システム100は、データ収集部101と、コンピュータ102とを備える。データ収集部101とコンピュータ102とは、有線または無線で通信可能に接続される。以下の説明では、データ収集部101がカメラである場合を例にして説明し、データ収集部101をカメラ101と記す。カメラ101は、そのカメラ101の設置場所から撮影を行う。なお、カメラ101の設置場所と、コンピュータ102の設置場所とが異なっていてもよい。
FIG. 3 is a block diagram showing a configuration example of the
コンピュータ102は、学習部103と、第1のモデル記憶部104と、データ取得部105と、第1の識別部106と、決定部107と、領域修正GUI(Graphical User Interface)表示制御部108と、領域抽出部109と、第2のモデル記憶部110と、モデル更新部121と、第2の識別部111と、表示制御部112と、属性データ記憶部113と、統合部114と、ディスプレイ装置115と、マウス116と、結果記憶部117と、モデル送信部122とを備える。
The
学習部103は、カメラ101が撮影によって得た画像を教師データとして、機械学習によってモデルを学習する。以下、学習部103が、ディープラーニングによってモデルを学習する場合を例にして説明する。教師データは、例えば、カメラ101が撮影によって得た画像と、その画像に写っている物体を示すラベルとの組の集合である。ラベルは、識別システム100のオペレータが決定すればよい。学習は、そのような組の集合を教師データとして、モデルを学習(生成)する。
The
また、学習部103は、所定の画像と、その画像に対するラベルが特定された場合、その画像とラベルの組を教師データに追加して、ディープラーニングによって、モデルを再学習する。所定の画像とは、後述の決定部107が、第2の識別部111に識別処理を実行させると決定した画像である。なお、本実施形態では、そのように決定された画像において、物体が写っている領域が抽出され、抽出された領域の画像とラベルとの組が教師データに追加される場合を例にして説明する。
Further, when a predetermined image and a label for the image are specified, the
学習部103が学習によって生成したモデルを、以下、内部生成モデルと記す場合がある。また、後述するように、第2のモデル記憶部110は、図3に示す識別システム100に対して予め定められている第1の識別システムで同様に生成されたモデルを記憶する。以下、内部生成モデルと区別するために、第1の識別システムで生成されたモデルを、外部生成モデルと記す場合がある。なお、後述のモデル更新部121が、第1の識別システムからモデルを受信し、そのモデルを、外部生成モデルとして第2のモデル記憶部110に記憶させる。
The model generated by the
内部生成モデルおよび外部生成モデルは、与えられた新たな画像に写っている物体を識別するためのモデルである。以下、内部生成モデルおよび外部生成モデルがいずれも、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景(すなわち、自動車、オートバイおよびバスは写っていない。)」の何れであるかを判定するためのモデルであるものとして説明する。このようなモデルを学習する場合、オペレータは、教師データで画像と対になるラベルとして「自動車」、「オートバイ」、「バス」、「背景」のいずれかを画像毎に定める。また、外部生成モデルが第1の識別システムで生成される場合にも、第1の識別システムのオペレータは、教師データで画像と対になるラベルとして「自動車」、「オートバイ」、「バス」、「背景」のいずれかを画像毎に定める。 The internally generated model and the externally generated model are models for identifying an object in a given new image. Hereinafter, in both the internally generated model and the externally generated model, the objects shown in the image are "car", "motorcycle", "bus", and "background (that is, the car, motorcycle, and bus are not shown)". It will be described as a model for determining which one. When learning such a model, the operator determines one of "automobile", "motorcycle", "bus", and "background" as a label paired with the image in the teacher data for each image. Also, when the externally generated model is generated by the first identification system, the operator of the first identification system can use "car", "motorcycle", "bus", etc. as labels to be paired with the image in the teacher data. One of the "backgrounds" is determined for each image.
本実施形態では、第1の識別部106が、モデルを用いて、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景」の何れであるかを判定する場合を例にして説明するが、モデルを用いて判定される対象は、「自動車」、「オートバイ」、「バス」、「背景」に限られない。オペレータは、識別処理の目的に応じた教師データを用意して、その教師データを用いて学習部103にモデルを学習させればよい。なお、モデルを用いて判定される対象(本例では、「自動車」、「オートバイ」、「バス」および「背景」)は、各識別システム100で共通である。
In the present embodiment, the
学習部103は、ディープラーニングによって生成した内部生成モデルを第1のモデル記憶部104に記憶させる。第1のモデル記憶部104は、内部生成モデルを記憶する記憶装置である。
The
図4は、内部生成モデルおよび外部生成モデルの例を示す模式図である。モデルに適用される画像の画素数がnであるとすると、その画像は、n個の画素の各画素値を要素とするベクトル(X1,X2,・・・,Xn)Tと表すことができる。例えば、X1は、画像における1番目の画素の画素値を表す。X2〜Xnに関しても同様である。また、ここで、Tは、転置を意味する。モデルは、複数の層を有し、層毎に複数の係数を含んでいる。図4に示す例では、1番目の層は、係数a1〜amを含み、2番目の層は、係数b1〜bjを含んでいる。画像を表すベクトルの個々の要素X1〜Xnは、1番目の層の各係数a1〜amと関連付けられる。図4では、この関連付けを線で表している。また、ある層の各係数は、その次の層の各係数と関連付けられる。図4では、この関連付けも線で表している。関連付けられた要素間には重みが定められる。例えば、関連付けられたa1とb1や、関連付けられたa1とb2等にそれぞれ重みが定められる。FIG. 4 is a schematic diagram showing an example of an internally generated model and an externally generated model. Assuming that the number of pixels of the image applied to the model is n, the image can be expressed as a vector (X1, X2, ..., Xn) T having each pixel value of n pixels as an element. .. For example, X1 represents the pixel value of the first pixel in the image. The same applies to X2 to Xn. Further, here, T means transposition. The model has multiple layers and contains multiple coefficients for each layer. In the example shown in FIG. 4, the first layer contains the coefficients a1 to am, and the second layer contains the coefficients b1 to bj. The individual elements X1 to Xn of the vector representing the image are associated with the coefficients a1 to am of the first layer. In FIG. 4, this association is represented by a line. Also, each coefficient of one layer is associated with each coefficient of the next layer. In FIG. 4, this association is also represented by a line. Weights are defined between the associated elements. For example, weights are set for the associated a1 and b1, the associated a1 and b2, and the like, respectively.
学習部103は、教師データを用いてディープラーニングを行うことによって、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値をそれぞれ決定する。これらの値が定めることが、内部生成モデルを生成することに該当する。
The
教師データが異なれば、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値は、変化する。従って、内部生成モデルおよび外部生成モデルは図4に例示する形式のように表すことができるが、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値等は、内部生成モデルと外部生成モデルとで異なる。また、本実施形態では、第2のモデル記憶部110は、複数の第1の識別システムで学習された個々の外部生成モデルをそれぞれ記憶する。個々の外部生成モデルも、それぞれ異なる識別システム100において異なる教師データに基づいて生成されているので、層の数等は、外部生成モデル毎に異なる。
Different teacher data will vary in the number of layers, the number of coefficients contained in each layer, the value of the individual coefficients in each layer, and the value of the weights between the associated elements. Therefore, the internally generated model and the externally generated model can be represented as in the format illustrated in FIG. 4, but the number of layers, the number of coefficients contained in each layer, the value of each coefficient in each layer, and between the associated elements. The values of the weights of are different between the internally generated model and the externally generated model. Further, in the present embodiment, the second model storage unit 110 stores each externally generated model learned by the plurality of first identification systems. Since each externally generated model is also generated based on different teacher data in
データ取得部105は、カメラ101が撮影によって得た新たな画像をカメラ101から取得する。データ取得部105は、カメラ101から画像を受信するためのインタフェースである。
The
第1の識別部106は、データ取得部105が新たな画像をカメラ101から取得したときに、第1のモデル記憶部104に記憶されている内部生成モデルにその画像を適用することによって、その画像が表わす物体を識別する。本例では、第1の識別部106は、内部生成モデルに画像を適用することによって、画像に写っている物体が「自動車」であるのか、「オートバイ」であるのか、「バス」であるのか、あるいは、「背景」しか写っていないのかを判定する。
When the
画像が得られた場合、画像を表すベクトル(X1,X2,・・・,Xn)Tが定まる。第1の識別部106は、そのベクトル(X1,X2,・・・,Xn)Tと、内部生成モデルに含まれる各層の各係数およびモデルに含まれる各重みとを用いた演算により、「自動車」、「オートバイ」、「バス」、「背景」の信頼度を算出する。そして、第1の識別部106は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。例えば、第1の識別部106が、画像を表すベクトルをモデルに適用した結果、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度として、“0.6”、“0.2”、“0.1”、“0.1”が得られたとする。この場合、第1の識別部106は、画像に写っている物体は、最も高い信頼度“0.6”が得られた「自動車」であると識別する。また、定めたラベルが「背景」以外である場合、第1の識別部106は、画像に写っている物体(「自動車」、「オートバイ」または「バス」)を囲む矩形領域を、画像を表すベクトルと内部生成モデルとを用いた演算によって判定する。定めたラベルが「背景」であるということは、画像に物体が写っていないと判定したことを意味しているので、この場合には、第1の識別部106は、画像に写っている物体を囲む矩形領域を判定しない。When an image is obtained, the vector (X1, X2, ..., Xn) T representing the image is determined. The
第1の識別部106は、識別処理の対象とした画像と、識別結果に該当するラベルと、そのラベルに対応する信頼度とを対応付けて、結果記憶部117に記憶させる。例えば、上記の例のように、第1の識別部106が、画像に写っている物体が、最も高い信頼度“0.6”が得られた「自動車」であると判定したとする。この場合、第1の識別部106は、その画像と、ラベル「自動車」と、信頼度“0.6”とを対応付けて、結果記憶部117に記憶させる。結果記憶部117は、識別結果等を記憶する記憶装置である。ただし、結果記憶部117は、後述するように、画像内における矩形領域を示す情報等も追加して記憶する。
The
第2のモデル記憶部110は、内部生成モデル(学習部103が生成したモデル)とは異なるモデルを記憶する記憶装置である。より具体的には、第2のモデル記憶部110は、図3に示す識別システム100に対して予め定められている複数の第1の識別システムで学習された個々のモデル(外部生成モデル)を記憶する。第2のモデル記憶部110に記憶される個々のモデルは、いずれも図4に模式的に示すモデルと同様の形式で表される。
The second model storage unit 110 is a storage device that stores a model different from the internally generated model (model generated by the learning unit 103). More specifically, the second model storage unit 110 stores individual models (externally generated models) trained by a plurality of first identification systems predetermined for the
モデル更新部121は、図3に示す識別システム100に対して予め定められている複数の第1の識別システムからそれぞれモデルを受信し、そのモデルを、外部生成モデルとして第2のモデル記憶部110に記憶させる。
The
個々の第1の識別システムは、図3に示す識別システム100と同様に、後述のモデル送信部122を備えている。そして、個々の第1の識別システムのモデル送信部122は、その第1の識別システムが学習したモデルを、適宜、図3に示す識別システム100に送信する。
Each first identification system includes a model transmission unit 122, which will be described later, similar to the
モデル更新部121は、第1の識別システムが送信したモデルを受信する。その第1の識別システムが、図3に示す識別システム100に対して初めてモデルを送信したとする。その場合、第2のモデル記憶部110は、その第1の識別システムで学習されたモデルを、まだ記憶していない。このとき、モデル更新部121は、受信したモデルを外部生成モデルとして、送信元となる第1の識別システムを示す情報と関連付けて、第2のモデル記憶部110に記憶させる。また、その第1の識別システムが、図3に示す識別システム100に対して以前にモデルを送信したことがあるとする。その場合、第2のモデル記憶部110は、その第1の識別システムで学習されたモデルを既に記憶している。このとき、モデル更新部121は、その第1の識別システムで学習されたモデルとして既に第2のモデル記憶部110に記憶されているモデルを、新たに受信したモデルに更新する。
The
以下の説明では、第2のモデル記憶部110は、図3に示す識別システム100に対して予め定められている複数の第1の識別システムで学習された個々のモデル(外部生成モデル)を全て記憶済みであるものとする。この状態で、モデル更新部121は、第1の識別システムからモデルを受信すると、第2のモデル記憶部110に記憶されているモデルを、受信したモデルに更新する。
In the following description, the second model storage unit 110 includes all the individual models (externally generated models) trained by the plurality of first identification systems predetermined for the
第2の識別部111は、第1の識別部106が識別対象とした各画像のうち、所定の画像を、第2のモデル記憶部110に記憶されている外部生成モデルに適用することによって、その所定の画像に写っている物体を識別する。第2の識別部111は、この処理を、個々の外部生成モデル毎に実行する。第2の識別部111は、所定の画像を外部生成モデルに適用することによって、「自動車」、「オートバイ」、「バス」、「背景」の信頼度をそれぞれ算出する。そして、第2の識別部111は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。
The second identification unit 111 applies a predetermined image among the images identified by the
また、第1の識別部106が識別対象とした各画像のうちの所定の画像とは、第1の識別部106が識別対象とした各画像のうち、決定部107が、第2の識別部111に識別処理を実行させると決定した画像である。
Further, the predetermined image of each image identified by the
決定部107は、第1の識別部106が識別対象とした各画像のうち、第2の識別部111に識別処理を実行させる画像を決定する。以下、決定部107が、第1の識別部106が識別対象とした各画像のうち、第2の識別部111に識別処理を実行させる画像を決定する方法として、3種類の決定方法を例示して説明する。決定部107は、以下に示す3種類の決定方法のうちの1つの決定方法のみを採用してもよい。あるいは、決定部107は、以下に示す3種類の決定方法のうちの複数の決定方法を採用してもよい。この場合、決定部107は、複数の決定方法のうちのいずれかの決定方法で、ある画像に対して第2の識別部111に識別処理を実行させると決定した場合には、その画像に対して第2の識別部111に識別処理を実行させることを確定する。
The
[第1の決定方法]
第1の決定方法は、画像に写っている物体を表わすラベルとして第1の識別部106によって定められたラベルが、誤りであった場合に、決定部107が、その画像に対して第2の識別部111に識別処理を実行させると決定する方法である。すなわち、決定部107が、第1の識別部106が誤識別した画像に対して、第2の識別部111に識別処理を実行させると決定する方法である。第1の識別部106によって定められたラベルが、誤りであるか否かは、例えば、識別システム100のオペレータによって判断されてもよい。以下、この場合を例にして説明する。第1の識別部106が画像に対するラベルを定めた場合、決定部107は、その画像と、その画像に対して定められたラベルと、そのラベルが正しいか否かをオペレータが入力するためのGUI(本例では、2つのボタンとする。)とを表わす画面を、ディスプレイ装置115上に表示する。図5は、第1の決定方法において決定部107がディスプレイ装置115上に表示する画面の例を示す模式図である。[First determination method]
In the first determination method, when the label defined by the
決定部107は、第1の識別部106が画像に対するラベルを定めた場合、図5に例示するように、第1の識別部106が識別対象とした画像301と、第1の識別部106によって定められたラベル302(図5に示す例では「オートバイ」)と、第1ボタン304および第2ボタン305とを表わす画面を、ディスプレイ装置115上に表示する。第1ボタン304は、画像に対するラベルが正しいことを入力するためのボタンであり、第1ボタン304がクリックされたということは、画像に対するラベルが正しい旨の情報がオペレータから入力されたことを意味する。また、第2ボタン305は、画像に対するラベルが誤っていることを入力するためのボタンであり、第2ボタン305がクリックされたといういことは、画像に対するラベルが誤っている旨の情報がオペレータから入力されたことを意味する。図5に示す例では、画像301には自降車が写っているが、第1の識別部106によって定められたラベルとして「オートバイ」が表示されている。従って、オペレータは、マウス116を用いて第2ボタン305をクリックする。なお、図5に示す例では、第1の識別部106によって定められたラベルとして「自動車」が表示されているならば、オペレータは、第1ボタン304をクリックする。
When the
決定部107は、図5に例示する画面において、第2ボタン305がクリックされると、第1の識別部106によって定められたラベルが誤っていると判定し、第1の識別部106が識別対象とした画像301に対して、第2の識別部111に識別処理を実行させると決定する。
When the
なお、第1ボタン304がクリックされた場合には、決定部107は、第1の識別部106が識別対象とした画像301に対して、第2の識別部111に識別処理を実行させないと決定する。
When the
[第2の決定方法]
第2の決定方法は、画像に対して定められたラベルに対応する信頼度が予め定められた閾値以下である場合に、決定部107が、その画像に対して第2の識別部111に識別処理を実行させると決定する方法である。[Second determination method]
In the second determination method, when the reliability corresponding to the label defined for the image is equal to or less than the predetermined threshold value, the
すなわち、第1の識別部106が画像に対して定めたラベルに対応する信頼度が閾値以下である場合、決定部107は、その画像に対して第2の識別部111に識別処理を実行させると決定する。また、第1の識別部106が画像に対して定めたラベルに対応する信頼度が閾値を超えている場合には、決定部107は、その画像に対して第2の識別部111に識別処理を実行させないと決定する。閾値は、例えば、“0.5”であるが、“0.5”以外の値であってもよい。
That is, when the reliability corresponding to the label defined for the image by the
第2の決定方法は、決定部107は、第1の識別部106が導出した信頼度と閾値との比較によって、画像に対して第2の識別部111に識別処理を実行させるか否かを決定する。従って、第2の決定方法では、図5に例示する画面を表示する必要はない。
In the second determination method, the
[第3の決定方法]
第3の決定方法は、第1の識別部106が画像に対して定めたラベルが「背景」であるにも関わらず、その画像に「自動車」、「オートバイ」または「バス」が写っている場合に、決定部107が、その画像に対して第2の識別部111に識別処理を実行させると決定する方法である。換言すれば、第3の決定方法は、第1の識別部106が画像に「自動車」、「オートバイ」および「バス」のいずれも写っていないと判定したにも関わらず、その画像に「自動車」、「オートバイ」または「バス」が写っている場合に、決定部107が、その画像に対して第2の識別部111に識別処理を実行させると決定する方法である。特定されたラベルが「背景」である場合に、画像に「自動車」等が写っているか否かの判断は、識別システム100のオペレータが行う。[Third determination method]
In the third determination method, although the label defined for the image by the
第3の方法では、画像に対するラベルとして「背景」が定められた場合、決定部107は、その画像と、そのラベル「背景」と、前述の第1ボタン304および第2ボタン305とを表わす画面を、ディスプレイ装置115上に表示する。図6は、第3の決定方法において決定部107がディスプレイ装置115上に表示する画面の例を示す模式図である。
In the third method, when a "background" is defined as a label for an image, the
決定部107は、第1の識別部106が画像に対してラベルとして「背景」を定めた場合、図6に例示するように、第1の識別部106が識別対象とした画像301と、ラベル302と、第1ボタン304および第2ボタン305とを表わす画面を、ディスプレイ装置115上に表示する。第3の決定方法で表示される画面では、ラベル302として「背景」が表示される。第1ボタン304および第2ボタン305は、図5に示す第1ボタン304および第2ボタン305と同様であり、説明を省略する。
When the
図6に示す例では、第1の識別部106が画像301に対して定めたラベルが「背景(自動車、オートバイおよびバスは写っていない。)」であるにも関わらず、画像301には、自動車が写っている。従って、オペレータは、マウス116を用いて第2ボタン305をクリックする。なお、画像301に、自動車、オートバイおよびバスのいずれもが写っていないならば、オペレータは、第1ボタン304をクリックする。
In the example shown in FIG. 6, although the label defined for the
決定部107は、図6に例示する画面において、第2ボタン305がクリックされると、ラベル「背景」が特定されているが、画像には「自動車」、「オートバイ」および「バス」のいずれかが写っていると判定し、その画像に対して第2の識別部111に識別処理を実行させると決定する。
In the screen illustrated in FIG. 6, when the
なお、図6に例示する画面において第1ボタン304がクリックされた場合には、決定部107は、画像には「自動車」、「オートバイ」および「バス」のいずれも写っておらず、ラベル「背景」は正しいと判断し、その画像に対して第2の識別部111に識別処理を実行させないと決定する。
When the
次に、領域修正GUI表示制御部108について説明する。前述のように、第1の識別部106は、画像に対して定めたラベルが「背景」以外である場合、画像に写っている物体(「自動車」、「オートバイ」または「バス」)を囲む矩形領域を判定する。領域修正GUI表示制御部108は、決定部107によって第2の識別部111に識別処理を実行させると決定した画像を、その矩形領域とともにディスプレイ装置115上に表示し、さらに、その矩形領域を修正するためのGUIを示す画面をディスプレイ装置115上に表示する。ただし、前述の第3の方法で決定された画像に対しては、「背景」というラベルが定められているので、矩形領域は判定されていない。この場合、領域修正GUI表示制御部108は、矩形領域を表示しない。
Next, the area correction GUI
図7は、領域修正GUI表示制御部108がディスプレイ装置115に表示する画面の一例を示す模式図である。図7に示す矩形領域309は、第1の識別部106が、画像301内で「自動車」を囲む領域として定めた矩形領域である。また、領域修正GUI表示制御部108は、画面内に確定ボタン307および修正ボタン308を含める。確定ボタン307は、表示された矩形領域を確定することをオペレータが指示するためのボタンである。修正ボタン308は、矩形領域309の修正を受け付けることをオペレータが指示するためのボタンである。
FIG. 7 is a schematic diagram showing an example of a screen displayed on the
図7に示す例では、矩形領域309は、画像301内で「自動車」を囲む矩形領域として適切である。オペレータは、このように判断した場合、確定ボタン307をクリックする。確定ボタン307がクリックされると、領域抽出部109は、その時点で、画像301内における矩形領域309を確定する。
In the example shown in FIG. 7, the
図8は、領域修正GUI表示制御部108がディスプレイ装置115に表示する画面の他の例を示す模式図である。図8に示す例では、矩形領域309は、画像301内で「自動車」を囲む矩形領域として適切でない。この場合、領域修正GUI表示制御部108は、オペレータの操作に応じて、「自動車」を囲む矩形領域として適切な矩形領域を受け付ける。図8に例示する適切でない矩形領域309が表示された場合には、オペレータは、修正ボタン308をクリックする。修正ボタン308がクリックされた後には、領域修正GUI表示制御部108は、オペレータによるマウス116を用いた操作に応じて、矩形領域309の頂点や辺の位置の修正を受け付ける。オペレータは、頂点や辺の位置を修正することによって、矩形領域309を、図7に例示するような適切な位置や大きさに修正することができる。領域修正GUI表示制御部108、そのような修正を受け付ける。オペレータは、矩形領域309を、画像301内に写っている物体(本例では「自動車」)を囲む適切な位置や大きさに矩形領域309が修正した後、確定ボタン307をクリックする。前述のように、確定ボタン307がクリックされると、領域抽出部109は、その時点で、画像301内における矩形領域309を確定する。本例では、領域抽出部109は、修正後の矩形領域309を確定する。
FIG. 8 is a schematic diagram showing another example of the screen displayed on the
また、既に説明したように、前述の第3の方法で決定された画像に対しては、「背景」というラベルが定められているので、矩形領域は判定されていない。この場合、領域修正GUI表示制御部108は、図7に例示する画面において、矩形領域309を表示しない。この場合、オペレータが修正ボタン308をクリックすると、領域修正GUI表示制御部108は、画像301の任意の場所に任意の大きさで矩形領域309を表示し、オペレータによるマウス116を用いた操作に応じて、矩形領域309の頂点や辺の位置の修正を受け付ける。オペレータは、表示された矩形領域309を、画像301内に写っている物体を囲む適切な位置や大きさに修正した後、確定ボタン307をクリックすればよい。確定ボタン307がクリックされると、領域抽出部109は、その時点で、画像301内における矩形領域309を確定する。
Further, as already described, since the label "background" is defined for the image determined by the above-mentioned third method, the rectangular area is not determined. In this case, the area correction GUI
上記のように、領域抽出部109は、確定ボタン307がクリックされると、その時点で、画像301内における矩形領域309を確定する。そして、領域抽出部109は、その画像から、確定した矩形領域を抽出する。この矩形領域は、画像に写っている物体を囲む領域である。領域抽出部109は、結果記憶部117に記憶されている画像、第1の識別部106による識別結果となるラベル、および、そのラベルに対応する信頼度に対応させて、確定した矩形領域を表わす情報も結果記憶部117に記憶させる。矩形領域を表わす情報は、例えば、矩形領域の各頂点の座標である。
As described above, when the
第2の識別部111は、領域抽出部109によって抽出された矩形領域の画像を対象にして、その矩形領域の画像に写っている物体を識別する。第2の識別部111は、この処理を、第2のモデル記憶部110に記憶されている個々の外部生成モデル毎に実行する。
The second identification unit 111 identifies an object appearing in the image of the rectangular region with respect to the image of the rectangular region extracted by the
第2の識別部111は、抽出された矩形領域の画像を外部生成モデルに適用することによって、「自動車」、「オートバイ」、「バス」、「背景」の信頼度をそれぞれ算出する。そして、第2の識別部111は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。また、第2の識別部111は、ラベル毎に求めた信頼度、並びに、画像に写っている物体を示すラベルおよびそのラベルに対応する信頼度を、既に、結果記憶部117に記憶されているその画像に対応付けて、結果記憶部117に記憶させる。第2の識別部111は、この処理を外部生成モデル毎に実行する。以下、説明を簡単にするために、図3に示す識別システム100に対して定められている第1の識別システムが2つであり、第2のモデル記憶部110に記憶されている外部生成モデルの数が2個であるものとして説明する。そして、その2個の外部生成モデルの一方を符号“A”で表し、他方を符号“B”で表す。
The second identification unit 111 calculates the reliability of the "automobile", "motorcycle", "bus", and "background" by applying the image of the extracted rectangular region to the externally generated model. Then, the second identification unit 111 defines the label having the highest reliability among the "automobile", "motorcycle", "bus", and "background" as a label indicating the object shown in the image. .. Further, the second identification unit 111 has already stored in the
この場合、結果記憶部117には、画像と、第1の識別部106がその画像に対して識別処理を行って定めたラベルと、そのラベルに対応する信頼度と、確定された画像内の矩形領域を表わす情報とが記憶される。さらに、それらの情報に対応付けて、第2の識別部111が外部生成モデルAに矩形領域の画像を適用して得たラベル毎の信頼度、および、最も信頼度が高いラベルとそのラベルに対応する信頼度、並びに、第2の識別部111が外部生成モデルBに矩形領域の画像を適用して得たラベル毎の信頼度、および、最も信頼度が高いラベルとそのラベルに対応する信頼度も、結果記憶部117に記憶される。
In this case, the
結果記憶部117は、上記のような情報のセットが蓄積される
The
ただし、決定部107が第2の識別部111に識別処理を実行させると決定しなかった画像に関しては、画像と、第1の識別部106がその画像に対して識別処理を行って定めたラベルと、そのラベルに対応する信頼度が結果記憶部117に記憶され、画像内の矩形領域を表わす情報等は記憶されない。
However, for an image that the
表示制御部112は、結果記憶部117に記憶された情報から、1組の情報のセットを読み出し、画像と、第1の識別部106が導出したラベルおよびそのラベルに対応する信頼度と、第2の識別部111が外部生成モデル毎に導出したラベルおよびそのラベルに対応する信頼度とを含む画面を、ディスプレイ装置115上に表示する。
The
図9は、表示制御部112が表示する画面の例を示す模式図である。表示制御部112は、第1の識別部106が導出したラベルおよびそのラベルに対応する信頼度501と、第2の識別部111が外部生成モデルAを用いて導出したラベルおよびそのラベルに対応する信頼度502と、第2の識別部111が外部生成モデルBを用いて導出したラベルおよびそのラベルに対応する信頼度503とを、画像301に重畳した画面を、ディスプレイ装置115上に表示する。図9に示す例では、表示制御部112は、確定している矩形領域309も、画像301に重畳させて表示する。本例では、第2のモデル記憶部110に記憶されている外部生成モデルが2個である場合を例示しているが、外部生成モデルの数は3個以上であってもよい。
FIG. 9 is a schematic diagram showing an example of a screen displayed by the
さらに、表示制御部112は、この画面内に、チェックボックス504と、再学習ボタン505と、画面切り替えボタン506,507を表示させる。
Further, the
チェックボックス504は、画面内に表示されている画像301(より具体的には、画像301から抽出される矩形領域309の画像)を教師データに含めるか否かを指定するためのGUIである。チェックボックス504がチェックされている場合、画像301から抽出される矩形領域309の画像を教師データに含めることを意味する。チェックボックス504がチェックされていない場合、画像301を教師データに含めないことを意味する。なお、表示制御部112は、外部生成モデルを用いて導出された信頼度に応じて、予めチェックされた状態でチェックボックス504を表示してもよい。例えば、外部生成モデルを用いて導出されたラベルおよび信頼度の組において、信頼度が閾値(例えば、“0.5”)よりも大きい組が1組以上あれば、表示制御部112は、予めチェックされた状態でチェックボックス504を表示してもよい。オペレータは、チェックボックス504をマウス116でクリックすることによって、チェックボックス504にチェックを入れたり、チェックボックス504からチェックを外したりすることができる。オペレータは、画像301と、外部生成モデル毎に導出されたラベルおよび信頼度を参照することによって、画像301から抽出される矩形領域309の画像を教師データに含めるか否かを判断すればよい。そして、オペレータは、その判断に基づいて、チェックボックス504にチェックを入れるか否かを決定すればよい。
The
画面切り替えボタン506,507は、異なる画像を表示する画面に切り替えるためのボタンである。例えば、画面切り替えボタン506がクリックされた場合、表示制御部112は、時系列順で画像301よりも前の画像を含んでいる、図9に示す画面と同様の画面に切り替える。また、例えば、画面切り替えボタン507がクリックされた場合、表示制御部112は、時系列順で画像301よりも後の画像を含んでいる、図9に示す画像と同様の画面に切り替える。オペレータは、切り替えた各画面において、チェックボックス504にチェックを入れるか否かを決定すればよい。
The
再学習ボタン505は、オペレータが識別システム100に、内部生成モデルの再学習を指示するためのボタンである。再学習ボタン505がクリックされた場合、統合部114は、チェックボックス504がチェックされた画面の画像毎に、ラベルを特定する。以下の説明では、説明を簡単にするために、図9に例示する画面のみで、チェックボックス504がチェックされている場合を例にして説明する。この場合、統合部114は、図9に例示する画像301のラベルを特定する。
The
以下、統合部114が1つの画像のラベルを特定する処理について説明する前に、まず、属性データ記憶部113について説明する。属性データ記憶部113は、属性データ記憶部113を含むコンピュータ102(図3に示すコンピュータ102)に接続されているカメラ101の属性を示すデータ(属性データ)と、第2のモデル記憶部110に記憶されている各外部生成モデルを生成した各識別システム100(すなわち、各第1の識別システム)のカメラ101の属性データとを記憶する記憶装置である。ある外部生成モデルを生成した識別システム100(第1の識別システム)のカメラ101の属性データを、その外部生成モデルに対応する属性データと記す。
Hereinafter, before the process of specifying the label of one image by the integration unit 114 will be described, the attribute
カメラ101の属性として、カメラ101自体の属性や、カメラ101が設置されている環境に依存する属性等が挙げられる。各属性の値は数値で表される。また、各属性の値は、各識別システム100の管理者がカメラ101の設定や設置環境に応じて予め決定すればよい。属性データは、このような属性の値(数値)を要素とするベクトルで表される。
Examples of the attributes of the
カメラ101の属性データは、少なくとも、「カメラ101の画角」、「カメラ101が屋内に設置されているか屋外に設置されているか」、「カメラ101の撮影対象」、「カメラ101の撮影対象の移動方向」という各属性のうちの少なくとも一部の属性の値を含む。また、ベクトルで表される属性データが、どの属性の値を要素としているかは、全ての識別システム100で共通であり、どの属性の値がベクトルの何番目の要素なっているかに関しても、全ての識別システム100で共通である。ベクトルの各要素となる数値は、識別システム100毎に異なっていてよい。
The attribute data of the
「カメラ101の画角」は、数値で表されるので、管理者は、画角を表わす数値をベクトルの要素として定めればよい。
Since the "angle of view of the
「カメラ101が屋内に設置されているか屋外に設置されているか」という属性に関しては、例えば、カメラ101が屋内に設置されている場合には、この属性の値を“0”に定め、カメラ101が屋外に設置されている場合には、この属性の値を“1”に定めればよい。
Regarding the attribute "whether the
また、「カメラ101の撮影対象」という属性に関しては、例えば、カメラ101が車両を撮影するように設置されている場合(例えば、カメラ101が車道に向けて設置されている場合)、この属性の値を“0”に定める。また、カメラ101が歩行者を撮影するように設置されている場合(例えば、カメラ101が歩道に向けて設置されている場合)、この属性の値を“1”に定める。また、カメラ101が車両と歩行者の両方を撮影するように設置されている場合(例えば、カメラ101が車両と歩行者の両方が通る道に向けて設置されている場合)、この属性の値を“0.5”に定める。
Further, regarding the attribute of "shooting target of the
「カメラ101の撮影対象の移動方向」という属性に関しては、カメラ101の主軸方向等に基づいた基準軸を定め、その基準軸と、撮影対象の主たる移動方向とのなす角度を、この属性の値として定めればよい。
Regarding the attribute "moving direction of the shooting target of the
また、上記以外の属性の値を属性データに含めてもよい。例えば、「カメラ101の設置場所の高さ」、「カメラ101の俯角」、「カメラ101の解像度」等の値を属性データに含めてもよい。「カメラ101の設置場所の高さ」、「カメラ101の俯角」、「カメラ101の解像度」はいずれも数値で表されるので、それらの数値をベクトルの要素として定めればよい。
Further, the value of the attribute other than the above may be included in the attribute data. For example, values such as "height of the installation location of the
属性データ記憶部113は、属性データ記憶部113を含むコンピュータ102(図3に示すコンピュータ102)に接続されているカメラ101の属性データ(ベクトル)を記憶する。この属性データを基準属性データと記す。さらに、属性データ記憶部113は、第2のモデル記憶部110に記憶されている各外部生成モデルを生成した各第1の識別システムのカメラ101の属性データを記憶する。本実施形態では、第2のモデル記憶部110は、外部生成モデルAおよび外部生成モデルBを記憶する。従って、属性データ記憶部113は、基準属性データの他に、外部生成モデルAに対応する属性データ(属性データAと記す。)、および、外部生成モデルBに対応する属性データ(属性データBと記す。)も記憶する。属性データAは、外部生成モデルAを生成した第1の識別システムのカメラ101の属性データである。同様に、属性データBは、外部生成モデルBを生成した第1の識別システムのカメラ101の属性データである。
The attribute
各識別システム100を管理する管理者は、図3におけるカメラ101の属性データを基準属性データとして、属性データ記憶部113に記憶させればよい。また、管理者は、図3に示す識別システム100に対して定められた2つの第1の識別システムそれぞれのカメラ101の属性データを、属性データA、属性データBとして、属性データ記憶部113に記憶させればよい。
The administrator who manages each
統合部114は、第2の識別部111が、画像に対して個々の外部生成モデル毎に導出した各ラベルの信頼度(本実施形態では、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度)を、ラベル毎に統合し、その統合結果に基づいてその画像のラベルを特定する。 In the integration unit 114, the reliability of each label derived by the second identification unit 111 for each externally generated model for the image (in the present embodiment, "automobile", "motorcycle", "bus", "bus", " The "background" (reliability of each) is integrated for each label, and the label of the image is specified based on the integrated result.
このとき、統合部114は、基準属性データ(すなわち、統合部114を含む識別システム100のカメラ101の属性データ)と、外部生成モデルAや外部生成モデルBを生成した複数の第1の識別システムのカメラ101の属性データとの類似度を、第1の識別システム毎に算出する。本実施形態では、統合部114は、基準属性データと属性データAとの類似度と、基準属性データと属性データBとの類似度とを、それぞれ算出する。基準属性データと属性データAとの類似度を、外部生成モデルAに対応する類似度と記す。また、基準属性データと属性データBとの類似度を、外部生成モデルBに対応する類似度と記す。
At this time, the integrated unit 114 has the reference attribute data (that is, the attribute data of the
属性データはベクトルで表される。統合部114は、2つの属性データ(ベクトル)の類似度を算出する場合、その2つのベクトルの距離の逆数を、類似度として算出すればよい。 Attribute data is represented by a vector. When the integration unit 114 calculates the similarity between two attribute data (vectors), the reciprocal of the distance between the two vectors may be calculated as the similarity.
統合部114は、個々の外部生成モデル毎に導出した各ラベルの信頼度を、ラベル毎に統合するときに、外部生成モデルに対応する類似度で重み付けして、統合する。統合部114は、信頼度の統合結果が最も高くなったラベルを、画像のラベルとして特定すればよい。 The integration unit 114 weights the reliability of each label derived for each externally generated model with the similarity corresponding to the externally generated model when integrating each label, and integrates the labels. The integration unit 114 may specify the label with the highest reliability integration result as the image label.
外部生成モデル毎に導出した各ラベルの信頼度を、ラベル毎に統合する演算について、具体的に説明する。統合部114が信頼度を統合する演算方法として2つの演算方法を説明する。ここでは、1つのラベルに関して、外部生成モデル毎に導出した信頼度を統合する場合を説明する。統合部114は、他のラベルに関しても、同様の演算を行って、外部生成モデル毎に導出した信頼度を統合すればよい。 The operation of integrating the reliability of each label derived for each externally generated model for each label will be specifically described. Two calculation methods will be described as a calculation method in which the integration unit 114 integrates the reliability. Here, a case where the reliability derived for each externally generated model is integrated for one label will be described. The integration unit 114 may perform the same calculation for other labels to integrate the reliability derived for each externally generated model.
[第1の演算方法]
まず、信頼度を統合する第1の演算方法について説明する。i番目の外部生成モデルを用いて得られた、着目しているラベルの信頼度をLiとする。また、i番目の外部生成モデルに関して算出された類似度(基準属性データと、i番目の外部生成モデルに対応する属性データとの類似度)をWiとする。また、第2のモデル記憶部110に記憶されている外部生成モデルの数をN個とする。この場合、統合部114は、着目しているラベルの信頼度を、以下に示す式(1)の計算によって統合すればよい。[First calculation method]
First, a first calculation method for integrating reliability will be described. Let Li be the reliability of the label of interest obtained by using the i-th external generative model. Further, the degree of similarity calculated for the i-th externally generated model (the degree of similarity between the reference attribute data and the attribute data corresponding to the i-th externally generated model) is defined as Wi. Further, the number of externally generated models stored in the second model storage unit 110 is N. In this case, the integration unit 114 may integrate the reliability of the label of interest by the calculation of the following equation (1).
すなわち、統合部114は、外部生成モデル毎にLiとWiとの積を算出し、その積の平均値を、着目しているラベルの信頼度の統合結果とすればよい。統合部114は、他のラベルに関しても、同様の演算を行う。そして、統合部114は、統合結果が最も高くなったラベルを、画像のラベルとして特定する。 That is, the integration unit 114 may calculate the product of Li and Wi for each externally generated model, and use the average value of the product as the integration result of the reliability of the label of interest. The integration unit 114 performs the same calculation for other labels. Then, the integration unit 114 identifies the label with the highest integration result as the label of the image.
図10は、第1の演算方法の具体例を示す説明図である。2つの外部生成モデルA,Bがあるとする。外部生成モデルAを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“0.1”,“0.7”,“0.1”,“0.1”であるとする。また、外部生成モデルAに関して算出された類似度が“0.9”であるとする。統合部114は、上記の信頼度毎に、類似度“0.9”を乗じた結果を算出する。この結果、「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して、“0.09”,“0.63”,“0.09”,“0.09”という乗算結果(積)が得られる。 FIG. 10 is an explanatory diagram showing a specific example of the first calculation method. Suppose there are two externally generated models A and B. The reliability of "automobile", "motorcycle", "bus" and "background" derived using the externally generated model A is "0.1", "0.7", "0.1", "", respectively. It is assumed to be 0.1 ". Further, it is assumed that the similarity calculated for the externally generated model A is "0.9". The integration unit 114 calculates the result of multiplying each of the above reliabilitys by the similarity degree "0.9". As a result, the multiplication results (product) of "0.09", "0.63", "0.09", and "0.09" for each of "automobile", "motorcycle", "bus", and "background". Is obtained.
また、外部生成モデルBを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“0.1”,“0.6”,“0.2”,“0.1”であるとする。また、外部生成モデルBに関して算出された類似度が“0.8”であるとする。統合部114は、上記の信頼度毎に、類似度“0.8”を乗じた結果を算出する。この結果、「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して、“0.08”,“0.48”,“0.16”,“0.08”という乗算結果(積)が得られる。 In addition, the reliability of "automobile", "motorcycle", "bus" and "background" derived using the externally generated model B is "0.1", "0.6" and "0.2", respectively. , "0.1". Further, it is assumed that the similarity calculated for the externally generated model B is "0.8". The integration unit 114 calculates the result of multiplying each of the above reliabilitys by the similarity degree "0.8". As a result, the multiplication results (product) of "0.08", "0.48", "0.16", and "0.08" for each of "automobile", "motorcycle", "bus", and "background". Is obtained.
統合部114は、「自動車」、「オートバイ」、「バス」および「背景」毎に得られた乗算結果(積)の平均値を計算する。「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して算出された平均値は、”0.085”,”0.555”,”0.125”,”0.085”である。従って、統合部114は、平均値(統合結果)が最も高い「オートバイ」を、画像のラベルとして特定する。 The integration unit 114 calculates the average value of the multiplication results (products) obtained for each of the "automobile", "motorcycle", "bus" and "background". The average values calculated for each of "automobile", "motorcycle", "bus" and "background" are "0.085", "0.555", "0.125" and "0.085". Therefore, the integration unit 114 identifies the "motorcycle" having the highest average value (integration result) as the label of the image.
[第2の演算方法]
次に、信頼度を統合する第2の演算方法について説明する。前述の場合と同様に、i番目の外部生成モデルを用いて得られた、着目しているラベルの信頼度をLiとする。また、i番目の外部生成モデルに関して算出された類似度(基準属性データと、i番目の外部生成モデルに対応する属性データとの類似度)をWiとする。また、個々の外部生成モデルに関して算出された個々の類似度の総和をWtとする。また、第2のモデル記憶部110に記憶されている外部生成モデルの数をN個とする。統合部114は、Wtを以下に示す式(2)の計算によって算出すればよい。[Second calculation method]
Next, a second calculation method for integrating reliability will be described. As in the above case, the reliability of the label of interest obtained by using the i-th externally generated model is Li. Further, the degree of similarity calculated for the i-th externally generated model (the degree of similarity between the reference attribute data and the attribute data corresponding to the i-th externally generated model) is defined as Wi. Further, the sum of the individual similarity calculated for each externally generated model is defined as Wt. Further, the number of externally generated models stored in the second model storage unit 110 is N. The integration unit 114 may calculate Wt by the calculation of the following equation (2).
この場合、統合部114は、着目しているラベルの信頼度を、以下に示す式(3)の計算によって統合すればよい。 In this case, the integration unit 114 may integrate the reliability of the label of interest by the calculation of the following equation (3).
すなわち、統合部114は、外部生成モデル毎に、類似度の総和に対する外部生成モデルに対応する類似度の割合を算出し、その割合の算出結果を重みとして、着目しているラベルの信頼度の重み付け和を算出し、その算出結果を、着目しているラベルの信頼度の統合結果とすればよい。統合部114は、他のラベルに関しても、同様の演算を行う。そして、統合部114は、統合結果が最も高くなったラベルを、画像のラベルとして特定する。 That is, the integration unit 114 calculates the ratio of the similarity corresponding to the externally generated model to the total sum of the similarity for each externally generated model, and uses the calculation result of the ratio as a weight to determine the reliability of the label of interest. The weighted sum may be calculated, and the calculation result may be used as the integration result of the reliability of the label of interest. The integration unit 114 performs the same calculation for other labels. Then, the integration unit 114 identifies the label with the highest integration result as the label of the image.
図11は、第2の演算方法の具体例を示す説明図である。2つの外部生成モデルA,Bがあるとする。外部生成モデルAを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“0.1”,“0.7”,“0.1”,“0.1”であるとする。外部生成モデルBを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“0.1”,“0.6”,“0.2”,“0.1”であるとする。外部生成モデルAに関して算出された類似度が“0.9”であり、外部生成モデルBに関して算出された類似度が“0.8”であるとする。この場合、類似度の総和は、0.9+0.8=1.7である。よって、類似度の総和“1.7”に対する、外部生成モデルAに対応する類似度“0.9”の割合は、“0.9/1.7”である。また、類似度の総和“1.7”に対する、外部生成モデルBに対応する類似度“0.8”の割合は、“0.8/1.7”である。統合部114は、“0.9/1.7”および“0.8/1.7”を重みとして、ラベル毎に、信頼度の重み付け和を算出し、その算出結果を、ラベルの信頼度の統合結果とする。すると、「自動車」、「オートバイ」、「バス」および「背景」それぞれの統合結果は、“0.0999”,“0.6528”,“0.1470”,“0.0999”となる。従って、統合部114は、統合結果が最も高い「オートバイ」を、画像のラベルとして特定する。 FIG. 11 is an explanatory diagram showing a specific example of the second calculation method. Suppose there are two externally generated models A and B. The reliability of "automobile", "motorcycle", "bus" and "background" derived using the externally generated model A is "0.1", "0.7", "0.1", "", respectively. It is assumed to be 0.1 ". The reliability of "automobile", "motorcycle", "bus" and "background" derived using the externally generated model B is "0.1", "0.6", "0.2", "", respectively. It is assumed to be 0.1 ". It is assumed that the similarity calculated for the externally generated model A is "0.9" and the calculated similarity for the externally generated model B is "0.8". In this case, the sum of the similarity is 0.9 + 0.8 = 1.7. Therefore, the ratio of the similarity "0.9" corresponding to the externally generated model A to the total similarity "1.7" is "0.9 / 1.7". The ratio of the similarity "0.8" corresponding to the externally generated model B to the total similarity "1.7" is "0.8 / 1.7". The integration unit 114 calculates the weighted sum of the reliability for each label with "0.9 / 1.7" and "0.8 / 1.7" as weights, and the calculation result is the reliability of the label. The result of the integration. Then, the integration results of "automobile", "motorcycle", "bus" and "background" are "0.0999", "0.6528", "0.1470" and "0.0999" respectively. Therefore, the integration unit 114 identifies the "motorcycle" with the highest integration result as the label of the image.
第1の演算方法および第2の演算方法は、いずれも、個々の外部生成モデル毎に導出したラベルの信頼度を、外部生成モデルに対応する類似度で重み付けして統合する演算であると言える。 It can be said that both the first calculation method and the second calculation method are operations in which the reliability of the label derived for each externally generated model is weighted and integrated by the similarity corresponding to the externally generated model. ..
統合部114が、各ラベルの信頼度の統合結果に基づいて、画像のラベルを特定すると、学習部103は、その画像において確定している矩形領域を抽出し、その矩形領域の画像と、統合部114によって特定されたラベルとの組を、既存の教師データに含める。そして、学習部103は、その教師データを用いて、ディープラーニングによって、内部生成モデルを再学習する。さらに、学習部103は、第1のモデル記憶部104に記憶されている既存の内部生成モデルを、再学習によって生成した新たな内部生成モデルに更新する。
When the integration unit 114 identifies the label of the image based on the integration result of the reliability of each label, the
次に、モデル送信部122について説明する。モデル送信部122は、学習部103によって学習されたモデルを、予め定められている第2の識別システムに送信する。モデルの送信先となる第2の識別システムの数は、1つであっても、複数であってもよい。なお、第2の識別システムは、受信したモデルを外部生成モデルとして記憶する。
Next, the model transmission unit 122 will be described. The model transmission unit 122 transmits the model learned by the
モデル送信部122が第2の識別システムにモデルを送信する態様として、4つのモデル送信態様を例示して説明する。 As a mode in which the model transmission unit 122 transmits the model to the second identification system, four model transmission modes will be illustrated and described.
[第1のモデル送信態様]
第1のモデル送信態様では、モデル送信部122は、学習部103がモデル(内部生成モデル)を再学習した場合に、そのモデルを第2の識別システムに送信する。第1のモデル送信態様では、学習部103によってモデルが再学習される度に、モデル送信部122は、再学習によって新たに得られたモデルを第2の識別システムに送信する。従って、第1のモデル送信態様では、モデル送信部122は、最新のモデルを第2の識別システムに送信することができる。[First model transmission mode]
In the first model transmission mode, the model transmission unit 122 transmits the model to the second identification system when the
[第2のモデル送信態様]
第2のモデル送信態様では、モデル送信部122は、定期的に、第1のモデル記憶部104に記憶されているモデルを第2の識別システムに送信する。すなわち、モデル送信部122は、第1のモデル記憶部104に記憶されているモデルを第2の識別システムに送信してから一定期間経過したときに、再び、第1のモデル記憶部104に記憶されているモデルを第2の識別システムに送信することを繰り返す。この一定期間において、第1のモデル記憶部104に記憶されているモデルが複数回、更新されたとしても、モデル送信部122は、前回のモデル送信時から一定期間経過した時点で第1のモデル記憶部104に記憶されているモデルを第2の識別システムに送信する。また、この一定期間において、第1のモデル記憶部104に記憶されているモデルが更新されなかった場合には、モデル送信部122は、前回送信したモデルと同一のモデルを再度、送信することになる。[Second model transmission mode]
In the second model transmission mode, the model transmission unit 122 periodically transmits the model stored in the first
[第3のモデル送信態様]
第3のモデル送信態様では、学習部103がモデル(内部生成モデル)を再学習した場合に、モデル送信部122は、そのモデルを第2の識別システムに送信するか否かを判定する。[Third model transmission mode]
In the third model transmission mode, when the
統合部114がラベルの特定対象とする画像は、第1の識別部106が識別対象とした画像のうち、決定部107が、前述の第1の決定方法、第2の決定方法、または、第3の決定方法によって、第2の識別部111に識別処理を実行させると決定した画像である。すなわち、統合部114がラベルの特定対象とする画像は、第1の識別部106によって誤識別されたり、閾値より大きい信頼度が得られなかったりした画像である。学習部103がモデルを再学習する前に、統合部114は、そのような画像のラベルを、外部生成モデル毎に得られた各ラベルの信頼度を利用することによって、特定している。第3のモデル送信態様では、学習部103がモデル(内部生成モデル)を再学習した場合に、第1の識別部106が、再学習されたそのモデルにその画像を適用することによって、その画像の識別結果(ラベル)を再度、導出する。モデル送信部122は、第1の識別部106が再学習されたモデルを用いて再度、導出したその画像の識別結果(ラベル)と、統合部114によって特定されたラベルとが一致している場合に、再学習されたモデルを第2の識別システムに送信すると判定し、再学習されたモデルを第2の識別システムに送信する。一方、その2つのラベルが一致していない場合、モデル送信部122は、再学習されたモデルを第2の識別システムに送信しないと判定し、モデルを第2の識別システムに送信しない。
Among the images to be identified by the
モデル送信部122は、学習部103がモデルを再学習する毎に、上記のように、そのモデルを第2の識別システムに送信するか否かを判定し、送信すると判定した場合に、そのモデルを第2の識別システムに送信する。
Each time the
統合部114は、外部生成モデル毎に得られた各ラベルの信頼度を利用することによって、画像のラベルを特定している。従って、第1の識別部106によって誤識別されたり、閾値より大きい信頼度が得られなかったりした画像であっても、統合部114によって特定されたラベルの正確性は高いと考えられる。従って、第1の識別部106が再学習されたモデルを用いて再度、導出したその画像の識別結果(ラベル)と、統合部114によって特定されたラベルとが一致しているということは、再学習によって得られたモデルの識別精度が再学習前のモデルの識別精度よりも向上したということができる。また、再学習前のモデルでは、正しい識別結果が得られなかったが、再学習によって得られたモデルでは、正しい識別結果が得られるようになったということもできる。従って、第3のモデル送信態様は、再学習によって得られたモデルの識別精度が再学習前のモデルの識別精度よりも向上した場合に、再学習によって得られたモデルを第2の識別システムに送信する態様であるということができる。また、第3のモデル送信態様は、再学習前のモデルでは、正しい識別結果が得られなかったが、再学習によって得られたモデルでは、正しい識別結果が得られるようになった場合に、再学習によって得られたモデルを第2の識別システムに送信する態様であるというということもできる。
The integration unit 114 identifies the label of the image by using the reliability of each label obtained for each externally generated model. Therefore, it is considered that the accuracy of the label specified by the integration unit 114 is high even if the image is erroneously identified by the
[第4のモデル送信態様]
第4のモデル送信態様でも、モデル送信部122は、学習部103がモデル(内部生成モデル)を再学習した場合に、モデル送信部122は、そのモデルを第2の識別システムに送信するか否かを判定する。[Fourth model transmission mode]
Also in the fourth model transmission mode, when the
第4のモデル送信態様では、モデルが再学習された場合に、所定時間内で、第1の識別部106がそのモデルを用いて導出した識別結果(ラベル)の正解率に基づいて、モデル送信部122は、モデルを第2の識別システムに送信するか否かを判定する。モデル送信部122は、その正解率が予め定められた閾値以上である場合に、再学習されたモデルを第2の識別システムに送信すると判定し、そのモデルを第2の識別システムに送信する。一方、その正解率が閾値未満である場合、モデル送信部122は、再学習されたモデルを第2の識別システムに送信しないと判定し、モデルを第2の識別システムに送信しない。
In the fourth model transmission mode, when the model is retrained, the model is transmitted based on the correct answer rate of the identification result (label) derived by the
所定時間内における識別結果(ラベル)の正解率の算出例を説明する。ここでは、決定部107が、前述の「第1の決定方法」によって、第2の識別部111に識別処理を実行させる画像を決定する場合を例にして説明する。第1の識別部106が画像に対するラベルを定めると、決定部107は、図5に例示する画面をディスプレイ装置115上に表示する。従って、決定部107が図5に例示する画面を表示した回数は、第1の識別部106が画像に対する識別を行った回数であると言える。そして、表示された画面(図5参照)において、第1ボタン304がクリックされた回数は、第1の識別部106が導出したラベルが正しかった回数であると言える。モデル送信部122は、モデルが再学習された場合に、所定時間内で決定部107が図5に例示する画面を表示した回数に対する、第1ボタン304がクリックされた回数の割合を計算し、その結果を、正解率とすればよい。そして、モデル送信部122は、その正解率と閾値とを比較することによって、前述のように、再学習されたモデルを第2の識別システムに送信するか否かを判定すればよい。
An example of calculating the correct answer rate of the identification result (label) within a predetermined time will be described. Here, a case where the
本実施形態において、モデル更新部121およびモデル送信部122は、例えば、モデル提供プログラムに従って動作するコンピュータ102のCPU(Central Processing Unit )およびコンピュータ102の通信インタフェースによって実現される。例えば、CPUが、コンピュータ102のプログラム記憶装置等のプログラム記録媒体からモデル提供プログラムを読み込み、モデル提供プログラムに従って、通信インタフェースを用いて、モデル更新部121およびモデル送信部122として動作すればよい。
In the present embodiment, the
また、学習部103、第1の識別部106、決定部107、領域修正GUI表示制御部108、領域抽出部109、第2の識別部111、表示制御部112および統合部114は、例えば、モデル提供プログラムに従って動作するコンピュータ102のCPUによって実現される。例えば、CPUが、コンピュータ102のプログラム記憶装置等のプログラム記録媒体からモデル提供プログラムを読み込み、モデル提供プログラムに従って、学習部103、第1の識別部106、決定部107、領域修正GUI表示制御部108、領域抽出部109、第2の識別部111、表示制御部112および統合部114として動作すればよい。
Further, the
また、第1のモデル記憶部104、第2のモデル記憶部110、属性データ記憶部113および結果記憶部117は、コンピュータ102が備える記憶装置によって実現される。
Further, the first
次に、本発明の実施形態の処理経過について説明する。図12は、カメラ101が撮影を行ってから、第2の識別部111が画像に対する識別処理を行うまでの処理経過の例を示すフローチャートである。なお、既に説明した動作については、詳細な説明を省略する。
Next, the processing process of the embodiment of the present invention will be described. FIG. 12 is a flowchart showing an example of the processing process from when the
なお、予め、学習部103がディープラーニングによって内部生成モデルを学習し、その内部生成モデルを第1のモデル記憶部104に記憶させているものとする。
It is assumed that the
また、モデル更新部121は、図3に示す識別システム100に対して予め定められている複数の第1の識別システムからそれぞれモデルを受信し、そのモデルを、外部生成モデルとして第2のモデル記憶部110に記憶させているものとする。すなわち、第2のモデル記憶部110は、個々の第1の識別システムで学習されたモデルを、外部生成モデルとして記憶しているものとする。なお、モデル更新部121は、第1の識別システムから新たにモデルを受信した場合には、その第1の識別システムで学習されたモデルとして既に第2のモデル記憶部110に記憶されているモデルを、新たに受信したモデルに更新すればよい。
Further, the
まず、カメラ101が、そのカメラ101の設置場所で撮影を行うことによって、画像を得る(ステップS1)。カメラ101は、その画像をコンピュータ102に送信する。
First, the
コンピュータ102の第1の識別部106は、データ取得部105を介して、その画像を受け取る。そして、第1の識別部106は、その画像を内部生成モデルに適用することによって、画像に写っている物体を識別する(ステップS2)。ステップS2において、第1の識別部106は、画像に写っている物体を表わすラベルと、そのラベルの信頼度を導出する。第1の識別部106は、画像と、導出したラベルおよび信頼度とを対応付けて結果記憶部117に記憶させる。また、第1の識別部106は、特定したラベルが「背景」でない場合には、画像に写っている物体を囲む矩形領域を判定する。
The
次に、決定部107は、ステップS2で第1の識別部106が識別対象とした画像に対して、第2の識別部111に識別処理を実行させるか否かを決定する(ステップS3)。第2の識別部111に識別処理を実行させないと決定した場合には(ステップS3のNo)、ステップS1以降の処理を繰り返す。
Next, the
第2の識別部111に識別処理を実行させると決定した場合には(ステップS3のYes)、領域修正GUI表示制御部108が、画像をディスプレイ装置115上に表示する。例えば、領域修正GUI表示制御部108は、図7や図8に例示する画面をディスプレイ装置115上に表示する。そして、領域抽出部109は、その画面に対するオペレータの操作に応じて、画像に写っている物体を囲む矩形領域を確定し、画像からその矩形領域を抽出する(ステップS4)。
When it is determined that the second identification unit 111 is to execute the identification process (Yes in step S3), the area correction GUI
次に、第2の識別部111は、予め第2のモデル記憶部110に記憶されている個々の外部生成モデル毎に、ステップS4で抽出された矩形領域の画像に写っている物体を識別する(ステップS5)。第2の識別部111は、個々の外部生成モデル毎に、各ラベル(「自動車」、「オートバイ」、「バス」および「背景」)それぞれの信頼度を導出する。そして、外部生成モデル毎に導出した各ラベルの信頼度を結果記憶部117に記憶させる。また、第2の識別部111は、個々の外部生成モデル毎に、信頼度が最も高かったラベルと、そのラベルに対応する信頼度の組も、結果記憶部117に記憶させる。信頼度が最も高かったラベルは、画像に写っていると判定された物体を表わしている。
Next, the second identification unit 111 identifies the object shown in the image of the rectangular region extracted in step S4 for each externally generated model stored in advance in the second model storage unit 110. (Step S5). The second identification unit 111 derives the reliability of each label (“automobile”, “motorcycle”, “bus” and “background”) for each externally generated model. Then, the reliability of each label derived for each externally generated model is stored in the
ステップS5の後、ステップS1以降の処理を繰り返す。 After step S5, the processing after step S1 is repeated.
図13は、モデル(内部生成モデル)を再学習し、そのモデルを第2の識別システムに送信する場合の処理経過の例を示すフローチャートである。以下の説明においても、既に説明した動作については、詳細な説明を省略する。図13では、前述の「第1のモデル送信態様」を例にして説明する。 FIG. 13 is a flowchart showing an example of the processing progress when the model (internally generated model) is relearned and the model is transmitted to the second identification system. Also in the following description, detailed description of the operation already described will be omitted. In FIG. 13, the above-mentioned "first model transmission mode" will be described as an example.
表示制御部112は、第1の識別部106が導出したラベルおよびそのラベルに対応する信頼度と、第2の識別部111が外部生成モデル毎に導出した各ラベルおよびその各ラベルに対応する信頼度とを、画像に重畳した画面を、ディスプレイ装置115上に表示する(ステップS11)。このとき、表示制御部112は、この画面内に、チェックボックス504と、再学習ボタン505と、画面切り替えボタン506,507とを含める。表示制御部112は、ステップS11において、例えば、図9に例示する画面を表示する。
The
オペレータは、図9に例示する画面を確認し、表示されている画像301(より具体的には、画像301において確定している矩形領域309の画像)を教師データに含めるか否かを判断する。オペレータは、チェックボックス504にチェックを入れることで、表示されている画像301を教師データの含めることを指定する。すなわち、チェックボックス504にチェックが入れられた画面に表示された画像は、教師データに含める画像として指定された画像である。また、オペレータは、教師データの含める画像を指定した後、再学習ボタン505をクリックする。
The operator confirms the screen illustrated in FIG. 9 and determines whether or not to include the displayed image 301 (more specifically, the image of the
オペレータによって再学習ボタン505がクリックされると、統合部114は、基準属性データと、個々の外部生成モデルに対応する個々の属性データとの類似度をそれぞれ算出する(ステップS12)。既に説明したように、属性データはベクトルで表される。統合部114は、2つの属性データ(ベクトル)の類似度を算出する場合、その2つのベクトルの距離の逆数を、類似度として算出すればよい。
When the
次に、統合部114は、個々の外部生成モデル毎に導出したラベルの信頼度を、ステップS12で算出した各類似度を用いて、統合する。統合部114は、この処理をラベル毎に行い、信頼度の統合結果が最も高いラベルを、教師データに含める画像に対するラベルとして特定する(ステップS13)。 Next, the integration unit 114 integrates the reliability of the labels derived for each externally generated model using the similarity calculated in step S12. The integration unit 114 performs this process for each label, and identifies the label having the highest reliability integration result as the label for the image to be included in the teacher data (step S13).
教師データの含める画像がオペレータによって複数指定されている場合には、統合部114は、その画像毎に、ステップS13の処理を実行する。 When a plurality of images to be included in the teacher data are specified by the operator, the integration unit 114 executes the process of step S13 for each image.
次に、学習部103は、教師データに含める画像において確定している矩形領域を抽出し、その矩形領域の画像と、統合部114によって特定されたラベルとの組を既存のデータに含める。そして、学習部103は、その教師データを用いて、ディープラーニングによって内部生成モデルを再学習し、再学習によって得た内部生成モデルを第1のモデル記憶部104に記憶させる(ステップS14)。学習部103は、第1のモデル記憶部104に記憶されている既存の内部生成モデルを、再学習によって生成した新たな内部生成モデルに更新する。
Next, the
この後、第1の識別部106が、画像に写っている物体を識別する場合には、再学習によって生成された新たな内部生成モデルを用いる。
After that, when the
ステップS14の次に、モデル送信部122は、ステップS14で再学習されたモデル(内部生成モデル)を、第2の識別システムに送信する(ステップS15)。各識別システム100は、同様の構成である。第2の識別システムのモデル更新部121は、ステップS15で送信されたモデルを受信すると、第2の識別システム内の第2のモデル記憶部110に記憶されているモデルを、受信したモデルに更新する。従って、ステップS15でモデル送信部122が第2の識別システムに送信したモデルは、第2の識別システム内で外部生成モデルとして記憶される。
Following step S14, the model transmission unit 122 transmits the model (internally generated model) retrained in step S14 to the second identification system (step S15). Each
図13では、「第1のモデル送信態様」を例にして説明した。モデル送信部122が、前述の「第2のモデル送信態様」でモデルを第2の識別システムに送信する場合、コンピュータ102は、ステップS14で処理を終了してよい。そして、モデル送信部122は、ステップS11〜S14の処理とは別に、定期的に、第1のモデル記憶部104に記憶されているモデルを第2の識別システムに送信すればよい。
In FIG. 13, the "first model transmission mode" has been described as an example. When the model transmission unit 122 transmits the model to the second identification system in the above-mentioned "second model transmission mode", the
図14は、前述の「第3のモデル送信態様」の処理経過の例を示すフローチャートである。ステップS14までの処理は、図13に示すフローチャートと同様であり、説明を省略する。 FIG. 14 is a flowchart showing an example of the processing progress of the above-mentioned “third model transmission mode”. The processing up to step S14 is the same as the flowchart shown in FIG. 13, and the description thereof will be omitted.
ステップS14の後、第1の識別部106は、チェックボックス504にチェックが入れられた画面内に表示された画像(図9参照)のラベルを、ステップS14で再学習された内部生成モデルを用いて導出する(ステップS21)。チェックボックス504にチェックが入れられた画面内に表示された画像は、教師データに含めることがオペレータによって指定された画像である。
After step S14, the
次に、モデル送信部122は、ステップS21で導出されたラベルと、同一画像に対して統合部114がステップS13(図13参照)で特定したラベルとが一致するか否かを判定する(ステップS22)。 Next, the model transmission unit 122 determines whether or not the label derived in step S21 matches the label specified by the integration unit 114 in step S13 (see FIG. 13) for the same image (step). S22).
2つのラベルが一致する場合(ステップS22のYes)、モデル送信部122は、ステップS14(図13参照)で再学習されたモデル(内部生成モデル)を第2の識別システムに送信すると判定し、そのモデルを第2の識別システムに送信する(ステップS23)。 When the two labels match (Yes in step S22), the model transmitter 122 determines that the model (internally generated model) retrained in step S14 (see FIG. 13) is transmitted to the second identification system. The model is transmitted to the second identification system (step S23).
また、2つのラベルが一致しない場合(ステップS22のNo)、モデル送信部122は、ステップS14で再学習されたモデルを第2の識別システムに送信しないと判定し、処理を終了する。 If the two labels do not match (No in step S22), the model transmission unit 122 determines that the model retrained in step S14 will not be transmitted to the second identification system, and ends the process.
図15は、前述の「第4のモデル送信態様」の処理経過の例を示すフローチャートである。ステップS14までの処理は、図13に示すフローチャートと同様であり、説明を省略する。 FIG. 15 is a flowchart showing an example of the processing progress of the above-mentioned “fourth model transmission mode”. The processing up to step S14 is the same as the flowchart shown in FIG. 13, and the description thereof will be omitted.
ステップS14の後、モデル送信部122は、所定時間内における、再学習されたモデル(内部生成モデル)を用いた場合の画像の識別結果の正解率を算出する(ステップS31)。この正解率の算出例については既に説明しているので、ここでは、説明を省略する。 After step S14, the model transmission unit 122 calculates the correct answer rate of the image identification result when the relearned model (internally generated model) is used within a predetermined time (step S31). Since an example of calculating the correct answer rate has already been described, the description thereof will be omitted here.
次に、モデル送信部122は、ステップS31で算出した正解率が、予め定められた閾値以上であるか否かを判定する(ステップS32)。 Next, the model transmission unit 122 determines whether or not the correct answer rate calculated in step S31 is equal to or greater than a predetermined threshold value (step S32).
正解率が閾値以上である場合(ステップS32のYes)、モデル送信部122は、ステップS14(図13参照)で再学習されたモデル(内部生成モデル)を第2の識別システムに送信すると判定し、そのモデルを第2の識別システムに送信する(ステップS33)。 When the correct answer rate is equal to or higher than the threshold value (Yes in step S32), the model transmission unit 122 determines that the model (internally generated model) retrained in step S14 (see FIG. 13) is transmitted to the second identification system. , The model is transmitted to the second identification system (step S33).
また、正解率が閾値未満である場合(ステップS32のNo)、モデル送信部122は、ステップS14で再学習されたモデルを第2の識別システムに送信しないと判定し、処理を終了する。 If the correct answer rate is less than the threshold value (No in step S32), the model transmission unit 122 determines that the model relearned in step S14 is not transmitted to the second identification system, and ends the process.
本実施形態によれば、決定部107は、前述の第1の決定方法、第2の決定方法および第3の決定方法のうちの少なくとも1つの方法で、第1の識別部106が識別処理の対象とした画像に対して、第2の識別部111に識別処理を実行させるか否かを決定する。従って、第2の識別部111によって識別処理が行われる画像は、第1の識別部106によって定められたラベルが誤りであった画像、画像に対して定められたラベルに対応する信頼度が閾値以下であった画像、または、第1の識別部106によって定められたラベルが「背景」であるにも関わらず、物体(「自動車」、「オートバイ」または「バス」)が写っている画像である。本実施形態では、このような画像を、内部生成モデルとは異なるモデル(より具体的には、着目している識別システム100に対して予め定められている第1の識別システムで生成されたモデル(外部生成モデル))に適用した結果に基づいて特定されるラベルと、その画像との組を、既存の教師データに追加して、学習部103が内部生成モデルを再学習する。従って、内部生成モデルの識別精度を向上させることができる。
According to the present embodiment, the
そして、モデル送信部122は、学習部103によって学習されたモデルを、例えば、前述の第1のモデル送信態様、第2のモデル送信態様、第3のモデル送信態様、または、第4のモデル送信態様等で、予め定められている第2の識別システムに送信する。第2の識別システムにおいて、モデル更新部121は、受信したモデルを、外部生成モデルとして第2のモデル記憶部110に記憶させる。従って、個々の識別システム100は、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システム100のモデルの識別精度向上に寄与することができる。
Then, the model transmission unit 122 transfers the model learned by the
次に、本発明の実施形態の種々の変形例について説明する。 Next, various modifications of the embodiment of the present invention will be described.
上記の実施形態では、図7や図8に例示する画面に対するオペレータの操作に応じて、領域抽出部109が、画像に写っている物体を囲む矩形領域を確定し、画像からその矩形領域を抽出する。そして、第2の識別部111が、外部生成モデル毎に、抽出された矩形領域の画像に写っている物体を識別する。第2の識別部111は、抽出された矩形領域の画像ではなく、第1の識別部106が処理対象とした1つの画像全体を対象にして、画像に写っている物体を識別する処理を行ってもよい。この場合、識別システム100(図3参照)は、領域修正GUI表示制御部108および領域抽出部109を備えていなくてもよい。そして、識別システム100は、ステップS4(図12参照)を実行しなくてもよい。第2の識別部111は、ステップ5において、第1の識別部106が処理対象とした1つの画像全体を対象にして、画像に写っている物体を識別すればよい。
In the above embodiment, the
また、学習部103は、1つの画像全体と、統合部114が特定したラベルとの組を、既存の教師データに含め、その教師データを用いて、内部生成モデルを再学習すればよい。
Further, the
また、学習部103は、画像と統合部114によって特定されたラベルとの組、および、既存の内部生成モデルを教師データとして、ディープラーニングによって内部生成モデルを再学習してもよい。
Further, the
また、第2のモデル記憶部110が、1つの外部生成モデルを記憶していてもよい。この場合、学習部103は、画像と、第2の識別部111で導出された、信頼度が最も高いラベルとの組を、既存の教師データに含め、その教師データを用いて、内部生成モデルを再学習すればよい。
Further, the second model storage unit 110 may store one externally generated model. In this case, the
図16は、本発明の実施形態やその変形例における識別システム100が備えるコンピュータ102の構成例を示す概略ブロック図である。図16では、コンピュータを符号“1000”で表す。コンピュータ1000は、CPU1001と、主記憶装置1002と、補助記憶装置1003と、インタフェース1004と、ディスプレイ装置1005と、入力デバイス1006と、通信インタフェース1007と、データ収集部101(例えば、カメラ)とのインタフェース1008とを備える。
FIG. 16 is a schematic block diagram showing a configuration example of a
識別システム100が備えるコンピュータの動作は、モデル提供プログラムの形式で補助記憶装置1003に記憶されている。CPU1001は、そのモデル提供プログラムを補助記憶装置1003から読み出して主記憶装置1002に展開する。そして、CPU1001は、そのモデル提供プログラムに従って、上記の実施形態やその変形例におけるコンピュータ102(図3を参照)の処理を実行する。
The operation of the computer included in the
補助記憶装置1003は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース1004を介して接続される磁気ディスク、光磁気ディスク、CD−ROM(Compact Disk Read Only Memory )、DVD−ROM(Digital Versatile Disk Read Only Memory )、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ1000に配信される場合、配信を受けたコンピュータ1000がそのプログラムを主記憶装置1002に展開し、上記の処理を実行してもよい。
また、プログラムは、実施形態やその変形例における示したコンピュータ102の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置1003に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。
Further, the program may be for realizing a part of the processing of the
また、各構成要素の一部または全部は、汎用または専用の回路(circuitry )、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。 Further, a part or all of each component may be realized by a general-purpose or dedicated circuitry, a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component may be realized by the combination of the circuit or the like and the program described above.
各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。 When a part or all of each component is realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged or distributed. For example, the information processing device, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client-and-server system and a cloud computing system.
次に、本発明の概要について説明する。図17は、本発明の識別システムの概要を示すブロック図である。本発明の識別システムは、学習手段701と、第1のモデル記憶手段702と、第1の識別手段703と、第2のモデル記憶手段704と、モデル更新手段705と、第2の識別手段706と、モデル送信手段707とを備える。 Next, the outline of the present invention will be described. FIG. 17 is a block diagram showing an outline of the identification system of the present invention. The identification system of the present invention includes a learning means 701, a first model storage means 702, a first identification means 703, a second model storage means 704, a model update means 705, and a second identification means 706. And model transmission means 707.
学習手段701(例えば、学習部103)は、データ(例えば、画像)が表わす物体を識別するためのモデルを、教師データを用いて学習する。 The learning means 701 (for example, the learning unit 103) learns a model for identifying an object represented by the data (for example, an image) by using the teacher data.
第1のモデル記憶手段702(第1のモデル記憶部104)は、学習手段701によって学習されたモデルを記憶する。 The first model storage means 702 (first model storage unit 104) stores the model learned by the learning means 701.
第1の識別手段703(例えば、第1の識別部106)は、学習手段701によって学習されたモデルを用いて、データが表わす物体を識別する。 The first identification means 703 (for example, the first identification unit 106) identifies the object represented by the data by using the model learned by the learning means 701.
第2のモデル記憶手段704(例えば、第2のモデル記憶部110)は、予め定められた複数の第1の識別システムで学習された個々のモデルをそれぞれ記憶する。 The second model storage means 704 (for example, the second model storage unit 110) stores each individual model trained by a plurality of predetermined identification systems.
モデル更新手段705(例えば、モデル更新部121)は、第1の識別システムから当該第1の識別システムで学習されたモデルを受信した場合に、第2のモデル記憶手段704に記憶されているその第1の識別システムで学習されたモデルを、その第1の識別システムから受信したモデルに更新する。 When the model update means 705 (for example, the model update unit 121) receives the model learned by the first identification system from the first identification system, it is stored in the second model storage means 704. The model trained in the first identification system is updated with the model received from the first identification system.
第2の識別手段706(例えば、第2の識別部111)は、所定の場合に、第2のモデル記憶手段704に記憶されている個々のモデル毎に、第1の識別手段703が識別対象としたデータが表わす物体を識別する。 In the second identification means 706 (for example, the second identification unit 111), the first identification means 703 is an identification target for each model stored in the second model storage means 704 in a predetermined case. Identify the object represented by the data.
学習手段701は、第2の識別手段706が導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第1のモデル記憶手段702に記憶されているモデルを再学習したモデルに更新する。 The learning means 701 relearns the model using the teacher data including the label for the data determined based on the discrimination result derived by the second discriminating means 706 and the data, and uses the learning means 701 as the first model storage means 702. Update the stored model to the retrained model.
モデル送信手段707(例えば、モデル送信部122)は、学習手段701によって学習されたモデルを、予め定められた1つまたは複数の第2の識別システムに送信する。 The model transmitting means 707 (for example, the model transmitting unit 122) transmits the model learned by the learning means 701 to one or a plurality of predetermined second identification systems.
そのような構成によって、本発明の識別システムは、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システムのモデルの識別精度向上に寄与することができる。 With such a configuration, the identification system of the present invention can relearn its own model so as to improve the identification accuracy of its own model, and also contributes to the improvement of the identification accuracy of the models of other identification systems. can do.
モデル送信手段707が、学習手段701がモデルを再学習した場合に、当該モデルを第2の識別システムに送信する構成であってもよい。 The model transmitting means 707 may be configured to transmit the model to the second identification system when the learning means 701 relearns the model.
モデル送信手段707が、定期的に、第1のモデル記憶手段702に記憶されているモデルを第2の識別システムに送信する構成であってもよい。 The model transmission means 707 may be configured to periodically transmit the model stored in the first model storage means 702 to the second identification system.
第2の識別手段706が第2のモデル記憶手段704に記憶されている個々のモデル毎に導出した識別結果を統合することによって、第1の識別手段703が識別対象としたデータに対するラベルを特定する統合手段(例えば、統合部114)を備え、学習手段701が、統合手段によって特定されたラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、モデル送信手段707が、第1の識別手段703が再学習されたモデルを用いて導出したそのデータの識別結果と、統合手段によって特定されたそのデータに対するラベルとが一致する場合に、再学習されたモデルを第2の識別システムに送信する構成であってもよい。 By integrating the identification results derived by the second identification means 706 for each individual model stored in the second model storage means 704, the label for the data targeted by the first identification means 703 is specified. The learning means 701 retrains the model using the teacher data including the label specified by the integrating means and the data, and the model transmitting means 707 includes the integrating means (for example, the integrating unit 114). If the identification result of the data derived by the first discriminating means 703 using the retrained model matches the label for the data identified by the integrating means, the retrained model is referred to as the second. It may be configured to be transmitted to the identification system.
モデル送信手段707が、学習手段701がモデルを再学習した場合に、所定時間内で、第1の識別手段703がそのモデルを用いて導出した識別結果の正解率が、予め定められた閾値以上である場合に、そのモデルを第2の識別システムに送信する構成であってもよい。 When the model transmitting means 707 relearns the model by the learning means 701, the correct answer rate of the discrimination result derived by the first discriminating means 703 using the model within a predetermined time is equal to or higher than a predetermined threshold value. If this is the case, the model may be transmitted to the second identification system.
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the invention of the present application has been described above with reference to the embodiments, the invention of the present application is not limited to the above-described embodiment. Various changes that can be understood by those skilled in the art can be made within the scope of the present invention in terms of the configuration and details of the present invention.
本発明は、データをモデルに適用することによって、そのデータが表わす物体を識別する識別システムに好適に適用される。 The present invention is suitably applied to an identification system that identifies an object represented by the data by applying the data to a model.
100 識別システム
101 データ収集部
102 コンピュータ
103 学習部
104 第1のモデル記憶部
105 データ取得部
106 第1の識別部
107 決定部
108 領域修正GUI表示制御部
109 領域抽出部
110 第2のモデル記憶部
111 第2の識別部
112 表示制御部
113 属性データ記憶部
114 統合部
115 ディスプレイ装置
116 マウス
117 結果記憶部
121 モデル更新部
122 モデル送信部100
Claims (7)
前記学習手段によって学習された前記モデルを記憶する第1のモデル記憶手段と、
前記学習手段によって学習された前記モデルを用いて、データが表わす物体を識別する第1の識別手段と、
予め定められた複数の第1の識別システムで学習された個々のモデルをそれぞれ記憶する第2のモデル記憶手段と、
前記第1の識別システムから当該第1の識別システムで学習されたモデルを受信した場合に、前記第2のモデル記憶手段に記憶されている前記第1の識別システムで学習されたモデルを、前記第1の識別システムから受信したモデルに更新するモデル更新手段と、
所定の場合に、前記第2のモデル記憶手段に記憶されている個々のモデル毎に、前記第1の識別手段が識別対象とした前記データが表わす物体を識別する第2の識別手段とを備え、
前記学習手段は、
前記第2の識別手段が導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習し、前記第1のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、
前記学習手段によって学習されたモデルを、予め定められた1つまたは複数の第2の識別システムに送信するモデル送信手段を備える
ことを特徴とする識別システム。A learning method for learning a model for identifying an object represented by data using teacher data,
A first model storage means for storing the model learned by the learning means,
Using the model learned by the learning means, a first identification means for identifying an object represented by data, and
A second model storage means for storing individual models trained by a plurality of predetermined identification systems, and a second model storage means.
When the model learned by the first identification system is received from the first identification system, the model learned by the first identification system stored in the second model storage means is referred to as described above. Model update means for updating to the model received from the first identification system,
In a predetermined case, each model stored in the second model storage means is provided with a second identification means for identifying an object represented by the data represented by the data as an identification target by the first identification means. ,
The learning means is
The model is relearned using the teacher data including the label for the data determined based on the identification result derived by the second identification means and the data, and is stored in the first model storage means. Update the model to the retrained model and
A discrimination system comprising: a model transmission means for transmitting a model learned by the learning means to one or a plurality of predetermined identification systems.
学習手段がモデルを再学習した場合に、当該モデルを第2の識別システムに送信する
請求項1に記載の識別システム。The model transmission method is
The identification system according to claim 1, wherein when the learning means relearns the model, the model is transmitted to the second identification system.
定期的に、第1のモデル記憶手段に記憶されているモデルを第2の識別システムに送信する
請求項1に記載の識別システム。The model transmission method is
The identification system according to claim 1, wherein the model stored in the first model storage means is periodically transmitted to the second identification system.
学習手段は、
前記統合手段によって特定されたラベルと、前記データとを含む教師データを用いて、モデルを再学習し、
モデル送信手段は、
前記第1の識別手段が再学習された前記モデルを用いて導出した前記データの識別結果と、前記統合手段によって特定された前記データに対するラベルとが一致する場合に、再学習された前記モデルを第2の識別システムに送信する
請求項1に記載の識別システム。By integrating the identification results derived for each model stored in the second model storage means by the second identification means, the integration means for specifying the label for the data to be identified by the first identification means. Equipped with
The learning method is
The model was retrained using the teacher data including the label identified by the integration means and the data.
The model transmission method is
When the identification result of the data derived by the first identification means using the retrained model matches the label for the data identified by the integration means, the retrained model is used. The identification system according to claim 1, which is transmitted to the second identification system.
学習手段がモデルを再学習した場合に、所定時間内で、第1の識別手段が前記モデルを用いて導出した識別結果の正解率が、予め定められた閾値以上である場合に、前記モデルを第2の識別システムに送信する
請求項1に記載の識別システム。The model transmission method is
When the learning means relearns the model, the model is used when the correct answer rate of the discrimination result derived by the first discrimination means using the model is equal to or more than a predetermined threshold value within a predetermined time. The identification system according to claim 1, which is transmitted to the second identification system.
前記第1のモデル記憶手段に記憶されている前記モデルを用いて、データが表わす物体を識別する第1の識別処理を実行し、
予め定められた複数の第1の識別システムで学習された個々のモデルをそれぞれ第2のモデル記憶手段に記憶させ、
前記第1の識別システムから当該第1の識別システムで学習されたモデルを受信した場合に、前記第2のモデル記憶手段に記憶されている前記第1の識別システムで学習されたモデルを、前記第1の識別システムから受信したモデルに更新し、
所定の場合に、前記第2のモデル記憶手段に記憶されている個々のモデル毎に、前記第1の識別処理で識別対象とした前記データが表わす物体を識別する第2の識別処理を実行し、
前記第2の識別処理で導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習し、前記第1のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、
前記第1のモデル記憶手段に記憶されているモデルを、予め定められた1つまたは複数の第2の識別システムに送信する
ことを特徴とするモデル提供方法。A model for identifying an object represented by the data is learned using the teacher data, and the model is stored in the first model storage means.
Using the model stored in the first model storage means, a first identification process for identifying an object represented by data is executed.
Each of the individual models trained by the plurality of predetermined identification systems is stored in the second model storage means.
When the model learned by the first identification system is received from the first identification system, the model learned by the first identification system stored in the second model storage means is referred to as described above. Update to the model received from the first identification system,
In a predetermined case, for each model stored in the second model storage means, a second identification process for identifying an object represented by the data as an identification target in the first identification process is executed. ,
The model is relearned using the teacher data including the label for the data determined based on the identification result derived in the second identification process and the data, and is stored in the first model storage means. Update the model to the retrained model and
A model providing method comprising transmitting a model stored in the first model storage means to one or a plurality of predetermined second identification systems.
データが表わす物体を識別するためのモデルを、教師データを用いて学習し、前記モデルを第1のモデル記憶手段に記憶させる学習処理、
前記第1のモデル記憶手段に記憶されている前記モデルを用いて、データが表わす物体を識別する第1の識別処理、
予め定められた複数の第1の識別システムで学習された個々のモデルをそれぞれ第2のモデル記憶手段に記憶させる処理、
前記第1の識別システムから当該第1の識別システムで学習されたモデルを受信した場合に、前記第2のモデル記憶手段に記憶されている前記第1の識別システムで学習されたモデルを、前記第1の識別システムから受信したモデルに更新するモデル更新処理、
所定の場合に、前記第2のモデル記憶手段に記憶されている個々のモデル毎に、前記第1の識別処理で識別対象とした前記データが表わす物体を識別する第2の識別処理、
前記第2の識別処理で導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習し、前記第1のモデル記憶手段に記憶されているモデルを再学習したモデルに更新する再学習処理、および、
前記第1のモデル記憶手段に記憶されているモデルを、予め定められた1つまたは複数の第2の識別システムに送信するモデル送信処理
を実行させるためのモデル提供プログラム。On the computer
A learning process in which a model for identifying an object represented by data is learned using teacher data, and the model is stored in a first model storage means.
A first identification process for identifying an object represented by data by using the model stored in the first model storage means.
A process of storing individual models learned by a plurality of predetermined identification systems in a second model storage means.
When the model learned by the first identification system is received from the first identification system, the model learned by the first identification system stored in the second model storage means is referred to as described above. Model update process to update to the model received from the first identification system,
A second identification process for identifying an object represented by the data as an identification target in the first identification process for each model stored in the second model storage means in a predetermined case.
The model is relearned using the teacher data including the label for the data determined based on the identification result derived in the second identification process and the data, and is stored in the first model storage means. Retraining process to update the model to the retrained model, and
A model providing program for executing a model transmission process for transmitting a model stored in the first model storage means to one or a plurality of predetermined second identification systems.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/032761 WO2020049636A1 (en) | 2018-09-04 | 2018-09-04 | Identification system, model presentation method, and model presentation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020049636A1 JPWO2020049636A1 (en) | 2021-05-20 |
JP6981553B2 true JP6981553B2 (en) | 2021-12-15 |
Family
ID=69721469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020540901A Active JP6981553B2 (en) | 2018-09-04 | 2018-09-04 | Identification system, model provision method and model provision program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6981553B2 (en) |
WO (1) | WO2020049636A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022185596A1 (en) * | 2021-03-04 | 2022-09-09 | パナソニックIpマネジメント株式会社 | Estimation system, estimation method, and program |
JP7557402B2 (en) | 2021-03-16 | 2024-09-27 | 日立造船株式会社 | Judgement system, image generation device, image generation method, and image generation program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7792353B2 (en) * | 2006-10-31 | 2010-09-07 | Hewlett-Packard Development Company, L.P. | Retraining a machine-learning classifier using re-labeled training samples |
JP6291844B2 (en) * | 2014-01-06 | 2018-03-14 | 日本電気株式会社 | Data processing device |
US20150324686A1 (en) * | 2014-05-12 | 2015-11-12 | Qualcomm Incorporated | Distributed model learning |
-
2018
- 2018-09-04 JP JP2020540901A patent/JP6981553B2/en active Active
- 2018-09-04 WO PCT/JP2018/032761 patent/WO2020049636A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2020049636A1 (en) | 2020-03-12 |
JPWO2020049636A1 (en) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11222239B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
EP3754592B1 (en) | Image acquisition device and method of controlling the same | |
US11810279B2 (en) | Image acquisition device and method of controlling the same | |
KR20200040665A (en) | Systems and methods for detecting a point of interest change using a convolutional neural network | |
JP6992883B2 (en) | Model delivery system, method and program | |
JP6397379B2 (en) | CHANGE AREA DETECTION DEVICE, METHOD, AND PROGRAM | |
WO2018101247A1 (en) | Image recognition imaging apparatus | |
WO2021095351A1 (en) | Monitoring device, monitoring method, and program | |
JP7001150B2 (en) | Identification system, model re-learning method and program | |
JP7001149B2 (en) | Data provision system and data collection system | |
JP2021039625A (en) | Object number estimation device, object number estimation method, and object number estimation program | |
JP6981553B2 (en) | Identification system, model provision method and model provision program | |
JP2019192082A (en) | Server for learning, image collection assisting system for insufficient learning, and image estimation program for insufficient learning | |
KR20150065370A (en) | Apparatus and method for recognizing human actions | |
JP6981554B2 (en) | Identification system, parameter value update method and program | |
JP7211495B2 (en) | Training data generator | |
JP7211496B2 (en) | Training data generator | |
US20230237774A1 (en) | Data collection system, sensor device, data collection device, and data collection method | |
JP7098180B2 (en) | Information processing equipment, information processing methods and information processing programs | |
JP6945999B2 (en) | Information processing equipment, information processing methods, and programs | |
CN116798109A (en) | Method and device for identifying action type | |
JP2022180887A (en) | Object recognition system, and object recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6981553 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |