JPWO2019215778A1 - データ提供システムおよびデータ収集システム - Google Patents

データ提供システムおよびデータ収集システム Download PDF

Info

Publication number
JPWO2019215778A1
JPWO2019215778A1 JP2020517630A JP2020517630A JPWO2019215778A1 JP WO2019215778 A1 JPWO2019215778 A1 JP WO2019215778A1 JP 2020517630 A JP2020517630 A JP 2020517630A JP 2020517630 A JP2020517630 A JP 2020517630A JP WO2019215778 A1 JPWO2019215778 A1 JP WO2019215778A1
Authority
JP
Japan
Prior art keywords
data
identification
providing system
unit
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020517630A
Other languages
English (en)
Other versions
JP7001149B2 (ja
Inventor
哲夫 井下
哲夫 井下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019215778A1 publication Critical patent/JPWO2019215778A1/ja
Application granted granted Critical
Publication of JP7001149B2 publication Critical patent/JP7001149B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

識別手段７１は、機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する。決定手段７２は、データをモデルに適用した結果に基づいて、データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する。データ送信手段７３は、送信対象データであると決定されたデータを、所定のタイミングで所定のコンピュータに送信する。

Description

本発明は、所定のコンピュータにデータを提供するデータ提供システム、データ提供方法およびデータ提供プログラム、並びに、複数のデータ提供システムからデータを収集するデータ収集システムおよびデータ収集方法に関する。
一般的な識別システムの例を以下に説明する。一般的な識別システムは、その識別システムが備えているカメラが撮影によって得た画像と、その画像に写っている物体を表したラベルとの組を教師データとして、機械学習によってモデルを予め学習する。そして、その一般的な識別システムは、カメラが撮影によって新たに得た画像をそのモデルに適用することによって、その画像に写っている物体を識別する。
このような一般的な識別システムは、不審な車両や不審な人物を検出し、犯罪等を未然に防ぐ目的で用いられたり、白杖または車椅子の使用者を検出し、白杖または車椅子の使用者を誘導する等の支援の目的で用いられたりする。
ここでは、画像に写っている物体を識別する識別システムを例にして説明したが、一般的な識別システムとして、音声データが表わす物体を識別する識別システムも考えられる。以下、画像に写っている物体を識別する識別システムを例にして説明する。
なお、特許文献１には、統計モデルの学習に必要な学習データを記憶する学習データ記憶手段と、学習データ記憶手段に記憶されたデータとは別に収集されたデータを記憶する予備データ記憶手段とを備えるシステムが記載されている。そして、特許文献１には、そのシステムが、情報量の値が所定の閾値よりも低いデータを選択することが記載されている。
また、特許文献２には、ＦＡＸ（Facsimile）番号へのデータの送信を決定する送信指示を決定する送信指示ボタンを操作表示装置に表示させるデータ通信装置が記載されている。
また、特許文献３には、認識率を集計するＦＡＸ−ＯＣＲ（Optical Character Recognition）装置が記載されている。
国際公開第２０１０／０４７０１９号 特開２００９−５３１４号公報 特開平１１−３４１２１０号公報
前述の一般的な識別システムが複数台設けられ、各識別システムのカメラが各地に設置されることが考えられる。
ここで、１台のカメラが撮影によって得た画像における物体の写り方に、偏りが生じる場合がある。例えば、ある１台のカメラは、そのカメラから見て右側から左側への方向に進行する自動車を撮影する機会が多いが、その逆方向に進行する自動車を撮影する機会が少ないとする。この場合、右側から左側への方向に進行する自動車が写った画像は多く得られるが、その逆方向に進行する自動車が写った画像は少ししか得られない。すると、教師データには、右側から左側への方向に進行する自動車が写った画像が多く含まれ、その逆方向に進行する自動車が写った画像は少ししか含まれない。その結果、教師データを用いて機械学習によって得たモデルに、右側から左側への方向に進行する自動車が写った画像を適用した場合には、識別システムは高い精度で自動車を識別するが、逆方向に進行する自動車が写った画像をそのモデルに適用した場合の自動車の識別精度は低くなる。
また、新たに識別システムを設け、新たな場所にその識別システムのカメラを設置する場合がある。この場合、既存の各識別システムにおいて高い識別精度が得られなかった画像を集めることができれば、様々な画像を集めることができ、画像における物体の写り方の偏りを少なくすることができる。そのため、その様々な画像を教師データとして機械学習によってモデルを生成すれば、汎用性が高く、また、識別精度も高いモデルを得ることができる。さらに、そのモデルを、新たに設けられる識別システムで用いるモデルの生成に利用することができる。
そこで、本発明は、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できるようにすることができるデータ提供システム、データ提供方法、データ提供プログラム、データ収集システムおよびデータ収集方法を提供することを目的とする。
本発明によるデータ提供システムは、機械学習によって学習されたモデルにデータを適用することによって、データが表わす物体を識別する識別手段と、データをモデルに適用した結果に基づいて、データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、送信対象データであると決定されたデータを、所定のタイミングで所定のコンピュータに送信するデータ送信手段とを備えることを特徴とする。
また、本発明によるデータ提供システムは、機械学習によって学習されたモデルにデータを適用することによって、データが表わす物体を識別する識別手段と、データをモデルに適用した結果に基づいて、データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、送信対象データであると決定されたデータを所定のコンピュータに送信するデータ送信手段と、モデルの識別精度を表す指標値とともに、データの送信指示を入力するためのボタンを表示する表示制御手段とを備え、データ送信手段が、オペレータによってボタンがクリックされたタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信することを特徴とする。
また、本発明によるデータ収集システムは、複数のデータ提供システムと、複数のデータ提供システムからデータを収集する収集装置とを備え、個々のデータ提供システムが、設置場所におけるデータを収集するデータ収集手段と、データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、データが表わす物体を識別する識別手段と、データをモデルに適用した結果に基づいて、データが収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、送信対象データであると決定されたデータを収集装置に送信するデータ送信手段とを備え、収集装置が、個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択する選択手段と、選択手段によって選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、個々のデータ提供システムのデータ送信手段が、収集装置から送信要求を受信したタイミングで、送信対象データであると決定された各データを収集装置に送信することを特徴とする。
また、本発明によるデータ収集システムは、複数のデータ提供システムと、複数のデータ提供システムからデータを収集する収集装置とを備え、個々のデータ提供システムは、設置場所におけるデータを収集するデータ収集手段と、データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、データが表わす物体を識別する識別手段と、データをモデルに適用した結果に基づいて、データが収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、送信対象データであると決定されたデータを収集装置に送信するデータ送信手段と、モデルの識別精度を表す指標値を収集装置に送信する指標値送信手段を備え、収集装置が、個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、グループ毎に異なる態様で、個々のデータ提供システムを表すアイコンをそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システムから受信した指標値を表示するアイコン表示手段と、当該収集装置のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、個々のデータ提供システムのデータ送信手段が、収集装置から送信要求を受信したタイミングで、送信対象データであると決定された各データを収集装置に送信することを特徴とする。
また、本発明によるデータ提供方法は、機械学習によって学習されたモデルにデータを適用することによって、データが表わす物体を識別し、データをモデルに適用した結果に基づいて、データが所定のコンピュータに送信すべき送信対象データであるか否かを決定し、送信対象データであると決定したデータを、所定のタイミングで所定のコンピュータに送信することを特徴とする。
また、本発明によるデータ収集方法は、設置場所におけるデータを収集するデータ収集手段を備えた複数のデータ提供システムと、複数のデータ提供システムからデータを収集する収集装置とを備えるデータ収集システムに適用されるデータ収集方法であって、個々のデータ提供システムが、データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、データが表わす物体を識別し、データをモデルに適用した結果に基づいて、データが収集装置に送信すべき送信対象データであるか否かを決定し、収集装置が、個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類し、当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択し、選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信し、個々のデータ提供システムが、収集装置から送信要求を受信したタイミングで、送信対象データであると決定した各データを収集装置に送信することを特徴とする。
また、本発明によるデータ提供プログラムは、コンピュータに、機械学習によって学習されたモデルにデータを適用することによって、データが表わす物体を識別する識別処理、データをモデルに適用した結果に基づいて、データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定処理、および、送信対象データであると決定されたデータを、所定のタイミングで所定のコンピュータに送信するデータ送信処理を実行させることを特徴とする。
本発明によれば、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できる。
本発明のデータ提供システムと、データ提供システムからデータを収集する収集装置とを示す模式図である。 第１の実施形態におけるデータ提供システムの構成例を示すブロック図である。 学習部によって生成されるモデルの例を示す模式図である。 識別部がデータ記憶部に記憶させる識別処理の結果の例を示す模式図である。 ラベル受付部がディスプレイ装置に表示させる画面の例を示す模式図である。 ラベル受付部がディスプレイ装置に表示させる画面の例を示す模式図である。 識別部がデータ記憶部１１２に記憶させた識別処理の結果、および、ラベル受付部によって追加された情報の例を示す模式図である。 ラベル受付部がディスプレイ装置に表示させる画面の例を示す模式図である。 低信頼度の識別結果数、誤識別数、および送信指示ボタンを含む画面の例を示す模式図である。 第１の実施形態における収集装置の構成例を示すブロック図である。 第１の実施形態のデータ提供システムの処理経過の例を示すフローチャートである。 第２の実施形態におけるデータ提供システムの構成例を示すブロック図である。 第２の実施形態における収集装置の構成例を示すブロック図である。 アイコン表示部がディスプレイ装置上に表示する画面の例を示す模式図である。 第２の実施形態における収集装置の処理経過の例を示すフローチャートである。 本発明の各実施形態におけるデータ提供システムが備えるコンピュータの構成例を示す概略ブロック図である。 本発明のデータ提供システムの概要の例を示すブロック図である。 本発明のデータ提供システムの概要の他の例を示すブロック図である。 本発明のデータ収集システムの概要の例を示すブロック図である。 本発明のデータ収集システムの概要の他の例を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
図１は、本発明のデータ提供システムと、データ提供システムからデータを収集する収集装置とを示す模式図である。図１に示す例では、データ提供システム１００が複数設けられている場合を示している。収集装置２００と、複数のデータ提供システム１００とを合わせて、データ収集システムと称することもできる。また、収集装置２００および複数のデータ提供システム１００は、通信ネットワーク５００を介して、通信可能に接続されている。複数のデータ提供システム１００は、同様の構成である。
個々のデータ提供システム１００はそれぞれ、データ収集部（後述の図２に示すデータ収集部１０１）を備える。各データ提供システム１００のデータ収集部（図１において図示略。後述の図２を参照。）は、データを収集する各地に設置される。データ収集部は、データ収集部の設置場所におけるデータを収集する。例えば、データ収集部は、設置場所において画像や音声データを収集する。データ収集部は、カメラやマイクロホンによって実現される。例えば、データ収集部は、監視場所を撮影することによって画像を収集してもよい。また、例えば、設置場所において録音することによって音声データを収集してもよい。
個々のデータ提供システム１００は、データ収集部とは別にコンピュータを備え、そのコンピュータは、データ（画像や音声データ等）が表わす物体を識別する。従って、データ提供システム１００を、識別システムと称することもできる。
各データ提供システム１００は、所定の条件を満たすデータを収集装置２００に送信し、収集装置２００は、各データ提供システム１００から送信されるデータを受信し、受信したデータを蓄積する。
図２は、第１の実施形態におけるデータ提供システム１００の構成例を示すブロック図である。図１に示す複数のデータ提供システム１００は、同様の構成であり、各データ提供システム１００の構成は、図２のように表すことができる。データ提供システム１００は、データ収集部１０１と、コンピュータ１０２とを備える。データ収集部１０１とコンピュータ１０２とは、有線または無線で通信可能に接続される。以下の説明では、データ収集部１０１がカメラである場合を例にして説明し、データ収集部１０１をカメラ１０１と記す。カメラ１０１は、そのカメラ１０１の設置場所から撮影を行う。なお、カメラ１０１の設置場所と、コンピュータ１０２の設置場所とが異なっていてもよい。
コンピュータ１０２は、学習部１０３と、モデル記憶部１０４と、データ取得部１０５と、識別部１０６と、キーボード１０７と、マウス１０８と、ディスプレイ装置１０９と、ラベル受付部１１０と、送信対象データ決定部１１１と、データ記憶部１１２と、データ送信部１１３と、指標値集計部１１４と、表示制御部１１５とを備える。
学習部１０３は、カメラ１０１が撮影によって得た画像を教師データとして、機械学習によってモデルを学習する。以下、学習部１０３が、ディープラーニングによってモデルを学習する場合を例にして説明する。教師データは、具体的には、カメラ１０１が撮影によって得た画像と、その画像に写っている物体を示すラベルと、画像内におけるその物体を囲む矩形領域を表す座標（例えば、矩形領域の各頂点の座標）との組の集合である。ラベルや、画像内における物体を囲む矩形領域は、データ提供システム１００のオペレータが決定すればよい。学習部１０３は、そのような組の集合を教師データとして、モデルを学習（生成）する。
このモデルは、与えられた新たな画像に写っている物体を識別するためのモデルである。以下、このモデルが、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景（すなわち、自動車、オートバイおよびバスは写っていない。）」の何れであるかを判定するためのモデルであるものとして説明する。このようなモデルを学習する場合、オペレータは、前述のラベルとして「自動車」、「オートバイ」、「バス」、「背景」のいずれかを画像毎に定める。各実施形態では、後述の識別部１０６（図２参照）が、モデルを用いて、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景」の何れであるかを判定する場合を例にして説明するが、モデルを用いて判定される対象は、「自動車」、「オートバイ」、「バス」、「背景」に限られない。オペレータは、識別処理の目的に応じた教師データを用意して、その教師データを用いて学習部１０３にモデルを学習させればよい。
学習部１０３は、ディープラーニングによって生成したモデルをモデル記憶部１０４に記憶させる。モデル記憶部１０４は、モデルを記憶する記憶装置である。
図３は、学習部１０３によって生成されるモデルの例を示す模式図である。モデルに適用される画像の画素数がｎであるとすると、その画像は、ｎ個の画素の各画素値を要素とするベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔと表すことができる。例えば、Ｘ１は、画像における１番目の画素の画素値を表す。Ｘ２〜Ｘｎに関しても同様である。また、ここで、Ｔは、転置を意味する。モデルは、複数の層を有し、層毎に複数の係数を含んでいる。図３に示す例では、１番目の層は、係数ａ１〜ａｍを含み、２番目の層は、係数ｂ１〜ｂｊを含んでいる。画像を表すベクトルの個々の要素Ｘ１〜Ｘｎは、１番目の層の各係数ａ１〜ａｍと関連付けられる。図３では、この関連付けを線で表している。また、ある層の各係数は、その次の層の各係数と関連付けられる。図３では、この関連付けも線で表している。関連付けられた要素間には重みが定められる。例えば、関連付けられたａ１とｂ１や、関連付けられたａ１とｂ２等にそれぞれ重みが定められる。
学習部１０３は、教師データを用いてディープラーニングを行うことによって、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値をそれぞれ決定する。これらの値が定めることが、モデルを生成することに該当する。
学習部１０３がモデルを学習し、そのモデルをモデル記憶部１０４に記憶させる処理は、前処理として予め実行される。
データ取得部１０５は、カメラ１０１が撮影によって得た新たな画像をカメラ１０１から取得する。データ取得部１０５は、カメラ１０１から画像を受信するためのインタフェースである。
識別部１０６は、データ取得部１０５が新たな画像をカメラ１０１から取得したときに、モデル記憶部１０４に記憶されているモデルにその画像を適用することによって、その画像が表わす物体を識別する。本例では、識別部１０６は、モデルに画像を適用することによって、画像に写っている物体が「自動車」であるのか、「オートバイ」であるのか、「バス」であるのか、あるいは、「背景」しか写っていないのかを判定する。
画像が得られた場合、画像を表すベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔが定まる。識別部１０６は、そのベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔと、モデルに含まれる各層の各係数（ａ１〜ａｍやｂ１〜ｂｊ等）およびモデルに含まれる各重みとを用いて、「自動車」、「オートバイ」、「バス」、「背景」の信頼度を算出する。そして、識別部１０６は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られた項目を識別結果として定める。例えば、識別部１０６が、画像を表すベクトルをモデルに適用した結果、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度として、“０．６”、“０．２”、“０．１”、“０．１”が得られたとする。この場合、識別部１０６は、画像に写っている物体は、最も高い信頼度“０．６”が得られた「自動車」であると識別する。そして、識別部１０６は、与えられた画像と、識別結果と、その識別結果に対応する信頼度との組合せを、データ記憶部１１２に記憶させる。図４は、識別部１０６がデータ記憶部１１２に記憶させる識別処理の結果の例を示す模式図である。本例では、識別部１０６は、図４に例示するように、画像と、「自動車」という識別結果と、その識別結果の信頼度“０．６”とを対応付けて、データ記憶部１１２に記憶させる。
なお、データ記憶部１１２は、画像、識別結果、信頼度等を記憶する記憶装置である。また、データ記憶部１１２は、データ提供システム１００のオペレータによって、正しい結果（正しいラベル）が入力されたり、画像に写っている物体を囲む矩形領域が指定されたりした場合、その正しい結果や、その矩形領域を表す座標（例えば、矩形領域の各頂点の座標）も記憶する。
キーボード１０７およびマウス１０８は、データ提供システム１００のオペレータがコンピュータ１０２に情報を入力するために用いる入力デバイスである。ただし、キーボード１０７およびマウス１０８は、入力デバイスの例であり、入力デバイスは、キーボード１０７およびマウス１０８に限定されない。
ラベル受付部１１０は、識別部１０６によって識別処理が行われた画像と、その識別処理の結果（識別結果および信頼度）とをディスプレイ装置１０９に表示するとともに、識別処理の結果が適切であることをオペレータが入力するためのＧＵＩ（Graphical User Interface）や、識別処理の結果が適切でないために、オペレータが画像に写っている物体を表す正しいラベルを入力するためのＧＵＩをディスプレイ装置１０９に表示する。
図５は、ラベル受付部１１０がディスプレイ装置１０９に表示させる画面の例を示す模式図である。ラベル受付部１１０は、識別部１０６によって識別処理が行われた画像３０１を表示するとともに、識別結果表示欄３０２に識別結果（本例では、「自動車」）を表示し、信頼度表示欄３０３に、識別結果に対応する信頼度（本例では、“０．６”）を表示する。また、ラベル受付部１１０は、その画面内に、ＯＫボタン３０４と、追加入力ボタン３０５とを表示する。
ＯＫボタン３０４は、オペレータが識別結果に問題がないと判断した場合にクリックするボタンである。オペレータは、画像に写っている物体を表すラベルが識別結果として表示されている場合、識別結果に問題がないと判断する。図５に示す例では、オペレータは、識別結果に問題がないと判断し、ＯＫボタン３０４をクリックする。ＯＫボタン３０４がクリックされた場合、ラベル受付部１１０は、識別部１０６がデータ記憶部１１２に記憶させたデータ（図４参照）にデータを追加しない。
また、画像に写っている物体とは異なる物体を表すラベルが識別結果として表示されている場合には、オペレータが識別結果に問題があると判断する。この場合、オペレータは、追加入力ボタン３０５をクリックする。
図６は、追加入力ボタン３０５がクリックされた場合にラベル受付部１１０がディスプレイ装置１０９に表示させる画面の例を示す模式図である。ラベル受付部１１０は、識別部１０６によって識別処理が行われた画像３０１を表示するとともに、識別結果表示欄３０２に識別結果を表示し、信頼度表示欄３０３に、識別結果に対応する信頼度を表示する。図６では、画像に自動車が写っているにも関わらず、識別結果として「オートバイ」が表示され、追加入力ボタン３０５（図５参照）がクリックされた場合の例を示している。ラベル受付部１１０は、図６に例示する画面内に、ラベル入力欄３０７と、確定ボタン３０８とを表示する。
ラベル入力欄３０７は、画像３０１に写っている物体を表す正しいラベルをオペレータが入力するための欄である。オペレータは、図６に例示する画面内で、ラベル入力欄３０７に、画像３０１に写っている物体を表す正しいラベルを入力する。また、オペレータは、マウス１０８を操作して、画像３０１内でその物体（本例では、自動車）を囲む矩形領域を指定する。確定ボタン３０８は、ラベルの入力および矩形領域の指定が完了した場合に、オペレータにクリックされるボタンである。
図６では、ラベル入力欄３０７に、画像３０１に写っている物体を表す正しいラベルである「自動車」がオペレータによって入力された場合を示している。また、図６では、オペレータが、画像３０１において、写っている物体（自動車）を囲む矩形領域３０９を、マウス１０８を用いて指定した場合を示している。オペレータが、ラベル入力欄３０７にラベルを入力し、さらに、矩形領域３０９をマウス１０８で指定した後に、確定ボタン３０８をクリックすると、ラベル受付部１１０は、オペレータが入力したラベルと、オペレータが指定した矩形領域３０９を表す座標を取得する。そして、ラベル受付部１１０は、識別部１０６がデータ記憶部１１２に記憶させた識別処理の結果に、オペレータが入力したラベルと、オペレータが指定した矩形領域３０９を表す座標を対応付けて記憶させる。
図７は、識別部１０６がデータ記憶部１１２に記憶させた識別処理の結果、および、ラベル受付部１１０によって追加された情報の例を示す模式図である。図７では、識別部１０６が、画像、識別結果「オートバイ」および信頼度“０．６”をデータ記憶部１１２に記憶させた後、ラベル受付部１１０が、図６に例示する画面を介して入力されたラベル「自動車」、および矩形領域３０９表す座標を追加してデータ記憶部１１２に記憶させた状態を模式的に表している。
送信対象データ決定部１１１は、識別部１０６が識別処理を行った画像が、収集装置２００に送信すべき送信対象データであるか否かを決定する。送信対象データ決定部１１１は、識別精度の高いモデルの生成に寄与することができる画像を送信対象データとして決定する。ここで、識別精度の高いモデルの生成に寄与することができる画像とは、例えば、識別部１０６がモデルを用いて識別を行った結果が、画像に写っている物体とは異なっている場合や、識別部１０６がモデルを用いて識別を行った結果が、画像に写っている物体を表していたとしても、信頼度が予め定められた閾値以下である場合等である。これらの画像は、正しい識別結果や、高い信頼度が得られなかった画像であり、このような画像と、画像に写っている物体を表すラベルと、画像内でその物体を囲む矩形領域とを教師データとすることによって、より高い識別精度のモデルを生成することができる。送信対象データ決定部１１１は、このような画像を送信対象データとして決定する。
以下、送信対象データ決定部１１１が、画像が送信対象データであるか否かを決定する方法として、３種類の決定方法を例示して説明する。送信対象データ決定部１１１は、１つの決定方法を採用して、画像が送信対象データであるか否かを決定してもよく、あるいは、送信対象データ決定部１１１は、複数の決定方法を採用して、画像が送信対象データであるか否かを決定してもよい。
［第１の決定方法］
第１の決定方法は、画像に対する識別部１０６の識別結果をオペレータが誤りであると判断し、オペレータが画像に写っている物体を表す正しいラベルを入力した場合、送信対象データ決定部１１１がその画像を送信対象データであると決定する方法である。なお、この場合、図６および図７を参照して説明したように、ラベル受付部１１０は、オペレータが入力したラベルと、オペレータが指定した矩形領域３０９を表す座標を取得し、そのラベルおよび座標を画像に対応づけてデータ記憶部１１２に記憶させる。送信対象データ決定部１１１は、送信対象データであると決定した画像に、そのラベルおよび座標を対応付け、画像、ラベルおよび座標の組を収集装置２００に送信すべきデータであると決定する。
図６に例示する画面において、オペレータがラベルを入力し、矩形領域３０９を指定し、確定ボタン３０８をクリックした場合、オペレータは、画面に表示されている画像が送信対象データである旨の情報を入力したと言える。従って、第１の送信方法では、オペレータが画面に表示されている画像が送信対象データである旨の情報を入力した場合に、送信対象データ決定部１１１が、その画像が送信対象データであると決定していると言える。なお、図５に例示する画面でＯＫボタン３０４がクリックされた場合には、送信対象データ決定部１１１は、その画面に表示されている画像は送信対象データでないと決定する。
［第２の決定方法］
第２の決定方法では、送信対象データ決定部１１１は、画像をモデルに適用した結果に基づいて、その画像が送信対象データであるか否かを決定する。前述のように、識別部１０６は、画像をモデルに適用することによって、「自動車」、「オートバイ」、「バス」、「背景」の信頼度を算出し、最も高い信頼度が得られた項目を識別結果として定める。第２の決定方法では、送信対象データ決定部１１１は、識別結果に対応する信頼度に基づいて、画像が送信対象データであるか否かを決定する。より具体的には、識別結果に対応する信頼度が予め定められた閾値以下である場合、送信対象データ決定部１１１は、識別処理の対象となった画像が送信対象データであると決定する。また、信頼度が予め定められた閾値を超えている場合には、送信対象データ決定部１１１は、識別処理の対象となった画像は送信対象データでないと決定する。この閾値は、例えば、“０．５”であるが、“０．５”に限定されない。以下、この閾値が“０．５”である場合を例にして説明する。
信頼度が予め定められた閾値以下であることにより、送信対象データ決定部１１１が識別処理の対象となった画像が送信対象データであると決定した場合、ラベル受付部１１０は、オペレータがラベルを入力したり、画像内において物体を囲む矩形領域を指定したりするための画面を表示する。この画面は図６に例示する画面と同様である。図８は、第２の決定方法で画像が送信対象データであると決定された場合にラベル受付部１１０がディスプレイ装置１０９に表示させる画面の例を示す模式図である。図６に示す要素と同一の要素には、図６と同一の符号を付す。図８に示す例では、識別結果である「自動車」は正しい。しかし、その識別結果に対応する信頼度“０．４”は、閾値以下であり、送信対象データ決定部１１１は、画像３０１が送信対象データであると決定している。第２の決定方法では、図８に例示する画面が表示されると、オペレータは、画像３０１に写っている物体を表す正しいラベルを入力するとともに、画像３０１内でその物体（本例では、自動車）を囲む矩形領域を指定し、その後、確定ボタン３０８をクリックする。ラベル受付部１１０は、オペレータが入力したラベルと、オペレータが指定した矩形領域３０９を表す座標を取得する。そして、ラベル受付部１１０は、識別部１０６がデータ記憶部１１２に記憶させた識別処理の結果に、そのラベルおよび座標を対応づけて、データ記憶部１１２に記憶させる。送信対象データ決定部１１１は、送信対象データであると決定した画像に、そのラベルおよび座標を対応付け、画像、ラベルおよび座標の組を収集装置２００に送信すべきデータであると決定する。
［第３の決定方法］
第３の決定方法では、送信対象データ決定部１１１は、画像をモデルに適用した結果に基づいて、その画像が送信対象データであるか否かを決定する。識別部１０６は、画像をモデルに適用することによって、識別結果とその識別結果に対応する信頼度を特定する。また、送信対象データ決定部１１１は、その画像と、その画像に対して識別処理を行うことによって得た物体の識別結果を送信対象データ決定部１１１に送信することを要求する信号とを他のデータ提供システム１００に送信する。以下、他のデータ提供システムを符号“１００ｚ”で表す。送信対象データ決定部１１１から画像およびこの信号を受信した他のデータ提供システム１００ｚは、受信した画像を、そのデータ提供システム１００ｚが保持しているモデルに適用することによって、画像に写っている物体の識別結果を導出し、要求元のデータ提供システム１００の送信対象データ決定部１１１に、その識別結果を送り返す。
なお、送信対象データ決定部１１１は、複数台の他のデータ提供システム１００ｚに対して、画像および上記の信号を送信してもよい。また、画像の送り先となる他のデータ提供システム１００ｚは、予め定めておけばよい。
送信対象データ決定部１１１は、その送信対象データ決定部１１１を含むコンピュータ１０２内の識別部１０６が特定した識別結果だけでなく、他のデータ提供システム１００ｚから取得したその画像に対する識別結果も用いて、その画像が送信対象データであるか否かを決定する。具体的には、送信対象データ決定部１１１は、その送信対象データ決定部１１１を含むコンピュータ１０２内の識別部１０６が特定した画像に写っている物体の識別結果と、他のデータ提供システム１００ｚから取得したその画像に対する識別結果とが異なっていれば、その画像が送信対象データであると決定する。また、送信対象データ決定部１１１は、識別部１０６が特定した画像に写っている物体の識別結果と、他のデータ提供システム１００ｚから取得したその画像に対する識別結果とが同じであれば、その画像は送信対象データでないと決定する。なお、他の複数台のデータ提供システム１００ｚから識別結果を取得した場合、送信対象データ決定部１１１は、例えば、識別部１０６が特定した画像に写っている物体の識別結果と異なる識別結果が１つでも存在していれば、画像が送信対象データであると決定してよい。
識別部１０６による識別結果と、他のデータ提供システム１００ｚによる識別結果とが異なる画像は、写っている物体の識別が困難な画像であり、識別精度の高いモデルの生成に寄与する画像であると言える。
第３の決定方法において、送信対象データ決定部１１１が識別処理の対象となった画像が送信対象データであると決定した場合、ラベル受付部１１０は、図６や図８に例示する画面と同様の画面を表示し、画像に写っている物体を表す正しいラベルの入力と、画像内においてその物体を囲む矩形領域の指定を受け付ける。そして、ラベル受付部１１０は、識別部１０６がデータ記憶部１１２に記憶させた識別処理の結果に、そのラベルおよびその矩形領域を表す座標を対応付けて、データ記憶部１１２に記憶させる。送信対象データ決定部１１１は、送信対象データであると決定した画像に、そのラベルおよび座標を対応付け、画像、ラベルおよび座標の組を収集装置２００に送信すべきデータであると決定する。
前述のように、送信対象データ決定部１１１は、複数の決定方法を採用して、画像が送信対象データであるか否かを決定してもよい。この場合、送信対象データ決定部１１１は、第１の決定方法から第３の決定方法のいずれかの決定方法で、画像が送信対象データであると決定したならば、画像が送信対象データであると確定してよい。
データ送信部１１３は、送信対象データであると決定された画像を、所定のタイミングで収集装置２００に送信する。既に説明したように、第１の決定方法から第３の決定方法のいずれの決定方法においても、送信対象データ決定部１１１は、送信対象データであると決定した画像に、オペレータが入力したラベル、および、矩形領域３０９（図６、図８を参照）を表す座標を対応付け、その画像、ラベル、座標の組を、収集装置２００に送信すべきデータであると決定する。従って、データ送信部１１３は、送信対象データであると決定された画像とラベルと矩形領域３０９を表す座標との組を全て、所定のタイミングで収集装置２００に送信する。ただし、データ送信部１１３は、収集装置２００に送信済みの組に関しては、再度、送信しなくてよい。
データ送信部１１３が、送信対象データであると決定された画像とラベルと座標との組を収集装置２００に送信するタイミングについて説明する。
データ送信部１１３は、送信対象データであると決定された各画像の容量が予め定められた容量以上になったタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。すなわち、送信対象データであると決定された各画像の容量の総和が、予め定められた容量以上になったタイミングで、データ送信部１１３は、送信すべきデータを収集装置２００に送信してもよい。
また、データ送信部１１３は、予め定められた時刻に、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。例えば、データ送信時刻として午前０時が予め定められている場合、データ送信部１１３は、毎日、午前０時に、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。
また、データ送信部１１３は、一定期間毎（例えば、１日毎）に得られる誤識別率を参照し、誤識別率が予め定められた閾値以上となったタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。誤識別率は、指標値集計部１１４が一定期間毎に算出すればよい。例えば、指標値集計部１１４は、１日毎に、誤識別率を算出する。誤識別率は、一定期間（本例では１日）における、識別部１０６が識別処理の対象とした画像の総数に対する、識別結果が誤っているとオペレータに判断された画像の数の割合である。識別結果が誤っているとオペレータに判断された画像の数は、例えば、図５に示す追加入力ボタン３０５がクリックされた回数に相当する。従って、指標値集計部１１４は、一定期間内で、識別部１０６が識別処理の対象とした画像の数を集計するとともに、その一定期間内で、図５に示す追加入力ボタン３０５がクリックされた回数を集計する。そして、指標値集計部１１４は、識別部１０６が識別処理の対象とした画像の数の集計結果に対する、追加入力ボタン３０５のクリック回数の集計結果の割合を、誤識別率として算出すればよい。指標値集計部１１４は、一定期間毎に、誤識別率を算出し直す。データ送信部１１３は、このように一定期間毎に算出される誤識別率を参照すればよい。
また、データ送信部１１３は、送信対象データであると決定された各画像を送信する旨の指示を、データ提供システム１００のオペレータから受け付けたタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。この場合について、より具体的に説明する。指標値集計部１１４は、前述の一定期間毎の誤識別率以外に、モデルの識別精度を表す指標値を集計する。なお、一定期間毎の誤識別率もモデルの識別精度を表す指標値であると言えるが、ここでは、指標値集計部１１４が一定期間毎の誤識別率以外に、モデルの識別精度を表す指標値として、識別結果に対する信頼度が閾値（本例では“０．５”とする。）以下となった画像の総数、および、識別結果が誤っているとオペレータに判断された画像の総数を集計する。既に説明したように、識別結果が誤っているとオペレータに判断された画像の数は、図５に示す追加入力ボタン３０５がクリックされた回数に相当する。従って、指標値集計部１１４は、識別結果が誤っているとオペレータに判断された画像の総数として、図５に示す追加入力ボタン３０５がクリックされた回数の総数を集計すればよい。以下、識別結果に対する信頼度が閾値（本例では“０．５”とする。）以下となった画像の総数を、「低信頼度の識別結果数」と記す。また、識別結果が誤っているとオペレータに判断された画像の総数を、「誤識別数」と記す。
表示制御部１１５は、指標値集計部１１４が導出した低信頼度の識別結果数および誤識別数、並びに、送信対象データであると決定された各画像を送信することを指示するためのＧＵＩを、ディスプレイ装置１０９に表示させる。以下、このＧＵＩが、ボタンである場合を例にして説明し、このボタンを送信指示ボタンと記す。表示制御部１１５は、低信頼度の識別結果数、誤識別数、および送信指示ボタンを、例えば、直近に識別処理の対象となった画像に重畳して、ディスプレイ装置１０９に表示させてもよい。図９は、低信頼度の識別結果数、誤識別数、および送信指示ボタンを含む画面の例を示す模式図である。図９では、表示制御部１１５が、低信頼度の識別結果数および誤識別数と、送信指示ボタン４１とを、直近に識別処理の対象となった画像に重畳して、ディスプレイ装置１０９に表示させた場合を示している。
なお、コンピュータ１０２は、図５に例示する画面と、図９に例示する画面との切り替えを、オペレータの操作に応じて行えばよい。同様に、コンピュータ１０２は、図６および図８に例示する画面と、図９に例示する画面との切り替えを、オペレータの操作に応じて行えばよい。
また、指標値集計部１１４が低信頼度の識別結果数や誤識別数の値を更新した場合には、表示制御部１１５は、それに合わせて、ディスプレイ装置１０９に表示する低信頼度の識別結果数や誤識別数の値を更新する。
オペレータは、表示された低信頼度の識別結果数や誤識別数の値を参照し、既に得られている、送信対象データであると決定された画像とラベルと座標との各組を収集装置２００に送信するタイミングであると判断した場合には、送信指示ボタン４１（図９参照）をクリックする。送信指示ボタン４１がクリックされたということは、送信対象データであると決定された各画像を送信する旨の指示が入力されたことを意味する。送信指示ボタン４１がクリックされると、データ送信部１１３は、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信する。
また、データ送信部１１３は、収集装置２００からデータの送信要求を受信したタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。なお、収集装置２００がデータ提供システム１００にデータの送信要求を送る動作については、第２の実施形態で詳しく説明する。
以上、複数種類の送信タイミングを説明した。データ送信部１１３は、上記の複数種類の送信タイミングのいずれか１種類のタイミングで、データを収集装置２００に送信してもよい。あるいは、データ送信部１１３は、前述の各種タイミングのうち、任意の複数種類のタイミングで、データを収集装置２００に送信してもよい。
データ送信部１１３は、例えば、データ提供プログラムに従って動作するコンピュータ１０２のＣＰＵ（Central Processing Unit ）およびコンピュータ１０２の通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータ１０２のプログラム記憶装置等のプログラム記録媒体からデータ提供プログラムを読み込み、データ提供プログラムに従って、通信インタフェースを用いて、データ送信部１１３として動作すればよい。また、送信対象データ決定部１１１が前述の第３の決定方法を採用する場合、送信対象データ決定部１１１も、例えば、データ提供プログラムに従って動作するコンピュータ１０２のＣＰＵおよびコンピュータ１０２の通信インタフェースによって実現される。すなわち、上記のようにデータ提供プログラムを読み込んだＣＰＵが、データ提供プログラムに従って、通信インタフェースを用いて、送信対象データ決定部１１１として動作すればよい。また、学習部１０３、識別部１０６、ラベル受付部１１０、送信対象データ決定部１１１、指標値集計部１１４および表示制御部１１５も、例えば、データ提供プログラムに従って動作するコンピュータ１０２のＣＰＵによって実現される。すなわち、上記のようにデータ提供プログラムを読み込んだＣＰＵが、データ提供プログラムに従って、学習部１０３、識別部１０６、ラベル受付部１１０、送信対象データ決定部１１１、指標値集計部１１４および表示制御部１１５として動作すればよい。また、モデル記憶部１０４およびデータ記憶部１１２は、コンピュータ１０２が備える記憶装置によって実現される。
なお、モデル記憶部１０４および識別部１０６がカメラ１０１側に設けられる構成であってもよい。
図１０は、第１の実施形態における収集装置２００の構成例を示すブロック図である。収集装置２００は、コンピュータによって実現される。収集装置２００は、データ受信部２０１と、収集装置側データ記憶部２０２とを備える。
データ受信部２０１は、データ提供システム１００のデータ送信部１１３（図２参照）が送信したデータ（画像、ラベルおよび座標の組の集合）を受信する。データ受信部２０１は、１台のデータ提供システム１００だけからデータを受信するのではなく、図１に示す複数のデータ提供システム１００からそれぞれデータを受信する。
データ受信部２０１は、各データ提供システム１００からデータを受信すると、受信したデータを収集装置側データ記憶部２０２に記憶させる。
収集装置側データ記憶部２０２は、各データ提供システム１００から受信したデータを記憶する記憶装置である。
データ受信部２０１は、例えば、収集装置用プログラムに従って動作するコンピュータのＣＰＵおよびそのコンピュータの通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータのプログラム記憶装置等のプログラム記録媒体から収集装置用プログラムを読み込み、収集装置用プログラムに従って、通信インタフェースを用いて、データ受信部２０１として動作すればよい。また、収集装置側データ記憶部２０２は、そのコンピュータが備える記憶装置によって実現される。
次に、第１の実施形態の処理経過について説明する。既に説明した動作については、詳細な説明を省略する。図１１は、第１の実施形態のデータ提供システム１００の処理経過の例を示すフローチャートである。なお、予め、学習部１０３がディープラーニングによってモデルを学習し、そのモデルをモデル記憶部１０４に記憶させているものとする。
まず、カメラ１０１が、そのカメラ１０１の設置場所で撮影を行うことによって、画像を得る（ステップＳ１）。カメラ１０１は、その画像をコンピュータ１０２に送信する。
コンピュータ１０２の識別部１０６は、データ取得部１０５を介して、その画像を受け取る。そして、識別部１０６は、その画像をモデルに適用することによって、画像に写っている物体を識別する(ステップＳ２）。本例では、識別部１０６は、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景（すなわち、自動車、オートバイおよびバスは写っていない。）」の何れであるかを識別する。また、識別部１０６は、識別結果を得る過程で、その識別結果に対応する信頼度も算出する。
ステップＳ２の後、送信対象データ決定部１１１は、ステップＳ２で識別処理の対象となった画像が送信対象データであるか否かを決定する（ステップＳ３）。画像が送信対象データであるか否かを決定する方法として、例えば、前述の第１の決定方法、第２の決定方法および第３の決定方法が挙げられる。送信対象データ決定部１１１は、第１の決定方法、第２の決定方法および第３の決定方法のうちのいずれか１つの方法で、画像が送信対象データであるか否かを決定してもよい。また、送信対象データ決定部１１１は、第１の決定方法、第２の決定方法および第３の決定方法のうちの任意の複数の方法を採用して、画像が送信対象データであるか否かを決定してもよい。
また、送信対象データ決定部１１１は、画像が送信対象データであるか否かを決定する際、図６や図８に例示する画面を介して、オペレータから、画像に写っている物体を表す正しいラベルを取得したり、画像内でその物体を囲む矩形領域を指定されたりする。送信対象データ決定部１１１は、送信対象データである画像、そのラベルと、その矩形領域を表わす座標との組を、収集装置２００に送信するデータとして決定する。
データ送信部１１３は、所定のタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信する（ステップＳ４）。データ送信部１１３が収集装置２００にデータを送信するタイミングの種々の例については、既に説明したので、ここでは説明を省略する。
なお、収集装置２００のデータ受信部２０１（図１０参照）は、データ送信部１１３がステップＳ４で送信したデータを受信し、そのデータを収集装置側データ記憶部２０２に記憶させる。
本実施形態によれば、送信対象データ決定部１１１は、前述の第１の決定方法、第２の決定方法および第３の決定方法のうちの少なくとも１つの方法で、画像が送信対象データであるか否かを決定する。従って、送信対象データとなる画像は、識別部１０６による識別結果が誤っていた画像、識別結果に対応する信頼度が閾値以下である画像、または、識別部１０６による識別結果と他のデータ提供システム１００ｚによる識別結果とが異なっていた画像である。これらの画像は、正しい識別結果が得にくい画像であり、これらの画像を教師データとしてディープラーニングを行うことによって、識別精度の高いモデルを得ることができる。そして、データ送信部１１３は、そのような画像を、オペレータに指定されたラベルや座標とともに収集装置２００に送信する。従って、本実施形態によれば、識別精度の高いモデルの生成に寄与することができるデータを収集装置２００が容易に収集することができる。
各データ提供システム１００のカメラ１０１が撮影を行う環境はそれぞれ異なっているので、収集装置側データ記憶部２０２には、画像、ラベルおよび座標の組として様々なデータが蓄積される。従って、収集装置側データ記憶部２０２に蓄積されたデータを教師データとしてディープラーニングを行うことによって、様々な撮影環境で得られた画像に対して高い精度で識別処理を行える、汎用性の高いモデルを生成することができる。
実施形態２．
本発明の第２の実施形態のデータ収集システムは、図１に示す場合と同様に、複数のデータ提供システム１００と、収集装置２００とを備える。
図１２は、第２の実施形態におけるデータ提供システム１００の構成例を示すブロック図である。データ収集システムが備える複数のデータ提供システム１００は、同様の構成であり、第２の実施形態における各データ提供システム１００の構成は、図１２のように表すことができる。図２に示す構成要素と同様の構成要素に関しては、図２と同一の符号を付し、説明を省略する。また、第１の実施形態で説明した事項に関しても、説明を省略する。
なお、第２の実施形態においても、データ収集部１０１がカメラである場合を例にして説明し、データ収集部１０１をカメラ１０１と記す。データ提供システム１００が備えるコンピュータ１０２は、第１の実施形態におけるコンピュータ１０２（図２参照）が備える各要素に加えて、指標値送信部１１６と、属性データ記憶部１１７と、属性データ送信部１１８とを備える。データ提供システム１００が備える要素のうち、指標値送信部１１６、属性データ記憶部１１７および属性データ送信部１１８以外の要素は、第１の実施形態におけるそれらの要素と同様であり、説明を省略する。
指標値送信部１１６は、指標値集計部１１４が低信頼度の識別結果数や誤識別数の値を更新すると、更新後の低信頼度の識別結果数や、更新後の誤識別数を、データ提供システム１００の識別情報とともに、収集装置２００に送信する。
属性データ記憶部１１７は、属性データ記憶部１１７を含むコンピュータ１０２に接続されているカメラ１０１の属性を示すデータ（属性データ）を記憶する記憶装置である。カメラ１０１の属性として、カメラ１０１自体の属性や、カメラ１０１が設置されている環境に依存する属性等が挙げられる。各属性の値は数値で表される。また、各属性の値は、データ提供システム１００の管理者がカメラ１０１の設定や設置環境等に応じて予め決定すればよい。属性データは、このような属性の値（数値）を要素とするベクトルで表される。
カメラ１０１の属性データは、少なくとも、「カメラ１０１の画角」、「カメラ１０１が屋内に設置されているか屋外に設置されているか」、「カメラ１０１の撮影対象」、「カメラ１０１の撮影対象の移動方向」という各属性のうちの少なくとも一部の属性の値を含む。また、ベクトルで表される属性データが、どの属性の値を要素としているかは、全てのデータ提供システム１００で共通であり、どの属性の値がベクトルの何番目の要素になっているかに関しても、全てのデータ提供システム１００で共通である。ベクトルの各要素となる数値は、データ提供システム１００毎に異なっていてよい。
「カメラ１０１の画角」は、数値で表されるので、管理者は、画角を表わす数値をベクトルの要素として定めればよい。
「カメラ１０１が屋内に設置されているか屋外に設置されているか」という属性に関しては、例えば、カメラ１０１が屋内に設置されている場合には、この属性の値を“０”に定め、カメラ１０１が屋外に設置されている場合には、この属性の値を“１”に定めればよい。
また、「カメラ１０１の撮影対象」という属性に関しては、例えば、カメラ１０１が車両を撮影するように設置されている場合（例えば、カメラ１０１が車道に向けて設置されている場合）、この属性の値を“０”に定める。また、カメラ１０１が歩行者を撮影するように設置されている場合（例えば、カメラ１０１が歩道に向けて設置されている場合）、この属性の値を“１”に定める。また、カメラ１０１が車両と歩行者の両方を撮影するように設置されている場合（例えば、カメラ１０１が車両と歩行者の両方が通る道に向けて設置されている場合）、この属性の値を“０．５”に定める。
「カメラ１０１の撮影対象の移動方向」という属性に関しては、カメラ１０１の主軸方向等に基づいた基準軸を定め、その基準軸と、撮影対象の主たる移動方向とのなす角度を、この属性の値として定めればよい。
また、上記以外の属性の値を属性データに含めてもよい。例えば、「カメラ１０１の設置場所の高さ」、「カメラ１０１の俯角」、「カメラ１０１の解像度」等の値を属性データに含めてもよい。「カメラ１０１の設置場所の高さ」、「カメラ１０１の俯角」、「カメラ１０１の解像度」はいずれも数値で表されるので、それらの数値をベクトルの要素として定めればよい。
属性データ記憶部１１７は、管理者によって上記のように定められたベクトル（属性データ）を記憶するとともに、データ提供システム１００の識別情報や、カメラ１０１の設置場所の位置情報（例えば、緯度および経度）も記憶する。これらのベクトル（属性データ）、データ提供システム１００の識別情報、および、カメラ１０１の設置場所の位置情報は、予め、データ提供システム１００の管理者が、属性データ記憶部１１７に記憶させておけばよい。
属性データ送信部１１８は、属性データ記憶部１１７に記憶されているベクトル（属性データ）、データ提供システム１００の識別情報、および、カメラ１０１の設置場所の位置情報を、収集装置２００に送信する。
指標値送信部１１６および属性データ送信部１１８は、例えば、データ提供プログラムに従って動作するコンピュータ１０２のＣＰＵおよびコンピュータ１０２の通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータ１０２のプログラム記憶装置等のプログラム記録媒体からデータ提供プログラムを読み込み、データ提供プログラムに従って、通信インタフェースを用いて、指標値送信部１１６および属性データ送信部１１８として動作すればよい。属性データ記憶部１１７は、コンピュータ１０２が備える記憶装置によって実現される。
図１３は、第２の実施形態における収集装置２００の構成例を示すブロック図である。図１０に示す構成要素と同様の構成要素に関しては、図１０と同一の符号を付し、説明を省略する。
第２の実施形態における収集装置２００は、データ受信部２０１と、収集装置側データ記憶部２０２と、属性データ受信部２０３と、属性データ記憶部２０４と、指標値受信部２０５と、指標値記憶部２０６と、分類部２０７と、分類結果記憶部２０８と、ディスプレイ装置２０９と、マウス２１０と、アイコン表示部２１１と、選択部２１２と、データ要求部２１３とを備える。
データ受信部２０１および収集装置側データ記憶部２０２は、第１の実施形態におけるデータ受信部２０１および収集装置側データ記憶部２０２（図１０参照）と同様であり説明を省略する。
属性データ受信部２０３は、各データ提供システム１００の属性データ送信部１１８が送信したカメラ１０１の属性データ（ベクトル）と、データ提供システム１００の識別情報と、カメラ１０１の設置場所の位置情報とを受信し、受信した属性データと識別情報と位置情報とを対応付けて、属性データ記憶部２０４に記憶させる。
属性データ記憶部２０４は、データ提供システム１００毎に、カメラ１０１の属性データと、データ提供システム１００の識別情報と、カメラ１０１の設置場所の位置情報とを対応付けて記憶する記憶装置である。
指標値受信部２０５は、各データ提供システム１００の指標値送信部１１６がデータ提供システム１００の識別情報とともに送信した低信頼度の識別結果数や誤識別数を受信し、低信頼度の識別結果数や誤識別数をデータ提供システム１００の識別情報と対応付けて、指標値記憶部２０６に記憶させる。
指標値記憶部２０６は、データ提供システム１００毎に、データ提供システム１００の識別情報と、低信頼度の識別結果数および誤識別数とを対応付けて記憶する記憶装置である。
分類部２０７は、属性データ記憶部２０４に記憶されている各データ提供システム１００のカメラ１０１の属性データを用いて、各データ提供システム１００を複数のグループに分類する。より具体的には、分類部２０７は、各データ提供システム１００の識別情報を複数のグループに分類する。
例えば、分類部２０７は、ベクトルで表される各属性データを用いて、ｋ-ｍｅａｎｓ法によって、各データ提供システム１００を複数のグループに分類すればよい。
分類部２０７は、分類したグループ毎に、グループの識別情報と、そのグループに属する各データ提供システム１００の識別情報とを対応付けて、分類結果記憶部２０８に記憶させる。
分類結果記憶部２０８は、グループ毎に、グループの識別情報と、そのグループに属する各データ提供システム１００の識別情報とを対応付けて記憶する記憶装置である。
分類部２０７が属性データに基づいて各データ提供システム１００を複数のグループに分類し、分類結果を分類結果記憶部２０８に記憶させる処理は、前処理として予め実行される。
マウス２１０は、収集装置２００のオペレータが収集装置２００に情報を入力するために用いる入力デバイスである。ただし、マウス２１０は、入力デバイスの例であり、入力デバイスは、マウス２１０に限定されない。
アイコン表示部２１１は、分類結果記憶部２０８に記憶されているグループの識別情報と、そのグループに属する各データ提供システム１００の識別情報とに基づいて、グループ毎に異なる態様で（例えば、異なる色や模様で）、個々のデータ提供システムを表わすアイコンをそれぞれディスプレイ装置２０９上に表示する。
図１４は、アイコン表示部２１１がディスプレイ装置２０９上に表示する画面の例を示す模式図である。アイコン表示部２１１は、予め保持している地図データが示す地図画像に、個々のデータ提供システム１００を表わすアイコン５１〜５５を重畳し、ディスプレイ装置２０９上に表示する。図１４では、５個のアイコン５１〜５５を図示しているが、表示されるアイコンの数は、データ提供システム１００の数に依存する。アイコン表示部２１１は、アイコンに対応するデータ提供システム１００のカメラ１０１の位置情報を属性データ記憶部２０４から読み込み、地図画像上で、カメラ１０１の位置情報が示す位置にアイコンを重畳する。
図１４では、アイコン表示部２１１が、グループ毎に異なる模様で個々のアイコン５１〜５５を表示する。アイコンの模様が同じであるということは、そのアイコンが表わすデータ提供システム１００が同じグループに属していることを意味している。例えば、図１４に示す例では、アイコン５１，５４が示す各データ提供システム１００が同じグループに属し、アイコン５２，５３が示す各データ提供システム１００が同じグループに属し、アイコン５５が示すデータ提供システム１００が他の２つのグループとは異なるグループに属していることを示している。なお、アイコン表示部２１１は、グループ毎に異なる色で個々のアイコンを表示してもよい。
また、アイコン表示部２１１は、各アイコンをディスプレイ装置２０９上に表示するとともに、各アイコンの近傍に、アイコンに対応するデータ提供システム１００から取得した「低信頼度の識別結果数」および「誤識別数」をディスプレイ装置２０９上に表示する。「低信頼度の識別結果数」および「誤識別数」の表示態様は、数値を直接表示する態様でなくてもよい。図１４では、「低信頼度の識別結果数」および「誤識別数」を横棒グラフで表示する場合を例示している。各アイコンに対応する横棒グラフにおいて、例えば、上側のバーが「低信頼度の識別結果数」を表し、下側のバーが「誤識別数」を表わしている。アイコン表示部２１１は、各データ提供システム１００の「低信頼度の識別結果数」および「誤識別数」を指標値記憶部２０６から読み込み、その値に基づいて、各バーの長さを決定すればよい。
また、アイコン表示部２１１は、各横棒グラフをディスプレイ装置２０９上に表示するときに、「低信頼度の識別結果数」が予め定められた閾値以上になっている場合には、「低信頼度の識別結果数」を表わすバーを模様や色で強調して表示する。同様に、アイコン表示部２１１は、「誤識別数」が予め定められた閾値以上になっている場合には、「誤識別数」を表わすバーを模様や色で強調して表示する。
また、アイコン表示部２１１は、地図画像にアイコン５１〜５５および各横棒グラフを重畳した画面をディスプレイ装置２０９上に表示するときに、ボタン５７も合わせて表示する（図１４参照）。ボタン５７がクリックされた場合の動作については後述する。
データ要求部２１３は、収集装置２００のオペレータに指定されたデータ提供システム１００に対して、データの送信要求を送信する。本実施形態では、収集装置２００のオペレータは、ディスプレイ装置２０９上に表示されたデータ提供システム１００を表わすアイコン（図１４参照）をクリックすることによって、データの提供元となるデータ提供システム１００を指定する。すなわち、図１４に示す例では、データ要求部２１３は、アイコン５１〜５５のいずれかがオペレータによってクリックされた場合、クリックされたアイコンに対応するデータ提供システム１００に対して、データの送信要求を送信する。
収集装置２００のオペレータは、アイコンの近傍に表示されている棒グラフ（すなわち、「低信頼度の識別結果数」および「誤識別数」）を参照して、指定するデータ提供システム１００を判断すればよい。
なお、データ要求部２１３は、クリックされたアイコンに対応するデータ提供システム１００と同じグループに分類された各データ提供システム１００に対してそれぞれ、データの送信要求を送信してもよい。
また、ボタン５７は、各グループからそれぞれ所定数のデータ提供システム１００を選択し、選択されたデータ提供システム１００に対してそれぞれ、データの送信要求を送信することを指示するためのボタンである。
収集装置２００のオペレータによってボタン５７がクリックされた場合、選択部２１２は、分類結果記憶部２０８に記憶されている分類部２０７による分類結果を参照し、グループ毎に、それぞれ所定数のデータ提供システム１００を選択する。選択部２１２は、各グループからそれぞれ、任意に所定数のデータ提供システム１００を選択してもよい。あるいは、選択部２１２は、各グループからそれぞれ所定数のデータ提供システム１００を選択するときに、「低信頼度の識別結果数」および「誤識別数」に基づいて、選択するデータ提供システム１００を決定してもよい。なお、この所定数は、“１”であってもよく、あるいは、“２”以上であってもよい。また、あるグループに属するデータ提供システム１００の数が上記の所定数に満たない場合には、選択部２１２は、そのグループに関しては、グループに属する各データ提供システム１００を選択すればよい。
ボタン５７がクリックされたことによって、選択部２１２がグループ毎に、それぞれ所定数のデータ提供システム１００を選択した場合、データ要求部２１３は、選択部２１２が選択した各データ提供システム１００に対してそれぞれ、データの送信要求を送信する。
データ要求部２１３からの送信要求を受信したデータ提供システム１００のデータ送信部１１３は、送信要求を受信したタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信する。
収集装置２００のデータ受信部２０１は、データ提供システム１００のデータ送信部１１３が送信した画像とラベルと座標との各組を受信すると、受信したデータを収集装置側データ記憶部２０２に記憶させる。この点は、第１の実施形態と同様である。
データ受信部２０１、属性データ受信部２０３、指標値受信部２０５およびデータ要求部２１３は、例えば、収集装置用プログラムに従って動作するコンピュータのＣＰＵおよびそのコンピュータの通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータのプログラム記憶装置等のプログラム記録媒体から収集装置用プログラムを読み込み、収集装置用プログラムに従って、通信インタフェースを用いて、データ受信部２０１、属性データ受信部２０３、指標値受信部２０５およびデータ要求部２１３として動作すればよい。また、分類部２０７、アイコン表示部２１１および選択部２１２も、例えば、収集装置用プログラムに従って動作するコンピュータのＣＰＵによって実現される。すなわち、上記のように、収集装置用プログラムを読み込んだＣＰＵが、収集装置用プログラムに従って、分類部２０７、アイコン表示部２１１および選択部２１２として動作すればよい。収集装置側データ記憶部２０２、属性データ記憶部２０４、指標値記憶部２０６および分類結果記憶部２０８は、コンピュータが備える記憶装置によって実現される。
次に、第２の実施形態の処理経過について説明する。図１５は、第２の実施形態における収集装置２００の処理経過の例を示すフローチャートである。なお、既に説明した事項に関しては、詳細な説明を省略する。
なお、予め、個々のデータ提供システム１００はそれぞれ、収集装置２００に送信するデータ（画像とラベルと座標との組の集合）を決定しているものとする。データ提供システム１００が収集装置２００に送信するデータを決定する動作は、第１の実施形態と同様であり、説明を省略する。
また、個々のデータ提供システム１００の属性データ送信部１１８はそれぞれ、カメラ１０１の属性データ、データ提供システム１００の識別情報およびカメラ１０１の設置場所の位置情報を収集装置２００に送信しているものとする。そして、収集装置２００の属性データ受信部２０３は、各データ提供システム１００からそれらのデータを受信し、受信したデータを属性データ記憶部２０４に記憶させているものとする。さらに、分類部２０７が、各データ提供システム１００のカメラ１０１の属性データを用いて、各データ提供システム１００を複数のグループに分類し、その分類結果を、分類結果記憶部２０８に記憶させているものとする。すなわち、各データ提供システム１００は、属性データに基づいて、予め、複数のグループに分類されているものとする。
また、個々のデータ提供システム１００の属性データ送信部１１８はそれぞれ、低信頼度の識別結果数、および、誤認数を、データ提供システム１００の識別情報とともに、収集装置２００に送信しているものとする。そして、収集装置２００の指標値受信部２０５は、各データ提供システム１００からそれらのデータを受信し、受信したデータを指標値記憶部２０６に記憶させているものとする。
まず、アイコン表示部２１１は、予め保持している地図データが示す地図画像に、個々のデータ提供システム１００を表わすアイコンを重畳し、ディスプレイ装置２０９上に表示する（ステップＳ１１）。ステップＳ１１において、アイコン表示部２１１は、各アイコンの近傍に、アイコンに対応するデータ提供システム１００から取得した「低信頼度の識別結果数」および「誤識別数」をディスプレイ装置２０９上に表示する。アイコン表示部２１１は、「低信頼度の識別結果数」および「誤識別数」を、例えば、横棒グラフで表示してもよい（図１４参照）。ただし、「低信頼度の識別結果数」および「誤識別数」の表示形式は、横棒グラフに限定されない。また、ステップＳ１１において、アイコン表示部２１１は、前述のボタン５７も、各アイコンおよび各横棒グラフ等とともに、ディスプレイ装置２０９上に表示する。ステップＳ１１では、図１４に例示する画面が表示される。
ステップＳ１１の後、選択部２１２は、ボタン５７（図１４参照）がオペレータによってクリックされたか否かを判定する（ステップＳ１２）。ボタン５７がクリックされていない場合（ステップＳ１２のＮｏ）、データ要求部２１３は、データ提供システム１００を表わす各アイコンのうちのいずれかのアイコンがオペレータによってクリックされたか否かを判定する（ステップＳ１６）。
ボタン５７がクリックされておらず、また、データ提供システム１００を表わすいずれのアイコンもクリックされていない場合（ステップＳ１６のＮｏ）、ステップＳ１２以降の処理を繰り返す。
また、この間に、いずれかのデータ提供システム１００の指標値集計部１１４（図１２参照）が低信頼度の識別結果数や誤識別数の値を更新した場合、そのデータ提供システム１００の指標値送信部１１６は、更新後の低信頼度の識別結果数や、更新後の誤識別数を、データ提供システム１００の識別情報とともに、収集装置２００に送信する。この場合、収集装置２００の指標値受信部２０５（図１３参照）は、指標値送信部１１６が送信したデータを受信する。そして、指標値受信部２０５は、指標値記憶部２０６に記憶されている、上記のデータ提供システム１００に対応する低信頼度の識別結果数や誤識別数を、受信した低信頼度の識別結果数や誤識別数で更新する。さらに、アイコン表示部２１１は、更新後の低信頼度の識別結果数や、更新後の誤識別数に基づいて、ディスプレイ装置２０９上に表示している横棒グラフを更新する。
ボタン５７がクリックされた場合（ステップＳ１２のＹｅｓ）、選択部２１２は、各グループからそれぞれ、所定数のデータ提供システム１００を選択する（ステップＳ１３）。
次に、データ要求部２１３は、ステップＳ１３で選択された各データ提供システム１００に対してそれぞれ、データの送信要求を送信する（ステップＳ１４）。
データ要求部２１３からの送信要求を受信したデータ提供システム１００のデータ送信部１１３（図１２参照）は、送信要求を受信したタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信する。
収集装置２００のデータ受信部２０１（図１３参照）は、送信要求の送信先となった各データ提供システム１００が上記のように送信したデータを受信し、受信したデータを収集装置側データ記憶部２０２に記憶させる（ステップＳ１５）。
ステップＳ１５の後、例えば、ステップＳ１２以降の処理を繰り返す。あるいは、ステップＳ１５の後、処理を終了してもよい。
また、データ提供システム１００を表わす各アイコンのうちのいずれかのアイコンがクリックされた場合（ステップＳ１６のＹｅｓ）、データ要求部２１３は、クリックされたアイコンに対応するデータ提供システム１００に対して、データの送信要求を送信する（ステップＳ１７）。
データ要求部２１３からの送信要求を受信したデータ提供システム１００のデータ送信部１１３（図１２参照）は、送信要求を受信したタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信する。
収集装置２００のデータ受信部２０１（図１３参照）は、送信要求の送信先となったデータ提供システム１００が上記のように送信したデータを受信し、受信したデータを収集装置側データ記憶部２０２に記憶させる（ステップＳ１８）。
ステップＳ１８の後、例えば、ステップＳ１２以降の処理を繰り返す。あるいは、ステップＳ１８の後、処理を終了してもよい。
第２の実施形態においても、第１の実施形態と同様に、識別精度の高いモデルの生成に寄与することができるデータを収集装置２００が容易に収集することができる。
また、第２の実施形態では、ボタン５７がクリックされた場合、選択部２１２は、各グループからそれぞれ、所定数のデータ提供システム１００を選択する。そして、データ要求部２１３は、選択部２１２によって選択された各データ提供システム１００に対してそれぞれ、データの送信要求を送信する。従って、収集装置２００のデータ受信部２０１は、各グループのデータ提供システム１００からそれぞれ、識別精度の高いモデルの生成に寄与することができるデータを受信することができる。グループが異なるということは、カメラ１０１の属性が異なっているということである。従って、収集装置２００は、各グループのデータ提供システム１００からそれぞれデータを収集できることにより、多様なデータを収集し、収集装置側データ記憶部２０２に蓄積することができる。従って、収集装置側データ記憶部２０２に蓄積されたデータを教師データとしてディープラーニングを行うことによって、カメラ１０１の属性に依存せずに、画像に対して高い精度で識別処理を行える、汎用性の高いモデルを生成することができる。
第１の実施形態や第２の実施形態において、各データ提供システム１００から収集され収集装置側データ記憶部２０２に蓄積されたデータを教師データとしてディープラーニングを行うことによって、様々な画像に対して高い精度で識別処理を実現することができるモデルが得られる。また、このモデルは、新たに設けられるデータ提供システム１００で用いるモデルの生成に利用することができる。
また、上記の各実施形態では、データ提供システム１００が、送信対象データ決定部１１１によって送信対象データであると決定された画像と、その画像に対応付けられるラベルと、座標（オペレータに指定された矩形領域を表わす座標）とを収集装置２００に送信する場合を説明した。データ送信部１１３は、これらのデータの代わりに、あるいは、これらのデータとともに、モデル記憶部１０４に記憶されているモデルを、収集装置２００に送信してもよい。また、データ送信部１１３は、モデルを生成する際に得られる特徴量を、収集装置２００に送信してもよい。モデルを生成する際に得られる特徴量とは、学習部１０３がディープラーニングによってモデルを生成する過程で生成する中間データである。学習部１０３は、モデルが学習する際に、上記の特徴量もモデル記憶部１０４に記憶させておけばよい。この場合、収集装置２００の収集装置側データ記憶部２０２には、各データ提供システム１００のモデル、または、特徴量が蓄積される。このようなモデルまたは特徴量からも、様々な画像に対して高い精度で識別処理を実現することができるモデルを生成することができる。
また、上記の各実施形態では、データ収集部１０１がカメラであり、カメラが画像を収集する場合を例にして説明した。データ収集部１０１はカメラに限定されない。例えば、データ収集部１０１がマイクロホンであり、マイクロホンが音声データを収集してもよい。この場合、ラベル受付部１１０が図５、図６、図８に例示する画面をディスプレイ装置１０９上に表示する場合、画像３０１を表示する代わりに、音声データに基づく音声をスピーカ（図示略）から出力すればよい。
図１６は、本発明の各実施形態におけるデータ提供システム１００が備えるコンピュータ１０２の構成例を示す概略ブロック図である。図１６では、コンピュータを符号“１０００”で表す。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６と、通信インタフェース１００７と、データ収集部１０１（例えば、カメラ）とのインタフェース１００８とを備える。
データ提供システム１００が備えるコンピュータの動作は、データ提供プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、そのデータ提供プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開する。そして、ＣＰＵ１００１は、そのデータ提供プログラムに従って、各実施形態で示したコンピュータ１０２（図２、図１２を参照）の処理を実行する。
補助記憶装置１００３は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。
また、プログラムは、各実施形態で示したコンピュータ１０２の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。
また、各構成要素の一部または全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
また、各実施形態で示した収集装置２００は、図１６に例示するコンピュータ１０００と同様のコンピュータに実装される。ただし、収集装置２００が実装されるコンピュータには、データ収集部１０１とのインタフェース１００８は設けられていなくてよい。この場合、収集装置２００の動作は、収集装置用プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、その収集装置用プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、その収集装置用プログラムに従って、各実施形態で示した収集装置２００の処理を実行する。
なお、ここでは、データ提供システム１００が備えるコンピュータ１０２の構成に関しても、収集装置２００の構成に関しても、図１６を参照して説明したが、各データ提供システム１００が備える各コンピュータ１０２、および、収集装置２００は、それぞれ、別々のコンピュータである。
次に、本発明の概要について説明する。図１７は、本発明のデータ提供システムの概要の例を示すブロック図である。本発明のデータ提供システムは、識別手段７１と、決定手段７２と、データ送信手段７３とを備える。
識別手段７１（例えば、識別部１０６）は、機械学習によって学習されたモデルにデータ（例えば、画像）を適用することによって、データが表わす物体を識別する。
決定手段７２（例えば、送信対象データ決定部１１１）は、データをモデルに適用した結果に基づいて、データが所定のコンピュータ（例えば、収集装置２００）に送信すべき送信対象データであるか否かを決定する。
データ送信手段７３（例えば、データ送信部１１３）は、送信対象データであると決定されたデータを、所定のタイミングで所定のコンピュータに送信する。
そのような構成により、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できる。
図１８は、本発明のデータ提供システムの概要の他の例を示すブロック図である。図１８に示すデータ提供システムは、識別手段７１と、決定手段７２と、データ送信手段７３と、表示制御手段７４とを備える。識別手段７１および決定手段７２は、図１７に示す識別手段７１および決定手段７２と同様であり、説明を省略する。
表示制御手段７４（例えば、表示制御部１１５）は、モデルの識別精度を表す指標値（例えば、低信頼度の識別結果数や誤識別数）とともに、データの送信指示を入力するためのボタン（例えば、図９に例示する送信指示ボタン４１）を表示する。
データ送信手段７３（例えば、データ送信部１１３）は、オペレータによってそのボタンがクリックされたタイミングで、送信対象データであると決定された各データを所定のコンピュータ（例えば、収集装置２００）に送信する。
そのような構成により、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できる。
図１９は、本発明のデータ収集システムの概要の例を示すブロック図である。本発明のデータ収集システムは、複数のデータ提供システム７５（例えば、データ提供システム１００）と、複数のデータ提供システム７５からデータを収集する収集装置８０（例えば、収集装置２００）とを備える。
個々のデータ提供システム７５は、データ収集手段７０と、識別手段７１と、決定手段７２と、データ送信手段７３とを備える。
データ収集手段７０（例えば、カメラ）は、設置場所におけるデータ（例えば、画像）を収集する。
識別手段７１（例えば、識別部１０６）は、データ収集手段７０によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、データが表わす物体を識別する。
決定手段７２（例えば、送信対象データ決定部１１１）は、データをモデルに適用した結果に基づいて、データが収集装置８０（例えば、収集装置２００）に送信すべき送信対象データであるか否かを決定する。
データ送信手段７３（例えば、データ送信部１１３）は、送信対象データであると決定されたデータを収集装置８０に送信する。
収集装置８０は、分類手段８１と、選択手段８２と、データ要求手段８３とを備える。
分類手段８１（例えば、分類部２０７）は、個々のデータ提供システムのデータ収集手段７０の属性に基づいて、各データ提供システム７５を複数のグループに分類する。
選択手段８２（例えば、選択部２１２）は、収集装置８０のオペレータが所定の操作を行った場合に、各グループからデータ提供システム７５を選択する。
データ要求手段８３（例えば、データ要求部２１３）は、選択手段８２によって選択されたそれぞれのデータ提供システム７５に対して、データの送信要求を送信する。
個々のデータ提供システム７５のデータ送信手段７３は、収集装置８０から送信要求を受信したタイミングで、送信対象データであると決定された各データを収集装置８０に送信する。
そのような構成により、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できる。
図２０は、本発明のデータ収集システムの概要の他の例を示すブロック図である。図２０に示すデータ収集システムは、複数のデータ提供システム７５（例えば、データ提供システム１００）と、複数のデータ提供システム７５からデータを収集する収集装置８０（例えば、収集装置２００）とを備える。
個々のデータ提供システム７５は、データ収集手段７０と、識別手段７１と、決定手段７２と、データ送信手段７３と、指標値送信手段７７とを備える。データ収集手段７０、識別手段７１、決定手段７２およびデータ送信手段７３は、図１９に示すデータ収集手段７０、識別手段７１、決定手段７２およびデータ送信手段７３と同様であり、説明を省略する。
指標値送信手段７７(例えば、指標値送信部１１６）は、モデルの識別精度を表す指標値（例えば、低信頼度の識別結果数や誤識別数）を収集装置８０に送信する。
収集装置８０は、分類手段８１と、アイコン表示手段８４と、データ要求手段８３とを備える。分類手段８１は、図１９に示す分類手段８１と同様であり、説明を省略する。
アイコン表示手段８４（例えば、アイコン表示部２１１）は、グループ毎に異なる態様で、個々のデータ提供システム７５を表すアイコン（例えば、図１４に例示するアイコン５１〜５５）をそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システム７５から受信した指標値を表示する。
データ要求手段８３（データ要求部２１３）は、収集装置８０のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システム７５に対して、データの送信要求を送信する。
個々のデータ提供システム７５のデータ送信手段７３は、収集装置８０から送信要求を受信したタイミングで、送信対象データであると決定された各データを収集装置８０に送信する。
そのような構成により、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できる。
上記の本発明の実施形態は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
（付記１）
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを、所定のタイミングで前記所定のコンピュータに送信するデータ送信手段とを備える
ことを特徴とするデータ提供システム。
（付記２）
識別手段は、物体の識別結果と、前記識別結果の信頼度を導出し、
決定手段は、前記信頼度が予め定められた閾値以下である場合に、前記データが送信対象データであると決定する
付記１に記載のデータ提供システム。
（付記３）
決定手段は、他のデータ提供システムに、データと、前記データに対する物体の識別結果を送信することを要求する信号とを送信し、識別手段が識別した結果と、前記他のデータ提供システムから送り返された識別結果とが異なっている場合に、前記データが送信対象データであると決定する
付記１または付記２に記載のデータ提供システム。
（付記４）
決定手段は、データと、識別手段が識別した結果とをオペレータに提示し、前記オペレータから、前記データが送信対象データである旨の情報が入力された場合に、前記データが送信対象データであると決定する
付記１から付記３のうちのいずれかに記載のデータ提供システム。
（付記５）
データ送信手段は、送信対象データであると決定された各データの容量が予め定められた容量以上になったタイミングで、前記各データを所定のコンピュータに送信する
付記１から付記４のうちのいずれかに記載のデータ提供システム。
（付記６）
データ送信手段は、予め定められた時刻に、送信対象データであると決定された各データを所定のコンピュータに送信する
付記１から付記５のうちのいずれかに記載のデータ提供システム。
（付記７）
データ送信手段は、一定期間毎に得られる誤識別率が予め定められた閾値以上となったタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信する
付記１から付記６のうちのいずれかに記載のデータ提供システム。
（付記８）
データ送信手段は、オペレータから、送信対象データであると決定された各データを送信する旨の指示を受け付けたタイミングで、前記各データを所定のコンピュータに送信する
付記１から付記７のうちのいずれかに記載のデータ提供システム。
（付記９）
モデルの識別精度を表す指標値とともに、データの送信指示を入力するためのボタンを表示する表示制御手段を備え、
データ送信手段は、オペレータによって前記ボタンがクリックされたタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信する
付記１から付記８のうちのいずれかに記載のデータ提供システム。
（付記１０）
データ送信手段は、所定のコンピュータからデータの送信要求を受信したタイミングで、送信対象データであると決定された各データを前記所定のコンピュータに送信する
付記１から付記９のうちのいずれかに記載のデータ提供システム。
（付記１１）
データは、画像であり、
識別手段は、画像に含まれる物体を識別する
付記１から付記１０のうちのいずれかに記載のデータ提供システム。
（付記１２）
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを前記所定のコンピュータに送信するデータ送信手段と、
モデルの識別精度を表す指標値とともに、データの送信指示を入力するためのボタンを表示する表示制御手段とを備え、
前記データ送信手段は、オペレータによって前記ボタンがクリックされたタイミングで、送信対象データであると決定された各データを前記所定のコンピュータに送信する
ことを特徴とするデータ提供システム。
（付記１３）
複数のデータ提供システムと、
前記複数のデータ提供システムからデータを収集する収集装置とを備え、
個々のデータ提供システムは、
設置場所におけるデータを収集するデータ収集手段と、
前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを前記収集装置に送信するデータ送信手段とを備え、
前記収集装置は、
個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、
当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択する選択手段と、
前記選択手段によって選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、
個々のデータ提供システムのデータ送信手段は、前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定された各データを前記収集装置に送信する
ことを特徴とするデータ収集システム。
（付記１４）
個々のデータ提供システムは、
モデルの識別精度を表す指標値を収集装置に送信する指標値送信手段を備え、
収集装置は、
グループ毎に異なる態様で、個々のデータ提供システムを表すアイコンをそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システムから受信した前記指標値を表示するアイコン表示手段とを備え、
データ要求手段は、当該収集装置のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システムに対して、データの送信要求を送信する
付記１３に記載のデータ収集システム。
（付記１５）
複数のデータ提供システムと、
前記複数のデータ提供システムからデータを収集する収集装置とを備え、
個々のデータ提供システムは、
設置場所におけるデータを収集するデータ収集手段と、
前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを前記収集装置に送信するデータ送信手段と、
前記モデルの識別精度を表す指標値を前記収集装置に送信する指標値送信手段を備え、
前記収集装置は、
個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、
グループ毎に異なる態様で、個々のデータ提供システムを表すアイコンをそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システムから受信した前記指標値を表示するアイコン表示手段と、
当該収集装置のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、
個々のデータ提供システムのデータ送信手段は、前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定された各データを前記収集装置に送信する
ことを特徴とするデータ収集システム。
（付記１６）
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別し、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定し、
送信対象データであると決定したデータを、所定のタイミングで前記所定のコンピュータに送信する
ことを特徴とするデータ提供方法。
（付記１７）
設置場所におけるデータを収集するデータ収集手段を備えた複数のデータ提供システムと、前記複数のデータ提供システムからデータを収集する収集装置とを備えるデータ収集システムに適用されるデータ収集方法であって、
個々のデータ提供システムが、
前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別し、
前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定し、
前記収集装置が、
個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類し、
当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択し、
選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信し、
個々のデータ提供システムが、
前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定した各データを前記収集装置に送信する
ことを特徴とするデータ収集方法。
（付記１８）
コンピュータに、
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別処理、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定処理、および、
送信対象データであると決定されたデータを、所定のタイミングで前記所定のコンピュータに送信するデータ送信処理
を実行させるためのデータ提供プログラム。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
本発明は、教師データとなるデータの収集に好適に適用される。
１００ データ提供システム
１０１ データ収集部
１０２ コンピュータ
１０３ 学習部
１０４ モデル記憶部
１０５ データ取得部
１０６ 識別部
１０７ キーボード
１０８ マウス
１０９ ディスプレイ装置
１１０ ラベル受付部
１１１ 送信対象データ決定部
１１２ データ記憶部
１１３ データ送信部
１１４ 指標値集計部
１１５ 表示制御部
１１６ 指標値送信部
１１７ 属性データ記憶部
１１８ 属性データ送信部
２００ 収集装置
２０１ データ受信部
２０２ 収集装置側データ記憶部
２０３ 属性データ受信部
２０４ 属性データ記憶部
２０５ 指標値受信部
２０６ 指標値記憶部
２０７ 分類部
２０８ 分類結果記憶部
２０９ ディスプレイ装置
２１０ マウス
２１１ アイコン表示部
２１２ 選択部
２１３ データ要求部

Claims (18)

  1. 機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別手段と、
    前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、
    送信対象データであると決定されたデータを、所定のタイミングで前記所定のコンピュータに送信するデータ送信手段とを備える
    ことを特徴とするデータ提供システム。
  2. 識別手段は、物体の識別結果と、前記識別結果の信頼度を導出し、
    決定手段は、前記信頼度が予め定められた閾値以下である場合に、前記データが送信対象データであると決定する
    請求項１に記載のデータ提供システム。
  3. 決定手段は、他のデータ提供システムに、データと、前記データに対する物体の識別結果を送信することを要求する信号とを送信し、識別手段が識別した結果と、前記他のデータ提供システムから送り返された識別結果とが異なっている場合に、前記データが送信対象データであると決定する
    請求項１または請求項２に記載のデータ提供システム。
  4. 決定手段は、データと、識別手段が識別した結果とをオペレータに提示し、前記オペレータから、前記データが送信対象データである旨の情報が入力された場合に、前記データが送信対象データであると決定する
    請求項１から請求項３のうちのいずれか１項に記載のデータ提供システム。
  5. データ送信手段は、送信対象データであると決定された各データの容量が予め定められた容量以上になったタイミングで、前記各データを所定のコンピュータに送信する
    請求項１から請求項４のうちのいずれか１項に記載のデータ提供システム。
  6. データ送信手段は、予め定められた時刻に、送信対象データであると決定された各データを所定のコンピュータに送信する
    請求項１から請求項５のうちのいずれか１項に記載のデータ提供システム。
  7. データ送信手段は、一定期間毎に得られる誤識別率が予め定められた閾値以上となったタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信する
    請求項１から請求項６のうちのいずれか１項に記載のデータ提供システム。
  8. データ送信手段は、オペレータから、送信対象データであると決定された各データを送信する旨の指示を受け付けたタイミングで、前記各データを所定のコンピュータに送信する
    請求項１から請求項７のうちのいずれか１項に記載のデータ提供システム。
  9. モデルの識別精度を表す指標値とともに、データの送信指示を入力するためのボタンを表示する表示制御手段を備え、
    データ送信手段は、オペレータによって前記ボタンがクリックされたタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信する
    請求項１から請求項８のうちのいずれか１項に記載のデータ提供システム。
  10. データ送信手段は、所定のコンピュータからデータの送信要求を受信したタイミングで、送信対象データであると決定された各データを前記所定のコンピュータに送信する
    請求項１から請求項９のうちのいずれか１項に記載のデータ提供システム。
  11. データは、画像であり、
    識別手段は、画像に含まれる物体を識別する
    請求項１から請求項１０のうちのいずれか１項に記載のデータ提供システム。
  12. 機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別手段と、
    前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、
    送信対象データであると決定されたデータを前記所定のコンピュータに送信するデータ送信手段と、
    モデルの識別精度を表す指標値とともに、データの送信指示を入力するためのボタンを表示する表示制御手段とを備え、
    前記データ送信手段は、オペレータによって前記ボタンがクリックされたタイミングで、送信対象データであると決定された各データを前記所定のコンピュータに送信する
    ことを特徴とするデータ提供システム。
  13. 複数のデータ提供システムと、
    前記複数のデータ提供システムからデータを収集する収集装置とを備え、
    個々のデータ提供システムは、
    設置場所におけるデータを収集するデータ収集手段と、
    前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別する識別手段と、
    前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、
    送信対象データであると決定されたデータを前記収集装置に送信するデータ送信手段とを備え、
    前記収集装置は、
    個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、
    当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択する選択手段と、
    前記選択手段によって選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、
    個々のデータ提供システムのデータ送信手段は、前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定された各データを前記収集装置に送信する
    ことを特徴とするデータ収集システム。
  14. 個々のデータ提供システムは、
    モデルの識別精度を表す指標値を収集装置に送信する指標値送信手段を備え、
    収集装置は、
    グループ毎に異なる態様で、個々のデータ提供システムを表すアイコンをそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システムから受信した前記指標値を表示するアイコン表示手段とを備え、
    データ要求手段は、当該収集装置のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システムに対して、データの送信要求を送信する
    請求項１３に記載のデータ収集システム。
  15. 複数のデータ提供システムと、
    前記複数のデータ提供システムからデータを収集する収集装置とを備え、
    個々のデータ提供システムは、
    設置場所におけるデータを収集するデータ収集手段と、
    前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別する識別手段と、
    前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、
    送信対象データであると決定されたデータを前記収集装置に送信するデータ送信手段と、
    前記モデルの識別精度を表す指標値を前記収集装置に送信する指標値送信手段を備え、
    前記収集装置は、
    個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、
    グループ毎に異なる態様で、個々のデータ提供システムを表すアイコンをそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システムから受信した前記指標値を表示するアイコン表示手段と、
    当該収集装置のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、
    個々のデータ提供システムのデータ送信手段は、前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定された各データを前記収集装置に送信する
    ことを特徴とするデータ収集システム。
  16. 機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別し、
    前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定し、
    送信対象データであると決定したデータを、所定のタイミングで前記所定のコンピュータに送信する
    ことを特徴とするデータ提供方法。
  17. 設置場所におけるデータを収集するデータ収集手段を備えた複数のデータ提供システムと、前記複数のデータ提供システムからデータを収集する収集装置とを備えるデータ収集システムに適用されるデータ収集方法であって、
    個々のデータ提供システムが、
    前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別し、
    前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定し、
    前記収集装置が、
    個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類し、
    当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択し、
    選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信し、
    個々のデータ提供システムが、
    前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定した各データを前記収集装置に送信する
    ことを特徴とするデータ収集方法。
  18. コンピュータに、
    機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別処理、
    前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定処理、および、
    送信対象データであると決定されたデータを、所定のタイミングで前記所定のコンピュータに送信するデータ送信処理
    を実行させるためのデータ提供プログラム。
JP2020517630A 2018-05-07 2018-05-07 データ提供システムおよびデータ収集システム Active JP7001149B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017609 WO2019215778A1 (ja) 2018-05-07 2018-05-07 データ提供システムおよびデータ収集システム

Publications (2)

Publication Number Publication Date
JPWO2019215778A1 true JPWO2019215778A1 (ja) 2021-05-20
JP7001149B2 JP7001149B2 (ja) 2022-01-19

Family

ID=68468492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020517630A Active JP7001149B2 (ja) 2018-05-07 2018-05-07 データ提供システムおよびデータ収集システム

Country Status (3)

Country Link
US (1) US11537814B2 (ja)
JP (1) JP7001149B2 (ja)
WO (1) WO2019215778A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902288B2 (en) * 2018-05-11 2021-01-26 Microsoft Technology Licensing, Llc Training set sufficiency for image analysis
US11558420B2 (en) * 2019-08-26 2023-01-17 The Western Union Company Detection of malicious activity within a network
JP7424862B2 (ja) * 2020-02-28 2024-01-30 本田技研工業株式会社 診断装置、診断システム、診断方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076073A (ja) * 2014-10-06 2016-05-12 日本電気株式会社 データ処理装置、データ処理方法、及び、コンピュータ・プログラム
WO2016152053A1 (ja) * 2015-03-23 2016-09-29 日本電気株式会社 精度推定モデル生成システムおよび精度推定システム
JP2017117139A (ja) * 2015-12-24 2017-06-29 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341210A (ja) 1998-05-26 1999-12-10 Hitachi Ltd Ｆａｘ−ｏｃｒ文字認識処理の評価処理方法
JP2009005314A (ja) 2007-06-25 2009-01-08 Ricoh Co Ltd データ通信装置
WO2010047019A1 (ja) 2008-10-21 2010-04-29 日本電気株式会社 統計モデル学習装置、統計モデル学習方法、およびプログラム
US11423647B2 (en) * 2018-05-07 2022-08-23 Nec Corporation Identification system, model re-learning method and program
JP6992883B2 (ja) * 2018-05-07 2022-01-13 日本電気株式会社 モデル提供システム、方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076073A (ja) * 2014-10-06 2016-05-12 日本電気株式会社 データ処理装置、データ処理方法、及び、コンピュータ・プログラム
WO2016152053A1 (ja) * 2015-03-23 2016-09-29 日本電気株式会社 精度推定モデル生成システムおよび精度推定システム
JP2017117139A (ja) * 2015-12-24 2017-06-29 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、プログラム

Also Published As

Publication number Publication date
US11537814B2 (en) 2022-12-27
JP7001149B2 (ja) 2022-01-19
US20210232862A1 (en) 2021-07-29
WO2019215778A1 (ja) 2019-11-14

Similar Documents

Publication Publication Date Title
JP6992883B2 (ja) モデル提供システム、方法およびプログラム
US8154616B2 (en) Data processing apparatus and method, and recording medium
JP2019087229A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
EP3164811B1 (en) Method for adding images for navigating through a set of images
KR20220028042A (ko) 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JP7001149B2 (ja) データ提供システムおよびデータ収集システム
CN105659304A (zh) 视觉增强导航
CN111221012A (zh) 用于基于周围环境改进的位置决策的方法和设备
KR20140102181A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP5456175B2 (ja) 映像監視装置
US20220357176A1 (en) Methods and data processing systems for predicting road attributes
JP2021039625A (ja) 物体数推定装置、物体数推定方法、および物体数推定プログラム
JP7001150B2 (ja) 識別システム、モデル再学習方法およびプログラム
JPWO2012133371A1 (ja) 撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラム
JP6943183B2 (ja) 位置特定装置、位置特定方法、位置特定プログラムおよびカメラ装置
JP6981553B2 (ja) 識別システム、モデル提供方法およびモデル提供プログラム
JPWO2020039897A1 (ja) 駅監視システム及び駅監視方法
JP6981554B2 (ja) 識別システム、パラメータ値更新方法およびプログラム
JP2021068240A (ja) 路面画像管理システム及びその路面画像管理方法
JP7444292B2 (ja) 検出システム、検出方法、及びプログラム
KR102446320B1 (ko) 복수의 카메라에 기반한 맵기반 객체추적 및 이벤트 검출장치 및 그 장치의 구동방법
US20160248983A1 (en) Image display device and method, image generation device and method, and program
JP7408971B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP2020144855A (ja) 地上物体検出システム、地上物体検出方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211207

R150 Certificate of patent or registration of utility model

Ref document number: 7001149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150