JPWO2019215779A1 - モデル提供システム、方法およびプログラム - Google Patents

モデル提供システム、方法およびプログラム Download PDF

Info

Publication number
JPWO2019215779A1
JPWO2019215779A1 JP2020517631A JP2020517631A JPWO2019215779A1 JP WO2019215779 A1 JPWO2019215779 A1 JP WO2019215779A1 JP 2020517631 A JP2020517631 A JP 2020517631A JP 2020517631 A JP2020517631 A JP 2020517631A JP WO2019215779 A1 JPWO2019215779 A1 JP WO2019215779A1
Authority
JP
Japan
Prior art keywords
model
identification system
identification
unit
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020517631A
Other languages
English (en)
Other versions
JP6992883B2 (ja
Inventor
哲夫 井下
哲夫 井下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019215779A1 publication Critical patent/JPWO2019215779A1/ja
Application granted granted Critical
Publication of JP6992883B2 publication Critical patent/JP6992883B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

モデル選択手段６０３は、モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択する。表示制御手段６０４は、モデル選択手段６０３に選択されたモデルに対応する各識別システムと、モデル選択手段６０３に選択されなかったモデルに対応する各識別システムとをオペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する。モデル統合手段６０２は、その画面でオペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成する。モデル送信手段６０５は、そのモデルを、モデルの提供先となる識別システムに送信する。

Description

本発明は、識別処理を行う識別システムに、識別処理で用いるモデルを提供するモデル提供システム、モデル提供方法およびモデル提供プログラムに関する。
一般的な識別システムの例を以下に説明する。一般的な識別システムは、その識別システムが備えているカメラが撮影によって得た画像と、その画像に写っている物体を表したラベルとの組を教師データとして、機械学習によってモデルを予め学習する。そして、その一般的な識別システムは、カメラが撮影によって新たに得た画像をそのモデルに適用することによって、その画像に写っている物体を識別する。
このような一般的な識別システムは、不審な車両や不審な人物を検出し、犯罪等を未然に防ぐ目的で用いられたり、白杖または車椅子の使用者を検出し、白杖または車椅子の使用者を誘導する等の支援の目的で用いられたりする。
ここでは、画像に写っている物体を識別する識別システムを例にして説明したが、一般的な識別システムとして、音声データが表わす物体を識別する識別システムも考えられる。以下、画像に写っている物体を識別する識別システムを例にして説明する。
また、特許文献１には、サーバ側で学習を実施し、その学習結果を端末側へ送り、端末側で認識を実施するシステムが記載されている。
国際公開第２０１７／１８７５１６号
前述の一般的な識別システムが複数台設けられ、各識別システムのカメラが各地に設置されることが考えられる。
ここで、１台のカメラが撮影によって得た画像における物体の写り方に、偏りが生じる場合がある。例えば、ある１台のカメラは、そのカメラから見て右側から左側への方向に進行する自動車を撮影する機会が多いが、その逆方向に進行する自動車を撮影する機会が少ないとする。この場合、右側から左側への方向に進行する自動車が写った画像は多く得られるが、その逆方向に進行する自動車が写った画像は少ししか得られない。すると、教師データには、右側から左側への方向に進行する自動車が写った画像が多く含まれ、その逆方向に進行する自動車が写った画像は少ししか含まれない。その結果、教師データを用いて機械学習によって得たモデルに、右側から左側への方向に進行する自動車が写った画像を適用した場合には、識別システムは高い精度で自動車を識別するが、逆方向に進行する自動車が写った画像をそのモデルに適用した場合の自動車の識別精度は低くなる。
そのようなモデルを有する識別システムに対して、より識別精度の高いモデルを提供できることが好ましい。
また、新たに識別システムを設置する場合、その識別システムに対して、識別精度の高いモデルを提供できることが好ましい。
そこで、本発明は、識別システムに対して、識別精度の高いモデルを提供できるモデル提供システム、モデル提供方法およびモデル提供プログラムを提供することを目的とする。
本発明によるモデル提供システムは、設置場所におけるデータを収集するデータ収集手段を備え、データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するモデル提供システムであって、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段と、モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成するモデル統合手段と、モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択するモデル選択手段と、モデル選択手段に選択されたモデルに対応する各識別システムと、モデル選択手段に選択されなかったモデルに対応する各識別システムとをオペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する表示制御手段と、モデル統合手段が生成したモデルを、モデルの提供先となる識別システムに送信するモデル送信手段とを備え、モデル統合手段が、画面でオペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成することを特徴とする。
また、本発明によるモデル提供方法は、設置場所におけるデータを収集するデータ収集手段を備え、データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するモデル提供システムであって、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段を備えるモデル提供システムに適用されるモデル提供方法において、モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成し、モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択し、選択したモデルに対応する各識別システムと、選択しなかったモデルに対応する各識別システムとをオペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示し、モデルを統合することによって生成されたモデルを、モデルの提供先となる識別システムに送信し、モデルを統合することによってモデルを生成するときに、画面でオペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成することを特徴とする。
また、本発明によるモデル提供プログラムは、設置場所におけるデータを収集するデータ収集手段を備え、データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するコンピュータであって、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段を備えるコンピュータに搭載されるモデル提供プログラムにおいて、コンピュータに、モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成するモデル統合処理、モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択するモデル選択処理、モデル選択処理で選択されたモデルに対応する各識別システムと、モデル選択処理で選択されなかったモデルに対応する各識別システムとをオペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する表示制御処理、および、モデル統合処理で生成されたモデルを、モデルの提供先となる識別システムに送信するモデル送信処理を実行させ、モデル統合処理で、画面でオペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成させることを特徴とする。
本発明によれば、識別システムに対して、識別精度の高いモデルを提供することができる。
本発明のモデル提供システムと、モデル提供システムからモデルの提供を受ける候補となる複数の識別システムとを示す模式図である。 第１の実施形態における識別システムの構成例を示すブロック図である。 モデルの例を示す模式図である。 収集装置の構成例を示すブロック図である。 本発明の第１の実施形態のモデル提供システムの構成例を示すブロック図である。 表示制御部がディスプレイ装置上に表示する画面の例を示す模式図である。 いくつかのアイコンがクリックされた場合の画面の例を示す模式図である。 第１の実施形態におけるモデル提供システムの処理経過の例を示すフローチャートである。 本発明の第２の実施形態のモデル提供システムの構成例を示すブロック図である。 第２の実施形態で提供先決定部がディスプレイ装置上に表示する画面の例を示す模式図である。 第２の実施形態におけるモデル提供システムの処理経過の例を示すフローチャートである。 各識別システムおよび全体モデルをリスト形式で示す画面の例を示す模式図である。 クリックされたアイコン毎に、入力欄に比率が入力された画面の例を示す模式図である。 本発明の各実施形態のモデル提供システムに係るコンピュータの構成例を示すブロック図である。 本発明のモデル提供システムの概要を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
図１は、本発明のモデル提供システムと、モデル提供システムからモデルの提供を受ける候補となる複数の識別システムとを示す模式図である。また、図１では、モデル提供システム１００と、複数の識別システム２００の他に、各識別システムからデータを収集する収集装置７００も合わせて図示している。モデル提供システム１００と、複数の識別システム２００と、収集装置７００は、通信ネットワーク５００を介して、通信可能に接続されている。
個々の識別システム２００はそれぞれ、データ収集部（後述の図２に示すデータ収集部２０１）を備える。各識別システム２００のデータ収集部（図１において図示略。後述の図２を参照。）は、データを収集する各地に設置される。データ収集部は、データ収集部の設置場所におけるデータを収集する。例えば、データ収集部は、設置場所において画像や音声データを収集する。データ収集部は、カメラやマイクロホンによって実現される。例えば、データ収集部は、監視場所を撮影することによって画像を収集してもよい。また、例えば、設置場所において録音することによって音声データを収集してもよい。
個々の識別システム２００は、データ収集部とは別にコンピュータを備え、そのコンピュータは、データ（画像や音声データ等）が表わす物体を識別する。
モデル提供システム１００は、複数の識別システム２００の中から、識別処理で用いるモデルの提供先となる識別システム２００を決定し、その識別システム２００に、モデルを提供する。
収集装置７００は、複数の識別システム２００からデータを収集する。なお、収集装置７００の機能を、モデル提供システム１００に含めてもよい。この場合、モデル提供システム１００とは別に収集装置７００を設ける必要はない。
本発明のモデル提供システム１００の構成例について説明する前に、識別システム２００の構成例、および、収集装置７００の構成例について説明する。
図２は、第１の実施形態における識別システム２００の構成例を示すブロック図である。個々の識別システム２００は、データ収集部２０１と、コンピュータ２０２とを備える。データ収集部２０１と、コンピュータ２０２とは、有線または無線で通信可能に接続される。以下の説明では、データ収集部２０１がカメラである場合を例にして説明し、データ収集部２０１をカメラ２０１と記す。カメラ２０１は、そのカメラ２０１の設置場所におけるデータとして、設置場所から撮影を行う。なお、カメラ２０１の設置場所と、コンピュータ２０２の設置場所とが異なっていてもよい。
コンピュータ２０２は、学習部２０３と、モデル記憶部２０４と、データ取得部２０５と、識別部２０６と、モデル受信部２０７と、入力デバイス２０８と、送信対象データ決定部２０９と、データ送信部２１０と、ログ記憶部２１１と、ログ送信部２１７と、指標値集計部２１２と、指標値送信部２１３と、モデル配信タイミング情報送信部２１４と、属性データ記憶部２１５と、属性データ送信部２１６とを備える。
学習部２０３は、カメラ２０１が撮影によって得た画像を教師データとして、機械学習によってモデルを学習する。以下、学習部２０３が、ディープラーニングによってモデルを学習する場合を例にして説明する。教師データは、具体的には、カメラ２０１が撮影によって得た画像と、その画像に写っている物体を示すラベルと、画像内におけるその物体を囲む矩形領域を表わす座標（例えば、矩形領域の各頂点の座標）との組の集合である。ラベルや、画像内における物体を囲む矩形領域は、識別システム２００のオペレータが決定すればよい。学習部２０３は、そのような組の集合を教師データとして、モデルを学習（生成）する。
このモデルは、与えられた新たな画像に写っている物体を識別するためのモデルである。以下、このモデルが、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景（すなわち、自動車、オートバイおよびバスは写っていない。）」の何れであるかを判定するためのモデルであるものとして説明する。このようなモデルを学習する場合、オペレータは、前述のラベルとして「自動車」、「オートバイ」、「バス」、「背景」のいずれかを画像毎に定める。各実施形態では、後述の識別部２０６（図参照）が、モデルを用いて、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景」の何れであるかを判定する場合を例にして説明するが、モデルを用いて判定される対象は、「自動車」、「オートバイ」、「バス」、「背景」に限られない。オペレータは、識別処理の目的に応じた教師データを用意して、その教師データを用いて学習部２０３にモデルを学習させればよい。
学習部２０３は、ディープラーニングによって生成したモデルをモデル記憶部２０４に記憶させる。モデル記憶部２０４は、モデルを記憶する記憶装置である。
図３は、学習部２０３によって生成されるモデルの例を示す模式図である。モデルに適用される画像の画素数がｎであるとすると、その画像は、ｎ個の画素の各画素値を要素とするベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔと表すことができる。例えば、Ｘ１は、画像における１番目の画素の画素値を表す。Ｘ２〜Ｘｎに関しても同様である。また、ここで、Ｔは、転置を意味する。モデルは、複数の層を有し、層毎に複数の係数を含んでいる。図３に示す例では、１番目の層は、係数ａ１〜ａｍを含み、２番目の層は、係数ｂ１〜ｂｊを含んでいる。画像を表すベクトルの個々の要素Ｘ１〜Ｘｎは、１番目の層の各係数ａ１〜ａｍと関連付けられる。図３では、この関連付けを線で表している。また、ある層の各係数は、その次の層の各係数と関連付けられる。図３では、この関連付けも線で表している。関連付けられた要素間には重みが定められる。例えば、関連付けられたａ１とｂ１や、関連付けられたａ１とｂ２等にそれぞれ重みが定められる。
学習部２０３は、教師データを用いてディープラーニングを行うことによって、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値をそれぞれ決定する。これらの値が定めることが、モデルを生成することに該当する。
学習部２０３がモデルを学習し、そのモデルをモデル記憶部２０４に記憶させる処理は、前処理として予め実行される。
データ取得部２０５は、カメラ２０１が撮影によって得た新たな画像と、その画像が得られた撮影時刻（カメラ２０１が撮影を行った時刻）をカメラ２０１から取得する。データ取得部２０５は、カメラ２０１から画像および撮影時刻を受信するためのインタフェースである。
識別部２０６は、データ取得部２０５が新たな画像をカメラ２０１から取得したときに、モデル記憶部２０４に記憶されているモデルにその画像を適用することによって、その画像が表わす物体を識別する。本例では、識別部２０６は、モデルに画像を適用することによって、画像に写っている物体が「自動車」であるのか、「オートバイ」であるのか、「バス」であるのか、あるいは、「背景」しか写っていないのかを判定する。
画像が得られた場合、画像を表すベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔが定まる。識別部２０６は、そのベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔと、モデルに含まれる各層の各係数（ａ１〜ａｍやｂ１〜ｂｊ等）およびモデルに含まれる各重みとを用いて、「自動車」、「オートバイ」、「バス」、「背景」の信頼度を算出する。そして、識別部２０６は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られた項目を識別結果として定める。例えば、識別部２０６が、画像を表すベクトルをモデルに適用した結果、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度として、“０．６”、“０．２”、“０．１”、“０．１”が得られたとする。この場合、識別部２０６は、画像に写っている物体は、最も高い信頼度“０．６”が得られた「自動車」であると識別する。
モデル受信部２０７は、そのモデル受信部２０７を含む識別システム２００がモデル提供システム１００によってモデルの提供先として決定され、モデル提供システム１００がその識別システム２００にモデルを送信した場合に、そのモデルを受信する。モデル受信部２０７は、モデル提供システム１００からモデルを受信すると、モデル記憶部２０４に記憶されているモデルを、モデル提供システム１００から受信したモデルに置き換える。その後、識別部２０６が識別処理を実行する場合、モデル提供システム１００から受信したモデルを用いる。
入力デバイス２０８は、識別システム２００のオペレータがコンピュータ２０２に情報を入力するために用いる入力デバイスである。入力デバイス２０８の例として、マウスやキーボードが挙げられるが、入力デバイス２０８はマウスやキーボードに限定されない。
送信対象データ決定部２０９は、識別部２０６に新たな画像が与えられ、識別部２０６がその画像に写っている物体を識別した場合に、その画像を収集装置７００（図１参照）に送信するか否かを決定する。
例えば、送信対象データ決定部２０９は、画像とともに、識別部２０６による識別結果（例えば、「自動車」等）を、コンピュータ２０２が備えるディスプレイ装置（図示略）に表示し、その識別結果が正しいか否かの判定結果をオペレータから受け付ける。オペレータは、表示された画像および識別結果を参照し、識別結果が正しいか否かの判定結果を、入力デバイス２０８を用いて入力すればよい。送信対象データ決定部２０９は、識別結果が誤っているという判定結果をオペレータから受け付けた場合には、画像を収集装置７００に送信すると決定する。また、送信対象データ決定部２０９は、識別結果が正しいという判定結果をオペレータから受け付けた場合には、画像を収集装置７００に送信しないと決定する。
画像を収集装置７００に送信するか否かの決定方法は、上記の例に限定されない。送信対象データ決定部２０９は、識別部２０６が識別結果とともに導出した信頼度が閾値以下であるか否かによって、画像を収集装置７００に送信するか否かを決定してもよい。すなわち、識別部２０６が識別結果とともに導出した信頼度が閾値以下である場合、送信対象データ決定部２０９は、画像を収集装置７００に送信すると決定し、信頼度が閾値よりも大きい場合、送信対象データ決定部２０９は、画像を収集装置７００に送信しないと決定してもよい。なお、この閾値は例えば“０．５”であるが、“０．５”以外の値に定められてもよい。
なお、各実施形態では、上記のように信頼度に基づいて画像を収集装置７００に送信するか否かを決定する場合であっても、送信対象データ決定部２０９は、画像とともに、識別部２０６による識別結果をディスプレイ装置に表示し、その識別結果が正しいか否かの判定結果をオペレータから受け付けるものとする。これは、画像に対する識別結果が正しいか否かを示す判定結果と、その画像の撮影時刻とをログとして残しておくためである。送信対象データ決定部２０９は、オペレータから判定結果が入力される毎に、画像の撮影時刻と、オペレータから入力された、識別結果が正しいか否かを示す判定結果とを対応付けてログ記憶部２１１に記憶させる。ログ記憶部２１１は、画像に対する識別結果が正しいか否かを示す判定結果と、その画像の撮影時刻とをログとして記憶する記憶装置である。
データ送信部２１０は、送信対象データ決定部２０９によって収集装置７００に送信すると決定された画像を、識別システム２００の識別情報とともに、収集装置７００に送信する。
ログ送信部２１７は、定期的に（例えば、１日毎に）、ログ記憶部２１１に記憶されているログを、識別システム２００の識別情報とともに、モデル提供システム１００に送信する。
指標値集計部２１２は、識別部２０６による識別処理の識別精度を示す指標値を集計する。識別部２０６による識別処理の識別精度は、識別処理に用いられるモデルの識別精度であると言うことができる。
識別処理の識別精度を示す指標値（以下、単に指標値と記す。）の例について説明する。
指標値集計部２１２は、所定期間当たりの誤識別数を、指標値として集計してもよい。所定期間当たりの誤識別数は、所定期間内において、オペレータから、識別結果が誤っているという判定結果が送信対象データ決定部２０９に入力された回数に相当する。指標値集計部２１２は、所定期間内に、識別結果が誤っているという判定結果が入力された回数を集計し、その集計結果を、所定期間当たりの誤識別数として定めればよい。指標値集計部２１２は、所定期間毎に、所定期間当たりの誤識別数を求める。
また、指標値集計部２１２は、所定期間当たりの信頼度の平均値を、指標値として集計してもよい。所定期間当たりの信頼度の平均値とは、所定期間の間に、識別部２０６が画像に対する識別を行って、識別結果とともに導出した信頼度の平均値である。指標値集計部２１２は、所定期間毎に、所定期間当たりの信頼度の平均値を求める。
また、指標値集計部２１２は、所定期間当たりにおける識別処理回数に対する、信頼度が閾値以下となった識別処理回数の割合を、指標値として集計してもよい。この場合、指標値集計部２１２は、所定期間内において、識別部２０６が画像に対して識別処理を行った回数を集計する。また、指標値集計部２１２は、その識別処理のうち、識別結果とともに導出された信頼度が閾値以下となった識別処理の回数も集計する。そして、指標値集計部２１２は、所定期間内における識別処理の回数に対する、信頼度が閾値以下となった識別処理の回数の割合を計算すればよい。指標値集計部２１２は、所定期間毎に、所定期間当たりにおける識別処理回数に対する、信頼度が閾値以下となった識別処理回数の割合を算出する。なお、この閾値は例えば“０．５”であるが、“０．５”以外の値に定められてもよい。
上記の指標値の各例で述べた所定期間は、例えば、「１日」であるが、「１日」以外の期間であってもよい。
また、指標値集計部２１２は、所定の識別処理の回数に対する、信頼度が閾値以下となった識別処理回数の割合を、指標値として集計してもよい。この所定の識別処理の回数をＸ回とする。識別部２０６が画像に対して実行したＸ回の識別処理のうち、識別結果とともに導出された信頼度が閾値以下となった識別処理の回数を集計する。そして、指標値集計部２１２は、Ｘ回に対する、信頼度が閾値以下となった識別処理の回数の割合を計算し、指標値とすればよい。指標値集計部２１２は、識別部２０６が識別処理をＸ回行う毎に、この指標値を算出すればよい。なお、この閾値は例えば“０．５”であるが、“０．５”以外の値に定められてもよい。
指標値集計部２１２は、例示した上記の指標値のいずれかの指標値を求めればよい。また、指標値集計部２１２は、例示した上記の指標値以外の指標値を求めてもよい。
指標値送信部２１３は、指標値集計部２１２が指標値を算出する毎に、その指標値を、モデル提供システム１００に送信する。指標値集計部２１２が所定期間毎に指標値を算出する場合には、指標値送信部２１３は、所定期間毎に、算出された指標値をモデル提供システム１００に送信する。また、識別部２０６が識別処理をＸ回行う毎に指標値集計部２１２が指標値を算出する場合には、識別部２０６が識別処理をＸ回行う毎に、指標値送信部２１３は、算出された指標値をモデル提供システム１００に送信する。指標値送信部２１３は、指標値を送信する際、識別システム２００の識別情報も合わせて、モデル提供システム１００に送信する。
モデル配信タイミング情報送信部２１４は、そのモデル配信タイミング情報送信部２１４を含む識別システム２００に対してモデル提供システム１００がモデルを配信するタイミングを決定するための情報（モデル配信タイミング情報と記す。）を、モデル提供システム１００に対して送信する。モデル配信タイミング情報送信部２１４は、モデル配信タイミング情報をモデル提供システム１００に送信する際、識別システム２００の識別情報も合わせて送信する。
モデル配信タイミング情報の例として、識別システム２００のオペレータが入力した時刻が挙げられる。この場合、モデル配信タイミング情報送信部２１４は、識別システム２００のオペレータが入力した時刻（オペレータによって定められた時刻）を、モデル配信タイミング情報として、モデル提供システム１００に送信する。
また、モデル配信タイミング情報の他の例として、所定期間における誤識別率が挙げられる。所定期間における誤識別率は、所定期間内において、識別部２０６が画像に対して識別処理を行った回数に対する、識別結果が誤っていた回数の割合である。識別結果が誤っていた回数は、識別結果が誤っているという判定結果が入力された回数で表すことができる。モデル配信タイミング情報送信部２１４は、所定期間内において、識別部２０６が画像に対して識別処理を行った回数に対する、識別結果が誤っているという判定結果が入力された回数の割合を算出し、その割合を、所定期間における誤識別率として定めればよい。この場合、モデル配信タイミング情報送信部２１４は、誤識別率を算出し、その誤識別率をモデル提供システム１００に送信する処理を、所定期間毎に実行すればよい。この所定期間は、例えば、「１日」であるが、「１日」以外の期間であってもよい。
モデル提供システム１００が、所定期間における誤識別率に基づいて、モデルを配信するタイミングを決定する方法については、後述する。
属性データ記憶部２１５は、属性データ記憶部２１５を含むコンピュータ２０２に接続されているカメラ２０１の属性を示すデータ（属性データ）を記憶する記憶装置である。カメラ２０１の属性として、カメラ２０１自体の属性や、カメラ２０１が設置されている環境に依存する属性等が挙げられる。各属性の値は数値で表される。また、各属性の値は、識別システム２００の管理者がカメラ２０１の設定や設置環境等に応じて予め決定すればよい。属性データは、このような属性の値（数値）を要素とするベクトルで表される。
カメラ２０１の属性データは、少なくとも、「カメラ２０１の画角」、「カメラ２０１が屋内に設置されているか屋外に設置されているか」、「カメラ２０１の撮影対象」、「カメラ２０１の撮影対象の移動方向」という各属性のうちの少なくとも一部の属性の値を含む。また、ベクトルで表される属性データが、どの属性の値を要素としているかは、全ての識別システム２００で共通であり、どの属性の値がベクトルの何番目の要素になっているかに関しても、全ての識別システム２００で共通である。ベクトルの各要素となる数値は、識別システム２００毎に異なっていてよい。
「カメラ２０１の画角」は、数値で表されるので、管理者は、画角を表わす数値をベクトルの要素として定めればよい。
「カメラ２０１が屋内に設置されているか屋外に設置されているか」という属性に関しては、例えば、カメラ２０１が屋内に設置されている場合には、この属性の値を“０”に定め、カメラ２０１が屋外に設置されている場合には、この属性の値を“１”に定めればよい。
また、「カメラ２０１の撮影対象」という属性に関しては、例えば、カメラ２０１が車両を撮影するように設置されている場合（例えば、カメラ２０１が車道に向けて設置されている場合）、この属性の値を“０”に定める。また、カメラ２０１が歩行者を撮影するように設置されている場合（例えば、カメラ２０１が歩道に向けて設置されている場合）、この属性の値を“１”に定める。また、カメラ２０１が車両と歩行者の両方を撮影するように設置されている場合（例えば、カメラ２０１が車両と歩行者の両方が通る道に向けて設置されている場合）、この属性の値を“０．５”に定める。
「カメラ２０１の撮影対象の移動方向」という属性に関しては、カメラ２０１の主軸方向等に基づいた基準軸を定め、その基準軸と、撮影対象の主たる移動方向とのなす角度を、この属性の値として定めればよい。
また、上記以外の属性の値を属性データに含めてもよい。例えば、「カメラ２０１の設置場所の高さ」、「カメラ２０１の俯角」、「カメラ２０１の解像度」等の値を属性データに含めてもよい。「カメラ２０１の設置場所の高さ」、「カメラ２０１の俯角」、「カメラ２０１の解像度」はいずれも数値で表されるので、それらの数値をベクトルの要素として定めればよい。
属性データ記憶部２１５は、管理者によって上記のように定められたベクトル（属性データ）を記憶するとともに、カメラ２０１の設置場所の位置情報（例えば、緯度および経度）も記憶する。ベクトル（属性データ）、および、カメラ２０１の設置場所の位置情報は、予め、識別システム２００の管理者が、属性データ記憶部２１５に記憶させておけばよい。
属性データ送信部２１６は、属性データ記憶部２１５に記憶されているベクトル（属性データ）、および、カメラ２０１の設置場所の位置情報を、識別システム２００の識別情報とともに、モデル提供システム１００に送信する。
モデル受信部２０７、データ送信部２１０、ログ送信部２１７、指標値送信部２１３、モデル配信タイミング情報送信部２１４および属性データ送信部２１６は、識別システム用プログラムに従って動作するコンピュータ２０２のＣＰＵ（Central Processing Unit ）およびコンピュータ２０２の通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータ２０２のプログラム記憶装置等のプログラム記録媒体から、識別システム用プログラムを読み込み、そのプログラムに従って、通信インタフェースを用いて、モデル受信部２０７、データ送信部２１０、ログ送信部２１７、指標値送信部２１３、モデル配信タイミング情報送信部２１４および属性データ送信部２１６として動作すればよい。また、学習部２０３、識別部２０６、送信対象データ決定部２０９および指標値集計部２１２は、例えば、識別システム用プログラムに従って動作するコンピュータ２０２のＣＰＵによって実現される。すなわち、上記のように識別システム用プログラムを読み込んだＣＰＵが、学習部２０３、識別部２０６、送信対象データ決定部２０９および指標値集計部２１２として動作すればよい。また、モデル記憶部２０４、ログ記憶部２１１および属性データ記憶部２１５は、コンピュータ２０２が備える記憶装置によって実現される。
図４は、収集装置７００の構成例を示すブロック図である。収集装置７００は、データ受信部７０１と、データ記憶部７０２と、データ追加部７０３とを備える。
データ受信部７０１は、識別システム２００のデータ送信部２１０（図２参照）が送信した画像、および、識別システム２００の識別情報を受信し、その画像および識別情報をデータ記憶部７０２に記憶させる。データ受信部７０１は、１台の識別システム２００だけからデータを受信するのではなく、複数の識別システム２００からそれぞれ画像および識別システム２００の識別情報を受信する。
データ受信部７０１は、個々の識別システム２００からデータ（画像および識別システム２００の識別情報）を受信すると、受信したデータをデータ記憶部７０２に記憶させる。
データ追加部７０３は、収集装置７００のオペレータの操作に従って、画像に対応付けてデータを追加する。具体的には、データ追加部７０３は、画像に対応付けて、その画像に写っている物体を表わす正しいラベル（例えば、「バス」等）と、画像に写っている物体を囲む矩形領域を表わす座標（例えば、矩形領域の各頂点の座標）とを、データ記憶部７０２に記憶させる。データ追加部７０３は、例えば、データ記憶部７０２に記憶された個々の画像を収集装置７００のディスプレイ装置（図示略）上に表示することによって画像を収集装置７００のオペレータに表示し、画像に写っている物体を表わす正しいラベルの入力を受け付けたり、画像に写っている物体を囲む矩形領域の指定を受け付けたりすればよい。そして、データ追加部７０３は、入力されたラベルや、指定された矩形領域を表わす座標を、画像に対応付けて、データ記憶部７０２に記憶させればよい。
この結果、データ記憶部７０２には、識別システム２００の識別情報と、画像と、ラベルと、画像に写っている物体を囲む矩形領域を表わす座標との組が、複数組記憶されることになる。この各組のデータは、画像に写っている物体を識別するためのモデルを学習する際に用いる教師データとなる。
なお、画像と、ラベルと、画像に写っている物体を囲む矩形領域を表わす座標との対応付けを、収集装置７００のオペレータが行うのではなく、それぞれの識別システム２００のオペレータが行ってもよい。この場合、識別システム２００のデータ送信部２１０が画像を送信する前に、識別システム２００のオペレータが、画像と、ラベルと、画像に写っている物体を囲む矩形領域を表わす座標との対応付けを行い、その後、データ送信部２１０が、識別システム２００の識別情報と、画像と、ラベルと、矩形領域を表わす座標との組を収集装置７００に送信してもよい。
次に、本発明のモデル提供システム１００の構成例について説明する。図５は、本発明の第１の実施形態のモデル提供システム１００の構成例を示すブロック図である。モデル提供システム１００は、データ記憶部１０１と、第１の学習部１０２と、第２の学習部１０３と、モデル記憶部１０４と、属性データ受信部１０５と、属性データ記憶部１０６と、分類部１０７と、分類結果記憶部１０８と、モデル配信タイミング情報受信部１０９と、モデル配信タイミング情報記憶部１１０と、ログ受信部１１１と、ログ記憶部１１２と、提供先決定部１１３と、モデル選択部１１４と、表示制御部１１５と、モデル統合部１１７と、モデル送信部１１８と、ディスプレイ装置１１９と、マウス１２０とを備える。
なお、第１の実施形態では、モデル提供システム１００が、各識別システム２００から受信する指標値に基づいて、モデルの提供先となる識別システム２００を決定する場合を例にして説明する。モデル提供システム１００のオペレータが、モデルの提供先となる識別システム２００を指定する場合については、第２の実施形態で説明する。
データ記憶部１０１は、収集装置７００のデータ記憶部７０２が記憶するデータと同様のデータを記憶する。すなわち、データ記憶部１０１は、識別システム２００の識別情報と、画像と、ラベルと、画像に写っている物体を囲む矩形領域を表わす座標との組を、複数組記憶する。
例えば、収集装置７００およびモデル提供システム１００を管理する管理者が、収集装置７００のデータ記憶部７０２に記憶されているデータを、データ記憶部１０１にコピーしてもよい。
データ記憶部１０１が記憶する各組のデータは、画像に写っている物体を識別するためのモデルを学習する際に用いる教師データとなる。そして、各組に含まれる画像は、例えば、識別システム２００において識別結果が誤っていた画像、または、信頼度が閾値以下であった画像である。そのような画像に対して、正しいラベルが対応付けられている。従って、データ記憶部１０１が記憶する各組のデータを教師データとしてモデルを学習することによって、識別システム２００が用いているモデルよりも、識別精度が高いモデルを生成することができる。
第１の学習部１０２は、データ記憶部１０１に記憶されている各組のデータ全体を教師データとして用いて、ディープラーニングによって、モデルを学習する。このモデルは、画像に写っている物体を識別するためのモデルである。第１の学習部１０２は、学習によって得たモデルをモデル記憶部１０４に記憶させる。以下、第１の学習部１０２が生成したモデルを全体モデルと記す。
第２の学習部１０３は、データ記憶部１０１に記憶されている各組のデータを用いて、識別システム２００毎に、識別システム２００に対応するモデルを、ディープラーニングによって学習する。例えば、ある識別システムを「識別システム２００ａ」と記す。第２の学習部１０３は、データ記憶部１０１に記憶されている各組のデータから、識別システム２００ａの識別情報を含む組を抽出する。そして、第２の学習部１０３は、抽出した組を教師データとして、ディープラーニングによって、識別システム２００ａに対応するモデルを学習する。このモデルも、画像に写っている物体を識別するためのモデルである。ここでは、識別システム２００ａを例にして説明したが、第２の学習部１０３は、他の個々の識別システム２００に関しても、それぞれ同様に、モデルを学習する。この結果、収集装置７００に画像データを送信した識別システム２００毎に、それぞれ、モデルが生成される。第２の学習部１０３は、識別システム２００毎に生成したそれぞれのモデルを、モデル記憶部１０４に記憶させる。
モデル記憶部１０４は、第１の学習部１０２によってディープラーニングによって学習された全体モデルと、第２の学習部１０３によって識別システム２００毎にディープラーニングによって学習された個々のモデルとを記憶する記憶装置である。
全体モデル、および、第２の学習部１０３によって識別システム２００毎に生成された個々のモデルは、いずれも図３に模式的に示すモデルと同様の形式で表される。ただし、全体モデルは、データ記憶部１０１に記憶されている各組のデータ全体を教師データとして生成されている。従って、個々の識別システム２００に対応する個々のモデルに比べて、全体モデルの方が、層の数等が多い。その結果、記憶領域に記憶させるデータ容量も、全体モデルの方が、個々の識別システム２００に対応する個々のモデルよりも大きい。
また、全体モデル、および、第２の学習部１０３によって識別システム２００毎に生成された個々のモデルの識別精度は、各識別システム２００が識別処理で用いているモデルの識別精度よりも高いと言える。全体モデルや第２の学習部１０３によって生成された各モデルを生成する際に用いられる教師データは、識別システム２００において識別結果が誤っていた画像、または、信頼度が閾値以下であった画像に、正しいラベルを対応付けたデータであるからである。
モデル統合部１１７は、個々の識別システム２００に対応する個々のモデル、および、全体モデルのうち、モデル提供システム１００のオペレータによって指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成する。
属性データ受信部１０５は、各識別システム２００の属性データ送信部２１６が送信したカメラ２０１の属性データ（ベクトル）と、カメラ２０１の設置場所の位置情報と、識別システム２００の識別情報とを受信し、受信した属性データと位置情報と識別情報とを対応付けて、属性データ記憶部１０６に記憶させる。
属性データ記憶部１０６は、識別システム２００毎に、カメラ２０１の属性データと、カメラ２０１の設置場所の位置情報と、識別システム２００の識別情報とを対応付けて記憶する記憶装置である。
分類部１０７は、属性データ記憶部１０６に記憶されている各識別システム２００のカメラ２０１の属性データに基づいて、各識別システム２００を複数のグループに分類する。より具体的には、分類部１０７は、各識別システム２００の識別情報を複数のグループに分類する。例えば、分類部１０７は、ベクトルで表される各属性データを用いて、ｋ−ｍｅａｎｓ法によって、各識別システム２００を複数のグループに分類すればよい。
分類部１０７は、分類したグループ毎に、グループの識別情報と、そのグループに属する各識別システム２００の識別情報とを対応付けて、分類結果記憶部１０８に記憶させる。
分類結果記憶部１０８は、グループ毎に、グループの識別情報と、そのグループに属する各識別システム２００の識別情報とを対応付けて記憶する記憶装置である。
分類部１０７が属性データに基づいて各識別システム２００を複数のグループに分類し、分類結果を分類結果記憶部１０８に記憶させる処理は、前処理として予め実行される。
モデル配信タイミング情報受信部１０９は、各識別システム２００のモデル配信タイミング情報送信部２１４が送信したモデル配信タイミング情報、および、識別システム２００の識別情報を受信し、受信したモデル配信タイミング情報と識別情報とを対応付けて、モデル配信タイミング情報記憶部１１０に記憶させる。
モデル配信タイミング情報記憶部１１０は、モデル配信タイミング情報と識別システム２００の識別情報とを対応付けて記憶する記憶装置である。
例えば、モデル配信タイミング情報が、識別システム２００のオペレータによって定められた時刻である場合、モデル配信タイミング情報受信部１０９は、その時刻を示す情報と、識別システムの識別情報とを受信し、その時刻を示す情報と識別情報とを対応付けて、モデル配信タイミング情報記憶部１１０に記憶させる。
また、モデル配信タイミング情報が、所定期間（例えば、「１日」）における誤識別率である場合、各識別システム２００のモデル配信タイミング情報送信部２１４は、所定期間毎に、誤識別率と、識別システム２００の識別情報とを送信する。この場合、モデル配信タイミング情報受信部１０９は、所定期間における誤識別率と識別システム２００の識別情報とを受信する毎に、その誤識別率と識別情報とを対応付けて、モデル配信タイミング情報記憶部１１０に記憶させる。
ログ受信部１１１は、各識別システム２００のログ送信部２１７が送信するログおよび識別システム２００の識別情報を受信し、受信したログと識別情報とを対応付けて、ログ記憶部１１２に記憶させる。
ログ記憶部１１２は、ログと、識別システム２００の識別情報とを対応付けて記憶する記憶装置である。
なお、ログ送信部２１７は、定期的に（例えば、１日毎に）、ログおよび識別システム２００の識別情報を送信する。ログ受信部１１１は、ログおよび識別システム２００の識別情報を受信する毎に、受信したログと識別情報とを対応付けて、ログ記憶部１１２に記憶させる。
提供先決定部１１３は、モデルの提供先となる識別システム２００を決定する。第１の実施形態では、提供先決定部１１３は、各識別システム２００の指標値送信部２１３から指標値（識別部２０６による識別処理の識別精度を示す指標値）を受信し、その指標値に基づいて、モデルの提供先となる識別システム２００を決定する。
指標値が、所定期間当たりの誤識別数であるとする。この場合、提供先決定部１１３は、最新の誤識別数が前回受信した誤識別数よりも所定の閾値以上増加している識別システム２００を検出すると、その識別システム２００をモデルの提供先として決定する。誤識別数が減少している識別システム２００や、最新の誤識別数が前回受信した誤識別数よりも増加しているがその増加量が所定の閾値未満である識別システム２００に関しては、提供先決定部１１３は、モデルの提供先としない。
指標値が、所定期間当たりの信頼度の平均値（以下、信頼度平均値と記す。）であるとする。この場合、提供先決定部１１３は、最新の信頼度平均値が前回受信した信頼度平均値よりも所定の閾値以上低下している識別システム２００を検出すると、その識別システム２００をモデルの提供先として決定する。信頼度平均値が増加している識別システム２００や、最新の信頼度平均値が前回受信した信頼度平均値よりも減少しているがその減少量が所定の閾値未満である識別システム２００に関しては、提供先決定部１１３は、モデルの提供先としない。
指標値が、所定期間当たりにおける識別処理回数に対する、信頼度が閾値以下となった識別処理回数の割合（以下、低信頼度率）であるとする。この場合、提供先決定部１１３は、最新の低信頼度率が前回受信した低信頼度率よりも所定の閾値以上増加している識別システム２００を検出すると、その識別システム２００をモデルの提供先として決定する。低信頼度率が減少している識別システム２００や、最新の低信頼度率が前回受信した低信頼度率よりも増加しているがその増加量が所定の閾値未満である識別システム２００に関しては、提供先決定部１１３は、モデルの提供先としない。指標値が、所定の識別処理の回数に対する、信頼度が閾値以下となった識別処理回数の割合である場合、提供先決定部１１３は、指標値が低信頼度率である場合と同様の方法で、モデルの提供先となる識別システム２００を決定すればよい。
各実施形態では、説明を簡単にするため、提供先決定部１１３が、モデルの提供先となる識別システム２００として、同時に複数の識別システム２００を決定しない場合を例にして説明する。
提供先決定部１１３が、モデルの提供先となる識別システム２００として、１つの識別システム２００を決定すると、モデル選択部１１４は、統合するモデルとしてモデル提供システム１００のオペレータに推奨するモデルを選択する。このとき、モデル選択部１１４は、モデルの提供先として決定された識別システム２００（以下、提供先識別システム２００と記す。）のカメラ２０１の属性データと、提供先識別システム２００以外の各識別システム２００のカメラ２０１の属性データとの類似度に基づいて、オペレータに推奨するモデル（以下、推奨モデルと記す。）を選択する。
具体的には、モデル選択部１１４は、提供先識別システム２００のカメラ２０１の属性データと、提供先識別システム２００以外の各識別システム２００のカメラ２０１の属性データとの類似度を、それぞれ計算する。前述のように、属性データは、ベクトルで表される。提供先識別システム２００のカメラ２０１の属性データと、提供先識別システム２００以外の１つの識別システム２００のカメラ２０１の属性データとの類似度を計算する場合、モデル選択部１１４は、前者の属性データを表わすベクトルと、後者の属性データを表わすベクトルとの距離の逆数を、その２つの属性データの類似度として計算すればよい。モデル選択部１１４は、提供先識別システム２００以外の識別システム２００毎に、この類似度を計算する。そして、類似度が高い順に、提供先識別システム２００以外の識別システム２００の識別システム２００の中から所定数の識別システム２００を特定し、その所定数の識別システム２００に対応するモデルを、推奨モデルとして選択する。
すなわち、モデル選択部１１４は、カメラ２０１の属性が提供先識別システム２００のカメラ２０１の属性と類似している識別システム２００に対応するモデルを、推奨モデルとして選択する。そのようなモデルを統合することによって、提供先識別システム２００が保持しているモデルよりも識別精度が高いモデルを生成することができる。
モデル選択部１１４は、上記のように選択した推奨モデルの他に、さらに、別の方法で推奨モデルを選択してもよい。以下、さらに別の方法で推奨モデルを選択する方法について説明する。モデル選択部１１４は、ログ記憶部１１２に記憶された各識別システム２００のログに基づいて、識別システム２００毎に、所定の状況における誤識別率を計算する。ここでは、説明を簡単にするため、所定の状況が「夜間」であるものとする。「夜間」は、例えば、２３時〜５時等のように時刻を用いて定義することができる。なお、ここでは、モデル選択部１１４は、「夜間」における誤識別率だけでなく、「夜間」以外の状況（すなわち、「夜間」以外の時間帯）における誤識別率も、識別システム２００毎に計算する。
ログは、画像に対する識別結果が正しいか否かを示す判定結果と、その画像の撮影時刻とを含んでいる。「夜間」における誤識別率とは、夜間に撮影によって得られた画像に対する識別処理の回数に対する、識別結果が誤っていた回数の割合である。ログに記録されている、「夜間」に該当する撮影時刻の個数は、夜間に撮影によって得られた画像に対する識別処理の回数を表わす。また、その撮影時刻のうち、識別結果が誤っているという判定結果と対応付けられている撮影時刻の個数が、識別結果が誤っていた回数を表わす。従って、モデル選択部１１４は、「夜間」に該当する撮影時刻の個数と、その撮影時刻のうち、識別結果が誤っているという判定結果と対応付けられている撮影時刻の個数とに基づいて、「夜間」における誤識別率を算出すればよい。
また、「夜間」以外の時間帯における誤識別率とは、「夜間」以外の時間帯に撮影によって得られた画像に対する識別処理の回数に対する、識別結果が誤っていた回数の割合である。ログに記録されている、「夜間」以外の時間帯に該当する撮影時刻の個数は、その時間帯に撮影によって得られた画像に対する識別処理の回数を表わす。また、その撮影時刻のうち、識別結果が誤っているという判定結果と対応付けられている撮影時刻の個数が、識別結果が誤っていた回数を表わす。従って、モデル選択部１１４は、「夜間」以外の時間帯に該当する撮影時刻の個数と、その撮影時刻のうち、識別結果が誤っているという判定結果と対応付けられている撮影時刻の個数とに基づいて、「夜間」以外の時間帯における誤識別率を算出すればよい。
提供先識別システム２００の「夜間」における誤識別率が、予め定められた第１の閾値以上であるとする。このことは、提供先識別システム２００の「夜間」における誤識別率が高いことを意味する。この場合、モデル選択部１１４は、「夜間」における誤識別率が、予め定められた第２の閾値未満となっている識別システム２００を特定し、その識別システム２００に対応するモデルを、推奨モデルとして選択する。ただし、第２の閾値は、第１の閾値以下である。「夜間」における誤識別率が第２の閾値未満であるということは、「夜間」における誤識別率が低いことを意味する。「夜間」における誤識別率が低い識別システム２００に対応するモデルを統合することによって、提供先識別システム２００が保持しているモデルよりも識別精度が高いモデルを生成することができる。
モデル選択部１１４が上記のようにモデルを選択した場合、モデル選択部１１４は、提供先識別システム２００での誤識別率が第１の閾値以上となる状況における誤識別率が第２の閾値未満となっている識別システム２００を特定し、その識別システム２００に対応するモデルを選択していると言うことができる。
表示制御部１１５は、モデル選択部１１４に選択されたモデルに対応する各識別システム２００と、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００とを、モデル提供システム１００のオペレータに提示する画面であって、提示した識別システム２００の中からオペレータが識別システム２００を指定可能な画面を、ディスプレイ装置１１９上に表示する。
例えば、表示制御部１１５は、モデル選択部１１４に選択されたモデルに対応する各識別システム２００を表わす各アイコンと、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００を表わす各アイコンとを含む画面であって、個々のアイコンをマウス１２０でクリックすることによって、識別システム２００を指定可能な画面を表示する。なお、図５に示すマウス１２０は、オペレータが画面を介して、情報（本例ではオペレータが指定する識別システム等を示す情報）を入力するための入力デバイスの一例である。オペレータが操作に用いる入力デバイスはマウス１２０に限定されない。
図６は、表示制御部１１５がディスプレイ装置１１９上に表示する画面の例を示す模式図である。表示制御部１１５は、予め保持している地図データが示す地図画像に、個々の識別システム２００を表わすアイコン５１〜５８を重畳した画面を、ディスプレイ装置１１９上に表示する。図６では、識別システム２００を表わすアイコンとして、８個のアイコン５１〜５８を例示しているが、アイコンの数は、識別システム２００の数に応じて定まる。表示制御部１１５は、アイコンに対応する識別システム２００のカメラ２０１の位置情報を属性データ記憶部１０６から読み込み、地図画像上で、カメラ２０１の位置情報が示す位置にアイコンを表示する。
また、表示制御部１１５は、分類部１０７によって定められたグループ毎に異なる態様で、個々の識別システム２００を表わすアイコンを表示する。図６では、表示制御部１１５がグループ毎に異なる模様で個々のアイコン５１〜５８を表示した例を示している。アイコンの模様が同じであるということは、そのアイコンが表わす識別システム２００が同じグループに属していることを意味する。図６に示す例では、アイコン５１，５２，５３が表わしている各識別システム２００が同じグループに属し、アイコン５４，５５，５６が表わしている各識別システム２００が同じグループに属し、アイコン５７，５８が示す各識別システム２００が同じグループに属していることを示している。なお、表示制御部１１５は、グループ毎に異なる色で個々のアイコンを表示してもよい。
また、各識別システム２００は、モデル選択部１１４に選択されたモデルに対応する各識別システム２００と、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００とに分けられる。表示制御部１１５は、モデル選択部１１４に選択されたモデルに対応する各識別システム２００を表わすアイコンを、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００を表わすアイコンよりも強調して表示する。図６に示す例では、表示制御部１１５は、モデル選択部１１４に選択されたモデルに対応する各識別システム２００を表わすアイコンとともに、そのアイコンを囲む実線の円を表示することによって、そのアイコンを強調して表示する。すなわち、図６に示す例では、モデル選択部１１４に選択されたモデルに対応する各識別システム２００を表わすアイコンは、アイコン５２，５３，５４である。また、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００の中には、提供先識別システム２００も含まれる。モデル選択部１１４は、提供先識別システム２００を表わすアイコンを、所定の態様で強調して表示する。図６に示す例では、提供先識別システム２００を表わすアイコンとともに、そのアイコンを囲む実線の四角形を表示することによって、そのアイコンを強調して表示する。すなわち、図６に示す例では、アイコン５１が、提供先識別システム２００を表わしている。
さらに、表示制御部１１５は、各アイコンの近傍に、アイコンに対応する識別システム２００の「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率を表示する。これらの誤識別率の表示態様は、数値を直接表示する態様でなくてもよい。図６では、「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率を横棒グラフで表示する場合を例示している。図６に示す各アイコンに対応する横棒グラフでは、上側のバーが「夜間」以外の時間帯における誤識別率を表し、下側のバーが「夜間」における誤識別率を表わしているものとする。なお、個々の識別システム２００の「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率は、例えば、モデル選択部１１４がログに基づいて算出すればよい。
図６に示す例では、モデル選択部１１４が、提供先識別システム２００のカメラ２０１の属性データとの類似度が高い順に、２つの識別システム２００を特定し、その２つの識別システム２００に対応するモデルを、推奨モデルとして選択しているものとする。そして、アイコン５２，５３がその２つの識別システム２００を表わしているものとする。
さらに、モデル選択部１１４は、提供先識別システム２００の「夜間」における誤識別率が第１の閾値以上であり、図６に例示するアイコン５４が表わしている識別システム２００の「夜間」における誤識別率が第２の閾値以下であると判断しているものとする。そして、モデル選択部１１４は、アイコン５４が表わしている識別システム２００に対応するモデルを推奨モデルとして選択しているものとする。
その結果、図６に示す例では、表示制御部１１５は、アイコン５２，５３，５４を、実線の円とともに表示することによって、強調しているものとする。ただし、アイコンを強調する態様は、図６に示す例に限定されない。
また、表示制御部１１５は、全体モデル（第１の学習部１０２によって学習されたモデル）を表わすアイコン６１と、確定ボタン６２も画面内に表示する（図６参照）。
識別システム２００を表わす各アイコン５１〜５８は、オペレータが識別システム２００を個別に指定するために用いられる。すなわち、オペレータが各アイコン５１〜５８のうち１つ以上のアイコンをクリックする操作は、オペレータが、クリックするアイコンに対応する識別システム２００を指定する操作である。識別システム２００を指定するということは、識別システム２００に対応するモデルを指定することであると言える。なお、各アイコン５１〜５８のうち、複数のアイコンがクリックされてもよい。
また、アイコン６１は、オペレータが全体モデルを指定するために用いられる。すなわち、アイコン６１をクリックする操作は、オペレータが全体モデルを指定する操作である。各アイコン５１〜５８のうち、１つ以上のアイコンがクリックされるとともに、アイコン６１がクリックされてもよい。
識別システム２００に対応するアイコンや、アイコン６１がクリックされた場合、表示制御部１１５は、クリックされたアイコンを、所定の態様で強調して表示する。各実施形態では、表示制御部１１５が、クリックされたアイコンの近傍に、三角形を表示することで、クリックされたアイコンを強調する場合を例にして説明する。ただし、クリックされたアイコンを強調する態様は、上記の例に限定されない。図７は、いくつかのアイコンがクリックされた場合の画面の例を示す模式図である。図７に示す例では、近傍に三角形が表示されたアイコン５１，５２，５３，５４，６１が、オペレータによってクリックされたアイコンである。
確定ボタン６２は、オペレータが識別システム２００や全体モデルの指定を確定する際に用いるボタンである。アイコン５１〜５８のうちの１つ以上のアイコンや、アイコン６１がクリックされた後、確定ボタン６２がクリックされると、表示制御部１１５は、クリックされた各アイコンが表わす各識別システム２００がオペレータによって指定されたと判定する。また、アイコン６１もクリックされている場合には、表示制御部１１５は、全体モデルがオペレータによって指定されたと判定する。なお、オペレータは、全体モデルを統合対象から除外しようとする場合には、アイコン６１をクリックしなければよい。
表示制御部１１５が、クリックされた各アイコンが表わす各識別システム２００がオペレータによって指定されたと判定した場合、モデル統合部１１７は、その各識別システム２００に対応する各モデル（第２の学習部１０３によって生成されたモデル）を、モデル記憶部１０４から読み込む。また、表示制御部１１５が全体モデルもオペレータによって指定されたと判定した場合、モデル統合部１１７は、識別システム２００に対応するモデルとともに、全体モデルも、モデル記憶部１０４から読み込む。
そして、モデル統合部１１７は、モデル記憶部１０４から読み込んだ各モデルを統合することによって、１つのモデルを生成する。オペレータによってアイコン６１がクリックされたことによって、モデル統合部１１７が全体モデルもモデル記憶部１０４から読み込んでいる場合、全体モデルも統合の対象になる。
モデル統合部１１７は、例えば、統合対象となる複数のモデルに対して蒸留処理を行うことによって、その複数のモデルを統合する。蒸留処理を行うことによって、統合後に得られる１つのモデルの圧縮することができる。すなわち、統合後に得られるモデルのデータ容量を少なくすることができる。
モデル統合部１１７が複数のモデルを統合することによって生成したモデルは、図３に模式的に示すモデルと同様の形式で表される。
モデル送信部１１８は、モデル配信タイミング情報記憶部１１０から、提供先識別システム２００に対応するモデル配信タイミング情報を参照し、モデル配信タイミング情報に基づいて、モデル統合部１１７が生成したモデルの配信タイミングを決定する。そして、モデル送信部１１８は、その配信タイミングに、モデル統合部１１７が生成したモデルを、提供先識別システム２００に送信する。
例えば、モデル配信タイミング情報が、識別システム２００のオペレータによって定められた時刻であるとする。この場合、モデル送信部１１８は、その時刻にモデルを送信すると決定する。すなわち、モデル送信部１１８は、提供先識別システム２００から受信した時刻を参照し、その時刻にモデルを送信すると決定する。そして、その時刻になると、モデル送信部１１８は、モデル統合部１１７が生成したモデルを、提供先識別システム２００に対して送信する。
また、モデル配信タイミング情報が、所定期間毎の（例えば、１日毎の）誤識別率であるとする。この場合、モデル送信部１１８は、所定の閾値以上の誤識別率が検出された場合に、その時点で、モデルを送信すると決定する。すなわち、モデル送信部１１８は、所定期間毎にモデル配信タイミング情報受信部１０９が各識別システム２００から受信し、モデル配信タイミング情報記憶部１１０に記憶させた誤識別率を参照し、提供先識別システム２００から受信した誤識別率が閾値以上になっていることを検出したならば、その時点で、モデル統合部１１７が生成したモデルを送信する。
モデル送信部１１８が提供先識別システム２００に送信したモデルは、提供先識別システム２００のモデル受信部２０７（図２参照）によって受信され、そのモデル受信部２０７がそのモデルをモデル記憶部２０４（図２参照）に記憶させる。
本実施形態において、属性データ受信部１０５、モデル配信タイミング情報受信部１０９、ログ受信部１１１、提供先決定部１１３およびモデル送信部１１８は、モデル提供プログラムに従って動作するコンピュータのＣＰＵおよびそのコンピュータの通信インタフェースによって実現される。例えば、ＣＰＵがコンピュータのプログラム記憶装置等のプログラム記録媒体から、モデル提供プログラムを読み込み、そのモデル提供プログラムに従って、通信インタフェースを用いて、属性データ受信部１０５、モデル配信タイミング情報受信部１０９、ログ受信部１１１、提供先決定部１１３およびモデル送信部１１８として動作すればよい。また、第１の学習部１０２、第２の学習部１０３、分類部１０７、モデル選択部１１４、表示制御部１１５およびモデル統合部１１７は、例えば、モデル提供プログラムに従って動作するコンピュータのＣＰＵによって実現される。すなわち、上記のようにモデル提供プログラムを読み込んだＣＰＵが、モデル提供プログラムに従って、第１の学習部１０２、第２の学習部１０３、分類部１０７、モデル選択部１１４、表示制御部１１５およびモデル統合部１１７として動作すればよい。また、データ記憶部１０１、モデル記憶部１０４、属性データ記憶部１０６、分類結果記憶部１０８、モデル配信タイミング情報記憶部１１０およびログ記憶部１１２は、コンピュータが備える記憶装置によって実現される。
次に、第１の実施形態における本発明のモデル提供システム１００の処理経過について説明する。図８は、第１の実施形態におけるモデル提供システム１００の処理経過の例を示すフローチャートである。なお、既に説明した事項については、適宜、説明を省略する。
なお、予め、第１の学習部１０２は、ディープラーニングによって全体モデルを学習し、その全体モデルをモデル記憶部１０４に記憶させているものとする。同様に、第２の学習部１０３は、ディープラーニングによって、識別システム２００毎にモデルを学習し、個々の識別システム２００に対応する個々のモデルをモデル記憶部１０４に記憶させているものとする。
また、個々の識別システム２００の属性データ送信部２１６はそれぞれ、カメラ２０１の属性データ、カメラ２０１の設置場所の位置情報、および、識別システム２００の識別情報をモデル提供システム１００に送信しているものとする。そして、モデル提供システム１００の属性データ受信部１０５は、各識別システム２００からそれらのデータを受信し、受信したデータを属性データ記憶部１０６に記憶させているものとする。さらに、分類部１０７が、各識別システム２００のカメラ２０１の属性データを用いて、各識別システム２００を複数のグループに分類し、その分類結果を、分類結果記憶部１０８に記憶させているものとする。すなわち、各識別システム２００は、属性データに基づいて、予め、複数のグループに分類されているものとする。
また、ログ受信部１１１は、各識別システム２００からログを受信し、そのログをログ記憶部１１２に記憶させているものとする。
まず、提供先決定部１１３は、各識別システム２００の指標値送信部２１３から指標値（識別部２０６による識別処理の識別精度を示す指標値）を受信し、その指標値に基づいて、モデルの提供先となる識別システム２００（提供先識別システム２００）を決定する（ステップＳ１）。
次に、モデル選択部１１４が、統合するモデルとしてモデル提供システム１００のオペレータに推奨するモデル（推奨モデル）を選択する（ステップＳ２）。推奨モデルの選択方法については、既に説明したので、ここでは説明を省略する。
次に、表示制御部１１５が、モデル選択部１１４に選択されたモデルに対応する各識別システム２００を表わす各アイコンと、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００を表わす各アイコンとをそれぞれ、地図画像に重畳した画面を、ディスプレイ装置１１９上に表示する（ステップＳ３）。ステップＳ３において、表示制御部１１５は、全体モデルを表わすアイコン６１や確定ボタン６２（図６参照）も、画面内に表示する。各識別システム２００を表わす各アイコンの表示態様については、既に説明したので、ここでは説明を省略する。表示制御部１１５は、例えば、図６に例示する画面をディスプレイ装置１１９上に表示する。
次に、表示制御部１１５は、ステップＳ３で表示した画面内のアイコンや確定ボタン６２（図６参照）に対するオペレータの操作に応じて、オペレータによって指定された識別システム２００を判定する（ステップＳ４）。例えば、図６に例示する画面において、各識別システム２００を表わす各アイコン５１〜５８のうち、１つ以上のアイコンがクリックされ、さらに確定ボタン６２がクリックされた場合、表示制御部１１５は、クリックされたアイコンが表わす識別システム２００がオペレータによって指定されたと判定する。また、識別システム２００を表わすアイコンだけでなく、アイコン６１もクリックされ、さらに確定ボタン６２がクリックされた場合、表示制御部１１５は、全体モデルもオペレータによって指定されたと判定する
次に、モデル統合部１１７が、オペレータによって指定された各識別システム２００に対応する各モデルをモデル記憶部１０４から読み込み、その各モデルを統合することによって１つのモデルを生成する（ステップＳ５）。また、オペレータによって全体モデルも指定されている場合には、モデル統合部１１７は、全体モデルもモデル記憶部１０４から読み込む。そして、モデル統合部１１７は、指定された各識別システム２００に対応する各モデルおよび全体モデルを統合することによって、１つのモデルを生成すればよい。
モデル統合部１１７は、ステップＳ５において、統合対象となる複数のモデルに対して蒸留処理を行うことによって、その複数のモデルを統合する。
次に、モデル送信部１１８は、モデル配信タイミング情報に基づいて、モデル配信タイミングを決定し、そのモデル配信タイミングに、ステップＳ５で生成されたモデルを、提供先識別システム２００に送信する（ステップＳ６）。
提供先識別システム２００のモデル受信部２０７（図２参照）は、ステップＳ６で送信されたモデルを受信し、そのモデルをモデル記憶部２０４に記憶させる。その後、識別部２０６（図２参照）が画像に対する識別処理を実行する場合、そのモデルを用いる。
本実施形態において、モデル記憶部１０４に記憶される全体モデルや、各識別システム２００に対応するモデルは、各識別システムで得られた画像（例えば、識別結果が誤っていた画像、または、信頼度が閾値以下であった画像）や、その画像に対応付けられた正しいラベル等を教師データとして、ディープラーニングによって生成されたモデルである。従って、全体モデルや、識別システム２００に対応するモデルは、識別システム２００が識別処理で使用しているモデルよりも識別精度が向上していると言える。
そして、モデル統合部１１７は、オペレータに指定された各識別システム２００に対応する各モデルや、オペレータに指定された全体モデルを統合して、１つのモデルを統合する。この結果得られるモデルの識別精度も高いと言える。
また、提供先決定部１１３が指標値に基づいて決定する提供先識別システム２００は、識別精度が低下した識別システムである。
そして、モデル送信部１１８は、提供先識別システム２００に、統合によって得られた識別精度の高いモデルを送信する。従って、本実施形態のモデル提供システム１００によれば、提供先識別システム２００に対して、識別精度の高いモデルを提供することができる。
また、表示制御部１１５は、カメラ２０１の属性データが提供先識別システム２００のカメラ２０１の属性データと類似している識別システム２００を表わすアイコンを強調して表示する。また、表示制御部１１５は、提供先識別システム２００での誤識別率が第１の閾値以上となる状況において誤識別率が第２の閾値未満となっている識別システム２００を表わすアイコンを強調して表示する。従って、モデル提供システム１００のオペレータにとって、どの識別システム２００に対応するモデルを統合すればよいのかを判断しやすくなる。
また、各識別システム２００はカメラ２０１の属性データに基づいてグループに分類され、表示制御部１１５は、各識別システム２００を表わす各アイコンを異なる態様で表示する（例えば、異なる模様や異なる色で表示する）。このことによっても、オペレータは、どの識別システム２００に対応するモデルを統合すればよいのかを判断しやすくなる。
実施形態２．
図９は、本発明の第２の実施形態のモデル提供システム１００の構成例を示すブロック図である。第１の実施形態のモデル提供システム１００の要素と同様の要素については、図５に示す符号と同一の符号を付し、説明を省略する。
データ記憶部１０１、第１の学習部１０２、第２の学習部１０３、モデル記憶部１０４、属性データ受信部１０５、属性データ記憶部１０６、分類部１０７、分類結果記憶部１０８、モデル配信タイミング情報受信部１０９、モデル配信タイミング情報記憶部１１０、ログ受信部１１１、ログ記憶部１１２、モデル選択部１１４、表示制御部１１５、モデル統合部１１７、モデル送信部１１８、ディスプレイ装置１１９およびマウス１２０は、第１の実施形態におけるそれらの要素と同様である。
第２の実施形態のモデル提供システム１００が備える提供先決定部４１３（図９参照）の動作は、第１の実施形態における提供先決定部１１３（図５参照）の動作と異なる。
第２の実施形態において、提供先決定部４１３は、モデル提供システム１００のオペレータから、モデルの提供先となる識別システム２００を指定されると、その識別システム２００を、提供先識別システム２００として決定する。
具体的には、提供先決定部４１３は、各識別システム２００を表わすアイコンをそれぞれ含む画面であって、アイコンをクリックすることによってオペレータがモデルの提供先となる識別システム２００（提供先識別システム２００）を指定可能な画面を、ディスプレイ装置１１９上に表示する。
図１０は、提供先決定部４１３がディスプレイ装置１１９上に表示する画面の例を示す模式図である。提供先決定部４１３は、予め保持している地図データが示す地図画像に、個々の識別システム２００を表わすアイコン５１〜５８を重畳した画面を、ディスプレイ装置１１９上に表示する。識別システム２００を表わすアイコンの数は、識別システム２００の数に応じて定まる。提供先決定部４１３は、アイコンに対応する識別システム２００のカメラ２０１の位置情報を属性データ記憶部１０６から読み込み、地図画像上で、カメラ２０１の位置情報が示す位置にアイコンを表示する。この点は、表示制御部１１５が図６に例示する各アイコン５１〜５８を表示する場合と同様である。
また、提供先決定部４１３は、分類部１０７によって定められたグループ毎に異なる態様で、個々の識別システム２００を表わすアイコンを表示する。この点も、表示制御部１１５が図６に例示する各アイコン５１〜５８を表示する場合と同様である。図１０では、提供先決定部４１３がグループ毎に異なる模様で個々のアイコン５１〜５８を表示した例を示している。アイコンの模様が同じであるということは、そのアイコンが表わす識別システム２００が同じグループに属していることを意味する。
さらに、提供先決定部４１３は、各アイコンの近傍に、アイコンに対応する識別システム２００の「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率を表示する。これらの誤識別率の表示態様は、数値を直接表示する態様でなくてもよい。図１０では、「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率を横棒グラフで表示する場合を例示している。図１０に示す各アイコンに対応する横棒グラフでは、上側のバーが「夜間」以外の時間帯における誤識別率を表し、下側のバーが「夜間」における誤識別率を表わしているものとする。なお、個々の識別システム２００の「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率は、例えば、モデル選択部１１４がログに基づいて算出すればよい。この点に関しても、表示制御部１１５が図６に例示する画面を表示する場合と同様である。
ただし、提供先決定部４１３は、画面の初期状態で、特定の識別システム２００を表わすアイコンを強調しない。例えば、提供先決定部４１３は、画面の初期状態で、アイコンを強調するための実線の円（図６参照）等を表示しない。
また、提供先決定部４１３は、各アイコンや横棒グラフの他に、決定ボタン８１もディスプレイ装置１１９上に表示する。決定ボタン８１は、オペレータが提供先識別システム２００の指定を確定する際に用いるボタンである。
各識別システム２００に対応する各アイコン５１〜５８のうち、いずれか１つのアイコンがクリックされた後、決定ボタン８１がクリックされると、提供先決定手段４１３は、クリックされたアイコンが表わす識別システム２００が、オペレータによって提供先識別システム２００として指定されたと判定する。そして、提供先決定手段４１３は、クリックされたアイコンが表わす識別システム２００を、提供先識別システム２００として決定する。
オペレータは、例えば、「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率を表わす横棒グラフを参照して、提供先識別システム２００として指定する識別システム２００を判断してもよい。例えば、図１０に示す例では、アイコン５１が表わす識別システム２００は、「夜間」以外の時間帯と、「夜間」の両方において、誤識別率が高い。そこで、オペレータは、その識別システム２００に、識別精度の高いモデルを提供した方がよいと判断して、アイコン５１をクリックし、続いて、決定ボタン８１をクリックしてもよい。
また、図１０に例示する画面において、まだ運用が開始されていない新設された識別システム２００を表わすアイコンが表示されてもよい。そして、その識別システム２００は、モデル提供システム１００から識別精度の高いモデルの提供を受け、運用開始時からそのモデルを使用することを前提としていてもよい。この場合、その識別システム２００は、学習部２０３（図２参照）を備えていなくてもよい。また、運用が開始されていない識別システム２００は、ログを生成しておらず、ログをモデル提供システム１００に送信していない。従って、提供先決定部４１３は、ログを送信していない識別システム２００を表わすアイコンの近傍には、誤識別率を表わす横棒グラフを表示しない。また、オペレータは、横棒グラフが表示されていないアイコンに対応する識別システム２００は、モデル提供システム１００からモデルの提供を受けることを前提としていると判断し、横棒グラフが表示されていないアイコンをクリックしてもよい。
なお、表示制御部１１５が、図６および図７に例示する画面を表示する際にも、ログを送信していない識別システム２００を表わすアイコンの近傍には、誤識別率を表わす横棒グラフを表示しない。また、その識別システム２００は運用開始前であるため、その識別システム２００に対応するモデルは、第２の学習部１０３によって生成されていない。従って、表示制御部１１５は、図６に例示する画面を表示する際、運用開始前であることによって第２の学習部１０３がモデルを生成していない識別システム２００に関しては、オペレータの指定操作の対象外としてよい。
また、第２の実施形態では、提供先決定部４１３は、オペレータの指定に基づいて、提供先識別システム２００を決定する。従って、第２の実施形態では、識別システム２００は、指標値集計部２１２および指標値送信部２１３を備えていなくてよい。
第２の実施形態のモデル提供システム１００が備える提供先決定部４１３は、例えば、モデル提供プログラムに従って動作するコンピュータのＣＰＵによって実現される。すなわち、ＣＰＵが、コンピュータのプログラム記憶装置等のプログラム記録媒体から、モデル提供プログラムを読み込み、そのモデル提供プログラムに従って、提供先決定部４１３として動作すればよい。
次に、第２の実施形態における本発明のモデル提供システム１００の処理経過について説明する。図１１は、第２の実施形態におけるモデル提供システム１００の処理経過の例を示すフローチャートである。なお、既に説明した事項については、適宜、説明を省略する。また、図８に示すフローチャートが表わす動作と同一の動作に関しては、図８と同一のステップ番号を付し、説明を省略する。
提供先決定部４１３は、各識別システム２００を表わすアイコンをそれぞれ、地図画像に重畳した画面を、ディスプレイ装置１１９上に表示する（ステップＳ１１）。ステップＳ１１において、提供先決定部４１３は、決定ボタン８１（図１０参照）も画面内に表示する。提供先決定部４１３は、例えば、図１０に例示する画面をディスプレイ装置１１９上に表示する。
そして、提供先決定部４１３は、ステップＳ１１で表示した画面においてユーザに指定されたアイコンが表わす識別システム２００を、モデルの提供先となる識別システム（提供先識別システム２００）として決定する（ステップＳ１２）。具体的には、提供先決定部４１３は、識別システム２００を表わす１つのアイコンがクリックされ、その後、決定ボタン８１（図１０参照）がクリックされると、クリックされたアイコンが表わす識別システム２００を、提供先識別システム２００として決定する。
以降の動作は、第１の実施形態におけるステップＳ２以降の動作（図８参照）と同様であり、説明を省略する。
第２の実施形態においても、第１の実施形態と同様の効果が得られる。
次に、各実施形態における変形例について説明する。
各実施形態において、表示制御部１１５は、図６に例示する画面の代わりに、各識別システムおよび全体モデルをリスト形式で示す画面を表示し、その画面を介して、オペレータから識別システムおよび全体モデルの指定を受け付けてもよい。図１２は、各識別システムおよび全体モデルをリスト形式で示す画面の例を示す模式図である。すなわち、表示制御部１１５は、図６に例示する画面の代わりに、図１２に例示する画面を表示してもよい。図１２に示す画面は、各識別システムおよび全体モデルのリストを表わす表と、確定ボタン６２とを含む。リスト表わす表の各行には、チェックボックスと、識別システムの識別情報と、識別システム２００が推奨モデル（モデル選択部１１４に選択されたモデル）に対応するか否かを示す情報と、属性データとが表示される。ただし、図１２に示す例において、最終行は全体モデルに対応し、属性データは表示されない。
表示制御部１１５は、最終行以外の各行の「識別システムの識別情報」の欄に、識別システム２００の識別情報を表示する。また、表示制御部１１５は、提供先識別システム２００の識別情報に関しては、例えば、“（提供先）”等の文言も合わせて表示する。また、表示制御部１１５は、全体モデルを表わす行（本例では、最終行）では、「識別システムの識別情報」の欄に、全体モデルを表わす記号（本例では“α”とする。）を表示する。また、図１２に示す例では、表示制御部１１５は、各行において、識別システム２００が推奨モデルに対応するか否かを示す情報として、“○”を表示するか、あるいは、何も表示しない。“○”が表示されているということは、識別システム２００が推奨モデルに対応していることを意味する。何も表示されていないということは、識別システム２００が推奨モデルに対応していないことを意味する。表示制御部１１５は、最終行以外の各行の属性データの欄には、識別システム２００が備えるカメラ２０１の属性データを表示する。また、表示制御部１１５は、カメラ２０１の位置情報や、「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率等も表に含めて表示してもよい。
オペレータは、識別システム２００を指定しようとする場合、指定しようとする各識別システム２００のチェックボックスをそれぞれクリックすればよい。また、オペレータは、全体モデルを指定しようとする場合、最終行のチェックボックスをクリックすればよい。さらに、オペレータは、指定内容を確定する場合、確定ボタン６２をクリックすればよい。表示制御部１１５は、確定ボタン６２がクリックされた時点で選択されているチェックボックスに基づいて、どの識別システム２００がオペレータによって指定されたかを判定し、また、全体モデルが指定されたか否かを判定すればよい。
また、各実施形態において、表示制御部１１５は、図６に例示する画面で識別システム２００を表わすアイコン５１〜５８がクリックされたり、全体モデルを表わすアイコン６１がクリックされたりした場合、クリックされたアイコンの近傍に、アイコンに対応するモデルの比率を入力する入力欄を表示してもよい。そして、表示制御部１１５は、クリックされたアイコン毎に、その入力欄を介して、モデルの比率の入力を受け付けてもよい。
図１３は、クリックされたアイコン毎に、入力欄に比率が入力された画面の例を示す模式図である。図１３では、アイコン５１，５２，５３，５４，６１がクリックされ、アイコン５１，５２，５３，５４，６１の近傍に、比率の入力欄が表示され、その各入力欄にオペレータが比率を入力した状態を表わしている。図１３に示す例では、オペレータは、アイコン５１，５２，５３，５４が表わす各識別システム２００のモデルに対して、それぞれ、“５０％”，“１５％”，“１５％”，“１０％”を指定したことになる。また、全体モデルに対して“１０％”を指定したことになる。確定ボタン６２がクリックされると、表示制御部１１５は、これらの比率を取得する。
そして、モデル統合部１１７は、指定された比率に従って、各モデルを統合する。上記の例では、モデル統合部１１７は、アイコン５１，５２，５３，５４が表わす各識別システム２００のモデルおよび全体モデルに対して、それぞれ“５０％”，“１５％”，“１５％”，“１０％” ，“１０％”の重みを付けて、５個のモデルを統合する。
また、上記の各実施形態において、モデル選択部１１４は、１つの画像全体の平均輝度が所定値以下であるか否かによって、その画像が「夜間」に得られたか、「夜間」以外の時間帯に得られたかを判定してもよい。また、カメラ１０１が照度計を備え、カメラが画像に、撮影時の照度のデータを付加してもよい。そして、モデル選択部１１４は、照度が所定値以下であるか否かによって、その画像が「夜間」に得られたか、「夜間」以外の時間帯に得られたかを判定してもよい。
図１４は、本発明の各実施形態のモデル提供システムに係るコンピュータの構成例を示すブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６と、通信インタフェース１００７とを備える。
本発明の各実施形態のモデル提供システム１００は、コンピュータ１０００に実装される。モデル提供システム１００の動作は、モデル提供プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、そのモデル提供プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのモデル提供プログラムに従って、上記の各実施形態で説明した処理を実行する。
補助記憶装置１００３は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。
また、プログラムは、前述の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。
また、各構成要素の一部または全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
次に、本発明の概要について説明する。図１５は、本発明のモデル提供システムの概要を示すブロック図である。本発明のモデル提供システムは、設置場所におけるデータを収集するデータ収集手段（例えば、カメラ２０１）を備え、データ収集手段によって収集されたデータ（例えば、画像）が表わす物体を識別する複数の識別システム（例えば、識別システム２００）のうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供する。本発明のモデル提供システムは、モデル記憶手段６０１と、モデル統合手段６０２と、モデル選択手段６０３と、表示制御手段６０４と、モデル送信手段６０５とを備える。
モデル記憶手段６０１（例えば、モデル記憶部１０４）は、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶する。
モデル統合手段６０２（例えば、モデル統合部１１７）は、モデル記憶手段６０１に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成する。
モデル選択手段６０３（例えば、モデル選択部１１４）は、モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択する。
表示制御手段６０４（例えば、表示制御部１１５）は、モデル選択手段６０３に選択されたモデルに対応する各識別システムと、モデル選択手段６０３に選択されなかったモデルに対応する各識別システムとをオペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する。
モデル送信手段６０５（例えば、モデル送信部１１８）は、モデル統合手段６０２が生成したモデルを、モデルの提供先となる識別システムに送信する。
モデル統合手段６０２は、画面でオペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成する。
そのような構成によって、識別システムに対して、識別精度の高いモデルを提供できる。
また、モデル選択手段６０３が、モデルの提供先となる識別システム以外の個々の識別システムが備えるデータ収集手段の属性と、モデルの提供先となる識別システムが備えるデータ収集手段の属性との類似度をそれぞれ算出し、類似度が高い順に、モデルの提供先となる識別システム以外の識別システムの中から所定数の識別システムを特定し、その所定数の識別システムに対応する各モデルを選択する構成であってもよい。
また、モデル選択手段６０３が、モデルの提供先となる識別システムでの誤識別率が第１の閾値以上となる状況における誤識別率が第２の閾値未満となっている識別システムを特定し、その識別システムに対応するモデルを選択する構成であってもよい。なお、この場合、第２の閾値は、第１の閾値以下である。
また、各識別システムにおける識別処理の識別精度を示す指標（例えば、所定期間毎の誤識別率等）に基づいて、モデルの提供先となる識別システムとして決定する提供先決定手段（例えば、提供先決定部１１３）を備える構成であってもよい。
また、各識別システムを表わすアイコンをそれぞれ表示するとともに、いずれかのアイコンがクリックされた場合に、クリックされたアイコンに対応する識別システムを、モデルの提供先となる識別システムとして決定する提供先決定手段（例えば、提供先決定部４１３）を備える構成であってもよい。
また、個々の識別システムのデータ収集手段の属性に基づいて、各識別システムを複数のグループに分類する分類手段（例えば、分類部１０７）を備え、表示制御手段６０４が、グループ毎に異なる態様で、個々の識別システムを表すアイコンをそれぞれ表示するとともに、モデル選択手段６０３に選択されたモデルに対応する各識別システムを表わすアイコンを、モデル選択手段６０３に選択されなかったモデルに対応する各識別システムを表わすアイコンよりも強調して表示し、さらに、所定のボタン（例えば、確定ボタン６２）を表示し、オペレータにアイコンがクリックされ、所定のボタンがクリックされた場合に、クリックされたアイコンが表わす識別システムがオペレータによって指定されたと判定する構成であってもよい。
また、モデル記憶手段６０１が、識別システム毎にモデルを記憶するとともに、各識別システムに対応する教師データ全体を用いて学習された所定のモデル（例えば、全体モデル）を記憶し、表示制御手段６０４が、所定のモデルを表わすアイコンを、個々の識別システムを表すアイコンとは別に表示し、所定のモデルを表わすアイコンがクリックされた場合には、所定のモデルがオペレータによって指定されたと判定する構成であってもよい。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
本発明は、識別処理を行う識別システムに、識別処理で用いるモデルを提供するモデル提供システムに好適に適用される。
１００ モデル提供システム
１０１ データ記憶部
１０２ 第１の学習部
１０３ 第２の学習部
１０４ モデル記憶部
１０５ 属性データ受信部
１０６ 属性データ記憶部
１０７ 分類部
１０８ 分類結果記憶部
１０９ モデル配信タイミング情報受信部
１１０ モデル配信タイミング情報記憶部
１１１ ログ受信部
１１２ ログ記憶部
１１３，４１３ 提供先決定部
１１４ モデル選択部
１１５ 表示制御部
１１７ モデル統合部
１１８ モデル送信部
１１９ ディスプレイ装置
１２０ マウス

Claims (9)

  1. 設置場所におけるデータを収集するデータ収集手段を備え、前記データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するモデル提供システムであって、
    識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段と、
    モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成するモデル統合手段と、
    モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択するモデル選択手段と、
    前記モデル選択手段に選択されたモデルに対応する各識別システムと、前記モデル選択手段に選択されなかったモデルに対応する各識別システムとを前記オペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する表示制御手段と、
    前記モデル統合手段が生成したモデルを、モデルの提供先となる識別システムに送信するモデル送信手段とを備え、
    前記モデル統合手段は、
    前記画面で前記オペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成する
    ことを特徴とするモデル提供システム。
  2. モデル選択手段は、
    モデルの提供先となる識別システム以外の個々の識別システムが備えるデータ収集手段の属性と、モデルの提供先となる識別システムが備えるデータ収集手段の属性との類似度をそれぞれ算出し、類似度が高い順に、モデルの提供先となる識別システム以外の識別システムの中から所定数の識別システムを特定し、前記所定数の識別システムに対応する各モデルを選択する
    請求項１に記載のモデル提供システム。
  3. モデル選択手段は、
    モデルの提供先となる識別システムでの誤識別率が第１の閾値以上となる状況における誤識別率が第２の閾値未満となっている識別システムを特定し、前記識別システムに対応するモデルを選択し、
    前記第２の閾値は、前記第１の閾値以下である
    請求項１または請求項２に記載のモデル提供システム。
  4. 各識別システムにおける識別処理の識別精度を示す指標に基づいて、モデルの提供先となる識別システムとして決定する提供先決定手段を備える
    請求項１から請求項３のうちのいずれか１項に記載のモデル提供システム。
  5. 各識別システムを表わすアイコンをそれぞれ表示するとともに、いずれかのアイコンがクリックされた場合に、クリックされたアイコンに対応する識別システムを、モデルの提供先となる識別システムとして決定する提供先決定手段を備える
    請求項１から請求項３のうちのいずれか１項に記載のモデル提供システム。
  6. 個々の識別システムのデータ収集手段の属性に基づいて、各識別システムを複数のグループに分類する分類手段を備え、
    表示制御手段は、
    グループ毎に異なる態様で、個々の識別システムを表すアイコンをそれぞれ表示するとともに、モデル選択手段に選択されたモデルに対応する各識別システムを表わすアイコンを、前記モデル選択手段に選択されなかったモデルに対応する各識別システムを表わすアイコンよりも強調して表示し、さらに、所定のボタンを表示し、オペレータにアイコンがクリックされ、前記所定のボタンがクリックされた場合に、クリックされたアイコンが表わす識別システムがオペレータによって指定されたと判定する
    請求項１から請求項５のうちのいずれか１項に記載のモデル提供システム。
  7. モデル記憶手段は、識別システム毎にモデルを記憶するとともに、各識別システムに対応する教師データ全体を用いて学習された所定のモデルを記憶し、
    表示制御手段は、
    前記所定のモデルを表わすアイコンを、個々の識別システムを表すアイコンとは別に表示し、前記所定のモデルを表わすアイコンがクリックされた場合には、前記所定のモデルがオペレータによって指定されたと判定する
    請求項６に記載のモデル提供システム。
  8. 設置場所におけるデータを収集するデータ収集手段を備え、前記データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するモデル提供システムであって、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段を備えるモデル提供システムに適用されるモデル提供方法において、
    モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成し、
    モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択し、
    選択したモデルに対応する各識別システムと、選択しなかったモデルに対応する各識別システムとを前記オペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示し、
    モデルを統合することによって生成されたモデルを、モデルの提供先となる識別システムに送信し、
    モデルを統合することによってモデルを生成するときに、
    前記画面で前記オペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成する
    ことを特徴とするモデル提供方法。
  9. 設置場所におけるデータを収集するデータ収集手段を備え、前記データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するコンピュータであって、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段を備えるコンピュータに搭載されるモデル提供プログラムにおいて、
    前記コンピュータに、
    モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成するモデル統合処理、
    モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択するモデル選択処理、
    前記モデル選択処理で選択されたモデルに対応する各識別システムと、前記モデル選択処理で選択されなかったモデルに対応する各識別システムとを前記オペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する表示制御処理、および、
    前記モデル統合処理で生成されたモデルを、モデルの提供先となる識別システムに送信するモデル送信処理を実行させ、
    前記モデル統合処理で、
    前記画面で前記オペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成させる
    ためのモデル提供プログラム。
JP2020517631A 2018-05-07 2018-05-07 モデル提供システム、方法およびプログラム Active JP6992883B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017610 WO2019215779A1 (ja) 2018-05-07 2018-05-07 モデル提供システム、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019215779A1 true JPWO2019215779A1 (ja) 2021-06-10
JP6992883B2 JP6992883B2 (ja) 2022-01-13

Family

ID=68467907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020517631A Active JP6992883B2 (ja) 2018-05-07 2018-05-07 モデル提供システム、方法およびプログラム

Country Status (3)

Country Link
US (1) US20210133495A1 (ja)
JP (1) JP6992883B2 (ja)
WO (1) WO2019215779A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537814B2 (en) * 2018-05-07 2022-12-27 Nec Corporation Data providing system and data collection system
US11699108B2 (en) * 2019-05-31 2023-07-11 Maxar Mission Solutions Inc. Techniques for deriving and/or leveraging application-centric model metric
JP2021087065A (ja) * 2019-11-26 2021-06-03 西日本旅客鉄道株式会社 駅監視システム
US20220277231A1 (en) * 2021-02-26 2022-09-01 Hitachi, Ltd. System to invoke update of machine learning models on edge computers
JP2022139417A (ja) * 2021-03-12 2022-09-26 オムロン株式会社 統合モデルの生成方法、画像検査システム、画像検査用モデルの生成装置、画像検査用モデルの生成プログラム及び画像検査装置
KR102531299B1 (ko) * 2022-12-27 2023-05-11 오케스트로 주식회사 유사도에 기반한 학습모델 추천 장치 및 이를 포함하는 클라우드 통합운영 시스템
KR102583170B1 (ko) * 2023-03-31 2023-09-26 오케스트로 주식회사 성능 시뮬레이션을 통한 학습모델 추천 방법 및 이를 포함하는 학습모델 추천 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020445A (ja) * 2008-07-09 2010-01-28 Sony Corp 学習装置、学習方法、およびプログラム
JP2014222480A (ja) * 2013-05-14 2014-11-27 株式会社東芝 サービス提供システム、サービス提供方法およびサービス提供管理装置
JP2018508874A (ja) * 2015-01-22 2018-03-29 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 機械学習の異種エッジデバイス、方法、およびシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020445A (ja) * 2008-07-09 2010-01-28 Sony Corp 学習装置、学習方法、およびプログラム
JP2014222480A (ja) * 2013-05-14 2014-11-27 株式会社東芝 サービス提供システム、サービス提供方法およびサービス提供管理装置
JP2018508874A (ja) * 2015-01-22 2018-03-29 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 機械学習の異種エッジデバイス、方法、およびシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GAO, JING ET AL.: "Knowledge Transfer via Multiple Model Local Structure Mapping", PROCEEDINGS OF THE 14TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING, JPN7018002643, 24 August 2008 (2008-08-24), pages 283 - 291, XP058362366, ISSN: 0004636303, DOI: 10.1145/1401890.1401928 *

Also Published As

Publication number Publication date
US20210133495A1 (en) 2021-05-06
WO2019215779A1 (ja) 2019-11-14
JP6992883B2 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
JP6992883B2 (ja) モデル提供システム、方法およびプログラム
US11941887B2 (en) Scenario recreation through object detection and 3D visualization in a multi-sensor environment
CN102077580B (zh) 显示控制设备、显示控制方法
US8154616B2 (en) Data processing apparatus and method, and recording medium
US10586115B2 (en) Information processing device, information processing method, and computer program product
US20200074377A1 (en) Contribution level determination method, contribution level determination apparatus, and recording medium
US20220357176A1 (en) Methods and data processing systems for predicting road attributes
CN104885441B (zh) 图像处理装置和方法、以及程序
US9083891B2 (en) Video monitoring apparatus
US11727317B2 (en) Systems and methods for coherent monitoring
JP7001149B2 (ja) データ提供システムおよびデータ収集システム
US11055894B1 (en) Conversion of object-related traffic sensor information at roadways and intersections for virtual dynamic digital representation of objects
KR20160014413A (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
JP7001150B2 (ja) 識別システム、モデル再学習方法およびプログラム
JP2017162432A (ja) 画像処理システム、情報処理装置、情報端末、プログラム
JP6981553B2 (ja) 識別システム、モデル提供方法およびモデル提供プログラム
JP6981554B2 (ja) 識別システム、パラメータ値更新方法およびプログラム
US20200311771A1 (en) Information processing device, information processing method, and program recording medium
CN112577488B (zh) 导航路线确定方法、装置、计算机设备和存储介质
KR102446320B1 (ko) 복수의 카메라에 기반한 맵기반 객체추적 및 이벤트 검출장치 및 그 장치의 구동방법
US20240196107A1 (en) System and method for enhancing a collaborative camera installation experience
CN115223035A (zh) 图像检测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R150 Certificate of patent or registration of utility model

Ref document number: 6992883

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150