JP6981554B2 - 識別システム、パラメータ値更新方法およびプログラム - Google Patents

Description

本発明は、データが表わす物体を識別する識別システム、および、データが表わす物体を識別するためのモデルのパラメータ値を更新するパラメータ値更新方法およびパラメータ値更新プログラムに関する。

一般的な識別システムの例を以下に説明する。一般的な識別システムは、その識別システムが備えているカメラが撮影によって得た画像と、その画像に写っている物体を表したラベルとの組を教師データとして、機械学習によってモデルを予め学習する。そして、その一般的な識別システムは、カメラが撮影によって新たに得た画像をそのモデルに適用することによって、その画像に写っている物体を識別する。

このような一般的な識別システムは、不審な車両や不審な人物を検出し、犯罪等を未然に防ぐ目的で用いられたり、白杖または車椅子の使用者を検出し、白杖または車椅子の使用者を誘導する等の支援の目的で用いられたりする。

ここでは、画像に写っている物体を識別する識別システムを例にして説明したが、一般的な識別システムとして、音声データが表わす物体を識別する識別システムも考えられる。以下、画像に写っている物体を識別する識別システムを例にして説明する。

なお、特許文献１には、撮像環境の違いによる追加学習の長期化を回避する画像認識方法が記載されている。特許文献１に記載の画像認識方法は、複数のカメラ装置を含むカメラシステムにおける画像認識方法である。そして、特許文献１に記載の画像認識方法では、第１カメラ装置から、第１画像および第１撮像環境情報を取得する。そして、各カメラ装置が過去に画像を撮像した際の各撮像環境を示す撮像環境情報と、その各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを管理するパラメータテーブルを用いて、第１撮像環境情報に示される第１撮像環境と同一または類似の撮像環境に対応する第１検出器関数を示す第１認識制御パラメータを選択する。そして、第１認識制御パラメータで示された第１検出器関数を用いて、第１カメラ装置から取得した第１画像を認識する。

また、特許文献２には、画像認識装置が、画像を集中管理装置に伝送し、集中管理装置がその画像から各種のチューニングパラメータを作成することが記載されている。そして、特許文献２に記載されたシステムでは、集中管理装置が、そのチューニングパラメータをその画像認識装置に伝送し、画像認識装置は、そのチューニングパラメータに基づいて交通流計測処理を開始する。特許文献２に記載されたシステムにおいて、他の画像認識装置も同様に動作する。

また、特許文献３には、複数の画像の認識処理結果の中から、多数決原理に従って１つの認識処理結果を選択することが記載されている。

特開２０１６−１５１１６号公報 特開平２−８２３７５号公報 特開２０１５−１８７８９７号公報

前述の一般的な識別システムが複数台設けられ、各識別システムのカメラが各地に設置されることが考えられる。

ここで、１台のカメラが撮影によって得た画像における物体の写り方に、偏りが生じる場合がある。例えば、ある１台のカメラは、そのカメラから見て右側から左側への方向に進行する自動車を撮影する機会が多いが、その逆方向に進行する自動車を撮影する機会が少ないとする。この場合、右側から左側への方向に進行する自動車が写った画像は多く得られるが、その逆方向に進行する自動車が写った画像は少ししか得られない。すると、教師データには、右側から左側への方向に進行する自動車が写った画像が多く含まれ、その逆方向に進行する自動車が写った画像は少ししか含まれない。その結果、教師データを用いて機械学習によって得たモデルに、右側から左側への方向に進行する自動車が写った画像を適用した場合には、識別システムは高い精度で自動車を識別するが、逆方向に進行する自動車が写った画像をそのモデルに適用した場合の自動車の識別精度は低くなる。

識別システムにおいて、データが表わす物体を識別する際の識別精度を向上させることができ、また、その精度向上のための処理量を少なく抑えられることが好ましい。

そこで、本発明は、データが表わす物体を識別する際の識別精度を向上させることができ、また、その精度向上のための処理量を少なく抑えることができる識別システム、パラメータ値更新方法およびパラメータ値更新プログラムを提供することを目的とする。

本発明による識別システムは、データが表わす物体を識別する識別システムであって、データが表わす物体を識別するためのモデルであって、層毎にパラメータ値が定められるとともに、所定の層のパラメータ値が複数の識別システムで共通に定められるモデルにおける、その所定の層のパラメータ値を記憶する共通パラメータ値記憶手段と、当該識別システムに対応するモデルにおける、所定の層以外の層である固有層のパラメータ値を記憶する第１の固有パラメータ値記憶手段と、当該識別システムとは異なる他の複数の識別システムに対応する複数のモデルそれぞれにおける固有層のパラメータ値を、他の識別システム毎に記憶する第２の固有パラメータ値記憶手段と、共通パラメータ値記憶手段に記憶された所定の層のパラメータ値と、データとに基づいて、当該データが表わす物体を識別する処理における中間データを導出する中間データ導出手段と、中間データと、第１の固有パラメータ値記憶手段に記憶された固有層のパラメータ値とに基づいて、そのデータが表わす物体を識別する第１の識別手段と、所定の場合に、他の識別システム別に、中間データと、他の識別システムのモデルにおける固有層のパラメータ値とに基づいて、第１の識別手段が識別結果を導出したデータが表わす物体を識別する第２の識別手段と、第２の識別手段が導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データに基づいて、当該識別システムに対応するモデルにおける固有層のパラメータ値を学習し、第１の固有パラメータ値記憶手段に記憶されているパラメータ値を、学習したパラメータ値に更新する固有パラメータ値更新手段とを備えることを特徴とする。

また、本発明によるパラメータ値更新方法は、データが表わす物体を識別する識別システムに適用されるパラメータ値更新方法であって、その識別システムは、データが表わす物体を識別するためのモデルであって、層毎にパラメータ値が定められるとともに、所定の層のパラメータ値が複数の識別システムで共通に定められるモデルにおける、その所定の層のパラメータ値を記憶する共通パラメータ値記憶手段と、当該識別システムに対応するモデルにおける、所定の層以外の層である固有層のパラメータ値を記憶する第１の固有パラメータ値記憶手段と、当該識別システムとは異なる他の複数の識別システムに対応する複数のモデルそれぞれにおける固有層のパラメータ値を、他の識別システム毎に記憶する第２の固有パラメータ値記憶手段とを備え、その識別システムが、共通パラメータ値記憶手段に記憶された所定の層のパラメータ値と、データとに基づいて、当該データが表わす物体を識別する処理における中間データを導出する中間データ導出処理を実行し、中間データと、第１の固有パラメータ値記憶手段に記憶された固有層のパラメータ値とに基づいて、そのデータが表わす物体を識別する第１の識別処理を実行し、所定の場合に、他の識別システム別に、中間データと、他の識別システムのモデルにおける固有層のパラメータ値とに基づいて、第１の識別処理で識別結果が導出されたデータが表わす物体を識別する第２の識別処理を実行し、第２の識別処理で導出された識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データに基づいて、当該識別システムに対応するモデルにおける固有層のパラメータ値を学習し、第１の固有パラメータ値記憶手段に記憶されているパラメータ値を、学習したパラメータ値に更新する固有パラメータ値更新処理を実行することを特徴とする。

また、本発明によるパラメータ値更新プログラムは、データが表わす物体を識別するコンピュータに搭載されるパラメータ値更新プログラムであって、そのコンピュータは、データが表わす物体を識別するためのモデルであって、層毎にパラメータ値が定められるとともに、所定の層のパラメータ値が複数のコンピュータで共通に定められるモデルにおける、その所定の層のパラメータ値を記憶する共通パラメータ値記憶手段と、当該コンピュータに対応するモデルにおける、所定の層以外の層である固有層のパラメータ値を記憶する第１の固有パラメータ値記憶手段と、当該コンピュータとは異なる他の複数のコンピュータに対応する複数のモデルそれぞれにおける固有層のパラメータ値を、他のコンピュータ毎に記憶する第２の固有パラメータ値記憶手段とを備え、そのコンピュータに、共通パラメータ値記憶手段に記憶された所定の層のパラメータ値と、データとに基づいて、当該データが表わす物体を識別する処理における中間データを導出する中間データ導出処理、中間データと、第１の固有パラメータ値記憶手段に記憶された固有層のパラメータ値とに基づいて、そのデータが表わす物体を識別する第１の識別処理、所定の場合に、他のコンピュータ別に、中間データと、他のコンピュータのモデルにおける固有層のパラメータ値とに基づいて、第１の識別処理で識別結果が導出されたデータが表わす物体を識別する第２の識別処理、および、第２の識別処理で導出された識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データに基づいて、当該コンピュータに対応するモデルにおける固有層のパラメータ値を学習し、第１の固有パラメータ値記憶手段に記憶されているパラメータ値を、学習したパラメータ値に更新する固有パラメータ値更新処理を実行させることを特徴とする。

本発明によれば、データが表わす物体を識別する際の識別精度を向上させることができ、また、その精度向上のための処理量を少なく抑えることができる。

本発明の識別システムが複数設けられている状況を示す模式図である。 物体を識別するためのモデルの例を示す模式図である。 本発明の実施形態の識別システムの構成例を示すブロック図である。 第１の決定方法において決定部がディスプレイ装置上に表示する画面の例を示す模式図である。 第３の決定方法において決定部がディスプレイ装置上に表示する画面の例を示す模式図である。 表示制御部が表示する画面の例を示す模式図である。 第１の演算方法の具体例を示す説明図である。 第２の演算方法の具体例を示す説明図である。 カメラが撮影を行ってから、第２の識別部が画像が表わす物体を識別するまでの処理経過の例を示すフローチャートである。 オペレータからの指示に基づいて、モデルｚの固有層のパラメータ値を更新する場合の処理経過の例を示すフローチャートである。 本発明の実施形態における識別システムが備えるコンピュータの構成例を示す概略ブロック図である。 本発明の識別システムの概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

図１は、本発明の識別システムが複数設けられている状況を示す模式図である。図１では、６個の識別システム１００が各所に設けられている場合を例示しているが、各所に設けられる識別システム１００の数は、特に限定されない。本実施形態では、複数の識別システム１００が同様の構成であるものとして説明する。

個々の識別システム１００はそれぞれ、データ収集部（後述の図３に示すデータ収集部１０１）を備える。各識別システム１００のデータ収集部（図１において図示略。後述の図３を参照。）は、データを収集する各地に設置される。データ収集部は、データ収集部の設置場所におけるデータを収集する。例えば、データ収集部は、設置場所において画像や音声データを収集する。データ収集部は、カメラやマイクロホンによって実現される。例えば、データ収集部は、監視場所を撮影することによって画像を収集してもよい。また、例えば、設置場所において録音することによって音声データを収集してもよい。

個々の識別システム１００は、データ収集部とは別にコンピュータを備え、そのコンピュータは、データ（画像や音声データ等）が表わす物体を識別する。

個々の識別システム１００は、データが表わす物体を識別するためのモデルを記憶する。ただし、個々の識別システム１００は、識別システム１００自身のために作成されたモデルと、他の複数の識別システムのために作成された複数のモデルとを記憶する。

個々の識別システム１００のためのモデルは、例えば、各識別システム１００とは異なる外部システム（図示略）によって識別システム１００毎にそれぞれ作成される。ただし、各識別システム１００に対応するモデルは、一部分が各識別システム１００で共通になるように作成される。上記の外部システムが、モデルの一部分が各識別システム１００で共通になるように識別システム１００毎にモデルを生成する方法として、ファインチューニングや転移学習等の方法がある。

個々の識別システム１００は、具体的には、モデルのうち各識別システム１００で共通となる共通部分を記憶するとともに、識別システム１００自身のために作成されたモデルに固有の部分（共通部分以外の部分）とを記憶し、さらに、他の複数の識別システム１００のために作成されたそれぞれのモデル毎に、モデルに固有の部分（共通部分以外の部分）を記憶する。

また、個々の識別システム１００は、識別システム１００自身のために作成されたモデルに固有の部分を更新する。

以下の説明では、識別対象となるデータが画像であり、識別システム１００が、画像が表わす物体を識別する場合を例にして説明する。

図２は、物体を識別するためのモデルの例を示す模式図である。以下、モデルが、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景（すなわち、自動車、オートバイおよびバスは写っていない。）」の何れであるかを判定するためのモデルである場合を例にして説明する。モデルを定める際には、画像と、その画像と対になるラベル（本例では「自動車」、「オートバイ」、「バス」、「背景」のいずれか）との組を複数組定め、その複数の組を教師データとして用いる。前述のように、例えば、外部システムが、モデルの一部分が各識別システム１００で共通になるように、ファインチューニングや転移学習等の方法によって、識別システム１００毎にモデルを定める。

また、モデルを用いて判定される対象（本例では、「自動車」、「オートバイ」、「バス」および「背景」）は、各識別システム１００で共通である。

モデルに適用される画像の画素数がｎであるとすると、その画像は、ｎ個の画素の各画素値を要素とするベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）^Ｔと表すことができる。例えば、Ｘ１は、画像における１番目の画素の画素値を表す。Ｘ２〜Ｘｎに関しても同様である。また、ここで、Ｔは、転置を意味する。モデルは、複数の層を有し、層毎に複数の係数を含んでいる。図２に示す例では、第１層は、係数ａ１〜ａｍを含み、第２層は、係数ｂ１〜ｂｊを含んでいる。なお、図２では、第ｋ層や第ｋ＋１層の各係数の図示を省略している。画像を表すベクトルの個々の要素Ｘ１〜Ｘｎは、第１層の各係数ａ１〜ａｍと関連付けられる。図２では、この関連付けを線で表している。また、ある層の各係数は、その前の層の各係数と関連付けられる。図２では、この関連付けも線で表している。関連付けられた要素間には重みが定められる。例えば、関連付けられたａ１とｂ１や、関連付けられたａ１とｂ２等にそれぞれ重みが定められる。ある層（第ｐ層とする。）の係数とその前の層（第ｐ−１層とする。）の係数との間の重みの値は、第ｐ層のパラメータ値として扱う。また、ある層（第ｐ層）の係数の値も、第ｐ層のパラメータ値として扱う。

このように、図２に示すモデルでは、層毎にパラメータ値が定められている。

さらに、所定の層（以下、共通層と記す。）のパラメータ値は、各識別システム１００で共通に定められる。図２に示す例では、第１層から第ｋ層までが共通層である場合を示している。従って、第１層から第ｋ層までの各層のパラメータ値（係数値や重みの値）は、各識別システム１００に対応するモデルで共通である。

また、モデルの各層のうち、共通層以外の層のパラメータ値（係数値や重みの値）は、各識別システム１００に対応するモデルで共通であるとは限らない。以下、モデルにおいて、共通層以外の層を、固有層と記す。図２に示す例では、第ｋ＋１層から最終層までが固有層に該当する。

例えば、前述の外部システムは、共通層（より具体的には、共通層の各パラメータ値）が各識別システム１００で共通になるように、ファインチューニングや転移学習等の方法によって、識別システム１００毎にモデルを定める。また、このとき、外部システムは、共通層に含まれる層の数が多くなるように、各識別システム１００のモデルを定めることが好ましい。

図２に示す例では、第１層から第ｋ層までが共通層である場合を例示したが、共通層は、第１層を起点とする１つまたは連続する複数の層であればよい。

図３は、本発明の実施形態の識別システム１００の構成例を示すブロック図である。識別システム１００は、データ収集部１０１と、コンピュータ１０２とを備える。データ収集部１０１とコンピュータ１０２とは、有線または無線で通信可能に接続される。以下の説明では、データ収集部１０１がカメラである場合を例にして説明し、データ収集部１０１をカメラ１０１と記す。カメラ１０１は、そのカメラ１０１の設置場所から撮影を行う。なお、カメラ１０１の設置場所と、コンピュータ１０２の設置場所とが異なっていてもよい。

コンピュータ１０２は、共通パラメータ値記憶部１３１と、第１の固有パラメータ値記憶部１３２と、第２の固有パラメータ値記憶部１３３と、データ取得部１０５と、中間データ導出部１３４と、中間データ記憶部１３５と、第１の識別部１０６と、決定部１０７と、第２の識別部１１１と、表示制御部１１２と、属性データ記憶部１１３と、統合部１１４と、ディスプレイ装置１１５と、マウス１１６と、結果記憶部１１７と、学習部１０３とを備える。

共通パラメータ値記憶部１３１は、各識別システム１００に対応するそれぞれのモデルにおける共通部分を記憶する記憶装置である。すなわち、共通パラメータ値記憶部１３１は、各モデルでパラメータ値が共通となる共通層のパラメータ値を記憶する。

第１の固有パラメータ値記憶部１３２は、その第１の固有パラメータ値記憶部１３２を備える識別システム１００自身（図３に示す識別システム１００自身）に対応するモデルにおける固有層（換言すれば、共通層以外の層）のパラメータ値を記憶する記憶装置である。以下、図３に示す識別システム１００に対応するモデルを、図３に示す識別システム１００とは異なる他の識別システム１００に対応するモデルと区別して、モデルｚと記す。

図３に示す識別システム１００に対応するモデルは、共通層と固有層とを分離する態様で、コンピュータ１０２に記憶される。

第１の固有パラメータ値記憶部１３２に記憶されたモデルｚの固有層のパラメータ値は、後述の学習部１０３によって更新される。

第２の固有パラメータ値記憶部１３３は、その第２の固有パラメータ値記憶部１３３を備える識別システム１００自身（図３に示す識別システム１００自身）とは異なる他の複数の識別システム１００に対応する複数のモデルそれぞれにおける固有層のパラメータ値を他の識別システム１００毎に記憶する記憶装置である。この複数の識別システム１００は、図３に示す識別システム１００以外の全ての識別システム１００である必要はなく、例えば、図１に例示する各識別システム１００を管理する管理者が予め定めた複数の識別システムであればよい。以下に示す例では、説明を簡単にするために、図３に示す第２の固有パラメータ値記憶部１３３が、図３に示す識別システム１００とは異なる他の２つの識別システム１００に対応する２つのモデルそれぞれにおける固有層のパラメータ値を他の識別システム１００毎に記憶する場合を例にして説明する。また、上記の２つの識別システム１００を、便宜的に、識別システム１００Ａ、識別システム１００Ｂと記す。また識別システム１００Ａに対応するモデルをモデルａと記し、識別システム１００Ｂに対応するモデルをモデルｂと記す。すなわち、本例では、第２の固有パラメータ値記憶部１３３は、モデルａの固有層のパラメータ値と、モデルｂの固有層のパラメータ値とを記憶する。ただし、他の識別システムの数は２に限定されない。

共通パラメータ値記憶部１３１に、共通層のパラメータ値を予め記憶させる方法は、特に限定されない。例えば、各識別システム１００の管理者が、共通パラメータ値記憶部１３１に共通層のパラメータ値を予め記憶させてもよい。同様に、第１の固有パラメータ値記憶部１３２に、モデルｚの固有層のパラメータ値の初期値を予め記憶させる方法も、特に限定されない。同様に、第２の固有パラメータ値記憶部１３３に、モデルａの固有層のパラメータ値と、モデルｂの固有層のパラメータ値とを予め記憶させる方法も、特に限定されない。

データ取得部１０５は、カメラ１０１が撮影によって得た新たな画像をカメラ１０１から取得する。データ取得部１０５は、カメラ１０１から画像を受信するためのインタフェースである。

一般に、層毎にパラメータ値が定められたモデルにデータ（本例では画像）を適用する場合、第１層から順番に、パラメータ値を用いた演算を行って、データの識別結果を得る。

本実施形態では、データ取得部１０５が新たな画像をカメラ１０１から取得したときに、中間データ導出部１３４が、その画像と、共通パラメータ値記憶部１３１に記憶されている共通層のパラメータ値とに基づいて、第１層から順次、演算を行い、共通層内の最後の層の演算結果を導出する。この演算結果は、画像が表わす物体を識別する処理における中間データである。

以下、図２に示すように第１層から第ｋ層までが共通層であるとする。この場合、中間データ導出部１３４は、データ取得部１０５がカメラ１０１から取得した画像と、共通層のパラメータ値とに基づいて、第１層から第ｋ層まで順次、演算を行い、第ｋ層の演算結果を中間データとして導出する。

中間データ導出部１３４は、導出した中間データを中間データ記憶部１３５に記憶させる。中間データ記憶部１３５は、中間データを記憶する記憶装置である。

第１の識別部１０６は、中間データ導出部１３４によって導出された中間データ（第ｋ層の演算結果）を中間データ記憶部１３５から読み込み、その中間データと、第１の固有パラメータ値記憶部１３２に記憶されているモデルｚの固有層のパラメータ値とに基づいて、データ取得部１０５がカメラ１０１から取得した画像が表わす物体を識別する。具体的には、第１の識別部１０６は、中間データを用いて、固有層における最初の層（第ｋ＋１層）から順次、各層の演算を行うことによって、「自動車」、「オートバイ」、「バス」、「背景」の信頼度を算出する。そして、第１の識別部１０６は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。例えば、第１の識別部１０６が、固有層における最後の層までの演算を行った結果、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度として、“０．６”、“０．２”、“０．１”、“０．１”が得られたとする。この場合、第１の識別部１０６は、画像に写っている物体は、最も高い信頼度“０．６”が得られた「自動車」であると識別する。

第１の識別部１０６は、識別処理の対象とした画像（データ取得部１０５がカメラ１０１から取得した画像）と、識別結果に該当するラベルと、そのラベルに対応する信頼度とを対応付けて、結果記憶部１１７に記憶させる。例えば、上記の例のように、第１の識別部１０６が、画像に写っている物体が、最も高い信頼度“０．６”が得られた「自動車」であると判定したとする。この場合、第１の識別部１０６は、その画像と、ラベル「自動車」と、信頼度“０．６”とを対応付けて、結果記憶部１１７に記憶させる。結果記憶部１１７は、識別結果等を記憶する記憶装置である。

第２の識別部１１１は、第１の識別部１０６が処理対象とした各画像のうち、所定の画像に写っている物体を、他の識別システム１００Ａ，１００Ｂ別に識別する。

ここで、モデルｚ、識別システム１００Ａに対応するモデルａ、および、識別システム１００Ｂに対応するモデルｂにおいて、第１層から第ｋ層までが共通層である。従って、同一の画像をモデルｚ、モデルａ、およびモデルｂに適用した場合、第１層から第ｋ層までの演算は共通となり、第ｋ層の演算結果も共通となる。そして、第ｋ層の演算結果は、中間データとして中間データ記憶部１３５に記憶される。従って、その中間データと、モデルａの固有層のパラメータ値を用いることによって、モデルａにおける第ｋ＋１層以降の層の演算を行うことができ、画像をモデルａに適用した場合の識別結果を得ることができる。同様に、その中間データと、モデルｂの固有層のパラメータ値を用いることによって、モデルｂにおける第ｋ＋１層以降の層の演算を行うことができ、画像をモデルｂに適用した場合の識別結果を得ることができる。

第２の識別部１１１は、中間データ記憶部１３５に記憶されている中間データ（第ｋ層の演算結果）を読み込む。そして、第２の識別部１１１は、他の識別システム１００Ａ，１００Ｂ別に、その中間データと、他の識別システムにおけるモデルの固有層のパラメータ値とに基づいて、第１の識別部１０６が識別結果を導出した画像が表わす物体を識別する。すなわち、本例では、第２の識別部１１１は、中間データと、モデルａの固有層のパラメータ値とに基づいて、第１の識別部１０６が識別結果を導出した画像が表わす物体を識別し、同様に、中間データと、モデルｂの固有層のパラメータ値とに基づいて、その画像が表わす物体を識別する。

上記の例において、中間データと、モデルａの固有層のパラメータ値とを用いる場合、第２の識別部１１１は、中間データを用いて、モデルａの固有層における最初の層（第ｋ＋１層）から最後の層まで演算を行い、最後の層の演算結果として、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度を得る。そして、第２の識別部１１１は、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。中間データと、モデルｂの固有層のパラメータ値とを用いる場合の動作も同様である。

なお、第２の識別部１１１は、モデルａの固有層のパラメータ値、および、モデルｂの固有層のパラメータ値を、第２の固有パラメータ値記憶部１３３から読み込む。

また、第１の識別部１０６が識別対象とした各画像のうちの所定の画像とは、第１の識別部１０６が識別対象とした各画像のうち、決定部１０７が、第２の識別部１１１に識別結果を導出させると決定した画像である。

決定部１０７は、第１の識別部１０６が識別対象とした各画像のうち、第２の識別部１１１に識別結果を導出させる画像を決定する。以下、この決定方法として、３種類の決定方法を例示して説明する。決定部１０７は、以下に示す３種類の決定方法のいずれの決定方法を用いてもよい。

［第１の決定方法］
第１の決定方法は、画像に写っている物体を表わすラベルとして第１の識別部１０６によって定められたラベルが誤りであった場合に、決定部１０７が、その画像の識別結果を第２の識別部１１１に導出させると決定する方法である。すなわち、決定部１０７が、第１の識別部１０６が誤識別した画像の識別結果を第２の識別部１１１に導出させると決定する方法である。第１の識別部１０６によって定められたラベルが、誤りであるか否かは、例えば、識別システム１００のオペレータによって判断されてもよい。以下、この場合を例にして説明する。第１の識別部１０６が画像に対するラベルを定めた場合、決定部１０７は、その画像と、その画像に対して定められたラベルと、そのラベルが正しいか否かをオペレータが入力するためのＧＵＩ（Graphical User Interface）（本例では、２つのボタンとする。）とを表わす画面を、ディスプレイ装置１１５上に表示する。図４は、第１の決定方法において決定部１０７がディスプレイ装置１１５上に表示する画面の例を示す模式図である。

決定部１０７は、第１の識別部１０６が画像に対するラベルを定めた場合、図４に例示するように、第１の識別部１０６が識別対象とした画像３０１と、第１の識別部１０６によって定められたラベル３０２（図４に示す例では「オートバイ」）と、第１ボタン３０４および第２ボタン３０５とを表わす画面を、ディスプレイ装置１１５上に表示する。第１ボタン３０４は、画像に対するラベルが正しいことを入力するためのボタンであり、第１ボタン３０４がクリックされたということは、画像に対するラベルが正しい旨の情報がオペレータから入力されたことを意味する。また、第２ボタン３０５は、画像に対するラベルが誤っていることを入力するためのボタンであり、第２ボタン３０５がクリックされたといういことは、画像に対するラベルが誤っている旨の情報がオペレータから入力されたことを意味する。図４に示す例では、画像３０１には自動車が写っているが、第１の識別部１０６によって定められたラベルとして「オートバイ」が表示されている。従って、オペレータは、マウス１１６を用いて第２ボタン３０５をクリックする。なお、図４に示す例では、第１の識別部１０６によって定められたラベルとして「自動車」が表示されているならば、オペレータは、第１ボタン３０４をクリックする。

決定部１０７は、図４に例示する画面において、第２ボタン３０５がクリックされると、第１の識別部１０６によって定められたラベルが誤っていると判定し、第１の識別部１０６が識別対象とした画像３０１に関して、第２の識別部１１１に識別結果を導出させると決定する。

なお、第１ボタン３０４がクリックされた場合には、決定部１０７は、第１の識別部１０６が識別対象とした画像３０１に関して、第２の識別部１１１に識別結果を導出させないと決定する。

［第２の決定方法］
第２の決定方法は、画像に対して定められたラベルに対応する信頼度が予め定められた閾値以下である場合に、決定部１０７が、その画像の識別結果を第２の識別部１１１に導出させると決定する方法である。

すなわち、第１の識別部１０６が画像に対して定めたラベルに対応する信頼度が閾値以下である場合、決定部１０７は、第２の識別部１１１にその画像の識別結果を導出させると決定する。また、第１の識別部１０６が画像に対して定めたラベルに対応する信頼度が閾値を超えている場合には、決定部１０７は、第２の識別部１１１にその画像の識別結果を導出させないと決定する。閾値は、例えば、“０．５”であるが、“０．５”以外の値であってもよい。

第２の決定方法では、決定部１０７は、第１の識別部１０６が導出した信頼度と閾値との比較によって、第２の識別部１１１に画像の識別結果を導出させるか否かを決定する。従って、第２の決定方法では、図４に例示する画面を表示する必要はない。

［第３の決定方法］
第３の決定方法は、第１の識別部１０６が画像に対して定めたラベルが「背景」であるにも関わらず、その画像に「自動車」、「オートバイ」または「バス」が写っている場合に、決定部１０７が、第２の識別部１１１にその画像の識別結果を導出させると決定する方法である。換言すれば、第３の決定方法は、第１の識別部１０６が画像に「自動車」、「オートバイ」および「バス」のいずれも写っていないと判定したにも関わらず、その画像に「自動車」、「オートバイ」または「バス」が写っている場合に、決定部１０７が、第２の識別部１１１にその画像の識別結果を導出させると決定する方法である。特定されたラベルが「背景」である場合に、画像に「自動車」等が写っているか否かの判断は、識別システム１００のオペレータが行う。

第３の方法では、画像に対するラベルとして「背景」が定められた場合、決定部１０７は、その画像と、そのラベル「背景」と、前述の第１ボタン３０４および第２ボタン３０５とを表わす画面を、ディスプレイ装置１１５上に表示する。図５は、第３の決定方法において決定部１０７がディスプレイ装置１１５上に表示する画面の例を示す模式図である。

決定部１０７は、第１の識別部１０６が画像に対してラベルとして「背景」を定めた場合、図５に例示するように、第１の識別部１０６が識別対象とした画像３０１と、ラベル３０２と、第１ボタン３０４および第２ボタン３０５とを表わす画面を、ディスプレイ装置１１５上に表示する。第３の決定方法で表示される画面では、ラベル３０２として「背景」が表示される。第１ボタン３０４および第２ボタン３０５は、図４に示す第１ボタン３０４および第２ボタン３０５と同様であり、説明を省略する。

図５に示す例では、第１の識別部１０６が画像３０１に対して定めたラベルが「背景（自動車、オートバイおよびバスは写っていない。）」であるにも関わらず、画像３０１には、自動車が写っている。従って、オペレータは、マウス１１６を用いて第２ボタン３０５をクリックする。なお、画像３０１に、自動車、オートバイおよびバスのいずれもが写っていないならば、オペレータは、第１ボタン３０４をクリックする。

決定部１０７は、図５に例示する画面において、第２ボタン３０５がクリックされると、ラベル「背景」が特定されているが、画像には「自動車」、「オートバイ」および「バス」のいずれかが写っていると判定し、第２の識別部１１１にその画像の識別結果を導出させると決定する。

なお、図５に例示する画面において第１ボタン３０４がクリックされた場合には、決定部１０７は、画像には「自動車」、「オートバイ」および「バス」のいずれも写っておらず、ラベル「背景」は正しいと判断し、第２の識別部１１１にその画像の識別結果を導出させないと決定する。

第２の識別部１１１は、決定部１０７が第２の識別部１１１に識別結果を導出させると決定した画像に関して、その画像の識別結果を導出する。前述のように、第２の識別部１１１は、他の識別システム１００Ａ，１００Ｂ別に、画像の識別結果を導出する。具体的には、第２の識別部１１１は、中間データ記憶部１３５に記憶されている中間データを読み込む。そして、第２の識別部１１１は、他の識別システム１００Ａ，１００Ｂ別に、その中間データと、他の識別システムにおけるモデルの固有層のパラメータ値とに基づいて、その画像が表わす物体を識別する。すなわち、本例では、第２の識別部１１１は、中間データと、モデルａの固有層のパラメータ値とに基づいて、その画像が表わす物体を識別し、同様に、中間データと、モデルｂの固有層のパラメータ値とに基づいて、その画像が表わす物体を識別する。

第２の識別部１１１は、中間データと、モデルの固有層のパラメータ値に基づいて、「自動車」、「オートバイ」、「バス」、「背景」の信頼度をそれぞれ算出する。そして、第２の識別部１１１は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。また、第２の識別部１１１は、ラベル毎に求めた信頼度、並びに、画像に写っている物体を示すラベルおよびそのラベルに対応する信頼度を、既に結果記憶部１１７に記憶されているその画像に対応付けて、結果記憶部１１７に記憶させる。第２の識別部１１１は、この処理を、他の識別システム１００のモデル毎に行う。本例では、第２の識別部１１１は、この処理を、他の識別システム１００Ａ，１００Ｂに対応するモデルａ、モデルｂそれぞれに関して行う。

この場合、結果記憶部１１７には、画像と、第１の識別部１０６がその画像に対して識別処理を行って定めたラベルと、そのラベルに対応する信頼度とが記憶される。さらに、それらの情報に対応付けて、第２の識別部１１１が中間データとモデルａの固有層のパラメータ値とに基づいて得たラベル毎の信頼度、および、最も信頼度が高いラベルとそのラベルに対応する信頼度、並びに、第２の識別部１１１が中間データとモデルｂの固有層のパラメータ値とに基づいて得たラベル毎の信頼度、および、最も信頼度が高いラベルとそのラベルに対応する信頼度も、結果記憶部１１７に記憶される。

結果記憶部１１７は、上記のような情報のセットが蓄積される

ただし、決定部１０７が第２の識別部１１１に識別結果を導出させないと決定した画像に関しては、画像と、第１の識別部１０６がその画像に対して識別処理を行って定めたラベルと、そのラベルに対応する信頼度が結果記憶部１１７に記憶され、他の情報は記憶されない。

表示制御部１１２は、結果記憶部１１７に記憶された情報から、１組の情報のセットを読み出し、画像と、第１の識別部１０６が導出したラベルおよびそのラベルに対応する信頼度と、第２の識別部１１１が他の識別システム１００Ａ，１００Ｂ別に導出したラベルおよびそのラベルに対応する信頼度とを含む画面を、ディスプレイ装置１１５上に表示する。

図６は、表示制御部１１２が表示する画面の例を示す模式図である。表示制御部１１２は、第１の識別部１０６が導出したラベルおよびそのラベルに対応する信頼度５０１と、第２の識別部１１１が中間データおよびモデルａの固有層のパラメータ値に基づいて導出したラベルおよびそのラベルに対応する信頼度５０２と、第２の識別部１１１が中間データおよびモデルｂの固有層のパラメータ値に基づいて導出したラベルおよびそのラベルに対応する信頼度５０３とを、画像３０１に重畳した画面を、ディスプレイ装置１１５上に表示する。

さらに、表示制御部１１２は、この画面内に、チェックボックス５０４と、再学習ボタン５０５と、画面切り替えボタン５０６，５０７を表示させる。

チェックボックス５０４は、画面内に表示されている画像３０１を教師データに含めるか否かを指定するためのＧＵＩである。チェックボックス５０４がチェックされている場合、画像３０１を教師データに含めることを意味する。チェックボックス５０４がチェックされていない場合、画像３０１を教師データに含めないことを意味する。なお、表示制御部１１２は、モデルａやモデルｂの固有層のパラメータ値を用いて導出された信頼度に応じて、予めチェックされた状態でチェックボックス５０４を表示してもよい。例えば、モデルａやモデルｂの固有層のパラメータ値を用いて導出されたラベルおよび信頼度の組において、信頼度が閾値（例えば、“０．５”）よりも大きい組が１組以上あれば、表示制御部１１２は、予めチェックされた状態でチェックボックス５０４を表示してもよい。オペレータは、チェックボックス５０４をマウス１１６でクリックすることによって、チェックボックス５０４にチェックを入れたり、チェックボックス５０４からチェックを外したりすることができる。オペレータは、画像３０１と、ラベルおよびそのラベルに対応する信頼度５０２，５０３を参照することによって、画像３０１を教師データに含めるか否かを判断すればよい。そして、オペレータは、その判断に基づいて、チェックボックス５０４にチェックを入れるか否かを決定すればよい。

画面切り替えボタン５０６，５０７は、異なる画像を表示する画面に切り替えるためのボタンである。例えば、画面切り替えボタン５０６がクリックされた場合、表示制御部１１２は、時系列順で画像３０１よりも前の画像を含んでいる、図６に示す画面と同様の画面に切り替える。また、例えば、画面切り替えボタン５０７がクリックされた場合、表示制御部１１２は、時系列順で画像３０１よりも後の画像を含んでいる、図６に示す画像と同様の画面に切り替える。オペレータは、切り替えた各画面において、チェックボックス５０４にチェックを入れるか否かを決定すればよい。

再学習ボタン５０５は、オペレータが識別システム１００に、モデルｚの固有層のパラメータ値の再学習を指示するためのボタンである。再学習ボタン５０５がクリックされた場合、統合部１１４は、チェックボックス５０４がチェックされた画面の画像毎に、ラベルを特定する。以下の説明では、説明を簡単にするために、図６に例示する画面のみで、チェックボックス５０４がチェックされている場合を例にして説明する。この場合、統合部１１４は、図６に例示する画像３０１のラベルを特定する。

以下、統合部１１４が１つの画像のラベルを特定する処理について説明する前に、まず、属性データ記憶部１１３について説明する。属性データ記憶部１１３は、属性データ記憶部１１３を含むコンピュータ１０２に接続されているカメラ１０１の属性を示すデータ（属性データ）と、固有層のパラメータ値が第２の固有パラメータ値記憶部１３３に記憶されているモデル（以下、外部モデルと記す）に対応する他の各識別システム１００（本例では、識別システム１００Ａ，１００Ｂ）のカメラ１０１の属性データとを記憶する記憶装置である。以下、外部モデルに対応する識別システム１００のカメラ１０１の属性データを、その外部モデルに対応する属性データと記す。本例では、外部モデルは、モデルａおよびモデルｂである。モデルａに対応する属性データを属性データαと記す。また、モデルｂに対応する属性データを属性データβと記す。属性データαは、識別システム１００Ａのカメラ１０１の属性データであり、属性データβは、識別システム１００Ｂのカメラ１０１の属性データである。

また、上記のように、属性データ記憶部１１３は、その属性データ記憶部１１３を含むコンピュータ１０２に接続されているカメラ１０１の属性データを記憶する。この属性データを、基準属性データと記す。すなわち、本例では、属性データ記憶部１１３は、基準属性データと、属性データαと、属性データβとを記憶する。属性データ記憶部１１３に、基準属性データ、属性データα、属性データβを予め記憶させる方法は、特に限定されない。例えば、各識別システム１００の管理者が、属性データ記憶部１１３に、基準属性データ、属性データα、属性データβを予め記憶させてもよい。

カメラ１０１の属性として、カメラ１０１自体の属性や、カメラ１０１が設置されている環境に依存する属性等が挙げられる。各属性の値は数値で表される。また、各属性の値は、各識別システム１００の管理者がカメラ１０１の設定や設置環境に応じて予め決定すればよい。属性データは、このような属性の値（数値）を要素とするベクトルで表される。

カメラ１０１の属性データは、少なくとも、「カメラ１０１の画角」、「カメラ１０１が屋内に設置されているか屋外に設置されているか」、「カメラ１０１の撮影対象」、「カメラ１０１の撮影対象の移動方向」という各属性のうちの少なくとも一部の属性の値を含む。また、ベクトルで表される属性データが、どの属性の値を要素としているかは、全ての識別システム１００で共通であり、どの属性の値がベクトルの何番目の要素なっているかに関しても、全ての識別システム１００で共通である。ベクトルの各要素となる数値は、識別システム１００毎に異なっていてよい。

「カメラ１０１の画角」は、数値で表されるので、管理者は、画角を表わす数値をベクトルの要素として定めればよい。

「カメラ１０１が屋内に設置されているか屋外に設置されているか」という属性に関しては、例えば、カメラ１０１が屋内に設置されている場合には、この属性の値を“０”に定め、カメラ１０１が屋外に設置されている場合には、この属性の値を“１”に定めればよい。

また、「カメラ１０１の撮影対象」という属性に関しては、例えば、カメラ１０１が車両を撮影するように設置されている場合（例えば、カメラ１０１が車道に向けて設置されている場合）、この属性の値を“０”に定める。また、カメラ１０１が歩行者を撮影するように設置されている場合（例えば、カメラ１０１が歩道に向けて設置されている場合）、この属性の値を“１”に定める。また、カメラ１０１が車両と歩行者の両方を撮影するように設置されている場合（例えば、カメラ１０１が車両と歩行者の両方が通る道に向けて設置されている場合）、この属性の値を“０．５”に定める。

「カメラ１０１の撮影対象の移動方向」という属性に関しては、カメラ１０１の主軸方向等に基づいた基準軸を定め、その基準軸と、撮影対象の主たる移動方向とのなす角度を、この属性の値として定めればよい。

また、上記以外の属性の値を属性データに含めてもよい。例えば、「カメラ１０１の設置場所の高さ」、「カメラ１０１の俯角」、「カメラ１０１の解像度」等の値を属性データに含めてもよい。「カメラ１０１の設置場所の高さ」、「カメラ１０１の俯角」、「カメラ１０１の解像度」はいずれも数値で表されるので、それらの数値をベクトルの要素として定めればよい。

統合部１１４は、第２の識別部１１１が、画像に対して外部モデル毎に導出した各ラベルの信頼度（本実施形態では、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度）を、ラベル毎に統合し、その統合結果に基づいてその画像のラベルを特定する。

このとき、統合部１１４は、基準属性データ（すなわち、その統合部１１４を含む識別システム１００のカメラ１０１の属性データ）と、予め定められた他の複数の識別システム１００（本例では、識別システム１００Ａ，１００Ｂ）のカメラ１０１の属性データとの類似度を、他の識別システム１００毎に算出する。本例では、統合部１１４は、基準属性データと属性データαとの類似度と、基準属性データと属性データβとの類似度とを、それぞれ算出する。基準属性データと属性データαとの類似度を、識別システム１００Ａに関連する類似度と記す。また、基準属性データと属性データβとの類似度を、識別システム１００Ｂに関連する類似度と記す。

属性データはベクトルで表される。統合部１１４は、２つの属性データ（ベクトル）の類似度を算出する場合、その２つのベクトルの距離の逆数を、類似度として算出すればよい。

統合部１１４は、モデルａの固有層のパラメータ値と中間データとを用いて導出した各ラベルの信頼度と、モデルｂの固有層のパラメータ値と中間データとを用いて導出した各ラベルの信頼度とを、ラベル毎に統合するときに、識別システム１００Ａ，１００Ｂに関連する類似度で重み付けして、統合する。統合部１１４は、信頼度の統合結果が最も高くなったラベルを、画像のラベルとして特定すればよい。

外部モデル毎に導出した各ラベルの信頼度を、ラベル毎に統合する演算について、具体的に説明する。統合部１１４が信頼度を統合する演算方法として２つの演算方法を説明する。ここでは、１つのラベルに関して、外部モデル毎に導出した信頼度を統合する場合を説明する。統合部１１４は、他のラベルに関しても、同様の演算を行って、外部モデル毎に導出した信頼度を統合すればよい。

［第１の演算方法］
まず、信頼度を統合する第１の演算方法について説明する。ｉ番目の外部モデルの固有層のパラメータ値および中間データを用いて得られた、着目しているラベルの信頼度をＬｉとする。また、ｉ番目の外部モデルに関して算出された類似度（基準属性データと、ｉ番目の外部モデルに対応する属性データとの類似度）をＷｉとする。また、外部モデルの数をＮ個とする。この場合、統合部１１４は、着目しているラベルの信頼度を、以下に示す式（１）の計算によって統合すればよい。

すなわち、統合部１１４は、外部モデル毎にＬｉとＷｉとの積を算出し、その積の平均値を、着目しているラベルの信頼度の統合結果とすればよい。統合部１１４は、他のラベルに関しても、同様の演算を行う。そして、統合部１１４は、統合結果が最も高くなったラベルを、画像のラベルとして特定する。

図７は、第１の演算方法の具体例を示す説明図である。外部モデルとして、２つのモデルａ，ｂがあるとする。モデルａの固有層のパラメータ値および中間データを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．７”，“０．１”，“０．１”であるとする。また、基準属性データと属性データαとの類似度が“０．９”であるとする。統合部１１４は、上記の信頼度毎に、類似度“０．９”を乗じた結果を算出する。この結果、「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して、“０．０９”，“０．６３”，“０．０９”，“０．０９”という乗算結果（積）が得られる。

また、モデルｂの固有層のパラメータ値および中間データを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．６”，“０．２”，“０．１”であるとする。また、基準属性データと属性データβとの類似度が“０．８”であるとする。統合部１１４は、上記の信頼度毎に、類似度“０．８”を乗じた結果を算出する。この結果、「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して、“０．０８”，“０．４８”，“０．１６”，“０．０８”という乗算結果（積）が得られる。

統合部１１４は、「自動車」、「オートバイ」、「バス」および「背景」毎に得られた乗算結果（積）の平均値を計算する。「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して算出された平均値は、”０．０８５”，”０．５５５”，”０．１２５”，”０．０８５”である。従って、統合部１１４は、平均値（統合結果）が最も高い「オートバイ」を、画像のラベルとして特定する。

[第２の演算方法］
次に、信頼度を統合する第２の演算方法について説明する。前述の場合と同様に、ｉ番目の外部モデルの固有層のパラメータ値および中間データを用いて得られた、着目しているラベルの信頼度をＬｉとする。また、ｉ番目の外部モデルに関して算出された類似度（基準属性データと、ｉ番目の外部モデルに対応する属性データとの類似度）をＷｉとする。また、個々の外部モデルに関して算出された個々の類似度の総和をＷｔとする。また、外部モデルの数をＮ個とする。統合部１１４は、Ｗｔを以下に示す式（２）の計算によって算出すればよい。

この場合、統合部１１４は、着目しているラベルの信頼度を、以下に示す式（３）の計算によって統合すればよい。

すなわち、統合部１１４は、外部モデル毎に、類似度の総和に対する、外部モデルに関して算出された類似度の割合を算出し、その割合の算出結果を重みとして、着目しているラベルの信頼度の重み付け和を算出し、その算出結果を、着目しているラベルの信頼度の統合結果とすればよい。統合部１１４は、他のラベルに関しても、同様の演算を行う。そして、統合部１１４は、統合結果が最も高くなったラベルを、画像のラベルとして特定する。

図８は、第２の演算方法の具体例を示す説明図である。外部モデルとして、２つのモデルａ，ｂがあるとする。モデルａの固有層のパラメータ値および中間データを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．７”，“０．１”，“０．１”であるとする。モデルｂの固有層のパラメータ値および中間データを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．６”，“０．２”，“０．１”であるとする。モデルａに関して算出された類似度（基準属性データと属性データαとの類似度）が“０．９”であるとする。モデルｂに関して算出された類似度（基準属性データと属性データβとの類似度）が“０．８”であるとする。この場合、類似度の総和は、０．９＋０．８＝１．７である。よって、類似度の総和“１．７”に対する、類似度“０．９”の割合は、“０．９／１．７”である。また、類似度の総和“１．７”に対する、類似度“０．８”の割合は、“０．８／１．７”である。統合部１１４は、“０．９／１．７”および“０．８／１．７”を重みとして、ラベル毎に、信頼度の重み付け和を算出し、その算出結果を、ラベルの信頼度の統合結果とする。すると、「自動車」、「オートバイ」、「バス」および「背景」それぞれの統合結果は、“０．０９９９”，“０．６５２８”，“０．１４７０”，“０．０９９９”となる。従って、統合部１１４は、統合結果が最も高い「オートバイ」を、画像のラベルとして特定する。

第１の演算方法および第２の演算方法は、いずれも、個々の外部モデル毎に導出したラベルの信頼度を、属性データの類似度で重み付けして統合する演算であると言える。

統合部１１４が、各ラベルの信頼度の統合結果に基づいて、画像のラベルを特定すると、学習部１０３は、その画像と、統合部１１４によって特定されたラベルとの組を、既存の教師データに含める。なお、既存の教師データは、カメラ１０１が撮影によって得た画像と、その画像が表わす物体を示すラベルとの組の集合として、予め生成しておけばよい。学習部１０３は、教師データを用い、ディープラーニングによって、モデルｚの固有層のパラメータ値を学習し直す。そして、学習部１０３は、第１の固有パラメータ値記憶部１３２に記憶されている固有層のパラメータ値（モデルｚの固有層のパラメータ値）を、学習によって得た新たなパラメータ値（固有層のパラメータ値）に更新する。

中間データ導出部１３４、第１の識別部１０６、決定部１０７、第２の識別部１１１、表示制御部１１２、統合部１１４、および、学習部１０３は、例えば、パラメータ値更新プログラムに従って動作するコンピュータ１０２のＣＰＵ（Central Processing Unit ）によって実現される。例えば、ＣＰＵが、コンピュータ１０２のプログラム記憶装置等のプログラム記録媒体からパラメータ値更新プログラムを読み込み、パラメータ値更新プログラムに従って、中間データ導出部１３４、第１の識別部１０６、決定部１０７、第２の識別部１１１、表示制御部１１２、統合部１１４、および、学習部１０３として動作すればよい。

また、共通パラメータ値記憶部１３１、第１の固有パラメータ値記憶部１３２、第２の固有パラメータ値記憶部１３３、中間データ記憶部１３５、属性データ記憶部１１３、および、結果記憶部１１７は、コンピュータ１０２が備える記憶装置によって実現される。

次に、本発明の実施形態の処理経過について説明する。図９は、カメラ１０１が撮影を行ってから、第２の識別部１１１が画像が表わす物体を識別するまでの処理経過の例を示すフローチャートである。なお、既に説明した動作については、詳細な説明を省略する。

また、図２に示す場合と同様に、モデルの第１層から第ｋ層までが共通層であるものとする。従って、各モデルにおいて、第ｋ＋１層以降の層が固有層に該当する。

共通パラメータ値記憶部１３１（図３参照）には、共通層のパラメータ値が予め記憶されている。第１の固有パラメータ値記憶部１３２（図３参照）には、図３に示す識別システム１００に対応するモデルｚの固有層のパラメータ値が予め記憶されている。また、第２の固有パラメータ値記憶部１３３（図３参照）には、他の識別システム１００Ａに対応するモデルａの固有層のパラメータ値、および、他の識別システム１００Ｂに対応するモデルｂの固有層のパラメータ値が予め記憶されている。

まず、カメラ１０１が、そのカメラ１０１の設置場所で撮影を行うことによって、画像を得る（ステップＳ１）。カメラ１０１は、その画像をコンピュータ１０２に送信する。

コンピュータ１０２の中間データ導出部１３４は、データ取得部１０５を介して、その画像を受け取る。そして、中間データ導出部１３４は、画像と、共通層のパラメータ値とに基づいて、第１層から順次、演算を行い、第ｋ層の演算結果を導出し、第ｋ層の演算結果を中間データとして、中間データ記憶部１３５に記憶させる（ステップＳ２）。

次に、第１の識別部１０６は、中間データ記憶部１３５から中間データを読み込み、中間データと、モデルｚの固有層のパラメータ値とに基づいて、ステップＳ１で得られた画像に写っている物体を識別する（ステップＳ３）。ステップＳ３において、第１の識別部１０６は、中間データを用いて、第ｋ＋１層から最終層まで順次、演算を行うことによって、画像に写っている物体を表わすラベルと、そのラベルの信頼度を導出する。第１の識別部１０６は、画像と、導出したラベルおよび信頼度とを対応付けて結果記憶部１１７に記憶させる。

次に、決定部１０７は、ステップ３で第１の識別部１０６が識別結果を導出した画像に関して、第２の識別部１１１に識別結果を導出させるか否かを決定する（ステップＳ４）。決定部１０７は、例えば、前述の第１の決定方法、第２の決定方法、および、第３の決定方法のうちのいずれかの方法で、ステップＳ４を実行すればよい。

第２の識別部１１１に画像の識別結果を導出させないと決定した場合（ステップＳ４のＮｏ）、ステップＳ１以降の処理を繰り返す。

第２の識別部１１１に画像の識別結果を導出させると決定した場合（ステップＳ４のＹｅｓ）、第２の識別部１１１が、中間データ記憶部１３５から中間データを読み込む。そして、第２の識別部１１１は、他の識別システム１００Ａ，１００Ｂ別に、中間データと、他の識別システムのモデルにおける固有層のパラメータ値に基づいて、画像が表わす物体を識別する（ステップＳ５）。

本例では、まず、第２の識別部１１１は、中間データと、識別システム１００Ａに対応するモデルａの固有層のパラメータ値とを用いて、第ｋ＋１層から最終層まで順次、演算を行うことによって、各ラベル（「自動車」、「オートバイ」、「バス」および「背景」）それぞれの信頼度を導出し、各信頼度を画像に対応付けて、結果記憶部１１７に記憶させる。また、第２の識別部１１１は、信頼度が最も高かったラベルと、そのラベルに対応する信頼度の組も、画像に対応づけて、結果記憶部１１７に記憶させる。

第２の識別部１１１は、識別システム１００Ｂに対応するモデルｂの固有層のパラメータ値に関しても、同様の処理を行う。すなわち、第２の識別部１１１は、中間データと、識別システム１００Ｂに対応するモデルｂの固有層のパラメータ値とを用いて、第ｋ＋１層から最終層まで順次、演算を行うことによって、各ラベル（「自動車」、「オートバイ」、「バス」および「背景」）それぞれの信頼度を導出し、各信頼度を画像に対応付けて、結果記憶部１１７に記憶させる。また、第２の識別部１１１は、信頼度が最も高かったラベルと、そのラベルに対応する信頼度の組も、画像に対応づけて、結果記憶部１１７に記憶させる。

ステップＳ５の後、ステップＳ１以降の処理を繰り返す。

図１０は、オペレータからの指示に基づいて、モデルｚの固有層のパラメータ値を更新する場合の処理経過の例を示すフローチャートである。以下の説明においても、既に説明した動作については、詳細な説明を省略する。

表示制御部１１２は、第１の識別部１０６が導出したラベルおよびそのラベルに対応する信頼度と、第２の識別部１１１が他の識別システム１００Ａ，１００Ｂ別に導出した各ラベルおよびその各ラベルに対応する信頼度とを、画像に重畳した画面を、ディスプレイ装置１１５上に表示する（ステップＳ１１）。このとき、表示制御部１１２は、この画面内に、チェックボックス５０４と、再学習ボタン５０５と、画面切り替えボタン５０６，５０７とを含める。表示制御部１１２は、ステップＳ１１において、例えば、図６に例示する画面を表示する。

オペレータは、図６に例示する画面を確認し、表示されている画像３０１を教師データに含めるか否かを判断する。オペレータは、チェックボックス５０４にチェックを入れることで、表示されている画像３０１を教師データの含めることを指定する。すなわち、チェックボックス５０４にチェックが入れられた画面に表示された画像は、教師データに含める画像として指定された画像である。また、オペレータは、教師データの含める画像を指定した後、再学習ボタン５０５をクリックする。

オペレータによって再学習ボタン５０５がクリックされると、統合部１１４は、基準属性データと、個々の外部モデルに対応する個々の属性データとの類似度をそれぞれ算出する（ステップＳ１２）。本例では、統合部１１４は、基準属性データと、モデルａに対応する属性データαとの類似度を算出し、同様に、基準属性データと、モデルｂに対応する属性データβとの類似度を算出する。既に説明したように、属性データはベクトルで表される。統合部１１４は、２つの属性データ（ベクトル）の類似度を算出する場合、その２つのベクトルの距離の逆数を、類似度として算出すればよい。

次に、統合部１１４は、他の識別システム１００Ａ，１００Ｂ別に導出されたラベルの信頼度を、ステップＳ１２で算出した各類似度を用いて、統合する。統合部１１４は、この処理をラベル毎に行い、信頼度の統合結果が最も高いラベルを、教師データに含める画像に対するラベルとして特定する（ステップＳ１３）。

教師データの含める画像がオペレータによって複数指定されている場合には、統合部１１４は、その画像毎に、ステップＳ１３の処理を実行する。

次に、学習部１０３は、画像と、統合部１１４によって特定されたラベルとの組を既存の教師データに含める。そして、学習部１０３は、その教師データを用いて、モデルｚの固有層のパラメータ値を学習し直す。さらに、学習部１０３は、第１の固有パラメータ値記憶部１３２に記憶されているモデルｚの固有層のパラメータ値を、学習によって得た新たなパラメータ値に更新する（ステップＳ１４）。

この後、第１の識別部１０６が、ステップＳ３（図９参照）において、画像に写っている物体を識別する場合には、ステップＳ１４で更新されたパラメータ値（モデルｚの固有層のパラメータ値）を用いる。

本実施形態によれば、決定部１０７は、前述の第１の決定方法、第２の決定方法および第３の決定方法のうちのいずれかの方法で、第１の識別部１０６が識別結果を導出した画像に関して第２の識別部１１１に識別結果を導出させるか否かを決定する。従って、第２の識別部１１１によって識別結果が導出される画像は、第１の識別部１０６によって定められたラベルが誤りであった画像、画像に対して定められたラベルに対応する信頼度が閾値以下であった画像、または、第１の識別部１０６によって定められたラベルが「背景」であるにも関わらず、物体（「自動車」、「オートバイ」または「バス」）が写っている画像である。本実施形態では、学習部１０３が、このような画像を他の識別システム１００Ａ，１００Ｂに対応するモデル（モデルａ、モデルｂ）に適用した場合に得られる結果に基づいて特定されるラベルと、その画像との組を既存の教師データに含める。そして、学習部１０３が、その教師データを用いて、モデルｚの固有層のパラメータ値を学習し直し、第１の固有パラメータ値記憶部１３２に記憶されているモデルｚの固有層のパラメータ値を新たなパラメータ値に更新する。従って、第１の識別部１０６が、画像が表わす物体を識別する際の識別精度を向上させることができる。

また、前述のように、モデルｚ、モデルａおよびモデルｂにおいて、第１層から第ｋ層までが共通層である場合、同一の画像をモデルｚ、モデルａ、およびモデルｂに適用した場合、第１層から第ｋ層までの演算は共通となり、第ｋ層の演算結果も共通となる。本実施形態では、ステップＳ２（図９参照）で得られる第ｋ層の演算結果を中間データとして、中間データ記憶部１３５に記憶させる。そして、第２の識別部１１１は、その中間データと、モデルａの固有層のパラメータ値とに基づいて、画像が表わす物体を識別し、同様に、その中間データと、モデルｂの固有層のパラメータ値とに基づいて、画像が表わす物体を識別する。従って、モデルｚの固有層のパラメータ値を更新するまでの過程において、第２の識別部１１１は、共通層の演算を行うことなく、他の識別システム１００Ａ，１００Ｂ別に画像の識別結果を導出することができる。従って、上記の識別精度向上を実現するための処理量を少なく抑えることができる。

また、共通層に含まれる層の数が多いほど、処理量を少なく抑えられるという上記の効果が大きくなる。従って、例えば、外部システムが、識別システム１００毎にモデルを生成する場合、共通層に含まれる層の数が多くなるように、各識別システム１００のモデルを定めることが好ましい。

上記の実施形態では、図３に示す第２の固有パラメータ値記憶部１３３が、図３に示す識別システムとは異なる他の２つの識別システム１００Ａ，１００Ｂに対応する２つのモデル（モデルａ，モデルｂ）それぞれにおける固有層のパラメータ値を記憶する場合を例にして説明した。他の識別システム１００の数は２に限定されない。

図１１は、本発明の実施形態における識別システム１００が備えるコンピュータ１０２の構成例を示す概略ブロック図である。図１１では、コンピュータを符号“１０００”で表す。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６と、データ収集部１０１（例えば、カメラ）とのインタフェース１００８とを備える。

識別システム１００が備えるコンピュータの動作は、パラメータ値更新プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、そのパラメータ値更新プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開する。そして、ＣＰＵ１００１は、そのパラメータ値更新プログラムに従って、上記の実施形態で示したコンピュータ１０２（図３を参照）の処理を実行する。

補助記憶装置１００３は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。

また、プログラムは、上記の実施形態で示したコンピュータ１０２の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。

また、各構成要素の一部または全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本発明の概要について説明する。図１２は、本発明の識別システムの概要を示すブロック図である。本発明の識別システムは、共通パラメータ値記憶手段７００と、第１の固有パラメータ値記憶手段７０１と、第２の固有パラメータ値記憶手段７０２と、中間データ導出手段７０３と、第１の識別手段７０４と、第２の識別手段７０５と、固有パラメータ値更新手段７０６とを備える。

共通パラメータ値記憶手段７００（例えば、共通パラメータ値記憶部１３１）は、データ（例えば、画像）が表わす物体を識別するためのモデルであって、層毎にパラメータ値が定められるとともに、所定の層（例えば、共通層）のパラメータ値が複数の識別システムで共通に定められるモデルにおける、その所定の層のパラメータ値を記憶する。

第１の固有パラメータ値記憶手段７０１（例えば、第１の固有パラメータ値記憶部１３２）は、当該識別システムに対応するモデル（例えば、モデルｚ）における、所定の層以外の層である固有層のパラメータ値を記憶する。

第２の固有パラメータ値記憶手段７０２（例えば、第２の固有パラメータ値記憶部１３３）は、当該識別システムとは異なる他の複数の識別システム（例えば、２つの識別システム１００Ａ，１００Ｂ）に対応する複数のモデル（例えば、モデルａ、モデルｂ）それぞれにおける固有層のパラメータ値を、他の識別システム毎に記憶する。

中間データ導出手段７０３（例えば、中間データ導出部１３４）は、共通パラメータ値記憶手段７００に記憶された所定の層のパラメータ値と、データとに基づいて、当該データが表わす物体を識別する処理における中間データを導出する。

第１の識別手段７０４（例えば、第１の識別部１０６）は、中間データと、第１の固有パラメータ値記憶手段７０１に記憶された固有層のパラメータ値とに基づいて、そのデータが表わす物体を識別する。

第２の識別手段７０５（例えば、第２の識別部１１１）は、所定の場合に、他の識別システム別に、中間データと、他の識別システムのモデルにおける固有層のパラメータ値とに基づいて、第１の識別手段７０４が識別結果を導出したデータが表わす物体を識別する。

固有パラメータ値更新手段７０６（例えば、学習部１０３）は、第２の識別手段７０５が導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データに基づいて、当該識別システムに対応するモデルにおける固有層のパラメータ値を学習し、第１の固有パラメータ値記憶手段７０１に記憶されているパラメータ値を、学習したパラメータ値に更新する。

そのような構成によって、データが表わす物体を識別する際の識別精度を向上させることができ、また、その精度向上のための処理量を少なく抑えることができる。

所定の層は、第１層を起点とする１つまたは連続する複数の層である。

また、導出された中間データを記憶する中間データ記憶手段（例えば、中間データ記憶部１３５）を備える構成であってもよい。

また、第２の識別手段７０５が他の識別システム別に、中間データと、他の識別システムのモデルにおける固有層のパラメータ値とに基づいて導出した識別結果を統合することによって、第１の識別手段７０４が識別結果を導出したデータに対するラベルを特定する統合手段（例えば、統合部１１４）を備える構成であってもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

産業上の利用の可能性

本発明は、データが表わす物体を識別する識別システムに好適に適用される。

１００ 識別システム
１０１ データ収集部
１０２ コンピュータ
１０３ 学習部
１０５ データ取得部
１０６ 第１の識別部
１０７ 決定部
１１１ 第２の識別部
１１２ 表示制御部
１１３ 属性データ記憶部
１１４ 統合部
１１５ ディスプレイ装置
１１６ マウス
１１７ 結果記憶部
１３１ 共通パラメータ値記憶部
１３２ 第１の固有パラメータ値記憶部
１３３ 第２の固有パラメータ値記憶部
１３４ 中間データ導出部
１３５ 中間データ記憶部

Claims (8)

1. データが表わす物体を識別する識別システムであって、
   データが表わす物体を識別するためのモデルであって、層毎にパラメータ値が定められるとともに、所定の層のパラメータ値が複数の識別システムで共通に定められるモデルにおける、前記所定の層のパラメータ値を記憶する共通パラメータ値記憶手段と、
   当該識別システムに対応するモデルにおける、前記所定の層以外の層である固有層のパラメータ値を記憶する第１の固有パラメータ値記憶手段と、
   当該識別システムとは異なる他の複数の識別システムに対応する複数のモデルそれぞれにおける固有層のパラメータ値を、他の識別システム毎に記憶する第２の固有パラメータ値記憶手段と、
   前記共通パラメータ値記憶手段に記憶された前記所定の層のパラメータ値と、データとに基づいて、当該データが表わす物体を識別する処理における中間データを導出する中間データ導出手段と、
   前記中間データと、前記第１の固有パラメータ値記憶手段に記憶された前記固有層のパラメータ値とに基づいて、前記データが表わす物体を識別する第１の識別手段と、
   所定の場合に、他の識別システム別に、前記中間データと、他の識別システムのモデルにおける固有層のパラメータ値とに基づいて、前記第１の識別手段が識別結果を導出した前記データが表わす物体を識別する第２の識別手段と、
   前記第２の識別手段が導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データに基づいて、当該識別システムに対応するモデルにおける前記固有層のパラメータ値を学習し、前記第１の固有パラメータ値記憶手段に記憶されているパラメータ値を、学習したパラメータ値に更新する固有パラメータ値更新手段とを備える
   ことを特徴とする識別システム。
2. 前記所定の層は、第１層を起点とする１つまたは連続する複数の層である
   請求項１に記載の識別システム。
3. 導出された前記中間データを記憶する中間データ記憶手段を備える
   請求項１または請求項２に記載の識別システム。
4. 第２の識別手段が他の識別システム別に、前記中間データと、他の識別システムのモデルにおける固有層のパラメータ値とに基づいて導出した識別結果を統合することによって、第１の識別手段が識別結果を導出したデータに対するラベルを特定する統合手段を備える
   請求項１から請求項３のうちのいずれか１項に記載の識別システム。
5. データが表わす物体を識別する識別システムに適用されるパラメータ値更新方法であって、
   前記識別システムは、
   データが表わす物体を識別するためのモデルであって、層毎にパラメータ値が定められるとともに、所定の層のパラメータ値が複数の識別システムで共通に定められるモデルにおける、前記所定の層のパラメータ値を記憶する共通パラメータ値記憶手段と、
   当該識別システムに対応するモデルにおける、前記所定の層以外の層である固有層のパラメータ値を記憶する第１の固有パラメータ値記憶手段と、
   当該識別システムとは異なる他の複数の識別システムに対応する複数のモデルそれぞれにおける固有層のパラメータ値を、他の識別システム毎に記憶する第２の固有パラメータ値記憶手段とを備え、
   前記識別システムが、
   前記共通パラメータ値記憶手段に記憶された前記所定の層のパラメータ値と、データとに基づいて、当該データが表わす物体を識別する処理における中間データを導出する中間データ導出処理を実行し、
   前記中間データと、前記第１の固有パラメータ値記憶手段に記憶された前記固有層のパラメータ値とに基づいて、前記データが表わす物体を識別する第１の識別処理を実行し、
   所定の場合に、他の識別システム別に、前記中間データと、他の識別システムのモデルにおける固有層のパラメータ値とに基づいて、前記第１の識別処理で識別結果が導出された前記データが表わす物体を識別する第２の識別処理を実行し、
   前記第２の識別処理で導出された識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データに基づいて、当該識別システムに対応するモデルにおける前記固有層のパラメータ値を学習し、前記第１の固有パラメータ値記憶手段に記憶されているパラメータ値を、学習したパラメータ値に更新する固有パラメータ値更新処理を実行する
   ことを特徴とするパラメータ値更新方法。
6. 前記所定の層は、第１層を起点とする１つまたは連続する複数の層である
   請求項５に記載のパラメータ値更新方法。
7. データが表わす物体を識別するコンピュータに搭載されるパラメータ値更新プログラムであって、
   前記コンピュータは、
   データが表わす物体を識別するためのモデルであって、層毎にパラメータ値が定められるとともに、所定の層のパラメータ値が複数のコンピュータで共通に定められるモデルにおける、前記所定の層のパラメータ値を記憶する共通パラメータ値記憶手段と、
   当該コンピュータに対応するモデルにおける、前記所定の層以外の層である固有層のパラメータ値を記憶する第１の固有パラメータ値記憶手段と、
   当該コンピュータとは異なる他の複数のコンピュータに対応する複数のモデルそれぞれにおける固有層のパラメータ値を、他のコンピュータ毎に記憶する第２の固有パラメータ値記憶手段とを備え、
   前記コンピュータに、
   前記共通パラメータ値記憶手段に記憶された前記所定の層のパラメータ値と、データとに基づいて、当該データが表わす物体を識別する処理における中間データを導出する中間データ導出処理、
   前記中間データと、前記第１の固有パラメータ値記憶手段に記憶された前記固有層のパラメータ値とに基づいて、前記データが表わす物体を識別する第１の識別処理、
   所定の場合に、他のコンピュータ別に、前記中間データと、他のコンピュータのモデルにおける固有層のパラメータ値とに基づいて、前記第１の識別処理で識別結果が導出された前記データが表わす物体を識別する第２の識別処理、および、
   前記第２の識別処理で導出された識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データに基づいて、当該コンピュータに対応するモデルにおける前記固有層のパラメータ値を学習し、前記第１の固有パラメータ値記憶手段に記憶されているパラメータ値を、学習したパラメータ値に更新する固有パラメータ値更新処理
   を実行させるためのパラメータ値更新プログラム。
8. 前記所定の層は、第１層を起点とする１つまたは連続する複数の層である
   請求項７に記載のパラメータ値更新プログラム。

Images