JP7111175B2 - 物体認識システム、認識装置、物体認識方法および物体認識プログラム - Google Patents

Description

本発明は、判定が困難な物体の認識精度を向上させる物体認識システム、認識装置、物体認識方法、学習モデル更新方法および物体認識プログラムに関する。

近年、ドライバによる運転を自動化する自動運転技術や、運転中の危険を予測するための危険予測技術が注目されている。自動運転や危険予測を行うため、車両外部（以下、車外と記す）の画像を撮影して物体を認識する方法が各種提案されている。

例えば、特許文献１には、演算負荷を低減しながら、運転支援や自動運転において必要とされる情報を認識する画像認識装置が記載されている。特許文献１に記載された装置は、車外の静止物体の位置情報が設定された三次元地図データと、車両と静止物体との相対位置および距離に基づいて、静止物体を画像認識処理の対象物として検出し、検出された対象物が含まれる範囲を絞って画像認識処理を行う。

特開２０１８－７３２７５号公報

時間の経過に伴い、標識や建築物など、新たな認識対象の物体が設置されることがある。未知の物体についての認識は困難であるし、認識対象の形状や観察方向によっては、その物体を適切に認識できない場合も存在する。そのため、物体自体は検出できたとしても、その物体の種別を判定することは難しい。特許文献１に記載された方法では、三次元地図データが更新されない限り、静止物体を画像認識処理の対象物として検出することは困難であり、また、一時的に設置されるような物体についても、考慮に入れることは困難である。

そこで、本発明は、種別が判定できない物体が検出された場合に、その物体の認識精度を向上させることができる物体認識システム、認識装置、物体認識方法、学習モデル更新方法および物体認識プログラムを提供することを目的とする。

本発明による物体認識システムは、撮像画像中の物体を認識する認識装置と、学習モデルを生成するサーバとを備え、認識装置が、学習モデルを用いて画像中の物体の種別を判定する第一物体認識部と、種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、その物体が立体物として検出された物体である場合、その種別判定不可画像をサーバに送信する画像送信部とを含み、サーバが、種別判定不可画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成する学習器と、生成された学習モデルを認識装置に送信する学習モデル送信部とを含み、認識装置の第一物体認識部が、送信された学習モデルを用いて画像中の物体の種別を判定することを特徴とする。

本発明による認識装置は、学習モデルを用いて画像中の物体の種別を判定する物体認識部と、種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、その物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対してその種別判定不可画像を送信する画像送信部とを備え、物体認識部が、種別判定不可画像に対して教師ラベルが付与された学習データに基づいてサーバが生成した学習モデルを受信し、受信した学習モデルを用いて画像中の物体の種別を判定することを特徴とする。

本発明による物体認識方法は、撮像画像中の物体を認識する認識装置が、学習モデルを用いて画像中の物体の種別を判定し、認識装置が、種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、その物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対してその種別判定不可画像を送信し、サーバが、種別判定不可画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成し、サーバが、生成された学習モデルを認識装置に送信し、認識装置が、送信された学習モデルを用いて画像中の物体の種別を判定することを特徴とする。

本発明による学習モデル更新方法は、学習モデルを用いて画像中の物体の種別を判定し、種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、その物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対してその種別判定不可画像を送信し、種別判定不可画像に対して教師ラベルが付与された学習データに基づいてサーバが生成した学習モデルを受信し、受信した学習モデルを用いて画像中の物体の種別を判定することを特徴とする。

本発明による物体認識プログラムは、コンピュータに、学習モデルを用いて画像中の物体の種別を判定する物体認識処理、および、種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、その物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対してその種別判定不可画像を送信する画像送信処理を実行させ、物体認識処理で、種別判定不可画像に対して教師ラベルが付与された学習データに基づいてサーバが生成した学習モデルを受信させ、受信された学習モデルを用いて画像中の物体の種別を判定させることを特徴とする。

本発明によれば、種別が判定できない物体が検出された場合に、その物体の認識精度を向上させることができる。

本発明による物体認識システムの第一の実施形態の構成例を示すブロック図である。 本発明による物体認識システムの動作例を示す説明図である。 種別判定不可画像を特定する方法の例を示す説明図である。 サーバに送信される種別判定不可画像の情報の例を示す説明図である。 第一の実施形態の物体認識システムの動作例を示すフローチャートである。 第一の実施形態の画像送信部の動作例を示すフローチャートである。 本発明による物体認識システムの第二の実施形態の構成例を示すブロック図である。 サーバに送信される情報の例を示す説明図である。 位置情報を集計する処理の例を示す説明図である。 第二の実施形態の物体認識システムの動作例を示すフローチャートである。 本発明による物体認識システムの第三の実施形態の構成例を示すブロック図である。 送信許可位置情報に基づいて種別判定不可画像の送信を制御する処理の例を示す説明図である。 第三の実施形態の物体認識システムの動作例を示すフローチャートである。 本発明による物体認識システムの第四の実施形態の構成例を示すブロック図である。 サーバに送信される情報の他の例を示す説明図である。 優先度ポリシの例を示す説明図である。 集計された位置情報の例を示す説明図である。 第四の実施形態の物体認識システムの動作例を示すフローチャートである。 本発明による物体認識システムの第五の実施形態の構成例を示すブロック図である。 第五の実施形態の物体認識システムの動作例を示すフローチャートである。 本発明による物体認識システムの第六の実施形態の構成例を示すブロック図である。 第六の実施形態の物体認識システムの動作例を示すフローチャートである。 本発明による物体認識システムの概要を示すブロック図である。 本発明による認識装置の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明による物体認識システムの第一の実施形態の構成例を示すブロック図である。また、図２は、本発明による物体認識システムの動作例を示す説明図である。本実施形態の物体認識システム１０は、認識装置１００と、サーバ２００とを備えている。認識装置１００は、例えば、車両に搭載され、後述する撮像装置３００により撮像された画像中の物体を学習モデルを用いて認識する。

認識装置１００は、第一記憶部１１０と、学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４０とを含む。認識装置１００は、撮像装置３００に接続され、撮像装置３００によって撮像された画像を入力する。また、認識装置１００は、物体検出装置４００に接続され、後述する物体検出装置４００によって検出された立体物検出結果を入力する。

撮像装置３００は、車外の画像を撮像する。撮像装置３００が画像を撮像するタイミングは、車両の走行中または停止中のいずれのタイミングでもよい。撮像装置３００は、予め定めた期間ごとに画像を撮像してもよく、運転手等や制御装置の指示に応じて画像を撮像してもよい。撮像装置３００は、例えば、車外の風景を撮影する車載カメラである。

物体検出装置４００は、撮像装置３００が撮影する範囲に存在する物体を検出する。物体検出装置４００の具体例として、例えば、ミリ波情報を検知するミリ波レーダや、対象物までの距離を取得するＬｉＤＡＲ（Laser Imaging Detection and Ranging）、周辺の画像を撮影するステレオカメラなどが挙げられる。なお、本実施形態では、物体認識の対象とする画像は、撮像装置３００により撮像されるものとする。

第一記憶部１１０は、第一物体認識部１３０が物体の種別を判定する際に用いる学習モデルを記憶する。また、第一記憶部１１０は、認識装置１００が処理を行う際に必要な情報を記憶する。第一記憶部１１０は、例えば、磁気ディスク装置により実現される。

学習モデル入力部１２０は、後述するサーバ２００から入力される学習モデルを受け付ける。学習モデル入力部１２０は、受け付けた学習モデルを第一記憶部１１０に記憶してもよく、第一物体認識部１３０に入力してもよい。

第一物体認識部１３０は、学習モデルを用いて、撮像装置３００によって撮像された画像中の物体の種別を判定する。第一物体認識部１３０が画像から物体の種別を判定する方法は任意であり、用いられる学習モデルに応じて定められればよい。なお、学習モデルを用いて物体の種別を判定する方法は広く知られており、ここでは詳細な説明は省略する。なお、本実施形態の理解を容易にするため、初期状態で第一物体認識部１３０が物体判定に用いる学習モデルを、「学習モデル１」と記す。

また、本実施形態の第一物体認識部１３０は、種別の判定ができなかった物体の画像を特定する。以下、種別の判定ができなかった物体の画像を、種別判定不可画像と記す。第一物体認識部１３０は、例えば、物体の種別が一意に判定できなかった画像を種別判定不可画像と特定してもよいし、種別の尤もらしさが基準値を下回る画像を種別判定不可画像と特定してもよい。

また、第一物体認識部１３０が種別判定不可画像を特定する方法も任意である。第一物体認識部１３０は、例えば、認識対象とした画像と、その画像中の物体の範囲を示す情報（例えば、矩形を特定する座標）とで、種別判定不可画像を特定してもよい。図３は、種別判定不可画像を特定する方法の例を示す説明図である。図３に示す例では、認識対象とした画像１１が「ｉｍａｇｅ１．ｊｐｇ」であり、その画像中に含まれる物体の左上座標（ｘ１＿１，ｙ１＿１）と右下座標（ｘ１´＿１，ｙ１´＿１）とで範囲を特定していることを示す。また、第一物体認識部１３０は、認識対象とした画像から、特定した範囲を抽出して生成した新たな画像１２を種別判定不可画像と特定してもよい。

画像送信部１４０は、第一物体認識部１３０から物体認識結果を受け取る。具体的には、画像送信部１４０は、第一物体認識部１３０から種別判定不可画像を受け取る。また、画像送信部１４０は、物体検出装置４００から立体物検出結果を受け取る。具体的には、画像送信部１４０は、立体物検出結果をもとに、撮像装置３００が撮影した範囲に存在する物体を検出する。

そして、画像送信部１４０は、物体種別の判定ができなかった画像（すなわち、種別判定不可画像）中の物体が立体物として検出された物体であるか判断する。種別判定不可画像中の物体が立体物として検出された物体である場合、画像送信部１４０は、その種別判定不可画像をサーバ２００に送信する。

例えば、図３に示す例において、画像１２に含まれるＥＴＣ（Electronic Toll Collection System ）ゲートの種別が判定できない一方で、ＥＴＣゲートが何らかの立体物として検出されたとする。この場合、画像送信部１４０は、このＥＴＣゲートを含む種別判定不可画像をサーバ２００に送信する。このように、画像送信部１４０は、立体物として検出された物体を含む種別判定不可画像をサーバ２００に送信する。

図４は、サーバに送信される種別判定不可画像の情報の例を示す説明図である。図４に示す例は、認識対象とした撮像画像に種別判定不可物体のｂｏｘ座標とを対応付けた種別判定不可画像をサーバ２００に送信することを示す。例えば、図４に例示する１行目のデータは、種別を判定できなかった物体が１つ存在し、２行目のデータは、種別を判定できなかった物体が２つ存在していることを示す。このように、画像送信部１４０は、１つの撮像画像に対して複数の種別判定不可画像を送信してもよい。

サーバ２００は、第二記憶部２１０と、第二物体認識部２２０と、教師データ入力部２３０と、学習器２４０と、学習モデル送信部２５０とを含む。サーバ２００は、認識装置１００と通信可能に接続されており、例えば、クラウドサービスの一部として実現されていてもよい。

第二記憶部２１０は、第二物体認識部２２０が物体判定に用いる学習モデルを記憶する。また、第二記憶部２１０は、サーバ２００が処理を行う際に必要な情報を記憶する。第二記憶部２１０は、例えば、磁気ディスク装置により実現される。

第二物体認識部２２０は、第二記憶部２１０に記憶された学習モデルを用いて、認識装置１００から受信した種別判定不可画像中の物体の種別を判定する。第二物体認識部２２０が画像から物体の種別を判定する方法も任意であり、用いられる学習モデルに応じて定められればよい。本実施形態では、第二物体認識部２２０は、第一物体認識部１３０よりも物体認識精度が高いモデルを用いて判定を行うものとする。すなわち、第一物体認識部１３０が種別を判定できなかった物体であっても、第二物体認識部２２０が判定できる可能性があるものとする。以下、第二物体認識部２２０が判定に用いる学習モデルを、「学習モデル２」と記すこともある。

なお、種別判定不可画像中の物体に適切な正解ラベルを付与する観点から、第二物体認識部２２０が物体の種別を判定する代わりに、人手で種別判定不可画像中に正解ラベルが付与されてもよい。この場合、サーバ２００は、第二記憶部２１０および第二物体認識部２２０を備えていなくてもよい。なお、サーバ２００が、第二記憶部２１０および第二物体認識部２２０を備えることで、種別判定不可画像が送信された後の判定処理を自動化することができるため、より好ましい。

教師データ入力部２３０は、学習器２４０が学習に用いる教師データを入力する。教師データ入力部２３０は、種別判定不可画像と第二物体認識部２２０による判定結果とを対応付けた教師データを入力してもよいし、人手で種別判定不可画像中に正解ラベルが付与された教師データを入力してもよい。

学習器２４０は、入力された教師データに基づいて、認識装置１００の第一物体認識部１３０が物体の種別の判定に用いる学習モデルの追加学習を行う。学習器２４０が、教師データに基づいて学習モデルを生成する（追加学習する）方法は任意であり、広く知られた方法が用いられればよい。学習器２４０によって生成された学習モデルを、以下「学習モデル１ａ」と記す。「学習モデル１ａ」は、「学習モデル１」と比較して新たに生成されるモデルであることから、「学習モデル１」のことを既存モデル、「学習モデル１ａ」のことを更新後モデルと言うこともできる。

学習モデル送信部２５０は、学習器２４０によって生成された学習モデルを認識装置１００に送信する。

その後、学習モデル入力部１２０が送信された学習モデルを受け付けると、第一物体認識部１３０は、受け付けた学習モデル（すなわち、「学習モデル１ａ」）を用いて、撮像装置３００によって撮像された画像中の物体の種別を判定する。学習モデル１ａは、学習モデル１によって物体の種別の判定ができなかった画像（すなわち、種別判定不可画像）に正解ラベルを付与した学習データを用いて生成されたモデルである。このモデルは、既存のモデルでは種別が判定できない物体であっても、判定できる可能性が高まったモデルと言える。したがって、このモデルに置き換えることで、過去に種別が判定できなかった物体に対する認識精度を向上させることが可能になる。

学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４０とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、認識装置１００の第一記憶部１１０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、学習モデル入力部１２０、第一物体認識部１３０および画像送信部１４０として動作してもよい。また、学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４０とは、それぞれが専用のハードウェアで実現されていてもよい。

また、第二物体認識部２２０と、教師データ入力部２３０と、学習器２４０と、学習モデル送信部２５０とは、プログラム（再学習プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、サーバ２００の第二記憶部２１０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、第二物体認識部２２０、教師データ入力部２３０、学習器２４０および学習モデル送信部２５０として動作してもよい。また、第二物体認識部２２０と、教師データ入力部２３０と、学習器２４０と、学習モデル送信部２５０とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態の物体認識システム１０の動作を説明する。図５は、本実施形態の物体認識システム１０の動作例を示すフローチャートである。認識装置１００の第一物体認識部１３０は、学習モデルを用いて画像中の物体の種別を判定する（ステップＳ１１）。画像送信部１４０は、種別が判定できなかった画像（すなわち、種別判定不可画像）に含まれる物体のうち、その物体が立体物として検出された物体であるか否か判断する（ステップＳ１２）。その物体が立体物として検出された物体である場合（ステップＳ１２におけるＹｅｓ）、画像送信部１４０は、その種別判定不可画像をサーバ２００に送信する（ステップＳ１３）。一方、その物体が立体物として検出された物体でない場合（ステップＳ１２におけるＮｏ）、ステップＳ１１以降の処理が繰り返される。

サーバ２００の学習器２４０は、認識装置１００から送信された種別判定不可画像に対して教師ラベルが付与された学習データに基づいて、学習モデルを生成する（ステップＳ１４）。学習モデル送信部２５０は、生成された学習モデルを認識装置１００に送信する（ステップＳ１５）。認識装置１００の第一物体認識部１３０は、送信された学習モデルを用いて画像中の物体の種別を判定する（ステップＳ１６）。

次に、本実施形態の画像送信部１４０の動作を説明する。画像送信部１４０は、ミリ波やＬｉＤＡＲ等により立体物としては検出されたが、物体の種別の判定ができない画像を選択してサーバ２００にアップロード（送信）する。図６は、本実施形態の画像送信部１４０の動作例を示すフローチャートである。画像送信部１４０は、立体物が検出されたか否か判定する（ステップＳ２１）。立体物が検出されていない場合（ステップＳ２１におけるＮｏ）、ステップＳ２１以降の処理が繰り返される。

一方、立体物が検出された場合（ステップＳ２１におけるＹｅｓ）、画像送信部１４０は、画像中の物体の種別を判定できなかったか否か判断する（ステップＳ２２）。種別が判定できた場合（ステップＳ２２におけるＮｏ）、ステップＳ２１以降の処理が繰り返される。一方、種別が判定できなかった場合（ステップＳ２２におけるＹｅｓ）、画像送信部１４０は、認識対象の画像のうち、種別判定不可画像を選択し（ステップＳ２３）、選択した画像をサーバ２００に送信する（ステップＳ２４）。

以上のように、本実施形態では、認識装置１００において、第一物体認識部１３０が、学習モデルを用いて画像中の物体の種別を判定し、画像送信部１４０が、種別判定不可画像に含まれる物体のうち、その物体が立体物として検出された物体である場合、その種別判定不可画像をサーバ２００に送信する。一方、サーバ２００において、学習器２４０は、種別判定不可画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成し、学習モデル送信部２５０が、生成された学習モデルを認識装置１００に送信する。そして、認識装置１００の第一物体認識部１３０が、送信された学習モデルを用いて画像中の物体の種別を判定する。

よって、種別が判定できない物体が検出された場合に、その物体の認識精度を向上させることができる。具体的には、種別の判定ができなかった未知の物体の種別が判定できるようになる。

実施形態２．
次に、本発明による物体認識システムの第二の実施形態を説明する。第二の実施形態では、画像が撮影された場所の位置情報を用いて、優先的に学習に用いるデータを選択する方法を説明する。図７は、本発明による物体認識システムの第二の実施形態の構成例を示すブロック図である。本実施形態の物体認識システム１０ａは、認識装置１００ａと、サーバ２００ａとを備えている。

認識装置１００ａは、第一記憶部１１０と、学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４０と、位置情報送信部１５０とを含む。すなわち、本実施形態の認識装置１００ａは、第一の実施形態の認識装置１００と比較し、位置情報送信部１５０を更に含む。それ以外の構成については、第一の実施形態と同様である。

位置情報送信部１５０は、種別の判定ができなかった物体を撮影した場所（すなわち、種別判定不可画像が撮影された場所）の位置情報をサーバ２００ａに送信する。なお、位置情報送信部１５０の代わりに、画像送信部１４０が種別判定不可画像とともに位置情報をサーバ２００ａに送信してもよい。この場合、認識装置１００ａは、位置情報送信部１５０を備えていなくてもよい。

図８は、サーバに送信される情報の例を示す説明図である。図８に例示する位置情報は、図４に例示する種別判定不可画像に対応付けて、位置情報が送信されることを示す。

サーバ２００ａは、第二記憶部２１０と、第二物体認識部２２０と、教師データ入力部２３０と、学習器２４２と、学習モデル送信部２５０と、位置集計部２６０と、優先度決定部２７０とを含む。すなわち、本実施形態のサーバ２００ａは、第一の実施形態のサーバ２００と比較し、位置集計部２６０および優先度決定部２７０を更に含み、学習器２４０の代わりに学習器２４２を含む。それ以外の構成については、第一の実施形態と同様である。

位置集計部２６０は、認識装置１００ａから受信した位置情報を集計する。具体的には、位置集計部２６０は、位置が近接する位置情報をグループ化するように集計し、種別判定不可画像が予め定めた基準よりも多く撮影された場所（以下、密集場所と記すこともある。）を特定する。位置集計部２６０は、例えば、グループ化された位置情報の数が予め定めた閾値よりも多く撮影された場所を特定してもよい。近接する位置情報をグループ化する方法は任意であり、クラスタリング手法など、一般に知られた方法が用いられればよい。

図９は、位置情報を集計する処理の例を示す説明図である。図９に例示する矩形２１は、種別が判定できなかった物体が存在する位置を２次元で表したマップのイメージであり、矩形２１内の丸印は、種別が判定できなかった物体が検出された位置（すなわち、種別判定不可画像が撮影された位置）を示す。

図９に示す例では、位置集計部２６０は、丸印が密集する範囲の位置情報をグループ化し、２つのグループ２２を特定する。このグループ２２は、種別が判定できなかった物体が複数回撮影された場所を示す。なお、図９に例示する位置情報２３は、種別が判定できなかった物体が１回のみ撮影された場所を示しており、撮影回数が疎な場所であるとも言える。

優先度決定部２７０は、集計された位置情報が多いほど、その位置情報が示す場所で撮影された種別判定不可画像の優先度を高くするように決定する。この優先度は、学習器２４０が、学習に用いるデータの優先度を示す値である。具体的には、優先度決定部２７０は、グループ化された位置情報が示す場所で撮影された種別判定不可画像の優先度を、グループ化されていない位置情報が示す場所で撮影された種別判定不可画像の優先度よりも高く決定する。優先度決定部２７０は、例えば、優先度が高いことを示すフラグ（高優先度フラグ）を学習データに付与してもよい。

さらに、優先度決定部２７０は、グループ化された位置情報の数に応じて、優先度のランク付けを行ってもよい。具体的には、グループ化された位置情報のうち、属する位置情報の数が多いグループの優先度を高く決定してもよい。

図９に示す例では、優先度決定部２７０は、グループ２２に属する位置情報が示す場所で撮影された種別判定不可画像の優先度を、位置情報２３が示す場所で撮影された種別判定不可画像の優先度よりも高く決定する。この場合、優先度決定部２７０は、例えば、グループ２２に属する位置情報に対応する学習データに高優先度フラグを付与してもよい。

学習器２４２は、優先度のより高い種別判定不可画像を含む学習データを優先的に用いて学習モデルを生成する。なお、教師データ入力部２３０が、優先度に応じて、学習器２４２に入力する学習データを制御してもよい。

学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４０と、位置情報送信部１５０とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、第二物体認識部２２０と、教師データ入力部２３０と、学習器２４２と、学習モデル送信部２５０と、位置集計部２６０と、優先度決定部２７０とは、プログラム（再学習プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

次に、本実施形態の物体認識システム１０ａの動作を説明する。図１０は、本実施形態の物体認識システム１０ａの動作例を示すフローチャートである。種別判定不可画像をサーバに送信するまでの処理は、図５に例示するステップＳ１１からステップＳ１３までの処理と同様である。本実施形態では、位置情報送信部１５０が、さらに、種別判定不可画像が撮影された場所の位置情報をサーバ２００ａに送信する（ステップＳ２１）。

位置集計部２６０は、認識装置１００ａから受信した位置情報を集計する（ステップＳ２２）。そして、優先度決定部２７０は、集計された位置情報が多いほど、その位置情報が示す場所で撮影された種別判定不可画像の優先度を高くするように決定する（ステップＳ２３）。学習器２４２は、優先度のより高い種別判定不可画像を含む学習データを優先的に用いて学習モデルを生成する（ステップＳ２４）。以降、生成された学習モデルを認識装置に送信して、認識処理が行われるまでの処理は、図５に例示するステップＳ１５からステップＳ１６の処理と同様である。

以上のように、本実施形態では、位置情報送信部１５０が、種別判定不可画像が撮影された場所の位置情報をサーバ２００ａに送信する。位置集計部２６０は、受信した位置情報を集計し、優先度決定部２７０は、集計された位置情報が多いほど、その位置情報が示す場所で撮影された種別判定不可画像の優先度を高くするように決定する。そして、学習器２４２は、優先度のより高い種別判定不可画像を含む学習データを優先的に用いて学習モデルを生成する。よって、第一の実施形態の効果に加え、偶発的に種別が判定できなかった物体の追加学習頻度を低減させ、複数の車両で種別が判定できなかった物体を優先的に学習することが可能になる。

実施形態３．
次に、本発明による物体認識システムの第三の実施形態を説明する。第二の実施形態では、位置情報に基づいて、種別が判定できなかった物体が多数撮影された場所（密集場所）が特定された。本実施形態では、サーバに対して送信される種別判定不可画像を制限する方法を説明する。図１１は、本発明による物体認識システムの第三の実施形態の構成例を示すブロック図である。本実施形態の物体認識システム１０ｂは、認識装置１００ｂと、サーバ２００ｂとを備えている。

サーバ２００ｂは、第二記憶部２１０と、第二物体認識部２２０と、教師データ入力部２３０と、学習器２４２と、学習モデル送信部２５０と、位置集計部２６０と、優先度決定部２７０と、送信許可位置情報送信部２８０とを含む。すなわち、本実施形態のサーバ２００ｂは、第二の実施形態のサーバ２００ａと比較し、送信許可位置情報送信部２８０を更に含む。それ以外の構成については、第二の実施形態と同様である。

位置集計部２６０は、第二の実施形態と同様、位置が近接する位置情報をグループ化するように集計し、種別判定不可画像が予め定めた基準よりも多く撮影された場所（すなわち、密集場所）を特定する。言い換えると、予め定めた基準よりも多く撮影された場所（密集場所）とは、グループ化された位置情報の数が、予め定めた基準よりも多い場所とも言える。

送信許可位置情報送信部２８０は、サーバ２００ｂへの送信を許可する種別判定不可画像の撮影場所を示す位置情報（以下、送信許可位置情報と記す。）を認識装置１００ｂに送信する。具体的には、送信許可位置情報送信部２８０は、位置集計部２６０によって特定された密集場所を示す位置情報を、送信許可位置情報として認識装置１００ｂに送信する。

認識装置１００ｂは、第一記憶部１１０と、学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４２と、位置情報送信部１５０とを含む。すなわち、本実施形態の認識装置１００ｂは、第二の実施形態の認識装置１００ａと比較し、画像送信部１４０の代わりに画像送信部１４２を含む。それ以外の構成については、第二の実施形態と同様である。

画像送信部１４２は、送信許可位置情報が示す場所以外で撮影された種別判定不可画像のサーバ２００ｂへの送信を抑制する。言い換えると、画像送信部１４２は、送信許可位置情報が示す場所で撮影された種別判定不可画像のみをサーバ２００ｂへ送信する。そのため、サーバ２００ｂへは、送信許可位置情報が示す場所で撮影された種別判定不可画像が集まることになる。

図１２は、送信許可位置情報に基づいて種別判定不可画像の送信を制御する処理の例を示す説明図である。まず、認識装置１００ｂ（より具体的には、位置情報送信部１５０）が、種別判定不可画像が撮影された場所を示す位置情報２６をサーバ２００ｂに逐次送信する。サーバ２００ｂ（より具体的には、位置集計部２６０）が、送信された位置情報をグループ化し、グループ化された場所を示す位置情報２７を認識装置１００ｂに送信する。この情報が、送信許可位置情報に相当する。認識装置１００ｂ（より具体的には、画像送信部１４２）は、送信許可位置情報に基づいて、種別判定不可画像をサーバ２００ｂへ送信する。

このように、種別判定不可画像が多く撮影された場所の画像に限定してサーバ２００ｂへ送信させることで、サーバ２００ｂへアップロードされる情報量を削減しつつ、学習器２４２が、効率的に追加学習をすることが可能になる。

学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４２と、位置情報送信部１５０とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、第二物体認識部２２０と、教師データ入力部２３０と、学習器２４２と、学習モデル送信部２５０と、位置集計部２６０と、優先度決定部２７０と、送信許可位置情報送信部２８０とは、プログラム（再学習プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

次に、本実施形態の物体認識システム１０ｂの動作を説明する。図１３は、本実施形態の物体認識システム１０ｂの動作例を示すフローチャートである。サーバ２００ｂが種別判定不可画像および位置情報を受信して位置情報を集計するまでの処理は、図１０に例示するステップＳ１１からステップＳ１３およびステップＳ２１からステップＳ２２までの処理と同様である。

送信許可位置情報送信部２８０は、位置集計部２６０によって特定された密集場所を示す位置情報を、送信許可位置情報として認識装置１００ｂに送信する（ステップＳ３１）。画像送信部１４２は、送信許可位置情報が示す場所以外で撮影された種別判定不可画像のサーバ２００ｂへの送信を抑制する（ステップＳ３２）。以降、生成された学習モデルを認識装置に送信して、認識処理が行われるまでの処理は、図１０に例示するステップＳ２３からステップＳ２４およびステップＳ１５からステップＳ１６の処理と同様である。

以上のように、本実施形態では、位置集計部２６０が、位置が近接する位置情報をグループ化するように集計して、位置情報の密集場所を特定し、送信許可位置情報送信部２８０が、特定された場所を示す送信許可位置情報を認識装置に送信する。そして、認識装置１００ｂの画像送信部１４２が、送信許可位置情報が示す場所以外で撮影された種別判定不可画像のサーバへの送信を抑制する。よって、第二の実施形態の効果に加え、サーバ２００ｂへアップロードされる情報量を削減しつつ、効率的に追加学習をすることが可能になる。

実施形態４．
次に、本発明による物体認識システムの第四の実施形態を説明する。第四の実施形態では、認識装置が、種別判定不可画像が撮影された時刻の情報（以下、時刻情報と記す。）をサーバに送信して、追加学習を行う方法を説明する。図１４は、本発明による物体認識システムの第四の実施形態の構成例を示すブロック図である。本実施形態の物体認識システム１０ｃは、認識装置１００ｃと、サーバ２００ｃとを備えている。

認識装置１００ｃは、第一記憶部１１０と、学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４０と、位置情報送信部１５０と、時刻情報送信部１６０とを含む。すなわち、本実施形態の認識装置１００ｃは、第二の実施形態の認識装置１００ａと比較し、時刻情報送信部１６０を更に含む。それ以外の構成については、第二の実施形態と同様である。なお、サーバ２００ｃが第三の実施形態における送信許可位置情報を送信する場合、画像送信部１４０は、第三の実施形態における画像送信部１４２として実現されていてもよい。

時刻情報送信部１６０は、種別判定不可画像が撮影された時刻を示す時刻情報をサーバ２００ｃに送信する。なお、時刻情報送信部１６０の代わりに、画像送信部１４０が種別判定不可画像とともに時刻情報をサーバ２００ｃに送信してもよい。この場合、認識装置１００ｃは、時刻情報送信部１６０を備えていなくてもよい。

図１５は、サーバに送信される情報の他の例を示す説明図である。図１５に例示する情報は、図８に例示する情報に加え、各種別判定不可画像が撮影された日付および時刻が対応付けられていることを示す。

サーバ２００ｃは、第二記憶部２１２と、第二物体認識部２２０と、教師データ入力部２３０と、学習器２４２と、学習モデル送信部２５０と、位置集計部２６０と、優先度決定部２７２とを含む。すなわち、本実施形態のサーバ２００ｃは、第二の実施形態のサーバ２００ａと比較し、第二記憶部２１０および優先度決定部２７０の代わりに、第二記憶部２１２および優先度決定部２７２を更に含む。それ以外の構成については、第二の実施形態と同様である。なお、サーバ２００ｃが、第三の実施形態における送信許可位置情報送信部２８０を備えていてもよい。

第二記憶部２１２は、時刻情報に基づく学習の優先度ポリシを記憶する。また、第二記憶部２１２は、認識装置１００ｃから送信された時刻情報を記憶してもよい。優先度ポリシは、学習に用いられる画像の優先度を決定する方法を規定したポリシであって、その画像が撮影された時刻の時間幅に基づいて規定されるポリシである。優先度ポリシは、例えば、密集場所のうち、種別判定不可画像が撮影された各時刻の時間幅に応じて高優先度フラグを設定することを規定したポリシであってもよい。

図１６は、優先度ポリシの例を示す説明図である。図１６に例示する優先度ポリシは、学習の狙いに応じて、高優先度フラグを設定する種別判定不可画像の時刻情報の時間幅を規定していることを示す。例えば、ユーザが変動物を優先的に学習させたいとする。変動物を撮影した種別判定不可画像は、各車両から短い間隔で撮影されて送信されると考えられる。そこで、このような場合、時刻情報の時間幅が短い（例えば、１分など）優先度ポリシ３１が規定されることが好ましい。一方、例えば、ユーザが定常物を優先的に学習させたいとする。定常物を撮影した種別判定不可画像は、各車両から長期的に撮影されて送信されると考えられる。そこで、時刻情報の時間幅が長い（例えば、３日など）優先度ポリシ３２が規定されることが好ましい。

優先度決定部２７２は、規定された優先度ポリシにしたがって、種別判定不可画像が予め定めた基準よりも多く撮影された場所（すなわち、密集場所）で撮影された画像に対して設定する優先度を決定する。具体的には、優先度決定部２７２は、単一の密集場所（グループ）に属する時刻情報の時間幅を算出する。優先度決定部２７２は、例えば、時間幅として時刻情報のばらつきを算出してもよい。そして、優先度決定部２７２は、算出した時間幅と、優先度ポリシとにしたがって、種別判定不可画像に対して高優先度フラグを設定する。

学習器２４２は、優先度のより高い種別判定不可画像を含む学習データを優先的に用いて学習モデルを生成する。具体的には、学習器２４２は、高優先度フラグが設定された種別判定不可画像を優先的に選択して、追加学習を行う。なお、教師データ入力部２３０が、優先度に応じて、学習器２４２に入力する学習データを制御してもよい。

図１７は、集計された位置情報の例を示す説明図である。図１７に例示する矩形４１は、図９と同様、種別が判定できなかった物体が存在する位置を２次元で表したマップのイメージであり、矩形４１内の丸印は、種別が判定できなかった物体が検出された位置（すなわち、種別判定不可画像が撮影された位置）を示す。また、図１７に示す例では、位置情報が、グループ４２とグループ４３の大きく２つに集計されたとする。

図１７に示す例において、グループ４２に属する位置情報に対応する時刻情報の時間幅が１分であり、グループ４３に属する位置情報に対応する時刻情報の時間幅が３日であったとする。例えば、図１６に例示する優先度ポリシ３１が規定されている場合、優先度決定部２７２は、グループ４２に含まれる位置情報で特定される種別判定不可画像に対して高優先度フラグを設定してもよい。また、例えば、図１６に例示する優先度ポリシ３２が規定されている場合、優先度決定部２７２は、グループ４３に含まれる位置情報で特定される種別判定不可画像に対して高優先度フラグを設定してもよい。

学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４０と、位置情報送信部１５０と、時刻情報送信部１６０とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、第二物体認識部２２０と、教師データ入力部２３０と、学習器２４２と、学習モデル送信部２５０と、位置集計部２６０と、優先度決定部２７２とは、プログラム（再学習プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

次に、本実施形態の物体認識システム１０ｃの動作を説明する。図１８は、本実施形態の物体認識システム１０ｃの動作例を示すフローチャートである。種別判定不可画像および位置情報をサーバ２００ｃに送信するまでの処理は、図１０に例示するステップＳ１１からステップＳ１３およびステップＳ２１までの処理と同様である。本実施形態では、時刻情報送信部１６０が、さらに、種別判定不可画像が撮影された時刻を示す時刻情報をサーバ２００ｃに送信する（ステップＳ４１）。そして、位置集計部２６０が位置情報を集計する処理は、図１０に例示するステップＳ２２と同様である。

優先度決定部２７２は、優先度ポリシにしたがって、密集場所で撮影された種別判定不可画像に対して設定する優先度を決定する（ステップＳ４２）。学習器２４２は、優先度のより高い種別判定不可画像を含む学習データを優先的に用いて学習モデルを生成する（ステップＳ２４）。以降、生成された学習モデルを認識装置に送信して、認識処理が行われるまでの処理は、図１０に例示するステップＳ１５からステップＳ１６の処理と同様である。

以上のように、本実施形態では、認識装置１００ｃの時刻情報送信部１６０が、種別判定不可画像が撮影された時刻を示す時刻情報をサーバ２００ｃに送信し、サーバ２００ｃの優先度決定部２７２が、優先度ポリシにしたがって、密集場所で撮影された種別判定不可画像に対して設定する優先度を決定する。よって、上述する実施形態の効果に加え、種別の判定ができない物体の時間的な出現度合いに応じて、追加学習を行う物体を選別できる。

実施形態５．
次に、本発明による物体認識システムの第五の実施形態を説明する。第五の実施形態では、種別の判定ができなかった物体が検出された場合に、その物体を学習するためのデータを増加させて、学習器による学習を効率化する方法を説明する。

図１９は、本発明による物体認識システムの第五の実施形態の構成例を示すブロック図である。本実施形態の物体認識システム１０ｄは、認識装置１００ｄと、サーバ２００ｄとを備えている。

認識装置１００ｄは、第一記憶部１１０と、学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４０と、位置情報送信部１５０と、方位情報送信部１７０とを含む。すなわち、本実施形態の認識装置１００ｄは、第一の実施形態の認識装置１００と比較し、位置情報送信部１５０および方位情報送信部１７０を更に含む。それ以外の構成については、第一の実施形態と同様である。なお、認識装置１００ｄが、第四の実施形態の時刻情報送信部１６０を含んでいてもよい。

位置情報送信部１５０は、第二の実施形態の位置情報送信部１５０と同様に、種別の判定ができなかった物体を撮影した場所（すなわち、種別判定不可画像が撮影された場所）の位置情報をサーバ２００ｄに送信する。

方位情報送信部１７０は、種別判定不可画像を撮影した方位を示す方位情報をサーバ２００ｄに送信する。方位情報は、例えば、撮像装置３００が画像を撮影する方位を検出するコンパス（図示せず）によって取得され、方位情報送信部１７０に入力される。

サーバ２００ｄは、第二記憶部２１４と、第二物体認識部２２２と、教師データ入力部２３０と、学習器２４０と、学習モデル送信部２５０と、画像データ取得部２９０とを含む。すなわち、本実施形態のサーバ２００ｄは、第一の実施形態のサーバ２００と比較し、画像データ取得部２９０を更に含み、第二記憶部２１０および第二物体認識部２２０の代わりに第二記憶部２１４および第二物体認識部２２２を含む。それ以外の構成については、第一の実施形態と同様である。なお、サーバ２００ｄが、上述する実施形態で説明した位置集計部２６０および優先度決定部２７０を含んでいてもよい。

第二記憶部２１４は、位置情報及び方位情報に基づいて風景画像を特定可能な画像データベースを記憶する。画像データベースには、無人航空機によって位置情報とともに撮影された画像や、風景撮影車によって位置情報とともに撮影された画像などが格納される。

画像データ取得部２９０は、受信した位置情報および方位情報により特定される画像を画像データベースから取得し、取得した画像（以下、データベース画像と記す。）を第二物体認識部２２２に入力する。なお、このような画像を取得するサービスの例として、ストリートビュー（登録商標）などが挙げられる。

画像データ取得部２９０によって特定される画像は、撮像装置３００によって撮影された画像（すなわち、種別判定不可画像）と同じ場所を異なる時刻で撮影した画像である。そのため、撮影される画像に含まれる物体は、同一である確率が高い。このように、同一である可能性の高い物体を撮影した画像を取得することにより、種別が判定できなかった物体について複数の画像データを準備することが可能になる。

第二物体認識部２２２は、第二記憶部２１０に記憶された学習モデルを用いて、認識装置１００から受信した種別判定不可画像中の物体の種別、および、データベース画像中の物体の種別を判定する。

教師データ入力部２３０は、種別判定不可画像と第二物体認識部２２２による判定結果とを対応付けた教師データ、および、データベース画像と第二物体認識部２２２による判定結果とを対応付けた教師データを学習器２４０に入力する。なお、教師データ入力部２３０は、第一の実施形態と同様、各画像に対して人手で正解ラベルが付与された教師データをそれぞれ入力してもよい。

学習器２４０は、種別判定不可画像に対して教師ラベルが付与された学習データ、および、データベース画像対して教師ラベルが付与された学習データに基づいて学習モデルを生成する。学習器２４０が学習を行う方法は、第一の実施形態と同様である。

学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４０と、位置情報送信部１５０と、方位情報送信部１７０とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、第二物体認識部２２２と、教師データ入力部２３０と、学習器２４０と、学習モデル送信部２５０と、画像データ取得部２９０とは、プログラム（再学習プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

次に、本実施形態の物体認識システム１０ｄの動作を説明する。図２０は、本実施形態の物体認識システム１０ｄの動作例を示すフローチャートである。種別判定不可画像をサーバに送信するまでの処理は、図５に例示するステップＳ１１からステップＳ１３までの処理と同様である。本実施形態では、位置情報送信部１５０が、さらに、種別判定不可画像が撮影された場所の位置情報をサーバ２００ｃに送信し（ステップＳ２１）、方位情報送信部１７０が、種別判定不可画像が撮影された方位を示す方位情報をサーバに送信する（ステップＳ５１）。画像データ取得部２９０は、受信した位置情報および方位情報により特定される画像を画像データベースから取得する（ステップＳ５２）。

学習器２４０は、教師データ入力部２３０によって入力された、種別判定不可画像と第二物体認識部２２２による判定結果とを対応付けた教師データ、および、データベース画像と第二物体認識部２２２による判定結果とを対応付けた教師データに基づいて、学習モデルを生成する（ステップＳ５３）。以降、生成された学習モデルを認識装置に送信して、認識処理が行われるまでの処理は、図５に例示するステップＳ１５からステップＳ１６の処理と同様である。

以上のように、本実施形態では、認識装置１００ｄの位置情報送信部１５０が、種別判定不可画像が撮影された場所の位置情報をサーバに送信し、方位情報送信部１７０が、種別判定不可画像が撮影された方位を示す方位情報をサーバに送信する。また、画像データ取得部２９０が、受信した位置情報および方位情報により特定される画像を画像データベース取得する。そして、学習器２４０は、種別判定不可画像と判定結果とを対応付けた教師データ、および、データベース画像と判定結果とを対応付けた教師データに基づいて、学習モデルを生成する。よって、第一の実施形態の効果に加え、自車で撮影された画像に加えて画像データベースの画像を学習に利用できるため、学習モデルを高精度化できる。

実施形態６．
次に、本発明による物体認識システムの第六の実施形態を説明する。第六の実施形態では、第五の実施形態で説明した画像データベースから、より適切な画像を取得する方法を説明する。

図２１は、本発明による物体認識システムの第六の実施形態の構成例を示すブロック図である。本実施形態の物体認識システム１０ｅは、認識装置１００ｅと、サーバ２００ｅとを備えている。

認識装置１００ｅは、第一記憶部１１０と、学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４０と、位置情報送信部１５０と、方位情報送信部１７０と、カメラ情報送信部１８０とを含む。すなわち、本実施形態の認識装置１００ｅは、第五の実施形態の認識装置１００ｄと比較し、カメラ情報送信部１８０を更に含む。それ以外の構成については、第五の実施形態と同様である。

カメラ情報送信部１８０は、撮像装置３００に関するカメラパラメータをサーバ２００ｅに送信する。すなわち、カメラ情報送信部１８０は、種別判定不可画像を撮影した撮像装置に関するカメラパラメータをサーバ２００ｅに送信する。カメラパラメータの例として、カメラ高、焦点距離などが挙げられる。ただし、カメラパラメータは、カメラ高および焦点距離に限定されず、撮像装置３００に設定され得る任意のパラメータの内容が含まれる。

サーバ２００ｅは、第二記憶部２１４と、第二物体認識部２２２と、教師データ入力部２３０と、学習器２４０と、学習モデル送信部２５０と、画像データ取得部２９２とを含む。すなわち、本実施形態のサーバ２００ｅは、第五の実施形態のサーバ２００ｄと比較し、画像データ取得部２９０の代わりに画像データ取得部２９２を含む。それ以外の構成については、第五の実施形態と同様である。

画像データ取得部２９２は、第五の実施形態における画像データ取得部２９０と同様、受信した位置情報および方位情報により特定される画像を画像データベースから取得する。そして、画像データ取得部２９２は、受信したカメラパラメータに基づいてデータベース画像を補正する。このように補正することで、画像データベースから取得した画像を、撮像装置３００によって実際に撮影された画像に近づけることが可能になる。なお、カメラパラメータに基づいて画像を補正する方法は広く知られており、ここでは詳細な説明は省略する。

学習モデル入力部１２０と、第一物体認識部１３０と、画像送信部１４０と、位置情報送信部１５０と、方位情報送信部１７０と、カメラ情報送信部１８０とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、第二物体認識部２２２と、教師データ入力部２３０と、学習器２４０と、学習モデル送信部２５０と、画像データ取得部２９２とは、プログラム（再学習プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

次に、本実施形態の物体認識システム１０ｅの動作を説明する。図２２は、本実施形態の物体認識システム１０ｅの動作例を示すフローチャートである。種別判定不可画像および位置情報をサーバに送信するまでの処理は、図２０に例示するステップＳ１１からステップＳ１３およびステップＳ２１までの処理と同様である。さらに、本実施形態では、カメラ情報送信部１８０が、種別判定不可画像を撮影した撮像装置に関するカメラパラメータをサーバ２００ｅに送信する（ステップＳ６１）。

その後、サーバ２００ｅにおいて、図２０に例示するステップＳ５１からステップＳ５２までの処理と同様に、画像データベースから画像を取得するまでの処理が行われる。そして、画像データ取得部２９２は、受信したカメラパラメータに基づいてデータベース画像を補正する（ステップＳ６２）。以降、学習モデルの生成処理および生成された学習モデルを認識装置に送信して、認識処理が行われるまでの処理は、図２０に例示するステップＳ５３およびステップＳ１５からステップＳ１６の処理と同様である。

以上のように、本実施形態では、認識装置１００ｅのカメラ情報送信部１８０が。種別判定不可画像を撮影した撮像装置３００に関するカメラパラメータをサーバ２００ｅに送信し、画像データ取得部２９２が、受信したカメラパラメータに基づいて、画像データベースから取得した画像を補正する。よって、第五の実施形態の効果に加え、画像データベースから取得する画像を実車両での撮影条件に近づけることができるため、画像データベースによる学習効果を向上させることができる。

次に、本発明の概要を説明する。図２３は、本発明による物体認識システムの概要を示すブロック図である。本発明による物体認識システム８０（例えば、物体認識システム１０）は、画像中の物体を認識する認識装置３０（例えば、認識装置１００）と、学習モデルを生成するサーバ４０（例えば、サーバ２００）とを備えている。

認識装置３０は、学習モデル（例えば、「学習モデル１」）を用いて画像中の物体の種別を判定する第一物体認識部３１０（例えば、第一物体認識部１３０）と、種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、その物体が立体物として検出された物体である場合、その種別判定不可画像をサーバ４０に送信する画像送信部３２０（例えば、画像送信部１４０）とを含む。

サーバ４０は、種別判定不可画像に対して教師ラベルが付与された学習データに基づいて学習モデル（例えば、「学習モデル１ａ」）を生成する学習器４１０（例えば、学習器２４０）と、生成された学習モデルを認識装置３０に送信する学習モデル送信部４２０（例えば、学習モデル送信部２５０）とを含む。

そして、認識装置３０の第一物体認識部３１０は、送信された学習モデル（例えば、「学習モデル１ａ」）を用いて画像中の物体の種別を判定する。

そのような構成により、種別が判定できない物体が検出された場合に、その物体の認識精度を向上させることができる。

また、サーバ４０は、第一物体認識部３１０が用いる学習モデルよりも認識精度の高い学習モデル（例えば、「学習モデル２」）を用いて、認識装置３０から受信した種別判定不可画像中の物体の種別を判定する第二物体認識部（例えば、第二物体認識部２２０）を含んでいてもよい。そのような構成によれば、種別判定不可画像が送信された後の判定処理を自動化することができる。

また、認識装置３０（例えば、認識装置１００ａ）は、種別判定不可画像が撮影された場所を示す位置情報をサーバに送信する位置情報送信部１５０を含んでいてもよい。また、サーバ４０（例えば、サーバ２００ａ）は、受信した位置情報を集計する位置集計部（例えば、位置集計部２６０）と、集計された位置情報が多いほど、その位置情報が示す場所で撮影された種別判定不可画像の優先度を高くするように決定する優先度決定部（例えば、優先度決定部２７０）とを含んでいてもよい。そして、学習器４１０は、優先度のより高い種別判定不可画像を含む学習データを優先的に用いて学習モデルを生成してもよい。そのような構成によれば、偶発的に種別が判定できなかった物体の追加学習頻度を低減させ、複数の車両で種別が判定できなかった物体を優先的に学習することが可能になる。

また、サーバ４０（例えば、サーバ２００ｂ）は、そのサーバ４０への送信を許可する種別判定不可画像の撮影場所を示す位置情報である送信許可位置情報を認識装置３０に送信する送信許可位置情報送信部（例えば、送信許可位置情報送信部２８０）を含んでいてもよい。そして、位置集計部は、位置が近接する位置情報をグループ化するように集計して、種別判定不可画像が予め定めた基準よりも多く撮影された場所である密集場所を特定し、送信許可位置情報送信部は、特定された密集場所を示す情報を送信許可位置情報として認識装置に送信してもよい。そして、認識装置３０の画像送信部３２０（例えば、画像送信部１４２）は、送信許可位置情報が示す場所以外で撮影された種別判定不可画像のサーバへの送信を抑制してもよい。そのような構成によれば、サーバへアップロードされる情報量を削減しつつ、効率的に追加学習をすることが可能になる。

また、認識装置３０（例えば、認識装置１００ｃ）は、種別判定不可画像が撮影された時刻を示す時刻情報をサーバに送信する時刻情報送信部（例えば、時刻情報送信部１６０）を含んでいてもよい。そして、優先度決定部は、学習に用いられる画像の優先度を決定する方法を規定したポリシであって、その画像が撮影された時刻の時間幅に基づいて規定されるポリシである優先度ポリシにしたがって、密集場所で撮影された種別判定不可画像に対して設定する優先度を決定してもよい。そのような構成によれば、種別の判定ができない物体の時間的な出現度合いに応じて、追加学習を行う物体を選別できる。

また、認識装置３０（例えば、認識装置１００ｄ）は、種別判定不可画像が撮影された場所の位置情報をサーバに送信する位置情報送信部（例えば、位置情報送信部１５０）と、種別判定不可画像が撮影された方位を示す方位情報をサーバに送信する方位情報送信部（例えば、方位情報送信部１７０）とを含んでいてもよい。また、サーバ４０（例えば、サーバ２００ｄ）は、位置情報及び方位情報に基づいて画像を特定可能な画像データベースから、受信した位置情報および方位情報により特定される画像を取得する画像データ取得部（例えば、画像データ取得部２９２）を含んでいてもよい。そして、学習器４１０は、画像データ取得部によって取得された画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成してもよい。そのような構成によれば、自車で撮影された画像に加えて画像データベースの画像を学習に利用できるため、学習モデルを高精度化できる。

図２４は、本発明による認識装置の概要を示すブロック図である。本発明による認識装置５０（例えば、認識装置１００）は、物体認識部５１０と、画像送信部５２０とを備えている。なお、物体認識部５１０および画像送信部５２０の内容は、図２３に例示する認識装置３０の第一物体認識部３１０および画像送信部３２０と同様である。そのような構成によっても、種別が判定できない物体が検出された場合に、その物体の認識精度を向上させることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）撮像画像中の物体を認識する認識装置と、学習モデルを生成するサーバとを備え、前記認識装置は、学習モデルを用いて画像中の物体の種別を判定する第一物体認識部と、前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、当該種別判定不可画像を前記サーバに送信する画像送信部とを含み、前記サーバは、前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成する学習器と、生成された前記学習モデルを前記認識装置に送信する学習モデル送信部とを含み、前記認識装置の第一物体認識部は、送信された前記学習モデルを用いて画像中の物体の種別を判定することを特徴とする物体認識システム。

（付記２）サーバは、第一物体認識部が用いる学習モデルよりも認識精度の高い学習モデルを用いて、認識装置から受信した種別判定不可画像中の物体の種別を判定する第二物体認識部を含む付記１記載の物体認識システム。

（付記３）認識装置は、種別判定不可画像が撮影された場所を示す位置情報をサーバに送信する位置情報送信部を含み、サーバは、受信した前記位置情報を集計する位置集計部と、集計された位置情報が多いほど、当該位置情報が示す場所で撮影された種別判定不可画像の優先度を高くするように決定する優先度決定部とを含み、学習器は、優先度のより高い種別判定不可画像を含む学習データを優先的に用いて学習モデルを生成する付記１または付記２記載の物体認識システム。

（付記４）サーバは、当該サーバへの送信を許可する種別判定不可画像の撮影場所を示す位置情報である送信許可位置情報を認識装置に送信する送信許可位置情報送信部を含み、位置集計部は、位置が近接する位置情報をグループ化するように集計して、種別判定不可画像が予め定めた基準よりも多く撮影された場所である密集場所を特定し、前記送信許可位置情報送信部は、特定された前記密集場所を示す情報を送信許可位置情報として認識装置に送信し、認識装置の画像送信部は、前記送信許可位置情報が示す場所以外で撮影された種別判定不可画像のサーバへの送信を抑制する付記３記載の物体認識システム。

（付記５）認識装置は、種別判定不可画像が撮影された時刻を示す時刻情報をサーバに送信する時刻情報送信部を含み、優先度決定部は、学習に用いられる画像の優先度を決定する方法を規定したポリシであって当該画像が撮影された時刻の時間幅に基づいて規定されるポリシである優先度ポリシにしたがって、密集場所で撮影された種別判定不可画像に対して設定する優先度を決定する付記３または付記４記載の物体認識システム。

（付記６）認識装置は、種別判定不可画像が撮影された場所の位置情報をサーバに送信する位置情報送信部と、前記種別判定不可画像が撮影された方位を示す方位情報をサーバに送信する方位情報送信部とを含み、サーバは、位置情報及び方位情報に基づいて画像を特定可能な画像データベースから、受信した位置情報および方位情報により特定される画像を取得する画像データ取得部を含み、学習器は、画像データ取得部によって取得された画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成する付記１から付記５のうちのいずれか１つに記載の物体認識システム。

（付記７）認識装置は、種別判定不可画像を撮影した撮像装置に関するカメラパラメータをサーバに送信するカメラ情報送信部を含み、画像データ取得部は、受信したカメラパラメータに基づいて、画像データベースから取得した画像を補正する付記６記載の物体認識システム。

（付記８）画像送信部は、撮像画像と当該撮像画像中で種別が判定できなかった物体を特定する座標情報とを対応付けた画像、または、撮像画像のうち種別が判定できなかった物体が含まれる部分を抽出した画像を種別判定不可画像として送信する付記１から付記７のうちのいずれか１つに記載の物体認識システム。

（付記９）学習モデルを用いて画像中の物体の種別を判定する物体認識部と、前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信する画像送信部とを備え、前記物体認識部は、前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて前記サーバが生成した学習モデルを受信し、受信した学習モデルを用いて画像中の物体の種別を判定することを特徴とする認識装置。

（付記１０）撮像画像中の物体を認識する認識装置が、学習モデルを用いて画像中の物体の種別を判定し、前記認識装置が、前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信し、前記サーバが、前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成し、前記サーバが、生成された前記学習モデルを前記認識装置に送信し、前記認識装置が、送信された前記学習モデルを用いて画像中の物体の種別を判定することを特徴とする物体認識方法。

（付記１１）学習モデルを用いて画像中の物体の種別を判定し、前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信し、前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて前記サーバが生成した学習モデルを受信し、受信した学習モデルを用いて画像中の物体の種別を判定することを特徴とする学習モデル更新方法。

（付記１２）コンピュータに、学習モデルを用いて画像中の物体の種別を判定する物体認識処理、および、前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信する画像送信処理を実行させ、前記物体認識処理で、前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて前記サーバが生成した学習モデルを受信させ、受信した学習モデルを用いて画像中の物体の種別を判定させるための物体認識プログラム。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１８年１１月５日に出願された日本特許出願２０１８－２０７８７０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ 物体認識システム
１００，１００ａ，１００ｂ，１００ｃ，１００ｄ，１００ｅ 認識装置
１１０ 第一記憶部
１２０ 学習モデル入力部
１３０ 第一物体認識部
１４０，１４２ 画像送信部
１５０ 位置情報送信部
１６０ 時刻送信部
１７０ 方位情報送信部
１８０ カメラ情報送信部
２００，２００ａ，２００ｂ，２００ｃ，２００ｄ，２００ｅ サーバ
２１０，２１２，２１４ 第二記憶部
２２０，２２２ 第二物体認識部
２３０ 教師データ入力部
２４０，２４２ 学習器
２５０ 学習モデル送信部
２６０ 位置集計部
２７０，２７２ 優先度決定部
２８０ 送信許可位置情報送信部
２９０，２９２ 画像データ取得部
３００ 撮像装置
４００ 物体検出装置

Claims (10)

1. 撮像画像中の物体を認識する認識装置と、
   学習モデルを生成するサーバとを備え、
   前記認識装置は、
   学習モデルを用いて画像中の物体の種別を判定する第一物体認識部と、
   前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、当該種別判定不可画像を前記サーバに送信する画像送信部とを含み、
   前記サーバは、
   前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成する学習器と、
   生成された前記学習モデルを前記認識装置に送信する学習モデル送信部とを含み、
   前記認識装置の第一物体認識部は、送信された前記学習モデルを用いて画像中の物体の種別を判定する
   ことを特徴とする物体認識システム。
2. サーバは、
   第一物体認識部が用いる学習モデルよりも認識精度の高い学習モデルを用いて、認識装置から受信した種別判定不可画像中の物体の種別を判定する第二物体認識部を含む
   請求項１記載の物体認識システム。
3. 認識装置は、
   種別判定不可画像が撮影された場所を示す位置情報をサーバに送信する位置情報送信部を含み、
   サーバは、
   受信した前記位置情報を集計する位置集計部と、
   集計された位置情報が多いほど、当該位置情報が示す場所で撮影された種別判定不可画像の優先度を高くするように決定する優先度決定部とを含み、
   学習器は、優先度のより高い種別判定不可画像を含む学習データを優先的に用いて学習モデルを生成する
   請求項１または請求項２記載の物体認識システム。
4. サーバは、
   当該サーバへの送信を許可する種別判定不可画像の撮影場所を示す位置情報である送信許可位置情報を認識装置に送信する送信許可位置情報送信部を含み、
   位置集計部は、位置が近接する位置情報をグループ化するように集計して、種別判定不可画像が予め定めた基準よりも多く撮影された場所である密集場所を特定し、
   前記送信許可位置情報送信部は、特定された前記密集場所を示す情報を送信許可位置情報として認識装置に送信し、
   認識装置の画像送信部は、前記送信許可位置情報が示す場所以外で撮影された種別判定不可画像のサーバへの送信を抑制する
   請求項３記載の物体認識システム。
5. 認識装置は、種別判定不可画像が撮影された時刻を示す時刻情報をサーバに送信する時刻情報送信部を含み、
   優先度決定部は、学習に用いられる画像の優先度を決定する方法を規定したポリシであって当該画像が撮影された時刻の時間幅に基づいて規定されるポリシである優先度ポリシにしたがって、密集場所で撮影された種別判定不可画像に対して設定する優先度を決定する
   請求項３または請求項４記載の物体認識システム。
6. 認識装置は、
   種別判定不可画像が撮影された場所の位置情報をサーバに送信する位置情報送信部と、
   前記種別判定不可画像が撮影された方位を示す方位情報をサーバに送信する方位情報送信部とを含み、
   サーバは、
   位置情報及び方位情報に基づいて画像を特定可能な画像データベースから、受信した位置情報および方位情報により特定される画像を取得する画像データ取得部を含み、
   学習器は、画像データ取得部によって取得された画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成する
   請求項１から請求項５のうちのいずれか１項に記載の物体認識システム。
7. 学習モデルを用いて画像中の物体の種別を判定する物体認識部と、
   前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信する画像送信部とを備え、
   前記物体認識部は、前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて前記サーバが生成した学習モデルを受信し、受信した学習モデルを用いて画像中の物体の種別を判定する
   ことを特徴とする認識装置。
8. 撮像画像中の物体を認識する認識装置が、学習モデルを用いて画像中の物体の種別を判定し、
   前記認識装置が、前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信し、
   前記サーバが、前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成し、
   前記サーバが、生成された前記学習モデルを前記認識装置に送信し、
   前記認識装置が、送信された前記学習モデルを用いて画像中の物体の種別を判定する
   ことを特徴とする物体認識方法。
9. 学習モデルを用いて画像中の物体の種別を判定し、
   前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信し、
   前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて前記サーバが生成した学習モデルを受信し、受信した学習モデルを用いて画像中の物体の種別を判定する
   ことを特徴とする学習モデル更新方法。
10. コンピュータに、
    学習モデルを用いて画像中の物体の種別を判定する物体認識処理、および、
    前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信する画像送信処理を実行させ、
    前記物体認識処理で、前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて前記サーバが生成した学習モデルを受信させ、受信された学習モデルを用いて画像中の物体の種別を判定させる
    ための物体認識プログラム。

Images