JP7298776B2

JP7298776B2 - 物体認識装置、物体認識方法、及び、プログラム

Info

Publication number: JP7298776B2
Application number: JP2022510252A
Authority: JP
Inventors: 哲夫井下
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2023-06-27
Anticipated expiration: 2040-03-26
Also published as: JPWO2021192133A1; WO2021192133A1

Description

本発明は、画像に含まれる物体を認識する技術に関する。

入力画像から、予め決められたクラスの物体を認識する認識器が知られている。認識対象として新たなクラスの物体を追加した場合や、運用中に特定の物体についての誤認識や未認識（検知漏れ）（以下、「認識エラー」と呼ぶ。）が多く発生した場合などには、認識エラーが発生した画像を用いて認識器を再学習し、各環境に適合させた認識器にチューニングすることが行われている。

また、異なる環境に応じて認識精度を向上させる方法も各種提案されている。例えば、特許文献１には、文字の書かれている環境に応じた認識処理を行うパターン認識装置が記載されている。このパターン認識装置では、入力画像から抽出された処理対象の状態に応じて、複数登録されている認識器の中のいずれか１つ又は複数を呼び出して認識処理を行わせる。

特開２００７－０５８８８２号公報

物体認識において、認識エラーが発生した画像を用いて基礎となる認識器を再学習すると、認識エラーが発生していた物体の認識精度は向上する。しかし、再学習により認識器を構成するモデルのパラメータが更新されるため、それ以前に正しく認識できていた物体の認識精度が低下してしまうことがある。

本発明の１つの目的は、他の物体の認識精度に影響を与えることなく、認識エラーが発生した物体の認識精度を向上させることが可能な物体認識装置を提供することにある。

上記の課題を解決するため、本発明の一つの観点では、物体認識装置は、
学習済みの第１の認識モデルを用いて、入力画像中の物体を認識する第１の認識手段と、
前記第１の認識モデルによる認識精度が低い物体を認識するように学習された第２の認識モデルを用いて、前記入力画像中の物体を認識する第２の認識手段と、
前記入力画像に基づいて、前記第１の認識手段及び前記第２の認識手段に対する重みを算出する重み付け手段と、
前記重みを用いて、前記第１の認識手段の認識結果と、前記第２の認識手段の認識結果を融合する融合手段と、を備える。

本発明の他の観点では、物体認識方法は、
学習済みの第１の認識モデルを用いて、入力画像中の物体を認識し、
前記第１の認識モデルによる認識精度が低い物体を認識するように学習された第２の認識モデルを用いて、前記入力画像中の物体を認識し、
前記入力画像に基づいて、前記第１の認識手段及び前記第２の認識手段に対する重みを算出し、
前記重みを用いて、前記第１の認識手段の認識結果と、前記第２の認識手段の認識結果を融合する。

本発明のさらに他の観点では、プログラムは、
学習済みの第１の認識モデルを用いて、入力画像中の物体を認識し、
前記第１の認識モデルによる認識精度が低い物体を認識するように学習された第２の認識モデルを用いて、前記入力画像中の物体を認識し、
前記入力画像に基づいて、前記第１の認識手段及び前記第２の認識手段に対する重みを算出し、
前記重みを用いて、前記第１の認識手段の認識結果と、前記第２の認識手段の認識結果を融合する処理をコンピュータに実行させる。

本発明によれば、他の物体の認識精度に影響を与えることなく、エラーが発生した物体の認識精度を向上させることが可能となる。

物体認識装置のハードウェア構成を示すブロック図である。既存モデルと苦手対策モデルの生成方法を模式的に示す。第１実施形態の物体認識装置の基本原理を示す。学習時の物体認識装置の機能構成を示すブロック図である。アンカーボックスの概念を説明する図である。物体認識装置の学習時の動作を模式的に示す。物体認識装置による学習処理のフローチャートである。推論時の物体認識装置の機能構成を示すブロック図である。物体認識装置による推論処理のフローチャートである。第２実施形態に係る物体認識装置の機能構成を示すブロック図である。

＜第１実施形態＞
次に、本発明の第１実施形態について説明する。
［ハードウェア構成］
図１は、物体認識装置のハードウェア構成を示すブロック図である。図示のように、物体認識装置１０は、インタフェース（ＩＦ）２と、プロセッサ３と、メモリ４と、記録媒体５と、データベース（ＤＢ）６と、を備える。

インタフェース２は、外部装置との通信を行う。具体的に、インタフェース２は、物体認識の対象となる画像データや学習用の画像データを外部から入力したり、物体認識の結果を外部装置へ出力する際に使用される。

プロセッサ３は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、又はＣＰＵとＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、物体認識装置１０の全体を制御する。メモリ４は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などにより構成される。メモリ４は、プロセッサ３により実行される各種のプログラムを記憶する。また、メモリ４は、プロセッサ３による各種の処理の実行中に作業メモリとしても使用される。

記録媒体５は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、物体認識装置１０に対して着脱可能に構成される。記録媒体５は、プロセッサ３が実行する各種のプログラムを記録している。物体認識装置１０が学習処理を実行する際には、記録媒体５に記録されているプログラムがメモリ４にロードされ、プロセッサ３により実行される。

データベース６は、物体認識装置１０の学習処理において使用される、学習用の画像データを記憶する。学習用の画像データは、正解ラベルを含む。なお、上記に加えて、物体認識装置１０は、キーボード、マウスなどの入力機器や、表示装置などを備えていても良い。

［基本原理］
次に、本実施形態の物体認識装置の基本原理について説明する。ある物体認識モデル（以下、「既存モデル」と呼ぶ。）を用いた物体認識装置の運用中に、特定の物体についての認識エラーが多く発生した場合、通常は、認識エラーが発生した画像を用いて既存モデルを再学習する。しかし、再学習は、既存モデルのパラメータの更新を伴うため、認識エラーが発生した物体の認識精度は改善するが、逆にそれまで高精度で認識できていた物体の認識精度が低下してしまうことがある。そこで、本実施形態では、既存モデルとは別に、認識エラーが発生した画像で学習したエラー対策モデル（以下、「苦手対策モデル」と呼ぶ。）を生成し、既存モデルと苦手対策モデルを併用する。

図２は、既存モデルと苦手対策モデルの生成方法を模式的に示す。図２（Ａ）に示すように、まず、既存モデルの学習用データを用いて既存モデルが学習される。また、既存モデルによって認識エラーが発生した物体の画像データを、苦手対策モデルの学習用データとして使用し、図２（Ｂ）に示すように、既存認識モデルをさらに学習して苦手対策モデルを生成する。これにより、苦手対策モデルは、苦手物体、即ち、既存モデルで認識エラーが発生する物体を高精度で認識できるように学習される。なお、図２（Ｂ）の例では、既存モデルを基にして苦手対策モデルを作成しているが、既存モデル以外のモデルを基にして苦手対策モデルを生成してもよい。

図３は、第１実施形態の物体認識装置の基本原理を示す。上記のようにして生成された既存モデルと苦手対策モデルに対して、学習用データが入力される。学習用データは、画像データであり、既存モデルの学習用データと、苦手対策モデルの学習用データを含む。既存モデルと苦手対策モデルは、それぞれ入力された学習用データに対する認識結果を出力する。学習用データは、重み付け部にも入力される。重み付け部は、入力された学習用データから物体の特徴量を抽出し、抽出した特徴量に基づいて、既存モデルの認識結果と苦手対策モデルの認識結果に対する重みを決定する。

そして、融合部は、重み付け部が決定した重みに基づいて、既存モデルの認識結果と苦手対策モデルの認識結果を融合した認識結果（以下、「融合認識結果」と呼ぶ。）を生成する。融合認識結果は、予め用意された正解ラベルと比較され、その誤差（損失）のバックプロパゲーションにより重み付け部が更新される。こうして、重み付け部の学習が行われる。

この方法では、既存モデルはそのまま使用され、既存モデルのパラメータは更新されないので、既存モデルが正しく認識していた物体は引き続き正しく認識される。また、既存モデルが苦手としていた物体は、苦手対策モデルにより高精度で認識される。よって、既存モデルの認識精度に影響を与えることなく、既存モデルが苦手とする物体も高精度で認識することが可能となる。

［学習時の構成］
次に、物体認識装置１０の学習時の機能構成について説明する。図４は、学習時の物体認識装置１０ｘの機能構成を示すブロック図である。図示のように、物体認識装置１０ｘは、画像入力部１１と、重み付け部１２と、第１の認識部１３と、第２の認識部１４と、融合部１５と、パラメータ修正部１６と、損失算出部１７と、正解ラベル記憶部１８とを備える。画像入力部１１は、図１に示すインタフェース２により実現される、重み付け部１２、第１の認識部１３、第２の認識部１４、融合部１５、パラメータ修正部１６、及び、損失算出部１７は、図１に示すプロセッサ３により実現される。正解ラベル記憶部１８は図１に示すデータベース６により実現される。

学習時においては、物体認識装置１０ｘは、重み付け部１２が内部に有する重み算出のためのパラメータ（以下、「重み算出パラメータ」と呼ぶ。）を最適化する。第１の認識部１３は既存モデルを用いる物体認識部であり、第２の認識部１４は苦手対策モデルを用いる物体認識部である。なお、第１の認識部１３及び第２の認識部１４は、事前に学習済みであり、ここではそれらの学習は行われない。

画像入力部１１には、学習用の画像データが入力される。前述のように、各画像データに対しては、その画像に含まれる物体を示す正解ラベルが予め用意されている。画像入力部１１は、入力された画像データを、重み付け部１２、第１の認識部１３、及び、第２の認識部１４に出力する。

第１の認識部１３は、例えばＳＳＤ（ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉｂｏｘＤｅｔｅｃｔｏｒ）、ＲｅｔｉｎａＮｅｔ、Ｆａｓｔｅｒ－ＲＣＮＮ（ＲｅｇｉｏｎａｌＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）などのディープラーニングによる物体認識用のニューラルネットワークに類似する構成を有する。但し、第１の認識部１３は、ＮＭＳ（ＮｏｎＭａｘｉｍｕｍＳｕｐｐｒｅｓｓｉｏｎ）処理を行って、検知した物体とそのスコア及び座標情報をリスト形式などで出力する処理までは行わず、ＮＭＳ処理前のアンカーボックス毎に算出された認識対象物体のスコア情報及び座標情報をそのまま出力する。ここでは、認識対象物体の有無を検証する、すべての部分領域のことを「アンカーボックス」と呼ぶ。

図５は、アンカーボックスの概念を説明する図である。図示のように、ＣＮＮの畳み込みにより得られた特徴マップ上に、スライディングウィンドウが設定される。図５の例では、１つのスライディングウィンドウに対してｋ通りの大きさの異なるアンカーボックスが設定され、各アンカーボックスに対して認識対象物体の有無が検証される。即ち、各アンカーボックスは、すべてのスライディングウィンドウに対してｋ通りずつ設定される部分領域を指す。なお、アンカーボックスの数はニューラルネットワークの構造やサイズに依存する。

図４に戻り、第２の認識部１４は、第１の認識部１３と同様のモデル構造を有するが、前述のように苦手対策モデルを用いるものである。即ち、第２の認識部１４は、苦手対策モデルの学習用データを用いて学習されており、内部に所持するネットワークのパラメータや認識特性は第１の認識部１３とは異なる。

重み付け部１２は、ＲｅｓＮｅｔ（ＲｅｓｉｄｕａｌＮｅｔｗｏｒｋ：残差ネットワーク）などの回帰問題に適用可能なディープニューラルネットワークなどによって構成される。重み付け部１２は、画像入力部１１に入力された画像データに対して、第１の認識部１３と第２の認識部１４が出力するスコア情報及び座標情報を融合する際の重みを決定し、それぞれの重みを融合部１５へ出力する。

融合部１５は、第１の認識部１３及び第２の認識部１４が出力するスコア情報及び座標情報を、それぞれ対応するアンカーボックス同士で、重み付け部１２が出力する重みに基づき融合する。図６は、物体認識装置１０の学習時の動作を模式的に示す。重み付け部１２は、第１の認識部１３に対する重みｗ_１と、第２の認識部１４に対する重みｗ_２を生成する。重みｗ_１、ｗ_２は、それぞれアンカーボックス数の次元を有するベクトルである。融合部１５は、第１の認識部１３の認識結果に重みｗ_１を乗算し、第２の認識部１４の認識結果に重みｗ_２を乗算し、それらを加算した後、平均して融合認識結果を生成する。

正解ラベル記憶部１８は、学習用データに対する正解ラベルを記憶している。具体的に、正解ラベル記憶部１８は、正解ラベルとして、各アンカーボックスに存在する認識対象物体のクラス情報及び座標情報をアンカー毎に配列状に記憶する。正解ラベル記憶部１８は、認識対象物体が存在しないアンカーに対応する記憶エリアには、認識対象物体が存在しない旨を示すクラス情報及び座標情報を記憶する。

損失算出部１７は、図６に示すように、融合部１５が出力する融合認識結果、即ち、スコア情報及び座標情報と、正解ラベル記憶部１８に記憶されている正解ラベルとを照合して損失（ロス）の値を算出する。具体的には、損失算出部１７は、スコア情報に関する識別ロス、及び、座標情報に関する回帰ロス（Ｒｅｇｒｅｓｓｉｏｎｌｏｓｓ）を算出する。損失算出部１７は、すべてのアンカーボックスに対するスコア情報の差分を累積して識別ロスを算出する。また、回帰ロスについては、損失算出部１７は、いずれかの物体が存在するアンカーに対してのみ座標情報の差分を累積し、いずれの物体も存在しないアンカーに対しては座標情報の差分を考慮しない。

なお、識別ロスと回帰ロスを用いたディープニューラルネットワークの学習については以下の文献に記載されており、これを参考文献としてここに取り込む。
”ＬｅａｒｎｉｎｇＥｆｆｉｃｉｅｎｔＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎＭｏｄｅｌｓｗｉｔｈＫｎｏｗｌｅｄｇｅＤｉｓｔｉｌｌａｔｉｏｎ”，ＮｅｕｒＩＰＳ２０１７

パラメータ修正部１６は、損失算出部１７が算出した損失を減少させるように、重み付け部１２に内在するネットワークのパラメータを修正する。この時、パラメータ修正部１６は、第１の認識部１３及び第２の認識部１４のネットワークのパラメータを固定し、重み付け部１２のパラメータのみを修正する。パラメータ修正部１６は、パラメータの修正量を通常の誤差逆伝搬法（バックプロパゲーション）により求めることができる。こうして重み付け部１２のパラメータを学習することで、第１の認識部１３及び第２の認識部１４の出力を最適に融合する物体認識装置を構築することができる。

［学習処理］
次に、物体認識装置１０ｘによる学習処理について説明する。図７は、物体認識装置１０ｘによる学習処理のフローチャートである。この処理は、図１に示すプロセッサ３が予め用意されたプログラムを実行することにより実現される。

まず、画像入力部１１に学習用の画像データが入力される（ステップＳ１１）。第１の認識部１３は、既存モデルを用いて物体認識を行い、画像データ中の認識対象物体のスコア情報と座標情報をアンカーボックス毎かつ認識対象物体毎に出力する（ステップＳ１２）。同様に、第２の認識部１４は、苦手対策モデルを用いて物体認識を行い、画像データ中の認識対象物体のスコア情報と座標情報をアンカーボックス毎かつ認識対象物体毎に出力する（ステップＳ１３）。また、重み付け部１２は、画像データを読み込み、第１の認識部１３及び第２の認識部１４の出力それぞれに対する重みを算出する（ステップＳ１４）。

次に、融合部１５は、第１の認識部１３が出力した認識対象物体のスコア情報と座標情報、並びに、第２の認識部１４が出力した認識対象物体のスコア情報と座標情報に、重み付け部１２が算出したそれぞれに対する重みを掛け合わせて加算し、それらの平均値を出力する（ステップＳ１５）。次に、損失算出部１７は、得られた平均値と正解ラベルとの差を照合し、損失を算出する（ステップＳ１６）。そして、パラメータ修正部１６は、損失の値が減少するように、重み付け部１２に内在する重み算出パラメータを修正する（ステップＳ１７）。

次に、物体認識装置１０は、所定の終了条件が具備されたか否かを判定する（ステップＳ１８）。「終了条件」とは、繰返しの回数やロスの値の変化度合いなどに関する条件であり、多くのディープラーニングの学習手順として採用されている方法のいずれかを使用することができる。物体認識装置１０は、終了条件が具備されるまで、上記のステップＳ１１～Ｓ１７を繰返し、終了条件が具備されたら処理を終了する。

［推論時の構成］
次に、物体認識装置の推論時の構成について説明する。図８は、推論時の物体認識装置１０ｙの機能構成を示すブロック図である。なお、推論時の物体認識装置１０ｙも、基本的に図１に示すハードウェア構成で実現される。

図８に示すように、推論時の物体認識装置１０ｙは、画像入力部１１と、重み付け部１２と、第１の認識部１３と、第２の認識部１４と、融合部１５と、極大値選択部１９と、を備える。ここで、画像入力部１１、重み付け部１２、第１の認識部１３、第２の認識部１４、及び、融合部１５は、図４に示す学習時の物体認識装置１０ｘと同様である。重み付け部１２としては、上記の学習処理により学習されたものを使用する。

極大値選択部１９は、融合部１５が出力するスコア情報にＮＭＳ処理を施して認識対象物体の種類を同定し、そのアンカーボックスに対応する座標情報からその位置を特定して物体認識結果を出力する。物体認識結果は、認識対象物体毎に、その種類と位置とを含む。これにより、既存モデルにより認識結果と、苦手対策モデルによる認識結果を最適に融合して物体認識結果を得ることができる。

［推論処理］
次に、物体認識装置１０ｙによる推論処理について説明する。図９は、物体認識装置１０ｘによる推論処理のフローチャートである。この処理は、図１に示すプロセッサ３が予め用意されたプログラムを実行することにより実現される。

まず、画像入力部１１に認識の対象となる画像データが入力される（ステップＳ２１）。第１の認識部１３は、既存モデルを用いて物体認識を行い、画像データ中の認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎に出力する（ステップＳ２２）。同様に、第２の認識部１４は、苦手対策モデルを用いて物体認識を行い、画像データ中の認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎に出力する（ステップＳ２３）。また、重み付け部１２は、画像データを読み込み、第１の認識部１３及び第２の認識部１４の出力それぞれに対する重みを算出する（ステップＳ２４）。

次に、融合部１５は、第１の認識部１３が出力した認識対象物体のスコア情報と座標情報、並びに、第２の認識部１４が出力した認識対象物体のスコア情報と座標情報に、重み付け部１２が算出したそれぞれに対する重みを掛け合わせて加算し、それらの平均値を出力する（ステップＳ２５）。最後に、極大値選択部１９は、平均値に対してＮＭＳ処理を施し、認識対象物体の種類とその位置を物体認識結果として出力する（ステップＳ２６）。

［実施形態の効果］
本実施形態の物体認識装置による認識精度を従来手法による認識精度と比較した。従来手法としては、上記の既存モデルを、苦手対策モデルの学習用データでファインチューニングする方法（「従来手法１」とする）と、苦手対策モデルの学習用データを使用し、ＥＷＣ（Elastic Weight Consolidation）の手法により、重要なパラメータを更新せずに既存モデルを再学習する方法（「従来手法２」とする。）を用いた。既存モデルにより認識エラーを生じる物体を「苦手物体」と呼ぶことすると、従来手法１では、苦手物体の認識精度は上昇したが、苦手物体以外の認識精度が低下した。従来手法２でも、苦手物体の認識精度は上昇したが、従来手法１ほどではないものの、苦手物体以外の認識精度が低下した。一方、本実施形態の手法では、苦手物体の認識精度を上昇させるとともに、苦手物体外の認識精度の低下も従来手法１及び従来手法２よりも低く抑えることができた。

［変形例］
上記の第１実施形態に対しては、以下の変形例を適用することができる。
（変形例１）
既存モデルが認識エラーを生じる苦手物体が複数ある場合には、以下のいずれかの方法を用いることができる。第１の方法では、それら複数の苦手物体を高精度で認識できる１つの苦手対策モデルを生成し、第１実施形態と同様に、既存モデルと苦手対策モデルの２つのモデルを使用して物体認識を行う。一方、第２の方法では、苦手物体毎に苦手対策モデルを生成し、それらを既存モデルと並列に使用する。例えば、２つの苦手物体Ａ、Ｂがある場合、物体Ａ用の苦手対策モデルと、物体Ｂ用の苦手対策モデルを個別に生成し、それらと既存モデルとを含む３つのモデルを使用して物体認識を行う。

（変形例２）
上記の第１実施形態では、物体認識装置は画像に含まれる物体を検知するタスクを行っている。その代わりに、物体認識装置は画像全体が何かを分類するタスクを行うこととしてもよい。その場合、物体認識装置は、各認識部が出力するスコア情報のみを用いて学習を行えばよい。また、その場合の認識エラーは誤認識のみになり、苦手対策モデルは、既存モデルが誤認識した画像を学習する。

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。図１０は、第２実施形態に係る物体認識装置５０の機能構成を示すブロック図である。なお、物体認識装置５０は、図１に示すハードウェア構成により実現される。

物体認識装置５０は、第１の認識手段５１と、第２の認識手段５２と、重み付け手段５３と、融合手段５４と、を備える。第１の認識手段５１は、学習済みの第１の認識モデルを用いて、入力画像中の物体を認識する。第２の認識手段５２は、第１の認識モデルによる認識精度が低い物体を認識するように学習された第２の認識モデルを用いて、入力画像中の物体を認識する。重み付け手段５３は、入力画像に基づいて、第１の認識手段５１及び第２の認識手段５２に対する重みを算出する。融合手段５４は、重みを用いて、第１の認識手段５１の認識結果と、第２の認識手段５２の認識結果を融合する。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
学習済みの第１の認識モデルを用いて、入力画像中の物体を認識する第１の認識手段と、
前記第１の認識モデルによる認識精度が低い物体を認識するように学習された第２の認識モデルを用いて、前記入力画像中の物体を認識する第２の認識手段と、
前記入力画像に基づいて、前記第１の認識手段及び前記第２の認識手段に対する重みを算出する重み付け手段と、
前記重みを用いて、前記第１の認識手段の認識結果と、前記第２の認識手段の認識結果を融合する融合手段と、
を備える物体認識装置。

（付記２）
前記第２の認識モデルは、前記第１の認識モデルによる認識精度が他の物体よりも低い特定の物体を、前記第１の認識モデルよりも高い精度で認識するように学習されたモデルである付記１に記載の物体認識装置。

（付記３）
前記第２の認識モデルは、前記第１の認識モデルが認識エラーを生じた物体の画像を用いて学習されたモデルである付記１又は２に記載の物体認識装置。

（付記４）
前記第２の認識モデルは、前記第１の認識モデルが認識エラーを生じた物体の画像を用いて、前記第１の認識モデルを学習して生成されたモデルである付記１又は２に記載の物体認識装置。

（付記５）
前記第２の認識モデルは、前記第１の認識モデルが認識エラーを生じた物体について、前記第１の認識モデルを過学習させたモデルである付記１又は２に記載の物体認識装置。

（付記６）
前記第１の認識手段及び前記第２の認識手段は、前記入力画像に対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを前記認識結果として出力し、
前記重み付け手段は、前記入力画像の複数の部分領域毎に前記第１の認識手段及び前記第２の認識手段に対する重みを算出し、
前記融合手段は、前記重み付け手段が算出した重みで、前記第１の認識手段及び前記第２の認識手段が出力するスコアを前記部分領域毎に融合する付記１乃至５のいずれか一項に記載の物体認識装置。

（付記７）
前記融合手段は、前記第１の認識手段及び前記第２の認識手段が出力するスコアに、前記重み付け手段が算出したそれぞれの認識手段についての重みを乗じて加算した後、平均値を求める付記６に記載の物体認識装置。

（付記８）
学習済みの第１の認識モデルを用いて、入力画像中の物体を認識し、
前記第１の認識モデルによる認識精度が低い物体を認識するように学習された第２の認識モデルを用いて、前記入力画像中の物体を認識し、
前記入力画像に基づいて、前記第１の認識モデル及び前記第２の認識モデルに対する重みを算出し、
前記重みを用いて、前記第１の認識モデルの認識結果と、前記第２の認識モデルの認識結果を融合する物体認識方法。

（付記９）
学習済みの第１の認識モデルを用いて、入力画像中の物体を認識し、
前記第１の認識モデルによる認識精度が低い物体を認識するように学習された第２の認識モデルを用いて、前記入力画像中の物体を認識し、
前記入力画像に基づいて、前記第１の認識モデル及び前記第２の認識モデルに対する重みを算出し、
前記重みを用いて、前記第１の認識モデルの認識結果と、前記第２の認識モデルの認識結果を融合する処理をコンピュータに実行させるプログラムを記録した記録媒体。

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０、１０ｘ、１０ｙ、５０物体認識装置
１１画像入力部
１２重み付け部
１３第１の認識部
１４第２の認識部
１５融合部
１６パラメータ修正部
１７損失算出部
１８正解ラベル記憶部
１９極大値選択部
５１第１の認識手段
５２第２の認識手段
５３重み付け手段
５４融合手段

Claims

学習済みの第１の認識モデルを用いて、入力画像中の物体を認識する第１の認識手段と、
前記第１の認識モデルによる認識精度が低い物体を認識するように学習された第２の認識モデルを用いて、前記入力画像中の物体を認識する第２の認識手段と、
前記入力画像に基づいて、前記第１の認識手段及び前記第２の認識手段に対する重みを算出する重み付け手段と、
前記重みを用いて、前記第１の認識手段の認識結果と、前記第２の認識手段の認識結果を融合する融合手段と、
を備える物体認識装置。
前記第２の認識モデルは、前記第１の認識モデルによる認識精度が他の物体よりも低い特定の物体を、前記第１の認識モデルよりも高い精度で認識するように学習されたモデルである請求項１に記載の物体認識装置。
前記第２の認識モデルは、前記第１の認識モデルが認識エラーを生じた物体の画像を用いて学習されたモデルである請求項１又は２に記載の物体認識装置。
前記第２の認識モデルは、前記第１の認識モデルが認識エラーを生じた物体の画像を用いて、前記第１の認識モデルを学習して生成されたモデルである請求項１又は２に記載の物体認識装置。
前記第２の認識モデルは、前記第１の認識モデルが認識エラーを生じた物体について、前記第１の認識モデルを過学習させたモデルである請求項１又は２に記載の物体認識装置。
前記第１の認識手段及び前記第２の認識手段は、前記入力画像に対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを前記認識結果として出力し、
前記重み付け手段は、前記入力画像の複数の部分領域毎に前記第１の認識手段及び前記第２の認識手段に対する重みを算出し、
前記融合手段は、前記重み付け手段が算出した重みで、前記第１の認識手段及び前記第２の認識手段が出力するスコアを前記部分領域毎に融合する請求項１乃至５のいずれか一項に記載の物体認識装置。
前記融合手段は、前記第１の認識手段及び前記第２の認識手段が出力するスコアに、前記重み付け手段が算出したそれぞれの認識手段についての重みを乗じて加算した後、平均値を求める請求項６に記載の物体認識装置。
学習済みの第１の認識モデルを用いて、入力画像中の物体を認識し、
前記第１の認識モデルによる認識精度が低い物体を認識するように学習された第２の認識モデルを用いて、前記入力画像中の物体を認識し、
前記入力画像に基づいて、前記第１の認識モデル及び前記第２の認識モデルに対する重みを算出し、
前記重みを用いて、前記第１の認識手段の認識モデルと、前記第２の認識モデルの認識結果を融合する物体認識方法。
学習済みの第１の認識モデルを用いて、入力画像中の物体を認識し、
前記第１の認識モデルによる認識精度が低い物体を認識するように学習された第２の認識モデルを用いて、前記入力画像中の物体を認識し、
前記入力画像に基づいて、前記第１の認識モデル及び前記第２の認識モデルに対する重みを算出し、
前記重みを用いて、前記第１の認識手段の認識モデルと、前記第２の認識モデルの認識結果を融合する処理をコンピュータに実行させるプログラム。