JP6756406B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関し、特に物体認識の目的で背景を除去する画像処理装置、画像処理方法および画像処理プログラムに関する。

物体認識のタスクは、監視、バイオメトリクス等における多くの実用的用途を有する。これらのタスクの目的は、関心のある物体を含む一対の入力画像間の類似性のレベルを示すラベルまたはスコアを出力することである。ここでの物体として、人、乗り物、動物等が成り得る。計量学習は、類似性スコアを取得するための最も効果的な手法の１つである。この技術の目的は、入力画像間の距離を計算することである。最初に、入力画像を特徴空間に投影する。特徴空間は、学習可能な空間、または手動で生成可能な空間である。次に、類似の特徴と非類似の特徴とを与えられたマージンで効果的に分離することによって新しい特徴空間内の距離を計算できる測定基準または関数が学習される。

ただし、堅牢な物体認識のためには、最終的なスコアに対する背景の影響も考慮することが求められる。その理由は、制約のない環境では、背景が誤陽性結果または誤陰性結果を引き起こす可能性があるためである。例えば、対象物が非常に異なる場合、認識アルゴリズムは、背景が非常に類似しているという理由だけで依然として高い類似性スコアをもたらし得る。逆もまた真であり、類似した物体ではあるが背景が異なる場合、認識スコアはかなり低くなり得る。従って、この問題に取り組むことが求められている。

しかし、この問題への取り組みにおける進歩はあまりなく、解決すべき未解決の問題のままである。多くの方法は、結果として得られる画像が背景よりも多くの物体を含むように検出方法を改善することに焦点を合わせている。また、他の方法は、機能や測定基準の改善に集中している。しかし、背景の減算自体に関して体系的な努力はあまりなされていない。従って、認識作業における背景の影響に対処できる方法が求められている。

物体を認識する方法の１つは、複数の測定基準を組み合わせることである（特許文献１参照）。特許文献１には、複数の手動で生成された特徴を画像から抽出した後、Bhattacharya係数、コサイン類似度等のいくつかの類似度関数が使用されることが記載されている。最後にそれらを組み合わせるためにRankBoostアルゴリズムが使用される。この方法により高い精度が得られ、多くの測定基準の利点が共に組み合わせられる。

スケール推定のための別の方法は、三角グラフを使用することである（特許文献２参照）。特許文献２には、動的計画法を使用してエネルギー関数を最小化することによって三角グラフを物体（例えば人）の内側に適合する方法が記載されている。この方法は、人の形を記述する。この方法はまた、HSV色空間を使用して色情報も組み合わせることによって、方法の頑健性を高める。

特許文献３には、輝度伝達関数（BTF:Brightness Transfer Function）が記載されている。BTFは、あるカメラから別のカメラへ物体の外観をマッピングする関数である。各トレーニング画像から発見されたこれらのBTFマップは、単一モデル（WBTF）に重み付け結合され、予測に使用される。BTFマップは、照明の変動が大きな問題になる場合に適している。

非特許文献１には、局所最大発生表現（LOMO:Local Maximal Occurrence representation）と呼ばれる手動で生成された特徴が各画像に対して計算される。この方法では、射影行列が、二次判別分析技術と原理的に同様である計量関数と共に効率的に学習される。

非特許文献２に記載されている方法は、一対の画像間の類似性を端から端まで開示する。これは、特徴の生成、特徴の抽出、および計量学習のパイプライン全体が、ディープニューラルネットワークを学習することによって共にまとめられることを意味する。また、識別能力の改善に役立つ対照的な損失関数も提案されている。

米国特許出願公開第２００７／０２１１９３８号明細書 米国特許出願公開第２０１３／０３４３６４２号明細書 米国特許出願公開第２０１４／００９８２２１号明細書 特開２０１１−２５３３５４号公報 特表２０１３−５４１１１９号公報

S. Liao, Y. Hu, Xiangyu Zhu, and S. Z. Li, "Person re-identification by Local Maximal Occurrence representation and metric learning," 2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Boston, MA, 2015, pp. 2197-2206. S. Chopra, R. Hadsell, and Y. LeCun, "Learning a Similarity Metric Discriminatively, with Application to Face Verification," 2005 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Washington, DC, 2005, 539-546.

物体認識は、より記述的な空間で物体を表現する目的で入力画像から特徴を抽出することを含む。この空間、またはその部分空間において、計量関数または距離関数が学習される。この関数は、入力画像を比較するために使用され得る。しかしながら、特徴が抽出された後、入力画像だけではなく背景に属する特徴も得られる。これらの背景の特徴は、認識結果に不一致を引き起こす可能性がある。これらの特徴から学習される測定基準は、十分に堅牢ではない。よって、学習過程の早い段階でそのような特徴を除去できる技術が求められている。

特許文献１では、入力特徴から複数の測定基準が学習または計算される。次に、これらの測定基準は、測定基準それぞれを評価するランキング関数を使用して組み合わせられる。このランキング関数は、ブースティングアルゴリズムと同様の方法で学習される。この技術では、背景特徴の問題は、直接的には扱われていない。特許文献１では、計量関数のうち少なくとも１つは、前景特徴と背景特徴との違いを知るための十分な識別力があると想定されている。ただし、この技術は、アプリケーション、特徴等に依存し、直接操作されない。

特許文献２に記載されている方法は、三角グラフと色ヒストグラムを用いて物体形状をモデル化する。これにより、前景と背景を識別する性能が向上する。ただし、物体が非剛体である場合、形状を効果的にモデル化することは困難である。例えば、対象物が人間である場合、形状は任意であり、正方形、楕円形等の幾何学的形状ではない。従って、この方法は、そのような場合にはあまり適さない。

特許文献３では、あるカメラから他のカメラへ物体の外観をマッピングする関数が学習される。しかし、環境へのアクセスや制御ができない場合、この学習は必ずしも実現可能ではない。較正情報がなければ、射影行列を学ぶことは困難であり、それ故に写像関数を学ぶことも困難である。

非特許文献１に記載された方法は、手動で生成された特徴を要する。手動で生成された特徴は、特定の用途を念頭に置いて特別に設計された特徴である。このような特徴は、特定のアプリケーションでは非常に上手く機能するが、他のアプリケーション分野にも適するように一般化されていない。

特許文献４に記載されている装置は、奥行き情報を用いて不要な特徴を除去する。画像の奥行き情報を見つけるためには、ハードウェアまたはカメラの較正情報が求められる。

特許文献５に記載された方法は、不要な（背景）特徴を除去するために画素の分散を利用する。画素の分散が高い場合、その画素は、背景とみなされて除去される。また、画素の分散が低い場合、その画素は、前景とみなされる。この方法は、低分散の画素が必然的に前景であると仮定するため、照明が変動するシーンには適さない。

本発明の目的の１つは、物体認識タスクの類似性スコアまたは類似性ラベルに対する背景の影響を低減できる画像処理装置、画像処理方法および画像処理プログラムを提供することである。

本発明による画像処理装置は、調査画像内の関心領域のスケーリングされた各サンプルにおける特徴を取得する特徴抽出手段と、関心領域内の関心対象の物体のスコアまたはラベルに寄与する、スケーリングされたサンプル中の画素の確率を計算する顕著性生成手段と、計算された確率を使用して、物体のスコアまたはラベルを計算するために本質的ではない特徴をスケーリングされたサンプルから除去するドロップアウト処理手段とを備えることを特徴とする。

本発明による画像処理方法は、調査画像内の関心領域のスケーリングされた各サンプルにおける特徴を取得し、関心領域内の関心対象の物体のスコアまたはラベルに寄与する、スケーリングされたサンプル中の画素の確率を計算し、計算された確率を使用して、物体のスコアまたはラベルを計算するために本質的ではない特徴をスケーリングされたサンプルから除去することを特徴とする。

本発明による画像処理プログラムは、コンピュータに、調査画像内の関心領域のスケーリングされた各サンプルにおける特徴を取得する特徴取得処理、関心領域内の関心対象の物体のスコアまたはラベルに寄与する、スケーリングされたサンプル中の画素の確率を計算する計算処理、および計算された確率を使用して、物体のスコアまたはラベルを計算するために本質的ではない特徴をスケーリングされたサンプルから除去する除去処理を実行させることを特徴とする。

本発明によれば、物体認識タスクの類似性スコアまたは類似性ラベルに対する背景の影響を低減できる。

図１は、本発明の第１の実施形態の画像処理装置１００の構成例を示すブロック図である。 図２は、本発明の第１の実施形態の画像処理装置１００の動作の例を示すフローチャートである。 図３は、本発明の第１の実施形態の画像処理装置１００による推定処理を示すフローチャートである。 図４は、本発明の第１の実施形態の画像処理装置１００によるドロップアウト処理を示すフローチャートである。 図５は、本発明の第１の実施形態の画像処理装置１００による顕著性処理を示すフローチャートである。 図６は、本発明の第２の実施形態の画像処理装置１０の構成例を示すブロック図である。 図７は、本発明の実施形態の画像処理装置を実現可能なコンピュータ１０００のハードウェア構成例を示すブロック図である。

上記の技術的問題を解決するための全体的なアプローチを以下に要約する。物体認識の性能は、特に背景のシーンが複雑な場合、背景の特徴に影響を受ける。よって、背景の特徴を抑制することが求められる。画像内の関心のある物体の位置が与えられると、いくつかのスケーリングされたサンプルが生成される。これらのスケーリングされたサンプルから特徴が抽出される。物体検出器を使用して、顕著性マップは、入力画像に対する物体検出器の出力の逆伝播をとることによって生成される。顕著性マップを補助的に用いることによって、物体または背景に属する画素の確率が計算される。このドロップアウトの使用は、確率が背景である画素の特徴に属するニューロンを除去することによって実行される。次に、残りの特徴に対する特徴マッチングを使用してスコアが取得され、最も高いスコアを有する１つの対象画像が出力として選択される。

本発明は、これらの上述した問題を解決するように設計されている。上記の実体に加えて、本発明が克服できる他の明白かつ明らかな不利益は、詳細な明細書および図面から明らかにされるであろう。

＜実施形態１＞
以下、本発明の第１の実施形態について詳細に説明する。

図１は、本発明の第１の実施形態の画像処理装置１００の構成例を示すブロック図である。図１を参照すると、画像処理装置１００は、入力部１０１と、物体検出部１０２と、特徴抽出部１０３と、学習部１０４と、モデル記憶部１０５と、顕著性生成部１０６と、ドロップアウト処理部１０７と、特徴マッチング部１０８と、パラメータ更新部１０９と、出力部１１０と、トレーニングデータセット記憶部１１１とを含む。

入力部１０１は、追跡段階において、一連のフレーム、すなわち画像、例えばビデオのフレーム、静止画像等を受け取る。入力部１０１は、例えば学習段階において、または学習段階の前に、一連のフレーム、すなわちトレーニングフレームを受け取る。以下の説明では、複数のフレームを「複数の画像」、複数のフレーム内のフレームを「画像」とそれぞれ表記する場合がある。また、複数のトレーニングフレームを「複数のトレーニング画像」、複数のトレーニングフレーム内のトレーニングフレームを「トレーニング画像」とそれぞれ表記する。

物体検出部１０２は、フレーム内の関心領域、すなわち顔等の物体、またはいくつかの部分を含み得る他の物体のうちの１つを検出する。以下の説明において、物体検出部１０２は、枠内の人物を検出する。物体検出部１０２は、フレーム内の人の位置、すなわち左上および右下の境界ボックスのxy座標を提供する。以下の説明では、物体検出部１０２を「物体検出器」と表記することがある。

特徴抽出部１０３は、物体検出部１０２により提供された関心領域から特徴を抽出するために使用される。物体検出部１０２により提供された位置を使用して、特徴抽出部１０３は、スケーリングされたサンプルを生成する。次に、これらのサンプルは、同じ座標系に位置するように正規化される。座標は、フレーム内に予め設定されている座標系で定義されている。最後に、これらのサンプル画像から特徴が抽出される。これらの特徴として、サンプル画像からのエッジ、テクスチャ、色、時間的、空間的および／または他のより高いレベルの情報またはより低いレベルの情報の組み合わせがあり得る。

学習部１０４は、１つ以上の一連のトレーニングフレームでモデルを学習する。より具体的には、学習部１０４は、トレーニングフレームから抽出された特徴で、サンプルの顕著性マップを計算するために使用されることになるモデルを学習する。学習部１０４は、モデルのパラメータ学習の一部として、サンプルの特徴から平均ベクトルおよび共分散行列を計算してもよい。また、学習部１０４は、入力画像に対する物体検出器の出力の勾配を計算してもよい。

このモデルは、基本的に、スケーリングされたサンプルの特徴の分布を捉えている。より具体的には、このモデルは、物体検出器から出力された、画素が特定のラベルに属する可能性を捉えている。物体検出器は、与えられた入力画像が所望のラベルに適合するようにその出力スコアを最大にする。本実施形態ではその逆の処理が求められる。すなわち、生成が求められるラベルが与えられた場合、物体検出器は、画像が与えられたラベルに適合するようにその出力スコアを最大にする。モデル記憶部１０５は、推論目的で使用されるモデルのパラメータを記憶し、与えられた入力でモデルを評価するために用いられる。

顕著性生成部１０６は、モデル記憶部１０５に記憶されているモデルパラメータを用いて、ある画素が特定のラベルに属する確率を導出する。確率は、ランダム画像に対する物体検出器からの出力の勾配を求めることによって算出される。このランダム画像は、最終的にこの画像内の画素が確率を表すまで繰り返し更新される。この手順は、求められる顕著性マップを繰り返し提供する。

顕著性生成部１０６により生成された顕著性マップは、ドロップアウト処理部１０７に入力される。ドロップアウト処理部１０７において、サンプルの各特徴は、顕著性マップからのそれらの確率と直接関連付けられる。特徴の確率が低い場合、すなわち特徴が背景クラスに属する場合、特徴は除去されるか除外される。特徴がその物体に属する場合、その特徴は、確率を用いて再スケーリングされる。これにより、マッチングに使用される最終的な特徴が生成される。

特徴マッチング部１０８は、対象画像の特徴と調査画像の特徴とを比較することによって、スコアが最も高いサンプルを選択する。このスケールでの調査画像の特徴は、登録されている対象画像の特徴と適合する。対象画像それぞれについて、特徴マッチング部１０８によりスコアが生成される。モデルパラメータは、パラメータ更新部１０９により更新される。

以下の説明では、特徴抽出部１０３、顕著性生成部１０６、ドロップアウト処理部１０７、および特徴マッチング部１０８の集合を「推定処理部」と表記することがある。

出力部１１０は、最終対象画像またはIDを出力する。出力部１１０は、xy座標、およびマークが描画されたフレームである出力における物体の境界ボックスのスケール（幅、高さ）で表されるフレーム上の所定の位置に、IDを表す所定のマークを描画できる。

トレーニングデータセット記憶部１１１は、対象画像と調査画像との組と、それらが同一の物体であるか否かを示すラベルとを含む一連のトレーニングサンプルを１つ以上記憶する。なお、入力部１０１は、トレーニングデータセット記憶部１１１を実現するために用いられなくてもよい。

次に、第１の実施形態の画像処理装置１００の動作を、図面を参照して詳細に説明する。

図２は、本発明の第１の実施形態の画像処理装置１００の動作の例を示すフローチャートである。

本発明の第１の実施形態の画像処理装置１００の動作は、トレーニングフェーズと評価フェーズとに大別される。この段落では、図２を参照して本発明の概要を説明し、評価フェーズを説明する。物体の認識は、画像またはフレーム内の物体の検出により開始する。図２に示すように、システムへの入力（ステップS101）は、調査画像と呼ばれる物体の画像である。物体検出部１０２は、対象画像が存在するか否かを確認する（ステップS102）。対象画像は、ギャラリーの登録画像とも呼ばれる。対象画像が選択されていない場合（ステップS102におけるNO）、先に登録された画像がギャラリーから選択される（ステップS103）。物体検出部１０２は、一般的な物体検出器の特定の実施形態でもよい。そして、検出された物体と選択された対象画像とが推定処理部に提供される（ステップS104）。対象画像が存在する場合（ステップS102におけるYES）、そのままステップS104に進む。その後、推定処理部により出力スコアが生成される（ステップS105）。最終的に全ての対象画像が比較されれば、処理は終了する。

推定処理の詳細については、図３の図面と共に後述する。以下、推定処理部について簡単に説明する。推定処理部は、現在のフレームと対象画像から生成されたサンプルそれぞれにスコアを付け、最大スコアを有するサンプルを出力する。

次に、出力部１１０は、推定IDまたは推定ラベルおよびスコア、すなわち上記の最終出力を出力する（ステップS105）。画像処理装置１００の処理が終了していない場合（ステップS106におけるNO）、入力部１０１は、次のフレームを受け付ける（ステップS101）。入力装置（図示せず）を介した画像処理装置１００のユーザからの指示により画像処理装置１００の処理が終了した場合（ステップS106におけるYES）、または全ての対象画像が処理された場合、画像処理装置１００は、図２に示す処理を中止する。

次に、第１の実施形態の画像処理装置１００の推定処理フェーズにおける動作を、図面を参照して詳細に説明する。

図３は、第１の実施形態の画像処理装置１００の推定処理フェーズにおける動作の例を示すフローチャートである。

上述したように、推定処理用のモデルが学習されることが求められる。従って、対象画像が与えられ、スケーリングされた調査画像またはスケーリングされた問合せ画像であるサンプルがステップS201で生成される。これらのサンプルは、物体の位置で与えられた領域および物体検出器で提供されたスケールの周りに抽出される。次に、これらのサンプルから特徴が抽出される（ステップS202）。抽出された特徴は、HOG（Histogram of Oriented Gradients）、LBP（Local Binary Patterns）、正規化勾配、色ヒストグラム等の特徴を指す。ステップS203において、ドロップアウト処理が実行される。ドロップアウト処理は、後で図４を用いて詳細に説明する。次に、トレーニングフェーズである場合（ステップS204におけるYES）、ステップS203のマスクを使用して背景の特徴を除去することが求められていることを意味する（ステップS206）。マスクは、ステップS203におけるドロップアウト処理の出力である。背景の特徴の除去は、特徴抽出で生成された特徴マップとマスクとの要素ごとの乗算を使用して行われる（ステップS202）。特徴マップからの削減された特徴を用いて、特徴マッチングによりスコアが得られる（ステップS207）。最終的に、全てのスケールの中からスコアが最大のスケールが最終出力として選択される（ステップS208）。ステップS204でNOの場合、マスキング動作は不要であり、データを乱さずに送信する順方向パス（分類器順方向パス）が実行されるだけでよい（ステップS205）。この手順は、以下で詳しく説明する。

式（１）において、左辺はサンプルの平均または平均値である。これは、実際のドロップアウト手順の前に特徴を正規化するために使用されるパラメータの１つである。'x_i'は、i番目のサンプルの特徴のベクトルで、'N'はスケーリングされたサンプルの総数である。

式（２）において、'V'は特徴ベクトルの分散である。これら２つの方程式が使用されると、平均がゼロで分散が１になるように特徴が正規化される。正規化は、次の式を用いて行われる。

特徴が正規化された後、特徴はドロップアウト処理に渡される（ステップS203）。以下、ドロップアウト処理の手順を、図４を参照してより詳細に説明する。

図４は、本発明の第１の実施の形態の画像処理装置１００のドロップアウト処理ステップのフローチャートである。ドロップアウト処理の最初のステップは、顕著性処理である（ステップS301）。顕著性処理は、顕著性マップを生成するために使用され、後で図５を用いて詳細に説明される。顕著性マップは、画素の確率を得るために使用される。次に、ステップS302において、特徴マップが取得される。ステップS202ではただの特徴が抽出されたが、ステップS302では３次元マップを形成するように特徴のサイズが変更される。次に、ステップS303において、顕著性マップのエントリが各画素位置、すなわちx軸およびy軸において閾値と照合される。この閾値は予め選択されている。顕著性マップ内の確率が閾値'T'より大きい場合（ステップS303におけるYES）、対応する特徴は、以下の式（４）を使用してただ再正規化される（ステップS306）。

確率が閾値'T'以下である場合（ステップS303におけるNO）、対応する特徴は、ステップS304でゼロに設定されることによって除去される。次に、ステップS302と同様に、マップが３次元の代わりに元の次元に再整形されることによって、特徴マップが更新される（ステップS305）。

次に、ステップS307に従って、ステップS301で生成された顕著性マップがモデル記憶部１０５に記憶される。その後、画像処理装置１００が図４に示すドロップアウト処理を停止する。次に、図５を用いて顕著性処理ステップを説明する。

図５は、本発明の第１の実施形態の画像処理装置１００による顕著性処理を示すフローチャートである。図５を参照すると、ステップS401に示すように、スケーリングされたサンプルは入力として使用される。ステップS402において、顕著性マップは、平均がゼロ、および分散が１であるガウス分布が使用されてランダム値で初期化される。これを以下の式（５）に示す。

ここで、'P'は、初期化のためのランダムな値、'm'はガウス分布の平均、'S'は標準偏差、'd'は顕著性マップの次元である。初期化の後、ステップS403において分類子順方向パスが計算される。式（６）は、ランダムに初期化された顕著性マップである入力画像が与えられたときに、分類子順方向パス、すなわちクラスラベルを計算することを表す。

式（６）において、'L'は入力を画像'I'とする分類関数であり、また'c'は最大化の正則化に使用される定数である。

次のステップは、分類子逆方向パスであり（ステップS404）、このステップを使用して、入力された顕著性マップの画像に対して式（６）の勾配が得られる。このステップは、式（６）を最大化できるように顕著性マップの画像を更新すべき方向を提供する。ステップS404は、以下の式を用いて実行される。

式（７）において、'▽L'は、顕著性マップの画像に対する分類子関数の勾配であり、'a'はステップサイズを制御する定数である。この式において、'I'はステップS405で更新された顕著性マップである。次のステップS406では、１回の往路と１回の復路を経た後に発生する損失が計算される。損失が十分に小さければ（ステップS407におけるYES）、アルゴリズムは収束し、顕著性処理は中止され得る。未だ損失が十分に小さくない場合（ステップS407におけるNO）、ステップS403からのステップが再度実行される。顕著性マップの画像が有する損失が小さくなり、アルゴリズムが収束するまで、これらのステップが繰り返される。

上述したステップにより推定処理が完了した後、再度特徴が再正規化される。これで特徴マッチングステップが実行可能になる。マッチングは、交差カーネル、ガウスカーネル、多項式カーネル等のカーネル方法を使用して実行可能である。

式（８）は、対象画像'I'の特徴と調査画像'x'の特徴との間のマッチングスコア'r'を与える。ここで、'd'は特徴の次元の長さ、'j'は次元の指数である。最もスコアの低い対象画像が選択される。

本発明の目的の１つは、正確に物体を認識でき、かつ類似性スコアまたは距離スコアに対する背景の影響を低減できる画像処理装置を提供することである。

本実施形態の第１の効果は、物体を正確に推定でき、認識スコアに対する背景の影響を低減できることである。

本実施形態の他の効果を以下に説明する。本実施形態の利点は、特許文献１に記載されている多数の測定基準の組み合わせのように、この方法でもまだ複数の測定基準を使用できることである。この画像処理装置は、各測定基準の性能を向上させる処理である、背景の効果の削減のために使用可能である。

本実施形態の他の効果は、非特許文献１および特許文献２と異なり、モデルパラメータが手動で生成された特徴を必要としないことである。手動で生成された特徴は、技術の適用範囲を狭め一般化を妨げる。この画像処理装置は、背景の除去を必要とする任意の技術と共に利用可能である。

本実施形態の更なる効果は、特許文献３と異なり、射影行列を算出する必要がないため、カメラの較正情報が不要なことである。

本実施形態の他の効果は、非特許文献２と同様に学習が端から端まで行われ、入力画像の組が与えられた場合に直接類似性スコアを出力することである。しかしながら、非特許文献２と異なり、この画像処理装置用の距離関数は、ユークリッド距離に限定されない。

また、潜在的サポートベクターマシンのような重い最適化技術は必要とされず、従ってリアルタイム操作も可能である。さらに、剛体の形状および非剛体の形状も認識可能である。さらに、形状、姿勢、および部品における変更の見本は必要とされない。

特許文献４に記載された装置および特許文献５に記載された方法は決定論的であり、確率的ではない。しかしながら、本実施形態は確率的方法であり、顕著性生成部１０６が提供する確率マップを必要とする。また、本実施形態は、ハードウェアや較正情報を必要とせず、特許文献５で想定されていない。

＜実施形態２＞
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。

図６は、本発明の第２の実施形態の画像処理装置１０の構成例を示すブロック図である。図６を参照すると、画像処理装置１０は、調査画像内の関心領域のスケーリングされた各サンプルにおける特徴を取得する特徴抽出部１１（例えば、特徴抽出部１０３）と、関心領域内の関心対象の物体のスコアまたはラベルに寄与する、スケーリングされたサンプル中の画素の確率を計算する顕著性生成部１２（例えば、顕著性生成部１０６）と、計算された確率を使用して、物体のスコアまたはラベルを計算するために本質的ではない特徴をスケーリングされたサンプルから除去するドロップアウト処理部１３（例えばドロップアウト処理部１０７）とを含む。

この構成により、画像処理装置は、背景が物体認識タスクの類似性スコアまたは類似性ラベルに与える影響を低減できる。

第２の実施形態は、第１の実施形態の第１の効果と同様の効果を奏する。第１の実施形態の第１の効果と同様の効果が得られる理由は、基本原理が両実施形態で同じであるためである。

画像処理装置１０は、与えられた対象画像と調査画像のスケーリングされたサンプルとの類似度を取得し、類似度が最大であるスケーリングされたサンプルを最終出力として選択する特徴マッチング部（例えば、特徴マッチング部１０８）を含んでもよい。

この構成により、画像処理装置は、スケーリングされたサンプルを最大の類似度と共に出力できる。

ドロップアウト処理部１３は、計算された確率を使用して、物体のスコアまたはラベルを計算するために本質的ではない特徴を除去するためのマスクを生成し、生成されたマスクを用いてスケーリングされたサンプルから特徴を除去してもよい。

ここでは、背景の画素に属するニューロンが計算され、そのような画素に属する特徴に対する閾値になり得るマスクが生成される。

この構成により、画像処理装置は、生成されたマスクを用いて、スケーリングされたサンプルから特徴を除去できる。

画像処理装置１０は、対象画像と調査画像の組を含む１つ以上の一連のトレーニングサンプルと、各画像が示す物体が同一の物体であるか否かを示すラベルとによってモデルパラメータを学習する学習部（例えば、学習部１０４）を含んでもよい。

この構成により、画像処理装置は、対象画像と調査画像との関係を学習できる。

また、画像処理装置１０は、顕著性マップにおける確率が低い画素の特徴を除去するために、ドロップアウト処理部１３により生成されたマスクを適用することによって特徴マップを更新する特徴マップ更新部（例えば、ドロップアウト処理部１０７）を含んでもよい。

この構成により、画像処理装置は、マスクを用いて特徴マップを更新できる。

画像処理装置１０は、ドロップアウト処理部１３により特徴を除去した後、残りの特徴を再度正規化する特徴正規化部（例えば、ドロップアウト処理部１０７）を含んでもよい。

この構成により、画像処理装置は、カーネル法を用いて特徴マッチングステップを実行できる。

画像処理装置１００および画像処理装置１０それぞれは、コンピュータ、コンピュータを制御するプログラム、専用のハードウェア、またはコンピュータとコンピュータを制御するプログラムと専用のハードウェアとのセットを用いて実現可能である。

図７は、上述した画像処理装置１００および画像処理装置１０を実現可能なコンピュータ１０００のハードウェア構成例を示すブロック図である。図７を参照すると、コンピュータ１０００は、バス１００５を介して通信可能に接続されたプロセッサ１００１、メモリ１００２、記憶装置１００３およびインタフェース１００４を含む。コンピュータ１０００は、記憶媒体２０００にアクセスできる。メモリ１００２および記憶装置１００３それぞれは、RAM（Random Access Memory）、ハードディスクドライブ等の記憶装置でもよい。記憶媒体２０００は、RAM、ハードディスクドライブ等の記憶装置、ROM（Read Only Memory）、または可搬型の記憶媒体でもよい。記憶装置１００３は、記憶媒体２０００として機能してもよい。プロセッサ１００１は、メモリ１００２および記憶装置１００３からデータおよびプログラムを読み取り、メモリ１００２および記憶装置１００３にデータおよびプログラムを書き込むことができる。プロセッサ１００１は、インタフェース１００４等を介して、プロセッサ１００１にフレームを提供するサーバ（図示せず）、および最終的な出力形状を出力する端末（図示せず）等と通信できる。プロセッサ１００１は、記憶媒体２０００にアクセスできる。記憶媒体２０００は、コンピュータ１０００を画像処理装置１００または画像処理装置１０として動作させるためのプログラムを格納する。

プロセッサ１００１は、記憶媒体２０００に格納された、コンピュータ１０００を画像処理装置１００または画像処理装置１０として動作させるためのプログラムをメモリ１００２にロードする。プロセッサ１００１は、メモリ１００２にロードされたプログラムを実行することによって、画像処理装置１００または画像処理装置１０として動作する。

入力部１０１、物体検出部１０２、特徴抽出部１０３、学習部１０４、顕著性生成部１０６、特徴マッチング部１０８、ドロップアウト処理部１０７、および出力部１１０は、記憶媒体２０００からメモリ１００２にロードされ、上述した各部の機能を実現できる専用のプログラムによって実現可能である。プロセッサ１００１が、専用のプログラムを実行する。モデル記憶部１０５、パラメータ更新部１０９、およびトレーニングデータセット記憶部１１１は、メモリ１００２および／またはハードディスク装置等の記憶装置１００３によって実現可能である。入力部１０１、物体検出部１０２、特徴抽出部１０３、学習部１０４、モデル記憶部１０５、顕著性生成部１０６、ドロップアウト処理部１０７、特徴マッチング部１０８、パラメータ更新部１０９、出力部１１０、およびトレーニングデータセット記憶部１１１は、上述した各部の機能を実現する専用の回路によって実現可能である。

最後のポイントとして、ここに記載され図示されたプロセス、技術および方法論が限定されないこと、またはいかなる特定の装置にも関連しないことは明らかであり、コンポーネントの組み合わせを使用して実装可能である。また、本明細書の指示に従って、様々な種類の汎用装置が使用されてもよい。本発明はまた、特定の実施例の組を用いて説明された。しかしながら、これらは例示的なものにすぎず、限定的なものではない。例えば、説明されたソフトウェアは、C、C++、Java（登録商標）、Python、およびPerl等のような多種多様な言語で実装されてもよい。さらに、本発明の技術の他の実装は、当業者に明らかであろう。

本発明をその例示的な実施形態を参照して特に示し説明したが、本発明はこれらの実施形態に限定されない。特許請求の範囲によって定義される本発明の精神および範囲から逸脱することなく、形態および詳細における様々な変更がなされてもよいことは、当業者に理解されるであろう。

上記の実施形態の一部または全部は、以下の付記のように記載可能であるが、以下の付記には限定されない。

（付記１）調査画像内の関心領域のスケーリングされた各サンプルにおける特徴を取得し、前記関心領域内の関心対象の物体のスコアまたはラベルに寄与する、スケーリングされたサンプル中の画素の確率を計算し、計算された確率を使用して、前記物体のスコアまたはラベルを計算するために本質的ではない特徴を前記スケーリングされたサンプルから除去することを特徴とする画像処理方法。

（付記２）物体のラベルまたはスコアを計算するために本質的ではない特徴を除去するためのマスクを生成し、確率が低い顕著性マップにおける画素の特徴を除去するためにマスクを適用する付記１記載の画像処理方法。ここでは、背景画素に属するニューロンが計算され、そのような画素に属する特徴に対する閾値になり得るマスクが生成される。

（付記３）対象画像と調査画像の組を含む１つ以上の一連のトレーニングサンプルと、各画像が示す物体が同一の物体であるか否かを示すラベルとによってモデルパラメータを学習する付記１または付記２記載の画像処理方法。

（付記４）与えられた関心領域から画像のスケーリングされたサンプルを取得する付記１から付記３のうちのいずれかに記載の画像処理方法。

（付記５）特徴を除去した後、残りの特徴を再度正規化する付記１から付記４のうちのいずれかに記載の画像処理方法。

（付記６）コンピュータで実行されるときに、調査画像内の関心領域のスケーリングされた各サンプルにおける特徴を取得し、前記関心領域内の関心対象の物体のスコアまたはラベルに寄与する、スケーリングされたサンプル中の画素の確率を計算し、計算された確率を使用して、前記物体のスコアまたはラベルを計算するために本質的ではない特徴を前記スケーリングされたサンプルから除去する画像処理プログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体。

（付記７）コンピュータで実行されるときに、物体のラベルまたはスコアを計算するために本質的ではない特徴を除去するためのマスクを生成し、確率が低い顕著性マップにおける画素の特徴を除去するためにマスクを適用する付記６記載の記録媒体。ここでは、背景画素に属するニューロンが計算され、そのような画素に属する特徴に対する閾値になり得るマスクが生成される。

（付記８）コンピュータで実行されるときに、対象画像と調査画像の組を含む１つ以上の一連のトレーニングサンプルと、各画像が示す物体が同一の物体であるか否かを示すラベルとによってモデルパラメータを学習する付記６または付記７記載の記録媒体。

（付記９）コンピュータで実行されるときに、与えられた関心領域から画像のスケーリングされたサンプルを取得する付記６から付記８のうちのいずれかに記載の記録媒体。

（付記１０）コンピュータで実行されるときに、特徴を除去した後、残りの特徴を再度正規化する付記６から付記９のうちのいずれかに記載の記録媒体。

１０、１００ 画像処理装置
１１、１０３ 特徴抽出部
１２、１０６ 顕著性生成部
１３、１０７ ドロップアウト処理部
１０１ 入力部
１０２ 物体検出部
１０４ 学習部
１０５ モデル記憶部
１０８ 特徴マッチング部
１０９ パラメータ更新部
１１０ 出力部
１１１ トレーニングデータセット記憶部
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ インタフェース
１００５ バス
２０００ 記憶媒体

Claims (10)

1. 調査画像内の関心領域のスケーリングされた各サンプルにおける特徴を取得する特徴抽出手段と、
   前記関心領域内の関心対象の物体のスコアまたはラベルに寄与する、スケーリングされたサンプル中の画素の確率を計算する顕著性生成手段と、
   計算された確率を使用して、前記物体のスコアまたはラベルを計算するために本質的ではない特徴を前記スケーリングされたサンプルから除去するドロップアウト処理手段と
   を備えることを特徴とする画像処理装置。
2. 与えられた対象画像と調査画像のスケーリングされたサンプルとの類似度を取得し、前記類似度が最大であるスケーリングされたサンプルを最終出力として選択する特徴マッチング手段を備える
   請求項１記載の画像処理装置。
3. ドロップアウト処理手段は、
   計算された確率を使用して、物体のスコアまたはラベルを計算するために本質的ではない特徴を除去するためのマスクを生成し、
   生成されたマスクを用いてスケーリングされたサンプルから前記特徴を除去する
   請求項１または請求項２記載の画像処理装置。
4. 対象画像と調査画像の組を含む１つ以上の一連のトレーニングサンプルと、各画像が示す物体が同一の物体であるか否かを示すラベルとによってモデルパラメータを学習する学習手段を備える
   請求項２記載の画像処理装置。
5. 顕著性マップにおける確率が低い画素の特徴を除去するために、ドロップアウト処理手段により生成されたマスクを適用することによって特徴マップを更新する特徴マップ更新手段を備える
   請求項３記載の画像処理装置。
6. ドロップアウト処理手段により特徴を除去した後、残りの特徴を再度正規化する特徴正規化手段を備える
   請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
7. 調査画像内の関心領域のスケーリングされた各サンプルにおける特徴を取得し、
   前記関心領域内の関心対象の物体のスコアまたはラベルに寄与する、スケーリングされたサンプル中の画素の確率を計算し、
   計算された確率を使用して、前記物体のスコアまたはラベルを計算するために本質的ではない特徴を前記スケーリングされたサンプルから除去する
   ことを特徴とする画像処理方法。
8. 与えられた対象画像と調査画像のスケーリングされたサンプルとの類似度を取得し、
   前記類似度が最大であるスケーリングされたサンプルを最終出力として選択する
   請求項７記載の画像処理方法。
9. コンピュータに、
   調査画像内の関心領域のスケーリングされた各サンプルにおける特徴を取得する特徴取得処理、
   前記関心領域内の関心対象の物体のスコアまたはラベルに寄与する、スケーリングされたサンプル中の画素の確率を計算する計算処理、および
   計算された確率を使用して、前記物体のスコアまたはラベルを計算するために本質的ではない特徴を前記スケーリングされたサンプルから除去する除去処理
   を実行させるための画像処理プログラム。
10. コンピュータに、
    与えられた対象画像と調査画像のスケーリングされたサンプルとの類似度を取得する類似度取得処理、および
    前記類似度が最大であるスケーリングされたサンプルを最終出力として選択する選択処理を実行させる
    請求項９記載の画像処理プログラム。

Images