JP7156511B2 - 物体検出装置、物体検出システム、物体検出方法及びプログラム - Google Patents

Description

本発明は、物体検出装置、物体検出システム、物体検出方法及びプログラムに関する。

画像を用いた物体検出において、複数の入力画像を用いる手法が用いられることがある。例えば、１つの入力画像（例えば可視光画像）のみを用いるよりも、別のモーダル(例えば赤外光画像)を併用する方が、撮影環境の変化によらないで、精度良く物体検出を行うことができる（例えば非特許文献１）。すなわち、物体検出において、例えば可視光の画像だけを用いると、夜間など照明条件が良くない場合には物体検出が困難になる。そこで、可視光に赤外光（遠赤外線）や距離画像など他のモーダルを組み合わせたマルチモーダルの画像を用いて物体検出を行うことで、より多様な状況で物体検出の性能（精度）を維持又は向上させることができる。

Jingjing Liu, Shaoting Zhang, Shu Wang and Dimitris Metaxas. "Multispectral Deep Neural Networks for Pedestrian Detection" Proceedings of the British Machine Vision Conference, 2016

複数のモーダルによって複数の入力画像を撮影する場合において、異なる複数のカメラ（例えば可視光カメラと赤外光カメラ等）を用いて複数の入力画像を撮影するときは、カメラの位置（光軸）が異なることによる視差が発生し得る。また、１つのカメラによって複数の異なる時間それぞれで入力画像を撮影するときは、時間変化によって検出対象物又はカメラが移動する可能性がある。したがって、複数のモーダルによって複数の入力画像を撮影する場合、検出対象物の画像における位置が互いに対応しない、つまり位置ずれが発生する可能性がある。ここで、上記の非特許文献１にかかる技術では、複数の入力画像を特殊な機器により機械的に位置合わせすることによって、複数の入力画像における検出対象物の位置ずれの問題を回避している。しかしながら、このように、機械的に位置合わせする方法では、機器の調整不良等によって誤差が生じやすく、したがって精度よく物体検出を行うことができないおそれがある。

本開示の目的は、このような課題を解決するためになされたものであり、精度よく物体検出を行うことが可能な物体検出装置、物体検出システム、物体検出方法及びプログラムを提供することにある。

本開示にかかる物体検出装置は、特定の検出対象が異なる複数のモーダルによって撮影された複数の入力画像を取得する入力画像取得手段と、前記複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得する摂動画像取得手段と、前記複数の摂動画像それぞれと、前記複数の入力画像のうち摂動させなかった前記入力画像とを用いて前記入力画像に含まれる前記検出対象を検出して、前記複数の摂動画像それぞれについて、検出結果として前記検出対象の検出位置及び検出の確信度を取得する検出処理手段と、前記複数の摂動画像について取得された前記検出位置及び前記確信度に基づいて、前記摂動させなかった前記入力画像と前記摂動画像とで前記検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように調整するためのパラメータを用いて、前記複数の摂動画像それぞれについて調整された確信度を算出する調整手段と、前記調整された前記確信度に基づいた前記検出対象の検出結果を出力する出力手段とを有する。

また、本開示にかかる物体検出システムは、少なくとも１つの撮像装置と、物体検出装置とを有し、物体検出装置は、撮像装置によって撮影され特定の検出対象が異なる複数のモーダルによって撮影された複数の入力画像を取得する入力画像取得手段と、前記複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得する摂動画像取得手段と、前記複数の摂動画像それぞれと、前記複数の入力画像のうち摂動させなかった前記入力画像とを用いて前記入力画像に含まれる前記検出対象を検出して、前記複数の摂動画像それぞれについて、検出結果として前記検出対象の検出位置及び検出の確信度を取得する検出処理手段と、前記複数の摂動画像について取得された前記検出位置及び前記確信度に基づいて、前記摂動させなかった前記入力画像と前記摂動画像とで前記検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように調整するためのパラメータを用いて、前記複数の摂動画像それぞれについて調整された確信度を算出する調整手段と、前記調整された前記確信度に基づいた前記検出対象の検出結果を出力する出力手段とを有する。

また、本開示にかかる物体検出方法は、特定の検出対象が異なる複数のモーダルによって撮影された複数の入力画像を取得し、前記複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得し、前記複数の摂動画像それぞれと、前記複数の入力画像のうち摂動させなかった前記入力画像とを用いて前記入力画像に含まれる前記検出対象を検出して、前記複数の摂動画像それぞれについて、検出結果として前記検出対象の検出位置及び検出の確信度を取得し、前記複数の摂動画像について取得された前記検出位置及び前記確信度に基づいて、前記摂動させなかった前記入力画像と前記摂動画像とで前記検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように調整するためのパラメータを用いて、前記複数の摂動画像それぞれについて調整された確信度を算出し、前記調整された前記確信度に基づいた前記検出対象の検出結果を出力する。

また、本開示にかかるプログラムは、特定の検出対象が異なる複数のモーダルによって撮影された複数の入力画像を取得するステップと、前記複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得するステップと、前記複数の摂動画像それぞれと、前記複数の入力画像のうち摂動させなかった前記入力画像とを用いて前記入力画像に含まれる前記検出対象を検出して、前記複数の摂動画像それぞれについて、検出結果として前記検出対象の検出位置及び検出の確信度を取得するステップと、前記複数の摂動画像について取得された前記検出位置及び前記確信度に基づいて、前記摂動させなかった前記入力画像と前記摂動画像とで前記検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように調整するためのパラメータを用いて、前記複数の摂動画像それぞれについて調整された確信度を算出するステップと、前記調整された前記確信度に基づいた前記検出対象の検出結果を出力するステップとをコンピュータに実行させる。

本開示によれば、精度よく物体検出を行うことが可能な物体検出装置、物体検出システム、物体検出方法及びプログラムを提供できる。

本開示の実施の形態にかかる物体検出装置の概要を示す図である。 実施の形態１にかかる物体検出システムの構成を示す図である。 実施の形態１にかかる物体検出装置の構成を示す機能ブロック図である。 実施の形態１にかかる物体検出装置によって行われる、運用段階に関する物体検出方法を示すフローチャートである。 実施の形態１にかかる運用段階において摂動画像取得部によって生成される複数の摂動画像を例示する図である。 実施の形態１にかかる運用段階において検出処理部によって行われる検出処理を説明するための図である。 実施の形態１にかかる検出結果統合部の処理結果を説明するための図である。 実施の形態１にかかる物体検出装置によって行われる、学習段階に関する物体検出方法を示すフローチャートである。 実施の形態１にかかる学習段階において摂動画像取得部によって生成される摂動学習用画像を例示する図である。 実施の形態１にかかる学習段階において検出処理部によって行われる検出処理を説明するための図である。 実施の形態１にかかる、摂動学習用画像の摂動量と検出結果との関係を例示する図である。 実施の形態１において、確信度を累積するときに、累積される確信度に対応する検出座標を、摂動の影響を考慮して補正することを説明する図である。 実施の形態１にかかるパラメータ算出部の処理を説明するための図である。 実施の形態１にかかる検出結果統合部の処理を説明するための図である。

（本開示にかかる実施の形態の概要）
本開示の実施形態の説明に先立って、本開示にかかる実施の形態の概要について説明する。図１は、本開示の実施の形態にかかる物体検出装置１の概要を示す図である。物体検出装置１は、例えば、コンピュータである。

物体検出装置１は、入力画像取得部２と、摂動画像取得部４と、検出処理部６と、調整部８と、出力部１０とを有する。入力画像取得部２、摂動画像取得部４、検出処理部６、調整部８及び出力部１０は、それぞれ、入力画像取得手段、摂動画像取得手段、検出処理手段、調整手段及び出力手段として機能する。

入力画像取得部２は、特定の検出対象が異なる複数のモーダルによって撮影された複数の入力画像を取得する。ここで、複数のモーダルにより撮影された複数の入力画像では、撮影位置及び撮影時間の少なくとも一方が互いにずれている。摂動画像取得部４は、複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得する。検出処理部６は、複数の摂動画像それぞれと、複数の入力画像のうち摂動させなかった入力画像とを用いて入力画像に含まれる検出対象を検出して、複数の摂動画像それぞれについて、検出結果として検出対象の検出位置及び検出の確信度を取得する。調整部８は、複数の摂動画像について取得された検出位置及び確信度に基づいて、統合パラメータを用いて、摂動画像それぞれについて調整された確信度を算出する。ここで、統合パラメータは、摂動させなかった入力画像と摂動画像とで検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように調整するためのパラメータである。出力部１０は、調整された確信度に基づいた検出対象の検出結果を出力する。

上述した非特許文献１では、入力画像として可視光画像（color image）及び赤外光画像（thermal image）の組を用いて物体検出を行う。ここで、上述したように、非特許文献１では、特殊な機器（分光フィルタ等）によって位置合わせがなされていることが前提となっている。このように、複数の入力画像における検出対象の位置が互いに対応している場合、画像毎の情報（特徴）を局所的に融合することにより、精度のよい物体検出を行うことができる。しかしながら、何らかの理由により位置合わせがなされていないと、情報の融合が正しく行われないおそれがある。この場合、精度良く物体検出を行うことができない。つまり、視差等により複数の入力画像における物体の位置がずれている場合、検出対象クラスの確信度及び検出位置（矩形位置）の精度が悪化するおそれがある。

一方、本実施の形態にかかる物体検出装置１は、位置合わせがなされていることを前提としない複数の入力画像（複数のモーダルの画像）のうちの少なくとも１つを摂動させた複数の摂動画像を取得するように構成されている。そして、本実施の形態にかかる物体検出装置１は、統合パラメータを用いて摂動画像それぞれについて調整された確信度を算出し、調整された確信度に基づいた検出対象の検出結果を出力するように構成されている。これにより、異なる複数のモーダルにより撮影された複数の入力画像に対して特殊な機器により機械的に位置合わせしなくても、精度よく物体検出を行うことが可能となる。また、特殊な機器を用いなければ位置合わせの誤差は常に生じ得るが、上述した本開示の構成により、位置合わせの誤差の物体検出の精度への影響を抑制することができる。したがって、本実施の形態にかかる物体検出装置１は、異なる複数のモーダルにより撮影された複数の入力画像を用いて精度よく物体検出を行うことができる。

なお、物体検出装置１によって実行される物体検出方法を用いても、異なる複数のモーダルにより撮影された複数の入力画像を用いて精度よく物体検出を行うことができる。また、物体検出方法を実行するプログラムを用いても、異なる複数のモーダルにより撮影された複数の入力画像を用いて精度よく物体検出を行うことができる。さらに、物体検出装置１と少なくとも１つの撮像装置（カメラ）を用いた物体検出システムを用いても、異なる複数のモーダルにより撮影された複数の入力画像を用いて精度よく物体検出を行うことができる。

（実施の形態１）
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

図２は、実施の形態１にかかる物体検出システム２０の構成を示す図である。実施の形態１にかかる物体検出システム２０は、カメラ３０Ａ（カメラＡ）と、カメラ３０Ｂ（カメラＢ）と、物体検出装置１００とを有する。なお、以降、カメラ３０Ａ，３０Ｂを区別しないで説明する場合に、カメラ３０と称することがある。カメラ３０は、特定の検出対象である物体を撮影する撮像装置である。カメラ３０は、物体検出装置１００に入力される入力画像を撮影（生成）する。

なお、物体検出システム２０には、３つ以上のカメラ３０が設けられてもよい。あるいは、物体検出システム２０には、１つのカメラ３０のみが設けられていてもよい。つまり、物体検出システム２０は、少なくとも１つの撮像装置（カメラ３０）を有する。以下の実施の形態では、カメラ３０は、検出対象として人間を撮影するとするが、検出対象は、人間に限られず、任意である。さらに、検出対象は１つとは限られない。カメラ３０Ａ及びカメラ３０Ｂは、互いに異なるモーダルによって、物体を撮影する。物体検出装置１００は、異なる複数のモーダルにより撮影された入力画像の組に対する画像処理を行うコンピュータである。

ここで、複数のモーダルにより撮影された入力画像の組とは、特定の検出対象が異なる複数のモーダルによって撮影された画像の組である。ここで、本明細書における「モーダル」とは、画像の様式であり、例えば、可視光や遠赤外光等による撮影装置の撮影モードを示す。そのため、あるモーダルにより撮影された画像は、ある撮影モードにより撮影された撮影画像のデータを示す。また、複数のモーダルにより撮影された画像の組は、マルチモーダル画像と呼ぶこともでき、また、以降、「複数のモーダルの画像」又は、単に「複数の画像」と呼ぶ場合もある。なお、検出対象とは、撮影画像内に映る物体であり、画像認識により検出すべき対象物である。但し、検出対象には、物体そのものに限らず、物体の劣化又は異常といった状態等の非物体を含めてもよい。ここで、複数のモーダルの画像のそれぞれは、複数のモーダルのそれぞれに対応する複数のカメラにより同時刻又は数ミリ秒以内の差で撮影されたものであってもよい。

例えば、カメラ３０Ａは、可視光カメラであり、可視光画像である入力画像Ａを撮影（生成）する。また、例えば、カメラ３０Ｂは、遠赤外線を検知する赤外光カメラであり、赤外光画像である入力画像Ｂを撮影（生成）する。そして、カメラ３０Ａとカメラ３０Ｂとで設置位置が異なることから、カメラ３０Ａの光軸とカメラ３０Ｂの光軸とが、互いに異なるとする。これにより、入力画像Ａと入力画像Ｂとで、位置ずれが発生し得る。また、カメラ３０Ａ及びカメラ３０Ｂは、互いに同じようにパン、チルト及びズームを行ってもよい。なお、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味し得る。また、画像は、静止画像であってもよいし、動画像であってもよい。

なお、「複数のモーダルの画像（入力画像）」は、のそれぞれは、同一のカメラにより近い時刻に撮影された画像であってもよい。その場合、当該カメラは、所定間隔で複数のモーダルを切り替えて撮影するものとする。例えば、入力画像Ａの画像を可視画像とした場合、入力画像Ｂの画像を、同一カメラで撮影した、撮影時刻が僅かにずれた画像としてもよい。この場合、複数のモーダルの画像は、同一のカメラにより撮影された、前後に隣接するフレームの画像同士、又は、前後で数フレーム離れた画像同士であってもよい。ここで、カメラが車両等の移動体に搭載されて、車外を撮影するものである場合、隣接するフレームの撮影画像同士であっても位置ずれが無視できない。また、固定された位置に設置された同一のカメラで同一の対象を連続して撮影したとしても、対象が移動することによって、対象の位置がずれる可能性がある。したがって、同一のカメラで異なるモーダルにより撮影された複数のモーダルの画像の間でも同一の対象の表示位置について位置ずれが生じることとなる。

物体検出装置１００は、例えばコンピュータである。物体検出装置１００は、カメラ３０と有線又は無線を介して通信可能に接続されている。物体検出装置１００は、入力画像の組を取得する。物体検出装置１００は、この入力画像の組を用いて、物体検出を行う。物体検出装置１００は、複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得する。物体検出装置１００は、複数の摂動画像それぞれと、複数の入力画像のうち摂動させなかった入力画像とを用いて入力画像に含まれる物体を検出して、複数の摂動画像それぞれについて、物体の検出位置及び検出の確信度を取得する。物体検出装置１００は、複数の摂動画像について取得された検出位置及び確信度に基づいて、検出結果に対する摂動の影響を補正するパラメータを用いて、摂動画像それぞれについて調整された確信度を算出する。物体検出装置１００は、調整された確信度に基づいて複数の摂動画像による検出結果を絞り込んで適切な検出結果を決定する。物体検出装置１００は、決定された検出結果を出力する。

物体検出装置１００は、主要なハードウェア構成として、ＣＰＵ１０２（Central Processing Unit）と、ＲＯＭ１０４（Read Only Memory）と、ＲＡＭ１０６（Random Access Memory）と、インタフェース部１０８（ＩＦ；Interface）とを有する。ＣＰＵ１０２、ＲＯＭ１０４、ＲＡＭ１０６及びインタフェース部１０８は、データバスなどを介して相互に接続されている。

ＣＰＵ１０２は、制御処理及び演算処理等を行う演算装置としての機能を有する。ＲＯＭ１０４は、ＣＰＵ１０２によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。ＲＡＭ１０６は、処理データ等を一時的に記憶するための機能を有する。インタフェース部１０８は、有線又は無線を介して外部と信号の入出力を行う。また、インタフェース部１０８は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を表示する。例えば、インタフェース部１０８は、カメラ３０と通信を行う。また、インタフェース部１０８は、検出結果を表示する。

図３は、実施の形態１にかかる物体検出装置１００の構成を示す機能ブロック図である。物体検出装置１００は、入力画像取得部１１０、摂動画像取得部１１２、検出処理部１１４、検出モデル格納部１１６、検出結果統合部１２０、パラメータ格納部１３０、及び検出結果出力部１４０を有する。また、物体検出装置１００は、学習データ格納部１５０、摂動画像取得部１５２、検出処理部１５４、及びパラメータ算出部１６０を有する。入力画像取得部１１０は、入力画像取得部１１０Ａと、入力画像取得部１１０Ｂとを有する。検出結果統合部１２０は、スコア調整部１２２と検出結果決定部１２４とを有する。

入力画像取得部１１０、摂動画像取得部１１２、検出処理部１１４、検出モデル格納部１１６は、それぞれ、入力画像取得手段、摂動画像取得手段、検出処理手段、検出モデル格納手段として機能する。また、検出結果統合部１２０、パラメータ格納部１３０、及び検出結果出力部１４０は、それぞれ、検出結果統合手段、パラメータ格納手段、及び検出結果出力手段として機能する。また、学習データ格納部１５０、摂動画像取得部１５２、検出処理部１５４、及びパラメータ算出部１６０は、それぞれ、学習データ格納手段、摂動画像取得手段、検出処理手段、及びパラメータ算出手段として機能する。また、スコア調整部１２２及び検出結果決定部１２４は、それぞれ、スコア調整手段及び検出結果決定手段として機能する。

ここで、入力画像取得部１１０、摂動画像取得部１１２、検出処理部１１４、検出モデル格納部１１６、検出結果統合部１２０、パラメータ格納部１３０、及び検出結果出力部１４０は、物体検出を行う運用段階で機能する。また、学習データ格納部１５０、摂動画像取得部１５２、検出処理部１５４、検出モデル格納部１１６、パラメータ算出部１６０、及びパラメータ格納部１３０は、検出結果統合部１２０の機能を学習する学習段階で機能する。ここで、摂動画像取得部１１２及び摂動画像取得部１５２は、実質的に同様の機能を有しうる。また、検出処理部１１４及び検出処理部１５４は、実質的に同様の機能を有し得る。特に、検出処理部１１４によって用いられる検出器（検出モデル）は、検出処理部１５４によって用いられる検出器と同じものである。

なお、図３に示した各構成要素は、例えば、ＣＰＵ１０２がＲＯＭ１０４に記憶されたプログラムを実行することによって実現可能である。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールするようにしてもよい。なお、各構成要素は、上記のようにソフトウェアによって実現されることに限定されず、何らかの回路素子等のハードウェアによって実現されてもよい。また、上記構成要素の１つ以上は、物理的に別個のハードウェアによってそれぞれ実現されてもよい。なお、各構成要素の具体的な機能については後述する。

図４は、実施の形態１にかかる物体検出装置１００によって行われる、運用段階に関する物体検出方法を示すフローチャートである。入力画像取得部１１０は、入力画像Ａ及び入力画像Ｂを取得する（ステップＳ１０２）。具体的には、入力画像取得部１１０Ａは、カメラ３０Ａから入力画像Ａ（例えば可視光画像）を取得する。また、入力画像取得部１１０Ｂは、カメラ３０Ｂから入力画像Ｂ（例えば赤外光画像）を取得する。

摂動画像取得部１１２は、入力画像Ｂについて、複数の摂動画像を取得する（ステップＳ１０４）。具体的には、摂動画像取得部１１２は、例えば、カメラ３０Ａとカメラ３０Ｂとの位置関係に応じた方向に一定の摂動量ごとに入力画像Ｂを摂動させることによって、複数の摂動画像（摂動画像群）を生成する。なお、後述する図５の例では、入力画像４０Ａについては摂動させない。摂動画像については、図５を用いてさらに説明する。

図５は、実施の形態１にかかる運用段階において摂動画像取得部１１２によって生成される複数の摂動画像を例示する図である。なお、カメラ３０Ａとカメラ３０Ｂとで、画角は同じであるとする。また、検出対象は人間であるとする。また、カメラ３０Ｂがカメラ３０Ａに対して右側から検出対象を撮影するとする。この場合、入力画像４０Ｂ（入力画像Ｂ）に含まれる検出対象画像９０の背景画像９２に対する位置は、入力画像４０Ａ（入力画像Ａ）に含まれる検出対象画像９０の背景画像９２に対する位置よりも左側にずれている。言い換えると、背景画像９２の位置が入力画像４０Ａと入力画像４０Ｂとで略同じ場合、入力画像４０Ｂにおける検出対象画像９０の位置は、入力画像４０Ａにおける検出対象画像９０の位置よりも左側にずれている。

このとき、摂動画像取得部１１２は、入力画像４０Ｂを、右方向に、一定の間隔ごと（例えば一定の画素数ごと）に平行移動させる。これにより、摂動画像取得部１１２は、摂動画像４２－１～４２－３を生成する。なお、摂動の元となった入力画像４０Ｂは、摂動画像４２－０として、複数の摂動画像４２に含まれ得る。つまり、入力画像４０Ｂは、摂動量０の摂動画像４２である。

ここで、図５の例では、摂動画像４２－２における検出対象画像９０の位置が、入力画像４０Ａにおける検出対象画像９０の位置に対応している。つまり、上記のように複数の摂動画像４２（４２－０～４２－３）を生成すると、入力画像４０Ａに対する入力画像４０Ｂにおける検出対象画像９０の位置ずれを近似的に打ち消すような摂動画像４２が生成され得る。

なお、図５の例では、元の入力画像４０Ｂを含めて４つの摂動画像４２が生成されるが、生成される摂動画像４２の数は任意である。なお、摂動画像４２において、右側への平行移動によって画角からはみ出した右側部分（図５の斜線のハッチングで示す）については、削除してもよいし、平行移動によって空白となった左側部分に挿入してもよい。また、カメラ３０Ａ及びカメラ３０Ｂから検出対象までの距離を推定できる場合は、その距離に応じて摂動量を変更してもよい。これらのことは、後述するＳ１５４の処理においても同様である。

検出処理部１１４は、検出モデル格納部１１６に格納された検出モデルを用いて、各摂動画像４２について、物体検出処理を行う（ステップＳ１０６）。つまり、検出処理部１１４は、複数の摂動画像４２それぞれと、摂動させなかった入力画像４０Ａとを用いて、入力画像に含まれる検出対象を検出する。なお、検出モデルは、例えばディープラーニング等の機械学習によって予め学習された、物体検出のための学習モデル（認識辞書）である。検出モデルは、例えばニューラルネットワーク等である。したがって、検出処理部１１４は、検出モデル格納部１１６に格納された検出モデルにより実現される検出器を用いて、検出処理を行う。そして、検出処理部１１４は、物体検出処理によって、複数の摂動画像４２それぞれについて、検出結果（検出対象の検出位置及び検出の確信度（クラス確信度；スコア））を取得する。

なお、検出モデルは、位置ずれがなく正解ラベルが付された複数のモーダル画像を用いて機械学習を行うことで生成され得る。この場合、検出モデルは、後述する学習データ格納部１５０に格納された学習データを用いて機械学習を行うことで、生成され得る。なお、検出器（検出モデル）は、上記の例に限られず、任意である。

図６は、実施の形態１にかかる運用段階において検出処理部１１４によって行われる検出処理を説明するための図である。検出処理部１１４は、入力画像４０Ａと摂動画像４２－０とを用いて、物体検出を行う。これにより、検出処理部１１４は、入力画像４０Ａ及び摂動画像４２－０それぞれに対し、検出対象画像９０についての検出位置を示す矩形領域Ｂａ０及び矩形領域Ｂｂ０を生成する。ここで、矩形領域は、検出対象画像９０が含まれ得ると推定された領域、つまり検出対象画像９０が検出された領域を示す。また、検出処理部１１４は、各矩形領域（検出結果）について、確信度を生成する（他の摂動画像においても同様）。

なお、検出位置（検出座標）は、例えば矩形領域の中心位置（矩形座標）であってもよい。また、矩形領域Ｂａ０及び矩形領域Ｂｂ０の位置は同じであり得る。この場合、矩形領域Ｂａ０及び矩形領域Ｂｂ０を、入力画像Ａと入力画像Ｂとで共通の矩形領域Ｂ０としてもよい。また、図６において、入力画像４０Ａ及び摂動画像４２－０には、それぞれ１つの矩形領域が示されているが、１つの検出対象について複数の検出結果が生成される場合は、複数の矩形領域が生成され得る。また、検出対象が複数である場合は、複数の検出対象それぞれについて矩形領域が生成され得る。また、検出結果（矩形領域及び確信度）は、一方の入力画像（例えば入力画像４０Ａ）に対してのみ生成されてもよい。これらのことは、以下に示す他の摂動画像４２（及び摂動学習用画像）に対する検出結果についても同様である。

検出処理部１１４は、入力画像４０Ａと摂動画像４２－１とを用いて、物体検出を行う。これにより、検出処理部１１４は、入力画像４０Ａ及び摂動画像４２－１それぞれに対し、検出対象画像９０についての検出位置を示す矩形領域Ｂａ１及び矩形領域Ｂｂ１（矩形領域Ｂ１）を生成する。検出処理部１１４は、入力画像４０Ａと摂動画像４２－２とを用いて、物体検出を行う。これにより、検出処理部１１４は、入力画像４０Ａ及び摂動画像４２－２それぞれに対し、検出対象画像９０についての検出位置を示す矩形領域Ｂａ２及び矩形領域Ｂｂ２（矩形領域Ｂ２）を生成する。検出処理部１１４は、入力画像４０Ａと摂動画像４２－３とを用いて、物体検出を行う。これにより、検出処理部１１４は、入力画像４０Ａ及び摂動画像４２－３それぞれに対し、検出対象画像９０についての検出位置を示す矩形領域Ｂａ３及び矩形領域Ｂｂ３（矩形領域Ｂ３）を生成する。

検出結果統合部１２０は、複数の摂動画像４２について得られた検出結果（検出位置及び確信度）を統合して、検出対象画像９０について適切な検出結果を決定する（Ｓ１０８～Ｓ１１０）。具体的には、パラメータ格納部１３０は、統合パラメータを格納している。ここで、統合パラメータは、摂動させなかった入力画像４０Ａと摂動画像４２とで検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように確信度を調整するためのパラメータである。そして。統合パラメータは、検出結果に対する入力画像の摂動の影響を補正するパラメータを含む。
後述するように、この統合パラメータは、学習段階において、パラメータ算出部１６０によって算出される。そして、スコア調整部１２２は、複数の摂動画像４２について取得された検出位置（矩形座標）及び確信度に基づいて、統合パラメータを用いて、複数の摂動画像４２それぞれについて調整された確信度を算出する（ステップＳ１０８）。以後、調整された確信度（調整確信度）を算出すること、つまり確信度を調整することを、リスコアと称することがある。スコア調整部１２２の具体的な処理については後述する。

ここで、スコア調整部１２２が、複数の摂動画像のうちの第１の摂動画像について確信度を調整するとする。このとき、スコア調整部１２２は、当該第１の摂動画像に関する検出位置との距離が近い検出位置に関する第２の摂動画像に関する重みを重くするように重み付けして、複数の摂動画像における確信度を累積する。また、統合パラメータは、補正パラメータ（第１のパラメータ）と、重み調整パラメータ（第２のパラメータ）とを含む。補正パラメータは、第１の摂動画像の摂動量と第２の摂動画像の摂動量との差に応じて前記距離（第１の摂動画像に関する検出位置と第２の摂動画像に関する検出位置との距離）を補正するパラメータである。また、重み調整パラメータは、前記距離に対する重みを定義するパラメータである。統合パラメータについては後述する。ここで、スコア調整部１２２は、関数ｆ（Ｄ，ｓ）_ｍ，αを用いて、調整された確信度を算出する。ここで、関数ｆ（Ｄ，ｓ）_ｍ，αは、Ｄ，ｓを変数とし、ｍ，αを定数とする関数である。また、Ｄは検出位置、ｓはＤにおける確信度である。また、ｍ及びαは統合パラメータ（定数）である。ｍは補正パラメータであり、αは重み調整パラメータである。この、関数ｆ（Ｄ，ｓ）_ｍ，αの具体例については後述する。

検出結果決定部１２４は、調整された確信度に基づいて、複数の摂動画像による複数の検出結果を絞り込んで適切な検出結果を決定する（ステップＳ１１０）。ここで、スコア調整部１２２によってなされたリスコアによって、入力画像４０Ａと摂動画像４２との複数の組のうち、入力画像４０Ａと摂動画像４２とで検出対象画像９０の位置が互いに合っている組についての調整確信度が最も高くなり得る。これにより、検出対象画像９０の位置が合っている組についての検出結果が最も信頼され得る。したがって、検出結果決定部１２４は、検出対象画像９０それぞれについて、調整確信度が最も大きな検出結果を、適切な検出結果として決定する。そして、検出結果決定部１２４は、それ以外の調整確信度の低い検出結果を削除（抑制）する。

図７は、実施の形態１にかかる検出結果統合部１２０の処理結果を説明するための図である。入力画像４０Ａａは、入力画像４０Ａに、各摂動画像４２について得られた検出結果に関する矩形領域Ｂ０～Ｂ３が重畳された画像である。このとき、Ｓ１０８の処理によって、矩形領域Ｂ２に関する調整確信度が、最も高くなる。言い換えると、統合パラメータにより、スコア調整部１２２は、矩形領域Ｂ２に関する調整確信度が最も高くなるように、各摂動画像４２について得られた検出結果に関する確信度を調整（リスコア）する。

ここで、検出結果決定部１２４は、同じクラスに関する矩形領域について、重複の大きさが予め定められた閾値以上の矩形領域の組が、同じ検出対象画像９０についての検出結果を示していると判定する。ここで、検出結果決定部１２４は、重複の大きさとして、検出された矩形領域の組についてＩｏＵ（Intersection over Union）を算出してもよい。ＩｏＵは、各矩形領域を合併した面積（矩形領域の和集合の面積）に対する、各矩形領域の共通部分の面積の割合である。図７の例では、矩形領域Ｂ０～Ｂ３の各組の重複の大きさが閾値以上であると判定される。

そして、検出結果決定部１２４は、重複の大きさが閾値以上である矩形領域Ｂ０～Ｂ３について、対応する調整確信度が最も高い検出結果を、適切な検出結果として決定する。図７の例では、上述したように、矩形領域Ｂ２に関する調整確信度が、最も高い。したがって、検出結果決定部１２４は、矩形領域Ｂ２以外の矩形領域に関する検出結果を削除する。これにより、検出結果決定部１２４は、入力画像４０Ａｂに示すような、矩形領域Ｂ０，Ｂ１，Ｂ３が削除され矩形領域Ｂ２のみが示された検出結果を生成する。つまり、検出結果決定部１２４は、調整確信度に応じて、過剰な検出結果を抑制するように構成されている。

検出結果出力部１４０は、決定された適切な検出結果を、インタフェース部１０８に出力する（ステップＳ１１２）。具体的には、検出結果出力部１４０は、例えば図７に例示された入力画像４０Ａｂを表示する。つまり、検出結果出力部１４０は、過剰な検出結果が抑制された検出結果を表示する。このとき、検出結果出力部１４０は、矩形領域Ｂ２の近傍に、クラス確信度を表示させてもよい。このクラス確信度は、Ｓ１０６の処理で取得された、矩形領域Ｂ２に関する確信度であってもよいし、Ｓ１０８においてリスコアされた矩形領域Ｂ２に関する調整確信度であってもよい。

図８は、実施の形態１にかかる物体検出装置１００によって行われる、学習段階に関する物体検出方法を示すフローチャートである。摂動画像取得部１５２は、学習データ格納部１５０に格納された学習データについて、複数の摂動画像（摂動学習用画像）を生成する（ステップＳ１５４）。ここで、学習データ格納部１５０は、検出対象のクラスとそのクラスに対応する正解位置（正解領域）とを対応付けた正解ラベルが予め付加された複数の学習用画像である学習データを格納している。さらに、複数の学習用画像は、位置ずれがない複数のモーダル画像であり得る。したがって、複数の学習用画像（複数のモーダル画像）において、画像における検出対象の位置が互いに合っている。

図９は、実施の形態１にかかる学習段階において摂動画像取得部１５２によって生成される摂動学習用画像を例示する図である。図９に示すように、複数の学習用画像は、カメラ３０Ａと同じモーダルで撮影された学習用画像５０Ａと、カメラ３０Ｂと同じモーダルで撮影された学習用画像５０Ｂとを含む。なお、１つのカメラを用いて物体検出を行う場合は、学習用画像５０Ｂは学習用画像５０Ａと同じ画像でもよい。また、上述したように、学習用画像５０Ａ及び学習用画像５０Ｂには、それぞれ正解位置を示す正解矩形領域Ｂｃが付加されている。そして、学習用画像５０Ａ及び学習用画像５０Ｂにおいて、検出対象画像９０の位置は互いに合っている。

このとき、摂動画像取得部１５２は、摂動画像取得部１１２の処理と同様にして、カメラ３０Ａとカメラ３０Ｂとの位置関係に応じて、一定の摂動量ごとに、学習用画像５０Ｂを摂動させる。カメラ３０Ａとカメラ３０Ｂとが左右方向に並んで設置されている場合、摂動画像取得部１５２は、学習用画像５０Ｂを、右方向又は左方向に平行移動させる。これにより、摂動画像取得部１５２は、複数の摂動学習用画像５２－１～５２－４を生成する。摂動学習用画像５２－１，５２－２は、学習用画像５０Ｂを左方向（負方向の摂動方向）に平行移動させて得られた画像である。摂動学習用画像５２－３，５２－４は、学習用画像５０Ｂを右方向（正方向の摂動方向）に平行移動させて得られた画像である。なお、摂動の元となった（つまり摂動量が０の）学習用画像５０Ｂは、摂動学習用画像５２－０として、複数の摂動学習用画像５２に含まれ得る。

検出処理部１５４は、検出モデル格納部１１６に格納された検出モデルを用いて、各摂動学習用画像５２について、物体検出処理を行う（ステップＳ１５６）。つまり、検出処理部１５４は、複数の摂動学習用画像それぞれと、摂動させなかった学習用画像とを用いて、学習用画像に含まれる検出対象を検出する。ここで、検出処理部１５４の処理は、検出処理部１１４の処理（Ｓ１０６）と実質的に同様である。そして、検出処理部１５４は、物体検出処理によって、複数の摂動学習用画像それぞれについて、検出結果（検出対象の検出位置及び検出の確信度（クラス確信度；スコア））を取得する。

図１０は、実施の形態１にかかる学習段階において検出処理部１５４によって行われる検出処理を説明するための図である。検出処理部１５４は、学習用画像５０Ａと摂動学習用画像５２－０とを用いて、物体検出を行う。これにより、検出処理部１５４は、検出対象画像９０についての検出位置を示す矩形領域Ｂｄ０を生成する。また、検出処理部１５４は、各矩形領域（検出）について、確信度を生成する。ここで、学習用画像５０Ａと摂動学習用画像５２－０とで位置ずれはないので、矩形領域Ｂｄ０は正解矩形領域Ｂｃと一致し得る。

また、検出処理部１５４は、学習用画像５０Ａと摂動学習用画像５２－１とを用いて、物体検出を行う。これにより、検出処理部１５４は、検出対象画像９０についての検出位置を示す矩形領域Ｂｄ１を生成する。ここで、学習用画像５０Ａと摂動学習用画像５２－１とで、摂動により位置ずれが発生しているので、矩形領域Ｂｄ１は、正解矩形領域Ｂｃと一致せず、正解矩形領域Ｂｃよりも左側（摂動方向側）にずれている。

また、検出処理部１５４は、学習用画像５０Ａと摂動学習用画像５２－２とを用いて、物体検出を行う。これにより、検出処理部１５４は、検出対象画像９０についての検出位置を示す矩形領域Ｂｄ２を生成する。ここで、学習用画像５０Ａと摂動学習用画像５２－２とで、摂動により位置ずれが発生しているので、矩形領域Ｂｄ２は、正解矩形領域Ｂｃと一致せず、正解矩形領域Ｂｃよりも左側（摂動方向側）にずれている。

また、検出処理部１５４は、学習用画像５０Ａと摂動学習用画像５２－３とを用いて、物体検出を行う。これにより、検出処理部１５４は、検出対象画像９０についての検出位置を示す矩形領域Ｂｄ３を生成する。ここで、学習用画像５０Ａと摂動学習用画像５２－３とで、摂動により位置ずれが発生しているので、矩形領域Ｂｄ３は、正解矩形領域Ｂｃと一致せず、正解矩形領域Ｂｃよりも右側（摂動方向側）にずれている。

また、検出処理部１５４は、学習用画像５０Ａと摂動学習用画像５２－４とを用いて、物体検出を行う。これにより、検出処理部１５４は、検出対象画像９０についての検出位置を示す矩形領域Ｂｄ４を生成する。ここで、学習用画像５０Ａと摂動学習用画像５２－４とで、摂動により位置ずれが発生しているので、矩形領域Ｂｄ４は、正解矩形領域Ｂｃと一致せず、正解矩形領域Ｂｃよりも右側（摂動方向側）にずれている。

パラメータ算出部１６０は、各摂動学習用画像に対する検出結果の摂動依存性を調査する（ステップＳ１５８）。具体的には、パラメータ算出部１６０は、摂動前の学習用画像に対する各摂動学習用画像の摂動量と、対応する摂動学習用画像についての検出結果である矩形座標及び確信度との関係を算出する。

図１１は、実施の形態１にかかる、摂動学習用画像の摂動量と検出結果との関係を例示する図である。図１１は、横軸を摂動量として、摂動量と矩形座標及び確信度との関係をプロットした図である。なお、図１１は連続的に矩形座標及び確信度を示しているが、摂動が段階的に行われるときは、矩形座標及び確信度は、離散的となり得る。また、図１１では、摂動させていない学習用画像５０Ａの左端を矩形座標の基準とし、右方向を矩形座標の正方向とする。つまり、学習用画像５０Ａにおいて矩形領域が右方向に位置するほど、矩形座標は大きくなる。

図１１に例示するように、矩形座標は、摂動量に応じて変化する。ここで、摂動量＝０のときの矩形座標が、正解位置に対応する。そして、図１０に示したように、摂動量が正方向（右方向）に大きくなるにつれて、矩形座標は大きくなる（つまり矩形領域は右方向に移動する）。また、図１０に示したように、摂動量が負方向（左方向）に大きくなるにつれて、矩形座標は小さくなる（つまり矩形領域は左方向に移動する）。なお、図１１に示した矩形座標と摂動量との関係は、あくまでも例示であって、検出器に応じて異なり得る。

また、図１１に例示するように、確信度は、摂動量に応じて変化する。そして、摂動量が０の近傍で、確信度が高くなっている。ここで、摂動量が０のとき（図１０の例では摂動学習用画像５２－０の検出結果のとき）に位置ずれが発生していないので、摂動量が０において確信度は高くなり得る。一方、例えば赤外光画像のように解像度が低い画像を用いて検出を行うと、多少画像を摂動させたとしても、確信度の変化量は大きくない可能性がある。また、検出器によっては、検出時に画像のサイズを変更する等により解像度を低くすることがあり得るが、このような場合でも、多少画像を摂動させたとしても、確信度の変化量は大きくない可能性がある。したがって、摂動量＝０の近傍において、確信度の大きさの違いは顕著ではない可能性がある。

パラメータ算出部１６０は、検出結果の出力の際に、適切な検出結果の選択性を高めるように、統合パラメータを算出する（ステップＳ１６０）。パラメータ算出部１６０は、算出された統合パラメータをパラメータ格納部１３０に格納する。具体的には、パラメータ算出部１６０は、確信度を調整（リスコア）する際に、摂動量が０のときの確信度（調整確信度）が最大となるように、統合パラメータを算出する。言い換えると、摂動量が０のときに適切な検出結果となるので、パラメータ算出部１６０は、摂動量が０のときに調整確信度がピークとなるように、統合パラメータを算出する。これにより、Ｓ１０８の処理（リスコア）の際に、適切な検出結果に関する調整確信度が最大（ピーク）となり得る。

＜統合パラメータの算出及びリスコアの具体例＞
以下、統合パラメータの算出（Ｓ１６０）及びリスコア（Ｓ１０８）の具体例について説明する。上述したように、リスコアの目的は、入力画像４０Ｂを摂動させて得られた複数の摂動画像のいずれかで入力画像４０Ａと検出対象画像９０の位置が合っているときに、その摂動画像に関する検出結果を最も信頼するようすることである。したがって、リスコアによって、この摂動画像（図６の例では摂動画像４２－２）における調整確信度が最も高くなるようにする。なお、以下の説明において、摂動画像４２と摂動学習用画像５２とを区別しないで、単に「摂動パターン」と称する。また、以下のアルゴリズムは、クラスごとに行われ得る。

各摂動パターン（摂動量）Ｔ_ｋは、以下の式１で定義される。

ここで、Ｋは摂動パターン数を示す。また、添え字ｋは、各摂動パターンを示すインデックスである。なお、例えば、摂動方向が水平方向の並進（平行移動）である場合、各摂動パターンＴ_ｋの差は、ｘ座標（画像の水平方向の位置座標）の差のみであり得る。

また、摂動パターンＴ_ｋにおける検出結果は、以下の式２で定義される。

ここで、Ｄは検出座標（矩形座標）を示し、ｓは確信度を示す。また、添え字ｉは、各画像における１つ以上の検出（検出候補）それぞれを示すインデックスである。したがって、Ｒ_ｉ，ｋは、摂動パターンＴ_ｋの検出（検出候補）ｉにおける検出結果を示す。

ここで、互いに位置の合った複数のモーダルで撮影された複数の画像データのみで学習した検出器では、上述したように、一方のモーダル画像の摂動によって検出結果が変動する。以下に示すアルゴリズムでは、摂動の依存性を用いて、検出対象画像の位置が合った画像ペア（摂動させていない入力画像と摂動パターンとの組）を推定できるようにする。

摂動依存性は、線形近似すると、以下の式３で表される。

ここで、添え字ｌは、各摂動パターンを示すインデックスである。また、ｍは、補正パラメータを示す。なお、図１１に示すように、正解位置の近傍では、摂動量の変化に対して矩形座標（検出座標）が概ね線形に変化していることが分かる。この線形変化の傾きがｍに対応する。

また、調整確信度は、以下の式４で定義される。

なお、以下、便宜上、式４の左辺である調整確信度を「ｓ^～」（ｓ^～ _ｉ，ｋ）と表記することがある。つまり、ｓ^～ _ｉ，ｋは、摂動パターンＴ_ｋにおける検出ｉに関する調整確信度を示す。ここで、αは、重み調整パラメータを示す。また、添え字ｊは、各画像における１つ以上の検出（検出候補）それぞれを示すインデックスである。

また、Δ_ｋｌは、式４で示すように調整確信度を算出する（複数の摂動画像における確信度を累積する）際に、摂動により変動した検出座標を補正する補正量を示す。ここで、Δ_ｋｌは、以下の式５で定義される。

ここで、式４に示すように、調整確信度ｓ^～ _ｉ，ｋは、全摂動パターンの検出結果及び各画像内の全検出結果から、検出座標Ｄ_ｉ，ｋに近い検出座標Ｄ_ｊ，ｌに関する確信度の重みを重くして、これらの確信度を累積したものである。ここで、「ｅｘｐ｛｝」の項が「重み」に対応する。式４において、検出座標Ｄ_ｊ，ｌが検出座標Ｄ_ｉ，ｋに近ければ、Ｄ_ｉ，ｋ－Ｄ_ｊ，ｌは小さくなる。また、このとき、摂動パターンの位置も近いと推定されるので、Δ_ｋｌも小さくなる。したがって、調整確信度の算出対象である摂動パターンＴ_ｋ及び検出ｉについての検出座標Ｄ_ｉ，ｋに近い検出座標Ｄ_ｊ，ｌに関する確信度ｓ_ｊ，ｌを加算するとき、「ｅｘｐ｛｝」の項は大きくなる。逆に、摂動パターンＴ_ｋ及び検出_ｉについての検出座標Ｄ_ｉ，ｋに遠い検出座標Ｄ_ｊ，ｌに関する確信度ｓ_ｊ，ｌを加算するとき、「ｅｘｐ｛｝」の項は小さくなる。したがって、「ｅｘｐ｛｝」の項が「重み」として機能する。

また、式４において、「｜（Ｄ_ｉ，ｋ－Ｄ_ｊ，ｌ＋Δ_ｋｌ）／α｜」の項は、摂動の影響が補正された、Ｄ_ｉ，ｋとＤ_ｊ，ｌとの間の検出座標の距離に対応する。「Ｄ_ｉ，ｋ－Ｄ_ｊ，ｌ＋Δ_ｋｌ」の項は、「Ｄ_ｉ，ｋ－（Ｄ_ｊ，ｌ－Δ_ｋｌ）」と修正できる。そして、「Ｄ_ｊ，ｌ－Δ_ｋｌ」は、確信度ｓ_ｊ，ｌを累積するときに、検出座標Ｄ_ｊ，ｌを、摂動パターンＴ_ｋに対する摂動パターンＴ_ｌの摂動の影響を補正した座標に対応する。

また、重み調整パラメータαは、上記の補正された距離に対する、「ｅｘｐ｛｝」の項に対応する「重み」を定義（調整）する。つまり、式４において、αを大きくすると、Ｄ_ｉ，ｋとＤ_ｊ，ｌとの間の距離（補正された距離でも同様）が遠くであっても（つまり、｜Ｄ_ｉ，ｋ－Ｄ_ｊ，ｌ｜が大きくても）、「ｅｘｐ｛｝」の項の大きさが小さくなることが抑制される。この場合、Ｄ_ｉ，ｋから遠いＤ_ｊ，ｌに対応する確信度を加算した場合でも、その確信度の調整確信度に対する影響を大きくすることができる。逆に、式４において、αを小さくすると、Ｄ_ｉ，ｋとＤ_ｊ，ｌとの間の距離（補正された距離でも同様）が近くであっても（つまり、｜Ｄ_ｉ，ｋ－Ｄ_ｊ，ｌ｜が小さくても）、「ｅｘｐ｛｝」の項の大きさが大きくなることが抑制される。この場合、Ｄ_ｉ，ｋから近いＤ_ｊ，ｌに対応する確信度を加算した場合でも、その確信度の調整確信度に対する影響を小さくすることができる。したがって、αの大きさを調整することで、調整確信度に対する影響が及ぶＤ_ｉ，ｋからの距離の範囲を調整することができる。したがって、αは、重み調整パラメータとして機能する。このことは、後述する複数の入力画像を摂動させる例においても同様である。

図１２は、実施の形態１において、確信度を累積するときに、累積される確信度に対応する検出座標を、摂動の影響を考慮して補正することを説明する図である。Ｄ_ｉ，ｋは、調整確信度ｓ^～ _ｉ，ｋの算出対象となる、摂動パターンＴ_ｋの検出結果Ｒ_ｉ，ｋの検出座標である。また、Ｄ_{ｊ，ｋ－１}は、検出結果Ｒ_{ｊ，ｋ－１}（摂動パターンＴ_ｋ－１）にかかる累積される確信度ｓ_{ｊ，ｋ－１}に対応する検出座標である。Ｄ_{ｊ’，ｋ＋１}は、検出結果Ｒ_{ｊ’，ｋ＋１}（摂動パターンＴ_ｋ＋１）にかかる累積される確信度ｓ_{ｊ’，ｋ＋１}に対応する検出座標である。矩形領域Ｂ_ｋは、Ｄ_ｉ，ｋに対応する矩形領域である。矩形領域Ｂ_ｋ－１は、Ｄ_{ｊ，ｋ－１}に対応する矩形領域である。矩形領域Ｂ_ｋ＋１は、Ｄ_{ｊ’，ｋ＋１}に対応する矩形領域である。なお、矩形領域Ｂ_ｋ’は、摂動パターンＴ_ｋにおける別の検出結果にかかる矩形領域である。矩形領域Ｂ_ｋ－１’は、摂動パターンＴ_ｋ－１における別の検出結果にかかる矩形領域である。矩形領域Ｂ_ｋ＋１’は、摂動パターンＴ_ｋ＋１における別の検出結果にかかる矩形領域である。

このとき、摂動パターンＴ_ｋ－１にかかる確信度ｓ_{ｊ，ｋ－１}を累積する場合、矩形領域Ｂ_ｋから見ると、Ｄ_{ｊ，ｋ－１}は、「Ｄ_{ｊ，ｋ－１}－Δ_{ｋ（ｋ－１）}」と補正される。また、摂動パターンＴ_ｋ＋１にかかる確信度ｓ_{ｊ’，ｋ＋１}を累積する場合、矩形領域Ｂ_ｋから見ると、Ｄ_{ｊ’，ｋ＋１}は、「Ｄ_{ｊ’，ｋ＋１}－Δ_{ｋ（ｋ＋１）}」と補正される。したがって、検出結果Ｒ_ｉ，ｋについて他の検出結果にかかる確信度が累積される場合、点線Ｌ１で示される検出座標は、破線Ｌ２で示される検出座標に補正される。

なお、式４において、調整確信度ｓ^～ _ｉ，ｋを求める際に、全摂動パターンの検出結果及び各画像内の全検出結果から、検出座標Ｄ_ｉ，ｋに近い検出座標Ｄ_ｊ，ｌに関する確信度の重みを重くしてこれらの確信度を累積するのは、以下のためである。すなわち、検出対象画像の位置が合っている画像の組による検出結果（図１１の摂動量＝０に対応）では、当然に確信度が高くなり得る。そして、その検出結果の検出位置の近傍の検出位置に関する他の検出結果でも、近傍に検出対象の画像情報が含まれるため、他の検出結果に関する確信度もある程度高くなる可能性が高い。したがって、検出対象画像の位置が合っている画像の組の検出結果にかかる検出座標Ｄ_ｉ，ｋに近い検出座標Ｄ_ｊ，ｌに関する確信度の重みを重くして累積すると、累積された確信度（調整確信度）は高くなり得る。

一方、検出対象画像の位置が合っていない画像の組による検出結果であっても、その検出結果にかかる確信度が、位置が合っている画像の組による検出結果と同等程度に高い可能性もある。しかしながら、その近傍の検出位置に検出対象の画像情報が存在する可能性は相対的に低い。したがって、その他の検出結果に関する確信度はそれほど高くならない可能性がある。これにより、検出対象画像の位置が合っていない画像の組の検出結果にかかる検出座標Ｄ_ｉ，ｋに近い検出座標Ｄ_ｊ，ｌに関する確信度の重みを重くして累積しても、累積された確信度（調整確信度）は、検出対象画像の位置が合っている画像の組の検出結果の場合と比較して、高くならない可能性がある。逆に言うと、検出座標Ｄ_ｉ，ｋに近い検出座標Ｄ_ｊ，ｌに関する確信度の重みを重くして加算することで、検出対象画像の位置が合っている画像の組にかかる累積された調整確信度が、位置が合っていない画像の組にかかる累積された調整確信度よりも高くなり得る。これにより、統合パラメータｍ，αを適切に定めることで、検出対象画像の位置が合っている画像の組による検出結果にかかる調整確信度が最も高くなり得る。

図１３は、実施の形態１にかかるパラメータ算出部１６０の処理を説明するための図である。パラメータ算出部１６０は、運用段階で検出が行われる前に、学習段階で、上記の補正パラメータｍ及び重み調整パラメータαを算出する。具体的には、パラメータ算出部１６０は、摂動量Ｔ_ｋと矩形座標Ｄ_ｋとの関係のプロットから、摂動量＝０の付近の線形変化の傾きを、ｍとして算出する。

パラメータ算出部１６０は、算出されたｍを式４（式５）に代入する。そして、パラメータ算出部１６０は、この式４を用いて、Ｓ１５６における検出処理で得られた、学習データに関する各摂動パターンＴ_ｋの各検出結果Ｒ_ｉ，ｋについて、全ての摂動パターンＴ_ｋの全ての検出結果Ｒ_ｊ，ｌについて、確信度を累積する。これにより、各検出結果Ｒ_ｉ，ｋについて、調整確信度ｓ^～ _ｉ，ｋが算出される。そして、パラメータ算出部１６０は、摂動量＝０であり検出座標が正解位置と合っている検出結果Ｒ_ｉ，ｋに関する調整確信度ｓ^～ _ｉ，ｋが最も高くなるようなαを算出する。なお、このとき、パラメータ算出部１６０は、ｍを微調整してもよい。これにより、破線Ｌ３で示すように、リスコア後の調整確信度ｓ^～ _ｉ，ｋは、摂動量＝０で最大となる。

図１４は、実施の形態１にかかる検出結果統合部１２０の処理を説明するための図である。スコア調整部１２２は、運用段階で検出が行われる際に、上述したパラメータ算出部１６０の処理によって算出された統合パラメータｍ，αを、式４に代入する。そして、スコア調整部１２２は、この式４を用いて、学習段階と同様に、Ｓ１０６における検出処理で得られた、各摂動パターンＴ_ｋの各検出結果Ｒ_ｉ，ｋについて、全ての摂動パターンＴ_ｋの全ての検出結果Ｒ_ｊ，ｌについての確信度を累積する。すると、図１４の破線Ｌ４で示すように、ある調整確信度ｓ^～ _ｉ，ｋの値が最も高くなり得る。

このとき、検出結果決定部１２４は、この最大となった調整確信度ｓ^～ _ｉ，ｋに関する検出結果Ｒ_ｉ，ｋを、適切な検出結果として決定する。したがって、検出結果決定部１２４は、この最大となった調整確信度ｓ^～ _ｉ，ｋに関する矩形領域との重複の大きな矩形領域に関する検出結果を削除する。これにより、最大となった調整確信度ｓ^～ _ｉ，ｋに関する検出結果Ｒ_ｉ，ｋが出力される。

なお、学習段階では、学習用画像には正解位置が予めラベル付けされており、複数の学習用画像は位置ずれがない複数のモーダル画像であり得る。したがって、どの摂動学習用画像（摂動パターン）における検出結果が最も適切（信頼性がある）かは、明らかである。一方、運用段階では、入力画像における正解位置は不明であり、複数の入力画像は位置ずれがある複数のモーダル画像である。したがって、運用段階では、どの摂動画像（摂動パターン）における検出結果が最も適切（信頼性がある）かは、不明である。そして、リスコアによって、摂動させない入力画像と検出対象画像の位置が合っている摂動画像（検出結果）に関する調整確信度がピークとなり得る。したがって、リスコアによって、この位置が合っている摂動画像（検出結果）を判別することが可能となる。

以上説明したように、実施の形態１において、物体検出装置１００は、複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得する。物体検出装置１００は、複数の摂動画像それぞれと、複数の入力画像のうち摂動させなかった入力画像とを用いて入力画像に含まれる検出対象を検出して、複数の摂動画像それぞれについて、検出結果として検出対象の検出位置及び検出の確信度を取得する。物体検出装置１００は、複数の摂動画像について取得された検出位置及び確信度に基づいて、統合パラメータを用いて、摂動画像それぞれについて調整確信度を算出する。これにより、複数のモーダル画像において検出対象画像の位置が合っている摂動画像にかかる適切な検出結果に関する調整確信度が最も高くなるので、その最大の調整確信度に関する検出結果が出力される。したがって、異なる複数のモーダルにより撮影された複数の入力画像に対して特殊な機器により機械的に位置合わせしなくても、精度よく物体検出を行うことが可能となる。また、位置合わせのための特殊な機器を用いる必要がないので、機器の調整不良等によって位置合わせの誤差による不具合の発生を抑制することができる。したがって、実施の形態１にかかる物体検出装置１００は、異なる複数のモーダルにより撮影された複数の入力画像を用いて精度よく物体検出を行うことができる。

また、実施の形態１にかかる物体検出装置１００は、調整確信度に基づいて複数の摂動画像による検出結果を絞り込んで適切な検出結果を決定し、決定された検出結果を出力するように構成されている。これにより、最大となった調整確信度に関する検出結果を確実に出力することが可能となる。

また、実施の形態１にかかる物体検出装置１００は、第１の摂動画像について確信度を調整する場合、当該第１の摂動画像に関する検出位置との距離が近い検出位置に関する第２の摂動画像に関する重みを重くするように重み付けする。そして、物体検出装置１００は、重み付けされた複数の摂動画像の確信度を累積する。これにより、検出対象画像が存在する適切な検出結果についての調整確信度を、より確実に高くすることが可能となる。

また、実施の形態１にかかる物体検出装置１００は、複数の学習用画像のうちの少なくとも１つを摂動させて得られた複数の摂動学習用画像それぞれと、複数の学習用画像のうち摂動させなかった学習用画像とを用いて検出結果を取得する。そして、物体検出装置１００は、この検出結果を用いて、統合パラメータを算出する。これにより、検出対象画像が存在する適切な検出結果についての調整確信度が最も高くなるような統合パラメータを、より確実に算出することができる。

（複数の入力画像を摂動させる例）
なお、上述した説明では、複数のモーダル画像（入力画像）を２つとし、そのうちの一方を摂動させるとしたが、複数のモーダル画像は３つ以上であってもよい。この場合、３つ以上のモーダル画像を用いて、物体検出が行われる。また、この場合、摂動させるモーダル画像は複数でもよい。この場合のアルゴリズムについて以下に説明する。なお、以下の説明では、入力画像Ａ、入力画像Ｂ１及び入力画像Ｂ２を複数のモーダル画像とし、入力画像Ｂ１及び入力画像Ｂ２を摂動させるとする。この場合、Ｓ１０６の処理において、入力画像Ａと、摂動させた入力画像Ｂ１と、摂動させた入力画像Ｂ２とを用いて、物体検出が行われる（Ｓ１５６の処理においても同様）。

各摂動パターン（摂動量）Ｔ_ｋ１，Ｔ’_ｋ２は、以下の式６で定義される。

ここで、Ｔ_ｋ１は、入力画像Ｂ１を摂動させた摂動パターンに対応し、Ｔ’_ｋ２は、入力画像Ｂ２を摂動させた摂動パターンに対応する。また、添え字ｋ１は、入力画像Ｂ１に関する摂動パターンを示す。また、添え字ｋ２は、入力画像Ｂ２に関する摂動パターンを示す。つまり、この場合、摂動パターンはＫ_１×Ｋ_２通りである。

また、摂動パターンＴ_ｋ１，Ｔ’_ｋ２の組における検出結果は、以下の式７で定義される。

摂動依存性は、線形近似すると、以下の式８で表される。

ここで、添え字ｌ１は、入力画像Ｂ１に関する摂動パターンを示すインデックスである。また、添え字ｌ２は、入力画像Ｂ２に関する摂動パターンを示すインデックスである。また、ｍ_１は、入力画像Ｂ１に関する摂動パターンについての補正パラメータである。ｍ_２は、入力画像Ｂ２に関する摂動パターンについての補正パラメータである。

また、調整確信度は、以下の式９で定義される。

また、Δ_{ｋ１ｋ２ｌ１ｌ２}は、式８で示すように調整確信度を算出する際に、摂動により変動した検出座標を補正する補正量を示す。Δ_{ｋ１ｋ２ｌ１ｌ２}は、以下の式１０で定義される。

ここで、式９に示すように、調整確信度ｓ^～ _{ｉ，ｋ１，ｋ２}は、全摂動パターンの検出結果及び各画像内の全検出結果から、検出座標Ｄ_{ｉ，ｋ１，ｋ２}に近い検出座標Ｄ_{ｊ，ｌ１，ｌ２}に関する確信度の重みを重くして、これらの確信度を累積したものである。ここで、式４と同様に、「ｅｘｐ｛｝」の項が「重み」に対応する。

また、式９において、「｜（Ｄ_{ｉ，ｋ１，ｋ２}－Ｄ_{ｊ，ｌ１，ｌ２}＋Δ_{ｋ１ｋ２ｌ１ｌ２}）／α｜」の項は、摂動の影響が補正された、Ｄ_{ｉ，ｋ１，ｋ２}とＤ_{ｊ，ｌ１，ｌ２}との間の検出位置の距離に対応する。そして、補正パラメータｍ_１は、摂動パターンＴ_ｋ１の摂動量と摂動パターンＴ_ｌ１の摂動量との差に対するΔ_{ｋ１ｋ２ｌ１ｌ２}の補正係数である。補正パラメータｍ_２は、摂動パターンＴ’_ｋ２の摂動量と摂動パターンＴ’_ｌ２の摂動量との差に対するΔ_{ｋ１ｋ２ｌ１ｌ２}の補正係数である。また、「Ｄ_{ｉ，ｋ１，ｋ２}－Ｄ_{ｊ，ｌ１，ｌ２}＋Δ_{ｋ１ｋ２ｌ１ｌ２}」の項は、「Ｄ_{ｉ，ｋ１，ｋ２}－（Ｄ_{ｊ，ｌ１，ｌ２}－Δ_{ｋ１ｋ２ｌ１ｌ２}）」と修正できる。そして、「Ｄ_{ｊ，ｌ１，ｌ２}－Δ_{ｋ１ｋ２ｌ１ｌ２}」は、確信度ｓ_{ｊ，ｌ１，ｌ２}を累積するときに、検出座標Ｄ_{ｊ，ｌ１，ｌ２}を、摂動パターンＴ_ｋ１に対する摂動パターンＴ_ｌ１の摂動の影響及び摂動パターンＴ’_ｋ２に対する摂動パターンＴ’_ｌ２の摂動の影響を補正した座標に対応する。

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図４及び図８に示したフローチャートの各処理の順序は、適宜、変更可能である。また、図４及び図８に示したフローチャートの処理の１つ以上は、なくてもよい。

また、上述した実施の形態では、「複数のモーダルの画像（入力画像）」における位置ずれは、複数のカメラの光軸のずれに伴う視差によるものである、又は、時刻ずれにより発生するとしたが、このような構成に限られない。例えば、２つの入力画像で視差がない場合であっても、一方のカメラを他のカメラと異なるパン、チルト又はズームを行うことによって、上記位置ずれが発生するとしてもよい。

また、上述した実施の形態において、摂動画像取得部は、入力画像を摂動させることによって摂動画像を生成するとしたが、このような構成に限られない。例えば、摂動画像取得部は、摂動画像を「取得」してもよい。例えば、摂動させる入力画像（入力画像Ｂ）の複数のフレームを取得してもよい。あるいは、カメラ３０Ｂを移動（パン、チルト又はズーム等を含む）させる場合は、移動による多視点の画像を取得してもよい。このことは、摂動学習用画像についても同様である。したがって、「複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得する」とは、入力画像を摂動させることによって摂動画像を生成することに限られない。

また、本技術を利用して、一方の入力でのみラベルが得られたときに、位置のあっていない他方の画像にラベルを付与してもよい。例えば、赤外光画像でラベルが得られたが、可視光画像ではラベルが得られなかった場合に、本技術を利用して、赤外光画像においてラベルが付与された位置に対応する可視光画像における位置を検出して、可視光画像にラベルを付与してもよい。

また、上述した実施の形態では、入力画像を平行移動させることによって摂動画像を生成するとしたが、このような構成に限られない。摂動は、画像の平行移動でなくてもよい。例えば、画像を回転させることで、摂動画像を生成してもよい。

また、上述した実施の形態では、Ｓ１１０の処理（図７）で、実際に検出された矩形領域のうちで最も高い調整確信度に関する矩形領域を残すとしたが、このような構成に限られない。Ｓ１１０の処理で処理対象となる矩形領域は、実際に検出された矩形領域だけでなく、図１２に示したようにして位置が補正された矩形領域を含んでもよい。

また、上述した実施の形態では、摂動量は予め定められているとしたが、このような構成に限られない。検出対象までの距離を推定できる場合に、検出対象までの距離に応じて摂動量を変えてもよい。例えば、検出対象までの距離が短い場合は摂動量を大きくしてもよい。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
特定の検出対象が異なる複数のモーダルによって撮影された複数の入力画像を取得する入力画像取得手段と、
前記複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得する摂動画像取得手段と、
前記複数の摂動画像それぞれと、前記複数の入力画像のうち摂動させなかった前記入力画像とを用いて前記入力画像に含まれる前記検出対象を検出して、前記複数の摂動画像それぞれについて、検出結果として前記検出対象の検出位置及び検出の確信度を取得する検出処理手段と、
前記複数の摂動画像について取得された前記検出位置及び前記確信度に基づいて、前記摂動させなかった前記入力画像と前記摂動画像とで前記検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように調整するためのパラメータを用いて、前記複数の摂動画像それぞれについて調整された確信度を算出する調整手段と、
前記調整された前記確信度に基づいた前記検出対象の検出結果を出力する出力手段と
を有する物体検出装置。
（付記２）
前記調整された確信度に基づいて複数の摂動画像による検出結果を絞り込んで適切な検出結果を決定する決定手段
をさらに有し、
前記出力手段は、前記決定された検出結果を出力する
付記１に記載の物体検出装置。
（付記３）
前記調整手段は、第１の摂動画像について前記確信度を調整する場合、当該第１の摂動画像に関する検出位置との距離が近い検出位置に関する第２の摂動画像に関する重みを重くするように重み付けして、前記複数の摂動画像の前記確信度を累積する
付記１又は２に記載の物体検出装置。
（付記４）
前記パラメータは、
前記第１の摂動画像の摂動量と前記第２の摂動画像の摂動量との差に応じて前記距離を補正する第１のパラメータと、
前記距離に対する重みを定義する第２のパラメータと
を含む
付記３に記載の物体検出装置。
（付記５）
前記検出対象に対応する検出位置に関する前記摂動画像についての前記調整された確信度が最も高くなるような前記パラメータを算出するパラメータ算出手段
をさらに有する付記１～４のいずれか１項に記載の物体検出装置。
（付記６）
前記パラメータ算出手段は、前記検出対象の正解位置が予め付され前記検出対象の位置が互いに合っている複数の学習用画像のうちの少なくとも１つを摂動させて得られた複数の摂動学習用画像それぞれと、前記複数の学習用画像のうち摂動させなかった前記学習用画像とを用いて得られた検出結果を用いて、前記パラメータを算出する
付記５に記載の物体検出装置。
（付記７）
少なくとも１つの撮像装置と、
付記１～６のいずれか１項に記載の物体検出装置と
を有し、
前記入力画像取得手段は、前記撮像装置によって撮影された前記複数の入力画像を取得する
物体検出システム。
（付記８）
特定の検出対象が異なる複数のモーダルによって撮影された複数の入力画像を取得し、
前記複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得し、
前記複数の摂動画像それぞれと、前記複数の入力画像のうち摂動させなかった前記入力画像とを用いて前記入力画像に含まれる前記検出対象を検出して、前記複数の摂動画像それぞれについて、検出結果として前記検出対象の検出位置及び検出の確信度を取得し、
前記複数の摂動画像について取得された前記検出位置及び前記確信度に基づいて、前記摂動させなかった前記入力画像と前記摂動画像とで前記検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように調整するためのパラメータを用いて、前記複数の摂動画像それぞれについて調整された確信度を算出し、
前記調整された前記確信度に基づいた前記検出対象の検出結果を出力する
物体検出方法。
（付記９）
前記調整された確信度に基づいて複数の摂動画像による検出結果を絞り込んで適切な検出結果を決定し、
前記決定された検出結果を出力する
付記８に記載の物体検出方法。
（付記１０）
第１の摂動画像について前記確信度を調整する場合、当該第１の摂動画像に関する検出位置との距離が近い検出位置に関する第２の摂動画像に関する重みを重くするように重み付けして、前記複数の摂動画像の前記確信度を累積する
付記８又は９に記載の物体検出方法。
（付記１１）
前記パラメータは、
前記第１の摂動画像の摂動量と前記第２の摂動画像の摂動量との差に応じて前記距離を補正する第１のパラメータと、
前記距離に対する重みを定義する第２のパラメータと
を含む
付記１０に記載の物体検出方法。
（付記１２）
前記検出対象に対応する検出位置に関する前記摂動画像についての前記調整された確信度が最も高くなるような前記パラメータを算出する
付記８～１１のいずれか１項に記載の物体検出方法。
（付記１３）
前記検出対象の正解位置が予め付され前記検出対象の位置が互いに合っている複数の学習用画像のうちの少なくとも１つを摂動させて得られた複数の摂動学習用画像それぞれと、前記複数の学習用画像のうち摂動させなかった前記学習用画像とを用いて得られた検出結果を用いて、前記パラメータを算出する
付記１２に記載の物体検出方法。
（付記１４）
特定の検出対象が異なる複数のモーダルによって撮影された複数の入力画像を取得するステップと、
前記複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得するステップと、
前記複数の摂動画像それぞれと、前記複数の入力画像のうち摂動させなかった前記入力画像とを用いて前記入力画像に含まれる前記検出対象を検出して、前記複数の摂動画像それぞれについて、検出結果として前記検出対象の検出位置及び検出の確信度を取得するステップと、
前記複数の摂動画像について取得された前記検出位置及び前記確信度に基づいて、前記摂動させなかった前記入力画像と前記摂動画像とで前記検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように調整するためのパラメータを用いて、前記複数の摂動画像それぞれについて調整された確信度を算出するステップと、
前記調整された前記確信度に基づいた前記検出対象の検出結果を出力するステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。

１ 物体検出装置
２ 入力画像取得部
４ 摂動画像取得部
６ 検出処理部
８ 調整部
１０ 出力部
２０ 物体検出システム
３０ カメラ
１００ 物体検出装置
１１０ 入力画像取得部
１１２ 摂動画像取得部
１１４ 検出処理部
１１６ 検出モデル格納部
１２０ 検出結果統合部
１２２ スコア調整部
１２４ 検出結果決定部
１３０ パラメータ格納部
１４０ 検出結果出力部
１５０ 学習データ格納部
１５２ 摂動画像取得部
１５４ 検出処理部
１６０ パラメータ算出部

Claims (9)

1. 特定の検出対象が異なる複数のモーダルによって撮影された複数の入力画像を取得する入力画像取得手段と、
   前記複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得する摂動画像取得手段と、
   前記複数の摂動画像それぞれと、前記複数の入力画像のうち摂動させなかった前記入力画像とを用いて前記入力画像に含まれる前記検出対象を検出して、前記複数の摂動画像それぞれについて、検出結果として前記検出対象の検出位置及び検出の確信度を取得する検出処理手段と、
   前記複数の摂動画像について取得された前記検出位置及び前記確信度に基づいて、前記摂動させなかった前記入力画像と前記摂動画像とで前記検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように調整するためのパラメータを用いて、前記複数の摂動画像それぞれについて調整された確信度を算出する調整手段と、
   前記調整された前記確信度に基づいた前記検出対象の検出結果を出力する出力手段と
   を有する物体検出装置。
2. 前記調整された確信度に基づいて複数の摂動画像による検出結果を絞り込んで適切な検出結果を決定する決定手段
   をさらに有し、
   前記出力手段は、前記決定された検出結果を出力する
   請求項１に記載の物体検出装置。
3. 前記調整手段は、第１の摂動画像について前記確信度を調整する場合、当該第１の摂動画像に関する検出位置との距離が近い検出位置に関する第２の摂動画像に関する重みを重くするように重み付けして、前記複数の摂動画像の前記確信度を累積する
   請求項１又は２に記載の物体検出装置。
4. 前記パラメータは、
   前記第１の摂動画像の摂動量と前記第２の摂動画像の摂動量との差に応じて前記距離を補正する第１のパラメータと、
   前記距離に対する重みを定義する第２のパラメータと
   を含む
   請求項３に記載の物体検出装置。
5. 前記検出対象に対応する検出位置に関する前記摂動画像についての前記調整された確信度が最も高くなるような前記パラメータを算出するパラメータ算出手段
   をさらに有する請求項１～４のいずれか１項に記載の物体検出装置。
6. 前記パラメータ算出手段は、前記検出対象の正解位置が予め付され前記検出対象の位置が互いに合っている複数の学習用画像のうちの少なくとも１つを摂動させて得られた複数の摂動学習用画像それぞれと、前記複数の学習用画像のうち摂動させなかった前記学習用画像とを用いて得られた検出結果を用いて、前記パラメータを算出する
   請求項５に記載の物体検出装置。
7. 少なくとも１つの撮像装置と、
   請求項１～６のいずれか１項に記載の物体検出装置と
   を有し、
   前記入力画像取得手段は、前記撮像装置によって撮影された前記複数の入力画像を取得する
   物体検出システム。
8. 特定の検出対象が異なる複数のモーダルによって撮影された複数の入力画像を取得し、
   前記複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得し、
   前記複数の摂動画像それぞれと、前記複数の入力画像のうち摂動させなかった前記入力画像とを用いて前記入力画像に含まれる前記検出対象を検出して、前記複数の摂動画像それぞれについて、検出結果として前記検出対象の検出位置及び検出の確信度を取得し、
   前記複数の摂動画像について取得された前記検出位置及び前記確信度に基づいて、前記摂動させなかった前記入力画像と前記摂動画像とで前記検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように調整するためのパラメータを用いて、前記複数の摂動画像それぞれについて調整された確信度を算出し、
   前記調整された前記確信度に基づいた前記検出対象の検出結果を出力する
   物体検出方法。
9. 特定の検出対象が異なる複数のモーダルによって撮影された複数の入力画像を取得するステップと、
   前記複数の入力画像のうちの少なくとも１つを摂動させた複数の摂動画像を取得するステップと、
   前記複数の摂動画像それぞれと、前記複数の入力画像のうち摂動させなかった前記入力画像とを用いて前記入力画像に含まれる前記検出対象を検出して、前記複数の摂動画像それぞれについて、検出結果として前記検出対象の検出位置及び検出の確信度を取得するステップと、
   前記複数の摂動画像について取得された前記検出位置及び前記確信度に基づいて、前記摂動させなかった前記入力画像と前記摂動画像とで前記検出対象の位置が互いに合っている組についての確信度が相対的に高くなるように調整するためのパラメータを用いて、前記複数の摂動画像それぞれについて調整された確信度を算出するステップと、
   前記調整された前記確信度に基づいた前記検出対象の検出結果を出力するステップと
   をコンピュータに実行させるプログラム。

Images