JPWO2013001941A1 - 物体検知装置、物体検知方法および物体検知プログラム - Google Patents

Abstract

広い視野をカバーするために画像に大きな歪みが生じ得る映像から物体を精度良く検知する。撮影視野が広く、画像中の位置に応じて歪みが変化するカメラで撮影したカメラ映像から物体を検知する物体検知装置１であって、カメラ映像から物体を検知するための候補領域を選定するとともに、候補領域を特定する候補領域情報およびカメラ映像の中心から候補領域までの距離を示す位置パラメータ情報を生成する候補領域選定部１０と、候補領域に対応する位置パラメータ情報に基づいて、候補領域から物体を検知する際に用いる物体検知方式を選択するとともに、候補領域からカメラ映像の中心への向きを同じ方向に統一するために、カメラ映像の中心を基準にして候補領域を回転させ、向きを統一させた各候補領域に物体が存在するかどうかを検知する物体検知部２０と、を備える。

Description

本発明は、物体検知装置、物体検知方法および物体検知プログラムに関する。

近年、魚眼レンズを装着したカメラ（以下、「魚眼レンズカメラ」という。）や全方位カメラで撮影した映像から人物を検知する技術が開発されている。下記特許文献１には、全方位カメラで撮影した画像から人物を検知する技術が開示されている。この特許文献１に記載されている技術について、図１０に示す概略構成図を参照しながら簡単に説明する。

図１０の領域判定部５１は、全方位カメラで撮影した画像から、動きのある矩形領域を検出する。領域判定部５１は、検出した矩形領域が、予め設定したオブジェクトサイズに一致するかどうかを判定し、一致している場合には、その矩形領域を画像透視変換部５２に通知する。画像透視変換部５２は、通知された矩形領域に対して、透視変換を行い、変換後の透視投影画像をオブジェクト検出部５３に出力する。オブジェクト検出部５３は、受信した透視投影画像に対してオブジェクト検出を行う。この際、同じパターンを用いてオブジェクト検出を行う。

下記特許文献２には、魚眼レンズカメラで撮影した画像から人物を検知する技術が開示されている。この特許文献２に記載されている技術について、図１１に示す概略構成図を参照しながら簡単に説明する。

図１１の重み付けフレーム間差分検出部６１は、魚眼レンズカメラで撮影した画像に基づいて、レンズの中心からの距離に応じて重み付けをしたフレーム間差分値を算出する。ラスタースキャン処理部６２は、重み付けフレーム間差分検出部６１で算出したフレーム間差分値を予め設定した閾値と比較し、人物である可能性が高い領域を抽出する。この処理を全画像について行い、人物である可能性が高い領域を台形エリア探索部６３に通知する。台形エリア探索部６３は、通知された領域から台形形状の領域を探索する。見つかった場合には、その領域を切り出し、人物検出部６４に通知する。人物検出部６４は、切り出された領域に対し、正規化した台形形状の人物形状モデルを用いて大きさおよび形状を照合することで人物領域を検出する。

下記特許文献３には、魚眼レンズカメラで撮影した画像中の物体の位置が中心付近にあるのか周辺付近にあるのかによって、物体を検知する際の辞書やアルゴリズムを切り替える技術が開示されている。

特開２０１０−１９９７１３号公報 特開平１１−２６１８６８号公報 特開２００７−２５７６７号公報

特許文献１に記載の技術では、画像内の人物の有無にかかわらず透視変換を行ってからオブジェクトを検出しているため、画素数が少なく情報が乏しい領域も透視変換によって引き伸ばされる（拡大される）ことになる。つまり、情報量の多少にかかわらずオブジェクトを検出することになるため、透視変換を行う領域の大部分が情報の乏しい領域である場合には、オブジェクトの検出精度が低下してしまう。

特許文献２に記載の技術では、魚眼レンズカメラで撮影される人物は映る位置によって見え方が異なるにもかかわらず、人物の映っている位置を考慮することなく、同じ人物形状モデルを用いて人物を検出している。したがって、人物の映り方が、人物形状モデルと乖離している領域では、人物の検出精度が低下してしまう。

特許文献３に記載の技術では、魚眼レンズカメラで撮影される物体は撮影された位置に応じて向きや姿勢等が変化するにもかかわらず、向きや姿勢等の変化については何ら考慮されていない。したがって、撮影した物体の向きや姿勢等が基準に比べて大きく変化している場合には物体の検出精度が低下してしまう。

本発明は、上述した課題を解決するためになされたものであり、例えば魚眼レンズカメラや全方位カメラで撮影した映像のように、広い視野をカバーするために画像に大きな歪みが生じ得る映像から物体を精度良く検知することができる物体検知装置、物体検知方法および物体検知プログラムを提供することを目的の一つとする。なお、物体には人物も含むこととする。

本発明の物体検知装置は、撮影視野が広く、画像中の位置に応じて歪みが変化するカメラで撮影したカメラ映像から物体を検知する物体検知装置であって、前記カメラ映像から物体を検知するための候補領域を選定するとともに、前記候補領域を特定する候補領域情報および前記カメラ映像の中心から前記候補領域までの距離を示す位置パラメータ情報を生成する候補領域選定部と、前記候補領域に対応する前記位置パラメータ情報に基づいて、前記候補領域から物体を検知する際に用いる物体検知方式を選択するとともに、前記候補領域から前記カメラ映像の中心への向きを同じ方向に統一するために、前記カメラ映像の中心を基準にして前記候補領域を回転させ、前記向きを統一させた各前記候補領域に物体が存在するかどうかを検知する物体検知部と、を備える。

本発明の物体検知方法は、撮影視野が広く、画像中の位置に応じて歪みが変化するカメラで撮影したカメラ映像から物体を検知する物体検知方法であって、前記カメラ映像から物体を検知するための候補領域を選定するとともに、前記候補領域を特定する候補領域情報および前記カメラ映像の中心から前記候補領域までの距離を示す位置パラメータ情報を生成する候補領域選定ステップと、前記候補領域に対応する前記位置パラメータ情報に基づいて、前記候補領域から物体を検知する際に用いる物体検知方式を選択するとともに、前記候補領域から前記カメラ映像の中心への向きを同じ方向に統一するために、前記カメラ映像の中心を基準にして前記候補領域を回転させ、前記向きを統一させた各前記候補領域に物体が存在するかどうかを検知する物体検知ステップと、を含む。

本発明の物体検知プログラムは、上記物体検知方法に含まれる各ステップをコンピュータに実行させる。

本発明によれば、例えば魚眼レンズカメラや全方位カメラで撮影した映像のように、広い視野をカバーするために画像に大きな歪みが生じ得る映像から物体を精度良く検知することができる。

実施形態における物体検知装置の構成を例示する図である。 魚眼レンズカメラで撮影した映像と候補領域との関係を例示する図である。 全方位カメラで撮影した映像と候補領域との関係を例示する図である。 図１の候補領域選定部の構成を例示する図である。 物体検知処理の手順を説明するためのフローチャートである。 図１の物体検知部の構成を例示する図である。 回転補正前の候補領域を例示する図である。 回転補正後の候補領域を例示する図である。 変形例における候補領域選定部の構成を例示する図である。 従来方式（特許文献１）の概略構成を説明するための図である。 従来方式（特許文献２）の概略構成を説明するための図である。

以下、添付図面を参照して、本発明に係る物体検知装置、物体検知方法および物体検知プログラムの好適な実施形態について説明する。

まず、図１を参照して、実施形態における物体検知装置の構成について説明する。物体検知装置１は、機能的には、候補領域選定部１０と、物体検知部２０とを有する。

ここで、物体検知装置１は、物理的には、例えば、ＣＰＵ（Central Processing Unit）と、記憶装置と、入出力インターフェースとを含んで構成される。記憶装置には、例えば、ＣＰＵで処理されるプログラムおよびデータを記憶するＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）、主として制御処理のための各種作業領域として使用されるＲＡＭ（Random Access Memory）等の要素が含まれる。これらの要素は、互いにバスを介して接続されている。ＣＰＵが、ＲＯＭに記憶されたプログラムを実行し、入出力インターフェースを介して受信されるデータや、ＲＡＭに展開されるデータ等を処理することで、物体検知装置１における各部の機能を実現することができる。

図１の候補領域選定部１０は、外部から入力されるカメラ映像を受信し、候補領域情報および位置パラメータ情報を物体検知部２０に出力する。物体検知部２０は、候補領域選定部１０により出力された候補領域情報および位置パラメータ情報を受信し、物体検知結果を外部に出力する。

候補領域選定部１０が受信するカメラ映像は、例えば魚眼レンズカメラや全方位カメラ等のように、広い視野を一枚の画像に収め得るカメラで撮影した映像である。このようなカメラ映像には、広い視野をカバーするために幾何的な歪みが含まれ、画像中の位置に応じて物体の見え方が異なるという特徴がある。なお、入力される映像が圧縮されている場合には、最初に、その映像を復号し、フレーム画像を生成する。

候補領域選定部１０は、フレーム画像中から、物体の存在する可能性が高い領域を候補領域として選択する。

ここで、候補領域とは、後段の物体検知部２０で物体の検知を試みる画像領域のことであり、画像中の一部を切り出した領域である。画像中のどの領域においても物体が存在し得る可能性がある場合には、画像中の領域を均等に分割して、候補領域としてもよい。一方、例えば障害物等が置かれていたり、柱等があったりして、物体の存在し得る位置が画像全体ではなく、画像の一部に限定されている場合には、存在し得る部分のみを均等に分割して候補領域としてもよい。また、物体の色や形に特徴がある場合には、それらの特徴を手がかりとして候補領域を選択してもよい。この詳細については、後述する。

候補領域選定部１０は、検出対象の物体の見え方と画像中の位置とを対応付ける位置パラメータを、各候補領域に対して算出する。位置パラメータについて、以下に説明する。

物体の見え方(映り方)は、上述したように広い視野をカバーするために画像中の位置に応じて変化する。例えば、魚眼レンズカメラを天井から下方に向けて設置して撮影した場合には、レンズの中心に近い画像の中央部分は、物体を真上から撮影した画像となる。一方、レンズの中心から離れた画像の周辺部分は、鉛直方向が画像の中心を向くように撮影された画像となる。物体の像は、画像の周辺部分にいく程、幾何的な歪みが大きくなる。

このように、物体の見え方は中心からの距離に応じて変化する。そこで、候補領域選定部１０は、中心から候補領域までの距離を算出し、これを位置パラメータとして用いる。

図２および図３を参照して、位置パラメータについて具体的に説明する。図２は魚眼レンズカメラで撮影した画像であり、図３は反射鏡タイプの全方位カメラで撮影した画像である。図２の場合、候補領域選定部１０は、候補領域Ｒ１に対して、魚眼レンズカメラのレンズ中心からの距離ｒ１を位置パラメータとして算出する。図３の場合、候補領域選定部１０は、候補領域Ｒ２に対して、全方位カメラの視野の中心位置からの距離ｒ２を位置パラメータとして算出する。以下では、距離ｒ１および距離ｒ２と同様に算出された距離を、「中心からの距離」と記載する。

なお、各候補領域の大きさや形状は、レンズ歪みによる物体の大きさの変化を考慮して、中心からの距離に応じて変えるようにしてもよい。例えば、中心付近では物体が大きく映り、周辺では小さくなるため、中心付近では候補領域を大きくし、中心からの距離が大きくなるほど、候補領域の大きさを小さくするようにしてもよい。

また、各候補領域の大きさや形状は、後段の物体検知部２０により選択される物体検知方式に応じて変えるようにしてもよい。例えば、選択された物体検知方式ごとに、検知に適した物体の部位が選定されるため、物体検知方式で選定される物体の部位に応じて候補領域の大きさや形状を変更してもよい。

候補領域選定部１０は、選定した各候補領域を特定するための候補領域情報と、候補領域ごとに算出した位置パラメータ情報と、を物体検知部２０に出力する。

候補領域情報には、候補領域の位置や形状等を記述する情報が含まれる。この記述方式は、候補領域を一意に特定することができれば、どのような記述方式でもよい。例えば、候補領域が正方形である場合には、その中心の座標と一辺の長さとを組み合わせて候補領域情報としてもよい。また、候補領域が多角形である場合には、その頂点の情報を候補領域情報としてもよい。また、候補領域内の一点の座標と、その点の周囲で切り出す領域の情報とを組み合わせて候補領域情報としてもよい。点の周囲で切り出す領域の形状や大きさが予め定められている場合には、座標情報のみを候補領域情報としてもよい。

上記予め定める領域の形状や大きさは、指定する点の座標に応じて変化させてもよい。例えば、点の周囲で切り出す領域の形状や大きさを、中心からその点までの距離に応じて予め設定しておき、指定された点の座標を用いて領域の形状や大きさを決定することとしてもよい。

位置パラメータ情報には、中心からの距離を示す情報が含まれる。なお、例えば中心からの距離を量子化し、その量子化した値に応じて領域の形状や大きさを設定する場合には、中心からの距離に替えて、量子化のインデックス値を位置パラメータ情報に含めることとしてもよい。

上述した候補領域選定部１０は、図４に示すように、例えば、視覚特徴類似領域選定部１１と、大きさベース領域絞込部１２とを含む構成としてもよい。

視覚特徴類似領域選定部１１は、外部から入力されるカメラ映像を受信し、このカメラ映像に基づいて物体視覚特徴量情報ＤＢ１３に記憶されている物体視覚特徴量情報を参照し、視覚特徴ベース候補領域情報を大きさベース領域絞込部１２に出力する。大きさベース領域絞込部１２は、視覚特徴類似領域選定部１１により出力された視覚特徴ベース候補領域情報を受信し、この視覚特徴ベース候補領域情報に基づいてカメラキャリブレーション情報ＤＢ１４に記憶されているカメラキャリブレーション情報を参照し、候補領域情報および位置パラメータ情報を物体検知部２０に出力する。

物体視覚特徴量情報ＤＢ１３は、検知対象となる物体の視覚特徴量に関する情報を、物体視覚特徴量情報として記憶する。

視覚特徴量として、例えば、物体の色や、模様、形状等の特徴量を用いることができる。例えば、物体が特有の色を有する場合には、その色の特徴量を算出し、視覚特徴量として用いる。また、物体が特有の模様を有する場合には、その模様の特徴量を算出し、視覚特徴量として用いる。また、物体が特有の形状を有する場合には、その形状の特徴量を算出し、視覚特徴量として用いる。

以下においては、視覚特徴量として、色の特徴量を用いた場合について説明する。なお、視覚特徴量として、模様や形状の特徴量を用いた場合についても色の特徴量を用いた場合と同様に適用することができる。

物体視覚特徴量情報ＤＢ１３は、検知対象物体の色の特徴量に関する情報を物体視覚特徴量情報として記憶する。色の特徴量としては、例えば、検知対象物体が帽子やヘルメットを被った人間である場合には、帽子やヘルメットの色成分のとり得る上限や下限の値が該当する。具体的には、帽子やヘルメットのＲ（Red）、Ｇ（Green）、Ｂ（Blue）値を分析し、それぞれの値の取り得る上限および下限の値を色の特徴量として用いる。この際、物体の色が物体面の状態や光の条件等によって変化し得ることを考慮し、ＲＧＢ値の上限や下限の値にある程度余裕を持たせることが好ましい。なお、色成分を分析する際の色空間は、ＲＧＢ色空間であることには限定されず、例えば、ＨＳＶ（Hue Saturation Value）色空間やＬ＊ａ＊ｂ色空間であってもよい。

視覚特徴類似領域選定部１１は、物体視覚特徴量情報ＤＢ１３を参照し、物体視覚特徴量情報として記憶されている各種値の範囲内に収まる色を有する画素を、カメラ画像から抽出し、候補領域を構築する。

なお、物体視覚特徴量情報として記憶するのは、色成分の上限および下限の値に限定されない。例えば、物体の色の分布をモデル化し、このモデル化した色の分布に関する情報を物体視覚特徴量情報として記憶してもよい。この場合、視覚特徴類似領域選定部１１は、物体視覚特徴量情報として記憶されている色の分布に基づいてカメラ画像の各画素が物体色となり得る尤度を算出し、この尤度が一定以上となる画素をカメラ画像から抽出して候補領域を構築する。色の分布を正規分布と見なして用いる場合には、モデル化した色の分布の平均および標準偏差を、物体視覚特徴量情報として記憶し、カメラ画像の各画素が物体色となり得る尤度を、物体視覚特徴量情報に含まれる平均および標準偏差を用いて算出する。

また、物体視覚特徴量情報として、物体の代表的な色を示す典型色を記憶してもよい。この場合に、視覚特徴類似領域選定部１１は、カメラ画像の各画素の色と典型色との間の類似度を算出し、この類似度が一定値以上となる画素をカメラ画像から抽出して候補領域を構築する。類似度の尺度としては、例えば、色成分間の内積を用いることができる。一方、類似度の尺度として、色成分間の距離を用いることもできる。この場合には、算出した類似度が一定値以下となる画素をカメラ画像から抽出して候補領域を構築する。

ここで、魚眼レンズカメラや全方位カメラで撮影した場合には、中心から離れるにしたがって見え方が変化することが多い。例えば、視覚特徴量が色の特徴量である場合には、中心付近に比べ、周囲の方が映る物体の色の分布が広くなることがある。また、視覚特徴量が模様の特徴量である場合には、中心付近に比べ、周囲の方が細かい模様を抽出できなくなることがある。

このように、中心からの距離に応じて特徴量が変化する場合には、例えば、物体の視覚特徴量の情報を中心からの距離に応じて物体視覚特徴量情報ＤＢ１３に記録しておき、視覚特徴類似領域選定部１１は、画素の座標に応じて、候補領域の抽出に用いる視覚特徴量情報を切り替えるようにしてもよい。

また、例えば、物体の基準となる視覚特徴量情報と、中心からの距離に応じて視覚特徴量を調整するための情報とを物体視覚特徴量情報ＤＢ１３に記録しておき、視覚特徴類似領域選定部１１は、画素の位置に応じて、基準となる視覚特徴量情報を調整し、調整後の視覚特徴量情報を候補領域の抽出に用いることとしてもよい。

視覚特徴類似領域選定部１１は、候補領域を特定するための位置や大きさの情報を生成し、この生成した情報を視覚特徴ベース候補領域情報として大きさベース領域絞込部１２に出力する。

なお、視覚特徴類似領域選定部１１によって抽出される候補領域や画素は、照明条件やノイズ等の影響によって、例えば小さい領域に分割されて抽出される等のように、必ずしもまとまって抽出されるとは限らない。したがって、近傍で視覚特徴量が類似する画素や小領域同士を統合する処理を行い、統合した領域を候補領域として選定してもよい。例えば、視覚特徴量の差が一定値以内の画素同士をラベリング処理やモルフォロジカル処理を用いて統合し、より粒度の大きな領域にまとめてから候補領域として選定してもよい。

大きさベース領域絞込部１２は、視覚特徴類似領域選定部１１から受信した視覚特徴ベース候補領域情報に含まれる各候補領域の大きさと、カメラキャリブレーション情報ＤＢ１４に記憶されているカメラのキャリブレーション情報と、を用いて物体の見かけの大きさを算出する。大きさベース領域絞込部１２は、算出した物体の見かけの大きさに基づいて、物体の候補になり得るかどうかを判定し、物体としてふさわしい大きさの候補領域のみを選定する。

具体的には、以下のようにして選定する。まず、物体の実際の大きさに関する情報とキャリブレーション情報とに基づいて、画像中の各位置における物体の見かけの大きさとして取り得る上限および下限の値を予め算出しておく。大きさベース領域絞込部１２は、各候補領域の大きさが、予め算出した上限と下限との範囲内に収まるかどうかを判定し、範囲内に収まる候補領域のみを選定する。

なお、この選定方法には限定されず、例えば、大きさベース領域絞込部１２は、各候補領域の大きさと物体の見かけの大きさとの差に応じて物体の尤度を算出し、この尤度が一定値以上となる候補領域を選定することとしてもよい。

大きさベース領域絞込部１２は、選定した候補領域に関する情報を候補領域情報として物体検知部２０に出力する。また、大きさベース領域絞込部１２は、選定した候補領域ごとに中心からの距離を算出し、この中心からの距離を位置パラメータ情報とし、候補領域情報と共に物体検知部２０に出力する。

図１に示す物体検知部２０は、候補領域選定部１０から受信した候補領域情報に含まれる候補領域に対して物体検知処理を実行する。物体検知処理は、位置パラメータの値である中心からの距離に応じて物体検知方式を切り替えて実行される。つまり、物体検知部２０は、複数の物体検知方式を装備しており、中心からの距離に応じて一つの物体検知方式を選択し、物体検知処理を実行する。

物体検知方式には、物体の見え方が中心からの距離に応じて異なることを考慮し、中心からの距離に応じて検知に適した物体の部位を選択する際の取り決めが含まれる。物体検知部２０が中心からの距離に応じて選択する物体検知方式について、以下に、具体的に説明する。

例えば、検知対象が人物である場合には、中心からの距離が０に近いところでは、頭頂部のみが撮影され、足下は撮影されないことが多い。特に、人物が物を持っている場合には、この傾向が顕著になる。したがって、中心からの距離が０に近いときには、頭頂部を検知するための物体検知方式を選択する。人物が作業帽やヘルメットを被っている場合には、作業帽やヘルメットを検知するための物体検知方式を選択する。

一方、中心からの距離が大きくなるにつれ、頭部領域の大きさが小さくなり、頭頂部を検知するだけでは人物を検知することが難しくなる。したがって、中心からの距離が大きいときには、頭頂部に加え、体の上半身部分も含めて検知するための物体検知方式を選択する。

具体的に、人物が普通に立っている状態で、顔までが映る距離になったときには、頭部から肩位までを含む領域を検知するための物体検知方式を選択する。さらに中心から離れ、顔の領域が小さくなり、全身が十分に映る距離になったときには、頭部から胸や腹の辺りまでを含む領域を検知する物体検知方式を選択する。

人物が物を持っている場合には、その物をできる限り含まない上半身部分を含めて検知するための物体検知方式を選択する。ただし、人物が大きな物を持つことは稀であるため、足下まで十分に映る状況であれば、全身が十分に映る距離になったところで、足を含む全身の領域を検知するための物体検知方式を選択してもよい。

図５を参照して、物体検知処理の手順について説明する。

最初に、物体検知部２０は、候補領域選定部１０から受信した候補領域情報に含まれる候補領域から一つの候補領域を選択する（ステップＳ１０１）。

続いて、物体検知部２０は、選択された候補領域に対応する位置パラメータ情報に基づいて、物体検知方式を選択する（ステップＳ１０２）。

続いて、物体検知部２０は、選択された物体検知方式を用いて、カメラ映像中の候補領域に対して物体検知を実行し（ステップＳ１０３）、候補領域に物体が存在するか否かを示す物体検知結果を算出する。

続いて、物体検知部２０は、全ての候補領域を選択したか否かを判定する（ステップＳ１０４）。この判定がＮＯである場合（ステップＳ１０４；ＮＯ）には、処理を上記ステップＳ１０１に移行し、この判定がＹＥＳである場合（ステップＳ１０４；ＹＥＳ）には、物体検知処理を終了する。

上述した物体検知部２０は、図６に示すように、例えば、回転補正部２１と、回転補正物体検知部２２とを含む構成としてもよい。

回転補正部２１は、外部から入力されるカメラ映像と、候補領域選定部１０により出力された候補領域情報および位置パラメータ情報と、を受信し、回転補正領域情報を回転補正物体検知部２２に出力する。回転補正物体検知部２２は、回転補正部２１により出力された回転補正領域情報と、候補領域選定部１０により出力された位置パラメータ情報と、を受信し、物体検知結果を外部に出力する。

回転補正部２１は、受信した候補領域情報に含まれる候補領域を回転して、物体の向きを同じ方向に統一する。統一する向きとして、例えば鉛直方向や水平方向を用いることができるが、回転後の物体の向きを同じ方向に統一できれば他の向きであってもよい。

図７および図８を参照して、物体の向きを鉛直方向に統一する場合について具体的に説明する。候補領域情報に含まれる候補領域が、図７に示す人物を含む候補領域Ｒである場合に、回転補正部２１は、図８に示すように、候補領域Ｒ内の人物の頭側が上に位置し、脚側が下に位置するように、候補領域Ｒの向きを回転する。候補領域Ｒの向きを回転する際には、レンズ中心を回転軸（基準）にして回転する。

候補領域Ｒを回転する際の回転角度は、例えば、以下のように算出することができる。

回転補正部２１は、図７に示す候補領域Ｒの方位角θを算出し、基準となる方位角θ０との差を求め、差の分だけ候補領域Ｒを回転させる。物体の向きを鉛直方向に統一する場合を例にして、具体的に説明する。この場合、基準方位角θ０は９０度となる。したがって、回転補正部２１は、図７の候補領域Ｒの方位角θと９０度との差を算出し、この差の分だけ候補領域Ｒを反時計回りに回転させる。これにより、候補領域Ｒの向きが鉛直方向に補正（回転補正）される（図８参照）。

回転補正部２１による上記回転補正処理と並行して、物体検知部２０は、位置パラメータ情報（中心からの距離ｒ）に応じて選択される物体検知方式に適合させるために、候補領域Ｒの大きさを正規化する正規化処理を行う。この正規化処理は、例えば、以下のように行うことができる。

物体検知部２０は、選択した物体検知方式で処理する領域の大きさを基準にして候補領域内の画素をサンプリングし、回転補正後の候補領域内の画素値を算出する。

具体的に、物体検知方式がＭ×Ｎの矩形画像に対して物体検知を行う処理である場合に実行する正規化処理の手順について以下に説明する。

最初に、物体検知部２０は、回転補正後の候補領域の大きさがＭ×Ｎとなるように、回転補正後の各画素の位置座標を算出する。続いて、物体検知部２０は、算出した回転補正後の各画素の位置座標に対応する回転補正前の位置座標をそれぞれ算出する。続いて、物体検知部２０は、算出した回転補正前の各位置座標における画素値をそれぞれ算出する。続いて、物体検知部２０は、算出した各画素値を、それぞれに対応する回転補正後の位置座標における画素値とする。

ここで、回転補正後の画素の位置座標に基づいて算出した回転補正前の位置座標に画素が存在しない場合には、例えば、その回転補正前の位置座標周辺の画素値を内挿補間して画素値を算出すればよい。

回転補正部２１は、回転補正後の候補領域に関する情報を含む回転補正領域情報を回転補正物体検知部２２に出力する。

回転補正物体検知部２２は、回転補正部２１から受信した回転補正領域情報に含まれる回転補正後の候補領域に対して物体検知処理を行う。

物体検知処理の手法としては、様々な手法を用いることができる。例えば、事前に学習させたニューラルネットワークに回転補正後の候補領域の画素値をそのまま入力し、物体の有無を判定する手法を用いることができる。また、回転補正後の候補領域の画素値から特徴量を抽出し、事前に学習させたＳＶＭ（Support Vector Machine）やＬＶＱ（Learning Vector Quantization）等の識別器に特徴量を入力し、物体の有無を判定する手法を用いてもよい。

中心からの距離に応じて、異なる手法を用いても良いし、同一の手法を用いて辞書情報のみを切り替えるようにしてもよい。辞書情報のみを切り替える場合には、識別器を複数用意しなくてもよいため、回転補正物体検知部２２をコンパクトに実装することが可能となる。

また、回転補正後の候補領域として用いる画素数や次元数等の特徴量のパラメータを同じものに統一しておくと、回転補正後の候補領域のデータを格納するデータ構造を、中心からの距離にかかわらず共通化できるため、よりコンパクトに実装することが可能となる。

回転補正物体検知部２２は、各回転補正後の候補領域に対して行った物体検知処理の結果を、物体検知結果として外部に出力する。

本実施形態における物体検知部２０によれば、検知対象となる物体の向きを同じ向きに統一することができるため、画像上の全ての位置に対する辞書情報や学習データを備えることなく、中心からの距離に応じたデータを格納する辞書情報や学習データを用いることができる。これにより、物体検出時に用いる辞書情報や学習データのサイズを小さくすることが可能となる。

上述したように、本実施形態における物体検知装置１によれば、画像に映っている物体の像を、映っている位置に応じて物体の見え方が異なることを考慮しつつ、その位置において最適な物体検知方式を選択して物体検知を行うことができる。

これにより、幾何的歪みが大きく画素数が少ない領域については、画素数が少ない領域をそのまま用いる物体検知方式を採用することができるため、情報に乏しい領域を引き伸ばすことで生じる検出精度の低下を防止することができる。

また、物体の見え方に応じて、物体検知に用いる部位を変更することができるため、物体が映っている位置にかかわらず同じモデルを用いることによって生じる検出精度の低下を防止することができる。

さらに、候補領域の角度が基準角度と一致するように候補領域の向きを回転補正して候補領域の向きを同じ方向に統一させることができるため、撮影した物体の向きや姿勢等が基準に比べて大きく変化していることによって生じる検出精度の低下を防止することができる。

それゆえに、本実施形態における物体検知装置１によれば、魚眼レンズカメラや全方位カメラで撮影した映像のように、広い視野をカバーするために画像に大きな歪みを生じ得る映像であっても、そのような映像から物体を精度良く検知することが可能となる。

[変形例]
なお、上述した実施形態は、単なる例示に過ぎず、実施形態に明示していない種々の変形や技術の適用を排除するものではない。すなわち、本発明は、その趣旨を逸脱しない範囲で様々な形態に変形して実施することができる。

例えば、上述した実施形態の候補領域選定部は、図４に示す構成には限定されない。例えば、図９に示すように、視覚特徴・大きさベース候補領域選定部１５を含む構成としてもよい。

図９に示す視覚特徴・大きさベース候補領域選定部１５は、外部から入力されるカメラ画像を受信する。視覚特徴・大きさベース候補領域選定部１５は、受信したカメラ画像に基づいて物体視覚特徴量情報ＤＢ１３に記憶されている物体視覚特徴量情報を参照する。視覚特徴・大きさベース候補領域選定部１５は、物体視覚特徴量情報と、カメラキャリブレーション情報ＤＢ１４に記憶されているカメラキャリブレーション情報とを用いて、画像中の各画素または小領域に対する尤度を算出し、この尤度が一定値以上となる画素または小領域を抽出し、候補領域を構築する。

物体視覚特徴量情報ＤＢ１３やカメラキャリブレーション情報ＤＢ１４を参照する際の手順については、上述した実施形態における候補領域選定部と同様である。上述した実施形態における候補領域選定部と異なる点は、物体視覚特徴量と大きさとの両方を同時に用いて物体の尤度を算出し、候補領域を選定する点である。

視覚特徴・大きさベース候補領域選定部１５は、選定した候補領域に関する情報を候補領域情報として物体検知部２０に出力する。また、視覚特徴・大きさベース候補領域選定部１５は、選定した候補領域の中心からの距離を算出し、この中心からの距離を位置パラメータ情報とし、候補領域情報と共に物体検知部２０に出力する。

また、上述した実施形態の一部または全部は、以下の付記のようにも記載され得る。ただし、本発明を以下のように限定するものではない。

（付記１） 撮影視野が広く、画像中の位置に応じて歪みが変化するカメラで撮影したカメラ映像から物体を検知する物体検知装置であって、前記カメラ映像から物体を検知するための候補領域を選定するとともに、前記候補領域を特定する候補領域情報および前記カメラ映像の中心から前記候補領域までの距離を示す位置パラメータ情報を生成する候補領域選定部と、前記候補領域に対応する前記位置パラメータ情報に基づいて、前記候補領域から物体を検知する際に用いる物体検知方式を選択するとともに、前記候補領域から前記カメラ映像の中心への向きを同じ方向に統一するために、前記カメラ映像の中心を基準にして前記候補領域を回転させ、前記向きを統一させた各前記候補領域に物体が存在するかどうかを検知する物体検知部と、を備えることを特徴とする物体検知装置。

（付記２） 前記候補領域選定部は、予め登録されている物体の視覚特徴量に類似する視覚特徴を有する画像領域を視覚特徴ベース候補領域として選定するとともに、予め登録されている前記カメラのキャリブレーション情報を用いて、前記視覚特徴ベース候補領域の位置における物体の画像上での大きさを算出し、当該算出した大きさに基づいて前記視覚特徴ベース候補領域のうち物体が含まれている可能性が高い領域を前記候補領域として選定する、ことを特徴とする付記１記載の物体検知装置。

（付記３） 前記候補領域選定部は、予め登録されている物体の視覚特徴量および予め登録されている前記カメラのキャリブレーション情報に基づいて、画像領域に物体が存在する尤度を算出し、当該尤度が一定値以上となる画像領域を前記候補領域として選定する、ことを特徴とする付記１記載の物体検知装置。

（付記４） 前記候補領域選定部は、前記物体検知部により選択される前記物体検知方式または画像領域の中心からの距離に基づいて、前記候補領域の大きさおよび形状を変更する、ことを特徴とする付記１〜３のいずれかに記載の物体検知装置。

（付記５） 前記候補領域選定部は、画像領域の視覚特徴量および大きさに基づいて前記候補領域を選定する、ことを特徴とする付記１〜４のいずれかに記載の物体検知装置。

（付記６） 前記候補領域選定部は、画像領域の中心からの距離に応じて前記候補領域を選定する際の選定基準を変化させる、ことを特徴とする付記１〜５のいずれかに記載の物体検知装置。

（付記７） 前記物体検知部は、物体を検知する手法を前記カメラ映像の中心からの距離に応じて変更せずに、物体を検知する際に用いる辞書情報を前記カメラ映像の中心からの距離に応じて切り替える、ことを特徴とする付記１〜６のいずれかに記載の物体検知装置。

（付記８） 前記物体検知部は、同種の前記手法で用いる特徴量のパラメータが前記カメラ映像の中心からの距離にかかわらず同じである、ことを特徴とする付記７記載の物体検知装置。

（付記９） 撮影視野が広く、画像中の位置に応じて歪みが変化するカメラで撮影したカメラ映像から物体を検知する物体検知方法であって、前記カメラ映像から物体を検知するための候補領域を選定するとともに、前記候補領域を特定する候補領域情報および前記カメラ映像の中心から前記候補領域までの距離を示す位置パラメータ情報を生成する候補領域選定ステップと、前記候補領域に対応する前記位置パラメータ情報に基づいて、前記候補領域から物体を検知する際に用いる物体検知方式を選択するとともに、前記候補領域から前記カメラ映像の中心への向きを同じ方向に統一するために、前記カメラ映像の中心を基準にして前記候補領域を回転させ、前記向きを統一させた各前記候補領域に物体が存在するかどうかを検知する物体検知ステップと、を含むことを特徴とする物体検知方法。

（付記１０） 付記９に記載の各ステップをコンピュータに実行させるための物体検知プログラム。

この出願は、２０１１年６月２７日に出願された日本出願特願２０１１−１４１５０８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明に係る物体検知装置、物体検知方法および物体検知プログラムは、例えば魚眼レンズカメラや全方位カメラで撮影した映像のように、広い視野をカバーするために画像に大きな歪みが生じ得る映像から物体を精度良く検知することに適している。

１…物体検知装置
１０…候補領域選定部
１１…視覚特徴類似領域選定部
１２…大きさベース領域絞込部
１３…物体視覚特徴量情報ＤＢ
１４…カメラキャリブレーション情報ＤＢ
１５…視覚特徴・大きさベース候補領域選定部
２０…物体検知部
２１…回転補正部
２２…回転補正物体検知部

Claims (10)

1. 撮影視野が広く、画像中の位置に応じて歪みが変化するカメラで撮影したカメラ映像から物体を検知する物体検知装置であって、
   前記カメラ映像から物体を検知するための候補領域を選定するとともに、前記候補領域を特定する候補領域情報および前記カメラ映像の中心から前記候補領域までの距離を示す位置パラメータ情報を生成する候補領域選定部と、
   前記候補領域に対応する前記位置パラメータ情報に基づいて、前記候補領域から物体を検知する際に用いる物体検知方式を選択するとともに、前記候補領域から前記カメラ映像の中心への向きを同じ方向に統一するために、前記カメラ映像の中心を基準にして前記候補領域を回転させ、前記向きを統一させた各前記候補領域に物体が存在するかどうかを検知する物体検知部と、
   を備えることを特徴とする物体検知装置。
2. 前記候補領域選定部は、予め登録されている物体の視覚特徴量に類似する視覚特徴を有する画像領域を視覚特徴ベース候補領域として選定するとともに、予め登録されている前記カメラのキャリブレーション情報を用いて、前記視覚特徴ベース候補領域の位置における物体の画像上での大きさを算出し、当該算出した大きさに基づいて前記視覚特徴ベース候補領域のうち物体が含まれている可能性が高い領域を前記候補領域として選定する、ことを特徴とする請求項１記載の物体検知装置。
3. 前記候補領域選定部は、予め登録されている物体の視覚特徴量および予め登録されている前記カメラのキャリブレーション情報に基づいて、画像領域に物体が存在する尤度を算出し、当該尤度が一定値以上となる画像領域を前記候補領域として選定する、ことを特徴とする請求項１記載の物体検知装置。
4. 前記候補領域選定部は、前記物体検知部により選択される前記物体検知方式または画像領域の中心からの距離に基づいて、前記候補領域の大きさおよび形状を変更する、ことを特徴とする請求項１〜３のいずれか１項に記載の物体検知装置。
5. 前記候補領域選定部は、画像領域の視覚特徴量および大きさに基づいて前記候補領域を選定する、ことを特徴とする請求項１〜４のいずれか１項に記載の物体検知装置。
6. 前記候補領域選定部は、画像領域の中心からの距離に応じて前記候補領域を選定する際の選定基準を変化させる、ことを特徴とする請求項１〜５のいずれか１項に記載の物体検知装置。
7. 前記物体検知部は、物体を検知する手法を前記カメラ映像の中心からの距離に応じて変更せずに、物体を検知する際に用いる辞書情報を前記カメラ映像の中心からの距離に応じて切り替える、ことを特徴とする請求項１〜６のいずれか１項に記載の物体検知装置。
8. 前記物体検知部は、同種の前記手法で用いる特徴量のパラメータが前記カメラ映像の中心からの距離にかかわらず同じである、ことを特徴とする請求項７記載の物体検知装置。
9. 撮影視野が広く、画像中の位置に応じて歪みが変化するカメラで撮影したカメラ映像から物体を検知する物体検知方法であって、
   前記カメラ映像から物体を検知するための候補領域を選定するとともに、前記候補領域を特定する候補領域情報および前記カメラ映像の中心から前記候補領域までの距離を示す位置パラメータ情報を生成する候補領域選定ステップと、
   前記候補領域に対応する前記位置パラメータ情報に基づいて、前記候補領域から物体を検知する際に用いる物体検知方式を選択するとともに、前記候補領域から前記カメラ映像の中心への向きを同じ方向に統一するために、前記カメラ映像の中心を基準にして前記候補領域を回転させ、前記向きを統一させた各前記候補領域に物体が存在するかどうかを検知する物体検知ステップと、
   を含むことを特徴とする物体検知方法。
10. 請求項９に記載の各ステップをコンピュータに実行させるための物体検知プログラム。