JP6065629B2 - 物体検知装置 - Google Patents

Description

本発明は、物体検知装置に関する。

特許文献１には、テンプレート画像よりも小さいサブテンプレート画像を設定し、サブテンプレートで一度照合を行い、マッチング度合いが高い場合にのみ、フルテンプレートで照合する２段階テンプレート照合法が開示されている。この従来技術には、サブテンプレートとして、テンプレートの一部を切り出した画像や、テンプレートを複数段階に圧縮した画像を用いている。

特許第4387889号公報

しかしながら、上記従来技術にあっては、車両に広角カメラと狭角カメラを設置し、狭角カメラで捉えた検出対象物体の占有画像領域に対応する広角カメラの画像領域を算出する場合、狭角カメラの画像から作成したテンプレート画像に対応する広角カメラの画像領域は非常に小さくなるため、情報不足によるマッチングの誤対応が頻発するという問題があった。
本発明の目的は、情報不足によるマッチングの誤対応を低減できる物体検知装置を提供することにある。

本発明では、検出対象物体の占有画像領域よりも大きな広域画像領域をテンプレートとしてマッチングした後、本来の占有画像領域でマッチングを行う。

よって、テンプレート内により多くの画像情報を含むことができるため、情報不足によるマッチングの誤対応を低減できる。

実施例１の物体検知装置100の概略構成図である。 実施例１の第１テンプレート画像の生成方法の説明図である。 実施例１のエピポーラ線を用いたテンプレートマッチングの探索方法の説明図である。 実施例１の物体検知ECU4における対象物体検知処理の流れを示すフローチャートである。 広角カメラと狭角カメラの撮像可能範囲を示す説明図である。 実施例１の物体検知作用の説明図である。

〔実施例１〕
まず、構成を説明する。
図１は、実施例１の物体検知装置100の概略構成図である。
物体検知装置100は、車両に設置された広角カメラ2と、車両に設置された狭角カメラ3と、物体検知ECU4とを備える。
広角カメラ2は、例えばCCD等の撮像素子を用いたカメラである。レンズは、狭角カメラ3よりも視野角が広ければ良く、例えば前方180度を撮像可能な魚眼レンズや、全周囲を撮像可能な全方位カメラ用のレンズを用いても良い。広角カメラ2の取り付け位置に制限はないが、実施例１では、車両のフロントバンパー部付近に、車両前方向きで、20度下方向きに設置した魚眼レンズでの場合を例に説明する。広角カメラ2のレンズ歪み等の内部パラメータ、および車両に対する取り付け位置を示す外部パラメータは、事前に算出済みである。広角カメラ2で撮像された画像は物体検知ECU4に送信される。

狭角カメラ3は、例えばCCD等の撮像素子を用いたカメラであって、広角カメラ2よりも狭視野角で撮像倍率の高いカメラである。広角カメラ2と同じ撮像素子を用いる場合、レンズは、広角カメラ2よりも視野角が狭く（焦点距離が長く）、遠方、例えば100m先の歩行者、を捕捉可能な望遠レンズを取り付ければよい。狭角カメラ3は、車両水平方向に回転駆動可能な駆動機能を備えていても良い。車両水平方向に駆動可能であれば、車両の前方向の遠方だけでなく、カーブの先の歩行者なども捉えることが可能となる。同様に、車両垂直方向に回転駆動可能な駆動機能を備えていても良い。この場合、例えば、車両の上下方向の揺動を相殺するように駆動することにより、安定的に検出対象物体（検出対象とする物体であって、以下、単に対象物体と記載する。）を捕捉できるようになる。さらに、可変ズーム機能を備えていても良い。可変ズーム機能を備えた場合は、中距離から遠方までの各距離の対象物体を補足することが可能となる。

こうした駆動機能を備えたカメラとしては、一般に防犯カメラで用いられているPTZカメラ（パン・チルト・ズームが駆動可能なカメラ）が良く知られており、実施例１では、PTZカメラを例に説明する。なお、一般のPTZカメラはカメラ本体を回転駆動させる機構を備えるが、撮像素子の前方にミラーを設置し、ミラーを駆動することで撮像方向を変化させる手法を取っても良い。駆動カメラの車両に対する取り付け位置を示す外部パラメータは事前に算出済みであり、広角カメラ2との位置関係は既知であるものとする。
狭角カメラ3の設置位置は、広角カメラ2と撮像範囲が重なっていれば、どこに設置しても良いが、実施例１では、車両のダッシュボード上部に、車両前方向きに設置された場合を例に説明する。
また、狭角カメラ3がPTZカメラであった場合には、適切に向きとズームを設定する必要があるが、実施例１では、説明を簡略化するため、向きは車両前方向きに制御され、100m先の歩行者が撮像可能にズーム設定されているものとする。

物体検知ECU4は、広角カメラ2の撮像画像と狭角カメラ3の撮像画像を受け取り、狭角カメラ画像で物体を捕捉した上で、広角カメラ画像内での対象物体の対応画像位置を算出する電子制御ユニットであり、車両に搭載される他のECUと兼用しても良い。物体検知ECU4は、一般的なECUと同様にCPU,ROM,RAM等で構成され、ROMには後述する各種処理部（領域算出部41、第１テンプレート生成部42、第１画像対応部43、第２テンプレート生成部44、第２画像対応部45,物体検知部46）を実現するプログラムが格納されている。

次に、物体検知ECU4の各処理ブロックについて説明する。
領域算出部（領域算出手段）41は、狭角カメラ3で撮像された画像中から、対象物体の画像中での占有領域を算出する。算出方法は、一般に広く知られるカメラ画像による物体検出手法を用いれば良く、どの手法で検出するかは、本発明の権利範囲を規定するものではない。ここでは、対象物体が歩行者である場合を例に、領域算出の具体的な方法を説明する。
対象物体が歩行者である場合には、近年はHOG(Histograms of Oriented Gradients)という特徴量で検出するのが一般的であるが、歩行者か否かを識別する識別器は、SVM(Support Vector Machine)を用いるのが一般的であるが、AdaBoost，Random Forestなど他の手法を用いても良い。あらかじめ、歩行者とラベル付けされた画像群を用いて、HOG特徴量の学習を行い、実際の画像が歩行者か否かを判断する。全画面をSliding Window方式で順々に探索することで、歩行者を検知できる。実際には、歩行者の位置によって画像中の大きさが異なるため、異なる画像の大きさで、それぞれSliding Window方式で探索を行う。こうすることで、歩行者を見つけることができる。

他の物体検出手法としては、オプティカルフローを用いた手法がある。広角カメラ2の画像を１フレーム前に取得された画像と比較し、各画像点がどこに移動したか、というオプティカルフローを算出する。次に、車両運動によって自然と発生するオプティカルフローと異なる方向に向いたオプティカルフローを抽出し、クラスタリングし、同一クラスターが包含される矩形領域を、対象物体の占有領域として算出する。この手法を用いると、移動物体を検出できる。オプティカルフローを用いて移動物体を検知する方法は、非常に活発に研究されており、どの手法を用いても良い。
領域算出部41により歩行者等の対象物体が検知された場合には、検知された対象物体の占有領域情報を第１テンプレート生成部42と第２テンプレート生成部44に送信する。

第１テンプレート生成部（第１テンプレート生成手段）42は、領域算出部41で算出された占有領域情報を用い、狭角カメラ3の撮像画像から、画像照合のための第１テンプレートを生成し、第１画像対応部43に送信する。ここでは、第１テンプレートとして、対象物体の占有領域よりも広い広域画像領域を設定する。設定の手順としては、まず広角カメラ2と狭角カメラ3のカメラパラメータから、広角カメラ2に対する狭角カメラ3のズーム倍率（L倍）を算出する。算出には例えば35mmフィルム換算の焦点距離の比を用いればよい。PTZカメラの場合には、ズーム駆動の指令値情報を用いて補正すればよい。

次に、後述する第１画像対応部43における広角カメラ画像上でのマッチングに適した理想的なテンプレートサイズ（縦Wxピクセル、横Wyピクセル）を設定する。テンプレートサイズが大きすぎると、２段テンプレートの効果が薄れるし、テンプレートサイズが小さすぎると、テンプレート内の画像情報が少ないためマッチングの誤対応が起きる可能性が高まる。このため、検知したい対象物体やシーンに応じて適切に設定する必要がある。ここでは例えば、広角カメラ画像に対して縦横比ともに1/5のサイズとする。
ズーム倍率（L倍）と広角カメラ画像上での理想的なテンプレートサイズ(Wx,Wy)を用いて、狭角カメラ画像での理想的なテンプレートサイズ(Tx,Ty)は、Tx=L*Wx,Ty=L*Wyと定める。

サイズが定まったので、領域算出部41で算出した占有画像領域の中心座標を中心に、Tx,Tyサイズの矩形を切り取り、テンプレート画像とすれば良い。このとき、占有画像サイズ(Ox,Oy)がテンプレートサイズ(Tx,Ty)よりも大きい場合には、縦横共に、大きい方の寸法を採用する。例えば、Ox>Tx,Oy<Tyの場合は、サイズは(Ox,Ty)とする。また、設定したテンプレート画像が、狭角カメラ3の画像領域を超える場合には、図２に示すように、画像領域内に納めた範囲でテンプレート画像領域を設定する。
最後にテンプレート画像領域を、ズーム倍率（L倍）を用いて1/L倍に圧縮（縮小）し、最終的な第１テンプレート画像を作成する。
なお、最もシンプルな設定手法は、狭角カメラ3の撮像画像全体を1/L倍に圧縮してテンプレート画像とする方法である。広角カメラ2に対する狭角カメラ3のズーム倍率が一定以上の場合には、理想的なテンプレートサイズが狭角カメラ3の画像サイズよりも大きくなってしまうため、この手法を選択すると余計な計算を省くことができる。

第１画像対応部（第１画像対応手段）43は、第１テンプレート生成部42で生成された第１テンプレート画像を用いて、広角カメラ画像内でのテンプレートマッチングを行い、算出された広域対応画像領域の情報を、第２画像対応部45に送信する。テンプレートマッチングの手法自体は、本発明を規定するものではなく、どの手法を用いても良い。第１テンプレート生成部42で、サイズの調整をしてあるので、一般に知られるSSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、正規化相互相関などの手法を用いれば十分である。他にも、SIFTなどの特徴量を用いて、特徴量の一致度合いから、一致する領域を算出しても良い。

テンプレートマッチングの探索範囲は、最もシンプルには、画像全体を探索すればよいが、広角カメラ2と狭角カメラ3の位置関係が既知であるので、エピポーラ線を算出し、エピポーラ線上に絞って探索すると、マッチングの精度向上と誤対応低減を共に図ることができる。
図３(a)において、二つのカメラの位置関係が既知であるため、狭角カメラ上の注目点（ここでは、占有画像領域の中心画像点とする）を、広角カメラ画像に投影した場合の画像位置は、エピポーラ線上に載るはずである。したがって、図３(b)に示すようにエピポーラ線上に画像中心が来るように、順々に対象ウィンドウをずらしてテンプレートマッチングを行えばよい。

第２テンプレート生成部（第２テンプレート生成手段）44は、領域算出部41で算出された占有領域情報を用い、狭角カメラ3の撮像画像から、画像照合のための第２テンプレートを生成し、第２画像対応部45に送信する。第２テンプレートは、第１テンプレート生成部42で算出した、広角カメラ2に対する狭角カメラ3のズーム倍率（L倍）を用いて、対象物体の占有画像領域を1/L倍に圧縮して生成する。
第２画像対応部（第２画像対応手段）45は、第２テンプレート生成部44で生成された第２テンプレート画像を用いて、第１画像対応部43で算出された広域対応画像領域内でのテンプレートマッチングを行い、対象物体に対応する最終的な画像領域を算出する。テンプレートマッチングは、第１画像対応部43と同様に行えばよい。広域対応画像領域内にエピポーラ線が存在するはずなので、エピポーラ線に沿って探索すると、さらにマッチングの精度向上と誤対応低減が図れる。
物体検知部（物体検知手段）46は、対象物体に対応する最終的な画像領域（対応画像領域）の中から物体を検知する。

［対象物体検知処理］
図４は、実施例１の物体検知ECU4における対象物体検知処理の流れを示すフローチャートである。この処理は、例えば50msec程度の間隔で連続的に行われる。なお、各ステップにおける処理の詳細はすでに説明済みであるため、ここでは基本的に処理の流れのみを説明する。
ステップS110では、領域算出部41において、狭角カメラ3から取得した画像から対象物体の検知を行い、ステップS120に進む。
ステップS120では、領域算出部41で対象領域が見つかった場合には、最初に見つかった領域を対象として選択し、ステップS130に進む。対象物体が見つからない場合には、再びステップS110に戻る。なお、対象領域が複数見つかった場合には、対象物体とのマッチング度合いが最も高い領域を選択しても良い。

ステップS130では、第１テンプレート生成部42において、領域算出部41で算出した物体の占有画像領域情報に基づき、第１画像対応部43で利用する第１テンプレートを算出し、ステップS140に進む。
ステップS140では、第１画像対応部43において、広角カメラ2から取得した画像から、第１テンプレートを用いて広域対応画像領域を算出し、ステップS150に進む。
ステップS150では、第２テンプレート生成部44において、領域算出部41で算出した物体の占有画像領域情報に基づき、第２画像対応部45で利用する第２テンプレートを算出し、ステップS160に進む。
ステップS160では、第２画像対応部45において、第１画像対応部43で算出した広域対応画像領域から、第２テンプレート生成手段で生成した第２テンプレートを用いて最終的な対象物体の対応画像領域を算出する。
ステップS170では、物体検知部46において、第２画像対応部45で算出した対応画像領域の中から物体を検知する。
以上のステップS110からステップS160までの処理により、広角カメラ2と狭角カメラ3を連携させて、物体検知を行う基本的な枠組みが実現される。

次に、作用を説明する。
［対象物体検知作用］
従来、画像を対応付ける技術として、いわゆるテンプレートマッチングが知られている。これは、事前に探索したい対象画像（テンプレート）を設定しておき、新規の画像中から、テンプレートと画像特徴が似た領域を見つけるものである。さらに、テンプレートマッチングを発展させた２段階テンプレート照合法も知られている。これは、テンプレート画像よりも小さいサブテンプレートを設定し、サブテンプレートで一度照合を行い、マッチング度合いが高い場合にのみ、フルテンプレートで照合するものである。サブテンプレートの活用により、明らかに異なる画像領域での計算量を削減することができ、高速処理が可能となる。２段階テンプレート照合法としては、特許第4387889号公報に記載のものが知られている。この従来技術では、サブテンプレートとして、テンプレートの一部を切り出した画像や、テンプレートを複数段階に圧縮した画像を用いている。

ここで、車両に広角カメラと狭角カメラを設置した上で、狭角カメラで捉えた対象物体が広角カメラ画像上でどこに位置するのかを求める場合、狭角カメラで得た対象物体の占有領域をテンプレートとし、広角カメラ画像に対してテンプレートマッチングを行うことで、画像の対応付けを行うこととなる。このとき、カメラ間にズーム倍率の差があるため、狭角カメラの画像から作成したテンプレート画像に対応する広角カメラの画像領域は非常に狭くなる。図５に具体例を示す。広角カメラと狭角カメラでは、撮像可能な範囲が大きく異なるため、同じ対象物体を撮像していても、画像上のサイズは大きく異なる。例えば、図５において人を対象物体として認識した場合に、単純に人の領域だけでは、情報不足でマッチングの誤対応が増える。このため、テンプレートをより小さくしたサブテンプレートを用いる従来手法では、画像サイズの差を考慮した照合は可能であるものの、広角カメラ画像上の情報が少ないため、マッチングの誤対応が頻発するという問題があった。

これに対し、実施例１では、図６に示すように、狭角カメラ3で捉えた対象物体の占有画像領域に対応する広角カメラ2の画像領域を算出する場合に、占有画像領域よりも大きな広域画像領域を用いてマッチングした後、本来の占有画像領域でマッチングを取る、２段階テンプレート技術を用いる。つまり、１段階目のテンプレートマッチングでは、対象物体を含む広域な画像領域をテンプレートとして用いることで、テンプレート内により多くの画像情報を含むことができるため、情報不足を回避でき、マッチングの誤対応を減らすことができる。次に、２段階目のテンプレートマッチングで、本来の対象物体の画像領域に対してテンプレート照合をし、精度の高い画像対応付けを行うが、この際、１段階目でマッチングした領域内に絞って検索するため、マッチングの誤対応の確率を低減できる。

なお、上記の物体検知は、広角カメラ2と狭角カメラ3間の距離に対して、対象物体までの距離が十分に長い場合に成立する。対象物体が非常に近くにあった場合には、狭角カメラ3と広角カメラ2の背景画像が大幅に異なるため、１段階目のテンプレートマッチングに失敗する確率が高まり、本発明の適用は難しい。しかしながら、本発明の主目的は、車両走行中に、狭角カメラ3で先行的に捉えた対象物体を広角カメラ2に対応付けることであるため、対象物体は十分に遠方にある、と仮定でき、問題とならない。
以上のように、実施例１の物体検知では、対象物体の画像領域よりも広い広域画像領域を活用した２段階マッチングを行うため、広角カメラ2上での対象画像が小さい場合であっても、マッチングの誤対応を抑制して画像の対応付けを行うことができる。画像の対応付けが可能である場合、例えば、ステレオ視の技術を適用して、おおよその距離を算出したり、狭角カメラ3で見つけた物体を広角カメラ2でトラッキングしたりするなど、様々なアプリケーションに応用することが可能となる。

実施例１では、広域画像領域を狭角カメラ画像全体としている。つまり、狭角カメラ画像全体を広域画像領域と定義することで、対象物体の画像中の位置や大きさを考慮することなく、簡便に広域画像領域を定めることができる。
また、実施例１では、狭角カメラ3を、車両の水平方向および垂直方向に駆動可能なPTZカメラとしたため、撮像方向を変更することで、広い範囲の対象物体を検出できると共に、ズーム倍率を変更することで、遠方から近傍まで、幅広い距離範囲の対象物体を検出できる。

実施例１では、広角カメラ2に対する狭角カメラ3のズーム倍率（L倍）を相殺する倍率(1/L倍)で、狭角カメラ3の画像領域を圧縮した上で、広角カメラ2での対応画像領域を算出する。つまり、広角カメラ2に対する狭角カメラ3のズーム倍率の差を考慮し、狭角カメラ3のテンプレート画像を圧縮することで、テンプレート画像と広角カメラ画像の見た目の大きさとが略一致するため、マッチング精度を高めることができる。
また、実施例１では、広角カメラ2と狭角カメラ3のカメラパラメータを用いて、広角カメラ画像上に、占有領域の中心座標のエピポーラ線を算出した上で、エピポーラ線上に絞って対応画像の探索を行うため、誤検出の低減と処理の高速化に寄与できる。

実施例１にあっては、以下に列挙する効果を奏する。
(1) 車両に取り付けられ、広視野角を撮像可能な広角カメラ2と、車両に取り付けられ、広角カメラ2の視野範囲の少なくとも一部を撮像可能に設けられ、広角カメラ2よりも狭視野角で撮像倍率の高い狭角カメラ3と、狭角カメラ3の画像のうち検出対象物体が占める領域である占有画像領域を算出する領域算出部41と、占有画像領域を含み当該占有画像領域よりも大きな広域画像領域を広角カメラ2の画像に対応するように圧縮した第１テンプレートを生成する第１テンプレート生成部42と、広角カメラ2の画像から第１テンプレートを用いてテンプレートマッチングにより広域対応画像領域を算出する第１画像対応部43と、占有画像領域を広角カメラ2の画像に対応するように圧縮した第２テンプレートを生成する第２テンプレート生成部44と、広域対応画像領域から第２テンプレートを用いてテンプレートマッチングにより占有画像領域の対応画像領域を算出する第２画像対応部45と、対応画像領域の中から検出対象物体を検知する物体検知部46と、を備えた。
よって、情報不足によるマッチングの誤対応を低減できる。

(2) 第１テンプレート生成部42は、狭角カメラ3の画像全体を広域画像領域とする。
つまり、狭角カメラ画像全体を広域画像領域と定義することで、対象物体の画像中の位置や大きさを考慮することなく、簡便に広域画像領域を定めることができる。

(3) 狭角カメラ3は、車両の水平方向および垂直方向に駆動可能である。
よって、撮像方向を変更することで、広い範囲の対象物体を検出できる。

(4) 狭角カメラ3は、ズームを駆動可能である。
よって、ズーム倍率を変更することで、遠方から近傍まで、幅広い距離範囲の対象物体を検出できる。

(5) 各画像対応部43,45は、広角カメラ2と狭角カメラ3のズーム倍率の差を略相殺する倍率で、狭角カメラ3の画像領域を圧縮した上で、広角カメラ2での対応画像領域を算出する。
つまり、広角カメラ2に対する狭角カメラ3のズーム倍率の差を考慮し、狭角カメラ3のテンプレート画像を圧縮することで、テンプレート画像と広角カメラ画像の見た目の大きさとが略一致するため、マッチング精度を高めることができる。

(6) 各画像対応部43,45は、広角カメラ2と狭角カメラ3のカメラパラメータを用いて、広角カメラ画像上に、占有領域の中心座標のエピポーラ線を算出した上で、エピポーラ線上に絞って対応画像の探索を行う。
よって、誤検出の低減と処理の高速化に寄与できる。

2 広角カメラ
3 狭角カメラ
4 物体検知ECU4
41 領域算出部（領域算出手段）
42 第１テンプレート生成部（第１テンプレート生成手段）
43 第１画像対応部（第１画像対応手段）
44 第２テンプレート生成部（第２テンプレート生成手段）
45 第２画像対応部（第２画像対応手段）
46 物体検知部（物体検知手段）
100 物体検知装置

Claims (6)

1. 車両に取り付けられ、広視野角を撮像可能な広角カメラと、
   前記車両に取り付けられ、前記広角カメラの視野範囲の少なくとも一部を撮像可能に設けられ、前記広角カメラよりも狭視野角で撮像倍率の高い狭角カメラと、
   前記狭角カメラの画像のうち検出対象物体が占める領域である占有画像領域を算出する領域算出手段と、
   前記占有画像領域を含み当該占有画像領域よりも大きな広域画像領域を前記広角カメラの画像に対応するように圧縮した第１テンプレートを生成する第１テンプレート生成手段と、
   前記広角カメラの画像から前記第１テンプレートを用いてテンプレートマッチングにより広域対応画像領域を算出する第１画像対応手段と、
   前記占有画像領域を前記広角カメラの画像に対応するように圧縮した第２テンプレートを生成する第２テンプレート生成手段と、
   前記広域対応画像領域から前記第２テンプレートを用いてテンプレートマッチングにより前記占有画像領域の対応画像領域を算出する第２画像対応手段と、
   前記対応画像領域の中から前記検出対象物体を検知する物体検知手段と、
   を備えたことを特徴とする物体検知装置。
2. 請求項１に記載の物体検知装置において、
   前記第１テンプレート生成手段は、前記狭角カメラの画像全体を前記広域画像領域とすることを特徴とする物体検知装置。
3. 請求項１または２に記載の物体検知装置において、
   前記狭角カメラは、車両の水平方向および／または垂直方向に駆動可能であることを特徴とする物体検知装置。
4. 請求項３に記載の物体検知装置において、
   前記狭角カメラは、ズームを駆動可能であることを特徴とする物体検知装置。
5. 請求項１ないし４のいずれか１項に記載の物体検知装置において、
   前記各画像対応手段は、前記広角カメラと前記狭角カメラのズーム倍率の差を略相殺する倍率で、前記狭角カメラの画像領域を圧縮した上で、前記広角カメラでの前記対応画像領域を算出することを特徴とする物体検知装置。
6. 請求項１ないし５のいずれか１項に記載の物体検知装置において、
   前記各画像対応手段は、前記広角カメラと前記狭角カメラのカメラパラメータを用いて、前記広角カメラ画像上に、前記占有画像領域の中心座標のエピポーラ線を算出した上で、当該エピポーラ線上に絞って対応画像の探索を行うことを特徴とする物体検知装置。

Images