JP6032034B2 - 物体検知装置 - Google Patents

物体検知装置 Download PDF

Info

Publication number
JP6032034B2
JP6032034B2 JP2013019990A JP2013019990A JP6032034B2 JP 6032034 B2 JP6032034 B2 JP 6032034B2 JP 2013019990 A JP2013019990 A JP 2013019990A JP 2013019990 A JP2013019990 A JP 2013019990A JP 6032034 B2 JP6032034 B2 JP 6032034B2
Authority
JP
Japan
Prior art keywords
camera
target object
image
vehicle
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013019990A
Other languages
English (en)
Other versions
JP2014154898A (ja
Inventor
直樹 古城
直樹 古城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2013019990A priority Critical patent/JP6032034B2/ja
Publication of JP2014154898A publication Critical patent/JP2014154898A/ja
Application granted granted Critical
Publication of JP6032034B2 publication Critical patent/JP6032034B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、物体検知装置に関する。
特許文献1には、車両の水平方向に駆動可能な近距離用、中距離用、遠距離用の3つのカメラでそれぞれ対象(白線)をトラッキングすることで、検出対象物体の状態を捕捉する技術が開示されている。
特許第3588728号公報
しかしながら、上記従来技術にあっては、それぞれのカメラがバラバラに動いているため、連続した白線ではない車両や歩行者等の検出対象物体の状態を的確に捕捉できないという問題があった。
本発明の目的は、検出対象物体の状態をより的確に捕捉できる物体検知装置を提供することにある。
本発明では、広角カメラの画像に基づく検出対象物体との相対位置と、水平方向に駆動可能、かつ、ズーム可能な駆動カメラの駆動速度と、少なくとも車速を含む車両状態とに基づいて駆動カメラが検出対象物体を捕捉するまでの対象の推定移動量を算出し、相対位置と推定移動量とに基づいて駆動カメラの捕捉位置を特定する。
よって、広角カメラで捉えた検出対象物体に対し、画像中の位置から検出対象物体の相対位置を算出した上で、実際に駆動カメラを向けるまでの検出対象物体の移動量を勘案して駆動カメラの捕捉位置を算出するため、連続した白線ではない車両や歩行者等の検出対象物体の状態をより的確に捕捉できる。
実施例1の物体検知装置100の概略構成図である。 実施例1の物体位置算出方法の説明図である。 実施例1の物体位置算出の補正方法の説明図である。 実施例1の物体検知ECU3における対象物体検知処理の流れを示すフローチャートである。 実施例1の物体検知作用の説明図である。 実施例1の物体検知作用の説明図である。 実施例2の物体検知装置200の概略構成図である。 実施例2の統合画像の説明図である。
〔実施例1〕
まず、構成を説明する。
図1は、実施例1の物体検知装置100の概略構成図である。
物体検知装置100は、車両に設置された広角カメラ2と、物体検知ECU3と、車両に設置された駆動カメラ4と、車両センサ5とを備える。
広角カメラ2は、例えばCCD等の撮像素子を用いたカメラである。レンズは、駆動カメラ4よりも視野角が広ければ良く、例えば前方180度を撮像可能な魚眼レンズや、全周囲を撮像可能な全方位カメラ用のレンズを用いても良い。広角カメラ2の取り付け位置に制限はないが、実施例1では、車両のフロントバンパー部付近に、車両前方向きで、20度下方向きに設置した魚眼レンズでの場合を例に説明する。広角カメラ2のレンズ歪み等の内部パラメータ、および車両に対する取り付け位置を示す外部パラメータは、事前に算出済みである。広角カメラ2で撮像された画像は物体検知ECU3に送信される。
物体検知ECU3は、広角カメラ2の撮像画像と車両センサ5の出力値から、駆動カメラ4の捕捉位置を算出する電子制御ユニットであり、車両に搭載される他のECUと兼用しても良い。物体検知ECU3は、一般的なECUと同様にCPU,ROM,RAM等で構成され、ROMには後述する各種処理部(領域算出部31、物体位置算出部32、移動量算出部33、捕捉位置特定部34、駆動制御部35)を実現するプログラムが格納されている。
駆動カメラ4は、撮像素子に例えばCCDを用い、可変ズーム機能と、少なくとも車両水平方向に回転駆動可能な駆動機能とを備えたカメラである。こうしたカメラとしては、一般に防犯カメラで用いられているPTZカメラ(パン・チルト・ズームが駆動可能なカメラ)が良く知られており、実施例1では、PTZカメラを例に説明する。駆動カメラ4は、水平方向の回転中心が広角カメラ2の光学中心の略垂直線上に来るように配置されている。なお、一般のPTZカメラはカメラ本体を回転駆動させる機構を備えるが、撮像素子の前方にミラーを設置し、ミラーを駆動することで撮像方向を変化させる手法を取っても良い。駆動カメラの車両に対する取り付け位置を示す外部パラメータは事前に算出済みであり、広角カメラ2との位置関係は既知であるものとする。駆動カメラ4の設置位置は、広角カメラ2と撮像範囲が重なっていれば、どこに設置しても良いが、実施例1では、車両のダッシュボード上部に、車両前方向きに設置された場合を例に説明する。
車両センサ5は、車輪速センサを備え、車輪速センサの測定値から車速(車両の前後方向速度)を算出可能である。さらに、GPS、ステアリング角度を検出するステアリングセンサ、車両の前後方向加速度、横方向加速度を検出する加速度センサなど、各種車載センサを備えても良い。車両センサ5で計測・算出された信号(少なくとも車速を含む)は、物体検知ECU3に送信される。
次に、物体検知ECU3の各処理ブロックについて説明する。
領域算出部31は、広角カメラ2で撮像された画像中から、検出対象物体(検出対象とする物体であって、以下、単に対象物体と記載する。)の画像中での占有領域を算出する。算出方法は、一般に広く知られるカメラ画像による物体検出手法を用いれば良く、どの手法で検出するかは、本発明の権利範囲を規定するものではない。ここでは、対象物体が歩行者である場合を例に、領域算出の具体的な方法を説明する。
対象物体が歩行者である場合には、近年はHOG(Histograms of Oriented Gradients)という特徴量で検出するのが一般的であるが、歩行者か否かを識別する識別器は、SVM(Support Vector Machine)を用いるのが一般的であるが、AdaBoost,Random Forestなど他の手法を用いても良い。あらかじめ、歩行者とラベル付けされた画像群を用いて、HOG特徴量の学習を行い、実際の画像が歩行者か否かを判断する。全画面をSliding Window方式で順々に探索することで、歩行者を検知することができる。実際には、歩行者の位置によって画像中の大きさが異なるため、異なる画像の大きさで、それぞれSliding Window方式で探索を行う。こうすることで、歩行者を見つけることができる。
他の物体検出手法としては、オプティカルフローを用いた手法がある。広角カメラ2の画像を1フレーム前に取得された画像と比較し、各画像点がどこに移動したか、というオプティカルフローを算出する。次に、車両運動によって自然と発生するオプティカルフローと異なる方向に向いたオプティカルフローを抽出し、クラスタリングし、同一クラスターが包含される矩形領域を、対象物体の占有領域として算出する。この手法を用いると、移動物体を検出することができる。オプティカルフローを用いて移動物体を検知する方法は、非常に活発に研究されており、どの手法を用いても良い。
領域算出部31により歩行者等の対象物体が検知された場合には、検知された対象物体の占有領域情報を物体位置算出部32に送信する。
物体位置算出部32は、領域算出部31で算出された、対象物体の占有領域情報から、対象物体の相対位置を算出する。対象物体の代表位置として、画像の占有領域の中心位置を用いる。
広角カメラ2の外部パラメータおよび内部パラメータは既知であるため、広角カメラ2の画像中の位置から、物体の3次元空間上の方向が一意に定まる。従って、距離さえ求まれば、3次元空間上の相対的な位置が一意に定まる。
距離の算出方法としては、例を2つ挙げる。
1.画像領域の下端を利用
車両と対象物体が同一平面上にあると仮定する。実施例1では、広角カメラ2として、魚眼レンズのカメラを車両前方に20度下向きに設置した場合を想定しているため、撮像画像イメージは図2のようになる。画像の座標系X,Yは図2のように設定する。広角カメラ2のパラメータは既知であるため、路面上の任意の点A(x,y)と車両からの距離の関係は一意に定まる。距離が一定のラインを画像上に投影すると、レンズの歪みがあるため、図2に示すように、画像中心から離れると歪みが生じる。このため厳密には、各座標点と距離の関係は、X座標Y座標を両方用いなければ算出できない。しかし、X,Y座標と距離の関係を全て算出しておくことは手間がかかるため、実用上は、X座標と距離の関係で近似すればよい。本発明で想定している遠方対象物体は、実施例1のカメラ配置では、X方向に関して画像中央付近に存在するため、X座標のみでの近似で十分な精度が得られる。
こうして、路面上の点と車両からの距離の関係が算出可能であるため、対象物体が路面上に存在すると仮定することで、対象領域の下端位置X座標を用いることで、車両との概算距離を算出できる。
ただし、例えば歩行者認識の場合には、図3に示すように、歩行者の下端と占有画像領域下端は一致せず、たいていの場合はオフセットXpが存在する。そこで距離算出を行う際に、占有画像下端位置のX座標からオフセットXp分をマイナスした値を用いることで、より精度良く距離を算出できる。車両認識やオプティカルフローによる認識の場合にも、同様に一定量のオフセットを想定することで、距離精度向上が望める。
2.画像領域の大きさを利用
ピンホールカメラでは、対象物体の距離が2倍になれば、画像領域の大きさは1/2になるという非常に簡単な関係が成立するため、対象物体の大きさが既知であれば、画像領域の大きさから対象物体の距離を算出することは、極めて容易である。
広角カメラ2は、内部パラメータが既知であるため、歪み補正画像を作成することができる。したがって、画像領域部分を歪み補正し、ピンホールカメラモデルでの大きさに変換すれば、距離を算出できる。また魚眼カメラの場合には、画像中央からの距離rに応じて、多項式f(r)=a0+a1*r+a2*r2+…で歪みが表現されるのが一般的である。そこで、画像領域の中心座標を代表点Icとし、Icの画像中心からの距離Rcを、前記多項式に代入することで、画像領域の大きさの変換倍率を簡易に算出できる。
対象物体の大きさに関しては、歩行者認識の場合には、平均身長を用いるなど、認識対象毎に代表的な数値を決めておけばよい。
物体位置算出部32は、上記のようにして得られた距離情報を用い、対象物体の車両からの相対的な位置を算出し、移動量算出部33に送信する。
移動量算出部33は、物体位置算出部32で算出された対象物体の相対位置情報と、車両センサ5で算出された車速情報とから、対象物体の推定移動量を算出する。
まず、物体位置算出部32で算出された対象物体の車両からの相対位置情報を、駆動カメラ4の設置位置情報を用いて座標変換することで、駆動カメラ4からの相対位置情報に補正する。
次に、駆動カメラ4を向けるまでにかかる時間Tを算出する。
水平方向の駆動量θdを、現在の駆動カメラ4の向きθcと、対象物体の方向の角度θoからθd=θo-θcで算出する。駆動カメラ4の水平方向の駆動速度Vθ(degree/second)は既知であるため、駆動カメラ4を該当方向に向けるまでの駆動時間Thは、Th=θd/Vθで簡単に算出できる。同様に、現在のズームレベルと、所望のズームレベル(対象物体の距離に応じて事前に設定しておけば良い)の差から、ズーム調整に掛かる時間Tzを算出することができる。さらに、駆動カメラ4が垂直方向にも動く場合には、同様に垂直方向への駆動時間Tvも算出する。駆動時間Tは、Th,Tz,Tvの中で最大のものとする。
車両センサ5から入力される車速Vから、カメラを向けるまでの対象物体の移動量は、V×Tで簡易に算出できる。なおカーブ走行中の場合には、車速とステアリング角度を用いて、車両のT秒後の相対位置を算出することで、対象物体の移動量を算出しても良い。
捕捉位置特定部34は、物体位置算出部32で算出された対象物体の相対位置情報を、移動量算出部33で算出された対象物体の推定移動量を用いて補正し、最終的に駆動カメラ4を向けるべき捕捉位置を特定する。
駆動制御部35は、捕捉位置特定部34で特定された捕捉位置に駆動カメラ4を向けるための指令値を駆動カメラ4に送信する。
駆動カメラ4の駆動方向は、捕捉位置の中心を向くように設定する。ズームに関しては、対象物体の距離毎に、事前に適切なズームレベルを設定しておき、捕捉位置と駆動カメラ4との距離を用いて算出する。
[対象物体検知処理]
図4は、実施例1の物体検知ECU3における対象物体検知処理の流れを示すフローチャートである。この処理は、例えば50msec程度の間隔で連続的に行われる。なお、各ステップにおける処理の詳細は既に説明済みであるため、ここでは基本的に処理の流れのみを説明する。
ステップS110では、領域算出部31において、広角カメラ2から取得した画像から対象物体の検知を行い、ステップS120に進む。
ステップS120では、領域算出部31で対象領域が見つかった場合には、最初に見つかった領域を対象として選択し、ステップS130に進む。対象物体が見つからない場合には、再びステップS110に戻る。なお、対象領域が複数見つかった場合には、対象物体とのマッチング度合いが最も高い領域を選択しても良い。
ステップS130では、物体位置算出部32において、対象物体の相対位置を算出し、ステップS140に進む。
ステップS140では、移動量算出部33において、車両センサ5から得られる車速(およびステアリング値など)と、駆動カメラ4の駆動性能とから、駆動カメラ4を対象物体に向けるまでの対象物体の推定移動量を算出し、ステップS150に進む。
ステップS150では、捕捉位置特定部34において、物体位置算出部32で算出した対象物体の相対位置と、移動量算出部33で算出した推定移動量とから、最終的に駆動カメラ4が向けるべき対象の捕捉位置を算出し、ステップS160に進む。
ステップS160では、駆動制御部35において、捕捉位置特定部34で算出した捕捉位置から、駆動カメラ4の最終的な駆動量を算出し、ステップS170に進む。
ステップS170では、駆動制御部35の出力に従って実際に駆動カメラ4を駆動し、ステップS180に進む。
ステップS180では、駆動カメラ4の駆動完了を待って、駆動カメラ4の撮像画像を取得し、任意の画像処理を実現する。例えば、領域算出部31と同じ処理を実施することで、より確実に対象物体を認識する。なお、ここでの認識処理内容は、本発明を規定するものではない。
例えば、対象物体が人の場合には、広角カメラ2での画像処理では、単純な歩行者検知を行い、駆動カメラ4の画像処理では、より詳細の画像が得られるので、歩行者の向きの認識や顔認識など、より詳細な認識処理を実現しても良い。
以上のステップS110からステップS180までの処理により、広角カメラ2と駆動カメラ4を連携させて、物体検知を行う基本的な枠組みが実現される。
次に、作用を説明する。
[対象物体検知作用]
図5に示すように、広角カメラ2で対象物体(例えば、歩行者)の領域を捉えた場合、一般に、対象物体の方向は既知だが、対象物体までの距離は不明である。一方で、車両と広角カメラ2の位置関係は固定であるため、車両も対象物体も同一平面にあると仮定すると、画像の下端位置と距離の関係は既知である。つまり、対象物体の画像領域の下端位置から対象物体までの距離を算出できれば、対象物体の位置がわかる。
ところが、図6(a)に示すように、実際に対象物体に駆動カメラ4を向けるのには、駆動時間が掛かり、その間も車両は動き続けるので、単純に対象物体の位置に駆動カメラ4を向けたのでは、ずれが生じる。そこで、実際に駆動カメラ4を向けるときの対象物体の位置を特定する。実施例1では、駆動カメラ4の駆動速度から、対象物体に駆動カメラ4を向けるまでの駆動時間を算出し、車速を用いて、駆動時間中の対象物体の相対的な移動量を算出する。この移動量を用いて対象物体の位置を補正することにより、駆動カメラ4の捕捉位置を特定することができる。
従来、複数のセンサの組み合わせにより物体を検知する技術としては、例えば、特許第3588728号公報に記載されたものが公知である。この従来技術では、車両の水平方向に駆動可能な近距離用、中距離用、遠距離用の3つのカメラでそれぞれ対象(白線)をトラッキングすることで、対象物体の状態を捕捉する技術が開示されている。ところが、それぞれのカメラが独自に動いているため、連続した白線ではない車両や歩行者等の対象物体の状態を的確に捕捉できない。
一方、特開2002-99906号公報には、赤外線カメラとLRF(Laser Range Finder)それぞれでの車両認識結果を総合的に判断する技術が開示されている。この従来技術では、認識精度は高まるものの、遠方での認識には適さない。
そこで、実施例1では、車両の広角カメラ2と駆動カメラ4(PTZカメラ)を搭載し、広角カメラ2で見つけた注目領域に駆動カメラ4を向ける手法をとる。ここで、広角カメラとPTZカメラを組み合わせ、広角カメラで見つけた不審者にPTZカメラを向ける技術は、建物等に設置して使われる防犯システムでは検出されているが、車載した場合、対象までの距離が一意に定まらない、PTZカメラの駆動時間中に車両自体が動いてしまう、という問題がある。
これに対し、実施例1では、広角カメラ2で捕捉した対象物体の相対位置を算出し、相対位置と自車の移動速度(車速)と駆動カメラ4の駆動速度とに基づいて駆動カメラ4が対象物体を捕捉するまでの対象物体の推定移動量を算出し、相対位置と推定移動量とに基づいて駆動カメラ4における対象物体の捕捉位置を特定する。
これにより、広角カメラ2で見つけた対象物体に対し駆動カメラ4を適切に向けることができるため、対象物体の正確な検知や、より詳細な認識が可能となる。また、駆動カメラ4の捕捉位置に関して、車両運動と駆動カメラ4の駆動時間とを考慮に入れて、対象物体の位置補正を行っているので、車両が走行中に、駆動に時間がかかる駆動カメラ4を用いたとしても、安定して対象物体を捕捉することができる。よって、遠方を含む対象物体の状態をより的確に把握できる。
実施例1では、駆動カメラ4を車両の垂直方向にも駆動可能なPTZカメラとしたため、例えば信号機や標識などの、進行方向から上下に外れた対象物体も認識することができる。さらに、車両のピッチ方向の振動に対して補正を掛けることで、安定して対象物体を認識することも可能となる。
また、実施例1では、駆動カメラ4の水平方向の回転中心を広角カメラ2の光軸中心の略垂直軸上に来るように配置したため、広角カメラ2の画像から算出される対象物体の方向に駆動カメラ4を向ければよく、自由に配置する場合に比べて、駆動方向の算出が容易になる。
実施例1では、占有画像領域の下端位置の画像上での位置に基づき、対象物体との相対位置を算出する。つまり、対象物体と車両が同一平面に存在することを仮定することで、画像上での物体領域の下端位置と実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
また、実施例1では、占有画像領域の画像中の大きさに基づき、対象物体との相対位置を算出する。つまり、認識対象の実際の大きさが既知であることを利用することで、画像上での物体領域の大きさと実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
実施例1にあっては、以下に列挙する効果を奏する。
(1) 車両に取り付けられ、広視野角を撮像可能な広角カメラ2と、車両に取り付けられ、車両の水平方向に駆動可能、かつズーム可能な駆動カメラ4と、を有する物体検知装置において、広角カメラ2の画像のうち検出対象物体が占める領域である占有画像領域を算出する領域算出部31と、占有画像領域の画像中の位置に基づき、対象物体との相対位置を算出する物体位置算出部32と、相対位置と駆動カメラ4の駆動速度とから対象物体に駆動カメラ4を向けるまでの時間である駆動時間を算出し、算出した駆動時間と車速(カーブ走行中はステアリング角度を加味する)とに基づき、駆動カメラ4が対象物体を捕捉するまでの対象物体の推定移動量を算出する移動量算出部33と、相対位置と推定移動量とに基づき、駆動カメラ4の捕捉位置を特定する捕捉位置特定部34と、を備えた。
すなわち、広角カメラ2で捉えた対象物体に対し、画像中の位置から対象物体の相対位置を算出した上で、実際に駆動カメラ4を向けるまでの対象物体の移動量を勘案して、駆動カメラ4の捕捉位置を算出するため、車両が走行中でも、駆動カメラ4で対象物体を捕捉することができ、対象物体をより的確に捕捉できる。
(2) 駆動カメラ4は、車両の垂直方向にも駆動可能である。
よって、例えば信号機や標識などの、進行方向から上下に外れた対象物体も認識することができる。さらに、車両のピッチ方向の振動に対して補正を掛けることで、安定して対象物体を認識することも可能となる。
(3) 駆動カメラ4は、水平方向の回転中心が、広角カメラ2の光学中心の略垂直軸上に来るように配置される。
よって、広角カメラ2の画像から算出される対象物体の方向に駆動カメラ4を向ければよく、自由に配置する場合に比べて、駆動方向の算出が容易になる。
(4) 物体位置算出部32は、占有画像領域の下端位置の画像上での位置に基づき、対象物体との相対位置を算出する。
すなわち、対象物体と車両が同一平面に存在することを仮定することで、画像上での物体領域の下端位置と実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
(5) 物体位置算出部32は、占有画像領域の画像中の大きさに基づき、対象物体との相対位置を算出する。
すなわち、認識対象の実際の大きさが既知であることを利用することで、画像上での物体領域の大きさと実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
〔実施例2〕
図7は、実施例2の物体検知装置200の概略構成図である。
距離センサ(距離算出装置)6は、対象物体までの距離を算出するセンサである。実施例2では、ToF(Time of Flight)の原理を用いて、直接的に対象物体までの距離を算出する、いわゆるLRF(Laser Range Finder)を想定して説明する。また実施例2では、2次元に放射状に距離情報をスキャン可能なLRFを想定するが、2次元のラインを複数持つことで3次元にスキャン可能なセンサを用いても良いし、投光器と受光素子の組み合わせにより、カメラのように3次元の距離情報を取得可能な距離画像カメラを用いても良い。距離センサ6の設置位置は、広角カメラ2と撮像範囲が重なっていれば良いが、例えば車両前方のバンパー部分に、水平に設置すると良い。広角カメラ2と距離センサ6は、なるべく近くに配置した方が、後述するセンサデータ統合の時に、オクルージョンが生じにくいため、望ましい。
物体位置算出部32は、領域算出部31で算出された対象物体の占有領域情報と距離センサ6の測定値とから、対象物体の相対位置を算出する。対象物体の代表位置として、画像の占有領域の中心位置を用いる。広角カメラ2の外部パラメータおよび内部パラメータは既知であるため、広角カメラ2の画像中の位置から、物体の3次元空間上の方向が一意に定まる。従って、距離さえ求まれば、3次元空間上の相対的な位置が一意に定まる。
次に、距離の算出方法について説明する。
まず、距離センサ6の測定値と広角カメラ2の撮像画像を統合する。なお、距離センサ6と広角カメラ2の位置関係は既知である必要がある。具体的には、距離センサ6の測定値を、広角カメラ座標系に座標変換し、対応する画素位置に距離情報を蓄積させる。複数の距離センサ値が一つの画素位置に対応する場合は、平均を取ればよい。こうすると、図8に示すように、広角カメラ画像中の一部の画素に関して、距離情報が埋め込まれたデータ統合画像が作成できる。
次に、領域算出部31で算出した対象領域の距離を算出する。対象領域中に、距離情報が埋め込まれた画素がある場合は、対象領域の中心座標に最も近い画素での距離情報を、距離情報として用いればよい。もしくは、対象領域中の距離情報全体の平均値や中央値を採用する手法を取っても良い。対象領域中に、距離情報が埋め込まれた画素がない場合は、第1の実施の形態の手法により、距離を算出すればよい。
物体位置算出部32は、こうして得られた距離情報を用い、対象物体の車両からの相対的な位置を算出し、移動量算出部33に送信する。
なお、他の構成および物体検知処理の手順については、実施例1と同様であるため、図示ならびに説明を省略する。
次に、作用を説明する。
[対象物体検知作用]
実施例2では、距離センサ6によって対象物体までの距離を測定し、測定値を広角カメラ2の撮像画像の対応する画素位置に埋め込んだデータ統合画像を生成した対象物体の相対位置を算出する。
対象物体までの距離を直接測定し、広角カメラ2の撮像画像を連携させることで、広角カメラ2で捕捉した対象物体までの正確な距離を算出可能となる。よって、実施例1の場合と比較して、より高精度の距離情報が得られる。
実施例2にあっては、実施例1の効果(1)〜(3)に加え、以下の効果を奏する。
(6) レーザーにより対象物体との距離を算出する距離センサ6をさらに備え、物体位置算出部32は、占有画像領域の画像中の位置と、距離センサ6から算出される対象物体との距離とに基づき、対象物体との相対位置を算出する。
すなわち、広角カメラ2と距離センサ6を連携させることで、広角カメラ2で捕捉した対象物体の正確な距離を算出できるため、駆動カメラ4の捕捉位置をより精度良く特定できる。
2 広角カメラ
4 駆動カメラ
5 車両センサ
6 距離センサ(距離算出装置)
31 領域算出部
32 物体位置算出部(物体位置算出手段)
33 移動量算出部(移動量算出手段)
34 捕捉位置特定部(捕捉位置特定手段)
35 駆動制御部(駆動制御手段)
100 物体検知装置
200 物体検知装置

Claims (6)

  1. 車両に取り付けられ、広視野角を撮像可能な広角カメラと、
    前記車両に取り付けられ、車両の水平方向に駆動可能、かつズーム可能な駆動カメラと、
    を有する物体検知装置において、
    前記広角カメラの画像のうち検出対象物体が占める領域である占有画像領域を算出する領域算出手段と、
    前記占有画像領域の前記画像中の位置に基づき、前記検出対象物体との相対位置を算出する物体位置算出手段と、
    前記相対位置と前記駆動カメラの駆動速度とから前記検出対象物体に前記駆動カメラを向けるまでの時間である駆動時間を算出し、算出した駆動時間と車速とに基づき前記駆動カメラが前記検出対象物体を捕捉するまでの前記検出対象物体の推定移動量を算出する移動量算出手段と、
    前記相対位置と前記推定移動量とに基づき、前記駆動カメラの捕捉位置を特定する捕捉位置特定手段と、
    を備えたことを特徴とする物体検知装置。
  2. 請求項1に記載の物体検知装置において、
    前記駆動カメラは、車両の垂直方向にも駆動可能であることを特徴とする物体検知装置。
  3. 請求項1または2に記載の物体検知装置において、
    前記駆動カメラは、水平方向の回転中心が、前記広角カメラの光学中心の略垂直軸上に来るように配置されることを特徴とする物体検知装置。
  4. 請求項1ないし3のいずれか1項に記載の物体検知装置において、
    前記物体位置算出手段は、前記占有画像領域の下端位置の前記画像上での位置に基づき、前記検出対象物体との相対位置を算出することを特徴とする物体検知装置。
  5. 請求項1ないし3のいずれか1項に記載の物体検知装置において、
    前記物体位置算出手段は、前記占有画像領域の前記画像中の大きさに基づき、前記検出対象物体との相対位置を算出することを特徴とする物体検知装置。
  6. 請求項1ないし3のいずれか1項に記載の物体検知装置において、
    レーザーにより前記検出対象物体との距離を算出する距離算出装置をさらに備え、
    前記物体位置算出手段は、前記占有画像領域の前記画像中の位置と、前記距離算出装置から算出される前記検出対象物体との距離とに基づき、前記検出対象物体との相対位置を算出することを特徴とする物体検知装置。
JP2013019990A 2013-02-05 2013-02-05 物体検知装置 Active JP6032034B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013019990A JP6032034B2 (ja) 2013-02-05 2013-02-05 物体検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013019990A JP6032034B2 (ja) 2013-02-05 2013-02-05 物体検知装置

Publications (2)

Publication Number Publication Date
JP2014154898A JP2014154898A (ja) 2014-08-25
JP6032034B2 true JP6032034B2 (ja) 2016-11-24

Family

ID=51576392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013019990A Active JP6032034B2 (ja) 2013-02-05 2013-02-05 物体検知装置

Country Status (1)

Country Link
JP (1) JP6032034B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015195569A (ja) * 2014-03-25 2015-11-05 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 移動体用撮影装置
JP6454554B2 (ja) 2015-01-20 2019-01-16 クラリオン株式会社 車両用外界認識装置およびそれを用いた車両挙動制御装置
US10267908B2 (en) * 2015-10-21 2019-04-23 Waymo Llc Methods and systems for clearing sensor occlusions
JP2018146440A (ja) * 2017-03-07 2018-09-20 株式会社豊田自動織機 環境認識装置
CN109670419B (zh) * 2018-12-04 2023-05-23 天津津航技术物理研究所 一种基于周界安防视频监控系统的行人检测方法
KR102362695B1 (ko) * 2020-07-30 2022-02-14 주식회사 영국전자 다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법
WO2022075039A1 (ja) * 2020-10-08 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム及び情報処理方法
CN117596386A (zh) * 2023-12-06 2024-02-23 中云数科(广州)信息科技有限公司 一种智能楼宇安全监控系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3020634B2 (ja) * 1991-04-03 2000-03-15 マツダ株式会社 移動車の環境認識装置
JP2000115621A (ja) * 1998-10-05 2000-04-21 Sony Corp 画像撮像装置および方法
JP5251800B2 (ja) * 2009-09-16 2013-07-31 株式会社豊田中央研究所 対象物追跡装置及びプログラム

Also Published As

Publication number Publication date
JP2014154898A (ja) 2014-08-25

Similar Documents

Publication Publication Date Title
JP6032034B2 (ja) 物体検知装置
US11787338B2 (en) Vehicular vision system
US7684590B2 (en) Method of recognizing and/or tracking objects
JP4612635B2 (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
US9151626B1 (en) Vehicle position estimation system
US9311711B2 (en) Image processing apparatus and image processing method
JP5421072B2 (ja) 接近物体検知システム
JP5603835B2 (ja) 車両周囲監視装置
JP5109691B2 (ja) 解析装置
US20110234761A1 (en) Three-dimensional object emergence detection device
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
JP6708730B2 (ja) 移動体
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP6065629B2 (ja) 物体検知装置
JP2018139084A (ja) 装置、移動体装置及び方法
KR102031635B1 (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP2004354256A (ja) キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
JP2014044730A (ja) 画像処理装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP2020109560A (ja) 信号機認識方法及び信号機認識装置
JP6564682B2 (ja) 対象物検出装置、対象物検出方法、及び、対象物検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161010

R151 Written notification of patent or utility model registration

Ref document number: 6032034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151