JP6396840B2

JP6396840B2 - 物体検出装置

Info

Publication number: JP6396840B2
Application number: JP2015080597A
Authority: JP
Inventors: 大堤; 永崎　健; 健永崎; 宏治土井; 羊三川野
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2015-04-10
Filing date: 2015-04-10
Publication date: 2018-09-26
Anticipated expiration: 2035-04-10
Also published as: JP2016200977A

Description

本発明は、物体検出装置に係り、特に外形が時間的にかつ三次元的に変化する不定形物体を検出する物体検出装置に関する。

従来、自動車等の車両に搭載されたカメラ（車載カメラ）から得られる画像に基づいて当該車両の周囲に存在する車両や障害物等の物体を検知し、その検知結果をドライバーの運転支援に利用するシステムが開発されている。そのようなシステムの一例として、例えば、自車周囲に存在する車両との車間距離を自動的に維持する車間維持システム（ＡＣＣ）や、自車周囲に存在する車両等との衝突可能性が生じた際に警報等でドライバーに注意を促し、さらに衝突が避けられない状況になった際に自動ブレーキ等で乗員に対する傷害を軽減する衝突回避システムなどが知られている。

ところで、寒冷地や標高が高い場所、温泉街等で生じ易い現象として、例えば、道路上方に水蒸気の塊が白い煙状で浮遊していたり、先行車から排出された排気ガスがその場に留まって白い煙状となる現象があるが、上記したカメラ等からなる物体検出装置を搭載した車両がそのような場所を走行すると、道路上方に浮遊する湯煙や先行車から排出された排煙を車両や障害物等と誤検知してしまい、不適切なタイミングで当該車両の制動を制御してしまうといった問題があった。

このような問題に対し、特許文献１には、検出した物体が時間経過と共に形状が変化する不定形の物体であるか否かを判断して、不要な制御介入を回避する従来技術が開示されている。

特許文献１に開示されている物体検出装置は、車両に搭載したカメラで撮像した撮像画像内で互いに隣接する距離情報をグループ化して物体を検出する物体検出部と、検出された物体の領域内で隣接する複数の距離情報の区分をまとめて１つの監視ブロックとして設定する監視ブロック設定部と、監視ブロックの画像上の動きを監視してフレーム間の監視ブロックの一致度を算出する一致度算出部と、その一致度に基づいて、検出された物体が時間経過と共に形状が変化する不定形の物体であるか否かを判定する不定形物体判定部と、を備えるものである。

特開２０１３−２０６３２８号公報

しかしながら、特許文献１に開示されている従来技術では、フレーム間の監視ブロックの一致度に基づいて、検出された物体が時間経過と共に形状が変化する不定形の物体であるか否かを判定している。そのため、例えば、手を振っている歩行者や可動する立て看板などといった外形が時間的にかつ二次元的に変化する物体（以下、外形が変化する固形物体と称する）を、道路上方に浮遊する湯煙や先行車から排出された排煙といった外形が時間的にかつ三次元的に変化する物体（以下、不定形物体と称する）と誤検知する可能性があり、上記問題とは逆に、適切なタイミングで当該車両の制動を制御し得ない可能性があった。

すなわち、上記した不定形物体は、一般に、風景とのコントラストが強いことが多く、カメラで撮像した画像を利用した物体検出装置では、カメラのダイナミックレンジの関係上、入力画像のうち不定形物体が映っている部分が黒潰れ及び白跳びしてしまい、その画像から距離情報を取得することが難しい。そのため、特許文献１に所載のような従来技術では、物体の外形の時系列変化に着目して上記した不定形物体を判定しているが、その物体の外形変化しか監視しないため、外形が変化する固形物体を不定形物体と誤検知する可能性があるというものである。

本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、自車周囲を撮像した画像中の固形物体と不定形物体を確実に判別して、その不定形物体を精緻に検知することのできる物体検出装置を提供することである。

上記する課題を解決するために、本発明に係る物体検出装置は、自車周囲に存在して外形が時間的にかつ三次元的に変化する不定形物体を検出する物体検出装置であって、前記自車周囲を撮像した画像に映る物体までの距離情報を取得する距離情報取得部と、前記距離情報取得部で取得した距離情報から前記物体の画像上の座標を認識する物体認識部と、前記距離情報取得部で取得した距離情報と前記物体認識部で認識した画像上の座標とから、前記物体が存在する画像上の領域のうち距離情報が有効になる領域を特定して、前記物体から少なくとも前記不定形物体の候補となる不定形物体候補と前記不定形物体とを判定する物体判定部と、前記物体判定部で判定された不定形物体候補及び不定形物体の画像上の座標に基づいて、前記不定形物体候補及び前記不定形物体が存在する画像上の領域を部分的に補正して部分補正画像を生成し、該部分補正画像を前記距離情報取得部に入力する画像部分補正部と、を備えることを特徴とする。

本発明によれば、少なくとも不定形物体候補と不定形物体とを判定し、その不定形物体候補及び不定形物体が存在する画像上の領域を部分的に補正して部分補正画像を生成し、その部分補正画像に映る物体までの距離情報を取得することにより、自車周囲を撮像した画像中の固形物体と不定形物体を確実に判別し、外形が変化する固形物体を不定形物体と誤検知することなく、その不定形物体を精緻に検知することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る物体検出装置の一実施形態の全体構成を示すブロック図。図１に示す物体判定部による物体判定処理を説明したフロー図。図１に示す物体判定部による物体判定処理における特徴量算出処理を説明したフロー図。図１に示す画像部分補正部による部分補正画像生成処理の一例（HDR合成を行う例）を説明したフロー図。図１に示す画像部分補正部による部分補正画像生成処理の他例（異なる露光で撮像された差し替え画像に差し替える例）を説明したフロー図。図１に示す画像部分補正部による部分補正画像生成処理の更なる他例（異なる明るさで撮像された差し替え画像に差し替える例）を説明したフロー図。

以下、本発明に係る物体検出装置の実施形態を図面を参照して説明する。

図１は、本発明に係る物体検出装置の一実施形態の全体構成を示すブロック図である。

図示実施形態の物体検出装置100は、例えば自動車等の車両に搭載されており、主に、撮像部としての複数（図示例では、二つ）のカメラ101a，101bからなるステレオカメラ装置101、画像補正部103、距離情報取得部105、物体認識部107、物体判定部115、及び、画像部分補正部117から構成される。

ステレオカメラ装置101を構成する二つのカメラ101a，101bは、左右に離間した位置に、例えば車両の前方に向かって設置されている。二つのカメラ101a，101bはそれぞれ、例えばCMOS(Complementary Metal Oxide Semiconductor)センサなどの撮像素子を備え、二つの異なる撮影点からベイヤ画像をそれぞれ撮像し、撮像した画像を画像補正部103や画像部分補正部117へ送信する。

画像補正部103は、前記カメラ101a，101bで撮像した画像をRGB画像に変換し、ゲイン補正を初めとする画像補正を行い、その補正後の画像を距離情報取得部105や画像部分補正部117へ送信する。

距離情報取得部105は、前記画像補正部103から出力された一対の画像、又は後述する画像部分補正部117から出力された画像に対してステレオマッチングを行い、前記画像から距離情報を取得し、その距離情報を物体認識部107や物体判定部115へ送信する。

物体認識部107は、前記距離情報取得部105から出力された距離情報から、車両制御の対象となり得る前記画像上の物体を認識し、その認識結果を物体判定部115へ送信する。

物体判定部115は、前記物体認識部107から出力された前記物体が存在する全ての画像上の座標と、前記距離情報取得部105から出力された距離情報とを利用し、物体が存在する画像上の領域の距離情報を時系列で解析することによって、前記画像上に映る物体が、不定形物体候補、不定形物体、固形物体のいずれであるかを判定し、その判定結果に応じた情報を画像部分補正部117へ送信する。この物体判定部115による物体判定処理については、後で詳述する。

なお、「不定形物体」とは、道路上方に浮遊する湯煙や先行車から排出された排煙といった外形が時間的にかつ三次元的に変化する物体を意味し、「固形物体」とは、手を振っている歩行者や可動する立て看板といった外形が時間的にかつ二次元的に変化する物体や、車両や建造物といった形状が時間的に変化しない物体を意味している。

画像部分補正部117は、前記物体判定部115から出力された情報から、前記二つのカメラ101a，101bで撮像される画像を部分的に補正する必要があると判断した場合、前記二つのカメラ101a，101bに対して、次の入力画像を撮像する際、例えば露光時間が異なる複数枚の画像を生成するように制御する制御信号を出力する。その制御信号を受信したカメラ101a，101bで撮像した露光時間が異なる複数枚の画像を取得した画像部分補正部117は、前記画像補正部103から出力された画像に対し、前記物体判定部115にて判定した不定形物体候補及び不定形物体の座標領域を対象に、露光時間が異なる複数枚の画像の合成（例えばHDR合成）を行って、不定形物体候補及び不定形物体が撮像されている画像上の領域が適正露光になるような画像補正を行い、その補正後の画像（部分補正画像）を距離情報取得部105へ送信する。そして、距離情報取得部105では、前記画像部分補正部117から入力された部分補正画像に対してステレオマッチングを行い、前記部分補正画像から距離情報を取得し、その距離情報を再び物体認識部107や物体判定部115へ送信する。このような処理を繰り返すことにより、従来、背景とのコントラストが強く、黒潰れ及び白跳びしやすかった画像上の不定形物体を精緻に検知することができる。この画像部分補正部117による部分補正画像生成処理について、後で詳述する。

［物体判定部による物体判定処理］
図２は、図１に示す物体判定部による物体判定処理を説明したフロー図である。上記した物体判定部115では、まず、物体認識部107から得た物体の画像上の座標と、距離情報取得部105から得た距離情報とを照らし合わせ、物体が存在する画像上の領域のうち各物体が持つ距離情報が有効になる領域の割合を計算する(S201)。ここで、距離情報が有効になるか否かは、画像上の注目画素をx軸方向、y軸方向にそれぞれ走査したとき、注目画素に隣接する画素との輝度変化量が予め決めた閾値以上であるか否かで判断する。次いで、その割合が事前に定義した閾値未満か否かを判断し(S203)、その割合が閾値未満である場合には、該当する物体を不定形物体候補とし、その物体の画像上の座標（位置）を画像部分補正部117へ転送する(S205)。一方で、その割合が閾値以上である場合には、画像上の物体領域をブロック状に領域分割し(S207)、設定したブロック内の視差を複数フレームに亘って監視し（すなわち、ブロック内のフレーム間の距離変化量を計算し）、不定形物体と固形物体を判定する特徴量を計算する(S209)。

例えば、前記S209では、図３に示すように、球面フィッティングを用いて求めた球面らしさを特徴量として利用する。具体的には、まず、球面フィッティングを用いて球面らしさを表すパラメータを求める(S301)。次いで、その球面らしさを表すパラメータが、前のフレームと比較して変化があるか否かを判断し(S303)、変化がある場合には、距離情報を導出できていない固形物体であると判断し、特徴量を減算する(S305)。一方で、変化が無い場合には、不定形物体の球面らしさを維持していると判断し、特徴量を加算する(S307)。

次に、物体判定部115では、図２に示すように、前記S209で計算した特徴量が事前に定義した閾値以上か否かを判断し(S211)、その特徴量が閾値未満である場合には、該当する物体を固形物体であると判定する(S213)。一方で、その特徴量が閾値以上である場合には、該当する物体を不定形物体であると判定し、その物体の画像上の座標（位置）を画像部分補正部117へ転送する(S215)。そして、その特徴量と判定結果、また、画像部分補正部117にて画像部分補正を行った場合はその画像座標と画像部分補正を行った回数をCANに出力する(S217)。また、物体認識部107で認識した全ての物体について当該物体判定処理が終了したか否かを判断し(S219)、当該処理が終了していない場合には処理対象を次の物体に移してS201から処理を行い、当該処理が終了した場合には物体判定部115による当該物体判定処理を終了する。

［画像部分補正部による部分補正画像生成処理］
図４〜図６はそれぞれ、図１に示す画像部分補正部による部分補正画像生成処理の一例を説明したフロー図であり、図４は、HDR合成を行う例、図５は、異なる露光で撮像された差し替え画像に差し替える例、図６は、異なる明るさで撮像された差し替え画像に差し替える例を説明したフロー図である。

＜HDR合成を行う例＞
まず、図４を参照して、上記した画像部分補正部117において、HDR(High Dynamic Range)合成を用いて部分補正画像を生成する場合について概説する。上記した画像部分補正部117では、物体判定部115から不定形物体候補の画像上の位置が転送された場合(図２のS205)、まず、前フレームで該当する不定形物体候補のHDR合成用の画像を撮像しているか否かを判定する(S401)。HDR合成用の画像を撮像している場合には、物体判定部115から転送される不定形物体候補が存在する画像上の領域に絞ってHDR合成を行う(S403)。このように、不定形物体候補が存在する領域のみHDR合成を行うことによって、HDR合成の処理時間を短縮しながら視差精度を向上させることができる。なお、HDR合成用の画像を撮像していない場合には、前記S403をスキップする。次に、不定形物体候補が存在する画像上の領域の輝度の和を取り、その輝度和が予め定義した閾値未満か否かを判断する(S405)。その輝度和が閾値以上である場合には、次にHDR合成用の画像を撮像する際の露光時間を短くするようにカメラ101a，101bを制御する(S407)。一方で、その輝度和が閾値未満である場合には、次にHDR合成用の画像を撮像する際の露光時間を長くするようにカメラ101a，101bを制御する(S409)。そして、カメラ101a，101bで撮像した画像を取得し、画像補正部103から出力された画像に対し、不定形物体候補の座標領域を対象にHDR合成を行って部分補正画像を生成し、その部分補正画像を距離情報取得部105へ入力する(S411)。

なお、画像部分補正部117では、物体判定部115から不定形物体の画像上の位置が転送された場合(図２のS215)にも、同様の処理を実行する。

＜異なる露光で撮像された差し替え画像に差し替える例＞
次に、図５を参照して、上記した画像部分補正部117において、異なる露光で撮像された差し替え画像に差し替えて部分補正画像を生成する場合について概説する。上記した画像部分補正部117では、物体判定部115から不定形物体候補の画像上の位置が転送された場合(図２のS205)、まず、前フレームで該当する不定形物体候補の差し替え用画像を撮像しているか否かを判定する(S501)。差し替え用画像を撮像している場合には、物体判定部115から転送される不定形物体候補が存在する画像上の領域に絞って画像の差し替えを行う(S503)。このように、不定形物体候補が存在する領域のみ、適正露光で撮像された差し替え画像に差し替えることによって、視差精度を向上させることができる。なお、差し替え用画像を撮像していない場合には、前記S503をスキップする。次に、不定形物体候補が存在する画像上の領域の輝度の和を取り、その輝度和が予め定義した閾値未満か否かを判断する(S505)。その輝度和が閾値以上である場合には、次に差し替え用画像を撮像する際の露光時間を短くするようにカメラ101a，101bを制御する(S507)。一方で、その輝度和が閾値未満である場合には、次に差し替え用画像を撮像する際の露光時間を長くするようにカメラ101a，101bを制御する(S509)。そして、カメラ101a，101bで撮像した画像を取得し、画像補正部103から出力された画像に対し、不定形物体候補の座標領域を対象に適正露光で撮像された差し替え画像に差し替えて部分補正画像を生成し、その部分補正画像を距離情報取得部105へ入力する(S511)。

＜異なる明るさで撮像された差し替え画像に差し替える例＞
次に、図６を参照して、上記した画像部分補正部117において、CMOSセンサのゲイン機能を利用して、異なる明るさを持つ差し替え画像に差し替えて部分補正画像を生成する場合について概説する。上記した画像部分補正部117では、物体判定部115から不定形物体候補の画像上の位置が転送された場合(図２のS205)、まず、前フレームで該当する不定形物体候補の差し替え用画像を撮像しているか否かを判定する(S601)。差し替え用画像を撮像している場合には、物体判定部115から転送される不定形物体候補が存在する画像上の領域に絞って画像の差し替えを行う(S603)。このように、不定形物体候補が存在する領域のみ、適正な明るさで撮像された差し替え画像に差し替えることによって、視差精度を向上させることができる。なお、差し替え用画像を撮像していない場合には、前記S603をスキップする。次に、不定形物体候補が存在する画像上の領域の輝度の和を取り、その輝度和が予め定義した閾値未満か否かを判断する(S605)。その輝度和が閾値以上である場合には、次に撮像する差し替え用画像を撮像する際のCMOSセンサのゲインを減少させるようにカメラ101a，101bを制御する(S607)。一方で、その輝度和が閾値未満である場合には、次に差し替え用画像を撮像する際のCMOSセンサのゲインを増加させるようにカメラ101a，101bを制御する(S609)。このように、ゲインを増減させることによって、露光時間を延ばさずに、次の差し替え用画像を撮像する際に適正な明るさで撮像することができる。そして、カメラ101a，101bで撮像した画像を取得し、画像補正部103から出力された画像に対し、不定形物体候補の座標領域を対象に適正な明るさを持つ差し替え画像に差し替えて部分補正画像を生成し、その部分補正画像を距離情報取得部105へ入力する(S611)。

上記した本実施形態の物体検出装置100では、物体判定部115にて画像に映る物体から不定形物体候補と不定形物体と固形物体とを判定し、画像部分補正部117にてその不定形物体候補及び不定形物体が存在する画像上の領域を部分的に補正して部分補正画像を生成して、その部分補正画像を距離情報取得部105に入力し、距離情報取得部105にてその部分補正画像に映る物体までの距離情報を再び取得する。このように、物体判定部115にて画像に映る物体から不定形物体候補と不定形物体と固形物体とを判定することにより、従来、背景とのコントラストが強く、黒潰れ及び白跳びしやすかった画像上の不定形物体に対して、例えば適正露光になるような画像補正を確実に行うことができる。また、その際、物体判定部115から得られる不定形物体候補及び不定形物体が存在する画像上の座標を利用することにより、画像部分補正部117で行う処理の対象を絞ることができ、処理時間を短縮しながら視差精度を向上させることができる。そのため、自車周囲を撮像した画像中の固形物体と不定形物体を確実に判別し、外形が変化する固形物体を不定形物体と誤検知することなく、その不定形物体を精緻に検知することができ、もって、当該車両における誤報や誤制御の発生を抑制することができる。

なお、上記した実施形態では、撮像部としてのカメラ101a，101bが車両の前方に向かって設置されているとしているが、例えば、カメラを車両の後方や側方に向けて設置してもよいことは勿論である。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

100…物体検出装置、101…ステレオカメラ装置、101a,101b…カメラ、103…画像補正部、105…距離情報取得部、107…物体認識部、115…物体判定部、117…画像部分補正部

Claims

自車周囲に存在して外形が時間的にかつ三次元的に変化する不定形物体を検出する物体検出装置であって、
前記自車周囲を撮像した画像に映る物体までの距離情報を取得する距離情報取得部と、
前記距離情報取得部で取得した距離情報から前記物体の画像上の座標を認識する物体認識部と、
前記距離情報取得部で取得した距離情報と前記物体認識部で認識した画像上の座標とから、前記物体が存在する画像上の領域のうち画像上の注目画素を走査したときに該注目画素に隣接する画素との輝度変化量が予め決められた閾値以上である領域を特定して、前記物体から少なくとも前記不定形物体の候補となる不定形物体候補と前記不定形物体とを判定する物体判定部と、
前記物体判定部で判定された不定形物体候補及び不定形物体の画像上の座標に基づいて、前記不定形物体候補及び前記不定形物体が存在する画像上の領域を部分的に補正して前記不定形物体候補及び前記不定形物体が存在する画像上の領域が適正露光になる部分補正画像を生成し、該部分補正画像に映る物体までの距離情報を再び取得するために該部分補正画像を前記距離情報取得部に入力する画像部分補正部と、を備えることを特徴とする物体検出装置。
前記画像部分補正部は、前記不定形物体候補及び前記不定形物体が存在する画像上の領域に対してHDR合成を行って前記部分補正画像を生成することを特徴とする、請求項１に記載の物体検出装置。
前記画像部分補正部は、前記不定形物体候補及び前記不定形物体が存在する画像上の領域を異なる露光で撮像された差し替え画像に差し替えて前記部分補正画像を生成することを特徴とする、請求項１に記載の物体検出装置。
前記画像部分補正部は、前記不定形物体候補及び前記不定形物体が存在する画像上の領域を異なる明るさで撮像された差し替え画像に差し替えて前記部分補正画像を生成することを特徴とする、請求項１に記載の物体検出装置。
前記物体判定部は、前記物体が存在する画像上の領域のうち画像上の注目画素を走査したときに該注目画素に隣接する画素との輝度変化量が予め決められた閾値以上である領域を特定すると共に、複数フレームに亘って視差を監視して、前記物体から前記不定形物体と外形が時間的にかつ二次元的に変化する固形物体とを判定することを特徴とする、請求項１に記載の物体検出装置。
前記物体判定部は、球面フィッティングを用いて算出した球面らしさを表わすパラメータを用いて、前記物体から前記不定形物体と前記固形物体とを判定することを特徴とする、請求項５に記載の物体検出装置。