JP6457278B2 - 物体検出装置及び物体検出方法 - Google Patents

物体検出装置及び物体検出方法 Download PDF

Info

Publication number
JP6457278B2
JP6457278B2 JP2015011120A JP2015011120A JP6457278B2 JP 6457278 B2 JP6457278 B2 JP 6457278B2 JP 2015011120 A JP2015011120 A JP 2015011120A JP 2015011120 A JP2015011120 A JP 2015011120A JP 6457278 B2 JP6457278 B2 JP 6457278B2
Authority
JP
Japan
Prior art keywords
depth distance
candidate
object candidate
image
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015011120A
Other languages
English (en)
Other versions
JP2016136321A (ja
Inventor
尚秀 内田
尚秀 内田
白井 孝昌
孝昌 白井
裕丈 石神
裕丈 石神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Priority to JP2015011120A priority Critical patent/JP6457278B2/ja
Priority to US15/003,107 priority patent/US9886773B2/en
Priority to DE102016200828.5A priority patent/DE102016200828B4/de
Priority to CN201610045149.0A priority patent/CN105825495B/zh
Publication of JP2016136321A publication Critical patent/JP2016136321A/ja
Application granted granted Critical
Publication of JP6457278B2 publication Critical patent/JP6457278B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

本発明は、物体検出装置及び物体検出方法に関する。
従来、物体検出に関するものとして、例えば、特開2009−176091号公報に記載されるように、カメラにより撮像した画像を用いて周囲の物体を検出する技術であって、画像上の距離情報を取得し、その距離情報に基づいて物体を検出する装置及び方法が知られている。この検出装置及び検出方法は、自車両に先行して走行する先行車両の検出に適用する際、先行車両のテールランプの間の領域を距離情報の取得対象から除外して、自車両の写り込みによる誤検出を抑制しようとするものである。
特開2009−176091号公報
上述した物体検出技術は、物体の誤検出を十分に抑制することができないおそれがある。すなわち、特定の領域についてのみ、距離情報の取得対象から除外するため、それ以外の領域における自車両の写り込みに対応することできず、物体の誤検出を生ずる状況が生ずることとなる。
そこで、本技術分野において、物体の誤検出の抑制が図れる物体検出技術の開発が望まれている。
すなわち、本発明の一側面における物体検出装置は、車両に搭載されたカメラにより撮像された画像を用いて前記車両の周囲の物体を検出する物体検出装置において、前記カメラにより撮像された画像に基づいて前記画像の画素領域ごとの奥行距離を取得する奥行距離取得部と、前記奥行距離取得部により取得された前記奥行距離に基づいて物体候補を抽出する抽出部と、前記抽出部により抽出された前記物体候補の前記奥行距離の時間変化量を演算する演算部と、前記演算部により演算された前記物体候補の前記奥行距離の前記時間変化量を用いて前記物体候補の中から前記物体を検出する物体検出部とを備え、前記物体検出部は、前記抽出部により前記画像上で隣接する第一の物体候補と第二の物体候補が抽出された場合、前記第二の物体候補の前記奥行距離の前記時間変化量が前記第一の物体候補の時間変化量の二倍であるときに前記第二の物体候補を前記第一の物体候補と同一物体として判定するように構成される。
この装置によれば、画像の画素領域の奥行距離に基づいて抽出された物体候補の中から物体を検出するに際し、画像上で隣接する第一の物体候補と第二の物体候補が抽出された場合、第二の物体候補の奥行距離の時間変化量が第一の物体候補の奥行距離の時間変化量の二倍であるときに第二の物体候補を第一の物体と同一物体として判定する。これにより、隣接する物体候補の奥行距離の時間変化量が二倍となる自車両の他車両への映り込みが別の物体として検出されることが抑制される。
また、この物体検出装置において、前記カメラはステレオカメラであってもよい。
本発明の一側面における物体検出方法は、車両に搭載されたカメラにより撮像された画像を用い、物体検出装置により前記車両の周囲の物体を検出する物体検出方法において、前記カメラにより撮像された画像に基づいて前記画像の画素領域ごとの奥行距離を取得する奥行距離取得ステップと、前記奥行距離取得ステップにより取得された前記奥行距離に基づいて物体候補を抽出する抽出ステップと、前記抽出ステップにより抽出された前記物体候補の前記奥行距離の時間変化量を演算する演算ステップと、前記演算ステップにより演算された前記物体候補の前記奥行距離の前記時間変化量を用いて前記物体候補の中から前記物体を検出する物体検出ステップとを含み、前記物体検出ステップでは、前記抽出ステップにより前記画像上で隣接する第一の物体候補と第二の物体候補が抽出された場合、前記第二の物体候補の前記奥行距離の前記時間変化量が前記第一の物体候補の時間変化量の二倍であるときに前記第二の物体候補を前記第一の物体候補と同一物体として判定するように構成される。
この方法によれば、画像の画素領域の奥行距離に基づいて抽出された物体候補の中から物体を検出するに際し、画像上で隣接する第一の物体候補と第二の物体候補が抽出された場合、第二の物体候補の奥行距離の時間変化量が第一の物体候補の奥行距離の時間変化量の二倍であるときに第二の物体候補を第一の物体と同一物体として判定する。これにより、隣接する物体候補の奥行距離の時間変化量が二倍となる自車両の他車両への映り込みが別の物体として検出されることが抑制される。
本発明によれば、画像を用いた物体検出において、物体の誤検出の抑制を図ることができる。
本発明の一実施形態に係る物体検出装置の構成概要を示すブロック図である。 図1の物体検出装置の物体検出に用いられる画像の説明図である。 図1の物体検出装置におけるグループ化処理の説明図である。 物体検出のグループ化処理の比較例を示す図である。 図1の物体検出装置の動作及び実施形態に係る物体検出方法を示すフローチャートである。
以下、図面を参照して、本発明の実施形態について説明する。なお、以下の説明において、同一要素には同一符号を付し、重複する説明を省略する。
図1は、本発明の一実施形態に係る物体検出装置1の構成概要図である。
図1に示されるように、物体検出装置1は、車両に搭載されたカメラ2により撮像された画像を用いて車両周囲の物体を検出する装置である。この物体検出装置1は、例えば、車両に搭載され、カメラ2、ECU(Electronic Control Unit)3を備えて構成される。
カメラ2は、車両の周囲を撮像する撮像部として機能するものであり、例えば車両の進行方向の周囲を撮影できるように取り付けられる。カメラ2としては、画像の輝度情報及び奥行距離情報を取得できるものが用いられる。すなわち、カメラ2としては、画像を構成する画素領域ごとの輝度情報及び画素領域ごとの奥行距離情報を取得できるものが用いられ、例えばステレオカメラが用いられる。この場合、カメラ2として、撮像方向に対し交差する方向に並べて配置された複数の撮像部を備えたものが用いられる。画素領域の詳細については、後述する。
カメラ2により撮像される画像は、カラーでもモノクロであってもよい。また、撮像波長帯は、可視波長でも、近赤外波長であってもよく、車両周囲の物体が認識できる画像データが得られれば、いずれの波長帯であってもよい。また、カメラ2としては、画像の輝度情報及び奥行距離情報を取得できるものであれば、ステレオカメラ以外のセンサであってもよく、例えばTOF(Time of flight)カメラを用いてもよいし、輝度情報の画像を撮像するカメラと奥行距離情報を取得するセンサ、例えばレーザレーダセンサなどを組み合わせたものを用いてもよい。
ECU3は、物体検出装置1全体の制御を行う電子制御ユニットであり、例えばCPU、ROM、RAMを含むコンピュータを主体として構成されている。ECU3は、カメラ2と電気的に接続されており、カメラ2の撮像信号が入力される。ECU3は、距離情報取得部30、グループ化処理部31、物体候補抽出部32、距離変化量演算部33及び物体検出部34を備えている。
距離情報取得部30は、カメラ2により撮像された画像における奥行距離の情報を取得する奥行距離取得部である。例えば、距離情報取得部30は、カメラ2により撮像された画像データを取得し、その画像データを用い、画像を構成する画素領域ごとに奥行距離情報を取得する。画像データは、画像の画素領域ごとの輝度情報及び奥行距離情報を取得可能なデータであり、所定周期で繰り返して取得されるごとに記録される。
画像を構成する画素領域は、一つの画素からなる領域であってもよいし、複数の画素からなる領域であってもよい。画素領域を複数の画素からなる領域として設定する場合、例えば2×2の四つの画素からなる領域、それ以上の数の画素からなる領域とされる。輝度情報は、例えば画素領域の輝度値である。画素領域が一つの画素からなる場合には、その画素の輝度値が画素領域の輝度情報となる。画素領域が複数の画素から構成される場合、複数の画素における輝度値の平均値、最高値、最低値又は所定の代表値が画素領域の輝度情報とされる。また、奥行距離情報は、画素領域に撮像される被撮像体の奥行距離に関する情報であり、奥行距離を含む情報である。例えば、奥行距離は、カメラ2の撮像方向における被撮像体までの距離である。カメラ2としてステレオカメラを用いる場合、奥行距離は複数のカメラの設置位置を結ぶ直線から被撮像体までの距離となる。被撮像体は、画像に撮像されるものであって、立体物である物体のほか、道路の路面、空などの背景を含む。画素領域が一つの画素からなる場合には、その画素の奥行距離が画素領域の奥行距離情報となる。画素領域が複数の画素から構成される場合、複数の画素における奥行距離の平均値、最高値、最低値又は所定の代表値を画素領域の奥行距離情報として用いればよい。
なお、奥行距離情報は、奥行距離の値をそのまま用いてもよいが、奥行距離に対応する値又は奥行距離に相当する値であってもよい。例えば、奥行距離に対応した視差の値を奥行距離情報として用いてもよい。視差の値は、二つのカメラによって撮像される二つの画像における被撮像体ないし物体の視差の値であり、奥行距離が近いほど大きな値となる。
カメラ2としてステレオカメラが用いられる場合、距離情報取得部30は、二つの左右の画像について視差画像を生成する。そして、距離情報取得部30は、視差画像における画素領域の視差の値を奥行距離情報として用いる。また、画素領域ごとの視差に基づいて画素領域ごとの奥行距離を演算して、その奥行距離の値を奥行距離情報として用いてもよい。奥行距離情報の算出手法としては、例えばdense stereo技術が用いられ、より具体的にはSGM法やELAS法などが用いられる。
グループ化処理部31は、奥行距離情報を取得した画像について、その奥行距離情報に基づいて複数の画素領域をグループ化する。このグループ化処理部31は、三次元空間上において近接する画素領域を同一のグループとして設定しグループ化するものである。例えば、グループ化処理部31は、画像の縦方向において同一距離範囲の画素領域が近接する場合に同一のグループとしてグループ化を行う。同一距離範囲とは、同一距離及び同一距離に対し所定の距離範囲内のほぼ同一距離を含む範囲である。また、グループ化処理部31は、画像の縦方向及び横方向において同一距離範囲の画素領域が近接する場合に同一のグループとしてグループ化してもよい。
図2〜4を参照し、グループ化処理部31におけるグループ化処理を具体的に説明する。図2は、カメラ2により撮像された自車両の進行方向の画像である。この画像には、先行車両60が撮像されており、先行車両60の下部には、自車両の映り込み領域61が存在する。図2は、夜間における自車両のヘッドライトの映り込みを示した例である。
この図2の画像に対してグループ化処理部31によるグループ化処理が行われると、同一距離範囲の画素領域が所定の距離範囲内で近接する場合に同一のグループとしてグループ化される。図2では、先行車両60が第一グループ60aとしてグループ化され、自車両の映り込み領域61が第二グループ61aとしてグループ化される。映り込み領域61は、先行車両60の奥行距離に対し二倍の奥行距離となり、別グループとして認識されるためである。
図3は、カメラ2により撮像された自車両の進行方向の画像であって、歩行者65、66及び67が撮像されている。歩行者65、66は同じ奥行距離に存在しており、歩行者67は、歩行者65、66より遠方に存在し、歩行者65と歩行者66の間に表示されている。この場合、歩行者65、66及び67の奥行距離に応じてグループ化される。すなわち、歩行者65と歩行者66は、その間に奥行距離の異なる歩行者67が表示されているため、それぞれ別のグループとしてグループ化される。
これに対し、図4の比較例では、奥行距離が十分に考慮されずにグループ化を行った例であり、歩行者65、66および67が同一のグループとしてグループ化されており、適切なグループ化が行われていない。
また、グループ化処理部31のグループ化処理においては、画像上における物体の横位置と奥行位置の座標系にて鳥瞰図のデータを作成して物体の存在を認識しグループ化を行ってもよい。また、物体の横位置の情報として画像領域の輝度値を用いてもよいし、グループの時間変化を認識するために画像領域ごとのオプティカルフローを用いてもよい。
物体候補抽出部32は、距離情報取得部30により取得された奥行距離に基づいて物体候補を抽出する抽出部である。すなわち、奥行距離の情報を用いて、画像に表示されるものの中から検出すべき物体の候補が抽出される。例えば、図2の画像には、先行車両60のような立体物、路面71及び背景72も表示され、それぞれ奥行距離に応じてグループ化されるが、立体物のみが物体候補として抽出される。
具体的には、背景72については奥行距離が大きいため、奥行距離が所定のしきい値以下のものに絞ることにより、背景72を物体候補から除外することができる。また、路面71は、表示位置に応じて奥行距離が徐々に変化する領域となり、所定以上に奥行距離が変化しないものに絞ることにより、路面71を物体候補から除外することができる。また、路面71のほか、道路に沿って設けられる壁やガードレールなどを物体候補から除外してもよい。これにより、自車両の周辺の立体物が物体候補として抽出されることとなる。
距離変化量演算部33は、物体候補抽出部32により抽出された物体候補の奥行距離の時間変化量を演算する演算部である。例えば、図2において、先行車両60を示す第一グループ60a、自車両の映り込み領域61である第二グループ61aが物体候補として抽出されている場合、この第一グループ60aおよび第二グループ61aについて、それぞれ奥行距離の時間変化量が演算される。物体候補における奥行距離の時間変化量は、物体検出装置1ないし自車両に対する物体候補の相対速度に相当する。具体的な奥行距離の時間変化量の演算は、繰り返し行われる物体検出の処理において、第一グループ60aおよび第二グループ61aの前回の奥行距離と今回の奥行距離に基づいて行われる。グループの奥行距離は、グループを構成する画素領域の平均値、中央値などの代表値に基づいて算出すればよい。また、前々回又はそれより前の奥行距離を用いて奥行距離の時間変化量を演算してもよい。
物体検出部34は、距離変化量演算部33により演算された物体候補の奥行距離の時間変化量を用いて物体候補の中から物体を検出する検出部である。すなわち、物体検出部34は、物体候補抽出部32により画像上で隣接する第一の物体候補と第二の物体候補が抽出された場合、第二の物体候補の奥行距離の時間変化量が第一の物体候補の時間変化量の二倍であるときに第二の物体候補を第一の物体候補と同一物体として判定する。一方、物体検出部34は、画像上で隣接する第一の物体候補と第二の物体候補が抽出された場合、第二の物体候補の奥行距離の時間変化量が第一の物体候補の時間変化量の二倍でないとき、第二の物体候補を第一の物体候補と別の物体として判定する。また、物体検出部34は、画像上で隣接する物体候補が抽出されない場合、隣接しない物体候補をそれぞれ別の物体として判定する。
具体的に説明すると、図2において、先行車両60の第一グループ60aと自車両の映り込み領域61の第二グループ61aが隣接した状態で物体候補として抽出された場合、先行車両60の第一グループ60aと自車両の映り込み領域61の第二グループ61aの一方の奥行距離の時間変化量が他方の奥行距離の時間変化量の二倍であるか否かが判定される。そして、例えば、自車両の映り込み領域61の第二グループ61aの奥行距離の時間変化量が先行車両60の第一グループ60aの奥行距離の時間変化量の二倍である場合、第二グループ61aは第一グループ60aの先行車両60と同一物体であると判定ないし認識される。
これにより、先行車両60に映り込んだ自車両のヘッドライトなどは、先行車両60の一部として認識され、ヘッドライトなどの映り込みが先行車両60と別物体として誤検出することが抑制される。
ここで、奥行距離の時間変化量の二倍とは、ほぼ二倍の時間変化量も含む。例えば、奥行距離の検出誤差を考慮して、第二の物体候補の奥行距離の時間変化量が第一の物体候補の時間変化量のほぼ二倍であるときに第二の物体候補を第一の物体候補と同一物体として判定してもよい。具体的には、奥行距離の検出精度が実際の距離の±10%の場合、第二の物体候補の奥行距離の時間変化量が第一の物体候補の時間変化量の二倍の±20%以内の値となるときに、第二の物体候補を第一の物体候補と同一物体として判定してもよい。また、奥行距離の検出精度に応じて、ほぼ二倍の範囲を設定してもよい。
また、第一の物体候補と第二の物体候補が隣接する場合とは、第一の物体候補と第二の物体候補の一辺同士が接していてもよいし、図2のように第二の物体候補である第二グループ61aが第一の物体候補である第一グループ60aに囲まれて接していてもよい。
一方、物体検出部34は、図2において、先行車両60に自車両の映り込み領域61が存在しない場合、すなわち隣接する物体候補が存在しない場合には、奥行距離の時間変化量を用いずに、先行車両60の第一グループ60aを物体として検出する。
上述した距離情報取得部30、グループ化処理部31、物体候補抽出部32、距離変化量演算部33及び物体検出部34は、それぞれの機能を実現するソフトウェア又はプログラムをECU3に導入することにより構成すればよい。また、それらの一部又は全部を個別の電子制御ユニットにより構成してもよい。
図1において、ECU3には、出力部4が電気的に接続されている。出力部4は、物体の検出結果に基づいて作動するものであり、例えば運転者への報知装置、運転制御を実行する制御装置などが該当する。
次に、本実施形態に係る物体検出装置1の動作及び本実施形態に係る物体検出方法について説明する。
図5は、本実施形態に係る物体検出装置1及び物体検出方法における物体検出処理を示すフローチャートである。物体検出処理は、例えば、ECU3により行われ、所定の周期で繰り返して実行される。
図5のステップS10(以下、単に「S10」という。他のステップSについても同様とする。)に示すように、まず、画像の読み込み処理が行われる。画像の読み込み処理は、カメラ2により撮像された画像の画像データを読み込む処理である。カメラ2としてステレオカメラを用いる場合、複数の画像データが読み込まれる。
そして、S12に処理が移行し、距離情報の取得処理が行われる。距離情報の取得処理は、カメラ2により撮像された画像における奥行距離の情報を取得する処理である。すなわち、この取得処理では、画像データを用い、画像を構成する画素領域ごとに奥行距離情報が取得される。この取得処理で取得された奥行距離情報は、所定周期で繰り返して取得され、取得されるごとに記録される。具体的な処理内容としては、例えば、カメラ2としてステレオカメラが用いられる場合、二つの左右の画像について視差画像を生成する処理が行われる。視差画像における画素領域ごとの視差の値が奥行距離情報として取得される。また、画素領域ごとの視差に基づいて画素領域ごとの奥行距離を演算して、その奥行距離の値を奥行距離情報として取得してもよい。
そして、S14に処理が移行し、グループ化処理が行われる。グループ化処理は、奥行距離情報を取得した画像について、その奥行距離情報に基づいて複数の画素領域を関連付けてグループ化を行う処理である。このグループ化処理では、三次元空間上において近接する画素領域を同一のグループとして設定する。例えば、画像上で同一距離範囲の画素領域が所定の距離範囲内で近接する場合に同一のグループとしてグループ化される。
例えば、図2では、先行車両60が第一グループ60aとしてグループ化される。また、先行車両60にて自車両の映り込み領域61が第二グループ61aとしてグループ化される。映り込み領域61は、先行車両60の奥行距離に対し二倍の奥行距離となり、奥行距離に基づいて別グループとして認識されるためである。
なお、このグループ処理において、画像を複数の区部に分割して投票処理を行ってグルーピングしてもよいし、そのヒストグラムから複数個の代表距離を選んでグルーピングする形式でもよい。また、画像上で同一距離範囲の画素領域をグルーピングできれば、いずれの方式を用いることができる。グループ化処理の結果は、記録保持される。例えば、グルーピングされたグループの少なくとも画像上の位置、領域サイズ、奥行距離が関連付けて記録される。
そして、図5のS16に処理が移行し、物体候補の抽出処理が行われる。物体候補の抽出処理は、距離情報の取得処理により取得された奥行距離に基づいて物体候補を抽出する処理である。すなわち、奥行距離の情報を用いて、画像に表示されるものの中から検出すべき物体の候補が抽出される。例えば、図2の画像には、先行車両60のような立体物、路面71及び背景72も表示され、それぞれ奥行距離に応じてグループ化されるが、立体物のみが物体候補として抽出される。
具体的には、背景72については奥行距離が大きいため、奥行距離が所定のしきい値以下のものに絞ることにより、背景72を物体候補から除外することができる。また、路面71は、表示位置に応じて奥行距離が徐々に変化する領域となり、所定以上に奥行距離が変化しないものに絞ることにより、路面71を物体候補から除外することができる。また、路面71のほか、道路に沿って設けられる壁やガードレールなどを物体候補から除外してもよい。これにより、自車両の周辺の立体物が物体候補として抽出されることとなる。
そして、S18に処理が移行し、距離変化量の演算処理が行われる。距離変化量の演算処理は、物体候補の抽出処理により抽出された物体候補における奥行距離の時間変化量を演算する処理である。例えば、図2において、先行車両60を示す第一グループ60a、自車両の映り込み領域61である第二グループ61aが物体候補として抽出されている場合、この第一グループ60aおよび第二グループ61aについて、それぞれ奥行距離の時間変化量が演算される。具体的には、第一グループ60aおよび第二グループ61aの前回の奥行距離と今回の奥行距離に基づいて奥行距離の時間変化量を演算すればよい。また、前々回又はそれより前の奥行距離を用いて奥行距離の時間変化量を演算してもよい。
そして、S20に処理が移行し、物体検出処理が行われる。物体検出処理は、距離変化量演算処理により演算された物体候補の奥行距離の時間変化量を用いて物体候補の中から物体を検出する処理である。すなわち、物体検出処理では、物体候補抽出処理により画像上で隣接する第一の物体候補と第二の物体候補が抽出された場合、第二の物体候補の奥行距離の時間変化量が第一の物体候補の時間変化量の二倍であるときに第二の物体候補を第一の物体候補と同一物体として判定する。一方、物体検出処理では、画像上で隣接する第一の物体候補と第二の物体候補が抽出された場合、第二の物体候補の奥行距離の時間変化量が第一の物体候補の時間変化量の二倍でないとき、第二の物体候補を第一の物体候補と別の物体として判定する。また、物体検出処理では、画像上で隣接する物体候補が抽出されない場合、隣接しない物体候補をそれぞれ別の物体として判定する。
具体的に説明すると、図2において、先行車両60の第一グループ60aと自車両の映り込み領域61の第二グループ61aが隣接した状態で物体候補として抽出された場合、先行車両60の第一グループ60aと自車両の映り込み領域61の第二グループ61aの一方の奥行距離の時間変化量が他方の奥行距離の時間変化量の二倍であるか否かが判定される。そして、例えば、自車両の映り込み領域61の第二グループ61aの奥行距離の時間変化量が先行車両60の第一グループ60aの奥行距離の時間変化量の二倍である場合、第二グループ61aは第一グループ60aの先行車両60と同一物体であると判定ないし認識される。これにより、先行車両60に映り込んだ自車両のヘッドライトなどは、先行車両60の一部として認識され、ヘッドライトなどの映り込みが先行車両60と別物体として誤検出することが抑制される。一方、図2において、先行車両60に自車両の映り込み領域61が存在しない場合、すなわち隣接する物体候補が存在しない場合には、奥行距離の時間変化量を用いずに、先行車両60の第一グループ60aを物体として検出する。
そして、図5のS22に処理が移行し、出力処理が行われる。出力処理は、物体の検出結果を出力する処理である。例えば、運転者へ報知を行う報知装置、運転制御を実行する制御装置などの出力部4へ物体の検出結果が出力される。S22の処理を終えたら、一連の制御処理を終了する。
なお、図5の一連の制御処理において、制御結果に影響を及ぼさなければ、制御処理の順番を入れ替えてもよいし、制御処理の一部の実行を省略してもよい。
以上説明したように、本実施形態に係る物体検出装置1及び物体検出方法によれば、画像の画素領域の奥行距離に基づいて抽出された物体候補の中から物体を検出するに際し、画像上で隣接する第一の物体候補と第二の物体候補が抽出された場合、第二の物体候補の奥行距離の時間変化量が第一の物体候補の奥行距離の時間変化量の二倍であるときに第二の物体候補を第一の物体と同一物体として判定する。これにより、隣接する物体候補の奥行距離の時間変化量が二倍となる自車両の他車両への映り込みが別の物体として検出されることが抑制され、物体の検出精度の向上が図れる。
また、本実施形態に係る物体検出装置1及び物体検出方法によれば、第一の物体候補と第二の物体候補が隣接していれば、特定の位置関係でなくても、自車両の映り込みを別の物体として誤検出することを抑制できる。例えば、先行車両のテールランプの間の領域のみ距離情報の取得対象から除外する装置にあっては、走行路が上り坂道の場合、自車両の映り込み位置がテールランプの間の下方の位置となり、適切に誤検出が抑制できない。これに対し、本実施形態に係る物体検出装置1及び物体検出方法によれば、自車両の映り込み領域がテールランプの間の位置からずれた場合でも、先行車両と映り込み領域が隣接した状態となっているため、誤検出を抑制することができる。
また、本実施形態に係る物体検出装置1及び物体検出方法によれば、第一の物体候補と第二の物体候補が隣接していれば、夜間に限らず、昼間であっても、自車両の映り込みを別の物体として誤検出することを抑制できる。例えば、先行車両のテールランプの間の領域のみ距離情報の取得対象から除外する装置にあっては、夜間でなければテールランプの検出が容易でなく、検出処理が困難となる。これに対し、本実施形態に係る物体検出装置1及び物体検出方法によれば、テールランプの検出が不要であり、物体検出処理の負荷が軽減され、昼間の物体検出であっても物体検出が困難とならない。
なお、上述した実施形態は、本発明に係る物体検出装置の一実施形態を説明したものであり、本発明に係る物体検出装置は上記実施形態に記載されたものに限定されない。本発明に係る物体検出装置は、各請求項に記載した要旨を変更しないように上記実施形態に係る物体検出装置を変形し、又は他のものに適用したものであってもよい。
1…物体検出装置、2…カメラ、3…ECU、4…出力部、30…距離情報取得部、31…グループ化処理部、32…物体候補抽出部、33…距離変化量演算部、34…物体検出部。

Claims (3)

  1. 車両に搭載されたカメラにより撮像された画像を用いて前記車両の周囲の物体を検出する物体検出装置において、
    前記カメラにより撮像された画像に基づいて前記画像の画素領域ごとの奥行距離を取得する奥行距離取得部と、
    前記奥行距離取得部により取得された前記奥行距離に基づいて物体候補を抽出する抽出部と、
    前記抽出部により抽出された前記物体候補の前記奥行距離の時間変化量を演算する演算部と、
    前記演算部により演算された前記物体候補の前記奥行距離の前記時間変化量を用いて前記物体候補の中から前記物体を検出する物体検出部と、を備え、
    前記物体検出部は、前記抽出部により前記画像上で隣接する第一の物体候補と第二の物体候補が抽出された場合、前記第二の物体候補の前記奥行距離の前記時間変化量が前記第一の物体候補の時間変化量の二倍であるときに前記第二の物体候補を前記第一の物体候補と同一物体として判定する、
    物体検出装置。
  2. 前記カメラは、ステレオカメラである、請求項1に記載の物体検出装置。
  3. 車両に搭載されたカメラにより撮像された画像を用い、物体検出装置により前記車両の周囲の物体を検出する物体検出方法において、
    前記カメラにより撮像された画像に基づいて前記画像の画素領域ごとの奥行距離を取得する奥行距離取得ステップと、
    前記奥行距離取得ステップにより取得された前記奥行距離に基づいて物体候補を抽出する抽出ステップと、
    前記抽出ステップにより抽出された前記物体候補の前記奥行距離の時間変化量を演算する演算ステップと、
    前記演算ステップにより演算された前記物体候補の前記奥行距離の前記時間変化量を用いて前記物体候補の中から前記物体を検出する物体検出ステップと、を含み、
    前記物体検出ステップでは、前記抽出ステップにより前記画像上で隣接する第一の物体候補と第二の物体候補が抽出された場合、前記第二の物体候補の前記奥行距離の前記時間変化量が前記第一の物体候補の時間変化量の二倍であるときに前記第二の物体候補を前記第一の物体候補と同一物体として判定する、
    物体検出方法。
JP2015011120A 2015-01-23 2015-01-23 物体検出装置及び物体検出方法 Active JP6457278B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015011120A JP6457278B2 (ja) 2015-01-23 2015-01-23 物体検出装置及び物体検出方法
US15/003,107 US9886773B2 (en) 2015-01-23 2016-01-21 Object detection apparatus and object detection method
DE102016200828.5A DE102016200828B4 (de) 2015-01-23 2016-01-21 Objekterfassungsvorrichtung und Objekterfassungsverfahren
CN201610045149.0A CN105825495B (zh) 2015-01-23 2016-01-22 物体检测装置和物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015011120A JP6457278B2 (ja) 2015-01-23 2015-01-23 物体検出装置及び物体検出方法

Publications (2)

Publication Number Publication Date
JP2016136321A JP2016136321A (ja) 2016-07-28
JP6457278B2 true JP6457278B2 (ja) 2019-01-23

Family

ID=56364717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015011120A Active JP6457278B2 (ja) 2015-01-23 2015-01-23 物体検出装置及び物体検出方法

Country Status (4)

Country Link
US (1) US9886773B2 (ja)
JP (1) JP6457278B2 (ja)
CN (1) CN105825495B (ja)
DE (1) DE102016200828B4 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6203077B2 (ja) * 2014-02-21 2017-09-27 株式会社東芝 学習装置、密度計測装置、学習方法、学習プログラム、及び密度計測システム
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
JP2018156408A (ja) * 2017-03-17 2018-10-04 マクセル株式会社 画像認識撮像装置
JP6782433B2 (ja) * 2017-03-22 2020-11-11 パナソニックIpマネジメント株式会社 画像認識装置
JP6589926B2 (ja) * 2017-04-07 2019-10-16 トヨタ自動車株式会社 物体検出装置
US10657666B2 (en) * 2017-12-22 2020-05-19 Symbol Technologies, Llc Systems and methods for determining commercial trailer fullness
JP7224592B2 (ja) * 2018-09-28 2023-02-20 日本コントロールシステム株式会社 情報処理装置、情報処理方法、およびプログラム
TWI697846B (zh) 2018-11-26 2020-07-01 財團法人工業技術研究院 物體辨識方法及其裝置
CN109688400A (zh) * 2019-01-04 2019-04-26 Oppo广东移动通信有限公司 电子设备和移动平台
JP7286406B2 (ja) * 2019-05-07 2023-06-05 アルパイン株式会社 画像分析システムおよび画像分析方法
CN116848436A (zh) * 2021-02-15 2023-10-03 松下知识产权经营株式会社 物体信息生成系统、物体信息生成方法以及物体信息生成程序

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166493A (ja) * 1997-08-27 1999-03-09 Nissan Motor Co Ltd 自動駐車装置
DE10149115A1 (de) 2001-10-05 2003-04-17 Bosch Gmbh Robert Objekterfassungsvorrichtung
JP3779280B2 (ja) * 2003-03-28 2006-05-24 富士通株式会社 衝突予測装置
JP2009085628A (ja) * 2007-09-27 2009-04-23 Aisin Aw Co Ltd 車載用処理装置、ナビゲーション装置、及び車両進行方位補正プログラム
JP4956453B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 物体検出装置
JP5580233B2 (ja) * 2011-03-22 2014-08-27 富士重工業株式会社 車外監視装置および車外監視方法
JP5276140B2 (ja) * 2011-05-19 2013-08-28 富士重工業株式会社 環境認識装置および環境認識方法
CN104837683A (zh) * 2012-12-12 2015-08-12 本田技研工业株式会社 驻车空间检测装置
JP5906224B2 (ja) * 2013-09-27 2016-04-20 富士重工業株式会社 車外環境認識装置

Also Published As

Publication number Publication date
JP2016136321A (ja) 2016-07-28
CN105825495A (zh) 2016-08-03
DE102016200828B4 (de) 2022-08-04
CN105825495B (zh) 2018-11-02
US20160217583A1 (en) 2016-07-28
US9886773B2 (en) 2018-02-06
DE102016200828A1 (de) 2016-07-28

Similar Documents

Publication Publication Date Title
JP6457278B2 (ja) 物体検出装置及び物体検出方法
JP6313646B2 (ja) 外界認識装置
JP5254102B2 (ja) 環境認識装置
US8976999B2 (en) Vehicle detection apparatus
US9117115B2 (en) Exterior environment recognition device and exterior environment recognition method
CN107273788B (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
EP2963634B1 (en) Stereo camera device
US10748014B2 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
JP5065172B2 (ja) 車両灯火判定装置及びプログラム
CN107886729B (zh) 车辆识别方法、装置及车辆
US9524645B2 (en) Filtering device and environment recognition system
JP5073700B2 (ja) 物体検出装置
US20190003822A1 (en) Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium
US11295544B2 (en) Vehicle exterior environment recognition apparatus
JP6466679B2 (ja) 物体検出装置
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
JP2017182139A (ja) 判定装置、判定方法、および判定プログラム
JP6416654B2 (ja) 白線検出装置
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
JP2022148338A (ja) 車線境界検出装置、車線境界検出方法及び車線境界検出用コンピュータプログラム
JP5727639B2 (ja) 車両検出装置
JP4598011B2 (ja) 車両用表示装置
WO2017169704A1 (ja) 環境認識装置
JP5666726B2 (ja) 車両検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181220

R151 Written notification of patent or utility model registration

Ref document number: 6457278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250