JPWO2014132747A1 - 物体検知装置 - Google Patents

物体検知装置 Download PDF

Info

Publication number
JPWO2014132747A1
JPWO2014132747A1 JP2015502824A JP2015502824A JPWO2014132747A1 JP WO2014132747 A1 JPWO2014132747 A1 JP WO2014132747A1 JP 2015502824 A JP2015502824 A JP 2015502824A JP 2015502824 A JP2015502824 A JP 2015502824A JP WO2014132747 A1 JPWO2014132747 A1 JP WO2014132747A1
Authority
JP
Japan
Prior art keywords
detection
unit
pedestrian
processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015502824A
Other languages
English (en)
Other versions
JP6082802B2 (ja
Inventor
健 志磨
健 志磨
春樹 的野
春樹 的野
晋司 掛川
晋司 掛川
裕史 大塚
裕史 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Publication of JPWO2014132747A1 publication Critical patent/JPWO2014132747A1/ja
Application granted granted Critical
Publication of JP6082802B2 publication Critical patent/JP6082802B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Abstract

限られた計算リソースの中で、複数の検知対象物を検知処理する際の物体の検知性能を向上させる物体検知装置を提供するために、自車両の外界を撮像する撮像部と、撮像部で撮像された画像から検知対象物の検知処理をする処理装置と、を有し、処理装置は、自車両の走行シーンを解析するシーン解析部と、シーン解析部で解析された走行シーンに基づいて検知対象物の検知処理優先度を変更する処理優先度変更部と、処理優先度変更部で変更された検知処理優先度に基づいて検知対象物の検知を行う検知対象物検知部と、を有する物体検知装置。

Description

車外の画像情報から外界の物体を検出する物体検知装置に関する。
車両の安全な走行を実現するために、車両の周囲の危険な事象を検出して、検出した危険な事象を回避するために、車両の操舵、アクセル、ブレーキを自動制御する装置に関して研究開発が行われており、一部の車両には既に搭載されている。その中でも、車両に搭載したセンサで前方を横切る歩行者を検知して、歩行者に衝突する可能性がある場合は、ドライバへの警報や自動ブレーキを行うシステムは、車両の安全性向上の面で有効である。
車両に搭載されたセンサで前方の歩行者を検知するには、カメラやレーダとそれらの信号を処理する処理装置が使用されるが、その検知性能を向上させるためには、処理装置においてより詳細な処理を行う必要がある。但し処理装置の計算リソースは有限であり、かつ、歩行者を検知する処理の他に、他の検知対象物を同時に処理することが求められており、処理の優先度をつけて重点的に計算処理を行う必要がある。そのためには、歩行者が存在する可能性が高いシーンにおいて重点的に処理を行うことが有効な手段の１つであるが、歩行者が存在する可能性を示す存在確率については、特許文献1に記載がある。
特開２０１０−３２５４号公報
特許文献１に記載の内容は、歩行者を検出した後に歩行者がこの先移動するであろう存在確率を求めるものであり、歩行者を検出する性能そのものを向上させるものではない。そのため、歩行者検知の性能そのものを向上させるために、歩行者を検知する前に歩行者の存在確率を求め、歩行者を重点的に処理を行うかどうか判断する必要がある。
つまり、本発明の目的は、限られた計算リソースの中で、複数の検知対象物を検知処理する際の物体の検知性能を向上させる物体検知装置を提供することである。
上記目的を達成するために本発明の物体検知装置では、自車両の外界を撮像する撮像部と、撮像部で撮像された画像から検知対象物の検知処理をする処理装置と、を有し、処理装置は、自車両の走行シーンを解析するシーン解析部と、シーン解析部で解析された走行シーンに基づいて検知対象物の検知処理優先度を変更する処理優先度変更部と、処理優先度変更部で変更された検知処理優先度に基づいて検知対象物の検知を行う検知対象物検知部と、を有する構成とする。
限られた計算リソースの中で、複数の検知対象物を検知処理する際の物体の検知性能を向上させる物体検知装置を提供できる。
本発明に係る物体検知装置の構成の一例を示した図である。 本発明の物体検知装置のシーン解析部における処理フローを示した図である。 本発明の物体検知装置の道路領域抽出処理の概要を示した図である。 本発明の物体検知装置のシーン解析図の概要を示した図である。 本発明の存在確率算出のための学習データの一例を示した図である。 本発明の存在確率算出の概要を説明する図である。 本発明の物体検知装置の処理優先度変更部の概要を説明する図である。 本発明の物体検知装置のパラメータ変更部における処理フローを示した図である。 本発明の物体検知装置の距離算出部における処理フローを示した図である。 本発明の物体検知装置の左右画像の対応点に関して説明する図である。 本発明の物体検知装置の左右画像の対応点の求め方を説明する図である。 本発明の物体検知装置の距離算出の方法を説明する図である。 本発明に係る物体検知装置の構成の他の例を示した図である。
以下図面を用いて各実施例を説明する。
本発明の物体検知装置であるステレオカメラの実施の形態を以下説明する。具体的には、車両に搭載されたステレオカメラの映像を用いて歩行者を検知する物体検知装置の実施の形態を説明する。
まず図１を用いて本発明の物体検知装置の概要を説明する。
図１は本発明の物体検知装置を実現するブロック図であり、ステレオカメラ100と、ステレオカメラの左撮像部101と、ステレオカメラの右撮像部102と、を備え、左撮像部101と右撮像部102と、ステレオカメラを搭載した車両の前方を撮像する。撮像された画像を処理装置111にて処理する。
以下処理装置111の詳細について説明する。
シーン解析部103は、右撮像部102からの画像を入力とし、画像にどのようなものが撮像されているかといったシーンを解析する。説明は右撮像部102からの画像での処理を説明するが、左撮像部101からの画像で処理をしても良い。
次に、外部情報取得部104では、車両に搭載されたカーナビゲーション装置といった外部機器から、検出対象物（歩行者）の存在確率を算出するための情報を入力する。
次に、存在確率算出部105では、先のシーン解析部103で取得した画像のシーンと、および、外部情報取得部104で取得した存在確率算出のための情報と、に基づき、右撮像部102で撮像した画像中の検出対象物（歩行者）の存在確率を算出する。
次に、処理優先度変更部106は、歩行者の存在確率が予め定めた値より高い場合、または、画像中で歩行者の存在確率が予め定めた値より高い部分については、他の検出対象物（先行車両、標識、レーン等）よりも歩行者検知処理を優先的に行うように処理優先度を変更する。
また、パラメータ変更部107では、歩行者の存在確率が高い部分の歩行者検知処理を、より詳細に行うように検知処理のパラメータを変更する。また、歩行者の存在確率が高いシーンにおいては、カメラ（右撮像部102）の露光制御のパラメータを変更して歩行者が検知しやすい画像を取得するように調整する。さらには、右撮像部102で取得した画像の中で歩行者の存在確率が高い部分の画像処理のパラメータを変更して、歩行者が検出しやすい画像を作成する。
また、車両速度決定部108では、歩行者の存在確率が予め定めた値より高いシーンにおいては、車両の加速を抑制するといった速度制御を行うための指令を生成し、車両速度制御装置へ出力する。
一方、距離算出部103では、左撮像部101で撮像した画像と、右撮像部102で撮像した画像を入力し、同じ対象物を左撮像部101と右撮像部102が撮像した画像上のズレから、対象物までの距離を算出する。そして、検知対象物検知部110において、先の右撮像部102からの画像と、距離算出部109で算出した対象物までの距離情報と、を利用して、検知対象物（歩行者）を検知する処理を行う。この際、先の処理優先度変更部106によって変更した優先度に基づき検知処理を実行し、パラメータ変更部107にて変更したパラメータを利用して検知処理を実行する。
次に、物体検知装置であるステレオカメラ100のシーン解析部103で行われる処理について説明する。
図２は、ステレオカメラ100のシーン解析部103で行われる処理フローである。
まず、左右画像取得処理201にて、ステレオカメラ100の左撮像部101と右撮像部102で撮像した車両前方の画像を取得する。次に距離データ取得処理202にて、ステレオカメラ100の距離算出部109で算出した車両前方を撮像した画像の距離情報に関するデータを取得する。距離算出部109の詳細については後述する。
次に道路領域抽出処理203にて、左右画像取得処理201で取得した左撮像部101と右撮像部102で撮像した車両前方の2枚の画像を用いて、画像中の道路領域を抽出する。道路領域とは、車両前方を撮像した画像（図３の処理画像300）において、他の車両（駐停車車両302）や道路外の構造物（ガードレールまたは植え込み303）や（ガードレール無しの歩道304）等を除外した、点線で囲った内部（道路領域301）の部分であり、車両が走行できる領域である。
ステレオカメラ100で撮像した2枚の画像から道路領域301を抽出するには、特開2005-217883号公報に記述された手法により抽出することができる。
次に駐停車車両検出処理204にて、車両前方を撮像した処理画像300中から、駐停車車両302を検出する。処理画像300中から駐停車車両302を検出するには、まず、先の道路領域抽出処理203で抽出した道路領域301の外側の領域について、先の距離データ取得処理202で取得した距離情報を用いて、どの程度の大きさの立体物が存在するか算出する。
ここで距離情報とは、処理画像300の各画素に撮像されている物体のステレオカメラ100（車両）からの距離であり、その距離情報から、例えば図３の駐停車車両302の車両の高さ305、車両の幅306、車両の奥行き307が算出できる。
次に、大きさを算出した立体物については、高さ、幅、奥行きが車両に近い値であるものを抽出する。車両の高さ、幅、奥行きの値については、予め市場に出ている車両の高さ、幅、奥行きの値の範囲を調べ、その範囲内の値であれば車両相当の大きさの立体物とする。
次に先に抽出した車両相当の立体物の側面（図３の車両の側面308）が車両に似たテクスチャであるかを判定する。判定の方法は、予め市場に出ている車両の側面のテクスチャを学習させておき、処理画像300中の車両側面とその学習データが似ているかどうかで判定する。車両の側面判定の結果、立体物が車両であると判定された場合は、次に停止している車両かどうかを判定する。
停止判定を行うには、図２の処理フローに示した処理を、前フレーム、前々フレームの画像についても同様に行い、前々フレーム、前フレームで検出した同じ車両が、画像中のどこへ移動したか移動軌跡を算出する。
この際、前々フレーム、前フレーム、現フレームで同一の車両かどうかの判定については、先の車両の側面のテクスチャを用いて車両かどうかの判定をした際のテクスチャについて、各フレームの車両の側面のテクスチャを比較し、側面のテクスチャの類似度が高い場合は同一車両であると判定する。最後に、先に算出した画像中の車両の前々フレーム、前フレーム、現フレームの移動軌跡と、自車両の速度を比較して、自車両の速度から推定した処理画像300の背景の動きと、画像中の車両の軌跡の動きが一致した場合は、画像中の車両は停車していると判定する。
以上の処理により、処理画像300中から駐停車車両302を検出することができる。
次に道路側方状況判定処理205において、先の道路領域抽出処理203で抽出した道路領域301の外側のうち、先の駐停車車両検出処理204で検出した駐停車車両302の部分以外の路肩について、その属性を判定する。属性とは、ガードレールまたは植え込み303、建造物309、ガードレール無しの歩道304といったものである。ここで、ガードレールまたは植え込み303であるかどうかの判定については、先の道路領域抽出処理203で抽出した道路領域301の外側の領域のうち、先の駐停車車両検出処理204で駐停車車両302が検出された部分以外についいて、先の距離データ取得処理202で取得した距離情報を用いて、どの程度の大きさの立体物が存在するか算出する。
ここで距離情報とは、処理画像300の各画素に撮像されている物体のステレオカメラ100（車両）からの距離であり、その距離情報から、立体物の高さを推定する。その結果、立体物の高さがある一定値内の場合は、ガードレールまたは植え込みであると判定する。このある一定値については、事前に典型的なガードレール、植え込みのデータを学習させて学習データとして準備しておくものとする。
また、建造物309かどうかの判定については、先の道路領域抽出処理203で抽出した道路領域301の外側の領域のうち、先の駐停車車両検出処理204で駐停車車両302が検出された部分と道路側方状況判定処理205でカードレールまたは植え込み303と判定された部分以外についいて、先の距離データ取得処理202で取得した距離情報を用いて、どの程度の大きさの立体物が存在するか算出する。結果、ある一定値以上の高さの立体物である場合は、その立体物は建造物として判定する。このある一定値については、事前に典型的な建造物の高さを調査し、学習データとして準備しておくものとする。
また、ガードレール無しの歩道304であるかどうかの判定については、まず道路領域301の外側に画像処理を施し、道路境界線310（実線の白線）を抽出する。道路境界線の検出に関しては、特開2012-155399号公報に記載された手法を利用すれば検出することができる。そして、検出した道路境界線310と、道路側方状況判定処理205で建造物309と判定された部分の間に、静止立体物が存在しない場合は、ガードレール無しの歩道304であると判定する。立体物が静止立体物であるかの判定に関しては、対象となる立体物の前々フレーム、前フレーム、現フレームの軌跡を求め、その軌跡が、自車両の速度から推定した処理画像300の背景の動きと一致する場合は、静止立体物と判定する。
次に横断歩道検出処理206において、先の道路領域抽出処理203で抽出した道路領域301の内部に、横断歩道の路面標示があるかどうかを判定する。道路領域301中から横断歩道を検出するには、特開2011-192071号公報などに記載の方法によって検出することができる。
最後にシーン解析図作成処理207において、図３に示すような道路領域301のシーン解析図を作成する。シーン解析図とは、前述の駐停車車両検出処理204、道路側方状況判定処理205、横断歩道検出処理206によって抽出した結果に基づき、図４に示すように画像中のどの領域にどのような物体が存在するかを記述した図である。
図４には、ガードレールまたは植え込み領域401と402、ガードレールまたは植え込みの切れ目領域403、横断歩道領域404、ガードレール無しの歩道領域405と406、駐停車車両領域407と408、駐停車車両の切れ目領域409、を示している。
次にステレオカメラ100の外部情報取得部104で行われる処理について説明する。
ここで外部情報とは、車両に搭載されたカーナビゲーション装置や、センターや他の車両といった車両の外の装置である。車両の外の装置とは、DSRC(Dedicated Short Range Communication)といった路車間通信装置、携帯電話、無線LANによって情報を取得する。
ここでは、カーナビゲーション装置から情報を取得する例を説明する。カーナビゲーション装置からは、自車両が走行している場所の属性をステレオカメラ100へ配信される。
ここで自車両が走行している場所の属性とは、歩行者の存在する確率が高い場所である市街地、住宅地、商業施設、学校、車線数が少ない道、交差点の密度が多い場所といった属性であり、反対に、歩行者が存在する確率が低い場所である高速道路、高架道路、車線数が多い道路、建物が少ない場所、山地、交差点が少ない単路といった属性である。
カーナビゲーション装置は、GPS（Global Positioning System）の測位情報に基づきカーナビゲーション装置内の地図データ上での自車両の位置を特定し、自車両周辺の歩行者の過多の確率に関する上記の場所の属性をステレオカメラ100へ送信する。
次にステレオカメラ100の存在確率算出部105の処理の詳細を説明する。
存在確率算出部105では、前述のシーン解析部103で取得した画像のシーン、および、外部情報取得部104で取得した自車走行している場所の属性に関する情報、に基づき、右撮像部102で撮像した画像中に歩行者が存在する可能性が高いか低いかといった存在確率を算出する。
ここで存在確率を算出するには、図５に示すような事前調査結果に基づく学習データを準備しておき、この学習データを参照することで歩行者の存在確率を算出する。ここで図５の学習データの表は、縦軸として画像のシーンの種類501とし、ステレオカメラ100のシーン解析部103で行われる処理の中でシーン解析図作成処理207において、ステレオカメラ100で撮影したシーンの要素となるガードレールまたは植え込み、ガードレールまたは植え込みの切れ目、横断歩道、ガードレール無しの歩道、駐停車車両、駐停車車両の切れ目といたものである。
一方横軸502は、ステレオカメラ100の外部情報取得部104で取得した自車両が走行している場所の属性であり、市街地、住宅地、商業施設、学校、高速道路、高架道路、山地、交差点が少ない単路、といったものである。
表中の歩行者の存在確率の値503に記載している数字が歩行者の存在確率であり、例えば、画像のシーンがガードレール・植え込みであり、場所の属性が市街地の場合は、歩行者が存在する可能性がある確率は10%であることを示している。
ここで、歩行者の存在確率の値503の確率を求めるには、予め取得した画像を調査して、実際に歩行者が存在した割合を調べて、経験値として確率の値を準備するものとする。
次に、図５に示すように歩行者存在確率に関する学習データに基づき、ステレオカメラ100のシーン解析部103のシーン解析図作成処理207で作成した図４のシーン解析図に歩行者存在確率を付与する。ステレオカメラ100の外部情報取得部104で取得したこのシーンの場所の属性が商業施設である場合を例として、例えば、図５の表を参照して、ガードレールまたは植え込みの切れ目領域403は、図５の歩行者存在確率の値504に基づき、歩行者存在確率が90%となる。同じように、他のガードレールまたは植え込み領域401と402、横断歩道領域404、ガードレール無しの歩道領域405と406、駐停車車両領域407と408、駐停車車両の切れ目領域409の領域についても図５の表から存在確率を参照し、図６に示すように図４のシーン解析図に歩行者存在確率を付与する。
図６において、太実線枠で示した領域601が歩行者存在確率が90%の領域（図６では403、404、405、406、409の領域）、細い実線枠で示した領域602が歩行者存在確率が60%の領域（407、408の領域）、細い点線枠で示した領域603が歩行者存在確率が30%の領域（401、402の領域）である。
次にステレオカメラ100の処理優先度変更部106の処理の詳細を説明する。
処理優先度変更部106では、歩行者の存在確率が予め定めた値より高い場合、または、画像中で歩行者の存在確率が予め定めた値より高い部分については、他の検出対象物（先行車両、標識、レーン等）よりも歩行者検知処理を優先的に行うように処理優先度を変更する。
図７に処理優先度変更の概要を示す。ステレオカメラ100の存在確率算出部105で現在のシーンの歩行者存在確率を算出した結果、シーン内にある一定値以上の確率の領域があった場合に、図７に示すような処理優先度変更を行う。図７では、優先度変更前の処理スケジュール704と、優先度変更前の処理スケジュール705を示す。
優先度変更前の処理スケジュール704では、ステレオカメラ100で歩行者検知処理と車両検知処理と標識検知処理を実行する場合を例として、まず0msで歩行者検知処理701を行い、次に車両検知処理702を行い、最後に標識検知処理703を行い、時刻90msに再び歩行者検知処理706を行う、といったように、歩行者検知処理701、車両検知処理702、標識検知処理703をいずれも90ms周期でシーケンシャルに実行するものとする。
現在のシーンの歩行者存在確率を算出した結果、シーン内にある一定値以上の確率の領域があった場合、図７の優先度変更前の処理スケジュール705に変更する。すなわち、まず、時刻0msに歩行者検知処理707を行い、次に車両検知処理708を行い、次に再び歩行者検知処理709を行い、最後に標識検知処理710を行い、時刻120msに再び歩行者検知処理711を行うように変更する。
これにより、歩行者検知処理は60ms周期で、車両検知処理と標識検知処理は120ms周期で行うこととなり、歩行者検知処理を優先的に何度も実行することで、歩行者検知性能を向上させることが可能となる。
次にステレオカメラ100のパラメータ変更部107の処理の詳細を説明する。
図８は、パラメータ変更部107で行われる処理の処理フローを示したものである。まず、歩行者高確率領域抽出処理801で、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の領域を抽出する。ある一定値以上を80%とした場合は、図６において太実線枠の領域601（403、404、405、406、409の領域）が抽出する領域となる。
次に、歩行者検知ロジック変更処理802において、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の値がある場合に、先の歩行者高確率領域抽出処理801で抽出した歩行者の存在確率が高い領域の歩行者検知処理をより詳細に行うように、歩行者検知処理のロジックを変更する。ここで歩行者検知処理は、非特許文献「N.Dalal and B.Triggs, “Histograms of Oriented Gradients for Human Detection”, IEEE Symposium on Intelligent Vehicle, pp.206-212 Jun,2006」に記載されているHOG(Histograms of Oriented Gradients)といった画像特徴量を用いて多数の歩行者の画像を学習させたデータと比較して判定することで検出することができる。本処理では、さらにHOG以外の第２の特徴量を使った検知処理も追加することで、判定処理を詳細化し検出性能向上を図る。
また本処理では、画像特徴量を用いて予め学習させたデータと比較して判定する際にその判定の閾値を低くし過検知気味とさせ、その後に歩行者の頭、肩、足の動きといった歩行者の各部位が歩行者のそれと類似しているかといった詳細判定を加えることで、歩行者検知性能の向上を図る。
次に、歩行者検知領域変更処理803において、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の値の領域を抽出し、優先的に歩行者見地を行う処理領域とする。例えば図６において、歩行者の存在確率が60%以上である領域601と、領域602を含む領域については、歩行者検知処理を60ms周期の高頻度で処理を行う一方、その他の領域では処理を行わない、または低頻度で処理を行う、といった設定とする。
次に画像前処理パラメータ変更処理804において、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の領域を抽出し、その歩行者の存在確率が高い領域の画像前処理のパラメータを変更して、歩行者が検出しやすい画像を作成する。ここでは、歩行者の存在確率が高い部分の画像が白飛びをしたり暗くなったりして歩行者が検出しにくい画像になっている場合は、歩行者がコントラスト良く表示されるような画像全体の階調補正を行う。または、先に抽出したある一定値以上の歩行者の存在確率の領域の部分のみ、歩行者がコントラスト良く表示されるような階調補正を行う。
最後に露光制御パラメータ変更処理805において、歩行者の存在確率が高いシーンにおいては、ステレオカメラ100の左撮像部101、右撮像部102の露光制御のパラメータを変更して歩行者が検知しやすい画像を取得するように調整する。ここでは、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の領域を抽出し、その部分の画像の明るさを抽出し、明るい場合は露光時間を短く、暗い場合は露光時間が長くなるように露光制御パラメータを変更する。
次にステレオカメラ100の車両速度決定部108の処理を説明する。
車両速度決定部108では、歩行者の存在確率が高いシーンにおいては、車両の加速を抑制するといった速度制御を行うための指令を発行して車両速度制御装置へ出力する。
すなわち、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の値がある場合に、自車速度が、車両のACC（Adaptive Cruise Control 前車追従装置）のユーザ設定速度よりも低い場合であっても、設定速度まで加速させずに速度を抑制するといった制御を行う。
また、ステレオカメラ100の外部情報取得部104でカーナビゲーション装置から現在走行している道路の規制速度値を取得して、自車速度が規制速度値より高い場合は、規制速度まで車両を減速させるといった減速制御を行う。
次にステレオカメラ100の距離算出部109で行われる処理の詳細を図９のフローチャートを用いて説明する。
図９のフローチャートにおいて、まず、左画像入力処理901において、左撮像部101で撮像した画像データを受信する。次に右画像入力処理902において、右撮像部102で撮像した画像データを受信する。ここで、左画像入力処理901と右画像入力処理902を並列処理として同時に行っても良い。
次に対応点算出処理903において、左画像入力処理901と右画像入力処理902で取得した左右2枚の画像を比較して、同一物体を撮像している部分を特定する。すなわち、図１０に示したように、走行路上にある対象物である物体1001をステレオカメラ100で撮像すると、左撮像部101と右撮像部102で撮像された画像は、それぞれ左画像1002、右画像1003のようになる。ここで、同一の物体1001は、左画像1002では物体位置1004の位置に撮像され、右画像1003では物体位置1005の位置に撮像され、画像の横方向にd1のずれが発生するため、左画像1002の物体位置1004に撮像されている物体が、右画像1003のどこに撮像されているかを特定する必要がある。
左画像1002に撮像されている特定の物体が、右画像1003のどこに撮像されているかを特定する方法を図１１を用いて説明する。
図１１において、左画像1002、右画像1003の座標系に関して、横方向をu軸1101、縦方向をv軸1102とする。まず、左画像1002において、uv座標系で、(u1,v1)、(u1,v2)、(u2,v1)、(u2,v2)で囲まれた矩形領域1103を設定する。
次に右画像1003において、(U,v1)、(U,v2)、(U+(u2-u1),v1)、(U+(u2-u1),v2)で囲まれた領域を、Uの値をu=0からu=u3まで増加させ、画像の右方向へこの矩形領域1104まで走査させる。走査させる際、矩形領域1103内の画像と、矩形領域1104内の画像の相関値を比較して、左画像1002の矩形領域1103と相関性が最も高い右画像1003の矩形領域1105の位置(u4,v1)、(u4,v2)、(u4+(u2-u1),v1)、(u4+(u2-u1),v2)に、矩形領域1103に撮像されている物体と同一物体が撮像されているとする。ここで、矩形領域1103内の各画素と、矩形領域1105内の各画素が対応しているとする。ここで、右画像1003の矩形領域1104を走査した際、相関値がある一定以上の値になる矩形がない場合は、左画像1002の矩形領域1103に対応する右画像1003内の対応点は無しとする。
次に、左画像1002の矩形領域1103を矩形領域1106の位置にずらし、同様の処理を行う。
このように左画像1002の矩形領域を左画像1002内全体に走査して、左画像1002の全画素に対して、右画像1003内の対応点を求める。対応点が見つからない場合は、対応点無しとする。
次に図９のフローチャートにおいて、距離算出処理904を行う。
距離算出処理904では、前述の対応点算出処理903で求めた、同一物体を撮像している左画像1002と右画像1003の対応点に関して、各対応点がステレオカメラ100からどの程度の距離の位置にあるかを算出する。
まず、図１２を用いて、左画像1002と右画像1003の対象点1201のカメラからの距離を算出する方法を説明する。
図１２において、左撮像部101は、レンズ1202と撮像面1203から成る焦点距離f、左撮像部の光軸1208のカメラであり、右撮像部102は、レンズ1204と撮像面1205から成る焦点距離f、右撮像部の光軸1209のカメラである。カメラ前方にある対象点1201は、左撮像部101の撮像面1203の点1206（光軸1208からd2の距離）へ撮像され、左画像1002では点1206（光軸1208からd4画素の位置）となる。同様に、カメラ前方にある点1201は、右撮像部102の撮像面1205の点1207（光軸1209からd3の距離）に撮像され、右画像1003では点1207（光軸1209からd5画素の位置）となる。
このように同一の物体の対象点1201が、左画像1002では光軸1208から左へd4画素の位置、右画像1003では光軸1209から右へd5の位置に撮像され、d4+d5画素の視差が発生する。
このため、左撮像部101の光軸1208と対象点1201との距離をxとすると、以下の式により、ステレオカメラ100から対象点1201までの距離Dを求めることができる。
対象点1201と左撮像部101との関係から d2 : f = x : D
対象点1201と右撮像部102との関係から d3 : f = (d-x) : D
従って、D = f × d / (d2 + d3) = f × d / { (d4 + d5 ) × a} となる。ここで、aは撮像面1203、撮像面1205の撮像素子のサイズである。
以上述べた距離算出を、前述の対応点算出処理903で算出した対応点全てに関して実施する。その結果、ステレオカメラ100から対象物までの距離を表現した距離画像を求めることができる。
そして、図９のフローチャートの距離情報出力処理905では、この距離画像を出力して保存する。
最後に、図９のフローチャートの分岐906において、左撮像部101及び右撮像部102から画像入力信号がある場合は、左画像入力処理901に戻る。分岐906において、左撮像部101及び右撮像部102から画像入力信号がない場合は、画像入力信号が距離算出部109に入力されるまで待機する。
最後にステレオカメラ100の検知対象物検知部110の処理を説明する。検知対象物検知部110では、前述のステレオカメラ100の処理優先度変更部106で決定した図７の優先度変更前の処理スケジュール705に示した処理スケジュールに従い、各検知処理を起動する。図７の例の場合は、歩行者検知処理、車両検知処理、標識検知処理をシーケンシャルに実行させる。検知した結果はステレオカメラ100から外部の装置へ出力する。
ここでは、本発明を、車両に搭載されたステレオカメラの映像を用いて歩行者を検知するシステムに適用した場合の別の実施の形態を図１に示す。
撮像装置であるステレオカメラ1300は、左撮像部1301と右撮像部1302を有し、処理装置1311は、シーン解析部103、外部情報取得部104、存在確率算出部105、処理優先度変更部106、パラメータ変更部107、車両速度決定部108、距離算出部109、検知対象検知部110を有する。このシーン解析部103〜検知対象検知部110の各部の処理内容は実施例１に示したものと同じである。
本実施例のように、ステレオカメラ1300と処理装置1311は別の筐体であっても良く、ステレオカメラ1300と処理装置1311は単一、または複数の信号線で接続され、左撮像部1301で撮像された画像と右撮像部1302で撮像された画像が処理装置1311に送られる。
100 ステレオカメラ
101 左撮像部
102 右撮像部
103 シーン解析部
104 外部情報取得部
105 存在確率算出部
106 処理優先度変更部
107 パラメータ変更部
108 車両速度決定部
109 距離算出部
110 検知対象物検知部
111 処理装置
201 左右画像取得処理
202 距離データ取得処理
203 道路領域抽出処理
204 駐停車車両検出処理
205 道路側方状況判定処理
206 横断歩道検出処理
207 シーン解析図作成処理

Claims (11)

  1. 自車両の外界を撮像する撮像部と、
    前記撮像部で撮像された画像から検知対象物の検知処理をする処理装置と、を有し、
    前記処理装置は、
    自車両の走行シーンを解析するシーン解析部と、
    前記シーン解析部で解析された走行シーンに基づいて検知対象物の検知処理優先度を変更する処理優先度変更部と、
    前記処理優先度変更部で変更された検知処理優先度に基づいて検知対象物の検知を行う検知対象物検知部と、
    を有する物体検知装置。
  2. 請求項１記載の物体検知装置において、
    前記撮像部は、左撮像部と右撮像部を有し、
    前記検知対象物検知部は、前記左撮像部で撮像された左画像と、前記右撮像部で撮像された右画像と、から検知対象物の検知処理をする物体検知装置。
  3. 請求項１記載の物体検知装置において、
    前記処理装置は、前記シーン解析部で解析された走行シーンに基づいて検知対象物の存在確率を算出する存在確率算出部を有し、
    前記処理優先度変更部は、前記存在確率算出部で算出された存在確率に基づいて検知対象物の検知処理優先度を変更する物体検知装置。
  4. 請求項３記載の物体検知装置において、
    前記処理装置は、前記存在確率算出部で算出された存在確率に基づいて自車両の速度を制御するための速度指令を生成し、出力する車両速度決定部を有する物体検知装置。
  5. 請求項３記載の物体検知装置において、
    前記処理装置は、前記存在確率算出部で算出された存在確率に基づいて前記撮像部の露光制御パラメータを変更するパラメータ変更部を有する物体検知装置。
  6. 請求項１記載の物体検知装置において、
    前記処理装置は、
    地図情報を取得する外部情報取得部と、
    前記外部情報取得部で取得した前記地図情報と、前記シーン解析部で解析された走行シーンと、に基づいて検知対象物の存在確率を算出する存在確率算出部と、を有し、
    前記処理優先度変更部は、前記存在確率算出部で算出された存在確率に基づいて検知対象物の検知処理優先度を変更する物体検知装置。
  7. 請求項２記載の物体検知装置において、
    前記処理装置は、
    前記左画像と前記右画像から検知対象物までの距離を算出する距離算出部と、
    前記シーン解析部で解析された走行シーンに基づいて検知対象物の存在確率を算出する存在確率算出部と、を有し、
    前記処理優先度変更部は、前記存在確率算出部で算出された存在確率に基づいて検知対象物の検知処理優先度を変更し、
    前記検知対象物検知部は、前記距離算出部で算出された距離情報と前記処理優先度変更部で変更された検知処理優先度に基づいて、検知対象物の検知処理をする物体検知装置。
  8. 請求項７記載の物体検知装置において、
    前記シーン解析部は、
    前記左画像と前記右画像前記距離情報に基づいて道路領域を抽出する道路領域抽出手段と、
    前記左画像と前記右画像と前記距離情報に基づいて駐停車車両を検出する駐停車検出手段と、
    前記左画像と前記右画像と前記距離情報に基づいて道路領域外の領域の場所の属性を判定する道路側方状況判定手段と、
    前記左画像と前記右画像と前記距離情報に基づいて横断歩道を検出する横断歩道検出手段と、
    のいずれか１つの手段を有する物体検知装置。
  9. 請求項６記載の物体検知装置において、
    前記存在確率算出部は、予め記憶された、走行シーンの種類と場所の属性と存在確率値が対応付けられた学習データを用いて、前記地図情報と、前記走行シーンと、から検知対象物の存在確率を算出する物体検知装置。
  10. 請求項５記載の物体検知装置において、
    検知対象物が歩行者である場合、前記パラメータ変更部は、
    前記存在確率算出部で算出された存在確率から歩行者が存在する可能性が高い領域を抽出する歩行者高確率領域抽出手段と、
    歩行者が存在する可能性が高い領域に基づいて歩行者を検知する歩行者検知ロジックを変更する歩行者検知ロジック変更手段と、
    歩行者が存在する可能性が高い領域に基づいて画像の諧調補正を行う画像前処理パラメータ変更手段と、
    歩行者が存在する可能性が高い領域から画像の明るさを抽出し、前記画像の明るさに基づいて露光制御パラメータを変更する露光制御パラメータ変更手段と、を有する物体検知装置。
  11. 請求項１記載の物体検知装置において、
    前記撮像部と前記処理装置は、一体化された筐体内に搭載される、または各々別体の筐体内に搭載される物体検知装置。
JP2015502824A 2013-02-27 2014-02-03 物体検知装置 Active JP6082802B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013036564 2013-02-27
JP2013036564 2013-02-27
PCT/JP2014/052377 WO2014132747A1 (ja) 2013-02-27 2014-02-03 物体検知装置

Publications (2)

Publication Number Publication Date
JPWO2014132747A1 true JPWO2014132747A1 (ja) 2017-02-02
JP6082802B2 JP6082802B2 (ja) 2017-02-15

Family

ID=51428021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015502824A Active JP6082802B2 (ja) 2013-02-27 2014-02-03 物体検知装置

Country Status (4)

Country Link
US (1) US9679196B2 (ja)
EP (1) EP2963633A4 (ja)
JP (1) JP6082802B2 (ja)
WO (1) WO2014132747A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013207223A1 (de) * 2013-04-22 2014-10-23 Ford Global Technologies, Llc Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern
EP3358293A4 (en) * 2015-09-30 2019-04-10 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
JP6223607B1 (ja) * 2016-04-20 2017-11-01 三菱電機株式会社 周辺認知装置、周辺認知方法及び周辺認知プログラム
WO2017200948A1 (en) * 2016-05-19 2017-11-23 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno Directional link discovery and maintenance between mobiles
KR101982298B1 (ko) * 2016-11-24 2019-05-24 고려대학교 산학협력단 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치
US20180341822A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for classifying objects in a perception scene graph by using a scene-detection-schema
DE102017212418A1 (de) * 2017-07-20 2019-01-24 Continental Automotive Gmbh Fahrerassistenzsystem und -verfahren zur leitplankenerkennung
US11161464B2 (en) 2018-01-12 2021-11-02 Uatc, Llc Systems and methods for streaming processing for autonomous vehicles
JP6847876B2 (ja) * 2018-01-29 2021-03-24 株式会社東芝 情報処理装置、情報処理システム、および情報処理方法
EP3543898A1 (en) * 2018-03-21 2019-09-25 Robert Bosch Gmbh Fast detection of secondary objects that may intersect the trajectory of a moving primary object
JP7117881B2 (ja) * 2018-04-02 2022-08-15 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN111756962A (zh) * 2019-03-29 2020-10-09 上海擎感智能科技有限公司 一种摄像装置及其控制方法
JP7223629B2 (ja) * 2019-05-13 2023-02-16 日立Astemo株式会社 車載システム、外界認識センサ、電子制御装置
US11361201B2 (en) 2020-10-08 2022-06-14 Argo AI, LLC Systems and methods for determining an object type and an attribute for an observation based on fused sensor data
US11731662B2 (en) * 2020-10-08 2023-08-22 Ford Global Technologies, Llc Autonomous vehicle system for detecting pedestrian presence
WO2022208664A1 (ja) * 2021-03-30 2022-10-06 日本電気株式会社 画像処理装置、画像処理方法、プログラム
EP4319148A1 (en) * 2022-08-01 2024-02-07 Honeywell International Inc. A video camera for locally executing a plurality of video analytic algorithms on a video stream captured by the video camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001351200A (ja) * 2000-06-09 2001-12-21 Nissan Motor Co Ltd 車載用物体検知装置
WO2010038851A1 (ja) * 2008-10-02 2010-04-08 日立オートモティブシステムズ株式会社 車両走行に関する情報処理装置
JP2013242670A (ja) * 2012-05-18 2013-12-05 Clarion Co Ltd 車載用環境認識装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7887089B2 (en) * 1992-05-05 2011-02-15 Automotive Technologies International, Inc. Vehicular occupant protection system control arrangement and method using multiple sensor systems
US6768944B2 (en) * 2002-04-09 2004-07-27 Intelligent Technologies International, Inc. Method and system for controlling a vehicle
JP4344860B2 (ja) 2004-01-30 2009-10-14 国立大学法人東京工業大学 ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP4628683B2 (ja) * 2004-02-13 2011-02-09 富士重工業株式会社 歩行者検出装置、及び、その歩行者検出装置を備えた車両用運転支援装置
JP2009187351A (ja) 2008-02-07 2009-08-20 Fujitsu Ten Ltd 障害物検出装置および障害物検出方法
JP4615038B2 (ja) 2008-06-23 2011-01-19 日立オートモティブシステムズ株式会社 画像処理装置
JP5531474B2 (ja) * 2008-12-12 2014-06-25 株式会社豊田中央研究所 地図生成装置、走路推定装置、移動可能領域推定装置、及びプログラム
JP5210233B2 (ja) * 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
JP2011100257A (ja) 2009-11-05 2011-05-19 Renesas Electronics Corp 危険回避システム及び方法
JP5035371B2 (ja) 2010-03-15 2012-09-26 アイシン精機株式会社 横断歩道検出装置、横断歩道検出システム，横断歩道検出方法及びプログラム
CN103155015B (zh) 2010-09-08 2014-12-31 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
JP5588812B2 (ja) * 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
JP5472137B2 (ja) 2011-01-24 2014-04-16 株式会社デンソー 境界検出装置、および境界検出プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001351200A (ja) * 2000-06-09 2001-12-21 Nissan Motor Co Ltd 車載用物体検知装置
WO2010038851A1 (ja) * 2008-10-02 2010-04-08 日立オートモティブシステムズ株式会社 車両走行に関する情報処理装置
JP2013242670A (ja) * 2012-05-18 2013-12-05 Clarion Co Ltd 車載用環境認識装置

Also Published As

Publication number Publication date
WO2014132747A1 (ja) 2014-09-04
EP2963633A4 (en) 2016-12-07
EP2963633A1 (en) 2016-01-06
US9679196B2 (en) 2017-06-13
US20160012282A1 (en) 2016-01-14
JP6082802B2 (ja) 2017-02-15

Similar Documents

Publication Publication Date Title
JP6082802B2 (ja) 物体検知装置
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
CN111212772B (zh) 用于确定车辆的驾驶策略的方法和设备
JP6313646B2 (ja) 外界認識装置
JP2022172153A (ja) 車両ナビゲーションシステム、車両、及びプログラム
CN113646772A (zh) 预测用于自主驾驶的三维特征
CN113614851A (zh) 从时间序列元素生成用于机器学习的地面真值
JP5874831B2 (ja) 立体物検出装置
JP2017062638A (ja) 画像認識処理装置、及びプログラム
JP7376992B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6468568B2 (ja) 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム
JP6839642B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN110727269A (zh) 车辆控制方法及相关产品
JP7454685B2 (ja) 車両走行路内のデブリの検出
WO2014017522A1 (ja) 立体物検出装置及び立体物検出方法
JPWO2013129095A1 (ja) 立体物検出装置及び立体物検出方法
JP5790867B2 (ja) 立体物検出装置
JP2022027306A (ja) 移動体妨害検出装置、移動体妨害検出システム、及び移動体妨害検出プログラム
US20220398923A1 (en) Traffic Signal Recognition Method and Traffic Signal Recognition Device
JP2015216462A (ja) 立体物検出装置
JPWO2019039157A1 (ja) 車両周辺の小物体領域を識別する装置及び方法
JP7332731B1 (ja) 外界認識装置
JP7323716B2 (ja) 画像処理装置および画像処理方法
JP7486556B2 (ja) 区画線認識装置
WO2022209373A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170123

R150 Certificate of patent or registration of utility model

Ref document number: 6082802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250