JP7202304B2 - 衝突予測装置、衝突予測方法及びプログラム - Google Patents

衝突予測装置、衝突予測方法及びプログラム Download PDF

Info

Publication number
JP7202304B2
JP7202304B2 JP2019539411A JP2019539411A JP7202304B2 JP 7202304 B2 JP7202304 B2 JP 7202304B2 JP 2019539411 A JP2019539411 A JP 2019539411A JP 2019539411 A JP2019539411 A JP 2019539411A JP 7202304 B2 JP7202304 B2 JP 7202304B2
Authority
JP
Japan
Prior art keywords
vehicle
collision
detected
possibility
vehicles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019539411A
Other languages
English (en)
Other versions
JPWO2019044625A1 (ja
Inventor
淳 速水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murakami Corp
Original Assignee
Murakami Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murakami Corp filed Critical Murakami Corp
Publication of JPWO2019044625A1 publication Critical patent/JPWO2019044625A1/ja
Application granted granted Critical
Publication of JP7202304B2 publication Critical patent/JP7202304B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01013Means for detecting collision, impending collision or roll-over
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Description

本発明は、衝突予測装置、衝突予測方法及びプログラムに関する。
従来、車両に搭載したミリ波レーダーや撮影装置によって、車両周辺に位置する他の車両を検出し、検出した車両との衝突の回避を支援するシステムが開発されている。このようなシステムは、PCS(Pre-Crash Safety system)と呼ばれ、検出した車両との衝突の可能性が高いと予測した場合には、警報を発する、自動的にブレーキを作動させる等して、衝突の回避を図ることができる。
衝突の予測方法としては、撮影時刻が異なる2フレームの撮影画像のオプティカルフローから、向きが斜めの他の車両を検出し、当該他の車両の走行の軌跡を推定して衝突を予測する方法が提案されている(例えば、特許文献1参照。)。
特開2011-48420号公報
しかしながら、上記従来の予測方法では、衝突の予測に撮影時刻をずらした2フレームの撮影画像が必要である。撮影画像を得るまでに時間を要するため、車両が高速で走行中の場合には衝突の予測が遅れる可能性がある。
本発明は、他の車両との衝突の予測に要する時間を短縮することを目的とする。
請求項1に記載の発明によれば、
車両の周辺を撮影した1フレームの撮影画像から、前記車両の周辺に位置する他の車両の前方、後方及び側面をそれぞれ検出する検出部と、
前記検出部の検出結果に基づいて、前記他の車両との衝突の可能性を判定する判定部と、を備え、
前記判定部は、前記検出部により前方、後方及び側面のいずれか1つ以上を検出した前記他の車両のうち、前方のみ又は後方のみを検出した前記他の車両との衝突の可能性が高いと判定することを特徴とする衝突予測装置が提供される。
これにより、1フレームの撮影画像から、衝突の可能性が高い他の車両を判定することができる。衝突の予測に複数フレームの撮影画像は不要であり、予測を開始するまでの時間、ひいては衝突の予測に要する時間を短縮することができる。また、撮影画像から前方のみを検出した他の車両、例えば車両に向かって進行する他の車両と、後方のみを検出した他の車両、例えば車両の進行方向に位置する他の車両とを、衝突回避対象とすることができ、適切な衝突回避支援が可能になる。
請求項2に記載の発明によれば、
前記1フレームの撮影画像から、前記車両と前記他の車両間の距離を計測する計測部を備え、
前記判定部は、前記検出部により前方のみ又は後方のみを検出し、かつ前記計測部により計測した距離が閾値未満である前記他の車両との衝突の可能性が高いと判定することを特徴とする請求項1に記載の衝突予測装置が提供される。
これにより、車間距離が十分でない他の車両を、衝突回避対象とすることができる。
請求項3に記載の発明によれば、
前記検出部は、前記1フレームの撮影画像において後方のみを検出した前記他の車両のバックライトの点灯を検出し、
前記判定部は、前記検出部により後方のみを検出し、かつバックライトの点灯を検出した前記他の車両との衝突の可能性が高いと判定することを特徴とする請求項1又は2に記載の衝突予測装置が提供される。
これにより、バックで車両に向かって進行する他の車両を、衝突回避対象とすることができる。
請求項4に記載の発明によれば、
コンピュータが実行する衝突予測方法であって、
車両の周囲を撮影した1フレームの撮影画像から、前記車両の周辺に位置する他の車両の前方、後方及び側面をそれぞれ検出する工程と、
前記検出の結果に基づいて、前記他の車両との衝突の可能性を判定する工程と、を含み、
前記判定する工程では、前記検出する工程により前方、後方及び側面のいずれか1つ以上を検出した前記他の車両のうち、前方のみ又は後方のみを検出した前記他の車両との衝突の可能性が高いと判定することを特徴とする衝突予測方法が提供される。
これにより、1フレームの撮影画像から、衝突の可能性が高い他の車両を判定することができる。衝突の予測に複数フレームの撮影画像は不要であり、予測を開始するまでの時間、ひいては衝突の予測に要する時間を短縮することができる。また、撮影画像から前方のみを検出した他の車両、例えば車両に向かって進行する他の車両と、後方のみを検出した他の車両、例えば車両の進行方向に位置する他の車両とを、衝突回避対象とすることができ、適切な衝突回避支援が可能になる。
請求項5に記載の発明によれば、
コンピュータに、衝突予測方法を実行させるためのプログラムであって、
前記衝突予測方法は、
車両の周囲を撮影した1フレームの撮影画像から、前記車両の周辺に位置する他の車両の前方、後方及び側面をそれぞれ検出する工程と、
前記検出の結果に基づいて、前記他の車両との衝突の可能性を判定する工程と、を含み、
前記判定する工程では、前記検出する工程により前方、後方及び側面のいずれか1つ以上を検出した前記他の車両のうち、前方のみ又は後方のみを検出した前記他の車両との衝突の可能性が高いと判定することを特徴とするプログラムが提供される。
これにより、1フレームの撮影画像から、衝突の可能性が高い他の車両を判定することができる。衝突の予測に複数フレームの撮影画像は不要であり、予測を開始するまでの時間、ひいては衝突の予測に要する時間を短縮することができる。また、撮影画像から前方のみを検出した他の車両、例えば車両に向かって進行する他の車両と、後方のみを検出した他の車両、例えば車両の進行方向に位置する他の車両とを、衝突回避対象とすることができ、適切な衝突回避支援が可能になる。
本発明によれば、他の車両との衝突の予測に要する時間を短縮することができる。
本発明の実施の形態である衝突予測装置の主な構成を機能ごとに示すブロック図である。 衝突予測装置において他の車両との衝突の可能性を判定するときの処理手順を示すフローチャートである。 前方のみを検出した他の車両の撮影画像を示す図である。 後方のみを検出した他の車両の撮影画像を示す図である。 側面のみを検出した他の車両の撮影画像を示す図である。 前方と側面をそれぞれ検出した他の車両の撮影画像を示す図である。 前方と側面をそれぞれ検出した他の車両の撮影画像を示す図である。
以下、本発明の衝突予測装置、衝突予測方法及びプログラムの実施の形態について、図面を参照して説明する。
図1は、本発明の実施の形態である衝突予測装置1の構成を機能ごとに示すブロック図である。
図1に示すように、衝突予測装置1は、衝突予測装置1と同じ車両に搭載された撮影装置20、通知部30及び車両制御装置40と接続されている。
衝突予測装置1は、撮影装置20により生成された撮影画像から、車両の周辺に位置する他の車両との衝突を予測する。また、衝突予測装置1は、衝突の予測結果を通知部30及び車両制御装置40にそれぞれ出力する。
以下、衝突予測装置1によって他の車両との衝突の可能性を予測する車両を対象車両という。
撮影装置20は、対象車両の周辺を一定時間間隔で撮影し、撮影するごとに1フレームの撮影画像を生成する。
1又は複数の撮影装置20を使用して、対象車両の前方側、後方側、側面側等の各方向の撮影画像が得られるようにしてもよいし、1つの撮影装置20を回転させて全方向の撮影画像を得る構成であってもよい。撮影装置20の撮影範囲が広いほど、衝突を予測する他の車両の検出範囲を広げることができる。
通知部30は、衝突予測装置1によって衝突の可能性が高いと予測された他の車両の存在をドライバーに通知する。通知方法は特に限定されず、音、音声、表示、振動等により通知することができ、通知部30としては、スピーカー、ディスプレイ、バイブレーター等を使用することができる。
車両制御装置40は、対象車両のブレーキ、アクセル、ハンドル等の操作を制御する。車両制御装置40は、衝突予測装置1によって他の車両との衝突の可能性が高いことが予測された場合には、対象車両の発進、停止、走行速度、進行方向等を自動制御して、衝突の回避を支援することができる。
(衝突予測装置)
衝突予測装置1は、図1に示すように、検出部11、計測部12及び判定部13を備えて構成されている。検出部11、計測部12及び判定部13のそれぞれの処理内容は、各部の処理手順を記述したプログラムを、当該プログラムを記憶する記憶媒体からコンピュータが読み取って実行するソフトウェア処理により、実現することができる。コンピュータとしては、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサーを使用することができる。記憶媒体としては、ハードディスクやROM(Read Only Memory)等を使用することができる。
検出部11は、撮影装置20において一定時間間隔で生成される撮影画像を入力する。検出部11は、1フレームの撮影画像を入力するごとに、当該1フレームの撮影画像から、対象車両の周辺に位置する他の車両の前方、後方及び側面をそれぞれ検出する。
検出部11は、1フレームの撮影画像において後方のみを検出した他の車両のバックライトの点灯を検出することもできる。バックライトとは、車両の後方に設けられ、車両がバック走行する時のみ点灯するライトである。
計測部12は、検出部11により他の車両の前方、後方及び側面を検出した1フレームの撮影画像から、対象車両と検出した他の車両間の距離を計測する。
判定部13は、検出部11の検出結果に基づいて、他の車両との衝突の可能性を判定する。
図2は、衝突予測装置1において衝突の可能性を予測するときの処理手順を示している。衝突予測装置1は、この処理手順を、撮影装置20から1フレームの撮影画像を入力するごとに実行する。
図2に示すように、衝突予測装置1では、検出部11が、撮影装置20から入力した1フレームの撮影画像から、その撮影範囲内において対象車両の周辺に位置する他の車両の前方、後方及び側面をそれぞれ検出する(ステップS1)。
検出部11による検出方法は特に限定されないが、例えば機械学習、人口知能を利用した深層学習(ディープラーニング)等を利用することができる。機械学習としては、例えばニューラルネットワーク、サポートベクターマシン等が挙げられる。深層学習としては、例えばFaster-RCNN等が挙げられる。なかでも、Faster-RCNN等の深層学習は検出精度が高く、処理が高速であるため、好ましい。機械学習又は深層学習の場合、検出部11は、車種や遠近感が異なる車両を様々な方向から撮影した撮影画像を学習用の画像として使用して、車両の前方、後方及び側面の画像の特徴を学習する。そして、検出部11は、検出対象の撮影画像において、学習した車両の前方、後方及び側面の画像の特徴とそれぞれ一致する画像領域を検出する。
図3は、他の車両の前方のみが検出された撮影画像の一例を示している。図3中のフレームaは、検出された他の車両の前方の画像領域を示している。
他の車両が、対象車両の前方、後方又は側面に向いている場合、図3に示すように、他の車両の前方のみが検出される。例えば、対象車両の前方側を撮影した撮影画像から、図3に示すように他の車両の前方のみが検出された場合、対象車両と他の車両が互いに向き合っている場面等が想定できる。また、対象車両の後方側又は側面側を撮影した撮影画像の場合は、対象車両に向かって他の車両が進行している場面等が想定できる。
図4は、他の車両の後方のみが検出された撮影画像の一例を示している。図4中のフレームbは、検出された他の車両の後方の画像領域を示している。
対象車両が、他の車両に向かって進行している場合、図4に示すように、他の車両の後方のみが検出される。例えば、対象車両の前方側を撮影した撮影画像から、図4に示すように他の車両の後方のみが検出された場合、対象車両が他の車両に向かって進行している場面等が想定できる。また、対象車両の後方側又は側面側を撮影した撮影画像の場合は、対象車両から他の車両が離れていくか、他の車両がバックして対象車両に向かって進行している場面等が想定できる。
図5は、他の車両の側面のみが検出された撮影画像の一例を示している。図5中のフレームcは、側面のみが検出された他の車両の画像領域を示している。
他の車両が、対象車両の前方や後方を横切るか、対象車両の隣の車線を走行している場合、図5に示すように、他の車両の側面のみが検出される。例えば、対象車両の前方側又は後方側を撮影した撮影画像から、図5に示すように他の車両の側面のみが検出された場合、他の車両が横切っている場面が想定できる。また、対象車両の側面側を撮影した撮影画像の場合は、他の車両が対象車両の隣の車線を走行している場面が想定できる。
図6及び図7は、それぞれ他の車両の前方と側面をそれぞれ検出した撮影画像の一例を示している。図6及び図7において、1台の他の車両上に、前方の画像領域の検出を示すフレームaと、側面の画像領域の検出を示すフレームcの両方が重なっている。
他の車両の向きが対象車両に対して傾斜している場合、図6及び図7に示すように、他の車両の前方と側面の両方が検出される。
次に、検出部11は、1フレームの撮影画像において、後方のみを検出した他の車両については、さらにバックライトの点灯を検出する(ステップS2)。
バックライトの点灯についても、上述した機械学習又は深層学習によって、バックライトが点灯した車両の画像を学習用の画像として使用することにより、検出することができる。点灯時は輝度が高くなるため、バックライトの位置をテンプレートマッチング等により検出した後、撮影画像を2値化し、検出したバックライトの画像領域が白く低濃度となる場合は点灯していると判断することもできる。
検出が終了すると、計測部12は、他の車両を検出した1フレームの撮影画像から、対象車両と他の車両間の距離を計測する(ステップS3)。
車間距離の計測方法は特に限定されない。例えば、計測部12は、対象車両の進行方向をy方向、進行方向と直交する方向をx方向として、撮影画像にxy座標を設定する。そして、計測部12は、撮影画像上の消失点の座標を求める。消失点の座標を求める方法についても特に限定されず、例えば撮影画像中に含まれる白線等の直線を元に特定することができる。計測部12は、撮影画像の下辺から消失点までのy方向の長さをy0とし、消失点を頂点、撮影画像の下辺を底辺とする二等辺三角形の底角と、撮影画像の下辺から車両の底部までのy方向の長さy1を求める。撮影画像の下辺のx方向の長さx0は、撮影装置20から地面までの距離が固定であれば、一意に決定される。計測部12は、求めた長さy0及びy1により、対象車両から他の車両までの距離を遠近法によって推測する。
計測後、判定部13は、撮影画像から検出した他の車両との衝突の可能性を判定する。複数の他の車両を検出している場合、判定部13はそのうちの1つを抽出する。抽出した他の車両が、前方、後方及び側面のうち、前方のみを検出した他の車両である場合(ステップS4:Y)、判定部13は、抽出した他の車両との衝突の可能性が高いと判定する(ステップS5)。これにより、撮影画像から前方、後方及び側面の1つ以上を検出した他の車両のなかでも、前方のみを検出した他の車両、例えば対象車両に向かって進行する他の車両を、衝突回避対象とすることができる。
抽出した他の車両が、後方のみを検出した他の車両である場合(ステップS4:N、S6:Y)、判定部13は、計測部12において計測した当該他の車両との距離を閾値と比較する。閾値は、衝突の回避に十分な距離に応じて任意に決定することができる。例えば、衝突回避に十分な距離が100mである場合、閾値を100mに設定することができる。衝突回避が十分か否かは走行速度によっても変わるため、閾値は、一定値ではなく、対象車両の走行速度に応じて変動する値であってもよい。また、他の車両に対して対象車両の走行速度が速い場合は短時間で車間距離が短くなるため、他の車両の走行速度が分かる場合は、他の車両と対象車両の相対速度に応じて閾値を変動させてもよい。
判定部13は、後方のみを検出した他の車両と対象車両との距離が閾値未満である場合(ステップS7:N)、当該他の車両との衝突の可能性が高いと判定する(ステップS5)。これにより、後方のみを検出した他の車両、例えば対象車両の進行方向に位置する他の車両であって、十分な車間距離がない他の車両を、衝突回避対象とすることができる。
後方のみを検出した他の車両と対象車両との距離が閾値以上であるが(ステップS7:Y)、当該他の車両のバックライトの点灯が検出されている場合(ステップS8:Y)、判定部13は当該他の車両との衝突の可能性が高いと判定する(ステップS5)。これにより、検出時に車間距離が十分であっても、バックで対象車両に向かって進行する他の車両を、衝突回避対象とすることができる。
一方、後方のみを検出した他の車両との距離が閾値以上であり(ステップS7:Y)、バックライトの点灯も検出されていない場合(ステップS8:N)、判定部13は当該他の車両との衝突の可能性が低いと判定する(ステップS9)。これにより、対象車両の進行方向に位置するが、進行方向が同じであり、車間距離が十分である他の車両との衝突の可能性を低いと判定し、衝突回避対象から除外することができる。
また、判定部13は、抽出した他の車両が、前方のみ又は後方のみを検出した他の車両ではない場合(ステップS4:N、S6:N)、当該他の車両との衝突の可能性が低いと判定する(ステップS9)。これにより、例えば側面のみを検出した他の車両、前方と側面の両方を検出した他の車両等、対象車両に向かって進行していない他の車両を、衝突回避対象から除外することができる。
抽出したすべての他の車両について衝突の可能性を判定していない場合(ステップS10:N)、ステップS4の処理に戻り、判定部13は未判定の他の車両について上述したステップS4~S9の処理を繰り返す。そして、抽出したすべての他の車両について衝突の可能性を判定し終えると(ステップS10:Y)、本処理を終了する。
衝突予測装置1は、上述のようにして予測した結果を、通知部30及び車両制御装置40に出力する。予測結果を入力した通知部30では、衝突の可能性が高い他の車両の存在をドライバーに通知することができる。また、予測結果を入力した車両制御装置40では、ブレーキを作動させて自動停止する、アクセルを自動制御して走行速度を低速化する等、衝突回避のための制御を行うことができる。
以上のように、本実施の形態の衝突予測装置1は、対象車両の周囲を撮影した1フレームの撮影画像から、対象車両の周辺において撮影範囲内に位置する他の車両の前方、後方及び側面をそれぞれ検出する検出部11と、検出部11の検出結果に基づいて、他の車両との衝突の可能性を判定する判定部13と、を備える。本実施の形態において、判定部13は、前方のみを検出した他の車両との衝突の可能性が高いと判定する。
これにより、1フレームの撮影画像から、衝突の可能性が高い他の車両を判定することができる。衝突の予測に複数フレームの撮影画像は不要であり、予測を開始するまでの時間、ひいては衝突の予測に要する時間を短縮することができる。対象車両又は他の車両の走行速度が高速の場合にも、衝突の可能性の予測結果を迅速に出力することができ、衝突の回避が容易になる。また、撮影画像から、前方のみを検出した他の車両、例えば対象車両に向かって進行する他の車両を衝突回避対象とすることができ、適切な衝突回避支援が可能になる。
上記実施の形態は本発明の好適な一例であり、これに限定されない。本発明の主旨を逸脱しない範囲で適宜変更可能である。
例えば、判定部13は、後方のみ検出した他の車両については、対象車両が他の車両に向いており、衝突の可能性は少なからずあることから、対象車両との距離やバック走行中か否かによらず、当該他の車両との衝突の可能性が高いと判定してもよい。
また、上記処理手順では、判定部13は、対象車両との距離によらず、前方のみ検出した他の車両との衝突の可能性を高いと判定していたが、前方のみ検出した他の車両においても、対象車両との距離によって衝突の可能性を判定してもよい。具体的には、判定部13は、前方のみを検出し、かつ計測した対象車両との距離が閾値未満の他の車両との衝突の可能性が高いと判定することができる。一方、判定部13は、前方のみ検出した他の車両であっても対象車両との距離が閾値以上であれば、衝突の可能性が低いと判定することができる。
なお、前方のみを検出した他の車両は、対象車両に向かって進行しており、後方のみを検出した他の車両とは衝突回避に必要な時間が異なる。そのため、前方のみを検出した他の車両と対象車両の距離との比較に使用する閾値を、上記ステップS7において後方のみ検出した他の車両と対象車両の距離との比較に使用する閾値と異ならせてもよい。
また、上記処理手順は、対象車両と他の車両の両方が走行中であることを想定しているが、対象車両又は他の車両が停止中の場合も上記処理手順によって衝突の可能性を判定してもよい。ただし、対象車両が停止中の場合、対象車両から他の車両に向かって進行して衝突する可能性は少ない。よって、後方のみを検出した他の車両であって(ステップS6:Y)、かつ対象車両との距離が閾値未満と判断した他の車両(ステップS7:N)については、上記処理手順により衝突の可能性が高いと判定されても、判定部13はその判定結果を無視するようにしてもよい。対象車両が停止中か否かの情報は、車両制御装置40から取得できる。
また、他の車両が停止中の場合、他の車両が対象車両に向かって進行して衝突する可能性は少ない。よって、判定部13が他の車両が停止中か否かの情報を取得できる場合は、前方のみを検出した他の車両については、上記処理手順により衝突の可能性が高いと判定されても、判定部13はその判定結果を無視するようにしてもよい。
本出願は、2017年9月1日に出願された日本特許出願である特願2017-168497号に基づく優先権を主張し、当該日本特許出願のすべての記載内容を援用する。
1 衝突予測装置
11 検出部
12 計測部
13 判定部
20 撮影装置

Claims (5)

  1. 車両の周辺を撮影した1フレームの撮影画像から、前記車両の周辺に位置する他の車両の前方、後方及び側面をそれぞれ検出する検出部と、
    前記検出部の検出結果に基づいて、前記他の車両との衝突の可能性を判定する判定部と、を備え、
    前記判定部は、前記検出部により前方、後方及び側面のいずれか1つ以上を検出した前記他の車両のうち、前方のみ又は後方のみを検出した前記他の車両との衝突の可能性が高いと判定することを特徴とする衝突予測装置。
  2. 前記1フレームの撮影画像から、前記車両と前記他の車両間の距離を計測する計測部を備え、
    前記判定部は、前記検出部により前方のみ又は後方のみを検出し、かつ前記計測部により計測した距離が閾値未満である前記他の車両との衝突の可能性が高いと判定することを特徴とする請求項1に記載の衝突予測装置。
  3. 前記検出部は、前記1フレームの撮影画像において後方のみを検出した前記他の車両のバックライトの点灯を検出し、
    前記判定部は、前記検出部により後方のみを検出し、かつバックライトの点灯を検出した前記他の車両との衝突の可能性が高いと判定することを特徴とする請求項1又は2に記載の衝突予測装置。
  4. コンピュータが実行する衝突予測方法であって、
    車両の周囲を撮影した1フレームの撮影画像から、前記車両の周辺に位置する他の車両の前方、後方及び側面をそれぞれ検出する工程と、
    前記検出の結果に基づいて、前記他の車両との衝突の可能性を判定する工程と、を含み、
    前記判定する工程では、前記検出する工程により前方、後方及び側面のいずれか1つ以上を検出した前記他の車両のうち、前方のみ又は後方のみを検出した前記他の車両との衝突の可能性が高いと判定することを特徴とする衝突予測方法。
  5. コンピュータに、衝突予測方法を実行させるためのプログラムであって、
    前記衝突予測方法は、
    車両の周囲を撮影した1フレームの撮影画像から、前記車両の周辺に位置する他の車両の前方、後方及び側面をそれぞれ検出する工程と、
    前記検出の結果に基づいて、前記他の車両との衝突の可能性を判定する工程と、を含み、
    前記判定する工程では、前記検出する工程により前方、後方及び側面のいずれか1つ以上を検出した前記他の車両のうち、前方のみ又は後方のみを検出した前記他の車両との衝突の可能性が高いと判定することを特徴とするプログラム。
JP2019539411A 2017-09-01 2018-08-22 衝突予測装置、衝突予測方法及びプログラム Active JP7202304B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017168497 2017-09-01
JP2017168497 2017-09-01
PCT/JP2018/030997 WO2019044625A1 (ja) 2017-09-01 2018-08-22 衝突予測装置、衝突予測方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019044625A1 JPWO2019044625A1 (ja) 2020-12-03
JP7202304B2 true JP7202304B2 (ja) 2023-01-11

Family

ID=65527686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019539411A Active JP7202304B2 (ja) 2017-09-01 2018-08-22 衝突予測装置、衝突予測方法及びプログラム

Country Status (5)

Country Link
US (1) US11472404B2 (ja)
JP (1) JP7202304B2 (ja)
CN (1) CN111052201B (ja)
DE (1) DE112018004835T5 (ja)
WO (1) WO2019044625A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018001106T5 (de) * 2017-03-02 2019-11-21 Panasonic Intellectual Property Management Co., Ltd. Fahrassistenzverfahren, Fahrassistenzvorrichtung und dieses Verfahren verwendendes Fahrassistenzsystem
CN110097571B (zh) * 2019-04-28 2023-06-13 重庆大学 快速高精度的车辆碰撞预测方法
JP7432412B2 (ja) 2020-03-18 2024-02-16 株式会社デンソーテン 車載装置および危険車両検出方法
CN112744174B (zh) * 2021-01-18 2022-05-24 深圳广联赛讯股份有限公司 车辆碰撞监测方法、装置、设备及计算机可读存储介质
KR102560858B1 (ko) 2023-02-24 2023-07-31 케이지모빌리티 주식회사 전방 차량의 하이 마운티드 스탑 램프 연동 차간거리 제어장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013080286A (ja) 2011-09-30 2013-05-02 Pioneer Electronic Corp 移動体識別装置及び移動体情報発信装置
JP2014029604A (ja) 2012-07-31 2014-02-13 Denso It Laboratory Inc 移動体認識システム、移動体認識プログラム、及び移動体認識方法
JP2014182632A (ja) 2013-03-19 2014-09-29 Honda Motor Co Ltd 車両周辺監視装置
JP2016142647A (ja) 2015-02-03 2016-08-08 クラリオン株式会社 画像処理装置、および車両システム

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3872179B2 (ja) * 1997-07-17 2007-01-24 富士重工業株式会社 車両の衝突防止装置
JP2003016429A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
JP4206928B2 (ja) * 2004-01-19 2009-01-14 株式会社デンソー 衝突可能性判定装置
JP4544987B2 (ja) * 2004-09-06 2010-09-15 ダイハツ工業株式会社 衝突予測方法及び衝突予測装置
JP4069916B2 (ja) * 2004-09-14 2008-04-02 日産自動車株式会社 物体検出装置、および方法
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
JP4774849B2 (ja) * 2005-07-27 2011-09-14 日産自動車株式会社 車両の障害物表示装置
CN100468443C (zh) * 2006-12-25 2009-03-11 四川川大智胜软件股份有限公司 基于视频的高速移动车辆标志精确识别方法
JP4914234B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 先行車両検出装置
JP4914233B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 車外監視装置
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
CN101391589A (zh) * 2008-10-30 2009-03-25 上海大学 车载智能报警方法和装置
JP2010128794A (ja) * 2008-11-27 2010-06-10 Aisin Seiki Co Ltd 車両周辺認知支援装置
JP5338566B2 (ja) 2009-08-25 2013-11-13 富士通株式会社 車両検出装置、車両検出プログラム、および車両検出方法
KR101829006B1 (ko) * 2011-09-09 2018-02-14 현대모비스 주식회사 차량 충돌 경보 제어 장치 및 방법
CN103029621B (zh) * 2011-09-30 2016-04-06 株式会社理光 检测前方车辆的方法及设备
JP5811804B2 (ja) * 2011-11-24 2015-11-11 トヨタ自動車株式会社 車両用周辺監視装置
JP5572657B2 (ja) * 2012-03-29 2014-08-13 富士重工業株式会社 車両の運転支援装置
WO2014033957A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
WO2014033955A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 速度算出装置及び速度算出方法並びに衝突判定装置
KR20140126975A (ko) * 2013-04-24 2014-11-03 주식회사 만도 차량의 충돌 회피 장치 및 방법
JP5821917B2 (ja) * 2013-09-20 2015-11-24 トヨタ自動車株式会社 運転支援装置
EP3808634A1 (en) * 2013-12-04 2021-04-21 Mobileye Vision Technologies Ltd. Navigating a vehicle to pass another vehicle
JP6303090B2 (ja) * 2014-03-24 2018-04-04 アルパイン株式会社 画像処理装置および画像処理プログラム
CN103984917A (zh) * 2014-04-10 2014-08-13 杭州电子科技大学 一种基于机器视觉的多特征夜间车辆检测方法
US9335210B2 (en) * 2014-07-01 2016-05-10 Osram Sylvania Inc. Techniques for lumen maintenance and color shift compensation
CN104260723B (zh) * 2014-09-29 2018-03-06 长安大学 一种后方车辆运动状态追踪预测装置及预测方法
JP5979259B2 (ja) * 2015-01-20 2016-08-24 トヨタ自動車株式会社 衝突回避制御装置
KR102623680B1 (ko) * 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
JP6396838B2 (ja) * 2015-03-31 2018-09-26 株式会社デンソー 車両制御装置、及び車両制御方法
KR102117598B1 (ko) * 2015-06-15 2020-06-01 엘지전자 주식회사 차량 운전 보조 장치 및 차량
CN106548659B (zh) * 2015-09-23 2019-04-26 腾讯科技(深圳)有限公司 一种前向碰撞预警方法及装置、终端及计算机存储介质
JP6200481B2 (ja) * 2015-11-25 2017-09-20 株式会社Subaru 車外環境認識装置
JP6330825B2 (ja) * 2016-01-26 2018-05-30 トヨタ自動車株式会社 車両用衝突回避支援システム
JP6347262B2 (ja) * 2016-02-12 2018-06-27 マツダ株式会社 車両の制御装置
JP2017168497A (ja) 2016-03-14 2017-09-21 株式会社Lixil 光起電力デバイス及びその製造方法
KR101770642B1 (ko) * 2016-05-16 2017-09-05 엘지전자 주식회사 차량용 조명 장치 및 차량
CN107886770B (zh) * 2016-09-30 2020-05-22 比亚迪股份有限公司 车辆识别方法、装置及车辆

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013080286A (ja) 2011-09-30 2013-05-02 Pioneer Electronic Corp 移動体識別装置及び移動体情報発信装置
JP2014029604A (ja) 2012-07-31 2014-02-13 Denso It Laboratory Inc 移動体認識システム、移動体認識プログラム、及び移動体認識方法
JP2014182632A (ja) 2013-03-19 2014-09-29 Honda Motor Co Ltd 車両周辺監視装置
JP2016142647A (ja) 2015-02-03 2016-08-08 クラリオン株式会社 画像処理装置、および車両システム

Also Published As

Publication number Publication date
JPWO2019044625A1 (ja) 2020-12-03
WO2019044625A1 (ja) 2019-03-07
US20200207340A1 (en) 2020-07-02
CN111052201A (zh) 2020-04-21
CN111052201B (zh) 2022-02-01
US11472404B2 (en) 2022-10-18
DE112018004835T5 (de) 2020-07-16

Similar Documents

Publication Publication Date Title
JP7202304B2 (ja) 衝突予測装置、衝突予測方法及びプログラム
KR102462502B1 (ko) 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
JP5545022B2 (ja) 障害物認識装置
US11288833B2 (en) Distance estimation apparatus and operating method thereof
JP6717240B2 (ja) 物標検出装置
US10013618B2 (en) Method and apparatus for detecting side of object using ground boundary information of obstacle
US20190042863A1 (en) Peripheral recognition device, peripheral recognition method, and peripheral recognition program
JP6722084B2 (ja) 物体検出装置
JP2011065219A (ja) 道路曲率推定装置
JP2017138660A (ja) 物体検出方法、物体検出装置、およびプログラム
JP2015225546A (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
CN112130158A (zh) 对象距离测量装置和方法
JPWO2019150552A1 (ja) 落下物検知装置、車載システム、車両および落下物検知プログラム
JP2010079582A (ja) 物体を検出する装置、方法及びプログラム
JP2013161202A (ja) 車両周辺監視装置
JP6660595B2 (ja) 駐車空間探索装置、プログラムおよび記録媒体
JP2009146153A (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
JP2007188349A (ja) 後方車両解析装置及び衝突予測装置
JP3719029B2 (ja) 割り込み車両検出装置
JP2019021060A (ja) 物体検出方法及び物体検出装置
JP2006040029A (ja) 障害物認識方法及び障害物認識装置
WO2021094801A1 (ja) 信号機認識方法及び信号機認識装置
JP5272818B2 (ja) 画像処理装置および方法、並びに、プログラム
JP2008257399A (ja) 画像処理装置
US11935412B2 (en) Information supply method and storage medium

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221223

R150 Certificate of patent or registration of utility model

Ref document number: 7202304

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150