JP6205640B2 - 車両用警告装置 - Google Patents

車両用警告装置 Download PDF

Info

Publication number
JP6205640B2
JP6205640B2 JP2012168063A JP2012168063A JP6205640B2 JP 6205640 B2 JP6205640 B2 JP 6205640B2 JP 2012168063 A JP2012168063 A JP 2012168063A JP 2012168063 A JP2012168063 A JP 2012168063A JP 6205640 B2 JP6205640 B2 JP 6205640B2
Authority
JP
Japan
Prior art keywords
vehicle
image
range
warning device
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012168063A
Other languages
English (en)
Other versions
JP2014026564A (ja
Inventor
圭助 本田
圭助 本田
英人 栗本
英人 栗本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ichikoh Industries Ltd
Original Assignee
Ichikoh Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ichikoh Industries Ltd filed Critical Ichikoh Industries Ltd
Priority to JP2012168063A priority Critical patent/JP6205640B2/ja
Priority to US14/418,197 priority patent/US9919649B2/en
Priority to CN201380040481.2A priority patent/CN104641405B/zh
Priority to EP13826105.2A priority patent/EP2881927A4/en
Priority to PCT/JP2013/070630 priority patent/WO2014021332A1/ja
Publication of JP2014026564A publication Critical patent/JP2014026564A/ja
Application granted granted Critical
Publication of JP6205640B2 publication Critical patent/JP6205640B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Description

この発明は、自車両が対象物に接触する可能性がある場合に警告する車両用警告装置に関するものである。
この種の車両用警告装置は、従来からある(たとえば、特許文献1)。以下、従来の車両用警告装置について説明する。従来の車両用警告装置は、撮像した時系列画像を処理して車両に接近する歩行者を検出して警報するものである。
特開2005−309797号公報
ところが、従来の車両用警告装置は、車両に接近する歩行者を検出して警報するものであるから、車両が対象物に接触する可能性がない場合でも警報するので、運転者に対して煩わしさを与える虞があり、また、運転者が警報に気が付かない虞がある。
この発明が解決しようとする課題は、従来の車両用警告装置では、運転者に対して煩わしさを与える虞があり、また、運転者が警報に気付かない虞があるという点にある。
この発明(請求項1にかかる発明)は、車両の周辺を撮像する撮像装置と、車両の情報を検出する検出装置と、画像処理装置と、一次警告装置と、二次警告装置と、を備え、画像処理装置が、撮像装置により撮像された車両の周辺の画像から対象物を検出し、かつ、検出結果に基づいて一次警告装置を作動させる画像認識回路と、画像から車両と対象物との相対速度ベクトルを推定し、また、検出装置により検出された車両の情報から車両が対象物に接触する時間を演算し、かつ、演算結果に基づいて二次警告装置を作動させる接触演算回路と、から構成されていて、一次警告装置が、対象物を表示する表示装置から構成されていて、二次警告装置が、音や振動などの体感的なものを運転手に伝える装置から構成されている、ことを特徴とする。
この発明の車両用警告装置は、対象物を検出すると、一次警告装置の表示装置が対象物を表示して運転者に視覚的情報により一次警告し、さらに、自車両が対象物に接触する確率が高いと、二次警告装置が運転者に音や振動などの体感的なものを伝えて二次警告するものである。この結果、視覚的情報の一次警告により、運転者に煩わしさを与えるのを緩和させることができ、また、音や振動などの体感的な二次警告により、運転者が確実に二次警告に気付くことができる。これにより、交通安全に貢献することができる。
図1は、この発明にかかる車両用警告装置の実施形態を示す全体構成の機能ブロック図である。 図2は、車両の右側に搭載された撮像装置(魚眼カメラ)の撮像範囲を示す説明図である。 図3は、車両の右側に搭載された撮像装置(魚眼カメラ)により撮像された車両周辺の右側の全範囲の画像(魚眼画像)を示す説明図である。 図4は、複数のエリアに区画されている車両周辺の右側の全範囲の画像(魚眼画像)を示す説明図である。 図5は、車両周辺の右側の全範囲の画像(魚眼画像)の複数のエリアを1つのエリアごとに示す説明図である。 図6は、車両周辺の右側の全範囲の画像(魚眼画像)の複数のエリアとそれぞれ対応する車両周辺の右側の路面上の複数のエリアを示す説明図である。 図7は、作用を示すフローチャートである。
以下、この発明にかかる車両用警告装置の実施形態(実施例)の1例を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。この明細書および特許請求の範囲において、前、後、上、下、左、右は、この発明にかかる車両用警告装置を車両Cに搭載した際の車両Cの前、後、上、下、左、右である。
図面において、符号「F」は、車両Cの前側(車両Cの前進方向側)を示す。符号「B」は、車両Cの後側を示す。符号「U」は、ドライバー側から前側Fを見た上側を示す。符号「D」は、ドライバー側から前側Fを見た下側を示す。符号「L」は、ドライバー側から前側Fを見た場合の左側を示す。符号「R」は、ドライバー側から前側Fを見た場合の右側を示す。
(実施形態の構成の説明)
以下、この実施形態にかかる車両用警告装置の構成について説明する。この実施形態にかかる車両用警告装置は、図1に示すように、撮像装置(カメラ)1と、検出装置2と、画像処理装置(画像処理ECU)3と、一次警告装置(一次警告システム)4と、二次警告装置(二次警告システム)5と、を備えるものである。
(撮像装置1の説明)
前記撮像装置1は、車両Cの左右両側に搭載されている。たとえば、前記車両Cの左右のドアに装備されているアウトサイドミラー装置(ドアーミラー装置)6のミラーベースに、もしくは、前記車両Cの車体に、搭載されている。すなわち、前記車両Cのフロントピラー(Aピラー)10の付根付近に、搭載されている。
以下、前記車両Cの右側Rに搭載されている前記撮像装置1について説明する。なお、前記車両Cの左側Lに搭載されている前記撮像装置1は、前記車両Cの右側Rに搭載されている前記撮像装置1とほぼ同様の構成をなし、かつ、前記車両Cの右側Rに搭載されている前記撮像装置1の撮像画像とほぼ左右対称の撮像画像であるから、説明を省略する。
前記撮像装置1は、前記画像処理装置3に接続されている。前記撮像装置1は、前記車両Cの周辺の情報を撮像し、撮像した前記車両Cの周辺の情報を画像データとして前記画像処理装置3に出力するものである。前記撮像装置1は、広角レンズ、たとえば、魚眼レンズを使用する魚眼カメラである。このために、前記撮像装置1により撮像される前記車両Cの周辺の全範囲の魚眼画像A0は、図3〜図5に示すように、前記撮像装置1の光軸Zを中心とする円形をなす。
前記撮像装置1の光軸Zは、図2(A)に示すように、平面から見て、前記車両Cに対して直交もしくはほぼ直交するように横(右側R)に向いている。なお、横方向に対して多少前後方向に向いても良い。また、前記撮像装置1の光軸Zは、図2(B)に示すように正面から見て、前記車両Cから下側Dの路面Gの垂直線に対してやや外側(右側R)に向いている。
この結果、前記撮像装置1により撮像された車両周辺の情報は、図3に示すような画像データとして前記画像処理装置3に出力される。すなわち、前記車両Cの一部分(曲線Cより下側Dの部分)は、全範囲の魚眼画像A0の下側Dに位置する画像データとして、また、前記路面G(曲線Gと曲線Cとの間の部分)は、全範囲の魚眼画像A0の中間に位置する画像データとして、さらに、前記路面Gの上の空間(曲線Gより上側Uの部分)は、全範囲の魚眼画像A0の上側Uに位置する画像データとして、それぞれ前記画像処理装置3に出力される。
ここで、前記撮像装置1の光軸Zが正面から見て前記車両Cから下側Dの路面Gの垂直線に対してやや外側に向いている。このために、全範囲の魚眼画像A0中に占める前記車両Cの一部の範囲(割合)は、前記撮像装置1の光軸Zが正面から見て前記車両Cから下側Dの路面Gの垂直線方向に向いている場合と比較して、小さくなり、かつ、全範囲の魚眼画像A0中に占める前記路面Gの上の空間の範囲(割合)は、大きくなる。これにより、前記車両Cの周辺の視認範囲が広がる。
全範囲の魚眼画像A0中に前記車両Cの一部が撮像されているので、前記車両Cと車両周辺の情報との相対位置関係が明確となる。なお、前記車両Cの一部を全範囲の魚眼画像A0中からなくして(見切って)も良い。また、前記路面Gの上の空間の一部を全範囲の魚眼画像A0中からなくして(見切って)も良い。
前記撮像装置1は、魚眼レンズを使用するので、前記撮像装置1で撮像した画像(魚眼画像)のうち、撮像範囲の境界に近い画像(図3〜図5中の円周に近い画像)は、撮像範囲の中心に近い画像(図3〜図5中の円の中心(前記光軸Z)に近い画像)と比較して歪みが大きい。このために、撮像範囲の境界にある程度の余裕代を取ることにより、すなわち、撮像範囲の境界に近い画像を使用しないことにより、より鮮明な画像を得ることができる。なお、前記撮像装置1の撮像範囲を目一杯使用しても良い。
(検出装置2の説明)
前記検出装置2は、前記画像処理装置3に接続されている。前記検出装置2は、前記車両Cの情報を検出し、検出した車両情報を検出信号として前記画像処理装置3に出力するものである。前記検出装置2は、車速センサ(図示せず)と、操舵角センサ(図示せず)と、方向指示検出部(図示せず)と、を備えるものである。
前記車速センサは、前記車両Cの速度を検出して、車両速度に応じてパルスが変化する車速信号を前記画像処理装置3に出力するものである。前記車速センサが検出する前記車両情報は、前記車両Cの速度である。
前記操舵角センサは、ステアリングハンドル(図示せず、ステアリングホイール、ハンドルなど同意語)の操舵角(舵角と同意語)および操舵方向および角速度を検出して、操舵角信号および操舵方向信号および角速度信号を前記画像処理装置3に出力するものである。すなわち、前記操舵角センサは、たとえば、前記車両Cが曲路(左カーブの道路や右カーブの道路)を走行する場合に、また、前記車両Cが交差路を左折したり右折したりする場合に、ドライバーが操舵するステアリングハンドルの操舵角(回転角)および操舵方向(回転方向)および角速度(回転速度)を検出して、操舵角信号および操舵方向信号および角速度信号を前記画像処理装置3に出力するものである。前記操舵角センサが検出する前記車両情報は、前記車両Cの曲路や交差点などにおける左折右折である。
前記方向指示検出部は、ドライバーが行う方向指示の操作を検出して方向指示信号を前記画像処理装置3に出力するものである。前記方向指示検出部は、たとえば、左側のウインカスイッチと右側のウインカスイッチとから構成されている。左側のウインカスイッチ右側のウインカスイッチは、この例では、交差点などを左折右折するときにドライバーがON操作し、また、交差点などを左折右折した後にステアリングハンドルが所定角度以上戻った時点で自動的にOFFするものである。また、左側のウインカスイッチ右側のウインカスイッチは、ONのときON信号(たとえば、ハイレベル信号)を前記画像処理装置3に出力し、OFFのときOFF信号(たとえば、ローレベル信号)を前記画像処理装置3に出力するものである。さらに、左側のウインカスイッチ右側のウインカスイッチがONのときには、左側ターンシグナルランプ(図示せず)右側ターンシグナルランプ(図示せず)が点滅点灯し、左側のウインカスイッチ右側のウインカスイッチがOFFのときには、左側ターンシグナルランプ右側ターンシグナルランプが消灯する。前記方向指示検出部が検出する前記車両情報は、前記車両Cの交差点などにおける左折右折である。
(画像処理装置3の説明)
前記画像処理装置3は、前記撮像装置1、前記検出装置2、前記一次警告装置4、二次警告装置5にそれぞれ接続されている。前記画像処理装置3は、画像補正回路7と、画像認識回路8と、接触演算回路9と、から構成されている。
前記画像補正回路7は、前記撮像装置1からの魚眼画像(図4、図5参照)を正像画像(図示せず)に補正するものである。すなわち、魚眼画像は、歪んでいる。このために、前記画像補正回路7は、座標や回転角度などの正像変換により魚眼画像を正像画像に補正するものである。
前記画像認識回路8は、前記撮像装置1により撮像された前記車両Cの周辺の画像(魚眼画像)であって、前記画像補正回路7により補正された正像画像から対象物を検出し、かつ、検出結果に基づいて前記一次警告装置4を作動させるものである。すなわち、前記画像認識回路8は、前記正像画像から前記対象物を検出し、前記対象物が前記車両Cの周辺に存在するものと判定すると、前記一次警告装置4を作動させるものである。前記対象物は、歩行者P(図6参照)や自転車や他車両などである。また、画像認識回路8は、前記対象物が前記車両Cの周辺に存在するものと判定すると、前記正像画像を前記接触演算回路9に出力する。
前記正像画像から前記対象物を検出する手段としては、前記の特許文献1に記載の手段、特開2011−210087号公報に記載の手段、その他の手段、がある。
前記の特許文献1に記載の手段は、時系列画像における差分領域(すなわち、各画像間の各画素において所定値以上の濃度差が発生した画素(差分画素)の領域)に注目して対象物(歩行者)を検出する方法である。すなわち、画像に発生した差分領域の面積(画素数)を、対象物の存在の有無を判定するために予め設定した判定基準値と比較し、差分領域の面積(画素数)が判定基準値以上であると、車両周辺に対象物が存在するものと判定するものである。
前記の特開2011−210087号公報に記載の手段は、1フレームの画像において検出窓をスキャン(走査)させて、検出窓内の画像と基準画像とを比較して、車両周辺に対象物(歩行者)が存在するか否かを判定するものである。すなわち、検出窓を固定サイズとし、1フレームの画像を複数段階に大きくしたりあるいは小さくしたりしてリサイズしながら、検出窓をスキャンさせ、検出窓内の対象物の画像特徴量と、対象物の基準画像特徴量とが所定量以上一致すると、車両周辺に対象物が存在するものと判定するものである。
前記のその他の手段は、1フレームの画像において大きさが異なる複数の検出枠をそれぞれスキャン(走査)させて、検出枠中の画像の特徴点と、学習された基準画像の特徴点とを比較して、一致する特徴点が閾値を超えると、車両周辺に対象物(歩行者)が存在するものと判定するものである。
前記画像認識回路8は、前記正像画像から前記対象物を検出すると、前記正像画像のうち前記対象物が存在する範囲の部分正像画像(図示せず)であって、前記対象物を枠(図示せず)で囲んだ前記部分正像画像を前記一次警告装置4に出力するものである。前記枠は、点滅表示されるもの、囲う前記対象物を目立てるものである。なお、前記画像認識回路8は、前記部分正像画像のみを前記一次警告装置4に出力するものであっても良い。
前記部分正像画像は、前記撮像装置1により撮像された前記車両Cの周辺の全範囲の魚眼画像A0から複数この例では6つ切り出された部分魚眼画像A1、A2、A3、A4、A5、A6(以下、「A1〜A6」と記載する場合がある)を、それぞれ正像画像に補正した画像である。
以下、6つの前記部分魚眼画像A1〜A6について図4〜図6を参照して説明する。第1部分魚眼画像(ミラービュー)A1は、前記アウトサイドミラー装置(ドアーミラー装置)6などの車両用後写鏡により得られる視認範囲と同等の範囲の部分魚眼画像であって、車両後方、すなわち、前記車両Cの横(右側R)の後側Bの範囲の部分魚眼画像である。
第2部分魚眼画像(アンダーミラービュー)A2は、前記第1部分魚眼画像A1よりも下側Dの範囲の部分魚眼画像であって、ドライバーの死角となる前記車両Cの後側Bのタイヤ付近の範囲の部分魚眼画像である。
第3部分魚眼画像(ピラービュー)A3は、前記車両Cの前記フロントピラー10によりドライバーの死角となる範囲とほぼ同等の範囲もしくは広い範囲の部分魚眼画像である。
第4部分魚眼画像(ラテラルビュー、真横ビュー)A4は、前記車両Cの真横(真右側R)でドライバーの死角となる範囲とほぼ同等の範囲もしくは広い範囲の部分魚眼画像である。
第5部分魚眼画像(サイドビュー)A5は、ドライバーの死角となる前記車両Cの前側Fのタイヤ付近の範囲の部分魚眼画像である。
第6部分魚眼画像(アラウンドビュー、俯角ビュー)A6は、前記車両Cの真横(真右側R)でかつ前記車両Cの真下(真下側D)のドライバーの死角となる範囲とほぼ同等の範囲もしくは広い範囲の部分魚眼画像である。
前記接触演算回路9は、画像認識回路8から入力した前記正像画像もしくは前記部分正像画像から前記車両Cと前記対象物との相対速度ベクトルを推定し、また、前記検出装置2により検出された前記車両Cの情報から前記車両Cが前記対象物に接触する時間を演算し、かつ、演算結果に基づいて前記二次警告装置5を作動させるものである。
すなわち、前記接触演算回路9は、前記車両Cと前記対象物との前記相対速度ベクトルにおいて、ベクトル方向が接近していると判定すると、前記車両Cが前記対象物に接触する時間を演算する。その演算の結果、接触時間が閾値以下であると判定すると、前記二次警告装置5に作動ON信号を出力して、前記二次警告装置5を作動させるものである。
前記正像画像から前記車両Cと前記歩行者Pとの相対速度ベクトルを推定する手段としては、前記の特許文献1に記載のオプティカルフローすなわち大きさと向きを持ったベクトル量の集合によって画像内の動きを検出する手段がある。
(一次警告装置4の説明)
前記一次警告装置4は、前記画像認識回路8からの検出結果、すなわち、前記画像認識回路8から出力された前記対象物を枠で囲んだ前記部分正像画像を表示して、視覚的に運転者に注意を喚起させる表示装置である。前記一次警告装置4は、たとえば、有機ELディスプレイ、プラズマディスプレイ、液晶ディスプレイ、あるいは、前記車両Cのフロントウインドガラスに表示するレーザープロジェクタ、ヘッドアップディスプレイなどの表示装置から構成されている。前記一次警告装置4は、他の機能の表示装置(図示せず)と一体にもしくは別体に設けられていても良い。
前記一次警告装置4は、たとえば、運転室内のインストルメントパネルの中央に設けられていて、左右の前記撮像装置1からの前記部分魚眼画像を一緒(同時)に表示するものである。また、前記一次警告装置4は、たとえば、運転室内の左右の前記フロントピラー10にそれぞれ設けられていて、左右の前記撮像装置1に合わせて左右に振り分けても良い。すなわち、左側Lの前記撮像装置1からの前記部分魚眼画像を左側Lの前記一次警告装置4に表示し、かつ、右側Rの前記撮像装置1からの前記部分魚眼画像を右側Rの前記一次警告装置4に表示する。
(二次警告装置5の説明)
前記二次警告装置5は、前記接触演算回路9からの演算結果、すなわち、前記接触演算回路9から出力された作動ON信号により作動する音声装置、振動装置である。音声装置は、たとえば、音や声を発生させて聴覚的に運転手に注意を喚起させるものである。振動発生装置は、たとえば、運転者の座席の一部を振動させて触覚的に運転手に注意を喚起させるものである。
(実施形態の作用の説明)
この実施形態にかかる車両用警告装置は、以上のごとき構成からなり、以下、その作用について図7のフローチャートを参照して説明する。
まず、イグニションスイッチ(図示せず)をONすることにより、スタートとなる。まず、検出装置2は、車両Cの情報(車速、操舵角、左折右折など)を検出して、検出した情報を画像処理装置3の接触演算回路9に出力する。また、撮像装置1は、車両Cの周辺を撮像し、かつ、撮像した魚眼画像を画像処理装置3の画像補正回路7に出力する。画像補正回路7は、撮像装置1から入力された魚眼画像を正像画像に補正し、かつ、補正した正像画像を画像認識回路8に出力する。画像認識回路8は、画像補正回路7から入力した正像画像から対象物を検出して、車両Cの周辺に対象物が存在するか否かを判定する(対象物を検出か? S1)。対象物が検出されず、車両Cの周辺に対象物が存在しない場合は、前記の(S1)に戻る。
前記の(S1)において、対象物が検出され、車両Cの周辺に対象物が存在する場合、たとえば、図6に示すように、車両(自車両)Cの前方右側(前側Fでかつ右側R)に対象物の歩行者Pが存在する場合、画像認識回路8は、対象物の歩行者Pが存在する範囲の部分正像画像(第3部分魚眼画像A3に対応する部分正像画像)であって、歩行者Pを枠で囲んだ部分正像画像を一次警告装置4に出力する。
一次警告装置4は、画像認識回路8から入力した歩行者Pを枠で囲んだ部分正像画像を表示して運転者に一次警告をする(一次警告 S2)。
また、画像認識回路8は、正像画像もしくは部分正像画像を接触演算回路9に出力する。接触演算回路9は、画像認識回路8から入力した正像画像もしくは部分正像画像から車両Cと歩行者Pとの相対速度ベクトルを推定する(相対速度ベクトル推定 S3)。
さらに、接触演算回路9は、車両Cと歩行者Pとの相対速度ベクトルから、車両Cと歩行者Pとが相対的に接近しているか否かを判定する(ベクトル方向接近か? S4)。車両Cと歩行者Pとが相対的に離れる場合は、前記の(S1)に戻る。
前記の(S4)において、車両Cと歩行者Pとが相対的に接近している場合、接触演算回路9は、検出装置2から入力した車両Cの情報に基づいて、車両Cが歩行者Pに接触する時間を演算する(接触時間演算 S5)。
そして、接触演算回路9は、接触時間が閾値以下か否かを判定する(接触時間が閾値以下か? S6)。接触時間が閾値よりも長い場合は、前記の(S1)に戻る。
前記の(S6)において、接触時間が閾値以下である場合、接触演算回路9は、作動ON信号を二次警告装置5に出力する。
二次警告装置5は、接触演算回路9から入力した作動ON信号により作動する。すなわち、音声装置の場合は、たとえば、音や声を発生させて聴覚的に運転手に注意を喚起させる。また、振動発生装置の場合は、たとえば、運転者の座席の一部を振動させて触覚的に運転手に注意を喚起させる(二次警告 S7)。それから、前記の(S1)に戻る。
(実施形態の効果の説明)
この実施形態にかかる車両用警告装置は、以上のごとき構成および作用からなり、以下、その効果について説明する。
この実施形態にかかる車両用警告装置は、歩行者Pや自転車や他車両などの対象物を検出すると、一次警告装置4の表示装置が対象物を表示して運転者に視覚的情報により一次警告し、さらに、自車両Cが対象物に接触する確率が高いと、二次警告装置5が運転者に音や振動などの体感的なものを伝えて二次警告するものである。この結果、視覚的情報の一次警告により、運転者に煩わしさを与えるのを緩和させることができ、また、音や振動などの体感的な二次警告により、運転者が確実に二次警告に気付くことができる。これにより、交通安全に貢献することができる。
(実施形態以外の例の説明)
なお、前記の実施形態においては、撮像装置1を車両Cの左右両側、たとえば、車両Cの左右のドアに装備されているアウトサイドミラー装置6のミラーベースに、もしくは、車両Cの車体に、搭載されている。すなわち、車両Cのフロントピラー10の付根付近に、搭載されている。ところが、この発明においては、撮像装置1を搭載する位置を特に限定しない。
1 撮像装置
2 検出装置
3 画像処理装置
4 一次警告装置
5 二次警告装置
6 アウトサイドミラー装置
7 画像補正回路
8 画像認識回路
9 接触演算回路
10 フロントピラー
A0 全範囲の魚眼画像
A1〜A6 部分魚眼画像
C 車両
G 路面
P 歩行者
Z 光軸
F 前側
B 後側
U 上側
D 下側
L 左側
R 右側

Claims (2)

  1. 光軸が前記車両に対して横方向かつ下方に向けられた広角レンズを有し、車両の周辺を撮像する撮像装置と、
    前記車両の情報を検出する検出装置と、
    画像処理装置と、
    一次警告装置と、
    二次警告装置と、
    を備え、
    前記画像処理装置は、前記撮像装置により撮像された前記車両の周辺の画像を正像画像に補正する画像補正回路と、前記正像画像から対象物を検出し、かつ、検出結果に基づいて前記一次警告装置を作動させる画像認識回路と、前記画像から前記車両と前記対象物との相対速度ベクトルを推定し、推定した前記相対速度ベクトルと前記検出装置により検出された前記車両の情報とから前記車両が前記対象物に接触する時間を演算し、かつ、演算結果に基づいて前記二次警告装置を作動させる接触演算回路と、から構成されていて、
    前記一次警告装置は、前記対象物を表示する表示装置から構成されていて、
    前記二次警告装置は、音や振動などの体感的なものを運転手に伝える装置から構成されており、
    前記画像認識回路は、前記正像画像のうち前記対象物が存在する範囲の部分正像画像を前記一次警告装置に出力し、
    前記一次警告装置は、前記画像認識回路から出力された前記部分正像画像を表示し、
    前記撮像装置は、車両の左右のドアに装備されているアウトサイドミラー装置のミラーベースに設けられ、
    前記部分正像画像は、前記正像画像のうち、前記車両に設けられる前記アウトサイドミラー装置により得られる視認範囲と同等の範囲についての画像と、前記車両に対して外側の領域について前記アウトサイドミラー装置より得られる視認範囲よりも下側の範囲を含むドライバーの死角となる範囲についての画像と、を含む
    ことを特徴とする車両用警告装置。
  2. 前記車両のドライバーの死角となる範囲についての画像は、
    前記アウトサイドミラー装置により得られる視認範囲よりも下側の範囲であって前記車両の後側のタイヤ付近の範囲についての画像と、
    前記車両のフロントピラーによりドライバーの死角となる範囲についての画像と、
    前記車両の真横であってドライバーの死角となる範囲についての画像と、
    前記車両の前側のタイヤ付近の範囲についての画像と、
    前記車両の真横でかつ前記車両の真下の範囲についての画像と、を含む
    請求項に記載の車両用警告装置。
JP2012168063A 2012-07-30 2012-07-30 車両用警告装置 Active JP6205640B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012168063A JP6205640B2 (ja) 2012-07-30 2012-07-30 車両用警告装置
US14/418,197 US9919649B2 (en) 2012-07-30 2013-07-30 Warning device for vehicle and outside mirror device for vehicle
CN201380040481.2A CN104641405B (zh) 2012-07-30 2013-07-30 车辆用警报装置和车辆用车外后视镜装置
EP13826105.2A EP2881927A4 (en) 2012-07-30 2013-07-30 VEHICLE WARNING DEVICE AND EXTERIOR VEHICLE MIRROR DEVICE
PCT/JP2013/070630 WO2014021332A1 (ja) 2012-07-30 2013-07-30 車両用警告装置及び車両用アウトサイドミラー装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012168063A JP6205640B2 (ja) 2012-07-30 2012-07-30 車両用警告装置

Publications (2)

Publication Number Publication Date
JP2014026564A JP2014026564A (ja) 2014-02-06
JP6205640B2 true JP6205640B2 (ja) 2017-10-04

Family

ID=50028005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012168063A Active JP6205640B2 (ja) 2012-07-30 2012-07-30 車両用警告装置

Country Status (5)

Country Link
US (1) US9919649B2 (ja)
EP (1) EP2881927A4 (ja)
JP (1) JP6205640B2 (ja)
CN (1) CN104641405B (ja)
WO (1) WO2014021332A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3166311B1 (en) * 2014-08-12 2020-02-12 Sony Corporation Signal processing device, signal processing method and monitoring system
US10139827B2 (en) 2016-06-28 2018-11-27 Ford Global Technologies, Llc Detecting physical threats approaching a vehicle
JP6551336B2 (ja) * 2016-08-12 2019-07-31 株式会社デンソー 周辺監査装置
CN108538084B (zh) * 2017-03-01 2021-01-08 奥迪股份公司 可视化提醒装置、车辆以及可视化提醒方法
DE102017108569B4 (de) * 2017-04-21 2019-03-14 Mekra Lang Gmbh & Co. Kg Kamerasystem für ein Kraftfahrzeug, Spiegelersatzsystem mit einem solchen Kamerasystem und Fahrassistenzsystem mit einem solchen System
CN107097796B (zh) * 2017-04-27 2019-10-11 信利光电股份有限公司 一种结合视觉系统的振动装置以及电子设备
CN108372839A (zh) * 2018-03-29 2018-08-07 厦门理工学院 一种大型车辆侧面防护装置
US10421465B1 (en) * 2018-07-12 2019-09-24 Chongqing Jinkang New Energy Vehicle Co., Ltd. Advanced driver attention escalation using chassis feedback
CN109087485B (zh) * 2018-08-30 2021-06-08 Oppo广东移动通信有限公司 驾驶提醒方法、装置、智能眼镜及存储介质
CN109318801A (zh) * 2018-09-12 2019-02-12 深圳市特维视科技有限公司 车辆安全信息分析警示设备
CN109624908B (zh) * 2018-10-26 2022-02-22 福建省汽车工业集团云度新能源汽车股份有限公司 一种行人安全主动保护系统及方法
FR3093968B1 (fr) * 2019-03-21 2021-07-23 Renault Sas Système de rétrovision pour véhicule comprenant une pluralité d’appareils de prise de vue et un calculateur
CN112937559B (zh) * 2019-11-22 2022-12-20 荷兰移动驱动器公司 行车警示方法及车载装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05155291A (ja) * 1991-12-03 1993-06-22 Mitsubishi Electric Corp 車両用警報装置
US6269307B1 (en) * 1998-08-06 2001-07-31 Honda Giken Kogyo Kabushiki Kaisha Travel safety system for vehicle
JP4238428B2 (ja) * 1999-09-14 2009-03-18 住友電気工業株式会社 交差点情報提供装置
JP4364471B2 (ja) * 2001-12-28 2009-11-18 株式会社エクォス・リサーチ 車両の画像処理装置
US7212653B2 (en) 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP4479183B2 (ja) * 2003-08-05 2010-06-09 日産自動車株式会社 映像提示装置
JP2005086279A (ja) * 2003-09-04 2005-03-31 Equos Research Co Ltd 撮像装置、及び撮像装置を備えた車両
JP2005309797A (ja) 2004-04-22 2005-11-04 Nissan Motor Co Ltd 歩行者警報装置
JP4744823B2 (ja) 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4877447B2 (ja) * 2004-08-31 2012-02-15 株式会社エクォス・リサーチ 車両周辺画像表示装置
US7403639B2 (en) * 2004-11-30 2008-07-22 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
JP4907883B2 (ja) * 2005-03-09 2012-04-04 株式会社東芝 車両周辺画像表示装置および車両周辺画像表示方法
DE102005011241A1 (de) * 2005-03-11 2006-09-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kollisionswarnung
JP2009010730A (ja) * 2007-06-28 2009-01-15 Kyocera Corp 画像処理方法と該画像処理方法を用いた撮像装置
JP5057948B2 (ja) * 2007-12-04 2012-10-24 アルパイン株式会社 歪曲補正画像生成ユニットおよび歪曲補正画像生成方法
JP2009230464A (ja) * 2008-03-24 2009-10-08 Mazda Motor Corp 車両の障害物検知装置
CN201218682Y (zh) * 2008-05-23 2009-04-08 三以实业(德清)有限公司 节能型通讯基站方舱散热装置
CN201298776Y (zh) * 2008-11-26 2009-08-26 金莱克电气股份有限公司 打蜡机电机减速装置
CN101488290B (zh) * 2009-02-27 2011-01-05 清华大学 一种防后车追尾预警方法及其预警系统
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
JP2011210087A (ja) 2010-03-30 2011-10-20 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
US20130044218A1 (en) 2010-04-19 2013-02-21 Honda Motor Co., Ltd. System for monitoring surroundings of a vehicle
DE102010031038A1 (de) * 2010-07-07 2012-01-12 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeuges
JP2012027154A (ja) * 2010-07-21 2012-02-09 Canon Inc 画像表示システム
JP2012098776A (ja) * 2010-10-29 2012-05-24 Daihatsu Motor Co Ltd 運転支援装置
JP5717416B2 (ja) * 2010-11-30 2015-05-13 ダイハツ工業株式会社 運転支援制御装置

Also Published As

Publication number Publication date
CN104641405B (zh) 2018-05-29
US20150191120A1 (en) 2015-07-09
JP2014026564A (ja) 2014-02-06
WO2014021332A1 (ja) 2014-02-06
CN104641405A (zh) 2015-05-20
US9919649B2 (en) 2018-03-20
EP2881927A4 (en) 2016-03-23
EP2881927A1 (en) 2015-06-10

Similar Documents

Publication Publication Date Title
JP6205640B2 (ja) 車両用警告装置
JP5099451B2 (ja) 車両周辺確認装置
US9139135B2 (en) System and method that minimizes hazards of blind spots while driving
TWI468645B (zh) 盲點偵測警示系統
JP5704902B2 (ja) 運転支援装置及び運転支援方法
JP6379779B2 (ja) 車両用表示装置
JP2012034076A (ja) 車両用視覚補助システム及び該システムを備える車両
JP2016084089A (ja) 周辺監視装置
JP2006051850A (ja) 運転支援装置及び運転支援方法
JP2006338594A (ja) 歩行者認識装置
JP2011114467A (ja) 車両表示装置および表示方法
WO2016092967A1 (ja) 画像生成装置及び画像生成方法
JP2012221116A (ja) 車両用危険予知システム
JP6223143B2 (ja) 運転支援装置および運転支援方法
JP2010095202A (ja) ルームミラー位置後視カメラ画像表示装置
JP2004310522A (ja) 車両用画像処理装置
JP2011150475A (ja) 周辺監視装置
JP7006460B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
KR20160143595A (ko) 차량 주변의 위험요소 경고장치 및 경고방법
JP2007286898A (ja) 運転支援装置及びプログラム
JP2000016181A (ja) カメラ付ドアミラー及び車両周辺認識システム
KR101729030B1 (ko) 차량 주변의 위험요소 경고장치 및 경고방법
JP2005182305A (ja) 車両走行支援装置
JP2007182201A (ja) 車線変更支援装置
JP2008162550A (ja) 外部環境表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170426

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170814

R150 Certificate of patent or registration of utility model

Ref document number: 6205640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250