JP5914524B2 - 3dカメラによる摩擦係数推定 - Google Patents

3dカメラによる摩擦係数推定 Download PDF

Info

Publication number
JP5914524B2
JP5914524B2 JP2013552840A JP2013552840A JP5914524B2 JP 5914524 B2 JP5914524 B2 JP 5914524B2 JP 2013552840 A JP2013552840 A JP 2013552840A JP 2013552840 A JP2013552840 A JP 2013552840A JP 5914524 B2 JP5914524 B2 JP 5914524B2
Authority
JP
Japan
Prior art keywords
camera
road surface
friction coefficient
vehicle
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013552840A
Other languages
English (en)
Other versions
JP2014512291A (ja
Inventor
ラントラー・マーティン
ハインリッヒ・シュテファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2014512291A publication Critical patent/JP2014512291A/ja
Application granted granted Critical
Publication of JP5914524B2 publication Critical patent/JP5914524B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/068Road friction coefficient
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Regulating Braking Force (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、(空間的解像度を有する)3Dカメラを用いた摩擦係数の推定方法並びに装置に関する。
DE102009033219A1は、ある車線における車両の前方の道路の特徴を割出すための方法及び装置を開示している。画像取得手段、或いは、車両固有運動データから、車両の前方にある車線の道路の特徴を割出している。該画像取得手段は、車両の前方に搭載され、画像取得ユニットを包含するカメラであることができる。割出された道路の特徴に応じて、アクティブなシャーシ・コントロールや可変ダンパーを制御できる。
事故回避は、ドライバー・アシスタント・システムにおいて、ますますその意味が増してきている。中でも特に緊急ブレーキシステムは、重要な貢献をしている。しかしその効果は、車両のタイヤに対する路面の摩擦係数(coefficient of friction)に大きく依存している。特に濡れは、乾燥した路面と比較して、摩擦係数を非常に低下させる。
WO2011/007015A1は、車両におけるレーザーを用いた摩擦係数の段階的評価の方法を開示している。ここでは、走行路面に向けられたライダー・センサーやCVセンサーのシグナルが、評価され、続いて、特に、振幅に基づいて、測定された走行路面に摩擦係数が割り当てられる。例えば、走行路面が、雪、アスファルト、氷のいずれであるかが推測される。
従来の技術における摩擦係数を割出すための方法には、付加的なライダー・センサーが高価であること、車載されている該ライダー・センサーは、路面に向けられなければならないこと、そして、路面の摩擦係数が十分に前もって予測できないことと言った欠点がある。
DE 102009033219 A1 WO 2011/007015 A1
よって、本発明の課題は、これらの欠点を排除し、安価であるにもかかわらず信頼性が高く、予見的な摩擦係数の推定を可能にすることである。
この課題は、車両周辺の少なくとも一枚の画像を3Dカメラによって撮影することにより解決される。該3Dカメラの画像データからは、車両前方全域において、道路表面の凹凸プロファイルが測定され、作成される。そして、該凹凸プロファイルから、(車両前方の道路表面の)摩擦係数を推測することができる。オプション的に、特別な3Dパターンを評価することも可能である。
好ましい実施形態では、道路表面の凹凸プロファイルから道路上の反射面として水面を認識することができる。即ち、水膜や水たまりに起因する反射は、凹凸プロファイルにおいて実際の道路表面よりも低い領域に分類することができる。これは、凹凸プロファイルにおいて、明らかに認識できる。
また、凹凸プロファイルから、雪は、前方を走っている車両のタイヤによって低くなった轍から認識できる。付加的に2D画像データの情報、特に、3Dカメラの少なくとも一台の単眼カメラのグレースケール画像も考慮されることが特に好ましい。
好ましい実施形態では、凹凸プロファイルから砂利敷きは、凹凸プロファイルの断面の顕著なノイズから認識される。
凹凸プロファイルに加え、3Dカメラの少なくとも一台の単眼カメラの2D画像データが、特に、エッジ認識メソッドによって、該凹凸プロファイルから導き出される情報をサポートするために、評価されることが好ましい。
更に、本発明は、少なくとも一枚の車両周辺の画像を撮影するための3Dカメラ摩擦係数推定用の装置にも関する。3Dカメラの画像データから車両前方全体の道路表面の凹凸プロファイルを作成し、凹凸プロファイルから道路表面の場所で予測される摩擦係数を推定する評価手段が設けられている。
該3Dカメラとしては、ステレオ・カメラやPMD(Photonic Mixer Device)カメラやPMDセンサーが好ましく採用される。
以下、実施例によって、発明を詳しく説明する。
ステレオ・カメラは、少なくとも一枚の車両前方の周囲の画像を撮影し、続いて、該画像から車線の凹凸プロファイルを作成する。該凹凸プロファイルの分析から、例えば、走行方向に延びた二つの、それぞれの横方向の幅が、おおよそタイヤの幅に相当し、それらの横方向での間隔が、おおよそ車幅に相当、例えば1.5メートルであ凹みが割出されたとする。その結果からは、雪が積もっている、或いは、舗装されていない道路表面(例えば、ぬかるんだ農道)である、のいずれかであると分類されることができる。ステレオ・カメラの画像取得ユニットの2Dカメラ画像の分析からは、該道路の表面が、白、或いは、暗い色であるかを割出すことができる。即ち、前者であれば、路面に雪が積もっており、その他の場合、舗装されていない道路表面であると割出される。そしてこれらの結果から、それぞれの路面の摩擦係数、例えば、雪の場合、μ<0.2、農道の場合約0.2から0.3、が推定される。

Claims (10)

  1. 3Dカメラを用いて少なくとも一枚の車両前方の周辺の画像が撮影される3Dカメラを用いた摩擦係数推定の方法であって、該3Dカメラの画像データから、車両前方全域において、道路表面の凹凸プロファイルが、作成され、該凹凸プロファイルから、車両前方の道路表面の状態が分類され、その分類された道路表面の状態に対応した摩擦係数から、車両前方における道路表面の、予測すべきその場所の摩擦係数が推定され、凹凸プロファイルにおいて実際の道路表面よりも低い領域に反射が分類されることにより、道路表面の凹凸プロファイルから道路上の反射面として水面を認識することを特徴とする3Dカメラを用いた摩擦係数推定の方法。
  2. 3Dカメラを用いて少なくとも一枚の車両前方の周辺の画像が撮影される3Dカメラを用いた摩擦係数推定の方法であって、該3Dカメラの画像データから、車両前方全域において、道路表面の凹凸プロファイルが、作成され、該凹凸プロファイルから、車両前方の道路表面の状態が分類され、その分類された道路表面の状態に対応した摩擦係数から、車両前方における道路表面の、予測すべきその場所の摩擦係数が推定され、凹凸プロファイルから、雪が、前方を走っている車両のタイヤによって低くなった轍、並びに、2D画像データ、特に、3Dカメラの少なくとも一台の単眼カメラのグレースケール画像データからの情報も考慮することにより認識されることを特徴とする3Dカメラを用いた摩擦係数推定の方法。
  3. 凹凸プロファイルから砂利敷きは、凹凸プロファイルの断面の顕著なノイズから認識されることを特徴とする請求項1又は2に記載の方法。
  4. 凹凸プロファイルに加え、3Dカメラの少なくとも一台の単眼カメラの2D画像データが、エッジ認識メソッドによって、該凹凸プロファイルから導き出される情報をサポートするために、評価されることを特徴とする請求項1からのうち何れか一項に記載の方法。
  5. 3Dカメラがステレオ・カメラであることを特徴とする請求項1からのうち何れか一項に記載の方法。
  6. 3Dカメラが、PMD(Photonic Mixer Device)カメラであることを特徴とする請求項1からのうち何れか一項に記載の方法。
  7. 少なくとも一枚の車両前方の周辺の画像を撮影するための3Dカメラを包含する摩擦係数推定用の装置であって、3Dカメラの画像データから車両前方全体の道路表面の凹凸プロファイルを作成し、凹凸プロファイルから、車両前方の道路表面の状態を分類し、その分類された道路表面の状態に対応した摩擦係数から、車両前方における道路表面の、予測すべきその場所の摩擦係数を推定する評価手段が設けられ、凹凸プロファイルにおいて実際の道路表面よりも低い領域に反射が分類されることにより、道路表面の凹凸プロファイルから道路上の反射面として水面を認識することを特徴とする摩擦係数推定用の装置。
  8. 少なくとも一枚の車両前方の周辺の画像を撮影するための3Dカメラを包含する摩擦係数推定用の装置であって、3Dカメラの画像データから車両前方全体の道路表面の凹凸プロファイルを作成し、凹凸プロファイルから、車両前方の道路表面の状態を分類し、その分類された道路表面の状態に対応した摩擦係数から、車両前方における道路表面の、予測すべきその場所の摩擦係数を推定する評価手段が設けられ、凹凸プロファイルから、雪が、前方を走っている車両のタイヤによって低くなった轍、並びに、2D画像データ、特に、3Dカメラの少なくとも一台の単眼カメラのグレースケール画像データからの情報も考慮することにより認識されることを特徴とする摩擦係数推定用の装置。
  9. 該3Dカメラが、ステレオ・カメラであることを特徴とする請求項7又は8に記載の装置。
  10. 該3Dカメラが、PMD(Photonic Mixer Device)カメラであることを特徴とする請求項7又は8に記載の装置。
JP2013552840A 2011-02-14 2012-02-10 3dカメラによる摩擦係数推定 Active JP5914524B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011011182 2011-02-14
DE102011011182.4 2011-02-14
PCT/DE2012/100029 WO2012110030A2 (de) 2011-02-14 2012-02-10 Reibwertschätzung mittels einer 3d-kamera

Publications (2)

Publication Number Publication Date
JP2014512291A JP2014512291A (ja) 2014-05-22
JP5914524B2 true JP5914524B2 (ja) 2016-05-11

Family

ID=46051638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013552840A Active JP5914524B2 (ja) 2011-02-14 2012-02-10 3dカメラによる摩擦係数推定

Country Status (5)

Country Link
US (1) US8957949B2 (ja)
EP (1) EP2675685B1 (ja)
JP (1) JP5914524B2 (ja)
DE (1) DE112012000240A5 (ja)
WO (1) WO2012110030A2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010008258A1 (de) 2010-02-17 2011-08-18 Conti Temic microelectronic GmbH, 90411 Verfahren zur automatischen Prävention von Aquaplaning
DE112012000240A5 (de) * 2011-02-14 2013-08-14 Conti Temic Microelectronic Gmbh Reibwertschätzung mittels einer 3D-Kamera
DE102012101085A1 (de) 2012-02-10 2013-08-14 Conti Temic Microelectronic Gmbh Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera
DE102012024874B4 (de) * 2012-12-19 2014-07-10 Audi Ag Verfahren und Vorrichtung zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche
DE102012112725A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102012112724A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
DE102013101639A1 (de) 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
JP6178632B2 (ja) * 2013-06-10 2017-08-09 株式会社Subaru エンジンのサージ制御装置
DE102013211027A1 (de) 2013-06-13 2014-12-18 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung der Beschaffenheit einer Fahrbahnoberfläche einer von einem Fahrzeug zu befahrenden Fahrspur
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
JP6469982B2 (ja) * 2014-07-15 2019-02-13 株式会社Subaru 車両の制御装置及び車両の制御方法
KR101527886B1 (ko) * 2014-09-25 2015-06-10 연세대학교 산학협력단 스테레오 영상을 이용한 도로 물웅덩이 검출 장치 및 그 방법
DE102014225085A1 (de) 2014-12-08 2016-06-09 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung des Reibwertes einer Fahrbahnoberfläche
US20160292518A1 (en) * 2015-03-30 2016-10-06 D-Vision C.V.S Ltd Method and apparatus for monitoring changes in road surface condition
JP6776058B2 (ja) * 2016-08-26 2020-10-28 シャープ株式会社 自律走行車両制御装置、自律走行車両制御システム及び自律走行車両制御方法
CN106442639B (zh) * 2016-10-12 2019-01-18 杭州尊鹏信息科技有限公司 潮湿路面实际摩擦系数检测装置与方法
US20180217050A1 (en) * 2017-01-30 2018-08-02 GM Global Technology Operations LLC Invasive active dynamic tests to determine surface coefficient of friction
US10752225B2 (en) 2017-02-08 2020-08-25 Ford Global Technologies, Llc Determining friction data of a target vehicle
JP6383036B1 (ja) * 2017-03-16 2018-08-29 株式会社Subaru 車両の制御装置
KR102042315B1 (ko) * 2017-11-15 2019-11-07 전자부품연구원 도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법
US10589742B2 (en) * 2017-11-30 2020-03-17 Ford Global Technologies, Llc Vehicle snow level response
DE102018127342B4 (de) 2018-11-01 2022-09-29 Mercedes-Benz Group AG Verfahren und Vorrichtung zum Betrieb eines Assistenzsystems eines Fahrzeuges
US12007248B2 (en) * 2022-03-03 2024-06-11 Ford Global Technologies, Llc Ice thickness estimation for mobile object operation
DE102022211241A1 (de) 2022-10-24 2024-04-25 Continental Autonomous Mobility Germany GmbH Erkennen von Fahrbahnauflage auf einer Fahrbahn

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH072448B2 (ja) 1986-01-13 1995-01-18 アイシン・エィ・ダブリュ株式会社 4輪駆動の制御装置
GB8918303D0 (en) * 1989-08-10 1989-09-20 Lucas Ind Plc Monitoring and predicting road vehicle/road surface conditions
JP2001334921A (ja) * 2000-05-30 2001-12-04 Fuji Heavy Ind Ltd 車両の路面摩擦係数推定装置
JP4532089B2 (ja) * 2003-09-09 2010-08-25 富士重工業株式会社 車外監視装置
US7417738B2 (en) * 2004-01-27 2008-08-26 Tradewind Scientific Ltd. Determining surface properties of a roadway or runway from a moving vehicle
JP4813154B2 (ja) * 2005-11-15 2011-11-09 富士重工業株式会社 車両の路面摩擦係数推定装置
JP5104175B2 (ja) * 2007-10-02 2012-12-19 株式会社ジェイテクト 車両制御装置
EP2048476B1 (de) 2007-10-08 2013-12-11 Delphi Technologies, Inc. Fahrerunterstützungsverfahren
DE102009033219A1 (de) 2009-01-23 2010-07-29 Daimler Ag Verfahren zur Ermittlung eines Fahrzeug vorausliegenden Straßenprofils einer Fahrspur
US20120167663A1 (en) 2009-07-17 2012-07-05 Continental Engineering Services Gmbh Laser-based method for friction coefficient classification in motor vehicles
JP2012066785A (ja) 2010-09-27 2012-04-05 Fuji Heavy Ind Ltd 車両の統合制御装置
DE112012000240A5 (de) * 2011-02-14 2013-08-14 Conti Temic Microelectronic Gmbh Reibwertschätzung mittels einer 3D-Kamera

Also Published As

Publication number Publication date
US20140267628A1 (en) 2014-09-18
JP2014512291A (ja) 2014-05-22
EP2675685B1 (de) 2016-07-13
WO2012110030A2 (de) 2012-08-23
EP2675685A2 (de) 2013-12-25
DE112012000240A5 (de) 2013-08-14
WO2012110030A3 (de) 2013-03-07
US8957949B2 (en) 2015-02-17

Similar Documents

Publication Publication Date Title
JP5914524B2 (ja) 3dカメラによる摩擦係数推定
JP6117245B2 (ja) 3dカメラを用いた道路表面の状態の識別
US10289920B2 (en) Method and device for determining a roadway state by means of a vehicle camera system
US10102751B2 (en) Inclination detection in two-wheelers
JP7291129B2 (ja) 路面状態と天候に基づく環境影響を認識し評価する方法及び装置
US11373532B2 (en) Pothole detection system
US9643617B2 (en) Friction coefficient estimation from camera and wheel speed data
JP2015510119A5 (ja)
US10147002B2 (en) Method and apparatus for determining a road condition
US9360332B2 (en) Method for determining a course of a traffic lane for a vehicle
JP5855272B2 (ja) ブレーキ状況を認識する方法および装置
US20130211720A1 (en) Driver-assistance method and driver-assistance system for snow-covered roads
WO2014129312A1 (ja) 車線境界線逸脱抑制装置
CN106845332B (zh) 利用轮胎旁溅的基于视觉的潮湿路面状况检测
JP7244643B2 (ja) 車両制御装置
US20140320644A1 (en) Determination of a height profile of the surroundings of a vehicle by means of a 3d camera
JP2014078056A (ja) 車両用領域識別装置、そのプログラム及びその方法
JP6449627B2 (ja) 走行区画線認識装置
JP5457224B2 (ja) 路面状態検出装置
JP6426455B2 (ja) 接近車両検出装置
US11897384B2 (en) System and method for vehicle lighting-based roadway obstacle notification
JP6769263B2 (ja) 路面判断方法および路面判断装置
JP7320184B2 (ja) 電動車両
US11386568B2 (en) Method and device for determining a quality of a surface in the surroundings of a transportation vehicle
JP6838391B2 (ja) 危険度推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160404

R150 Certificate of patent or registration of utility model

Ref document number: 5914524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250