JP2023516994A - 自動車の周囲モニタリングシステム - Google Patents

自動車の周囲モニタリングシステム Download PDF

Info

Publication number
JP2023516994A
JP2023516994A JP2022552574A JP2022552574A JP2023516994A JP 2023516994 A JP2023516994 A JP 2023516994A JP 2022552574 A JP2022552574 A JP 2022552574A JP 2022552574 A JP2022552574 A JP 2022552574A JP 2023516994 A JP2023516994 A JP 2023516994A
Authority
JP
Japan
Prior art keywords
recognition device
image recognition
motor vehicle
nko
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022552574A
Other languages
English (en)
Other versions
JP7436696B2 (ja
Inventor
ビールヴィプフェル、クリストフ
ライター、トーマス
ヴァイセンシュタイナー、シュテファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZKW Group GmbH
Original Assignee
Zizala Lichtsysteme GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zizala Lichtsysteme GmbH filed Critical Zizala Lichtsysteme GmbH
Publication of JP2023516994A publication Critical patent/JP2023516994A/ja
Application granted granted Critical
Publication of JP7436696B2 publication Critical patent/JP7436696B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017Devices integrating an element dedicated to another function
    • B60Q1/0023Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/45Special conditions, e.g. pedestrians, road signs or potential dangers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles

Abstract

【課題】自動車の周囲モニタリングの物体の検出及び分類を改善すること。【解決手段】自動車の周囲のモニタシステム。該システムは、・少なくとも1つの画像認識装置(2)、但し画像認識装置(2)は周囲の認識領域(E1)を認識するよう構成されている、・少なくとも1つの照明装置(3)、但し少なくとも1つの画像認識装置(2)の認識領域(E1)は部分的に照明装置(3)によって照明可能である、及び、・少なくとも1つの周囲認識装置(7)、但し周囲認識装置(7)は画像認識装置(2)の認識領域(E1)の少なくとも一部分を認識するよう構成されており、を含む。画像認識装置(2)は、・少なくとも1つの画像認識装置(2)の検出領域に存在する物体を、この物体が検出されたとき、その物体タイプに関して分類するよう、及び、・検出された物体の物体タイプが画像認識装置(2)によって確定されることができる確度の大きさを表す信頼値(KO)をその都度求めるよう、構成されている。システムは、認識領域(E1)に物体が存在する場合において、・周囲認識装置(7)が当該物体を検出しかつこの物体が画像認識装置によって検出されないとき、又は、・周囲認識装置(7)が当該物体を検出しかつこの物体が画像認識装置(2)によって検出されるが、・画像認識装置(2)によって分類されることができないか又は・前記画像認識装置(2)によって分類の際に求められるKOが所定の閾値を下回るとき、当該物体の領域における照明強度が増大又は低減されるように照明装置(3)を制御するよう、構成されている。【選択図】図1

Description

本発明は、自動車の、とりわけ自律式又は半自律式自動車の、周囲(周辺ないし環境)をモニタするためのシステムであって、
-少なくとも1つの画像認識装置、とりわけ光学式画像認識装置、但し、前記画像認識装置は、前記周囲の認識領域を認識するよう、とりわけ前記認識領域にある物体を認識するよう、構成されている、
-少なくとも1つの照明装置、但し、前記少なくとも1つの画像認識装置の認識領域は部分的に、好ましくは完全に、前記照明装置によって照明可能である、及び、
-少なくとも1つの周囲認識装置、但し、前記周囲認識装置は、前記画像認識装置の認識領域の少なくとも一部分を、好ましくは前記認識領域全体を、認識するよう構成されており、前記少なくとも1つの周囲認識装置はとりわけ物体を検出するよう構成されている、
を含み、
-前記画像認識装置は、
・前記少なくとも1つの画像認識装置の検出領域に存在する物体を、この物体が検出されたとき、その物体タイプに関して分類するよう、及び、
・検出された物体の物体タイプが前記画像認識装置によって、とりわけ正確に、確定されることができる確度の大きさを表す信頼値即ちいわゆるKO信頼値(以下“KO”とも称する)をその都度(1つ)求めるよう、
構成されている、システムに関する。
本発明は、更に、自動車、とりわけ自律式又は半自律式自動車のための自動車投光装置(前照灯)であって、上記のシステムを含む自動車投光装置に関する。
例えば乗用車のような自動車には、今や、自動車の周囲、例えば走行方向に見て自動車の前方にある領域をモニタすることができる画像認識装置が設けられていることが多い。画像認識装置は例えば物体認識ユニット及び/又はパターン認識ユニットを含むことができ、又は、1つ又は2つ以上のそのようなユニットは画像認識装置に接続されている。これによって、例えば人(歩行者)、及び/又は先行車及び/又は対向車、及び/又は道路標識及び/又は交通標識等は検出されることができる。
本書において、概念「検出する(detektieren)」と「分類する(klassifizieren)」(ないし識別する(erkennen))は区別されている。概念「検出する」は、ある装置がその認識領域においてある物体の存在を認識するが(「検出(Detektion)」)、どのような物体であるか、即ちどのようなタイプの物体(人、PKW(乗用車)、LKW(トラック)、自転車、交通標識等)であるか(「分類(Klassifizierung)」)については必ずしも認識しないものとして理解される。ある装置が物体のタイプも同定(特定)できる場合、「分類する(Klassifizieren)」という。ある装置がある物体をある特定の状況において正しく同定(特定)することができる確度(Wahrscheinlichkeit)は(この装置についての)いわゆる信頼値(Konfidenzwert)によって記述される。信頼値は、一方では、具体的状況(例えば明るさ、物体と装置の間の相対速度、物体と装置の間の角度、装置に対する物体の距離等)に依存し、他方では、装置が分類のためにどの程度良好にハードウェア的に及び/又はソフトウェア的に構成されているかに依存する。第1のポイントは事実上影響を受けることがないのに対し、第2の側面は装置の基本コンセプトに及びそのソフトウェア/アルゴリズムがどの程度良好に構成されているないしはトレーニングされているかに依存する。
概念「画像認識装置(Bilderfassungseinrichtung)」は、原理的にある物体を検出するだけではなく、当該物体を分類することができるよう構成(適合化)された装置として理解されるものである。
「周囲認識装置」は、物体(複数)を分類できる必要なしに、当該物体(複数)を検出するよう構成(適合化)されていることを最小の要件として有するが、分類にも適している周囲認識装置も使用されることができる。
従って、周囲認識装置は物体を検出するよう構成(適合化)されるが、物体を分類するようには構成(適合化)されないことも可能である。
尤も、周囲認識装置は物体を検出るようかつ物体を分類するよう構成(適合化)されることも可能である。
とりわけ半自律式又は自律式車両にも、現代の車両の支援システムにも使用されるような信頼性のある検出及び/又は物体識別を可能にするために、一方では画像認識装置を有し、付加的に更に少なくとも1つの付加的周囲認識装置を有する冒頭に記載したシステムは大きな利点を有する。なぜなら、2つ又は3つ以上の装置による認識領域及び該領域に存在する物体(複数)の認識によって、信頼性は顕著に向上されることができるからである(例えばキーワード「センサフュージョン(Sensorfusion)」)。
そのようなシステムでは、とりわけ、例えば1つ又は2つ以上の相応のカメラ又はカメラシステム(光学的及び/又はIR領域)を用いて、光学的な、即ち可視光の領域で、場合によってはIRスペクトルの領域でも作動する装置であることが好ましい画像認識装置が使用される。そのような画像認識装置は物体の分類にも適する。
上記の装置によって、運転者支援システムないし自律式車両の現在の及び将来見込まれる一層大きくなる高い要求は多くの環境条件下で良好に満たされることができる。個々のセンサ即ち個々の認識装置は限定された作動領域を有する-複数の(異なる)センサないしセンサ技術を組み合わせることによって、信頼性のある物体検出及び分類が多くの条件下で可能になる。
とりわけカメラは、自動運転車両の制御のために及び運転支援システムのためにも極めて重要である。なぜなら、カメラは、物体認識及び分類を一般的に信頼性を以って実行可能にする現実的に唯一のタイプのセンサ装置(認識装置)であるからである。認識の信頼性は、既述のように、信頼値によって決定される。これ(信頼値)は、システムが分類可能な特定の物体が対象となっている(問題になっている)ことを装置が確信している度合い(程度)を記述する。
例えば夜間走行、悪天候状況(雨、霧、雪、波(Gischt))ないし眩惑(ないしグレア:Blendung)(自己眩惑(Eigenblendung)ないし外因眩惑(Fremdblendung))の際には、信頼値が信頼レベルないし閾値(これ以降では信頼性のある物体分類は最早与えられない)を下回るという、とりわけ安全性に関連する、状況が生じ得る。かくして、冒頭に掲げたシステムの利用可能性に関し大きな制限が生じる。なぜなら、物体分類が信頼性を以って与えられない多くの状況が生じ得るからである。
本発明の課題は、物体の検出及び分類を改善可能にするための方策を提供することである。
この課題は、上記システムが本発明に応じ以下のように構成されていることによって解決される。
即ち、該システムは、前記認識領域に物体が存在する場合において、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されないとき、又は、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されるが、
・前記画像認識装置によって分類されることができないか、又は
・前記画像認識装置によって分類の際に求められるKOが所定の閾値を下回るとき、
当該物体の領域における照明強度が増大又は低減されるように前記照明装置を制御するよう、構成されている。
周辺認識装置と画像認識装置は異なるタイプであることが好ましい。例えば画像認識装置が(場合によっては後置接続される評価電子装置を有する)カメラとして構成される、即ちカメラのタイプである場合、周辺認識装置は他のタイプである、即ちカメラのタイプではない。
例えば、本発明に応じ、周辺認識装置によって物体が検出され又は更には分類されることができ、及び、画像認識装置によっては当該物体は検出されず又は検出はされるが分類はされることができない場合、該物体の領域における明るさは、画像認識装置も該物体を検出すること、好ましくは分類することも、とりわけ高い確度(Wahrscheinlichkeit)で正確に分類することもできるよう、適合化される。
従って、例えば、光学式画像認識装置(光学センサ)自身は、又は更なるセンサシステム(周辺認識装置)は、物体の分類のために必要な支援を受けるために、例えば高解像度の、光源からの光をより多く(又はより少なく)要求することができる。
本発明によって、例えば夜間、悪天候又は眩惑状況の場合でさえも、信頼性のある物体認識(検出)及び分類を達成することができ、以って、システムのより良好な利用可能性を達成することができる。
KOがKO信頼値についての所定の閾値KOminを下回る場合、物体の領域における照明強度を増大又は低減するよう構成可能である。例えば、相応の明るさ情報は、光学式画像認識装置の画像情報から得られる。
[システムは、]周囲認識装置が、当該周囲認識装置によって認識され、照明装置の認識領域に存在しかつ検出された物体をそのタイプに関し分類するよう、及び、検出された物体の物体タイプが、とりわけ正確に、確定された確度の大きさを表す更なる信頼値即ちいわゆるNKO信頼値(以下“NKO”と称する)を求めるよう、構成されている[場合]、
・該物体についてのNKOに依存して、若しくは、
・該物体についてのKO及びNKOに依存して、又は、
KO<NKOのとき、
[当該物体の領域における照明強度が増大又は低減されるように照明装置を制御するよう、]
構成されることができる。
KOがNKOより小さい場合、物体の領域における照明強度を増大又は低減するよう構成可能である。物体認識の信頼性を顕著に増大するために、少なくとも1つの周囲認識装置が物体を画像認識装置よりも高い信頼性で分類できる場合、明るさは、画像認識装置も物体をより高い信頼性で又は高信頼性で分類できるよう、適合化される。かくして、システム全体の物体認識信頼性は顕著に増大される。
本システムはKO及び/又はNKOを求めるための信頼値計算手段を含むことが好ましい。典型的には、信頼値計算手段は、1つ又は2つ以上の実行可能なプログラムの形でハードウェア上で実行される1つ又は2つ以上のアルゴリズムである。1つのアルゴリズムでKOとNKOを求める(計算する)ことは可能であるが、KOとNKOについて夫々1つの専用の又は夫々少なくとも1つの専用のアルゴリズムを用いることも可能である。
本システムは、KO、又はNKO、又はKO及びNKOに依存して少なくとも1つの照明装置を制御する少なくとも1つの制御装置を含むことが可能である。
信頼値計算手段は、KO及び/又はNKOを計算するために、例えば制御装置上で実行される、例えば1つ又は複数のアルゴリズムとして、例えば制御装置によって又は制御装置において、実現(具現化)されることができる。1つ又は複数のアルゴリズムは独自の(専用の)計算装置上で実行されることも可能である。信頼値計算手段には、少なくとも1つの、とりわけ光学式の、画像認識装置及び/又は少なくとも1つの、好ましくは非光学式の、周囲認識装置から相応の入力データが供給される。これらの装置の測定データは入力データを構成し、信頼値計算手段は、制御装置へ供給される相応の出力データ(KO及び/又はNKO)を供給する。
照明装置は自動車光分布(配光パターン)又は自動車光分布の一部分を生成するよう構成されることが可能であり、例えば、照明装置は、減光光(ロービーム)用光分布を生成するための減光光(ロービーム)用ライトモジュール及び/又は遠方光(ハイビーム)用光分布を生成するための遠方光(ハイビーム)用ライトモジュール又は減光光用光分布と遠方光用光分布を生成するための組み合わせモジュールを含むことができる。
例えば、照明装置は、個別制御可能な光源(複数)(例えば、複数の光源、例えば複数のLEDによって、複数のセグメント又は多数のピクセルから構成される(1つの)光分布(配光パターン)を生成可能な装置、但し複数の光源は通常は互いに独立に制御可能である)又は高解像度システム(例えば、DLP、レーザスキャナシステム、ミニLEDシステム、マイクロLEDシステム、LCDシステム、LCoSシステム)を使用することができる。これによって、物体の領域における明るさないし照明強度は、他の領域における明るさないし照明強度に影響を及ぼすことなく又は過度に影響を及ぼすことなく、目標を定めて(目的に合致するよう)適合化されることができる。
照明装置のために、人間にとって可視的でない光源(例えば、赤外線光源)も、場合により可視的な光源と組み合わせて、使用可能である。
例えば、周囲認識装置は、RADAR及び/又はLIDAR及び/又は超音波型センサ及び/又はIRカメラ及び/又はTOFカメラ(“Time of Flight”)及び/又はMS(“Multispektral”)カメラを含む。
画像認識装置は、1つ又は2つ以上のカメラないし1つ又は2つ以上のカメラシステム、とりわけ光学式カメラ/カメラシステムないし光学式カメラないし光学式カメラシステムを含むことが好ましい。ここで、「光学式(optisch)」とは、このカメラないしこのシステム又はこの装置/機器が可視光の波長範囲で作動することとして理解されるべきものである。
画像認識装置は、可視光の波長領域において及び/又は非可視光の波長領域、例えばIR領域、において作動することが可能である。
照明装置は物体を持続的に照明するよう構成されること、又は、照明装置は画像認識装置がアクティブ(aktiv)である場合にのみ物体が照明されるよう、例えばクロック制御されて、駆動可能であり、好ましくは、画像認識装置と同期されて駆動可能であること、又は、照明装置は(光)フラッシュ(Lichtblitze)、とりわけ時間的に短い(光)フラッシュを物体へ放出(放射)するよう構成されること、が可能である。
(光)フラッシュの持続(時間)は、この場合、典型的な態様で、(数)ミリ秒又は(数)マイクロ秒の範囲にある。
照明装置は、自動車投光装置(前照灯)の、とりわけ自動車の、構成要素であることが好ましい。
上記の課題は、自動車のための、とりわけ自律(自動運転)式又は半自律(半自動運転)式自動車のための、自動車投光装置(前照灯)によっても解決される。該自動車投光装置(前照灯)は上記のシステムを含み、好ましくは、光学式画像検出装置は自動車投光装置(前照灯)の側部の縁領域に配置されている。
更に、上記の課題は、上述したような自動車投光装置(前照灯)を1つ、好ましくは2つ、左側と右側に夫々1つ有する自動車によって解決される。好ましくは、少なくとも照明装置は、自動車の自動車投光装置(前照灯)の構成要素である。
最後に、上記の課題は、更に、自動車の、とりわけ自律(自動運転)式又は半自律(半自動運転)式自動車の、周囲をモニタする方法によっても解決される。
本方法を実行するために、本発明のシステム、ないしは、少なくとも1つの、又は2つの、とりわけ左側及び右側に夫々1つの本発明の自動車投光装置(前照灯)が使用される。
以下において、本発明は図面を用いてより詳細に説明されている。
本発明のシステムの一例を有する自動車の一例。 本発明のシステムの模式的機能図。
図1は、その前部に2つの自動車投光装置(前照灯)を有する自動車100の一例、例えば自律(自動運転)式又は半自律(半自動運転)式自動車を示す。図1に示した左側投光装置(前照灯)10の非限定的例には、本発明のシステム1の一例が含まれており、ないしは、そのようなシステム1は投光装置(前照灯)10に少なくとも部分的に組み込まれている。
本発明のシステム1は、自動車100の周囲(環境)、とりわけ自動車の前方及び/又は自動車の前方の側方(左側及び/又は右側)にある周囲(環境)のモニタに役立つ。システム1は、図示の例では、画像認識装置2、とりわけ光学式画像認識装置2を含み、画像認識装置2は、周囲の認識領域E1を認識するよう、とりわけ認識領域E1にある物体を認識するよう構成(適合化)されている。
画像認識装置2は、好ましくは、1つ又は2つ以上のカメラないし1つ又は2つ以上のカメラシステム、好ましくは光学式のカメラ(複数)/カメラシステム(複数)ないしは1つの光学式カメラ/1つの光学式カメラシステムである。「光学式(optisch)」とは、このカメラないしこのシステム又はこの装置/機器が可視光の波長範囲で作動することとして理解されるべきものである。
更に、本システムは照明装置3を含み、少なくとも1つの画像認識装置2の認識領域E1は部分的に、好ましくは完全に、照明装置3によって照明されることができるが、このことは、図1においては照明領域Bによって模式的に示されている。「照明する(照らす)ことができる(beleuchten kann)」という表現は、この場合、本発明の全体的関連において、照明装置3がスイッチオンされると直ちに、照明領域Bが、図1に示されているように、認識領域E1を少なくとも部分的に照明する(照らす)こと、又は、照明装置3が光を認識領域E1へ向ける(導く)ことができることを意味する。
照明装置3は、好ましくは、自動車光分布(配光パターン)又は自動車光分布の一部を生成するための照明装置であり、照明装置3は、例えば、減光光(ロービーム)用光分布を生成するための減光光(ロービーム)用ライトモジュール及び/又は遠方光(ハイビーム)用光分布を生成するための遠方光(ハイビーム)用ライトモジュール又は減光光用光分布と遠方光用光分布を生成するための組み合わせモジュールであるか又はを含む。これに応じて、照明装置3は投光装置(前照灯)10に組み込まれていることが好ましい。
例えば、照明装置3のために、(複数の)個別制御可能な光源(例えば、複数の光源、例えば複数のLEDによって、複数のセグメントから又は多数のピクセルから構成されている(1つの)光分布を生成できる装置、但し、光源(複数)は一般的に互いに独立に制御されることができる)又は高解像度システム(例えば、DLP、レーザスキャナシステム、ミニLEDシステム、マイクロLEDシステム、LCDシステム、LCoSシステム)を使用できる。これによって、物体の領域における明るさないし照明強度は、他の領域における明るさないし照明強度に影響を及ぼすことなく又は過度に影響を及ぼすことなく、目標を定めて(目的に合致するよう)適合化されることができる。
照明装置3のために、人間にとって可視的でない光源(例えば、赤外線光源)も、場合により可視的な光源と組み合わせて、使用できる。
照明装置3は物体OBJを持続的に照明するよう構成(適合化)されること、又は、照明装置3は、画像認識装置2がアクティブである場合にのみ物体が照明されるよう、例えばクロック制御されて、駆動されること、好ましくは、画像認識装置2と同期されて駆動されること、又は、照明装置3は(光)フラッシュ、とりわけ時間的に短いフラッシュを物体へ放出(放射)するよう構成(適合化)されること、が可能である。
更に、本システム1は周囲認識装置7を含み、周囲認識装置7は、画像認識装置2の認識領域E1の少なくとも一部分を、好ましくは認識領域全体を、認識するよう構成(適合化)されている。周囲認識装置7の認識領域は図1では図面参照符号E2で示されている。周囲認識装置7は、例えば、RADAR及び/又はLIDARとして構成されるか又はを含むこと及び/又は超音波型センサ及び/又はIRカメラ及び/又はTOFカメラ(“Time of Flight”)及び/又はMS(“Multispektral”)カメラ及び/又は熱画像カメラを含むことが可能である。画像認識装置2は可視光の波長領域で及び/又は非可視光の波長領域で、例えばIR領域で作動することができる。
本システム1又は画像認識装置2は、画像認識装置2の認識領域E1に存在する物体OBJが検出されたときに、当該物体をその物体タイプに関して分類するよう、及び、信頼値(Konfidenzwert)即ちいわゆるKO信頼値(以下“KO”と称する)を求める(計算する)よう、構成(適合化)されており、但し、KOは、検出された物体の物体タイプが画像認識装置2によって、とりわけ正確に、確定された確度の大きさ(程度)を表す。
種々の(異なる)物体タイプ(複数)は、例えば、PKW、LKW、単スプール又は多スプールの自動二輪(ないし三輪)車(Kraftraeder)、自転車、歩行者等である。
従って、KOは、本システムが、検出された物体が特定の物体タイプを有することを確信している度合いを示す。
更に、本システム1は、図1に示されているように、認識領域E1に物体OBJが存在する場合において、
-検出された物体OBJについてのKOに依存して、又は
-周囲認識装置7が物体OBJを検出し、かつ、この物体OBJが、画像認識装置2の認識領域E1に存在するにも拘らず、画像認識装置2によって検出されない場合、又は
-周囲認識装置7が物体を検出し、かつ、この物体が画像認識装置2によって検出されるが、
・画像認識装置2によって分類されることができないか、又は
・KOが所定の閾値を下回る場合、
-或いは、本システム1又は周囲認識装置7が、当該周囲認識装置7によって認識され、照明装置2の認識領域に存在しかつ検出された物体をそのタイプに関し分類するよう、及び、検出された物体の物体タイプが周囲認識装置7によって、とりわけ正確に、確定されることができる確度の大きさを表す更なる信頼値即ちいわゆるNKO信頼値(以下“NKO”と称する)を求めるよう、構成されている場合、
・前記物体についてのNKOに依存して、又は、
・前記物体についてのKO及びNKOに依存して、又は、
・KO<NKOのとき、
当該物体の領域における照明強度が増大又は低減されるか又は変化されないように照明装置を制御するよう、
構成(適合化)されている。
本発明に応じ、例えば、周囲認識装置7によってある物体が検出されるか又は更には分類されることができ、かつ、画像認識装置2によってこの物体は検出されないか又は検出されるが分類されることができない場合、該物体の領域における明るさは、画像認識装置2も物体OBJを検出でき、好ましくは分類もでき、とりわけ大きな確度で正確に分類できるよう適合化され、一般的には増大されるが、例えば眩惑(グレア)がある場合には低減もされる。
そのため、画像認識装置2のKOは増大され、とりわけ、その都度の使用の枠内においてかつこの使用の必要な確実性(安全性)の度合い(程度)に応じて画像認識装置2による物体の検出及びとりわけ分類が十分に大きな確度で実行できる程に大きく増大される。
例えば、物体OBJの領域における照明強度は、KOがKO信頼値のための所定の閾値KOminを下回る場合、増大又は低減されることが可能である。
この所定の閾値KOminの値もまたその都度の使用に依存する。
物体OBJの領域における照明強度は、KOがNKOより小さい場合、増大又は低減されることが可能である。物体認識の信頼性を顕著に大きくするために、1つの周囲認識装置7が画像認識装置2よりも高い信頼性で物体OBJを分類できる場合、明るさは、画像認識装置2も物体OBJをより高い信頼性で又は高信頼性で分類できるよう適合化される。かくして、システム1全体の物体認識(識別)信頼性は顕著に増大される。
図2は、本発明のシステム1の構成要素、即ち、画像認識装置2、周囲認識装置7及び照明装置3についての概観をもう一度大まかに模式的に示す。
好ましくは、本システムは、KO及び/又はNKOを求める(計算する)ための信頼値計算手段A1、A2を含む。典型的には、信頼値計算手段は、1つ又は2つ以上の実行可能なプログラムの形でハードウェア8上で実行される1つ又は2つ以上のアルゴリズムA1、A2である。1つのアルゴリズムでKOとNKOを求める(計算する)ことは可能であるが、KOとNKOについて夫々1つの専用の又は夫々少なくとも1つの専用のアルゴリズムA1、A2を用いることも可能である。
更に、本システムは、KOに、又はNKOに、又はKOとNKOに依存して照明装置3を制御するための制御装置9を含むことが可能であり、KO及び/又はNKOは、信頼値計算手段A1、A2又はこれらが実行されるハードウェア8から制御装置9へ伝送される。
制御装置9はハードウェア8に組み込まれていること及び/又はハードウェア8上で実現(実行)されることも可能である。
図2に模式的に示されているようなシステム1は、例えば、自動車投光装置(前照灯)に完全に組み込まれることが可能であり、及び、例えば、投光装置(前照灯)にいずれにせよ存在するコンポーネントに、即ち例えば照明装置3に、アクセスすることができる。尤も、例えばハードウェア8及び/又は制御装置9は自動車投光装置(前照灯)の構成要素ではなく、自動車の構成要素であることも可能である。代替的に又は付加的に、画像認識装置2及び/又は周囲認識装置7も自動車において自動車投光装置(前照灯)の外部に配されることができる。
US 2020/001774 A1 DE 10 2013 004271 A1
この課題は、上記システムが本発明に応じ以下のように構成されていることによって解決される。
即ち、該システムは、前記認識領域に物体が存在する場合において、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されないとき、又は、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されるが、
・前記画像認識装置によって分類されることができないか、又は
・前記画像認識装置によって分類の際に求められるKOが所定の閾値を下回るとき、
当該物体の領域における照明強度が増大又は低減されるように前記照明装置を制御するよう、構成されている。
本発明の第1の視点により、自動車の周囲をモニタするためのシステムが提供される。該システムは、
-少なくとも1つの画像認識装置、但し、前記画像認識装置は、前記周囲の認識領域又は前記認識領域にある物体を認識するよう構成されている、
-少なくとも1つの照明装置、但し、前記少なくとも1つの画像認識装置の認識領域は部分的に又は完全に前記照明装置によって照明可能である、及び、
-少なくとも1つの周囲認識装置、但し、前記周囲認識装置は、前記画像認識装置の認識領域の少なくとも一部分を又は前記認識領域全体を認識するよう構成されており、前記少なくとも1つの周囲認識装置は体を検出するよう構成されている、
を含み、
-前記画像認識装置は、
・前記少なくとも1つの画像認識装置の検出領域に存在する物体を、この物体が検出されたとき、その物体タイプに関して分類するよう、及び、
・検出された物体の物体タイプが前記画像認識装置によって正確に確定されることができる確度の大きさを表す信頼値即ちいわゆるKO信頼値(以下“KO”と称する)をその都度(1つ)求めるよう、
構成されており、
前記システムは、前記認識領域に物体が存在する場合において、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されないとき、又は、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されるが、
・前記画像認識装置によって分類されることができないか、又は
・前記画像認識装置によって分類の際に求められるKOが所定の閾値を下回るとき、
当該物体の領域における照明強度が増大又は低減されるように前記照明装置を制御するよう、構成されていること
を特徴とする(形態1)。
本発明の第2の視点により、自動車のための自動車投光装置が提供される。
前記自動車投光装置は本発明のシステムを含むこと
を特徴とする(形態14)。
本発明の第3の視点により、本発明の自動車投光装置を1つ又は2つ又は左側と右側に夫々1つ有する自動車が提供される(形態16)
本発明の第4の視点により、自動車の周囲をモニタする方法が提供される。
前記方法を実行するために、本発明のシステム、ないしは、少なくとも1つの又は2つの又は左側及び右側に夫々1つの本発明の自動車投光装置が使用されること
を特徴とする(形態17)。
ここに、本発明の好ましい形態を示す。
(形態1)上記本発明の第1の視点参照。
(形態2)形態1のシステムにおいて、
前記システムは、前記KOがKO信頼値についての所定の閾値KO min を下回る場合、物体の領域における照明強度を増大又は低減するよう、構成されていることが好ましい。
(形態3)形態1又は2のシステムにおいて、
前記システムは、
前記周囲認識装置が、
当該周囲認識装置によって認識され、前記照明装置の認識領域に存在しかつ検出された物体をそのタイプに関し分類するよう、及び、
検出された物体の物体タイプが正確に確定された確度の大きさを表す更なる信頼値即ちいわゆるNKO信頼値(以下“NKO”と称する)を求めるよう、構成されている場合、
当該システムが、
・前記物体についてのNKOに依存して、又は、
・前記物体についてのKO及びNKOに依存して、又は、
KO<NKOのとき、
当該物体の領域における照明強度が増大又は低減されるように前記照明装置を制御するよう、
構成されていることが好ましい。
(形態4)形態3のシステムにおいて、
前記システムは、前記KOが前記NKOより小さい場合、前記物体の領域における照明強度を増大又は低減するよう、構成されていることが好ましい。
(形態5)形態1~4の何れかのシステムにおいて、
前記システムは、KO及び/又はNKOを求めるための信頼値計算手段を含むことが好ましい。
(形態6)形態1~5の何れかのシステムにおいて、
前記システムは、KO、又はNKO、又はKO及びNKOに依存して前記少なくとも1つの照明装置を制御する少なくとも1つの制御装置を含むことが好ましい。
(形態7)形態1~6の何れかのシステムにおいて、
前記照明装置は、自動車光分布又は自動車光分布の一部分を生成するよう構成されていることが好ましい
(形態8)形態1~7の何れかのシステムにおいて、
前記照明装置は、減光光用光分布を生成するための減光光用ライトモジュール及び/又は遠方光用光分布を生成するための遠方光用ライトモジュール又は減光光用光分布と遠方光用光分布を生成するための組み合わせモジュールを含むことが好ましい。
(形態9)形態1~8の何れかのシステムにおいて、
前記周囲認識装置は、RADAR及び/又はLIDAR及び/又は超音波型センサ及び/又はIRカメラ及び/又はTOFカメラ(“Time of Flight”)及び/又はMS(“Multispektral”)カメラ及び/又は熱画像カメラを含むことが好ましい。
(形態10)形態1~9の何れかのシステムにおいて、
前記画像認識装置は、1つ又は2つ以上のカメラないし1つ又は2つ以上のカメラシステムを含むことが好ましい。
(形態11)形態1~10の何れかに記載のシステムにおいて、
前記画像認識装置は、可視光の波長領域において及び/又は非可視光の波長領域において作動することが好ましい。
(形態12)形態1~11の何れかに記載のシステムにおいて、
前記照明装置は、物体を持続的に照明するよう構成されること、又は、
前記照明装置は、前記画像認識装置がアクティブである場合にのみ物体が照明されるよう、駆動可能であること、又は、
前記照明装置はフラッシュを物体へ放出するよう構成されることが好ましい。
(形態13)形態1~12の何れかのシステムにおいて、
前記照明装置は、自動車投光装置又は自動車の構成要素であることが好ましい。
(形態14)上記本発明の第2の視点参照。
(形態15)形態14の自動車投光装置において、
前記光学式画像検出装置は前記自動車投光装置の側部の縁領域に配置されていることが好ましい。
(形態16)上記本発明の第3の視点参照。
(形態17)上記本発明の第4の視点参照。
以下において、本発明は図面を用いてより詳細に説明されている。なお、特許請求の範囲に付記した図面参照符号は専ら発明の理解を助けるためのものであり、本発明を図示の態様に限定することは意図していない。
以下に本発明の可能な態様を付記する。
[付記1]自動車の、とりわけ自律式又は半自律式自動車の、周囲をモニタするためのシステム。該システムは、
-少なくとも1つの画像認識装置、とりわけ光学式画像認識装置、但し、前記画像認識装置は、前記周囲の認識領域を認識するよう、とりわけ前記認識領域にある物体を認識するよう、構成されている、
-少なくとも1つの照明装置、但し、前記少なくとも1つの画像認識装置の認識領域は部分的に、好ましくは完全に、前記照明装置よって照明可能である、及び、
-少なくとも1つの周囲認識装置、但し、前記周囲認識装置は、前記画像認識装置の認識領域の少なくとも一部分を、好ましくは前記認識領域全体を、認識するよう構成されており、前記少なくとも1つの周囲認識装置はとりわけ物体を検出するよう構成されている、
を含む。
-前記画像認識装置は、
・前記少なくとも1つの画像認識装置の検出領域に存在する物体を、この物体が検出されたとき、その物体タイプに関して分類するよう、及び、
・検出された物体の物体タイプが前記画像認識装置によって、とりわけ正確に、確定されることができる確度の大きさを表す信頼値即ちいわゆるKO信頼値(以下“KO”と称する)をその都度(1つ)求めるよう、
構成されている。
前記システムは、前記認識領域に物体が存在する場合において、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されないとき、又は、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装によって検出されるが、
・前記画像認識装置によって分類されることができないか、又は
・前記画像認識装置によって分類の際に求められるKOが所定の閾値を下回るとき、
当該物体の領域における照明強度が増大又は低減されるように前記照明装置を制御するよう、構成されている。
[付記2]上記の、とりわけ付記1に記載のシステムにおいて、
前記システムは、前記KOがKO信頼値についての所定の閾値KO min を下回る場合、物体の領域における照明強度を増大又は低減するよう、構成されている。
[付記3]上記の、とりわけ付記1又は2に記載のシステムにおいて、
前記周囲認識装置は、
当該周囲認識装置によって認識され、前記照明装置の認識領域に存在しかつ検出された物体をそのタイプに関し分類するよう、及び、
検出された物体の物体タイプが、とりわけ正確に、確定された確度の大きさを表す更なる信頼値即ちいわゆるNKO信頼値(以下“NKO”と称する)を求めるよう、
・前記物体についてのNKOに依存して、又は、
・前記物体についてのKO及びNKOに依存して、又は、
KO<NKOのとき、
構成されている。
[付記4]上記の、とりわけ付記3に記載のシステムにおいて、
前記システムは、前記KOが前記NKOより小さい場合、前記物体の領域における照明強度を増大又は低減するよう、構成されている。
[付記5]上記の、とりわけ付記1~4の何れかに記載のシステムにおいて、
前記システムは、KO及び/又はNKOを求めるための信頼値計算手段を含む。
[付記6]上記の、とりわけ付記1~5の何れかに記載のシステムにおいて、
前記システムは、KO、又はNKO、又はKO及びNKOに依存して前記少なくとも1つの照明装置を制御する少なくとも1つの制御装置を含む。
[付記7]上記の、とりわけ付記1~6の何れかに記載のシステムにおいて、
前記照明装置は、自動車光分布又は自動車光分布の一部分を生成するよう構成されている;
例えば、前記照明装置は、減光光用光分布を生成するための減光光用ライトモジュール及び/又は遠方光用光分布を生成するための遠方光用ライトモジュール又は減光光用光分布と遠方光用光分布を生成するための組み合わせモジュールを含む。
[付記8]上記の、とりわけ付記1~7の何れかに記載のシステムにおいて、
前記周囲認識装置は、RADAR及び/又はLIDAR及び/又は超音波型センサ及び/又はIRカメラ及び/又はTOFカメラ(“Time of Flight”)及び/又はMS(“Multispektral”)カメラ及び/又は熱画像カメラを含む。
[付記9]上記の、とりわけ付記1~8の何れかに記載のシステムにおいて、
前記画像認識装置は、1つ又は2つ以上のカメラないし1つ又は2つ以上のカメラシステムを含む。
[付記10]上記の、とりわけ付記1~9の何れかに記載のシステムにおいて、
前記画像認識装置は、可視光の波長領域において及び/又は非可視光の波長領域、例えばIR領域、において作動する。
[付記11]上記の、とりわけ付記1~10の何れかに記載のシステムにおいて、
前記照明装置は、物体を持続的に照明するよう構成される;又は、
前記照明装置は、前記画像認識装置がアクティブである場合にのみ物体が照明されるよう、例えばクロック制御されて、駆動可能であること、好ましくは、前記画像認識装置と同期されて駆動可能である;又は、
前記照明装置はフラッシュ、とりわけ時間的に短いフラッシュを物体へ放出するよう構成される。
[付記12]上記の、とりわけ付記1~11の何れかに記載のシステムにおいて、
前記照明装置は、自動車投光装置の、とりわけ自動車、構成要素である。
[付記13]自動車のための、とりわけ自律式又は半自律式自動車のための、自動車投光装置。
前記自動車投光装置は上記の、とりわけ付記1~12の何れかに記載のシステムを含む;
好ましくは、前記光学式画像検出装置前記自動車投光装置の側部の縁領域に配置されている。
[付記14]上記の、とりわけ付記13に記載の自動車投光装置を1つ、好ましくは2つ、左側と右側に夫々1つ有する自動車。
好ましくは、少なくとも前記照明装置は、当該自動車の自動車投光装置の構成要素である。
[付記15]自動車の、とりわけ自律式又は半自律式自動車の、周囲をモニタする方法。
前記方法を実行するために、上記の、とりわけ付記1~12の何れかに記載のシステム、ないしは、少なくとも1つの、又は2つの、とりわけ左側及び右側に夫々1つの上記の、とりわけ付記13に記載の自動車投光装置が使用される。

Claims (15)

  1. 自動車(100)の、とりわけ自律式又は半自律式自動車の、周囲をモニタするためのシステムであって、該システムは、
    -少なくとも1つの画像認識装置(2)、とりわけ光学式画像認識装置(2)、但し、前記画像認識装置(2)は、前記周囲の認識領域(E1)を認識するよう、とりわけ前記認識領域(E1)にある物体を認識するよう、構成されている、
    -少なくとも1つの照明装置(3)、但し、前記少なくとも1つの画像認識装置(2)の認識領域(E1)は部分的に、好ましくは完全に、前記照明装置(3)によって照明可能である、及び、
    -少なくとも1つの周囲認識装置(7)、但し、前記周囲認識装置(7)は、前記画像認識装置(2)の認識領域(E1)の少なくとも一部分を、好ましくは前記認識領域(E1)全体を、認識するよう構成されており、前記少なくとも1つの周囲認識装置(7)はとりわけ物体を検出するよう構成されている、
    を含み、
    -前記画像認識装置(2)は、
    ・前記少なくとも1つの画像認識装置(2)の検出領域に存在する物体を、この物体が検出されたとき、その物体タイプに関して分類するよう、及び、
    ・検出された物体の物体タイプが前記画像認識装置(2)によって、とりわけ正確に、確定されることができる確度の大きさを表す信頼値即ちいわゆるKO信頼値(以下“KO”と称する)をその都度(1つ)求めるよう、
    構成されており、
    前記システムは、前記認識領域(E1)に物体(OBJ)が存在する場合において、
    -前記周囲認識装置(7)が当該物体を検出しかつこの物体が前記画像認識装置(2)によって検出されないとき、又は、
    -前記周囲認識装置(7)が当該物体を検出しかつこの物体が前記画像認識装置(2)によって検出されるが、
    ・前記画像認識装置(2)によって分類されることができないか、又は
    ・前記画像認識装置(2)によって分類の際に求められるKOが所定の閾値を下回るとき、
    当該物体(OBJ)の領域における照明強度が増大又は低減されるように前記照明装置(3)を制御するよう、構成されていること
    を特徴とする、システム。
  2. 請求項1に記載のシステムにおいて、
    前記システムは、前記KOがKO信頼値についての所定の閾値KOminを下回る場合、物体(OBJ)の領域における照明強度を増大又は低減するよう、構成されていること
    を特徴とする、システム。
  3. 請求項1又は2に記載のシステムにおいて、
    前記周囲認識装置(7)は、
    当該周囲認識装置(7)によって認識され、前記照明装置(2)の認識領域に存在しかつ検出された物体をそのタイプに関し分類するよう、及び、
    検出された物体の物体タイプが、とりわけ正確に、確定された確度の大きさを表す更なる信頼値即ちいわゆるNKO信頼値(以下“NKO”と称する)を求めるよう、
    ・前記物体(OBJ)についてのNKOに依存して、又は、
    ・前記物体(OBJ)についてのKO及びNKOに依存して、又は、
    KO<NKOのとき、
    構成されていること
    を特徴とする、システム。
  4. 請求項3に記載のシステムにおいて、
    前記システムは、前記KOが前記NKOより小さい場合、前記物体(OBJ)の領域における照明強度を増大又は低減するよう、構成されていること
    を特徴とする、システム。
  5. 請求項1~4の何れかに記載のシステムにおいて、
    前記システムは、KO及び/又はNKOを求めるための信頼値計算手段(A1、A2)を含むこと
    を特徴とする、システム。
  6. 請求項1~5の何れかに記載のシステムにおいて、
    前記システムは、KO、又はNKO、又はKO及びNKOに依存して前記少なくとも1つの照明装置(3)を制御する少なくとも1つの制御装置(9)を含むこと
    を特徴とする、システム。
  7. 請求項1~6の何れかに記載のシステムにおいて、
    前記照明装置(3)は、自動車光分布又は自動車光分布の一部分を生成するよう構成されていること、
    例えば、前記照明装置(3)は、減光光用光分布を生成するための減光光用ライトモジュール(3)及び/又は遠方光用光分布を生成するための遠方光用ライトモジュール(4)又は減光光用光分布と遠方光用光分布を生成するための組み合わせモジュールを含むこと
    を特徴とする、システム。
  8. 請求項1~7の何れかに記載のシステムにおいて、
    前記周囲認識装置(7)は、RADAR及び/又はLIDAR及び/又は超音波型センサ及び/又はIRカメラ及び/又はTOFカメラ(“Time of Flight”)及び/又はMS(“Multispektral”)カメラ及び/又は熱画像カメラを含むこと
    を特徴とする、システム。
  9. 請求項1~8の何れかに記載のシステムにおいて、
    前記画像認識装置(2)は、1つ又は2つ以上のカメラないし1つ又は2つ以上のカメラシステムを含むこと
    を特徴とする、システム。
  10. 請求項1~9の何れかに記載のシステムにおいて、
    前記画像認識装置(2)は、可視光の波長領域において及び/又は非可視光の波長領域、例えばIR領域、において作動すること
    を特徴とする、システム。
  11. 請求項1~10の何れかに記載のシステムにおいて、
    前記照明装置(3)は、物体(OBJ)を持続的に照明するよう構成されること、又は、
    前記照明装置(3)は、前記画像認識装置(2)がアクティブである場合にのみ物体が照明されるよう、例えばクロック制御されて、駆動可能であること、好ましくは、前記画像認識装置(2)と同期されて駆動可能であること、又は、
    前記照明装置(3)はフラッシュ、とりわけ時間的に短いフラッシュを物体へ放出するよう構成されること
    を特徴とする、システム。
  12. 請求項1~11の何れかに記載のシステムにおいて、
    前記照明装置(3)は、自動車投光装置(10)の、とりわけ自動車(100)の、構成要素であること
    を特徴とする、システム。
  13. 自動車のための、とりわけ自律式又は半自律式自動車のための、自動車投光装置であって、
    前記自動車投光装置(10)は請求項1~12の何れかに記載のシステム(1)を含むこと、
    好ましくは、前記光学式画像検出装置(2)は前記自動車投光装置(10)の側部の縁領域に配置されていること
    を特徴とする、自動車投光装置。
  14. 請求項13に記載の自動車投光装置を1つ、好ましくは2つ、左側と右側に夫々1つ有する自動車であって、
    好ましくは、少なくとも前記照明装置(3)は、当該自動車(100)の自動車投光装置(10)の構成要素であること
    を特徴とする、自動車。
  15. 自動車の、とりわけ自律式又は半自律式自動車の、周囲をモニタする方法であって、
    前記方法を実行するために、請求項1~12の何れかに記載のシステム、ないしは、少なくとも1つの、又は2つの、とりわけ左側及び右側に夫々1つの請求項13に記載の自動車投光装置が使用されること
    を特徴とする、方法。
JP2022552574A 2020-03-02 2021-03-02 自動車の周囲モニタリングシステム Active JP7436696B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20160398.2A EP3876143A1 (de) 2020-03-02 2020-03-02 System zur überwachung der umgebung eines kraftfahrzeuges
EP20160398.2 2020-03-02
PCT/EP2021/055118 WO2021175814A1 (de) 2020-03-02 2021-03-02 System zur überwachung der umgebung eines kraftfahrzeuges

Publications (2)

Publication Number Publication Date
JP2023516994A true JP2023516994A (ja) 2023-04-21
JP7436696B2 JP7436696B2 (ja) 2024-02-22

Family

ID=69743131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022552574A Active JP7436696B2 (ja) 2020-03-02 2021-03-02 自動車の周囲モニタリングシステム

Country Status (6)

Country Link
US (1) US20230117346A1 (ja)
EP (2) EP3876143A1 (ja)
JP (1) JP7436696B2 (ja)
KR (1) KR20220139933A (ja)
CN (1) CN115151955A (ja)
WO (1) WO2021175814A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2022352923A1 (en) * 2021-09-24 2024-04-18 Tusimple, Inc. System and method for implementing an adaptive light distribution for an autonomous vehicle
WO2023133431A1 (en) * 2022-01-07 2023-07-13 Tusimple, Inc. Adaptive illumination system for an autonomous vehicle
US11865967B2 (en) 2022-01-07 2024-01-09 Tusimple, Inc. Adaptive illumination system for an autonomous vehicle
DE102022115269A1 (de) 2022-06-20 2023-12-21 HELLA GmbH & Co. KGaA Fahrzeugassistenzsystem

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10354104A1 (de) * 2003-11-19 2005-06-02 Bayerische Motoren Werke Ag Verfahren zur Steuerung der Ausleuchtung eines seitlichen Fahrbahnbereichs mittels eines Hilfsscheinwerfers für ein Fahrzeug
DE102013004271A1 (de) * 2013-03-13 2013-09-19 Daimler Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
US10562439B2 (en) * 2016-01-19 2020-02-18 Harman International Industries, Incorporated Techniques for optimizing vehicle headlights based on situational awareness
US9789808B1 (en) * 2016-07-01 2017-10-17 Toyota Motor Engineering & Manufacturing North America, Inc. Headlight directional control for illuminating an identified object
CN110382297B (zh) 2017-03-15 2022-08-09 三菱电机株式会社 光量调整装置、光量调整方法以及计算机能读取的存储介质
JP6930350B2 (ja) * 2017-10-02 2021-09-01 トヨタ自動車株式会社 車両用認知支援装置
EP4227157A1 (en) 2018-05-24 2023-08-16 Sony Group Corporation Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body
KR102220950B1 (ko) * 2019-07-31 2021-02-26 엘지전자 주식회사 자율 주행 시스템에서 차량을 제어하기 위한 방법 및 장치

Also Published As

Publication number Publication date
EP4115320A1 (de) 2023-01-11
EP3876143A1 (de) 2021-09-08
KR20220139933A (ko) 2022-10-17
WO2021175814A1 (de) 2021-09-10
CN115151955A (zh) 2022-10-04
US20230117346A1 (en) 2023-04-20
JP7436696B2 (ja) 2024-02-22

Similar Documents

Publication Publication Date Title
JP7436696B2 (ja) 自動車の周囲モニタリングシステム
JP5680573B2 (ja) 車両の走行環境認識装置
CN108688552B (zh) 设置于车辆的车辆控制装置及其车辆控制方法
US7920250B2 (en) System for the detection by a motor vehicle of a phenomenon that interferes with visibility
JP5617999B2 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
US9862305B2 (en) Vehicle headlight device
KR101768500B1 (ko) 운전 보조 장치 및 그 제어방법
WO2020087352A1 (en) Method and apparatus for controlling a lighting system of a vehicle
CN105270254B (zh) 用于控制车辆的至少一个大灯的光发射的方法和设备
CN104284808B (zh) 用于将车辆照明与车辆周围环境自动适配的方法、照明设备以及带有照明的车辆
US9616805B2 (en) Method and device for controlling a headlamp of a vehicle
US10703256B2 (en) Method for reducing headlight glare, headlight system and system controller for controlling a headlight system
WO2015190299A1 (ja) 車両用照明装置
US10189402B2 (en) Illumination apparatus for vehicle
US9545875B2 (en) Method for controlling a light emission of a headlight of a vehicle
EP3036130B1 (en) Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights
CN109899760B (zh) 车灯装置
JP2020093600A (ja) 反射光検出装置、反射光検出方法およびプログラム
RU2760074C1 (ru) Способ управления фарами и устройство управления фарами
CN114829198A (zh) 用于控制机动车辆照明系统的方法
CN114762325A (zh) 用于监控机动车的环境的系统
WO2019156087A1 (ja) 画像処理装置および車両用灯具
CN114867639A (zh) 用于控制机动车辆照明系统的方法
US11981249B2 (en) Headlamp control method and headlamp control device
JP2019108101A (ja) 車両の制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231020

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240208

R150 Certificate of patent or registration of utility model

Ref document number: 7436696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150