JP6805363B2 - 駐車場内に存在する隆起した物体を検出するための方法およびシステム - Google Patents

駐車場内に存在する隆起した物体を検出するための方法およびシステム Download PDF

Info

Publication number
JP6805363B2
JP6805363B2 JP2019547762A JP2019547762A JP6805363B2 JP 6805363 B2 JP6805363 B2 JP 6805363B2 JP 2019547762 A JP2019547762 A JP 2019547762A JP 2019547762 A JP2019547762 A JP 2019547762A JP 6805363 B2 JP6805363 B2 JP 6805363B2
Authority
JP
Japan
Prior art keywords
video
parking lot
video cameras
cameras
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019547762A
Other languages
English (en)
Other versions
JP2020500389A (ja
Inventor
レーン,アンドレアス
ヘス,フェリックス
ノルトブルッフ,シュテファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2020500389A publication Critical patent/JP2020500389A/ja
Application granted granted Critical
Publication of JP6805363B2 publication Critical patent/JP6805363B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、駐車場内、例えば駐車場ビル内に、とりわけ駐車場の走行路(Fahrschlauch)内に存在する隆起した物体を検出するための方法に関する。本発明はさらに、駐車場内、例えば駐車場ビル内に、とりわけ駐車場の走行路内に存在する隆起した物体を検出するためのシステムに関する。本発明はさらに駐車場に関する。本発明はさらにコンピュータプログラムに関する。
独国特許出願公開第102015201209号明細書は、引渡ゾーンから、予め設定された駐車スペース内の割り当てられた駐車位置へと車両を自動的に運ぶためのバレーパーキングシステムを示している。この既知のシステムは、固定式に配置された少なくとも1つのセンサーユニットを備えた駐車場監視システムを含んでいる。この駐車場監視システムは、予め設定された駐車スペース内を走行している車両を位置特定するように形成されている。
独国特許出願公開第102015201209号明細書
本発明の基礎となる課題は、駐車場内、例えば駐車場ビル内に、とりわけ駐車場の走行路内に存在する隆起した物体を効率的に検出するためのコンセプトの提供に見いだすことができる。
この課題は、独立形式請求項のそれぞれの対象によって解決される。本発明の有利な形態は、それぞれ引用形式請求項の対象である。
一態様によれば、駐車場内で空間的に分散して配置されており、それぞれの視野が重畳領域内で重なり合っている少なくとも2つのビデオカメラを使用して、駐車場内に存在する隆起した物体を検出するための方法であって、
− ビデオカメラによって重畳領域のそれぞれのビデオ画像を撮影するステップと、
− 撮影されたビデオ画像内で隆起した物体を検出するために、撮影されたビデオ画像を分析するステップと
を含んでおり、
− この分析が、専らビデオカメラの少なくとも1つによりビデオカメラ内部で実行される方法が提供される。
別の一態様によれば、駐車場内に存在する隆起した物体を検出するためのシステムが提供され、このシステムは、駐車場内に存在する隆起した物体を検出するための方法を実行するように形成されている。
別の一態様によれば、駐車場内に存在する隆起した物体を検出するためのシステムを含んでいる駐車場が提供される。
もう1つの態様によれば、コンピュータ上で、とりわけビデオカメラのプロセッサ上でコンピュータプログラムが実施される場合の、駐車場内に存在する隆起した物体を検出するための方法を実行するためのプログラムコードを含んでいるコンピュータプログラムが提供される。
本発明は、撮影されたビデオ画像の分析が、専らビデオカメラ内部で、つまりビデオカメラの1つまたは複数それ自体上で実行されるという知見に基づいている。ビデオカメラとは別の外部の計算ユニットによる撮影されたビデオ画像の代替的または追加的な分析は規定されていない。
これによりとりわけ、ビデオカメラをビデオ画像の撮影およびビデオ画像の分析に効率的に利用できるという技術的利点がもたらされる。つまりビデオカメラは二重機能を有している。
とりわけ、追加的な外部の計算ユニットをなくすことができるので、技術的利点がもたらされる。このような外部の計算ユニットの設置、運用、および整備は、通常は手間がかかり、時間がかかり、かつ費用がかかる。本発明によるコンセプトは、これらの欠点を回避することが有利である。
つまりこれにより、駐車場内に存在する隆起した物体を効率的に検出するためのコンセプトを提供できるという技術的利点がもたらされる。
とりわけ、少なくとも2つのビデオカメラを使用することで冗長性がもたらされる。とりわけ、1つのビデオカメラの誤りを別のビデオカメラによって補うことができる。
これにより例えば、誤った警報を低減または回避できるという技術的利点がもたらされ、これは、駐車場の効率的な運用を可能にすることが有利であり、かつこれは、例えば駐車場内で運転者なしで走行している自動車の効率的な運転を可能にする。
これにより例えば、物体を効率的に認識できるという技術的利点がもたらされ、したがってこのような物体との衝突を防止できる。
表現「ビデオカメラの少なくとも1つの」は、とりわけ以下の表現、すなわち「ビデオカメラの1つだけ」、「ビデオカメラの正確に1つ」、「複数のビデオカメラ」、および「すべてのビデオカメラ」を含んでいる。これはつまりとりわけ、1つの、特に1つだけの、または複数のビデオカメラ上で分析が実行されることを意味している。つまり分析は1つまたは複数のビデオカメラによって実行される。
分析を実行するため、対応するビデオカメラが例えばプロセッサを有しており、このプロセッサは、撮影されたビデオ画像内で隆起した物体を検出するために、撮影されたビデオ画像を分析するように形成されている。
プロセッサ上では、例えばビデオ画像加工プログラムが動作する。
プロセッサは、例えばビデオ画像加工プログラムを実施するように形成されている。
本明細書の意味における駐車場は、とりわけ自動車用の駐車場である。この駐車場は、例えば駐車場ビルまたは地下駐車場である。検出すべき物体は、例えば駐車場の走行路内に存在している。
隆起した物体とは、とりわけ、駐車場の床に対するその高さが少なくとも10cmの物体を意味している。
隆起した物体は、例えば、駐車場の床上に、例えば車道上に、または駐車場の走行領域内に、つまり例えば走行路内に存在している。つまり隆起した物体は例えば駐車場の走行路内に存在している。
一実施形態によれば、分析に基づいて、撮影されたビデオ画像内で隆起した物体を検出するために、
− 撮影されたビデオ画像を修正するステップと、
− 撮影された重畳領域内の違いを認識するために、それぞれの修正されたビデオ画像を相互比較するステップと、
− 比較に基づいて隆起した物体を検出するステップと
が規定されている。
つまりとりわけ、ビデオ画像を比較する前にビデオ画像を鳥瞰図に変換する、つまり修正する。その後、修正されたビデオ画像を相互に比較する。
重畳領域のすべての修正されたビデオ画像が違いを有していない、つまり同じもしくは同一であるか、または最大で予め決定された許容値でもって互いに異なっている違いを有している場合、重畳領域とビデオカメラとの間のそれぞれの視軸上には隆起した物体が存在していないことを前提とすることができる。しかし、重畳領域とビデオカメラの1つとの間の視軸上に隆起した物体が存在している場合には、この1つのビデオカメラは、そのほかのビデオカメラと同じものは見ない。つまり、対応する修正されたビデオ画像は、そのほかのビデオカメラの修正されたビデオ画像とは、予め決定された許容値より大きな違いで異なっている。つまりこれにより、隆起した物体を効率的に検出することができる。
撮影されたビデオ画像の修正は、撮影されたビデオ画像をとりわけ鳥瞰図に変換することを含んでおり、あるいは例えば鳥瞰図に変換することである。これはつまりとりわけ、撮影されたビデオ画像を例えば鳥瞰図に変換することを意味している。これにより、その後の比較を特に効率的に実行できることが有利である。
本明細書の意味における表現「同じ画像情報」あるいは「同一の画像情報」あるいは「同じビデオ画像」あるいは「同一のビデオ画像」は、とりわけ、画像情報あるいはビデオ画像が最大で予め決定された許容値でもって互いに異なっている場合も含んでいる。予め決定された許容値より大きな違いで初めて物体の検出という結果に至る。これはつまりとりわけ、明るさ情報および/または色情報における小さな違いは、その違いが予め決定された許容値より小さい限り、この画像情報あるいはビデオ画像が同じあるいは同一であると表現できることを意味している。
これはつまりとりわけ、例えばビデオ画像が予め決定された許容値より大きな違いで互いに異なっている場合に初めて、隆起した物体が検出されることを意味している。これはつまりとりわけ、例えば1つの重畳領域がそのほかの重畳領域とは、予め決定された許容値より大きな違いで異なっている場合に初めて、隆起した物体が検出されることを意味している。
一実施形態によれば、分析を複数のビデオカメラによって実行する場合、ビデオカメラの各々は互いに独立して、撮影されたビデオ画像を分析する。
これにより例えば、効率的に冗長性がつくられるという技術的利点がもたらされる。つまりとりわけ、ビデオカメラの各々が分析の独自の結果を提供する。ビデオカメラの1つが故障していたとしても、そのほかのビデオカメラ上で分析の結果が提供される。これはつまり、1つのビデオカメラが故障しても依然として隆起した物体を検出できることを意味している。
本明細書の意味における分析の結果は、とりわけ撮影されたビデオ画像内で隆起した物体が検出されたか否か提示する。
一実施形態では、駐車場内に多数のビデオカメラが空間的に分散して配置されており、この場合、多数のビデオカメラから、それぞれの視野が重畳領域内で重なり合っている少なくとも2つのビデオカメラを、使用すべきビデオカメラとして選択する。
つまりこの実施形態によれば、駐車場内に2つより多いビデオカメラが空間的に分散して配置されている。とりわけ、どのビデオカメラが駐車場のどの領域を捕捉しているかが分かっている。駐車場の一領域を捕捉するために、複数のビデオカメラから、それぞれ共通の一領域、重畳領域を見ることができる、つまり捕捉できる少なくとも2つのビデオカメラを選択する。
選択されたビデオカメラが重畳領域のビデオ画像を撮影し、このビデオ画像を隆起した物体を検出するために分析する。
共通の一領域、ここでは重畳領域を監視する少なくとも2つのビデオカメラを選択することで、とりわけ、隆起した物体の、信頼性が高くロバスト性のある検出をもたらすことができる。
これにより例えば、駐車場内に存在する隆起した物体を効率的に認識できるという技術的利点がもたらされる。
とりわけ、少なくとも2つのビデオカメラを使用することで冗長性がもたらされる。とりわけ、1つのビデオカメラの誤りを別のビデオカメラによって補うことができる。
これにより例えば、誤った警報を低減または回避できるという技術的利点がもたらされ、これは、駐車場の効率的な運用を可能にすることが有利であり、かつこれは、例えば駐車場内で運転者なしで走行している自動車の効率的な運転を可能にする。
これにより例えば、物体を効率的に認識できるという技術的利点がもたらされ、したがってこのような物体との衝突を防止できる。
一実施形態では、撮影されたビデオ画像の分析を、選択されたビデオカメラの1つまたは複数によりビデオカメラ内部で実行する。とりわけ、すべての選択されたビデオカメラによって分析を実行する。とりわけ、選択されたビデオカメラの1つまたは複数だけによって分析を実行する。
これにより例えば、選択されていないビデオカメラへはビデオ画像を送らなくてよいと
さらなる一実施形態によれば、撮影されたビデオ画像の分析が、選択されていないビデオカメラの1つまたは複数によりビデオカメラ内部で実行される。とりわけ、すべての選択されていないビデオカメラによって分析を実行する。とりわけ、選択されていないビデオカメラの1つまたは複数だけによって分析を実行する。
これにより例えば、選択されていないビデオカメラが、隆起した物体を検出するために効率的に利用されるという技術的利点がもたらされる。
一実施形態では、撮影されたビデオ画像の分析を、選択されたビデオカメラの1つまたは複数によりビデオカメラ内部で実行することも、選択されていないビデオカメラの1つまたは複数によりビデオカメラ内部で実行することも行われる。
表現「少なくとも2つのビデオカメラ」は、一実施形態によれば少なくとも3つのビデオカメラを意味している。
一実施形態によれば、ビデオカメラが相互間で無線および/または有線で通信する。
とりわけ、ビデオカメラは通信ネットワークにより相互に通信技術的に接続している。
通信ネットワークは、例えばWLANネットワークおよび/または移動無線通信ネットワークを含んでいる。無線通信は、例えば無線通信技術、例えばWLANおよび/または移動無線に基づく通信を含んでいる。
通信ネットワークは、例えばイーサネット(登録商標)ネットワークおよび/またはバス通信ネットワークを含んでいる。有線通信は、例えば有線通信技術、例えばイーサネットおよび/またはバス通信技術に基づく通信を含んでいる。
一実施形態では、ビデオカメラのどの1つまたは複数により、撮影されたビデオ画像の分析を実行するのかを判断するため、ビデオカメラが相互間で通信する。
これにより例えば、この判断のためにビデオカメラ外部の計算容量を提供しなくてよいという技術的利点がもたらされる。
代替的な一実施形態では、ビデオカメラのどの1つまたは複数により、撮影されたビデオ画像の分析を実行するのかを、ビデオカメラ外部で予め設定する。
これにより例えば、この判断のためにビデオカメラ内部の計算容量を提供しなくてよいという技術的利点がもたらされる。
一実施形態によれば、それぞれ撮影されたビデオ画像を、分析を実行する1つまたは複数のビデオカメラへ送信するため、ビデオカメラが相互間で通信する。
これにより例えば、撮影されたビデオ画像が効率的に、分析を実行する1つまたは複数のビデオカメラに提供されるという技術的利点がもたらされる。
一実施形態では、分析の結果を駐車場の駐車場管理サーバに通信ネットワークを介して送信する。
これにより例えば、駐車場管理サーバがこの結果に基づいて駐車場を効率的に運用できるという技術的利点がもたらされる。
一実施形態によれば、それぞれの視野が重畳領域内で重なり合っているビデオカメラが2つより多い場合、2つより多いビデオカメラからの少なくとも2つのビデオカメラの選択は、2つより多いビデオカメラからの、1つまたは複数のビデオカメラのランダムな選択を含んでいる。
これにより例えば、統計誤差を効率的に補えるという技術的利点がもたらされる。
別の一実施形態によれば、それぞれの視野が重畳領域内で重なり合っているビデオカメラが2つより多い場合、2つより多いビデオカメラからの少なくとも2つのビデオカメラの選択は、2つより多いビデオカメラからの、それぞれの視野の中心を含むそれぞれの真ん中の視野が重畳領域に含まれている1つまたは複数のビデオカメラの選択を含んでいる。
これにより例えば、ビデオカメラの対物レンズの、一般的には好ましくは対物レンズの周縁領域で発生する結像欠陥が、ビデオ画像の分析を歪曲するまたは困難にする可能性がないことを達成するという技術的利点がもたらされる。
別の一実施形態では、それぞれの視野が重畳領域内で重なり合っているビデオカメラが2つより多い場合、2つより多いビデオカメラからの少なくとも2つのビデオカメラの選択は、2つより多いビデオカメラからの、互いに直接隣接して配置されている複数のビデオカメラの選択を含んでいる。
これにより例えば、重畳領域を効率的に捕捉できるという技術的利点がもたらされる。
別の一実施形態によれば、それぞれの視野が重畳領域内で重なり合っているビデオカメラが2つより多い場合、2つより多いビデオカメラからの少なくとも2つのビデオカメラの選択は、2つより多いビデオカメラからの、重畳領域をそれぞれ向かい合う側から撮影する複数のビデオカメラの選択を含んでいる。
これにより例えば、隆起した物体を異なる視点から捕捉できるという技術的利点がもたらされ、したがってこの物体を分析において効率的に検出することができる。
別の一実施形態によれば、それぞれの視野が重畳領域内で重なり合っているビデオカメラが2つより多い場合、2つより多いビデオカメラからの少なくとも2つのビデオカメラの選択は、2つより多いビデオカメラからの、ある特定の最低解像度および/または撮影されたビデオ画像を加工するためのある特定の加工時間を有する1つまたは複数のビデオカメラの選択を含んでいる。
これにより例えば、重畳領域を効率的に捕捉できるという技術的利点がもたらされる。これにより例えば、分析を効率的に実行できるという技術的利点がもたらされる。
さらなる一実施形態によれば、それぞれ視野が重畳領域内で重なり合っているビデオカメラが2つより多い場合、2つより多いビデオカメラからの少なくとも2つのビデオカメラの選択は、2つより多いビデオカメラからの、相互間で最適に較正されている1つまたは複数のビデオカメラの選択を含んでいる。
これにより例えば、重畳領域を効率的に捕捉できるという技術的利点がもたらされる。これにより例えば、分析を効率的に実行できるという技術的利点がもたらされる。
一実施形態によれば、それぞれの視野が重畳領域内で重なり合っているビデオカメラが2つより多い場合、2つより多いビデオカメラからの少なくとも2つのビデオカメラの選択は、2つより多いビデオカメラからの、予め決定された最短時間内にビデオ画像を分析できる1つまたは複数のビデオカメラの選択を含んでいる。
これにより例えば、分析を効率的かつ高速に実行できるという技術的利点がもたらされる。
さらなる一実施形態では、それぞれの視野が重畳領域内で重なり合っているビデオカメラが2つより多い場合に、2つより多いビデオカメラから正確に2つのビデオカメラを選択する。
これにより例えば、重畳領域を効率的に捕捉できるという技術的利点がもたらされる。これにより例えば、2つより多いビデオカメラのビデオ画像の分析と比較して、2つのビデオカメラのビデオ画像しか分析しなくてよいという点で、分析を効率的かつ高速に実行できるという技術的利点がもたらされる。
一実施形態によれば、それぞれの視野が重畳領域内で重なり合っているビデオカメラが2つより多い場合に、最初は2つより多いビデオカメラのすべてを選択し、そのうちに、撮影されたビデオ画像の分析が、最初に選択されたビデオカメラのどのビデオ画像に基づいて正しい結果を出したかが確定されていき、その後は、その重畳領域に対しては、この正しい結果を出した分析の基礎となったビデオ画像のビデオカメラからビデオカメラを選択するだけでよい。
これにより例えば、駐車場のある特定の領域内で隆起した物体を確実かつ高い信頼性で検出するために、ビデオカメラのどれが最も良く適しているのかを効率的に学習できるという技術的利点がもたらされる。
一実施形態によれば、それぞれの視野が重畳領域内で重なり合っているビデオカメラが2つより多い場合に、2つより多いビデオカメラのすべてを選択する。
これにより例えば、重畳領域を効率的に捕捉できるという技術的利点がもたらされる。これにより例えば、高い冗長性およびそれに伴う誤りの低減、とりわけ最小化をもたらし得るという技術的利点がもたらされる。
別の一実施形態では、分析の枠内で、予め決定された最低確率で正しい中間結果が確定されると、すべてのビデオ画像が分析されているか否かに関わらず分析を中断し、したがってまだすべてのビデオ画像は分析されていなかった場合も分析を中断する。
これにより例えば、分析を効率的に実行できるという技術的利点がもたらされる。これにより例えば、分析に対するプロセッサ負荷を効率的に減らせるという技術的利点がもたらされる。
一実施形態では、ビデオカメラのそれぞれのビデオ画像を相次いで、つまり並行してではなく分析し、中断基準が規定されており、中断基準が存在すれば、まだすべてのビデオ画像は分析されていなかったとしても、ビデオ画像の分析を中断する。
中断基準は例えば、y個(調整可能な値)の選択されたビデオカメラのそれぞれのビデオ画像のx個(調整可能な値)の分析後に、予め決定された最低確率で正しい中間結果が確定されれば、残りのビデオカメラのそれぞれのビデオ画像の分析を中断するというものである。つまり中断基準が満たされれば、分析を予定より早く中断する。
例えばこれを、1つのポジション(例えば1ピクセルおよび/または最小物理単位、例えば1cm×1cm)に対して、および/または1つのまとまった領域(例えば5ピクセル×5ピクセルおよび/または5cm×5cm)に対して常に適用する。例えば、それぞれのビデオ画像の一領域(例えばxピクセル×xピクセルまたはcmでつまりはxcm×xcm)内で、画像領域が「同じ」または「同じでない」(→中断基準)場合に、とりわけ中断する。この中断基準は様々な領域に適用することができる。領域が小さければ小さいほど、より正確であるが、より計算集約的でもある。これは、ある特定の領域(xピクセル×xピクセルまたはxcm×xcm)を、(ピクセルでの領域提示の場合は)ビデオ画像内でまたは(cmでの提示の場合は)現実世界内で規定することを意味しており、ビデオ画像内のこれらの領域のそれぞれの分析が同じ結果(「同じ」または「同じでない」、つまり異なる)を出す場合、分析をとりわけ中断し、かつ続行しない。
これに関し、個々の視野(ビデオカメラ)の数および選択は、例えばポジションあるいは領域ごとに異なる。
一実施形態によれば、最初にどのビデオカメラが駐車場のどの領域を撮影できるかが確定され、最初の確定の結果が、ビデオカメラのどれが駐車場のどの領域を撮影できるかの確定を繰り返すことによって点検される。
これにより例えば、重畳領域を効率的に捕捉できるという技術的利点がもたらされる。これにより例えば、ビデオカメラポジションの変化を効率的に認識でき、その後に考慮もできるという技術的利点がもたらされる。これにより例えば、ビデオカメラの、例えば視野の場所を変化させる製造公差を踏まえて効率的に操作できるという技術的利点がもたらされる。
一実施形態では、撮影されたビデオ画像の各々の分析の前に、少なくとも分析すべきビデオ画像のビデオカメラに関しては、最初の確定の結果を点検する。
これにより例えば、ビデオカメラポジションの変化が分析を歪曲するあるいは困難にする可能性を効率的に阻めるという技術的利点がもたらされる。
一実施形態によれば、重畳領域を、少なくとも1つのビデオカメラに対しては、そのほかのビデオカメラと比較して異なるように照明する。
これにより例えば、物体を効率的に検出できるという技術的利点がもたらされる。というのも物体の1つの側が、好ましくはまたは物体のそのほかの側とは違うように照明されていれば、効率的に、撮影されたビデオ画像内の違いを特に容易かつ効率的に認識できるからである。
重畳領域を、少なくとも1つのビデオカメラに対しては、そのほかのビデオカメラと比較して異なるように照明することとは、例えば、駐車場内に、この少なくとも1つのビデオカメラの方向から重畳領域を照明する光源を配置することを意味している。例えば、そのほかのビデオカメラの方向からは照明を行わず、つまりさらなる光源を設けないか、または異なる照明を行い、例えば異なる光度で稼働する光源を設ける。
一実施形態によれば、重畳領域は自動車用の走行領域を含んでいる。
これにより例えば、走行領域を効率的に監視できるという技術的利点がもたらされる。
一実施形態によれば、比較は、明るさの違いを1つの違いとして認識するために、修正されたビデオ画像のそれぞれの明るさの比較を含んでいる。
これによりとりわけ、撮影された重畳領域内の違いを効率的に認識できるという技術的利点がもたらされる。
一実施形態によれば、駐車場は、駐車場内に存在する隆起した物体を検出するための方法を実施または実行するように構成または形成されている。
一実施形態によれば、駐車場内に存在する隆起した物体を検出するための方法が、駐車場内に存在する隆起した物体を検出するためのシステムによって実施または実行される。
システムの技術的機能性は方法の対応する技術的機能性から類似的に明らかであり、およびその逆である。
これはつまりとりわけ、システムの特徴が対応する方法の特徴から、およびその逆で、明らかであることを意味している。
一実施形態によれば、少なくともn個のビデオカメラが設けられており、ここでnは3以上である。
一実施形態によれば、照明機構が設けられている。この照明機構は、重畳領域を、少なくとも1つのビデオカメラに対しては、そのほかのビデオカメラと比較して異なるように照明するように形成されている。
照明機構は、例えば駐車場内で空間的に分散して配置された1つまたは複数の光源を含んでいる。これらの光源は、例えば重畳領域が異なる方向から異なって照明されるように配置されている。
一実施形態では、重畳領域を、例えば照明機構により、優先方向からスポットライト状に照明する。
一実施形態では、重畳領域を一方向だけから照明する。
光源は、例えば駐車場の天井あるいは柱あるいは壁に、包括的には駐車場のインフラ要素に配置されている。
一実施形態によれば、少なくともn個のビデオカメラを使用し、ここでnは3以上である。
一実施形態によれば、それぞれの重畳領域を、それぞれの視野がそれぞれの重畳領域内で重なり合っている正確に3つまたは正確に4つのビデオカメラによって監視する。
一実施形態では、それぞれの視野がそれぞれ重畳領域内で重なり合っている複数のビデオカメラが設けられており、あるいは設けられる。これはつまり、とりわけここでは複数の重畳領域を複数のビデオカメラによって捕捉、つまりとりわけ監視することを意味している。
表現「あるいは」は、とりわけ表現「および/または」を含んでいる。
一実施形態によれば、1つあるいは複数あるいはすべてのビデオカメラが、駐車場の床に対して少なくとも2m、とりわけ2.5mの高さに配置されている。
これにより例えば、重畳領域を効率的に撮影できるという技術的利点がもたらされる。
一実施形態によれば、分析を実行する1つまたは複数のビデオカメラを、1つまたは複数の加工基準に応じて選択する。
これにより例えば、ビデオカメラを効率的に選択できるという技術的利点がもたらされる。
さらに1つの実施形態によれば、1つまたは複数の加工基準を、加工基準の以下の群、すなわちビデオカメラのそれぞれの計算容量、ビデオカメラのそれぞれのメモリ使用量、ビデオカメラへのそれぞれの伝送帯域幅、ビデオカメラのそれぞれの電力消費量、ビデオカメラのそれぞれの計算能力、ビデオカメラのそれぞれの計算速度、ビデオカメラのそれぞれのその時々の運転モードから選択する。
これにより例えば、ビデオカメラを効率的に選択できるという技術的利点がもたらされる。
一実施形態では、加工基準が予め決定された加工基準閾値と比較され、比較の結果に応じて1つまたは複数のビデオカメラを選択する。
例えば、それぞれの計算容量が計算容量閾値より大きいまたはそれ以上であるビデオカメラだけを選択する。
例えば、それぞれのメモリ使用量がメモリ使用量閾値より小さいまたはそれ以下であるビデオカメラだけを選択する。
例えば、伝送帯域幅が伝送帯域幅閾値より大きいまたはそれ以上であるビデオカメラだけを選択する。
例えば、それぞれの電力消費量が電力消費量閾値より小さいまたはそれ以下であるビデオカメラだけを選択する。
例えば、それぞれの計算能力が計算能力閾値より大きいまたはそれ以上であるビデオカメラだけを選択する。
例えば、それぞれの計算速度が計算速度閾値より大きいまたはそれ以上であるビデオカメラだけを選択する。
例えば、それぞれのその時々の運転モードが、アクティブ化されている運転モードに対応しているビデオカメラだけを選択する。アクティブ化されている運転モードはスタンバイモードではない。
以下では、好ましい例示的実施形態に基づいて本発明をより詳しく説明する。
駐車場内に存在する隆起した物体を検出するための方法のフロー図である。 駐車場内に存在する隆起した物体を検出するためのシステムを示す図である。 第1の駐車場を示す図である。 駐車場の床を監視する2つのビデオカメラを示す図である。 隆起した物体を捕捉する際の図4の2つのビデオカメラを示す図である。 第2の駐車場を示す図である。
以下では、同じ符号には同じ特徴を使用することができる。
図1は、駐車場内で空間的に分散して配置されており、それぞれの視野が重畳領域内で重なり合っている少なくとも2つのビデオカメラを使用して、駐車場内に存在する隆起した物体を検出するための方法のフロー図を示している。
この方法は、
− ビデオカメラによって重畳領域のそれぞれのビデオ画像を撮影するステップ101と、
− 撮影されたビデオ画像内で隆起した物体を検出するために、撮影されたビデオ画像を分析するステップ103と
を含んでおり、
− この分析103は、専らビデオカメラの少なくとも1つによりビデオカメラ内部で実行される。
検出された隆起した物体は、例えば以下のように分類することができる:自動車、歩行者、自転車、動物、ベビーカー、その他。
図2は、駐車場内に存在する隆起した物体を検出するためのシステム201を示している。システム201は、駐車場内に存在する隆起した物体を検出するための方法を実施または実行するために形成されている。
システム201は、ビデオ画像を撮影するための、駐車場内で空間的に分散して配置された例えば多数のビデオカメラ203を含んでいる。これらのビデオカメラ203はそれぞれ、撮影されたビデオ画像内で隆起した物体を検出するために、撮影されたビデオ画像を分析するためのプロセッサ205を含んでいる。
システム201は、
− それぞれの視野が重畳領域内で重なり合っている多数のビデオカメラ203から、少なくとも2つのビデオカメラ203を選択するステップと、
− 選択されたビデオカメラ203によって、重畳領域のそれぞれのビデオ画像を撮影するステップと、
− 撮影されたビデオ画像内で隆起した物体を検出するために、1つのプロセッサ205によってまたは複数のプロセッサ205によって、撮影されたビデオ画像を分析するステップと
を実行するように形成されている。
撮影されたビデオ画像の分析は、専らビデオカメラ203の1つまたは複数上で実行される。外部のデータ加工機構または外部の計算ユニットによる分析は規定されていない。
図3は、駐車場301を示している。
駐車場301は、図2のシステム201を含んでいる。
図4は、駐車場の床401を監視する第1のビデオカメラ403および第2のビデオカメラ405を示している。両方のビデオカメラ403、405は、例えば天井(図示されていない)に配置されている。
第1のビデオカメラ403は第1の視野407を有している。第2のビデオカメラ405は第2の視野409を有している。両方のビデオカメラ403、405は、両方の視野407、409が重畳領域411内で重なり合うように配置されている。この重畳領域411は床401の一部である。
第2のビデオカメラ405のすぐ左隣に光源413が配置されており、光源413は、重畳領域411を第2のビデオカメラ405の方向から照明している。
床401上に隆起した物体は存在していない。これはつまり、両方のビデオカメラ403、405が同じ重畳領域411を見るまたは捕捉することを意味している。これはつまり、両方のビデオカメラ403、405が重畳領域411の同じ画像情報を認識するまたは見ることを意味している。
両方のビデオカメラ403、405がそれぞれ重畳領域411のビデオ画像を撮影し、このビデオ画像が修正される。重畳領域411とビデオカメラ403あるいは405との間に隆起した物体が存在していない場合、それぞれ修正されたビデオ画像は互いに異なっておらず、少なくとも、予め設定された許容範囲(予め決定された許容値)内では互いに異なっていない。つまりこの場合には違いは認識されず、したがってこれに対応して、隆起した物体も検出されない。
重畳領域411は、例えば駐車場の走行領域上に存在している。これはつまり、例えば重畳領域411上を自動車が走行し得ることを意味している。
図5は、隆起した物体501を捕捉する際の両方のビデオカメラ403、405を示している。隆起した物体501は、向かい合う側面503、505を有している。側面503を以下では(紙面に対して)右側面と言う。側面505を以下では(紙面に対して)左側面と言う。
一般的には、隆起した物体は異なる側からは異なって見える。これはつまり、隆起した物体501が右側面503からは左側面505からとは違って見えることを意味している。
隆起した物体501は、床401上に存在している。隆起した物体501は、重畳領域411と両方のビデオカメラ403、405との間に存在している。
第1のビデオカメラ403は、隆起した物体501の左側面505を捕捉する。第2のビデオカメラ405は、隆起した物体501の右側面503を捕捉する。
したがってこの場合には、それぞれ修正されたビデオ画像は互いに異なっており、したがってこれに対応して違いが認識される。これに対応してこの場合は、隆起した物体501が検出される。ここでは違いが予め決定された許容値より大きい。
光源413を設けることにより、とりわけ右側面503が左側面505より強く照明されることになる。これにより例えば、撮影されたビデオ画像は、したがって修正されたビデオ画像も、その明るさが互いに異なるという技術的利点がもたらされる。明るさの違いは効率的に検出でき、これにより違いを効率的に認識でき、したがってこれにより隆起した物体501を効率的に検出できることが有利である。
隆起した物体501は、例えば駐車場の床401上を走行する自動車である。側面503、505は、例えば自動車の前側および後ろ側または右側および左側である。
隆起していない、つまり二次元のまたは平たい物体が床401上に存在している場合、相応に修正されたビデオ画像は一般的に、予め設定された許容範囲内では互いに異なっていない。このような二次元の物体は、例えば落ち葉、紙、または枯れ枝などである。このようなケースで、場合によっては違い不足(違いが予め設定された許容値より小さいまたはそれ以下である)に基づき、修正されたビデオ画像内で検出されない物体が、隆起した物体ではないが、確かに床401上に存在しているということは、ここでは、このような隆起していない物体の上を一般的に問題なく自動車が走行してよいあるいは走行できるという点で、安全性の理由から重要ではない。自動車は、枯れ枝または紙の上を、例えば歩行者または自転車または動物または自動車であり得る隆起した物体とは違い、危険な状況または衝突に至ることなく走行できる。隆起した物体と自動車は衝突すべきではない。
ビデオカメラ403、405によりビデオ画像を撮影し、これらのビデオ画像を、ビデオ画像内で隆起した物体を検出するために上記の実施形態に基づいて分析する。
よって本発明によるコンセプトは、ビデオ画像の分析を専ら複数のビデオカメラによってまたはビデオカメラの1つによってそれ自体で実行することに基づいている。ビデオカメラはその撮影したビデオ画像を、分析を実行する1つまたは複数のビデオカメラに送信する。この送信は、例えば無線および/または有線の通信ネットワークを含む通信ネットワークを介したビデオ画像の送信などを含んでいる。
ビデオ画像を互いに独立して分析するビデオカメラが多ければ多いほど、正しいあるいは確実な結果の確率がより高くなる。ただしこれは計算集約度、例えばプロセッサ負荷または計算時間を代償とする。
物体が検出されたという情報は、例えば駐車場管理サーバを含む駐車場管理システムに通知または送信される。駐車場管理システムはこの情報を、例えば駐車場の運用を計画または管理するために使用する。つまり駐車場管理システムは、例えば、情報に基づいて駐車場を運用する。
この情報を、例えば駐車場内に存在している自動車を遠隔制御する際に使用する。これはつまり例えば、駐車場管理システムが1つまたは複数の検出された物体に基づいて駐車場内の自動車を遠隔制御することを意味している。
この情報は、例えば駐車場内で自律走行している自動車へ無線の通信ネットワークを介して送られる。
つまり本発明は、とりわけ、例えば駐車場ビルとしてまたは地下駐車場として形成され得る駐車場内で、例えば走行領域の各々の地点が少なくとも2つ、例えば少なくとも3つのビデオカメラによって見られるまたは捕捉されるあるいは監視されるように空間的に分散して配置された複数のビデオカメラを使用するという着想に基づいている。これはつまり、それぞれの視野がそれぞれ重畳領域内で重なり合っており、これらの重畳領域が走行領域をカバーしていることを意味している。撮影されたビデオ画像は、例えば比較の前に修正される。
ビデオカメラの対応する修正されたビデオ画像を、例えば画像加工アルゴリズムを用いて相互に比較する。例えば、走行領域内のすべてのビデオカメラが、ある特定の位置またはある特定の地点で同じ画像情報を見る場合、この特定の位置とビデオカメラの間のそれぞれの視線上には物体が存在していないことが決定される。それゆえ物体も検出されない。ただし一実施形態によれば、この位置での1つのビデオカメラの画像情報がそのほかのビデオカメラとは異なっている場合、この1つのビデオカメラの視線上に隆起した物体が存在しているにちがいないことが明らかである。それゆえ隆起した物体が検出される。
本明細書の意味における表現「同じ画像情報」あるいは「同一の画像情報」は、とりわけ、画像情報が最大で予め決定された許容値でもって互いに異なっている場合も含んでいる。予め決定された許容値より大きな違いで初めて物体の検出という結果に至る。これはつまりとりわけ、明るさ情報および/または色情報における少ない違いは許容され、その違いが予め決定された許容値より小さい限り、この画像情報が同じあるいは同一であると表現できることを意味している。
これはつまりとりわけ、例えば、隆起した物体が検出されることなく、修正されたビデオ画像が互いに異なっていてよい許容範囲が予め設定されるあるいはされていることを意味している。違いが予め設定された許容範囲より大きい場合に初めて、隆起した物体が検出される。
これはつまりとりわけ、一実施形態によれば、修正されたビデオ画像内の違いが、予め設定された許容範囲あるいは予め決定された許容値より大きい場合に初めて、物体が検出されることを意味している。
本発明のコンセプトは、とりわけ認識すべき物体に関してモデルフリーであることが有利である。このアルゴリズムは、例えば駐車場についての、つまり走行領域内のどこに駐車場の境界面(例えば床、壁、または柱)が存在するかについてのモデル知識だけを使用する。
例えば、自律的にまたは遠隔制御されて走行している自動車は、駐車場内では、予め規定された面上、走行領域上を移動する。ビデオカメラは、例えばその視野が走行領域内で重なり合うように配置されている。この重畳は、走行領域内の境界面(例えば床、壁)上の各々の地点が少なくとも3つのビデオカメラによって見られるまたは監視されるように選択されている。とりわけ、境界面上の各々の地点が複数の異なる視点から観察または監視されるように配置が選択されている。
これはつまりとりわけ、重畳領域がビデオカメラによって複数の異なる方向から捕捉あるいは撮影されることを意味している。
よって境界面の各々個々の地点から、例えばこの地点を見ている3つのビデオカメラへと視線を辿ることができる。もっと多くのビデオカメラが提供されている場合には、例えば複数のカメラからできるだけ異なる視点を有する3つのビデオカメラを選択する。
隆起した物体が、この地点へのビデオカメラの視線上に存在していない場合、すべてのビデオカメラが、境界面の同じ画像情報あるいは最大で予め決定された許容値でもって互いに異なっている画像情報を見る(図4を参照)。
例えば床が水分を含んで湿っていて、床の表面の例えば明るさおよび色が変化している場合、これは、すべてのビデオカメラが変化した同じ明るさまたは色を見る場合には、境界面の検出を妨げない。例えば二次元の物体、例えば落ち葉、紙、または枯れ枝が床上にある場合、すべてのビデオカメラが同じ画像情報あるいは最大で予め決定された許容値でもって互いに異なっている画像情報を見るので、この隆起していない物体は、本発明によるコンセプトによれば一般的に検出されない。これは、このような二次元の物体の上を問題なく自動車が走行してよいという点で、安全性の理由から危機的ではない。
隆起した物体が走行領域内に存在している(例えば図5を参照)場合には、ビデオカメラの視線は、当然ながら境界面(重畳領域)には当たらなくなり、隆起した物体の異なる眺めを見ることになり、したがって異なるビデオ画像を撮影する。
隆起した物体は、例えば人または自動車である。
こうして例えば1つのビデオカメラは物体の前側を見て、その一方でもう1つのビデオカメラは物体の後ろ側を見る。一般的には、この両方の側は互いに有意に異なっており、したがって、撮影されたビデオ画像が互いに異なっている場合には、隆起した物体を検出することができる。この効果は、例えば、場面、つまり重畳領域を一方の側でより明るく照明することによって強化でき、これにより、隆起した物体の見落としを効率的に排除できる。物体の異なる側が異なって照明されることにより、この物体はより強く照明された側では弱く照明された側より明るく見え、したがってビデオカメラが異なる画像情報を見る。これは単色の物体に対してさえ有効である。
図6は、第2の駐車場601を示している。
駐車場601は、車道602を横切る方向に配置された複数の駐車位置603を含んでおり、車道602上を第1の自動車605が走行している。第2の自動車607は、駐車位置603の1つに駐車している。
第1の自動車605は矢印方向609に、紙面に対して左から右に走行している。
第2の自動車607は出庫しようとしており、これは、符号611が付された矢印によって示唆されている。
駐車場内には複数のビデオカメラ613が空間的に分散して配置されている。ビデオカメラ613は概略的に黒丸として描かれている。
ビデオカメラ613は、例えば車道602の端に、それぞれ左右にずれて配置されている。ビデオカメラ613は、例えばそれぞれ駐車位置603の隅に配置されている。
ビデオカメラ613は、例えば、自動車の運転者が自分の自動車を自動駐車工程(AVP工程;AVP=automated valet parking)のために停車させる引渡ポジションに配置されている。つまり、そこに停車した自動車は、引渡ポジションから自動駐車を開始する。つまり自動車がそこから自動的に、とりわけ自律的にまたは遠隔制御されて、駐車位置603の1つへと走行し、そこで駐車する。
ビデオカメラ613は、例えば、運転者が自分の自動車をAVP工程の終了後に受け取ることができる受取ポジションに配置されている。駐車時間の終了後には、1つの駐車位置603に停車していた自動車が自動的に、とりわけ自律的にまたは遠隔制御されて、受取ポジションへと走行し、そこで停車する。
受取ポジションは、例えば引渡ポジションと同一であるか、または例えば引渡ポジションとは別である。
したがってビデオカメラ613により通行を、とりわけ自動走行している自動車の、つまりとりわけ運転者なしで走行している自動車の通行を効率的に監視することができる。
本コンセプトは、自動車の検出を実現し、かつ例えば自動車の制御に基づいている。例えば第1の自動車605を検出する。とりわけ第2の自動車607を検出する。とりわけ第2の自動車607が出庫しようとしていることを認識する。とりわけ第1の自動車605が左から右に走行していることを認識する。とりわけ衝突の可能性を認識する。これに対応してとりわけ第1の自動車605が第2の自動車607の傍を通りすぎるまで第2の自動車607を遠隔制御で停めておく。
これらの認識ステップは、とりわけ、相応に選択されたビデオカメラのビデオ画像の分析に基づいている。
本発明によるコンセプトは、隆起した物体の効率的な検出または認識を可能にすることが有利である。本発明によるコンセプトは、とりわけ明るさの変化または例えば日光の差込みによる明るさの点状の変化に対して非常にロバスト性がある。
隆起した物体が検出されているという情報を、例えば上位の調節システムに伝達することができる。この調節システムは、例えば遠隔制御されている自動車を停止させることができ、または自律走行している自動車に停止信号を送信することができ、これによりこれらの自動車は、隆起した物体の前でまだ間に合ううちに停まることができる。調節システムは、例えば駐車場管理システムに含まれている。
したがって本発明によるコンセプトは、AVP分野でも用い得ることが有利である。「AVP」は、「Automated Valet Parking」を表しており、「自動駐車工程」と訳すことができる。このようなAVP工程の枠内では、とりわけ、自動車が自動的に駐車場内で駐車し、かつ駐車時間の終了後には自動的にその駐車ポジションから受取ポジションへと走行し、この受取ポジションで所有者は自動車を受け取ることができる。

Claims (16)

  1. 駐車場(301)内で空間的に分散して配置されており、それぞれの視野(407、409)が重畳領域(411)内で重なり合っている少なくとも2つのビデオカメラ(203)を使用して、前記駐車場(301)内に存在する隆起した物体(501)を検出するための方法であって、
    −前記少なくとも2つのビデオカメラ(203)によって前記重畳領域(411)のそれぞれのビデオ画像を撮影するステップ(101)であって、前記少なくとも2つのビデオカメラ(203)のうちの少なくとも1対のビデオカメラは、前記隆起した物体(501)の進行方向における左右の方向にそれぞれ位置する、ステップ(101)と、
    −前記少なくとも2つのビデオカメラのうちの1つまたは複数のビデオカメラ(203)に、当該ビデオカメラ以外のビデオカメラ(203)が、前記撮影されたそれぞれのビデオ画像を送信するステップと、
    前記撮影されたビデオ画像を受信する前記1つまたは複数のビデオカメラ(203)が、専らその内部において、前記撮影されたビデオ画像内で隆起した物体(501)を検出するために、前記撮影されたビデオ画像を分析するステップ(103)と、
    を含む、方法。
  2. 前記駐車場(301)内には光源が備えられており、前記撮影するステップ(101)において、前記少なくとも一対のビデオカメラの一方は、他方のビデオカメラとは異なるように前記光源によって照明された前記重畳領域を撮影する、請求項1に記載の方法。
  3. 前記分析が、複数のビデオカメラ(203)によって実行され、前記1つまたは複数のビデオカメラ(203)の各々が互いに独立して、前記撮影されたビデオ画像を分析する、請求項1または2に記載の方法。
  4. 前記駐車場(301)内で多数のビデオカメラ(203)が空間的に分散して配置されており、前記多数のビデオカメラ(203)から、それぞれの視野(407、409)が前記重畳領域(411)内で重なり合っている少なくとも2つのビデオカメラ(203)が、前記使用すべきビデオカメラ(203)として選択される、請求項1から3のいずれか一項に記載の方法。
  5. 前記撮影されたビデオ画像の前記分析が、前記選択されたビデオカメラ(203)の1つまたは複数によりビデオカメラ内部で実行される、請求項に記載の方法。
  6. 前記撮影されたビデオ画像の前記分析が、前記選択されていないビデオカメラ(203)の1つまたは複数によりビデオカメラ内部で実行される、請求項またはに記載の方法。
  7. 前記少なくとも2つのビデオカメラ(203)が相互間で無線および/または有線で通信する、請求項1〜のいずれか一項に記載の方法。
  8. 前記少なくとも2つのビデオカメラ(203)のどの1つまたは複数により、前記撮影されたビデオ画像の前記分析を実行するのかを判断するために、前記少なくとも2つのビデオカメラ(203)が相互間で通信する、請求項に記載の方法。
  9. 前記それぞれ撮影されたビデオ画像を、前記分析を実行する前記1つまたは複数のビデオカメラ(203)へ送信するため、前記少なくとも2つのビデオカメラ(203)が相互間で通信する、請求項またはに記載の方法。
  10. 前記分析の結果が前記駐車場(301)の駐車場管理サーバに通信ネットワークを介して送信される、請求項1〜のいずれか一項に記載の方法。
  11. 前記分析に基づいて、前記撮影されたビデオ画像内で隆起した物体を検出するために、
    −前記撮影されたビデオ画像を修正するステップと、
    −前記撮影された重畳領域(411)内の違いを認識するために、前記それぞれの修正されたビデオ画像を相互比較するステップと、
    −前記比較に基づいて隆起した物体(501)を検出するステップと、
    が提供されている、請求項1〜10のいずれか一項に記載の方法。
  12. 前記分析を実行する前記1つまたは複数のビデオカメラ(203)が、1つまたは複数の加工基準に応じて選択される、請求項1〜11のいずれか一項に記載の方法。
  13. 前記1つまたは複数の加工基準が、前記ビデオカメラ(203)のそれぞれの計算容量、前記ビデオカメラ(203)のそれぞれのメモリ使用量、前記ビデオカメラ(203)へのそれぞれの伝送帯域幅、前記ビデオカメラ(203)のそれぞれの電力消費量、前記ビデオカメラ(203)のそれぞれの計算能力、前記ビデオカメラ(203)のそれぞれの計算速度、前記ビデオカメラ(203)のそれぞれのその時々の運転モードからなる群から選択される、請求項12に記載の方法。
  14. 駐車場(301)内に存在する隆起した物体(501)を検出するためのシステム(201)であって、前記システム(201)が、請求項1〜13のいずれか一項に記載の方法を実行するように形成されている、システム。
  15. 請求項14に記載の前記システム(201)を含んでいる、駐車場(301)。
  16. コンピュータ上でコンピュータプログラムが実施される場合の、請求項1〜13のいずれか一項に記載の方法を実行するためのプログラムコードを含んでいる、コンピュータプログラム。
JP2019547762A 2016-11-23 2017-09-27 駐車場内に存在する隆起した物体を検出するための方法およびシステム Active JP6805363B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016223185.5A DE102016223185A1 (de) 2016-11-23 2016-11-23 Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102016223185.5 2016-11-23
PCT/EP2017/074436 WO2018095612A1 (de) 2016-11-23 2017-09-27 Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts

Publications (2)

Publication Number Publication Date
JP2020500389A JP2020500389A (ja) 2020-01-09
JP6805363B2 true JP6805363B2 (ja) 2020-12-23

Family

ID=59974433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019547762A Active JP6805363B2 (ja) 2016-11-23 2017-09-27 駐車場内に存在する隆起した物体を検出するための方法およびシステム

Country Status (6)

Country Link
US (1) US20200050865A1 (ja)
EP (1) EP3545505A1 (ja)
JP (1) JP6805363B2 (ja)
CN (1) CN110114807B (ja)
DE (1) DE102016223185A1 (ja)
WO (1) WO2018095612A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223171A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
JP7163669B2 (ja) * 2018-08-28 2022-11-01 トヨタ自動車株式会社 駐車システム
DE102019207344A1 (de) * 2019-05-20 2020-11-26 Robert Bosch Gmbh Verfahren zum Überwachen einer Infrastruktur
DE102019218479A1 (de) * 2019-11-28 2021-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
DE102020107108A1 (de) 2020-03-16 2021-09-16 Kopernikus Automotive GmbH Verfahren und System zum autonomen Fahren eines Fahrzeugs
KR102476520B1 (ko) * 2020-08-11 2022-12-12 사이클롭스 주식회사 복수의 카메라를 활용한 스마트 주차관리 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL88806A (en) * 1988-12-26 1991-04-15 Shahar Moshe Automatic multi-level parking garage
US20010020299A1 (en) * 1989-01-30 2001-09-06 Netergy Networks, Inc. Video communication/monitoring apparatus and method therefor
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
WO2002071023A1 (fr) * 2001-03-06 2002-09-12 Toray Industries, Inc. Procede et dispositif de controle, et procede de fabrication d'un panneau d'affichage
US8154616B2 (en) * 2007-01-16 2012-04-10 Panasonic Corporation Data processing apparatus and method, and recording medium
KR101182853B1 (ko) * 2008-12-19 2012-09-14 한국전자통신연구원 자동 주차 대행 시스템 및 방법
JP4957850B2 (ja) * 2010-02-04 2012-06-20 カシオ計算機株式会社 撮像装置、警告方法、および、プログラム
JP5052707B2 (ja) * 2010-06-15 2012-10-17 三菱電機株式会社 車両周辺監視装置
AU2012221159B2 (en) * 2011-02-21 2015-11-26 Stratech Systems Limited A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
AU2013352495B2 (en) * 2012-11-27 2016-12-22 Cloudparc, Inc. Controlling use of a single multi-vehicle parking space using multiple cameras
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
EP2922042A1 (fr) * 2014-03-21 2015-09-23 SP Financial Holding SA Procédé et système de gestion d'une aire de stationnement
US9858816B2 (en) * 2014-05-21 2018-01-02 Regents Of The University Of Minnesota Determining parking space occupancy using a 3D representation
DE102015201209A1 (de) 2015-01-26 2016-07-28 Robert Bosch Gmbh Valet Parking-Verfahren und Valet-Parking System

Also Published As

Publication number Publication date
CN110114807B (zh) 2022-02-01
US20200050865A1 (en) 2020-02-13
DE102016223185A1 (de) 2018-05-24
CN110114807A (zh) 2019-08-09
WO2018095612A1 (de) 2018-05-31
JP2020500389A (ja) 2020-01-09
EP3545505A1 (de) 2019-10-02

Similar Documents

Publication Publication Date Title
JP6805363B2 (ja) 駐車場内に存在する隆起した物体を検出するための方法およびシステム
JP6805364B2 (ja) 駐車場内に存在する隆起した物体を検出するための方法およびシステム
JP7009987B2 (ja) 自動運転システム及び自動運転方法
WO2018005441A2 (en) Controlling host vehicle based on detected parked vehicle characteristics
US9683861B2 (en) Estimated route presentation apparatus and estimated route presentation method
JP6806920B2 (ja) 駐車場内に存在する隆起した物体を検出するための方法およびシステム
CN103917411B (zh) 用于分组照明单元的方法和设备
KR20200071656A (ko) 교통신호 제어 장치 및 방법
US20220410931A1 (en) Situational awareness in a vehicle
US10733459B2 (en) Image processing device, image processing method, computer-readable recording medium, object recognition device, device control system, and movable body
CN108091161B (zh) 用于探测位于停车场内的突起对象的方法和系统
US11663834B2 (en) Traffic signal recognition method and traffic signal recognition device
JP2020166409A (ja) 車載装置、車載システムおよび周辺監視方法
JP5434277B2 (ja) 走行支援装置および走行支援方法
CN111739332B (zh) 一种停车场管理系统
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
US11769337B2 (en) Traffic signal recognition method and traffic signal recognition device
CN115179863A (zh) 移动体的控制装置及控制方法、存储介质以及车辆
US20220398923A1 (en) Traffic Signal Recognition Method and Traffic Signal Recognition Device
US11417115B2 (en) Obstacle recognition device
US20190188500A1 (en) Apparatus for monitoring object in low light environment and monitoring method thereof
KR102203218B1 (ko) 영상 정보 공유 방법 및 장치
KR20220052394A (ko) 주차유도 방법, 장치 및 시스템
KR20230083067A (ko) 멀티 카메라 기반 차량 트래킹 방법 및 시스템
CN115179864A (zh) 移动体的控制装置及控制方法、存储介质以及车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190607

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201203

R150 Certificate of patent or registration of utility model

Ref document number: 6805363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250