JP2023517365A - 駐車スペース検出方法、装置、デバイス及び記憶媒体 - Google Patents

駐車スペース検出方法、装置、デバイス及び記憶媒体 Download PDF

Info

Publication number
JP2023517365A
JP2023517365A JP2022555182A JP2022555182A JP2023517365A JP 2023517365 A JP2023517365 A JP 2023517365A JP 2022555182 A JP2022555182 A JP 2022555182A JP 2022555182 A JP2022555182 A JP 2022555182A JP 2023517365 A JP2023517365 A JP 2023517365A
Authority
JP
Japan
Prior art keywords
parking space
point
bird
interior corner
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022555182A
Other languages
English (en)
Other versions
JP7400118B2 (ja
Inventor
晋 呂
威 劉
駿 胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shenyang Co Ltd
Original Assignee
Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Reach Automotive Technology Shenyang Co Ltd filed Critical Neusoft Reach Automotive Technology Shenyang Co Ltd
Publication of JP2023517365A publication Critical patent/JP2023517365A/ja
Application granted granted Critical
Publication of JP7400118B2 publication Critical patent/JP7400118B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

駐車スペース検出方法、装置、デバイス及び記憶媒体を開示した。当該方法では、シーンの俯瞰画像を学習し、５枚の確率マップを得る。この５枚の確率マップは、具体的に、１枚の中心点確率マップ及び４枚の内角点確率マップを含む。中心点確率マップは、シーンの俯瞰画像における各画素点が駐車スペース中心点とする予測確率を反映し、各内角点確率マップは、シーン俯瞰画像における各画素点が駐車スペースのある内角点とする予測確率を反映し、且つ、各駐車スペースの内角点と中心点に幾何学的関係がある。これに基づいて、モデルによって出力された画像を利用して駐車スペース検出結果が得られる。当該方法は、シーンの俯瞰画像を学習することによって、一段階で駐車スペースの迅速な検出を実現する。なお、当該方法は、駐車スペースのタイプによる制限がないため、複数のタイプの駐車スペースを同時に検出することができ、駐車スペースの検出効率を向上させる。

Description

本出願は、２０２０年０３月２０日に中国特許庁に提出された、出願番号が２０２０１０２００８５２．０であって、出願の名称が「駐車スペース検出方法、装置、デバイス及び記憶媒体」である中国特許出願の優先権を主張するものであり、その全内容を援用により本出願に組み込む。
本出願は、画像処理の技術分野に関し、特に駐車スペース検出方法、装置、デバイス及び記憶媒体に関する。
自動駐車は、自動運転技術の重要な部分である。自動駐車の実現は、正確な駐車スペース情報に依存する必要がある。現在、既存の駐車スペース検出技術は、通常、駐車スペース検出を複数のサブタスクに分割して実行する。例えば、まず、画像における線の交差点を検出し、２つの隣接する交差点を１つの交差点対とし、その後、交差点対によって形成される領域を利用して、駐車スペースのタイプ及び駐車スペースの角度を含む駐車スペース情報を取得し、最後に、駐車スペース情報を利用して駐車スペースの他の2つの点を推定し、駐車スペースの完全な情報を与える。
従来の技術では、駐車スペース検出は、多段階で実現され、検出速度が遅い。そして、複数のタイプの駐車スペースを同時に検出することができない。
上記の問題に基づいて、本出願は、駐車スペース検出方法、装置、デバイス及び記憶媒体を提供し、駐車スペース検出の複雑さを簡略化し、検出速度を向上させ、複数のタイプの駐車スペースを同時に検出することができる。
本出願の実施例は、以下の技術案を開示する。
第１の態様では、本出願は、駐車スペース検出方法を提供し、
シーンの俯瞰画像を取得するステップと、
前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得するステップであって、前記中心点確率マップが、前記俯瞰画像における各画素点が中心点とする予測確率を含み、前記内角点確率マップが、前記俯瞰画像における各画素点が内角点とする予測確率を含み、異なる前記内角点確率マップが、駐車スペースの異なるタイプの内角点に対応するステップと、
前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得するステップと、を含む。
任意選択で、前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得する前記ステップは、具体的に、
前記中心点確率マップに基づいて中心点の数及び位置情報を決定するステップと、
前記４枚の内角点確率マップから中心点に関連する内角点を決定するステップと、
決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得するステップと、を含む。
任意選択で、前記中心点確率マップに基づいて中心点の数及び位置情報を決定する前記ステップは、具体的に、
前記中心点確率マップにおける各画素点について、当該画素点が中心点とする予測確率が第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算するステップと、
前記画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標を前記シーン座標系に変換し、中心点の前記シーン座標系における位置情報を取得するステップと、を含む。
任意選択で、前記中心点確率マップに基づいて中心点を決定する前記ステップは、具体的に、
前記中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定するステップを含む。
任意選択で、前記俯瞰画像に対する駐車スペース検出結果を取得する前記ステップは、具体的に、
前記シーンにおける全ての駐車スペースの数及び位置を取得するステップ、又は
前記シーンにおける全ての空き駐車スペースの数及び位置を取得するステップ、又は
前記シーンにおける事前設定された要件を満たす空き駐車スペースの数及び位置を取得するステップ、を含む。
任意選択で、シーンの俯瞰画像を取得するステップは、具体的に、
車両に搭載された撮影装置により前記シーンの初期画像を取得するステップと、
前記シーンの初期画像をパノラマ画像にスティッチングするステップと、
前記パノラマ画像を前記俯瞰画像に変換するステップと、を含む。
任意選択で、上記方法は、
自動駐車支援モジュールが前記駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、前記駐車スペース検出結果を車両の前記自動駐車支援モジュールに送信するステップをさらに含む。
第２の態様では、本出願は、駐車スペース検出装置を提供し、
シーンの俯瞰画像を取得するための俯瞰画像取得モジュールと、
前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得する確率マップ取得モジュールであって、前記中心点確率マップが、前記俯瞰画像における各画素点が中心点とする予測確率を含み、前記内角点確率マップが、前記俯瞰画像における各画素点が内角点とする予測確率を含み、異なる前記内角点確率マップが、駐車スペースの異なるタイプの内角点に対応する確率マップ取得モジュールと、
前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得するための駐車スペース検出結果取得モジュールと、を含む。
任意選択で、駐車スペース検出結果取得モジュールは、具体的に、
前記中心点確率マップに基づいて中心点の数及び位置情報を決定するための第１の決定ユニットと、
前記４枚の内角点確率マップから中心点に関連する内角点を決定するための第２の決定ユニットと、
決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得するための検出結果取得ユニットと、を含む。
任意選択で、第１の決定ユニットは、具体的に、
前記中心点確率マップにおける各画素点について、当該画素点が中心点とする予測確率が第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算し、
前記画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標を前記シーン座標系に変換し、中心点の前記シーン座標系における位置情報を取得する。
任意選択で、第１の決定ユニットは、具体的に、
前記中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定する。
任意選択で、駐車スペース検出結果取得モジュールは、具体的に、
前記シーンにおける全ての駐車スペースの数及び位置を取得する、又は
前記シーンにおける全ての空き駐車スペースの数及び位置を取得する、又は
前記シーンにおける事前設定された要件を満たす空き駐車スペースの数及び位置を取得する。
任意選択で、俯瞰画像取得モジュールは、具体的に、
車両に搭載された撮影装置により前記シーンの初期画像を取得するための初期画像取得ユニットと、
前記シーンの初期画像をパノラマ画像にスティッチングするための画像スティッチングユニットと、
前記パノラマ画像を前記俯瞰画像に変換するための画像変換ユニットと、を含む。
駐車スペース検出結果は、自動駐車の分野に適用することができ、駐車スペース検出結果を迅速且つ正確に提供することで、車両の自動駐車機能により、より安全性及び信頼性を有する自動駐車サービスをユーザーに提供する。従って、任意選択で、前述の駐車スペース検出装置は、
自動駐車支援モジュールが前記駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、前記駐車スペース検出結果を車両の前記自動駐車支援モジュールに送信するための送信モジュールをさらに含む。
第３の態様では、本出願は、プロセッサーとメモリとを含むデバイスを提供し、
前記メモリは、コンピュータプログラムを記憶し、
前記プロセッサーは、前記コンピュータプログラムに基づいて、第１の態様により提供される駐車スペース検出方法を実行する。
第４の態様では、本出願は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムは、第１の態様により提供される駐車スペース検出方法を実行する。
従来の技術に比べて、本出願は、以下の有益な効果を有する。
本出願は、駐車スペース検出方法、装置、デバイス及び記憶媒体を提供する。本技術案では、シーンの俯瞰画像を学習し、５枚の確率マップを得る。この５枚の確率マップは、具体的に、１枚の中心点確率マップ及び４枚の内角点確率マップを含む。中心点確率マップは、シーン俯瞰画像における各画素点が駐車スペース中心点とする予測確率を反映し、各内角点確率マップは、シーン俯瞰画像における各画素点が駐車スペースのある内角点とする予測確率を反映し、且つ各駐車スペースの内角点と中心点に、幾何学的関係（位置関係）がある。これに基づいて、モデルによって出力された画像を利用して駐車スペース検出結果が得られる。本出願は、シーンの俯瞰画像を学習することによって、一段階で駐車スペースの迅速な検出を実現する。なお、本出願は、駐車スペースのタイプによる制限がないため、複数のタイプの駐車スペースを同時に検出することができ、駐車スペースの検出効率を向上させる。
本出願の実施例又は従来の技術における技術案をより明確に説明するために、実施例又は従来の技術の説明に使用される図面を以下に簡単に紹介する。明らかに、以下の説明における図面は、本出願のいくつかの実施例に過ぎず、当業者にとって、創造的な労力をしない前提で、これらの図面に基づいて他の図面を得ることができる。
本出願の実施例による駐車スペース検出方法のフローチャートである。 本出願の実施例によるスタック型ネットワークモデルを利用する概略図である。 本出願の実施例による別の駐車スペース検出方法のフローチャートである。 本出願の実施例による駐車スペース検出装置の構造概略図である。
前述したように、現在の駐車スペース検出案は、多階段で検出を実現するため、検出方法が複雑で、実現速度が遅いという問題がある。また、異なるタイプの駐車スペースを同時に検出することができない。これらの問題に対し、発明者は研究を経て、駐車スペース検出方法、装置、デバイス及び記憶媒体を提供する。本出願は、シーンの俯瞰画像を学習することによって、１枚の中心点確率マップと４枚の内角点確率マップを取得する。この５枚のマップを利用して当該俯瞰画像に対応する駐車スペース検出結果を取得する。本出願は、駐車スペース検出の流れを簡略化することで、駐車スペース検出速度を向上させる。また、本出願は、中心点確率マップと内角点確率マップでシーン駐車スペースを検出し、駐車スペースのタイプによる制限がないため、複数のタイプの駐車スペースを同時に検出することができ、検出効率を向上させる。
当業者が本発明の解決手段をよりよく理解するために、以下、本出願の実施例における図面を参照し、本出願の実施例における技術案を明瞭、完全に説明し、明らかに、説明される実施例は、単に本出願の一部の実施例であり、全ての実施例ではない。本出願における実施例に基づいて、当業者が創造的な労働をしない前提で得られた全ての他の実施例は、いずれも本出願の保護範囲に属する。
（方法実施例）
図１を参照して、この図は、本出願の実施例による駐車スペース検出方法のフローチャートである。図１に示すように、当該方法は、次のステップを含む。
ステップ１０１：シーンの俯瞰画像を取得する。
本実施例では、駐車スペースの検出を必要とするシーンは、駐車場であってもよく、又は、計画された駐車スペースを有する道路や店舗の近くであってもよい。駐車スペースの検出を実現するために、まず、シーンの俯瞰画像を取得する必要がある。俯瞰画像を取得する理由は、俯瞰することが地上の駐車スペースに関する標識をより正確に識別でき、俯瞰画像において標識が歪んだり変形したりする可能性が小さいためである。従って、俯瞰画像を利用することは、駐車スペースの検出の正確度と精度を向上させるために非常に有利である。
シーンの俯瞰画像は、様々な方式で取得することができる。
一例として、ドローンを採用してシーンの上空で空中写真を撮影し、俯瞰画像を取得する。
別の例として、車両に搭載された撮影装置によりシーンの初期画像を取得する。車両に搭載された撮影装置では、地面に対して完全に垂直な俯瞰撮影を実現できないことは理解できる。俯瞰画像を取得するために、この例では、シーンの初期画像をパノラマ画像にスティッチングすることができる。パノラマ画像をスティッチングする実現方式には様々なものがあり、ここではスティッチング方式を限定しない。最終的に、パノラマ画像を俯瞰画像に変換する。
ステップ１０２：俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得する。
１つの可能な実現方式では、スタック型ネットワークモデルを利用して俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得する。この実現方式では、本実施例の方法を実行する前に、スタック型ネットワークモデルが予め訓練されており、このモデルは、駐車スペース検出の重要な基礎となる５枚のマップ、つまり、１枚の中心点確率マップ（又は中心点マップと呼ばれる）と４枚の内角点確率マップ（又は内角点マップと呼ばれる）を出力するために用いられる。
各駐車スペースは、長方形の輪郭又は平行四辺形の輪郭として具現化することができる。理解を容易にするため、以下では、まず、内角点と中心点の意味について説明する。
各駐車スペースについて、４つの異なるタイプの内角点を含み、区別を容易にするために、それぞれ第１の内角点、第２の内角点、第３の内角点、及び第４の内角点と呼ばれる。一例として、第１の内角点と第２の内角点は、駐車スペースの前の2つの内角点であり、第３の内角点と第４の内角点は、駐車スペースの後ろの2つの内角点である。そのうち、第１の内角点と第２の内角点との接続線は、第３の内角点と第４の内角点との接続線に平行し、２つの接続線の長さは等しく、第１の内角点と第３の内角点との接続線は第２の内角点と第４の内角点との接続線に平行し、２つの接続線の長さは等しい。第１の内角点と第２の内角点との接続線は、第１の内角点と第３の内角点との接続線より短い。
各駐車スペースには、１つの幾何学的中心点が存在する。例えば、第１の内角点と第４の内角点はそれぞれ駐車スペースの対角に位置し、第２の内角点と第３の内角点はそれぞれ駐車スペースの対角に位置する。第１の内角点と第４の内角点との接続線と、第２の内角点と第３の内角点との接続線との交点は、当該駐車スペースの中心点である。
当該スタック型ネットワークモデルの構造は主にボトムアップ方式で設計される。図２を参照して、この図は本出願の実施例によるスタック型ネットワークモデルを利用する概略図である。図２に示すように、スタック型ネットワークモデルの入力はシーンの俯瞰画像であり、当該スタック型ネットワークモデルの出力は、５枚のマップである。スタック型ネットワークモデルによる俯瞰画像の処理手順は、実際には、画像特徴を抽出する手順である。
スタック型ネットワークモデルによって出力される中心点確率マップは、俯瞰画像における各画素点が中心点とする予測確率を含む。つまり、中心点確率マップにおける各画素点の画素点値は、それぞれ元の俯瞰画像における各画素点が中心点とする予測確率である。例えば、中心点確率マップにおける座標値が（ｘ１，ｙ１）である画素点の画素点値は、０．８５であり、これは、俯瞰画像における座標値が（ｘ１，ｙ１）である画素点が駐車スペースの中心点とする予測確率が０．８５であることを示す。中心点確率マップにおけるある画素点の画素点値が大きいほど、俯瞰画像における座標に対応する画素点がある駐車スペースの中心に位置する確率が大きいことを示し、逆に、中心点確率マップにおけるある画素点の画素点値が小さいほど、俯瞰画像における座標に対応する画素点がある駐車スペースの中心に位置する確率が小さいことを示す。
スタック型ネットワークモデルによって出力された内角点確率マップは、俯瞰画像における各画素点が内角点とする予測確率を含む。つまり、内角点確率マップにおける各画素点の画素点値は、それぞれ元の俯瞰画像における各画素点が内角点とする予測確率である。本実施例では、第１の内角点、第２の内角点、第３の内角点、及び第４の内角点はそれぞれ４枚の内角点確率マップのうち１枚の異なる内角点確率マップに対応する。例えば、第１の内角点に対応する内角点確率マップにおける座標値が（ｘ２，ｙ２）である画素点の画素点値は０．０１であり、これは、俯瞰画像における座標値が（ｘ２，ｙ２）である画素点が駐車スペースの第１の内角点とする予測確率が０．０１であることを示す。第１の内角点に対応する内角点確率マップにおいて、ある画素点の画素点値が大きいほど、俯瞰画像における座標に対応する画素点がある駐車スペースの第１の内角点に位置する確率が大きいことを示し、逆に、第１の内角点に対応する内角点確率マップにおいて、ある画素点の画素点値が小さいほど、俯瞰画像における座標に対応する画素点がある駐車スペースの第１の内角点に位置する確率が小さいことを示す。
以上のスタック型ネットワークモデルを利用してシーンの俯瞰画像を学習する実現方式は、例示に過ぎない。実際の適用では、他の構造のモデルを用いて俯瞰画像を学習し、５枚のマップを取得してもよい。ここで、このステップの具体的な実現形態を限定しない。
ステップ１０３：中心点確率マップと４枚の内角点確率マップに基づいて、俯瞰画像に対する駐車スペース検出結果を取得する。
中心点確率マップを利用して、まず、駐車スペースの中心点とする予測確率の高い点を決定できることは理解することができる。同様に、内角点確率マップを利用して、まず、駐車スペースのあるタイプの内角点とする予測確率の高い点を決定することは理解することができる。実際に、ある駐車スペースの４つの内角点と当該駐車スペースの中心点との間に幾何学的関係が存在するため、幾何学的関係と、上記の決定された駐車スペース中心点とする確率の高い点と、あるタイプの内角点とする確率の高い点に基づいて、最終的に中心点及びその位置する駐車スペースの内角点を決定することができる。これにより、俯瞰画像に対する駐車スペース検出結果を取得する。
具体的に実現する場合、１つの駐車スペースが１つの中心点のみを有するため、中心点の数が明確であると、駐車スペースの数も対応して取得することができる。中心点の位置情報は、俯瞰画像における位置情報として表現されてもよいし、シーンにおける位置情報として表現されてもよい。中心点の位置情報を決定した後、同じ駐車スペースにおける中心点と内角点との固有位置関係に基づいて、各中心点に関連する４つの内角点の位置情報を決定することができる。
駐車スペース検出結果は、様々な内容を含むことができる。例えば、シーンにおける全ての駐車スペースの数及び位置を取得する、又は、シーンにおける全ての空き駐車スペースの数及び位置を取得する、又は、シーンにおける事前設定された要求を満たす空き駐車スペースの数及び位置を取得する。
駐車スペースの位置は、具体的に、以下の方式で表すことができる。
Figure 2023517365000002
以上の表現方式では、
Figure 2023517365000003
は、駐車スペースの中心点の位置、第１の内角点の位置、第２の内角点の位置、第３の内角点の位置、第４の内角点の位置を順に表す。
実際の適用では、駐車スペース検出結果は、事前設定された要件に基づいてフィードバックすることができる。
一例として、事前設定された要件は、水平、垂直、斜め列の空き駐車スペースの数及び位置を提供することであり、駐車スペース検出結果には、上記の要件を満たす空き駐車スペースの数及び位置が含まれる。
別の例として、事前設定された要件は、駐車場の出入口に最も近い空き駐車スペースの位置を提供することであり、駐車スペース検出結果には、この事前設定された要件を満たす空き駐車スペースの位置が含まれる。
以上は、本出願の実施例によって提供される駐車スペース検出方法である。当該方法では、俯瞰画像に対して特徴を抽出し、１枚の中心点確率マップと４枚の内角点確率マップを取得する。最後に、この５枚のマップを利用して俯瞰画像に対する駐車スペース検出結果を取得する。当該方法は、複数のタイプの駐車スペースを同時に検出することができる。また、当該方法は、俯瞰画像を学習することによって複数の確率マップを直接取得するため、便利で迅速であり、駐車スペースの検出効率を向上させる。
本出願の実施例は、別の駐車スペース検出方法もさらに提供し、以下では図面を結合して説明する。図３を参照して、この図は、本出願の実施例による別の駐車スペース検出方法のフローチャートである。当該方法は、次のステップを含む。
ステップ３０１：シーンの俯瞰画像を取得する。
ステップ３０２：前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得する。
ステップ３０３：前記中心点確率マップに基づいて中心点の数と位置情報を決定する。
具体的に実現する場合、本ステップは、次のことを含む。
中心点確率マップにおける各画素点にについて、当該画素点が中心点とする予測確率が、第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算し、そうでなければ、他の画素点をトラバースし続ける。第１の事前設定された確率値は実際ニーズに応じて設置することができ、例えば、０．７又は０．７５として設置することができる。
また、中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定してもよい。極大値抑制アルゴリズムは、本分野の比較的成熟したアルゴリズムに属しているため、ここでは繰り返さない。
画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標をシーン座標系に変換し、中心点のシーン座標系における位置情報を取得する。一例として、画像座標系に対するシーン座標系の変換行列はＥであり、中心点の画像座標系における座標ＰＡに変換行列Ｅを乗算することで、中心点の実際シーンにおける位置情報ＰＢを取得することができる。
ステップ３０４：前記４枚の内角点確率マップから中心点に関連する内角点を決定する。
ステップ３０５：決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得する。
以上のステップ３０１からステップ３０５を経て、俯瞰画像に対する駐車スペース検出結果を取得する。駐車スペース検出結果は、自動駐車の分野に適用でき、駐車スペース検出結果を迅速且つ正確に提供することで、車両の自動駐車機能により、より安全性及び信頼性を有する自動駐車サービスをユーザーに提供する。従って、駐車スペース検出結果を取得した後、本実施例によって提供される方法は、ステップ３０６をさらに含んでもよい。
ステップ３０６：自動駐車支援モジュールが駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、駐車スペース検出結果を車両の自動駐車支援モジュールに送信する。
駐車スペース検出結果には空き駐車スペース又は事前設定された要件を満たす空き駐車スペースが存在する場合、自動駐車支援モジュールに駐車位置を提供することに相当する。従って、自動駐車支援モジュールは、有効な駐車位置を利用してよりスムーズな駐車経路を確立することができ、この駐車経路に従って駐車制御を実行すると、車両を空き駐車スペース又は事前設定された要件を満たす空き駐車スペースにスムーズに駐車することができる。
駐車制御は、具体的に、車両のシフトポジションや車輪回転数などを制御することを含むことができる。ここで、駐車制御の具体的な実施内容を限定しない。
前述の実施例で提供される駐車スペース検出方法に基づいて、対応して、本出願は、駐車スペース検出装置も提供する。以下では、実施例を結合して説明する。
（装置実施例）
図４を参照して、この図は、本出願の実施例による駐車スペース検出装置の構造概略図である。
図４に示すように、当該駐車スペース検出装置は、
シーンの俯瞰画像を取得するための俯瞰画像取得モジュール４０１と、
俯瞰画像を学習し、スタック型ネットワークモデルによって出力された１枚の中心点確率マップと４枚の内角点確率マップを取得するための確率マップ取得モジュール４０２であって、中心点確率マップが、俯瞰画像における各画素点が中心点とする予測確率を含み、内角点確率マップが、俯瞰画像における各画素点が内角点とする予測確率を含み、異なる内角点確率マップが、駐車スペースの異なるタイプの内角点に対応する確率マップ取得モジュール４０２と、
中心点確率マップと４枚の内角点確率マップに基づいて、俯瞰画像に対する駐車スペース検出結果を取得するための駐車スペース検出結果取得モジュール４０３と、を含む。
この５枚の確率マップは、１枚の中心点確率マップと４枚の内角点確率マップを含む。中心点確率マップは、シーン俯瞰画像における各画素点が駐車スペース中心点とする予測確率を反映し、各内角点確率マップは、シーン俯瞰画像における各画素点が駐車スペースのある内角点とする予測確率を反映し、且つ各駐車スペースの内角点と中心点に幾何学的関係（位置関係）がある。これに基づいて、５枚の確率画像を利用して駐車スペース検出結果を取得する。従来の技術に比べて、本出願は、シーンの俯瞰画像を学習することによって、一段階で駐車スペースの迅速な検出を実現する。なお、当該装置による駐車スペースの検出は、駐車スペースのタイプによる制限がないため、複数のタイプの駐車スペースを同時に検出することができ、駐車スペースの検出効率を向上させる。
任意選択で、駐車スペース検出結果取得モジュール４０３は、具体的に、
前記中心点確率マップに基づいて中心点の数及び位置情報を決定するための第１の決定ユニットと、
前記４枚の内角点確率マップから中心点に関連する内角点を決定するための第２の決定ユニットと、
決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得するための検出結果取得ユニットと、を含む。
任意選択で、第１の決定ユニットは、具体的に、
前記中心点確率マップにおける各画素点について、当該画素点が中心点とする予測確率が第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算し、
前記画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標を前記シーン座標系に変換し、中心点の前記シーン座標系における位置情報を取得する。
任意選択で、第１の決定ユニットは、具体的に、
前記中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定する。
任意選択で、駐車スペース検出結果取得モジュール４０３は、具体的に、
前記シーンにおける全ての駐車スペースの数及び位置を取得する、又は
前記シーンにおける全ての空き駐車スペースの数及び位置を取得する、又は
前記シーンにおける事前設定された要件を満たす空き駐車スペースの数及び位置を取得する。
任意選択で、俯瞰画像取得モジュール４０１は、具体的に、
車両に搭載された撮影装置により前記シーンの初期画像を取得するための初期画像取得ユニットと、
前記シーンの初期画像をパノラマ画像にスティッチングするための画像スティッチングユニットと、
前記パノラマ画像を前記俯瞰画像に変換するための画像変換ユニットと、を含む。
駐車スペース検出結果は、自動駐車の分野に適用することができ、駐車スペース検出結果を迅速且つ正確に提供することで、車両の自動駐車機能により、より安全性及び信頼性を有する自動駐車サービスをユーザーに提供する。従って、任意選択で、前述の駐車スペース検出装置は、
自動駐車支援モジュールが前記駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、前記駐車スペース検出結果を車両の前記自動駐車支援モジュールに送信するための送信モジュール４０４をさらに含む。
前述の実施例によって提供される駐車スペース検出方法及び駐車スペース検出装置に基づいて、対応して、本出願は、駐車スペース検出を実現するデバイスも提供し、このデバイスはプロセッサーとメモリを含み、
メモリは、コンピュータプログラムを記憶し、
プロセッサーは、メモリに記憶されたコンピュータプログラムに従って、方法実施例によって提供される駐車スペース検出方法のステップの一部又は全てを実行する。
また、前述の実施例によって提供される駐車スペース検出方法、駐車スペース検出装置及デバイスに基づいて、対応して、本出願は、コンピュータ可読記憶媒体もさらに提供する。当該コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、コンピュータプログラムは、前述の方法実施例によって提供される駐車スペース検出方法のステップの一部又は全てを実行するために用いられる。
なお、本明細書における各実施例はいずれも漸進の方式で説明し、各実施例の間の同じ及び類似の部分について互いに参照すればよく、各実施例では重点的に説明するのはいずれも他の実施例との相違点である。特に、デバイス及びシステム実施例について、それは基本的に方法実施形態と類似するため、比較的簡単に説明し、関連箇所は方法実施例の部分説明を参照すればよい。以上説明したデバイス及びシステムの実施例は単に概略的なものであり、別個の部材として説明したユニットは物理的に分離してもしなくてもよく、ユニットとして提示した部材は物理ユニットであってもなくてもよく、即ち、１つの場所に位置してもよく、又は複数のネットワークユニットに分散してもよい。実際のニーズに応じてそのうちの一部又は全てのモジュールを選択して本実施例の方案の目的を達成することができる。当業者にとって、創造的な労力なしに理解して実施することができる。
上記は、本出願の１つの具体的な実施形態に過ぎないが、本出願の保護範囲はこれに限定されない。当業者であれば、本出願に開示された技術範囲内で容易に考えられる変更又は置換は、いずれも本出願の保護範囲内に含まれるべきである。従って、本出願の保護範囲は、特許請求の保護範囲に従うべきである。

Claims (10)

  1. 駐車スペース検出方法であって、
    シーンの俯瞰画像を取得するステップと、
    前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得するステップであって、前記中心点確率マップが、前記俯瞰画像における各画素点が中心点とする予測確率を含み、前記内角点確率マップが、前記俯瞰画像における各画素点が内角点とする予測確率を含み、異なる前記内角点確率マップが、駐車スペースの異なるタイプの内角点に対応するステップと、
    前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得するステップと、を含むことを特徴とする駐車スペース検出方法。
  2. 前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得する前記ステップは、具体的に、
    前記中心点確率マップに基づいて中心点の数及び位置情報を決定するステップと、
    前記４枚の内角点確率マップから中心点に関連する内角点を決定するステップと、
    決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得するステップと、を含むことを特徴とする請求項１に記載の駐車スペース検出方法。
  3. 前記中心点確率マップに基づいて中心点の数及び位置情報を決定する前記ステップは、具体的に、
    前記中心点確率マップにおける各画素点について、当該画素点が中心点とする予測確率が、第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算するステップと、
    前記画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標を前記シーン座標系に変換し、中心点の前記シーン座標系における位置情報を取得するステップと、を含むことを特徴とする請求項２に記載の駐車スペース検出方法。
  4. 前記中心点確率マップに基づいて中心点を決定する前記ステップは、具体的に、
    前記中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定するステップ、を含むことを特徴とする請求項２に記載の駐車スペース検出方法。
  5. 前記俯瞰画像に対する駐車スペース検出結果を取得する前記ステップは、具体的に、
    前記シーンにおける全ての駐車スペースの数及び位置を取得するステップ、又は
    前記シーンにおける全ての空き駐車スペースの数及び位置を取得するステップ、又は
    前記シーンにおける事前設定された要件を満たす空き駐車スペースの数及び位置を取得するステップ、を含むことを特徴とする請求項１に記載の駐車スペース検出方法。
  6. シーンの俯瞰画像を取得する前記ステップは、具体的に、
    車両に搭載された撮影装置により前記シーンの初期画像を取得するステップと、
    前記シーンの初期画像をパノラマ画像にスティッチングするステップと、
    前記パノラマ画像を前記俯瞰画像に変換するステップと、を含むことを特徴とする請求項１に記載の駐車スペース検出方法。
  7. 自動駐車支援モジュールが前記駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、前記駐車スペース検出結果を車両の前記自動駐車支援モジュールに送信するステップをさらに含むことを特徴とする請求項１から６のいずれか１項に記載の駐車スペース検出方法。
  8. 駐車スペース検出装置であって、
    シーンの俯瞰画像を取得するための俯瞰画像取得モジュールと、
    前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得するための確率マップ取得モジュールであって、前記中心点確率マップが、前記俯瞰画像における各画素点が中心点とする予測確率を含み、前記内角点確率マップが、前記俯瞰画像における各画素点が内角点とする予測確率を含み、異なる前記内角点確率マップが駐車スペースの異なるタイプの内角点に対応する確率マップ取得モジュールと、
    前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得するための駐車スペース検出結果取得モジュールと、を含むことを特徴とする駐車スペース検出装置。
  9. プロセッサーとメモリとを含むデバイスであって、
    前記メモリは、コンピュータプログラムを記憶し、
    前記プロセッサーは、前記コンピュータプログラムに基づいて、請求項１から７のいずれか１項に記載の駐車スペース検出方法を実行することを特徴とするデバイス。
  10. コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムは、請求項１から７のいずれか１項に記載の駐車スペース検出方法を実行する、ことを特徴とするコンピュータ可読記憶媒体。
JP2022555182A 2020-03-20 2020-07-17 駐車スペース検出方法、装置、デバイス及び記憶媒体 Active JP7400118B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010200852.0 2020-03-20
CN202010200852.0A CN111428616B (zh) 2020-03-20 2020-03-20 一种车位检测方法、装置、设备及存储介质
PCT/CN2020/102516 WO2021184616A1 (zh) 2020-03-20 2020-07-17 一种车位检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2023517365A true JP2023517365A (ja) 2023-04-25
JP7400118B2 JP7400118B2 (ja) 2023-12-18

Family

ID=71548343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022555182A Active JP7400118B2 (ja) 2020-03-20 2020-07-17 駐車スペース検出方法、装置、デバイス及び記憶媒体

Country Status (5)

Country Link
US (1) US20230102253A1 (ja)
JP (1) JP7400118B2 (ja)
CN (1) CN111428616B (ja)
DE (1) DE112020006935T5 (ja)
WO (1) WO2021184616A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598922B (zh) * 2020-12-07 2023-03-21 安徽江淮汽车集团股份有限公司 车位检测方法、装置、设备及存储介质
CN112836633A (zh) * 2021-02-02 2021-05-25 蔚来汽车科技(安徽)有限公司 停车位检测方法以及停车位检测系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5443886B2 (ja) * 2009-07-31 2014-03-19 クラリオン株式会社 駐車空間認識装置
DE102011013681A1 (de) * 2011-03-11 2012-09-13 Valeo Schalter Und Sensoren Gmbh Verfahren zum Detektieren einer Parklücke, Parkhilfesystem und Kraftfahrzeug mit einem Parkhilfesystem
US9129524B2 (en) * 2012-03-29 2015-09-08 Xerox Corporation Method of determining parking lot occupancy from digital camera images
KR102176773B1 (ko) * 2014-06-11 2020-11-09 현대모비스 주식회사 자동차의 주차시스템
US10268201B2 (en) * 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method
CN110400255B (zh) * 2018-04-25 2022-03-15 比亚迪股份有限公司 车辆全景影像的生成方法、系统和车辆
CN108564814B (zh) * 2018-06-06 2020-11-17 清华大学苏州汽车研究院（吴江） 一种基于图像的停车场车位检测方法及装置
CN109243289B (zh) * 2018-09-05 2021-02-05 武汉中海庭数据技术有限公司 高精度地图制作中地下车库停车位提取方法及系统
CN109508682A (zh) * 2018-11-20 2019-03-22 成都通甲优博科技有限责任公司 一种全景停车位的检测方法
CN109614914A (zh) * 2018-12-05 2019-04-12 北京纵目安驰智能科技有限公司 车位顶点定位方法、装置和存储介质
CN109685000A (zh) * 2018-12-21 2019-04-26 广州小鹏汽车科技有限公司 一种基于视觉的车位检测方法及装置
CN109740584B (zh) * 2019-04-02 2019-06-25 纽劢科技(上海)有限公司 基于深度学习的自动泊车停车位检测方法
CN110348297B (zh) * 2019-05-31 2023-12-26 纵目科技（上海）股份有限公司 一种用于识别立体停车库的检测方法、系统、终端和存储介质
CN110706509B (zh) * 2019-10-12 2021-06-18 东软睿驰汽车技术（沈阳）有限公司 车位及其方向角度检测方法、装置、设备及介质
CN110796063B (zh) * 2019-10-24 2022-09-09 百度在线网络技术（北京）有限公司 用于检测车位的方法、装置、设备、存储介质以及车辆
CN110766979A (zh) * 2019-11-13 2020-02-07 奥特酷智能科技(南京)有限公司 一种用于自动驾驶车辆的泊车车位检测方法

Also Published As

Publication number Publication date
WO2021184616A1 (zh) 2021-09-23
JP7400118B2 (ja) 2023-12-18
DE112020006935T5 (de) 2023-01-26
US20230102253A1 (en) 2023-03-30
CN111428616A (zh) 2020-07-17
CN111428616B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
EP4036870A1 (en) Parking spot detection method and parking spot detection system
WO2019184657A1 (zh) 图像识别方法、装置、电子设备及存储介质
US11481862B2 (en) System and method for real-time, simultaneous object detection and semantic segmentation
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
EP3822852A2 (en) Method, apparatus, computer storage medium and program for training a trajectory planning model
JP2023517365A (ja) 駐車スペース検出方法、装置、デバイス及び記憶媒体
CN111462503A (zh) 车辆测速方法、装置及计算机可读存储介质
WO2019184604A1 (zh) 一种检测目标图像的方法及装置
CN115249266A (zh) 航路点位置预测方法、系统、设备及存储介质
CN116760937A (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
CN114973752B (zh) 车牌与车位编号关联方法、装置、智能车和可读存储介质
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
CN109377460A (zh) 一种图像处理方法、图像处理装置及终端设备
CN115240133A (zh) 一种公交车拥挤度分析方法、装置和设备
CN114596537A (zh) 区域人流数据确定方法、装置、设备及存储介质
CN112215048B (zh) 一种3d目标检测方法、装置和计算机可读存储介质
JP2003294416A (ja) ステレオ画像処理装置
CN117152707B (zh) 一种车辆偏移距离的计算方法、装置以及处理设备
WO2019009579A1 (ko) 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
TWI831552B (zh) 圖像識別模型訓練方法、圖像深度識別方法及相關設備
CN117315726B (zh) 一种驾驶员坐姿高低识别方法、装置以及处理设备
CN111815707B (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN108924429B (zh) 一种预览画面显示方法、预览画面显示装置及终端设备
WO2021128314A1 (zh) 一种图像处理方法、设备、图像处理系统及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231206

R150 Certificate of patent or registration of utility model

Ref document number: 7400118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150