JP7228559B2 - 位置決め要素検出方法、位置決め要素検出装置、電子機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラム - Google Patents

位置決め要素検出方法、位置決め要素検出装置、電子機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP7228559B2
JP7228559B2 JP2020215097A JP2020215097A JP7228559B2 JP 7228559 B2 JP7228559 B2 JP 7228559B2 JP 2020215097 A JP2020215097 A JP 2020215097A JP 2020215097 A JP2020215097 A JP 2020215097A JP 7228559 B2 JP7228559 B2 JP 7228559B2
Authority
JP
Japan
Prior art keywords
positioning element
detection
parking space
surround
composite image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020215097A
Other languages
English (en)
Other versions
JP2021117988A (ja
Inventor
ブー ジャン，
シェンガオ フー，
イー ティアン，
コン チェン，
ゼンユー ジャオ，
チェン ヘー，
Original Assignee
アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド filed Critical アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド
Publication of JP2021117988A publication Critical patent/JP2021117988A/ja
Application granted granted Critical
Publication of JP7228559B2 publication Critical patent/JP7228559B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本出願は、視覚位置決め技術の分野に関し、特に目標検出技術に関し、具体的には、位置決め要素検出方法、位置決め要素検出装置、電子機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラムに関する。
視覚位置決めシステムは、無人運転などの分野でますます広く使用され、視覚位置決めシステムの作用は、カメラが取得した情報に基づいて無人車の位置と姿勢をリアルタイムに解くことであり、これも無人車が自主的な運動をするための重要な前提である。
従来において、視覚位置決めシステムで視覚情報を取得するための方法は、主に２種類ある。
１つ目の方法は視覚ＳＬＡＭ方案であり、すなわちカメラ画像に基づいて環境の感知作業を完成させ、従来の画像アルゴリズムによって画像におけるキーポイントを抽出し、複数フレームの画像におけるキーポイントのマッチング関係を用いて自身の位置決め情報を算出する。しかしながら、この方法は、照明が十分で環境テクスチャ特徴が明らかである静的シーンにのみ適用でき、かつ従来の視覚特徴の検出の堅牢性が低く、安定した高精度の検出結果を得ることは難しくなり、
２つ目の方法においては、手動でカスタマイズされた位置決め標識を識別する方法であり、すなわちカメラ画像における特定の標識を検出するにより、カメラに対応する位置決め標識の正確な３次元位置及び方向などを素早く算出することができる。この方法でのアルゴリズムレベルの実現は比較的簡単であるが、多くの特定の標識をカスタマイズして、大量にシーンに配置する必要があり、かつ後期のメンテナンスコストも高く、あらゆるシーンで使用できる量産方案として使用できない。
本出願は、位置決め要素検出方法、位置決め要素検出装置、電子機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラムを提供し、位置決め標識を手動でカスタマイズする必要がない場合に、検出の精度と堅牢性を向上させる。
本出願の第１態様において、車両の周囲のサラウンドビュー合成画像を取得するステップと、前記サラウンドビュー合成画像を検出し、前記車両の周囲の地面に存在する少なくとも１つの位置決め要素及び前記サラウンドビュー合成画像の各画素点が属する語意タイプを決定するステップと、前記語意タイプを用いて少なくとも１つの前記位置決め要素をマッチング融合し、前記位置決め要素の検出結果を取得するステップとを含む位置決め要素検出方法を提供する。
本態様においては、サラウンドビュー合成画像を入力として、車両の周囲の地面に自然に存在する目標を位置決め要素として検出し、かつ画素点の語意情報に基づいて位置決め要素をマッチング融合し、通常のセンサーの視野が制限されるという問題を回避するだけでなく、駐車場側の改造や配置が必要とされず、同時に、位置決め要素の検出の精度と堅牢性も向上させるという利点又は有益な効果を有する。
上記態様においては、前記位置決め要素は、駐車スペース、駐車スペース番号、車線、地面矢印、減速帯及び歩道のうちの少なくとも１つを含んでいても良い。
これにより、一般的な地面標識物を位置決め要素として使用し、位置決め標識を手動でカスタマイズする方式に比べて、これらの自然な位置決め要素は自然に存在して、サイトを改造せずに位置決め要素とすることができ、手動でカスタマイズされた位置決め要素と同じ役割を果たすという利点又は有益な効果を有する。
また、上記態様においては、前記サラウンドビュー合成画像を検出し、前記車両の周囲の地面に存在する少なくとも１つの前記位置決め要素及び前記サラウンドビュー合成画像の各前記画素点が属する前記語意タイプを決定する前記ステップは、予めトレーニングされたディープニューラルネットワークモデルを用いて前記サラウンドビュー合成画像を検出し、前記サラウンドビュー合成画像の各前記画素点に対して語意分割を行い、前記車両の周囲の地面に存在する少なくとも１つの前記位置決め要素の情報、及び前記サラウンドビュー合成画像の各前記画素点が属する前記語意タイプを決定するステップを含んでいても良い。
これにより、ディープニューラルネットワークモデルを用いてサラウンドビュー合成画像における位置決め要素を検出し、語意に基づく特徴点の検出を実現し、従来の技術における画像の特徴点は不安定で、環境要因の影響を受けやすい問題を回避し、堅牢性はよりよいという利点又は有益な効果を有する。
また、上記態様においては、前記位置決め要素の情報は少なくとも、前記位置決め要素のタイプ及び位置情報と、前記位置決め要素のキーポイントのタイプ及び位置情報とを含んでいても良い。
また、上記態様においては、前記語意タイプを用いて少なくとも１つの前記位置決め要素をマッチング融合するステップは、前記キーポイントの位置情報および前記サラウンドビュー合成画像の各前記画素点の画素位置と組み合わせて、同じ位置の前記キーポイントのタイプおよび前記画素点の前記語意タイプをマッチングするステップと、マッチング結果及び予め設定された融合ポリシーに基づいて、各前記位置決め要素の前記キーポイントの位置情報を校正するステップとを含んでいても良い。
これにより、画素点の語意分割の結果と組み合わせて、位置決め要素のキーポイントの位置をさらに校正し、位置決め要素の検出精度を向上させ、かつ不完全な位置決め要素に対して、語意分割の効果は更に堅牢であるという利点又は有益な効果を有する。
また、上記態様においては、前記ディープニューラルネットワークモデルは、位置決め要素検出分岐と、キーポイント検出分岐とを含み、ここで、前記位置決め要素検出分岐は、前記位置決め要素に対して目標分類及び前記キーポイントの位置復帰を行うことに用いられ、前記キーポイント検出分岐は、前記キーポイントの検出を行うことに用いられ、相応に、前記位置決め要素のキーポイントの位置情報は、位置復帰して取得された前記キーポイントと前記キーポイントを検出して取得されたキーポイントとを融合するにより決定されても良い。
これにより、キーポイント検出技術と組み合わせて、ネットワークにおけるキーポイント検出分岐を設けることによって、復帰したキーポイント位置に対して正確なマッチングを行い、融合するによってより高い精度のキーポイント位置情報を決定するという利点又は有益な効果を有する。
また、上記態様においては、前記位置決め要素の検出結果を取得する前記ステップの前に、前記位置決め要素のタイプが駐車スペース番号である場合に、前記ディープニューラルネットワークモデルから駐車スペース番号検出フレームを抽出するステップと、前記駐車スペース番号検出フレームが属する駐車スペースにおける前記駐車スペース番号に近い２つの前記駐車スペースの角点を結ぶ線と前記サラウンドビュー合成画像の画像座標系の横軸との間の夾角を算出するステップと、前記駐車スペース番号検出フレームの中心点及び前記夾角に基づいて、回転した後の対応する前記駐車スペース番号が前記画像座標系において水平になるように、前記ディープニューラルネットワークモデルにおける前記駐車スペース番号検出フレームに対応する前記駐車スペース番号の特徴図を回転させるステップと、文字分類子を用いて回転した後の前記駐車スペース番号の特徴図に対して駐車スペース番号識別を行うステップとをさらに含んでいても良い。
これにより、地面の位置決め要素において、駐車スペース番号は非常に重要な情報であり、グローバルＩＤを備える唯一の位置決め要素であり、したがって、駐車スペース番号も位置決め要素として検出して、駐車スペース番号を識別するにより、地図における車両の絶対位置を位置決めし、位置決めの精度を向上させるという利点又は有益な効果を有する。
また、上記態様においては、前記ディープニューラルネットワークモデルを用いて前記サラウンドビュー合成画像に存在する反射領域を検出するステップと、相応に、前記位置決め要素の検出結果を取得する前記ステップの前に、前記反射領域の検出結果と組み合わせて、位置情報が前記反射領域にある位置決め要素をフィルタリングするステップとをさらに含んでいても良い。
これにより、反射領域に対する位置決め要素の検出が正確ではなく、したがって、反射領域を検出して、検出結果を用いて位置決め要素をフィルタリングするにより、位置決め要素の検出の正確性をさらに向上させるという利点又は有益な効果を有する。
また、上記態様においては、前記車両の周囲の前記サラウンドビュー合成画像を取得する前記ステップは、前記車両の周囲に位置する魚眼カメラが収集した画像をそれぞれ取得するステップと、前記画像を合成して、前記サラウンドビュー合成画像を取得するステップとを含んでいても良い。
これにより、サラウンドビュー合成画像が、車両の周囲の４つの魚眼で収集された画像を合成して形成されるものであり、車体の周囲の３６０度の視野角をカバーし、視野がより広く、かつそれらのいずれかの魚眼が失効する場合に、他の３つの魚眼画像も図を合成して検出することができ、検出機能を失効させることがなく、堅牢性は強い。そして、車体の魚眼は基本的に地面に向かって取り付けられ、車体の周囲の地面の画像を良好に取得することができ、特に地面の自然な位置決め要素の検出に適する。また、サラウンドビュー合成画像の検出に基づいて、魚眼の歪みと、内部および外部のパラメータと、取りつけ位置との影響を除去し、良好な汎化性を有するという利点又は有益な効果を有する。
本出願の第２態様において、車両の周囲のサラウンドビュー合成画像を取得する画像取得モジュールと、前記サラウンドビュー合成画像を検出し、前記車両の周囲の地面に存在する少なくとも１つの位置決め要素及び前記サラウンドビュー合成画像の各画素点が属する語意タイプを決定する位置決め要素検出モジュールと、前記語意タイプを用いて少なくとも１つの前記位置決め要素をマッチング融合し、前記位置決め要素の検出結果を取得するマッチング融合モジュールとを備える位置決め要素検出装置を提供する。
本出願の第３態様において、電子機器であって、前記電子機器の周囲に位置して画像を収集するための魚眼カメラと、少なくとも１つのプロセッサと、少なくとも１つの前記プロセッサと通信可能に接続されるメモリとを備え、前記メモリには、少なくとも１つの前記プロセッサによって実行可能な命令が記憶されており、前記命令は、少なくとも１つの前記プロセッサが上記の位置決め要素検出方法を実行するように、少なくとも１つの前記プロセッサによって実行される電子機器をさらに提供する。
本出願の第４態様において、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、前記コンピュータに上記の位置決め要素検出方法を実行させることに用いられる非一時的なコンピュータ読み取り可能な記憶媒体を提供する。
本出願の第５態様において、コンピュータ上で動作しているときに、上記の位置決め要素検出方法を前記コンピュータに実行させるコンピュータプログラムをさらに提供する。
本出願においては、以下のような利点又は有益な効果を有する。サラウンドビュー合成画像を入力として、車両の周囲の地面に自然に存在する目標を位置決め要素として検出し、かつ画素点の語意情報に基づいて位置決め要素をマッチング融合し、通常のセンサーの視野が制限されるという問題を回避するだけでなく、駐車場側の改造や配置が必要とされず、同時に、ディープニューラルネットワークモデルを用いてサラウンドビュー合成画像における位置決め要素を検出し、語意に基づく特徴点の検出を実現し、従来の技術における画像の特徴点は不安定で、環境要因の影響を受けやすい問題を回避し、堅牢性はよりよい。かつ、画素点の語意分割の結果と組み合わせて、位置決め要素のキーポイントの位置をさらに校正し、さらに位置決め要素の検出精度を向上させることができる。駐車スペース番号に対する検出は、さらに車両の絶対位置を決定して、位置決めの精度を向上させることができる。最後に、反射領域に対する検出も、位置決め要素の検出の正確性をさらに向上させる。
上記選択可能な方式が有する他の効果については、以下、具体的な実施例と組み合わせて説明する。
図面は、本技術案をよりよく理解するために使用されており、本出願を限定するものではない。
本出願の第１実施例に係る位置決め要素検出方法の概略フローチャートである。 本出願の第２実施例に係る位置決め要素検出方法の概略フローチャートである。 本出願の第３実施例に係る位置決め要素検出方法の概略フローチャートである。 本出願の第４実施例に係る位置決め要素検出装置の概略構成図である。 本出願の実施例を実施できる位置決め要素検出方法の電子機器のブロック図である。
以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項を含んでおり、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
図１は本出願の第１実施例に係る位置決め要素検出方法の概略フローチャートである。本実施例は、車両が能動的に駐車するなどのシーンで、位置決め要素を検出して、車両を位置決める場合に適用することができ、例えば、屋内駐車場に能動的に駐車するシーンである。位置決め要素検出方法は、位置決め要素検出装置によって実行することができ、位置決め要素検出装置は、ソフトウェア及び／又はハードウェアの方式を採用して実現することができ、好ましくは電子機器、例えば、無人車またはインテリジェント運転車両などに配置する。図１に示すように、位置決め要素検出方法は、具体的には以下のＳ１０１からＳ１０３のステップを含む。
ステップＳ１０１は、車両の周囲のサラウンドビュー合成画像を取得する。
具体的には、車両の周囲に魚眼カメラを設置することができる。例えば、車両の前、後、左、右に、車両の周囲の画像をリアルタイムに収集するための魚眼カメラをそれぞれそれぞれ１つ設置し、その後、前記画像を合成するにより、サラウンドビュー合成画像を取得することができる。
合成して形成されたサラウンドビュー合成画像は、車体の周囲３６０度の視野角をカバーし、視野はより広く、かつそれらのいずれかの魚眼が失効する場合に、他の３つの魚眼画像も図を合成して検出することができ、検出機能を失効させるがなく、堅牢性は強い。かつ車体の魚眼は基本的に地面に向かって取りつけられ、車体の周囲の地面の画像を良好に取得することができ、特に地面の自然な位置決め要素の検出に適する。また、サラウンドビュー合成画像の検出に基づいて、魚眼の歪みと、内部および外部のパラメータと、インストール位置との影響を除去し、良好な汎化性を有する。
ステップＳ１０２は、サラウンドビュー合成画像を検出し、車両の周囲の地面に存在する少なくとも１つの位置決め要素及びサラウンドビュー合成画像の各画素点が属する語意タイプを決定する。
シーンを大規模に改造すること、および位置決め標識を手動でカスタマイズすることによる人件費の浪費、及び量産できないという問題を回避するため、本出願の実施例は、車両の周囲の地面に自然に存在する自然な要素を位置決め要素として採用し、例えば、位置決め要素は、駐車スペース、駐車スペース番号、車線、地面矢印、減速帯及び歩道のうちの少なくとも１つを含んでいても良い。これらの自然な位置決め要素は自然に存在しており、サイトを改造せずに位置決め要素とすることができ、手動でカスタマイズされた位置決め要素と同じ役割を果たす。
もちろん、本出願の実施例における以上のようなタイプの位置決め要素に限定されず、地面に存在する他の自然な要素も本出願の実施例における位置決め要素として検出と識別することができ、本出願の実施例では、限定されない。
位置決め要素に対する検出は、ディープニューラルネットワークモデルに基づいて行うことができる。したがって、変形例として、サラウンドビュー合成画像を検出し、車両の周囲の地面に存在する少なくとも１つの位置決め要素及びサラウンドビュー合成画像の各画素点が属する語意タイプを決定するステップＳ１０２は、予めトレーニングされたディープニューラルネットワークモデルを用いてサラウンドビュー合成画像を検出し、サラウンドビュー合成画像の各画素点に対して語意分割を行い、車両の周囲の地面に存在する少なくとも１つの位置決め要素の情報、及びサラウンドビュー合成画像の各画素点が属する語意タイプを決定するステップを含んでいても良い。
ここで、モデルは目標検出におけるｏｎｅーｓｔａｇｅ（ワンステージ）のａｎｃｈｏｒーｆｒｅｅ（候補ボックスなし）のマルチタスク結合のディープニューラルネットワークアルゴリズムを用いてもよく、一度のネットワークモデルの計算で複数の目標を同時に出力することができる。そして、サラウンドビュー合成画像における異なるサイズの位置決め要素に対して、モデルは異なるスケールのｆｅａｔｕｒｅ ｍａｐ（特徴図）において予測することを採用し、小さいｆｅａｔｕｒｅ ｍａｐはより広い受容野があり、例えば駐車スペース、歩道などより大きい目標物体を予測することに適し、大きいｆｅａｔｕｒｅ ｍａｐはより多くの詳細な特徴があり、例えば車線、地面矢印など小さい物体及び物体のキーポイント、縁など細部を予測することに適する。これにより、異なるスケールのｆｅａｔｕｒｅ ｍａｐにおける異なるサイズの目標検出を行うにより、マルチタスク結合の検出効果を達成する。
また、当該モデルは語意分割を実現することができ、すなわちサラウンドビュー合成画像の各画素点に対して語意分割を行い、各画素点が属する語意タイプを識別し、例えば、前景または背景であるか、前景のどのタイプに属するか、駐車スペースまたは駐車スペース番号であるかなど。これにより、車両の周囲の地面に存在する少なくとも１つの位置決め要素の情報及びサラウンドビュー合成画像の各画素点が属する語意タイプを取得することができる。
ステップＳ１０３は、語意タイプを用いて少なくとも１つの位置決め要素をマッチング融合し、位置決め要素の検出結果を取得する。
位置決め要素の検出の正確性を向上させるために、本出願の実施例は、一方では位置決め要素を検出し、他方では語意分割を行い、語意分割の結果を用いて、同じ位置の位置決め要素と画素点の語意タイプをマッチングし、タイプが一致しない場合に、検出結果が異なることが示され、融合する必要があり、融合された結果はより正確である。例えば、語意分割の結果を最終の検出結果として選択することができ、検出の結果および語意分割の結果を最後の結果として重み付き融合し、本出願の実施例では、融合の方式を限定しない。
なお、語意タイプに基づくマッチング融合は、モデルを単独で用いて検出する場合における精度の問題を回避し、融合後の検出の精度が高くなり、ノイズの影響を回避することができる。そして、モデルで不完全に検出された位置決め要素に対して、語意分割の効果はより堅牢であり、したがって、語意タイプのマッチング融合により、位置決め要素の検出をより完全にする。
本出願の実施例の技術案によれば、サラウンドビュー合成画像を入力として、車両の周囲の地面に自然に存在する目標を位置決め要素として検出し、かつ画素点の語意情報に基づいて位置決め要素をマッチング融合し、通常のセンサーの視野が制限されるという問題を回避するだけでなく、駐車場側の改造や配置が必要とされず、同時に、マッチング融合により位置決め要素の検出の精度と堅牢性も向上させる。
図２は本出願の第２実施例に係る位置決め要素検出方法の概略フローチャートであり、本実施例は上記実施例に基づいてさらに最適化する。図２に示すように、位置決め要素検出方法は、具体的には以下のＳ２０１～Ｓ２０４のステップを含む。
ステップＳ２０１は、車両の周囲のサラウンドビュー合成画像を取得する。
ステップＳ２０２は、予めトレーニングされたディープニューラルネットワークモデルを用いてサラウンドビュー合成画像を検出し、サラウンドビュー合成画像の各画素点に対して語意分割を行い、車両の周囲の地面に存在する少なくとも１つの位置決め要素の情報、及びサラウンドビュー合成画像の各画素点が属する語意タイプを決定する。
ここで、位置決め要素の情報は少なくとも、位置決め要素のタイプ及び位置情報と、位置決め要素のキーポイントのタイプ及び位置情報とを含む。
位置決め要素のタイプは、例えば、駐車スペース、駐車スペース番号、車線、地面矢印、減速帯及び歩道などを含み、位置情報は、例えば、位置決め要素の検出フレームの位置を含み、キーポイントは、モデルをトレーニングする前に予め決定することができ、異なるタイプの位置決め要素の特徴点を表し、例えば駐車スペースの角点、駐車スペース番号の左の頂点または車線の端線の点などを選択することができる。本出願の実施例では、異なるタイプの位置決め要素のキーポイントの選択が限定されない。
位置決め要素及びキーポイントの検出は、マルチタスク結合のディープニューラルネットワークアルゴリズムモデルにより実現できる。選択可能に、モデルの目標分類及び位置復帰に基づいて、本出願の実施例は目標キーポイントの検出ネットワーク分岐を追加して、後処理において位置復帰の精度をさらに向上させる。すなわち、ディープニューラルネットワークモデルは、位置決め要素検出分岐と、キーポイント検出分岐とを含み、ここで、位置決め要素検出分岐は、位置決め要素に対して目標分類及びキーポイントの位置復帰を行うことに用いられ、キーポイント検出分岐は、キーポイントの検出を行うことに用いられる。
具体的には、位置決め要素検出分岐は、検出により位置決め要素の検出フレームを決定し、かつ位置決め要素のタイプを識別することができ、検出フレームにおいて位置復帰により位置決め要素の少なくとも１つのキーポイントの位置を取得する。キーポイントで検出された位置精度は常に位置復帰により算出されたキーポイントの位置の精度より高いため、本出願の実施例は、最終的に決定されたキーポイントの位置精度を向上させるように、キーポイント検出分岐を用いてキーポイントを検出し、その後、位置復帰して取得されたキーポイントとキーポイントを検出して取得されたキーポイントとを融合するにより、位置決め要素のキーポイントの位置情報を最終的に決定する。
ステップＳ２０３は、キーポイントの位置情報およびサラウンドビュー合成画像の各画素点の画素位置と組み合わせて、同じ位置のキーポイントのタイプおよび画素点の語意タイプをマッチングする。
ステップＳ２０４は、マッチング結果及び予め設定された融合ポリシーに基づいて、各位置決め要素のキーポイントの位置情報を校正して、位置決め要素の検出結果を取得する。
ここで、同じ位置のキーポイントのタイプと画素点の語意タイプはマッチングしない場合、検出して取得された位置決め要素及びキーポイントが正確でないことは示される。したがって、語意分割の結果に基づく融合ポリシーを選択して、位置決め要素のキーポイントの位置情報を校正することができ、それぞれ語意分割の方式およびモデル検出の方式によって取得された同じ位置の同じタイプの位置結果を重み付き融合して、キーポイントの位置情報を校正することを選択しても良い。これにより、マッチング融合の方式により、正確なキーポイント位置を最終的に取得して、より正確な位置決め要素の検出結果を取得する。
本出願の実施例の技術案によれば、サラウンドビュー合成画像を入力として、車両の周囲の地面に自然に存在する目標を位置決め要素として検出し、かつ画素点の語意情報に基づいて位置決め要素をマッチング融合し、通常のセンサーの視野が制限されるという問題を回避するだけでなく、駐車場側の改造や配置が必要とされず、同時に、画素点の語意分割の結果と組み合わせて位置決め要素のキーポイントの位置をさらに校正して、位置決め要素の検出の精度を向上させることができる。
図３は本出願の第３実施例に係る位置決め要素検出方法の概略フローチャートであり、本実施例は上記実施例に基づいてさらに最適化する。図３に示すように、位置決め要素検出方法は、具体的には以下のＳ３０１～Ｓ３０７のステップを含む。
ステップＳ３０１は、車両の周囲のサラウンドビュー合成画像を取得する。
ステップＳ３０２は、予めトレーニングされたディープニューラルネットワークモデルを用いてサラウンドビュー合成画像を検出し、サラウンドビュー合成画像の各画素点に対して語意分割を行い、車両の周囲の地面に存在する少なくとも１つの位置決め要素の情報、及びサラウンドビュー合成画像の各画素点が属する語意タイプを決定する。ここで、位置決め要素の情報は少なくとも、位置決め要素のタイプ及び位置情報と、位置決め要素のキーポイントのタイプ及び位置情報とを含む。
ステップＳ３０３は、位置決め要素のタイプが駐車スペース番号である場合に、ディープニューラルネットワークモデルから駐車スペース番号検出フレームを抽出する。
ステップＳ３０４は、駐車スペース番号検出フレームが属する駐車スペースにおける駐車スペース番号に近い２つの駐車スペースの角点を結ぶ線とサラウンドビュー合成画像の画像座標系の横軸との間の夾角を算出する。
ステップＳ３０５は、駐車スペース番号検出フレームの中心点及び夾角に基づいて、回転した後の対応する駐車スペース番号が画像座標系において水平になるように、ディープニューラルネットワークモデルにおける駐車スペース番号検出フレームに対応する駐車スペース番号の特徴図を回転させる。
ステップＳ３０６は、文字分類子を用いて回転した後の駐車スペース番号の特徴図に対して駐車スペース番号識別を行う。
ステップＳ３０７は、語意タイプを用いて少なくとも１つの位置決め要素をマッチング融合し、位置決め要素の検出結果を取得する。
上記Ｓ３０１～Ｓ３０６の操作において、駐車スペース番号に対する識別を実現した。地面の位置決め要素において、駐車スペース番号は非常に重要な情報でありながら、グローバルＩＤを備える唯一の位置決め要素であり、したがって、駐車スペース番号も位置決め要素として検出して、駐車スペース番号を識別するにより、地図における車両の絶対位置を位置決めし、位置決めの精度を向上させる。
具体的には、まず駐車スペース番号検出フレームを抽出し、その後、検出フレームが属する駐車スペースにおける駐車スペース番号に近い２つの駐車スペースの角点を結ぶ線とサラウンドビュー合成画像の画像座標系の横軸との間の夾角を決定し、次いでモデルにおける検出フレームに対応する駐車スペース番号の特徴図を角度に従って回転させ、対応する駐車スペース番号を画像座標系で水平にし、最後に回転した後の駐車スペース番号の特徴図を文字分類子に入力して駐車スペース番号識別を行う。
実際の生活において、駐車スペース番号は通常、駐車スペースの前端に位置し、つまり車両が最初に駐車場に入ったときに通過した一端であり、すなわち駐車スペースにおける駐車スペース番号に近い２つの駐車スペースの角点を結ぶ線の一端であり、かつ、駐車スペース番号は通常、人々が駐車スペースに面したときに左から右の方向にマークされるため、ディープニューラルネットワークモデルは、駐車スペースにおける駐車スペース番号に近い左、右２つの駐車スペースの角点を識別するにより、２つの角点を結ぶ線を決定して、回転の方向を決定することができ、回転した特徴図における対応する駐車スペース番号が水平であるが、駐車スペース番号の文字を反転するという現象を回避する。
また、本出願の実施例において、ディープニューラルネットワークモデルは、特に反射領域を検出することに用いられる分岐をさらに含み、ここで、反射領域の検出アルゴリズムに対しては、本出願の実施例では限定されず、従来の技術における任意のアルゴリズムを採用してもよい。
すなわち、本実施例に係る位置決め要素検出方法は、ディープニューラルネットワークモデルを用いてサラウンドビュー合成画像に存在する反射領域を検出するステップをさらに含み、相応に、位置決め要素の検出結果を取得するステップの前に、反射領域の検出結果と組み合わせて、位置情報が反射領域にある位置決め要素をフィルタリングするステップをさらに含んでいても良い。
屋内および屋外環境、特に屋内環境において、通常、反射が発生し、反射領域における位置決め要素に対する検出結果は正確ではない。したがって、反射領域を検出し、検出結果を用いて位置決め要素をフィルタリングし、反射領域に表示されるこれらの位置決め要素を削除するにより、位置決め要素の検出の正確性をさらに向上させる。
なお、変形例として、ディープニューラルネットワークモデルに対して、それの出力は少なくとも位置決め要素の情報と、キーポイント検出の情報と、各画素点の語意分割の情報と、反射領域の情報とを含んでいても良い。これらの出力を後処理モジュールに送信すると、キーポイント検出の情報と位置決め要素のキーポイントとの正確なマッチングを実現することができ、それによってキーポイント検出の精度を向上させる。さらに、正確にマッチングされたキーポイントと前記語意分割の情報とのマッチング融合を実現することができ、目的は同様に精度をさらに向上させることである。また、駐車スペース番号を識別するおよび反射領域を用いて位置決め要素を融合フィルタリングすることを実現することもでき、もちろん、検出された車線に対して、ポイントクラスタによって車線のポイントスクリーニングを行うことを実現することができ、車線検出の精度を向上させる。そして、上記後処理モジュールにおける各操作の実行順序は、本出願の実施例では限定されない。
本出願の実施例の技術案によれば、サラウンドビュー合成画像を入力として、車両の周囲の地面に自然に存在する目標を位置決め要素として検出し、かつ画素点の語意情報に基づいて位置決め要素をマッチング融合し、通常のセンサーの視野が制限されるという問題を回避するだけでなく、駐車場側の改造や配置が必要とされず、同時に、ディープニューラルネットワークモデルを用いてサラウンドビュー合成画像における位置決め要素を検出し、語意に基づく特徴点の検出を実現し、従来の技術における画像の特徴点が不安定で、環境要因の影響を受けやすいという問題を回避し、堅牢性はより良い。駐車スペース番号に対する検出は、さらに車両の絶対位置を決定して、位置決めの精度を向上させることができる。最後に、反射領域に対する検出も、位置決め要素の検出の正確性をさらに向上させる。
図４は本出願の第４実施例に係る位置決め要素検出装置の概略構成図であり、本実施例が適用可能な場合である。位置決め要素検出装置は、本出願の任意の実施例により説明される位置決め要素検出方法を実現することができる。
図４に示すように、位置決め要素検出装置４００は、具体的には、車両の周囲のサラウンドビュー合成画像を取得する画像取得モジュール４０１と、サラウンドビュー合成画像を検出し、車両の周囲の地面に存在する少なくとも１つの位置決め要素及びサラウンドビュー合成画像の各画素点が属する語意タイプを決定する位置決め要素検出モジュール４０２と、語意タイプを用いて少なくとも１つの位置決め要素をマッチング融合し、位置決め要素の検出結果を取得するマッチング融合モジュール４０３とを備える。
変形例として、位置決め要素は、駐車スペース、駐車スペース番号、車線、地面矢印、減速帯及び歩道のうちの少なくとも１つを含んでいても良い。
変形例として、位置決め要素検出モジュール４０２は、具体的には、予めトレーニングされたディープニューラルネットワークモデルを用いてサラウンドビュー合成画像を検出し、サラウンドビュー合成画像の各画素点に対して語意分割を行い、車両の周囲の地面に存在する少なくとも１つの位置決め要素の情報、及びサラウンドビュー合成画像の各画素点が属する語意タイプを決定することに用いられる。
変形例として、位置決め要素の情報は少なくとも、位置決め要素のタイプ及び位置情報と、位置決め要素のキーポイントのタイプ及び位置情報とを含んでいても良い。
変形例として、マッチング融合モジュール４０３は、キーポイントの位置情報およびサラウンドビュー合成画像の各画素点の画素位置と組み合わせて、同じ位置のキーポイントのタイプおよび画素点の語意タイプをマッチングするマッチングユニットと、マッチング結果及び予め設定された融合ポリシーに基づいて、各位置決め要素のキーポイントの位置情報を校正するための校正ユニットとを備えていても良い。
変形例として、ディープニューラルネットワークモデルは、位置決め要素検出分岐と、キーポイント検出分岐とを含み、ここで、位置決め要素検出分岐は、位置決め要素に対して目標分類及びキーポイントの位置復帰を行うことに用いられ、キーポイント検出分岐は、キーポイントの検出を行うことに用いられ、相応に、位置決め要素のキーポイントの位置情報は、位置復帰して取得されたキーポイントとキーポイントを検出して取得されたキーポイントとを融合するにより決定されても良い。
変形例として、位置決め要素検出装置は駐車スペース番号検出モジュールをさらに備え、駐車スペース番号検出モジュールは、具体的には、マッチング融合モジュールが位置決め要素の検出結果を取得する前に、位置決め要素のタイプが駐車スペース番号である場合に、ディープニューラルネットワークモデルから駐車スペース番号検出フレームを抽出し、駐車スペース番号検出フレームが属する駐車スペースにおける駐車スペース番号に近い２つの駐車スペースの角点を結ぶ線とサラウンドビュー合成画像の画像座標系の横軸との間の夾角を算出し、駐車スペース番号検出フレームの中心点及び夾角に基づいて、回転した後の対応する駐車スペース番号が画像座標系において水平になるように、ディープニューラルネットワークモデルにおける駐車スペース番号検出フレームに対応する駐車スペース番号の特徴図を回転させ、文字分類子を用いて回転した後の駐車スペース番号の特徴図に対して駐車スペース番号識別を行うという操作を実行することに用いられても良い。
変形例として、位置決め要素検出モジュール４０２は、さらに、ディープニューラルネットワークモデルを用いてサラウンドビュー合成画像に存在する反射領域を検出することに用いられ、相応に、位置決め要素検出装置は、位置決め要素の検出結果を取得する前に、反射領域の検出結果と組み合わせて、位置情報が反射領域にある位置決め要素をフィルタリングするための位置決め要素フィルタリングモジュールをさらに備えていても良い。
変形例として、画像取得モジュール４０１は、車両の周囲に位置する魚眼カメラが収集した画像をそれぞれ取得する画像取得ユニットと、画像を合成して、サラウンドビュー合成画像を取得する画像合成ユニットとを備えていても良い。
本出願の実施例により開示される位置決め要素検出装置４００は、本出願の任意の実施例により提供される位置決め要素検出方法を実行することができ、実行方法に対応する機能モジュールと有益な効果を備える。本実施例で詳細に説明されていない内容は、本出願の任意の方法の実施例の説明を参照することができる。
本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
図５に示すように、それは本出願の実施例に係る位置決め要素検出方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、携帯情報端末、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。
図５に示すように、電子機器は、少なくとも１つのプロセッサ５０１と、メモリ５０２と、高速インターフェースと低速インターフェースを含む各コンポーネントを接続するためのインターフェースとを備える。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に基づいて他の方式で取り付けることができる。プロセッサは、外部入力／出力装置（インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要であれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、部分的な必要な操作（例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図５では、１つのプロセッサ５０１を一例とする。
メモリ５０２は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、メモリ５０２には、少なくとも１つのプロセッサが上記の位置決め要素検出方法を実行するように、少なくとも１つのプロセッサによって実行可能な命令が記憶されている。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータに上記の位置決め要素検出方法を実行させるためのコンピュータ命令が記憶されている。
メモリ５０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例に係る位置決め要素検出方法に対応するプログラム命令／モジュール（例えば、図４に示す画像取得モジュール４０１、位置決め要素検出モジュール４０２、及びマッチング融合モジュール４０３）ような非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶することに用いられる。プロセッサ５０１は、メモリ５０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記の位置決め要素検出方法を実現する。
メモリ５０２は、プログラム記憶領域とデータ記憶領域とを含むことができ、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、本出願の実施例の位置決め要素検出方法を実現することに基づく電子機器の使用によって生成されたデータなどを記憶することができる。また、メモリ５０２は、高速ランダム存取メモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも１つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ５０２は、プロセッサ５０１に対して遠隔に設置されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介して本出願の実施例の位置決め要素検出方法を実現する電子機器に接続することができる。上記ネットワークの一例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。
本出願の実施例に係る位置決め要素検出方法を実現する電子機器は、入力装置５０３と出力装置５０４とをさらに備えていても良い。プロセッサ５０１、メモリ５０２、入力装置５０３、及び出力装置５０４は、バス又は他の方式を介して接続することができ、図５では、バスによる接続を一例とする。
入力装置５０３は、入力された数字又は文字情報を受信することができ、及び本出願の実施例に係る位置決め要素検出方法を実現する電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、少なくとも１つのマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置５０４は、ディスプレイデバイス、補助照明デバイス（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスは、タッチスクリーンであってもよい。
本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は以下を含んでいても良い。少なくとも１つのコンピュータプログラムで実施されることを含むことができ、少なくとも１つのコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈することができ、プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置に伝送することができる。
これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含んでもよく、高レベルのプロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書で使用されるように、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、グラフィカルユーザインタフェース又はウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの一例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般的に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。
本出願の実施例の技術案によれば、サラウンドビュー合成画像を入力として、車両の周囲の地面に自然に存在する目標を位置決め要素として検出し、かつ画素点の語意情報に基づいて位置決め要素をマッチング融合し、通常のセンサーの視野が制限されるという問題を回避するだけでなく、駐車場側の改造や配置が必要とされず、同時に、ディープニューラルネットワークモデルを用いてサラウンドビュー合成画像における位置決め要素を検出し、語意に基づく特徴点の検出を実現し、従来の技術における画像の特徴点は不安定で、環境要因の影響を受けやすい問題を回避し、堅牢性はよりよい。かつ、画素点の語意分割の結果と組み合わせて、位置決め要素のキーポイントの位置をさらに校正し、さらに位置決め要素の検出精度を向上させることができる。駐車スペース番号に対する検出は、さらに車両の絶対位置を決定して、位置決めの精度を向上させることができる。最後に、反射領域に対する検出も、位置決め要素の検出の正確性をさらに向上させる。
上記に示される様々な形式のフローを用いて、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。
上記具体的な実施形態は、本出願に対する保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (17)

  1. コンピュータにより実行される位置決め要素検出方法であって、
    車両の周囲のサラウンドビュー合成画像を取得するステップと、
    前記サラウンドビュー合成画像を検出し、前記車両の周囲の地面に存在する少なくとも１つの位置決め要素及び前記サラウンドビュー合成画像の各画素点が属する語意タイプを決定するステップと、
    前記語意タイプを用いて少なくとも１つの前記位置決め要素をマッチング融合し、前記位置決め要素の検出結果を取得するステップとを含み、
    前記サラウンドビュー合成画像を検出し、前記車両の周囲の地面に存在する少なくとも１つの前記位置決め要素及び前記サラウンドビュー合成画像の各前記画素点が属する前記語意タイプを決定するステップが、
    予めトレーニングされたディープニューラルネットワークモデルを用いて前記サラウンドビュー合成画像を検出し、前記サラウンドビュー合成画像の各前記画素点に対して語意分割を行い、前記車両の周囲の地面に存在する少なくとも１つの前記位置決め要素の情報、及び前記サラウンドビュー合成画像の各前記画素点が属する前記語意タイプを決定するステップを含み、
    前記位置決め要素の情報が、少なくとも、前記位置決め要素のタイプ及び位置情報と、前記位置決め要素のキーポイントのタイプ及び位置情報と、を含む位置決め要素検出方法。
  2. 前記位置決め要素は、駐車スペース、駐車スペース番号、車線、地面矢印、減速帯及び歩道のうちの少なくとも１つを含む請求項１に記載の位置決め要素検出方法。
  3. 前記語意タイプを用いて少なくとも１つの前記位置決め要素をマッチング融合するステップは、
    前記キーポイントの位置情報および前記サラウンドビュー合成画像の各前記画素点の画素位置と組み合わせて、同じ位置の前記キーポイントのタイプおよび前記画素点の前記語意タイプをマッチングするステップと、
    マッチング結果及び予め設定された融合ポリシーに基づいて、各前記位置決め要素の前記キーポイントの位置情報を校正するステップとを含む請求項１に記載の位置決め要素検出方法。
  4. 前記ディープニューラルネットワークモデルは、位置決め要素検出分岐と、キーポイント検出分岐とを含み、ここで、前記位置決め要素検出分岐は、前記位置決め要素に対して目標分類及び前記キーポイントの位置復帰を行うことに用いられ、前記キーポイント検出分岐は、前記キーポイントの検出を行うことに用いられ、
    相応に、前記位置決め要素のキーポイントの位置情報は、位置復帰して取得された前記キーポイントと前記キーポイントを検出して取得されたキーポイントとを融合するにより決定される請求項１に記載の位置決め要素検出方法。
  5. 前記位置決め要素の検出結果を取得するステップの前に、
    前記位置決め要素のタイプが駐車スペース番号である場合に、前記ディープニューラルネットワークモデルから駐車スペース番号検出フレームを抽出するステップと、
    前記駐車スペース番号検出フレームが属する駐車スペースにおける前記駐車スペース番号に近い２つの前記駐車スペースの角点を結ぶ線と前記サラウンドビュー合成画像の画像座標系の横軸との間の夾角を算出するステップと、
    前記駐車スペース番号検出フレームの中心点及び前記夾角に基づいて、回転した後の対応する前記駐車スペース番号が前記画像座標系において水平になるように、前記ディープニューラルネットワークモデルにおける前記駐車スペース番号検出フレームに対応する前記駐車スペース番号の特徴図を回転させるステップと、
    文字分類子を用いて回転した後の前記駐車スペース番号の特徴図に対して駐車スペース番号識別を行うステップとをさらに含む請求項１に記載の位置決め要素検出方法。
  6. 前記ディープニューラルネットワークモデルを用いて前記サラウンドビュー合成画像に存在する反射領域を検出するステップと、
    相応に、前記位置決め要素の検出結果を取得する前に、前記反射領域の検出結果と組み合わせて、位置情報が前記反射領域にある位置決め要素をフィルタリングするステップとをさらに含む請求項１に記載の方法。
  7. 前記車両の周囲の前記サラウンドビュー合成画像を取得する前記ステップは、
    前記車両の周囲に位置する魚眼カメラが収集した画像をそれぞれ取得するステップと、
    前記画像を合成して、前記サラウンドビュー合成画像を取得するステップとを含む請求項１に記載の位置決め要素検出方法。
  8. 車両の周囲のサラウンドビュー合成画像を取得する画像取得モジュールと、
    前記サラウンドビュー合成画像を検出し、前記車両の周囲の地面に存在する少なくとも１つの位置決め要素及び前記サラウンドビュー合成画像の各画素点が属する語意タイプを決定する位置決め要素検出モジュールと、
    前記語意タイプを用いて少なくとも１つの前記位置決め要素をマッチング融合し、前記位置決め要素の検出結果を取得するマッチング融合モジュールとを備え、
    前記位置決め要素検出モジュールが、
    予めトレーニングされたディープニューラルネットワークモデルを用いて前記サラウンドビュー合成画像を検出し、前記サラウンドビュー合成画像の各前記画素点に対して語意分割を行い、前記車両の周囲の地面に存在する少なくとも１つの前記位置決め要素の情報、及び前記サラウンドビュー合成画像の各前記画素点が属する前記語意タイプを決定することに用いられ、
    前記位置決め要素の情報が、少なくとも、前記位置決め要素のタイプ及び位置情報と、前記位置決め要素のキーポイントのタイプ及び位置情報と、を含む位置決め要素検出装置。
  9. 前記位置決め要素は、駐車スペース、駐車スペース番号、車線、地面矢印、減速帯及び歩道のうちの少なくとも１つを含む請求項８に記載の位置決め要素検出装置。
  10. 前記マッチング融合モジュールは、
    前記キーポイントの位置情報および前記サラウンドビュー合成画像の各前記画素点の画素位置と組み合わせて、同じ位置の前記キーポイントのタイプおよび前記画素点の前記語意タイプをマッチングするマッチングユニットと、
    マッチング結果及び予め設定された融合ポリシーに基づいて、各前記位置決め要素の前記キーポイントの位置情報を校正する校正ユニットとを備える請求項８に記載の位置決め要素検出装置。
  11. 前記ディープニューラルネットワークモデルは、位置決め要素検出分岐と、キーポイント検出分岐とを含み、ここで、前記位置決め要素検出分岐は、前記位置決め要素に対して目標分類及び前記キーポイントの位置復帰を行うことに用いられ、前記キーポイント検出分岐は、前記キーポイントの検出を行うことに用いられ、
    相応に、前記位置決め要素の前記キーポイントの位置情報は、位置復帰して取得された前記キーポイントと前記キーポイントを検出して取得されたキーポイントとを融合するにより決定される請求項８に記載の位置決め要素検出装置。
  12. 駐車スペース番号検出モジュールをさらに備え、
    該モジュールは、具体的には、前記マッチング融合モジュールが前記位置決め要素の検出結果を取得する前に、
    前記位置決め要素のタイプが駐車スペース番号である場合に、前記ディープニューラルネットワークモデルから駐車スペース番号検出フレームを抽出し、
    前記駐車スペース番号検出フレームが属する駐車スペースにおける前記駐車スペース番号に近い２つの前記駐車スペースの角点を結ぶ線と前記サラウンドビュー合成画像の画像座標系の横軸との間の夾角を算出し、
    前記駐車スペース番号検出フレームの中心点及び前記夾角に基づいて、回転した後の対応する前記駐車スペース番号が前記画像座標系において水平になるように、前記ディープニューラルネットワークモデルにおける前記駐車スペース番号検出フレームに対応する前記駐車スペース番号の特徴図を回転させ、
    文字分類子を用いて回転した後の前記駐車スペース番号の特徴図に対して駐車スペース番号識別を行うという操作を実行することに用いられる請求項８に記載の位置決め要素検出装置。
  13. 前記位置決め要素検出モジュールが、前記ディープニューラルネットワークモデルを用いて前記サラウンドビュー合成画像に存在する反射領域を検出することに用いられ、
    相応に、前記位置決め要素の検出結果を取得する前に、前記反射領域の検出結果と組み合わせて、位置情報が前記反射領域にある位置決め要素をフィルタリングする位置決め要素フィルタリングモジュールをさらに備える請求項８に記載の位置決め要素検出装置。
  14. 前記画像取得モジュールは、
    前記車両の周囲に位置する魚眼カメラが収集した画像をそれぞれ取得する画像取得ユニットと、
    前記画像を合成して、前記サラウンドビュー合成画像を取得する画像合成ユニットとを備える請求項８に記載の位置決め要素検出装置。
  15. 電子機器であって、
    前記電子機器の周囲に位置して画像を収集するための魚眼カメラと、
    少なくとも１つのプロセッサと、
    少なくとも１つの前記プロセッサと通信可能に接続されるメモリとを備え、
    前記メモリには、少なくとも１つの前記プロセッサによって実行可能な命令が記憶されており、前記命令は、少なくとも１つの前記プロセッサによって実行される場合、少なくとも１つの前記プロセッサが請求項１から請求項７のいずれかに記載の位置決め要素検出方法を実行する電子機器。
  16. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項１から請求項７のいずれかに記載の位置決め要素検出方法を実行させることに用いられる非一時的なコンピュータ読み取り可能な記憶媒体。
  17. コンピュータ上で動作しているときに、請求項１から請求項７のいずれかに記載の位置決め要素検出方法を前記コンピュータに実行させるコンピュータプログラム。

JP2020215097A 2020-01-21 2020-12-24 位置決め要素検出方法、位置決め要素検出装置、電子機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラム Active JP7228559B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010072016.9A CN111274974B (zh) 2020-01-21 2020-01-21 定位元素检测方法、装置、设备和介质
CN202010072016.9 2020-01-21

Publications (2)

Publication Number Publication Date
JP2021117988A JP2021117988A (ja) 2021-08-10
JP7228559B2 true JP7228559B2 (ja) 2023-02-24

Family

ID=71001255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020215097A Active JP7228559B2 (ja) 2020-01-21 2020-12-24 位置決め要素検出方法、位置決め要素検出装置、電子機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US11335101B2 (ja)
EP (1) EP3855351B1 (ja)
JP (1) JP7228559B2 (ja)
KR (1) KR102436300B1 (ja)
CN (1) CN111274974B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150550B (zh) * 2020-09-23 2021-07-27 华人运通(上海)自动驾驶科技有限公司 一种融合定位方法及装置
CN112464934A (zh) * 2020-12-08 2021-03-09 广州小鹏自动驾驶科技有限公司 一种车位号检测方法、装置和设备
CN113177502B (zh) * 2021-05-13 2024-02-02 北京罗克维尔斯科技有限公司 环视障碍物检测方法、装置、介质、车载系统以及车辆
CN113276845A (zh) * 2021-07-02 2021-08-20 上海追势科技有限公司 一种带有显示增强功能的自动泊车方法
CN113674199A (zh) * 2021-07-06 2021-11-19 浙江大华技术股份有限公司 停车位检测方法、电子设备及存储介质
CN113781300B (zh) * 2021-08-17 2023-10-13 东风汽车集团股份有限公司 一种用于远距离自主泊车的车辆视觉定位方法
CN113762272B (zh) * 2021-09-10 2024-06-14 北京精英路通科技有限公司 道路信息的确定方法、装置和电子设备
CN114022501A (zh) * 2021-10-28 2022-02-08 武汉中海庭数据技术有限公司 箭头角点自动化检测方法、系统、电子设备及存储介质
CN114111815B (zh) * 2021-11-01 2023-02-03 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114530056B (zh) * 2022-02-15 2023-05-02 超级视线科技有限公司 一种基于定位信息和图像信息的停车管理方法及系统
KR20240020543A (ko) * 2022-08-08 2024-02-15 현대자동차주식회사 차량의 카메라 캘리브레이션 장치 및 방법
CN115497099B (zh) * 2022-09-23 2023-04-18 神州数码系统集成服务有限公司 一种基于圆周扫描式的单一字符图像匹配识别方法
CN115294204B (zh) * 2022-10-10 2023-03-17 浙江光珀智能科技有限公司 一种户外目标定位方法及系统
CN116402314A (zh) * 2023-05-31 2023-07-07 北京拓普丰联信息科技股份有限公司 一种信息提示方法、装置、设备和介质
CN117131150B (zh) * 2023-10-26 2023-12-26 毫末智行科技有限公司 电子地图的生成方法、装置、车辆和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089505A1 (en) 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. System and method for deep network fusion for fast and robust object detection
JP2019096132A (ja) 2017-11-24 2019-06-20 トヨタ自動車株式会社 物体認識装置
US20190325580A1 (en) 2019-06-26 2019-10-24 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection
JP2019207541A (ja) 2018-05-29 2019-12-05 株式会社日立製作所 画像処理装置及びその方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01113665A (ja) * 1987-10-27 1989-05-02 Fuji Heavy Ind Ltd スリップ検出装置
US10244098B2 (en) * 2015-01-27 2019-03-26 Prasad Muthukumar Autonomous mobility, orientation and rotation providing mechanism for mobile devices [AMORPM]
JP7213809B2 (ja) * 2016-12-09 2023-01-27 トムトム グローバル コンテント ベスローテン フエンノートシャップ ビデオベースの位置決め及びマッピングの方法及びシステム
CN108090455B (zh) * 2017-12-27 2023-08-22 北京纵目安驰智能科技有限公司 基于级联机制的车位线顶点定位方法、系统、终端及介质
US10650531B2 (en) * 2018-03-16 2020-05-12 Honda Motor Co., Ltd. Lidar noise removal using image pixel clusterings
KR102006291B1 (ko) 2018-03-27 2019-08-01 한화시스템(주) 전자 장치의 이동체 포즈 추정 방법
US11100366B2 (en) * 2018-04-26 2021-08-24 Volvo Car Corporation Methods and systems for semi-automated image segmentation and annotation
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
CN110617821B (zh) * 2018-06-19 2021-11-02 北京嘀嘀无限科技发展有限公司 定位方法、装置及存储介质
CN109141444B (zh) * 2018-08-28 2019-12-06 北京三快在线科技有限公司 定位方法、装置、存储介质及移动设备
CN110136049B (zh) * 2018-10-30 2023-07-11 北京魔门塔科技有限公司 一种基于环视图像与轮速计融合的定位方法及车载终端
CN109374008A (zh) * 2018-11-21 2019-02-22 深动科技（北京）有限公司 一种基于三目摄像头的图像采集系统及方法
CN110210280B (zh) * 2019-03-01 2024-04-19 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质
US11092456B2 (en) * 2019-03-08 2021-08-17 Aptiv Technologies Limited Object location indicator system and method
CN109945858B (zh) * 2019-03-20 2021-04-13 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
CN109949609B (zh) * 2019-04-30 2020-11-13 广州小鹏汽车科技有限公司 一种车辆的定位修正方法及系统、车辆
CN110163176B (zh) * 2019-05-28 2021-06-18 北京百度网讯科技有限公司 车道线变化位置识别方法、装置、设备和介质
CN110595459B (zh) * 2019-09-18 2021-08-17 百度在线网络技术（北京）有限公司 车辆定位方法、装置、设备和介质
US11789155B2 (en) * 2019-12-23 2023-10-17 Zoox, Inc. Pedestrian object detection training
CN111274343B (zh) * 2020-01-20 2023-11-24 阿波罗智能技术(北京)有限公司 一种车辆定位方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089505A1 (en) 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. System and method for deep network fusion for fast and robust object detection
JP2019096132A (ja) 2017-11-24 2019-06-20 トヨタ自動車株式会社 物体認識装置
JP2019207541A (ja) 2018-05-29 2019-12-05 株式会社日立製作所 画像処理装置及びその方法
US20190325580A1 (en) 2019-06-26 2019-10-24 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Alexander Kirillov et al.，"Panoptic Segmentation"，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，米国，IEEE，2019年06月15日，pp.9396-9405
Liuyuan Deng et al.，"Restricted Deformable Convolution based Road Scene Semantic Segmentation Using Surround View Cameras"，arXiv，米国，Cornell University，2019年09月16日，pp.1-13，https://arxiv.org/abs/1801.00708

Also Published As

Publication number Publication date
JP2021117988A (ja) 2021-08-10
CN111274974A (zh) 2020-06-12
US11335101B2 (en) 2022-05-17
CN111274974B (zh) 2023-09-01
KR20210094476A (ko) 2021-07-29
US20210224562A1 (en) 2021-07-22
EP3855351A1 (en) 2021-07-28
KR102436300B1 (ko) 2022-08-25
EP3855351B1 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
JP7228559B2 (ja) 位置決め要素検出方法、位置決め要素検出装置、電子機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラム
US11586218B2 (en) Method and apparatus for positioning vehicle, electronic device and storage medium
KR102581429B1 (ko) 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
Zollmann et al. Augmented reality for construction site monitoring and documentation
CN110322500A (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN111220154A (zh) 车辆定位方法、装置、设备和介质
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
CN107292965A (zh) 一种基于深度图像数据流的虚实遮挡处理方法
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
CN111324945B (zh) 传感器方案确定方法、装置、设备及存储介质
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
CN111612852A (zh) 用于验证相机参数的方法和装置
JP7337121B2 (ja) 環状交差点のナビゲーション方法、装置、デバイス及び記憶媒体
EP2851868A1 (en) 3D Reconstruction
US20210374977A1 (en) Method for indoor localization and electronic device
CN110260857A (zh) 视觉地图的校准方法、装置及存储介质
CN112348886A (zh) 视觉定位方法、终端和服务器
CN110349212A (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
Höllerer et al. “Anywhere augmentation”: Towards mobile augmented reality in unprepared environments
CN114782646A (zh) 房屋模型的建模方法、装置、电子设备和可读存储介质
CN113256724B (zh) 一种手柄inside-out视觉6自由度定位方法及系统
CN113011298B (zh) 截断物体样本生成、目标检测方法、路侧设备和云控平台
Wakai et al. Rethinking generic camera models for deep single image camera calibration to recover rotation and fisheye distortion
CN111260722B (zh) 车辆定位方法、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201224

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R150 Certificate of patent or registration of utility model

Ref document number: 7228559

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150