KR20210094476A - 위치결정 요소 검출 방법, 장치, 기기 및 매체 - Google Patents

위치결정 요소 검출 방법, 장치, 기기 및 매체 Download PDF

Info

Publication number
KR20210094476A
KR20210094476A KR1020210006649A KR20210006649A KR20210094476A KR 20210094476 A KR20210094476 A KR 20210094476A KR 1020210006649 A KR1020210006649 A KR 1020210006649A KR 20210006649 A KR20210006649 A KR 20210006649A KR 20210094476 A KR20210094476 A KR 20210094476A
Authority
KR
South Korea
Prior art keywords
positioning element
around
detection
parking location
picture
Prior art date
Application number
KR1020210006649A
Other languages
English (en)
Other versions
KR102436300B1 (ko
Inventor
보 잔
솅하오 후
예 티안
콩 첸
젠유 짜오
첸 헤
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210094476A publication Critical patent/KR20210094476A/ko
Application granted granted Critical
Publication of KR102436300B1 publication Critical patent/KR102436300B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 출원은 위치결정 요소 검출 방법, 장치, 기기 및 매체를 개시하는바, 목표물 검출 기술에 관한 것으로, 자율 주차 시나리오에 적용될 수 있다. 구체적인 구현 방안은, 차량 주위의 어라운드 뷰 스티칭 픽처를 획득하고; 상기 어라운드 뷰 스티칭 픽처를 검출하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하며; 상기 시맨틱 유형을 이용하여 상기 적어도 하나의 위치결정 요소를 매칭 융합하여 위치결정 요소 검출 결과를 획득하는 것이다. 본 출원의 실시예는 어라운드 뷰 스티칭 픽처를 입력으로 하고 차량 주위 지면에 자연적으로 존재하는 목표물을 위치결정 요소로 하여 검출하고, 픽셀 점의 시맨틱 정보에 기반하여 위치결정 요소를 매칭 융합하는바, 일반 센서에 있어서 시야가 제한적인 문제가 회피될 뿐만 아니라, 어떠한 주차장측 개조와 배치도 필요하지 않고, 동시에 위치결정 요소 검출의 정밀도와 강건성을 더 향상시킨다.

Description

위치결정 요소 검출 방법, 장치, 기기 및 매체{LOCATING ELEMENT DETECTION METHOD, APPARATUS, DEVICE AND MEDIUM}
본 출원은 시각적 위치결정 기술 분야에 관한 것으로, 특히 목표물 검출 기술에 관한 것이며, 구체적으로 위치결정 요소 검출 방법, 장치, 기기 및 매체에 관한 것이다.
무인 조종 등 분야에서 시각적 위치결정 시스템의 사용이 점점 더 광범위해지고 있는데, 그 작용은 카메라에 의해 획득된 정보에 따라 무인 차량의 위치와 자세를 실시간으로 계산하는 것이고 이는 또한 무인 차량이 자율 운동을 하기 위한 핵심적인 전제이기도 하다.
현재, 시각적 위치결정 시스템이 시각적 정보를 획득하는 방법은 주로 2가지가 있다.
첫 번째 방식은 시각적 SLAM 방안인바, 즉 카메라 이미지에 기반하여 환경의 센싱 작업을 완성하고 기존의 이미지 알고리즘에 의해 이미지 중의 키포인트를 추출하고 멀티 프레임 이미지 중 키포인트의 매칭 관계를 이용하여 자체 위치결정 정보를 계산하는 것이다. 그러나, 이러한 방식은 광 조사가 보다 충분하면서 환경 텍스쳐 특징이 뚜렷한 정적 시나리오에만 응용이 가능하고 기존의 시각적 특징 검출은 강건성이 떨어지므로 안정적이면서 고 정밀도를 가지는 검출 효과에 도달하기가 어렵다.
두 번째 방식은 인위적으로 주문 제작된 위치결정 표식을 인식하는 방법인바, 즉 카메라 이미지에서 특정된 표식을 검출함으로써 카메라에 대한 위치결정 표식의 정확한 3D 위치, 방향 등을 신속하게 계산할 수 있다. 이러한 방식은 알고리즘 측면에서는 구현하기가 보다 간단하지만, 허다한 특정된 표식을 주문 제작하여 시나리오에 대량으로 배치하여야 하고 후기의 유지 비용도 매우 높은바, 임의의 시나리오에서 통용될 수 있는 양산 방안으로는 사용 불가능하다.
본 출원의 실시예는 위치결정 요소 검출 방법, 장치, 기기 및 매체를 제공하는바, 위치결정 표식을 인위적으로 주문 제작할 필요없이 검출 정밀도와 강건성을 향상시키게 된다.
제1 측면으로, 본 출원의 실시예는 위치결정 요소 검출 방법을 제공하는바,
차량 주위의 어라운드 뷰 스티칭 픽처를 획득하는 단계;
상기 어라운드 뷰 스티칭 픽처를 검출하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하는 단계;
상기 시맨틱 유형을 이용하여 상기 적어도 하나의 위치결정 요소를 매칭 융합하여 위치결정 요소 검출 결과를 획득하는 단계;가 포함된다.
상술한 출원에서의 일 실시예는 하기와 같은 이점 또는 유익한 효과를 가진다. 어라운드 뷰 스티칭 픽처를 입력으로 하고 차량 주위 지면에 자연적으로 존재하는 목표물을 위치결정 요소로 하여 검출하고, 픽셀 점의 시맨틱 정보에 기반하여 위치결정 요소를 매칭 융합하는바, 일반 센서에 있어서 시야가 제한적인 문제가 회피될 뿐만 아니라, 어떠한 주차장측 개조와 배치도 필요하지 않고, 동시에 위치결정 요소 검출의 정밀도와 강건성을 더 향상시킨다.
선택적으로, 상기 위치결정 요소는 주차 위치, 주차 위치 번호, 차선, 지면 화살표, 과속방지턱 및 횡단보도 중 적어도 하나를 포함한다.
상술한 출원에서의 일 실시예는 하기와 같은 이점 또는 유익한 효과를 가진다. 흔히 보는 지면 표식물을 위치결정 요소로 사용하는 경우, 위치결정 요소를 인위적으로 주문 제작하는 방식에 비해, 이러한 자연적인 위치결정 요소가 천연적으로 존재하므로 장소를 개조할 필요없이 위치결정 요소로 사용될 수 있는바, 인위적으로 주문 제작된 위치결정 요소와 동일한 작용을 하게 된다.
선택적으로, 상기 어라운드 뷰 스티칭 픽처를 검출하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하는 단계는,
사전 트레이닝된 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처를 검출하고 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점에 대해 시맨틱 분할을 수행하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소의 정보, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하는 단계를 포함한다.
상술한 출원에서의 일 실시예는 하기와 같은 이점 또는 유익한 효과를 가진다. 심층 신경망 모델을 이용하여 어라운드 뷰 스티칭 픽처 내의 위치결정 요소를 검출하는바, 시맨틱 기반의 특징 포인트 검출이 구현되고 종래 기술에서의 이미지 특징 포인트가 불안정적이고 환경 요소의 영향을 쉽게 받는 문제가 회피되고 강건성이 더 양호하다.
선택적으로, 상기 위치결정 요소의 정보는 적어도 위치결정 요소의 유형 및 위치 정보, 및 상기 위치결정 요소에서의 키포인트의 유형 및 위치 정보를 포함한다.
선택적으로, 상기 시맨틱 유형을 이용하여 상기 적어도 하나의 위치결정 요소를 매칭 융합하는 단계는,
상기 키포인트의 위치 정보 및 상기 어라운드 뷰 스티칭 픽처 내의 각 픽셀 점의 픽셀 위치를 결합시켜 동일한 위치에서의 키포인트의 유형 및 픽셀 점의 시맨틱 유형을 매칭시키는 단계; 및
매칭 결과 및 미리 설정된 융합 전략에 따라, 각 위치결정 요소에서의 키포인트의 위치 정보를 보정하는 단계를 포함한다.
상술한 출원에서의 일 실시예는 하기와 같은 이점 또는 유익한 효과를 가진다. 픽셀 점의 시맨틱 분할 결과를 결합시켜 위치결정 요소에서의 키포인트의 위치를 추가로 교정하는바, 위치결정 요소의 검출 정밀도를 향상시킬 수 있고, 완전하지 않은 위치결정 요소의 경우, 시맨틱 분할의 효과가 더 강건하다.
선택적으로, 상기 심층 신경망 모델은, 위치결정 요소 검출 분기 및 키포인트 검출 분기를 포함하되; 상기 위치결정 요소 검출 분기는 위치결정 요소에 대해 목표물 분류 및 키포인트의 위치 회귀를 수행하기 위한 것이고, 상기 키포인트 검출 분기는 키포인트를 검출하기 위한 것이며;
대응되게, 상기 위치결정 요소에서의 키포인트의 위치 정보는, 상기 위치 회귀에 의해 얻은 키포인트와 상기 키포인트 검출에 의해 얻은 키포인트를 융합하여 결정된다.
상술한 출원에서의 일 실시예는 하기와 같은 이점 또는 유익한 효과를 가진다. 키포인트 검출 기술을 결합하여 네트워크에 키포인트 검출 분기를 설치함으로써 회귀된 키포인트 위치에 대한 정밀 매칭을 수행하고, 융합을 통해 정밀도가 더 높은 키포인트 위치 정보를 결정한다.
선택적으로, 상기 위치결정 요소 검출 결과를 획득하기 이전에, 상기 위치결정 요소 검출 방법은,
상기 위치결정 요소의 유형이 주차 위치 번호이면, 상기 심층 신경망 모델로부터 주차 위치 번호 검출 박스를 추출하는 단계;
상기 주차 위치 번호 검출 박스가 속한 주차 위치에서의, 상기 주차 위치 번호에 근접한 2개의 주차 위치 코너 점의 연결선과, 상기 어라운드 뷰 스티칭 픽처의 이미지 좌표계 횡축 사이의 협각을 계산하는 단계;
상기 주차 위치 번호 검출 박스의 중심점 및 상기 협각에 따라, 상기 주차 위치 번호 검출 박스의 상기 심층 신경망 모델에서의 대응되는 주차 위치 번호 특징 맵을 회전시켜, 회전 후 대응되는 주차 위치 번호가 상기 이미지 좌표계에서 수평을 이루도록 하는 단계; 및
문자(character) 분류기를 이용하여 회전된 주차 위치 번호 특징 맵에 대해 주차 위치 번호를 인식하는 단계를 더 포함한다.
상술한 출원에서의 일 실시예는 하기와 같은 이점 또는 유익한 효과를 가진다. 지면의 위치결정 요소에서 주차 위치 번호는 매우 중요한 정보이고 전역 ID를 구비하는 유일한 위치결정 요소인바, 따라서 주차 위치 번호도 위치결정 요소로 하여 검출하고 주차 위치 번호를 인식함으로써 맵에서 차량이 위치한 절대 위치를 결정할 수 있고 나아가 위치결정 정밀도를 향상시킬 수 있다.
선택적으로, 상기 위치결정 요소 검출 방법은, 상기 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처에 존재하는 광 반사 영역을 검출하는 단계를 더 포함하고;
대응되게, 상기 위치결정 요소 검출 결과를 획득하기 이전에, 상기 위치결정 요소 검출 방법은,
상기 광 반사 영역 검출 결과를 결합시켜, 위치 정보가 상기 광 반사 영역에 속하는 위치결정 요소를 필터링하는 단계를 더 포함한다.
상술한 출원에서의 일 실시예는 하기와 같은 이점 또는 유익한 효과를 가진다. 광 반사 영역에 대한 위치결정 요소 검출이 정확하지 않으므로, 광 반사 영역를 검출하고 검출 결과를 이용하여 위치결정 요소를 필터링함으로써 위치결정 요소 검출의 정확성을 나아가 더 향상시킨다.
선택적으로, 상기 차량 주위의 어라운드 뷰 스티칭 픽처를 획득하는 단계는,
상기 차량 사방 주위에 위치하는 어안 카메라에 의해 수집된 이미지를 각각 획득하는 단계; 및
상기 이미지를 스티칭하여 상기 어라운드 뷰 스티칭 픽처를 획득하는 단계를 포함한다.
상술한 출원에서의 일 실시예는 하기와 같은 이점 또는 유익한 효과를 가진다. 어라운드 뷰 스티칭 픽처는 차체 사방 주위의 4개의 어안에 의해 수집된 이미지를 스티칭하여 형성되고, 차체 주위의 360도 시각을 커버하고, 시야 범위가 더 광범위하고, 그 중 어느 어안이 무효화되더라도 다른 3개의 어안 이미지를 픽처로 스티칭하여 검출할 수 있는바, 검출 기능이 무효화되지 않으며 강건성이 강하다. 그리고 차체의 어안은 기본적으로 모두 지면을 향해 장착되므로, 차체 주위 지면의 이미징을 잘 획득할 수 있고, 특히 지면의 자연적인 위치결정 요소의 검출에 적합하다. 이밖에, 어라운드 뷰 스티칭 픽처에 기반한 검출은 또한 어안 왜곡, 내외부 파라미터 및 장착 위치에 따른 영향을 제거하는바, 양호한 일반화 성능을 가진다.
제2 측면으로, 본 출원의 실시예는 위치결정 요소 검출 장치를 더 제공하는바,
차량 주위의 어라운드 뷰 스티칭 픽처를 획득하기 위한 이미지 획득 모듈;
상기 어라운드 뷰 스티칭 픽처를 검출하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하기 위한 위치결정 요소 검출 모듈; 및
상기 시맨틱 유형을 이용하여 상기 적어도 하나의 위치결정 요소를 매칭 융합하여 위치결정 요소 검출 결과를 획득하기 위한 매칭 융합 모듈;을 포함한다.
제3 측면으로, 본 출원의 실시예는 전자 기기를 더 제공하는바,
상기 전자 기기 사방 주위에 위치하여 이미지를 수집하기 위한 어안 카메라;
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서에 통신가능하게 연결되는 메모리;를 포함하되, 여기서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 어안 카메라상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서가 본 출원의 어느 한 실시예에 따른 위치결정 요소 검출 방법을 수행할 수 있도록 한다.
제4 측면으로, 본 출원의 실시예는, 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 더 제공하는바, 상기 컴퓨터 명령은 상기 컴퓨터가 본 출원의 어느 한 실시예에 따른 위치결정 요소 검출 방법을 수행하도록 한다.
제5 측면으로, 본 출원의 실시예는, 비일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 더 제공하는바, 상기 컴퓨터 프로그램은 상기 컴퓨터가 본 출원의 어느 한 실시예에 따른 위치결정 요소 검출 방법을 수행하도록 한다.
상술한 출원에서의 일 실시예는 하기와 같은 이점 또는 유익한 효과를 가진다. 어라운드 뷰 스티칭 픽처를 입력으로 하고 차량 주위 지면에 자연적으로 존재하는 목표물을 위치결정 요소로 하여 검출하고, 픽셀 점의 시맨틱 정보에 기반하여 위치결정 요소를 매칭 융합하는바, 일반 센서에 있어서 시야가 제한적인 문제가 회피될 뿐만 아니라, 어떠한 주차장측 개조와 배치도 필요하지 않고, 동시에, 심층 신경망 모델을 이용하여 어라운드 뷰 스티칭 픽처 내의 위치결정 요소를 검출하는바, 시맨틱 기반의 특징 포인트 검출이 구현되고 종래 기술에서의 이미지 특징 포인트가 불안정적이고 환경 요소의 영향을 쉽게 받는 문제가 회피되고 강건성이 더 양호하다. 그리고, 픽셀 점의 시맨틱 분할 결과를 결합시켜 위치결정 요소에서의 키포인트의 위치를 추가로 교정하는바, 나아가 위치결정 요소의 검출 정밀도를 향상시킬 수 있다. 주차 위치 번호를 검출함에 있어서는, 더우기 차량이 위치한 절대 위치를 결정할 수 있고 위치결정 정밀도를 향상시킬 수 있다. 마지막으로, 광 반사 영역에 대한 검출은 위치결정 요소 검출의 정확성을 나아가 더 향상시킨다.
상술한 선택 가능한 방식이 가지는 기타 효과는 아래에 구체적인 실시예를 결부하여 설명하고자 한다.
첨부 도면은 본 방안을 더 잘 이해하도록 하기 위한 것으로, 본 출원을 한정하지 않는다. 여기서,
도 1은 본 출원의 제1 실시예에 따른 위치결정 요소 검출 방법의 개략적인 흐름도이다.
도 2는 본 출원의 제2 실시예에 따른 위치결정 요소 검출 방법의 개략적인 흐름도이다.
도 3은 본 출원의 제3 실시예에 따른 위치결정 요소 검출 방법의 개략적인 흐름도이다.
도 4는 본 출원의 제4 실시예에 따른 위치결정 요소 검출 장치의 개략적인 구조도이다.
도 5는 본 출원의 실시예의 위치결정 요소 검출 방법을 구현하기 위한 전자 기기의 블록도이다.
아래, 첨부된 도면을 결부하여 본 출원의 시범적인 실시예를 설명하고자 하는바, 여기서 본 출원의 실시예의 다양한 디테일들은 이해를 돕기 위해 포함되며, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 당업자라면 본 출원의 범위와 사상을 벗어나지 않으면서, 여기에 설명되는 실시예에 대해 다양한 변화 및 수정을 수행할 수 있음을 인식해야 한다. 마찬가지로, 명확성 및 간결성을 위해, 이하 설명에서 공지된 기능과 구조에 대한 설명을 생략한다.
도 1은 본 출원의 제1 실시예에 따른 위치결정 요소 검출 방법의 개략적인 흐름도이고, 본 실시예는 차량이 자율 주차 등의 시나리오에서 위치결정 요소를 검출함으로써 차량에 대해 위치결정하는 상황, 예를 들면, 실내 주차장에서 자율 주차하는 시나리오에 적용될 수 있다. 당해 방법은 위치결정 요소 검출 장치에 의해 수행될 수 있고, 당해 장치는 소프트웨어 및/또는 하드웨어의 방식을 사용하여 구현되고 바람직하게는 전자 기기, 예를 들어 무인 차량 또는 스마트 차량 등에 구성된다. 도 1에 도시한 바와 같이, 당해 방법은 구체적으로 하기와 같은 단계를 포함한다.
단계 S101에서, 차량 주위의 어라운드 뷰 스티칭 픽처를 획득한다.
구체적으로, 차량 사방 주위에 어안 카메라를 설치할 수 있는바, 예를 들어, 차량의 전, 후, 좌, 우에 각각 어안 카메라를 하나씩 설치하여 차량 주위의 이미지를 실시간으로 수집한 다음, 상기 이미지를 스티칭하면 상기 어라운드 뷰 스티칭 픽처를 획득할 수 있다.
스티칭하여 형성된 형성된 어라운드 뷰 스티칭 픽처는 차체 주위의 360도 시각을 커버하고, 시야 범위가 더 광범위하고, 그 중 어느 어안이 무효화되더라도 다른 3개의 어안 이미지를 픽처로 스티칭하여 검출할 수 있는바, 검출 기능이 무효화되지 않으며 강건성이 강하다. 그리고 차체의 어안은 기본적으로 모두 지면을 향해 장착되므로, 차체 주위 지면의 이미징을 잘 획득할 수 있고, 특히 지면의 자연적인 위치결정 요소의 검출에 적합하다. 이밖에, 어라운드 뷰 스티칭 픽처에 기반한 검출은 또한 어안 왜곡, 내외부 파라미터 및 장착 위치에 따른 영향을 제거하는바, 양호한 일반화 성능을 가진다.
단계 S102에서, 상기 어라운드 뷰 스티칭 픽처를 검출하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정한다.
시나리오에 대한 대규모 개조와 인위적인 위치결정 표식의 주문 제작으로 인한 인건 비용의 낭비, 및 양산이 불가능한 문제를 회피하기 위해, 본 출원의 실시예는 차량 주위 지면에 천연적으로 존재하는 자연 요소를 위치결정 요소로 하는바, 예를 들어, 위치결정 요소는 주차 위치, 주차 위치 번호, 차선, 지면 화살표, 과속방지턱 및 횡단보도 중 적어도 하나를 포함할 수 있다. 이러한 자연적인 위치결정 요소는 천연적으로 존재하므로 장소를 개조할 필요없이 위치결정 요소로 사용될 수 있는바, 인위적으로 주문 제작된 위치결정 요소와 동일한 작용을 하게 된다.
물론, 본 출원의 실시예는 상술한 바와 같은 유형의 위치결정 요소에 한정되지 않으며 지면에 존재하는 다른 천연 요소도 본 출원의 실시예에서의 위치결정 요소로 하여 검출 및 인식할 수 있는바, 본 출원의 실시예는 이에 대해 어떠한 한정도 하지 않는다.
위치결정 요소에 대한 검출은 심층 신경망에 기반하여 수행될 수 있다. 따라서, 일 실시 형태에서, 상기 어라운드 뷰 스티칭 픽처를 검출하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하는 단계는,
사전 트레이닝된 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처를 검출하고 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점에 대해 시맨틱 분할을 수행하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소의 정보, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하는 단계를 포함할 수 있다.
여기서, 모델은 목표물 검출에서 one-stage(원 스테이지 타입)의 anchor-free(후보 박스가 없음)의 멀티 태스크가 연합되는 심층 신경망 알고리즘을 사용할 수 있고, 한번의 네트워크 모델 연산으로 다양한 목표물을 동시에 출력할 수 있다. 또한, 어라운드 뷰 스티칭 픽처 내의 서로 다른 크기의 위치결정 요소에 대해, 모델은 서로 다른 척도의 feature map(특징 맵)에서 예측하는 것을 적용하는바, 작은 feature map은 더 큰 수용 영역을 소유하므로 주차 위치, 횡단보도 등과 같은 보다 큰 목표물 물체를 예측하는 데 적합하고, 큰 feature map은 더 많은 디테일 특징을 소유하므로 차선, 화살표 코너 점 등과 같은 작은 물체 및 물체의 키포인트, 가장자리 등 디테일 부분을 예측하는 데 적합하다. 이로써, 서로 다른 척도의 feature map에서 서로 다른 크기의 목표물을 검출함으로써 멀티 태스크의 연합 검출 효과를 달성한다.
이밖에, 당해 모델은 또한 시맨틱 분할을 구현할 수 있는바, 즉 어라운드 뷰 스티칭 픽처의 각 픽셀 점에 대해 시맨틱 분할을 수행하여, 각 픽셀 점이 속한 시맨틱 유형, 예를 들어, 전경 또는 배경, 전경에서는 또한 어떤 유형에 속하는지, 주차 위치인지 주차 위치 번호인지 등을 인식한다. 이로써, 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소의 정보, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 획득할 수 있다.
단계 S103에서, 상기 시맨틱 유형을 이용하여 상기 적어도 하나의 위치결정 요소를 매칭 융합하여 위치결정 요소 검출 결과를 획득한다.
위치결정 요소 검출에 대한 정확성을 향상시키기 위해, 본 출원의 실시예는 한편으로는 위치결정 요소를 검출하고 한편으로는 시맨틱 분할을 수행하며 시맨틱 분할 결과를 이용하여 동일한 위치에서의 위치결정 요소와 픽셀 점의 시맨틱 유형을 매칭하는데, 유형이 일치하지 않으면 검출 결과에 차이가 존재함을 나타내는바, 융합이 필요하고, 융합된 후의 결과가 더 정확하다. 예를 들어, 시맨틱 분할의 결과를 최종적인 검출 결과로 선택하는 것을 선택할 수도 있고, 검출 결과와 시맨틱 분할의 결과를 가중 융합하여 마지막 결과로 사용할 수도 있는바, 본 출원의 실시예는 융합 방식에 대해 어떠한 한정도 하지 않는다.
설명해야 할 것은, 시맨틱 유형에 기반한 매칭 융합은, 단일하게 모델만 사용하여 검출하는 경우의 정밀도 문제를 회피하는바, 융합된 후의 검출 정밀도가 더 높도록 하고 잡음의 영향을 회피할 수 있다. 또한, 모델 검출이 완전하지 않은 위치결정 요소의 경우, 시맨틱 분할의 효과가 보다 강건하므로 시맨틱 유형의 매칭 융합에 의해 위치결정 요소의 검출이 보다 완전하도록 할 수 있다.
본 출원의 실시예의 기술 방안은, 어라운드 뷰 스티칭 픽처를 입력으로 하고 차량 주위 지면에 자연적으로 존재하는 목표물을 위치결정 요소로 하여 검출하고, 픽셀 점의 시맨틱 정보에 기반하여 위치결정 요소를 매칭 융합하는바, 일반 센서에 있어서 시야가 제한적인 문제가 회피될 뿐만 아니라, 어떠한 주차장측 개조와 배치도 필요하지 않고, 동시에 또한 매칭 융합을 통해 위치결정 요소 검출의 정밀도와 강건성을 향상시킨다.
도 2는 본 출원의 제2 실시예에 따른 위치결정 요소 검출 방법의 개략적인 흐름도이고, 본 실시예는 상기 실시예에 기초하여 더 최적화된다. 도 2에 도시한 바와 같이, 당해 방법은 구체적으로 하기와 같은 단계를 포함한다.
단계 S201에서, 차량 주위의 어라운드 뷰 스티칭 픽처를 획득한다
단계 S202에서, 사전 트레이닝된 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처를 검출하고 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점에 대해 시맨틱 분할을 수행하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소의 정보, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정한다.
여기서, 상기 위치결정 요소의 정보는 적어도 위치결정 요소의 유형 및 위치 정보, 및 상기 위치결정 요소에서의 키포인트의 유형 및 위치 정보를 포함한다.
위치결정 요소의 유형은 예를 들어 주차 위치, 주차 위치 번호, 차선, 지면 화살표, 과속방지턱 및 횡단보도 등을 포함하고, 위치 정보는 예를 들어 위치결정 요소의 검출 박스의 위치를 포함하며; 키포인트는 모델 트레이닝 전에 미리 결정할 수 있고, 서로 다른 유형의 위치결정 요소에서의 특징 포인트를 나타내며, 예를 들어, 주차 위치 코너 점, 주차 위치 번호 좌측 정점 또는 차선 가장자리 라인 위의 점 등을 선택할 수 있다. 본 출원의 실시예는 서로 다른 유형의 위치결정 요소에서의 키포인트의 선택에 대해 어떠한 한정도 하지 않는다.
위치결정 요소 및 키포인트의 검출은 멀티 태스크가 연합되는 심층 신경망 알고리즘 모델에 의해 구현될 수 있다. 선택적으로, 모델의 목표물 분류 및 위치 회귀에 기초하여 본 출원의 실시예는 목표물 키포인트의 검출 네트워크 분기를 더 추가함으로써 후처리에서 위치 회귀의 정밀도를 나아가 더 향상시킨다. 즉, 상기 심층 신경망 모델은, 위치결정 요소 검출 분기 및 키포인트 검출 분기를 포함하되; 상기 위치결정 요소 검출 분기는 위치결정 요소에 대해 목표물 분류 및 키포인트의 위치 회귀를 수행하기 위한 것이고, 상기 키포인트 검출 분기는 키포인트를 검출하기 위한 것이다.
구체적으로, 위치결정 요소 검출 분기는 검출에 의해 위치결정 요소 검출 박스를 결정하고 위치결정 요소의 유형을 인식하고 검출 박스에서 위치 회귀를 통해 위치결정 요소에서의 적어도 하나의 키포인트의 위치를 획득할 수 있다. 키포인트에 의해 검출된 위치 정밀도는 흔히 위치 회귀에 의해 계산된 키포인트 위치보다 크므로, 본 출원의 실시예는 상기 키포인트 검출 분기를 이용하여 키포인트 검출을 수행한 다음, 상기 위치 회귀에 의해 얻은 키포인트 및 상기 키포인트 검출에 의해 얻은 키포인트를 융합시켜, 상기 위치결정 요소에서의 키포인트의 위치 정보를 최종적으로 결정하여 최종 결정된 키포인트의 위치 정밀도를 향상시킨다.
단계 S203에서, 상기 키포인트의 위치 정보 및 상기 어라운드 뷰 스티칭 픽처 내의 각 픽셀 점의 픽셀 위치를 결합시켜 동일한 위치에서의 키포인트의 유형 및 픽셀 점의 시맨틱 유형을 매칭시킨다.
단계 S204에서, 매칭 결과 및 미리 설정된 융합 전략에 따라, 각 위치결정 요소에서의 키포인트의 위치 정보를 보정하여, 위치결정 요소 검출 결과를 획득한다.
여기서, 동일한 위치에서의 키포인트의 유형 및 픽셀 점의 시맨틱 유형이 매칭되지 않을 경우, 검출하여 얻은 위치결정 요소 및 이의 키포인트가 정확하지 않다는 것을 나타낸다. 따라서, 시맨틱 분할의 결과를 기준으로 하는 융합 전략을 선택하여, 위치결정 요소에서의 키포인트의 위치 정보를 보정할 수 있으며, 각각 시맨틱 분할의 방식과 모델 검출의 방식을 통해 얻은 동일한 위치에서의 동일한 유형의 요소의 위치 결과를 가중 융합하는 것을 선택하여 키포인트의 위치 정보를 보정할 수도 있다. 이로써, 매칭 융합 방식을 통해 정확한 키포인트 위치를 최종적으로 획득하고 나아가 더 정확한 위치결정 요소 검출 결과를 획득한다.
본 출원의 실시예의 기술 방안은, 어라운드 뷰 스티칭 픽처를 입력으로 하고 차량 주위 지면에 자연적으로 존재하는 목표물을 위치결정 요소로 하여 검출하고, 픽셀 점의 시맨틱 정보에 기반하여 위치결정 요소를 매칭 융합하는바, 일반 센서에 있어서 시야가 제한적인 문제가 회피될 뿐만 아니라, 어떠한 주차장측 개조와 배치도 필요하지 않고, 동시에 픽셀 점의 시맨틱 분할 결과를 결합시켜 위치결정 요소에서의 키포인트의 위치를 추가로 교정하는바, 위치결정 요소의 검출 정밀도를 향상시킬 수 있다.
도 3은 본 출원의 제3 실시예에 따른 위치결정 요소 검출 방법의 개략적인 흐름도이고, 본 실시예는 상기 실시예에 기초하여 더 최적화된다. 도 3에 도시한 바와 같이, 당해 방법은 구체적으로 하기와 같은 단계를 포함한다.
단계 S301에서, 차량 주위의 어라운드 뷰 스티칭 픽처를 획득한다.
단계 S302에서, 사전 트레이닝된 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처를 검출하고 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점에 대해 시맨틱 분할을 수행하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소의 정보, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정한다. 여기서, 상기 위치결정 요소의 정보는 적어도 위치결정 요소의 유형 및 위치 정보, 및 상기 위치결정 요소에서의 키포인트의 유형 및 위치 정보를 포함한다.
단계 S303에서, 상기 위치결정 요소의 유형이 주차 위치 번호이면, 상기 심층 신경망 모델로부터 주차 위치 번호 검출 박스를 추출한다.
단계 S304에서, 상기 주차 위치 번호 검출 박스가 속한 주차 위치에서의, 상기 주차 위치 번호에 근접한 2개의 주차 위치 코너 점의 연결선과, 상기 어라운드 뷰 스티칭 픽처의 이미지 좌표계 횡축 사이의 협각을 계산한다.
단계 S305에서, 상기 주차 위치 번호 검출 박스의 중심점 및 상기 협각에 따라, 상기 주차 위치 번호 검출 박스의 상기 심층 신경망 모델에서의 대응되는 주차 위치 번호 특징 맵을 회전시켜, 회전 후 대응되는 주차 위치 번호가 상기 이미지 좌표계에서 수평을 이루도록 한다.
단계 S306에서, 문자 분류기(character classifier)를 이용하여 회전된 주차 위치 번호 특징 맵에 대해 주차 위치 번호를 인식한다.
단계 S307에서, 상기 시맨틱 유형을 이용하여 상기 적어도 하나의 위치결정 요소를 매칭 융합하여 위치결정 요소 검출 결과를 획득한다.
상기 단계 S303 ~ S306의 조작에서, 주차 위치 번호에 대한 인식을 구현한다. 주차 위치 번호는 지면의 위치결정 요소에서 매우 중요한 정보이고 전역 ID를 구비하는 유일한 위치결정 요소인바, 따라서 주차 위치 번호도 위치결정 요소로 하여 검출하고 주차 위치 번호를 인식함으로써 맵에서 차량이 위치한 절대 위치를 결정할 수 있고 나아가 위치결정 정밀도를 향상시킬 수 있다.
구체적으로, 먼저 주차 위치 번호 검출 박스를 추출한 다음 검출 박스가 속한 주차 위치에서, 상기 주차 위치 번호에 근접한 2개의 주차 위치 코너 점의 연결선과, 어라운드 뷰 스티칭 픽처의 이미지 좌표계 횡축 사이의 협각을 결정한 이후, 모델 중 대응되는 검출 박스의 주차 위치 번호 특징 맵을 각도에 따라 회전시켜 이에 대응되는 주차 위치 번호가 회전되어 이미지 좌표계에서 수평을 이루도록 하며, 마지막에 회전된 주차 위치 번호 특징 맵을 문자 분류기에 입력하여 주차 위치 번호를 인식한다.
실제 생활에서, 주차 위치 번호는 일반적으로 주차 위치의 앞단, 다시 말해서 차량이 막 주차 자리로 진입할 때 지나가는 일단, 즉 주차 위치에서 주차 위치 번호에 근접하는 2개의 주차 위치 코너 점의 연결선 일단에 위치하며, 주차 위치 번호는 일반적으로, 사람들이 주차 위치를 마주할 때 좌측으로부터 우측 방향으로 표기되므로, 상기 심층 신경망 모델은 주차 위치에서 주차 위치 번호에 근접하는 좌, 우 2개의 코너 점에 대한 인식을 통해, 나아가 2개의 코너 점의 연결선을 결정할 수 있고, 이로써 회전 방향을 결정하여 회전된 후의 특징 맵에서 대응되는 주차 위치 번호는 비록 수평을 이루지만 주차 위치 번호 문자는 거꾸로 되는 현상을 방지한다.
이밖에, 본 출원의 실시예에서, 상기 심층 신경망 모델에는 특히 지면의 광 반사 영역을 검출하기 위한 분기가 더 포함되는바, 여기서, 광 반사 영역의 검출 알고리즘에 대해서, 본 출원은 어떠한 한정도 하지 않으며, 종래 기술에서의 임의의 알고리즘을 사용할 수 있다.
또한, 본 출원의 실시예의 방법은, 상기 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처에 존재하는 광 반사 영역을 검출하는 단계를 더 포함하고;
대응되게, 상기 위치결정 요소 검출 결과를 획득하기 이전에, 상기 방법은,
상기 광 반사 영역 검출 결과를 결합시켜, 위치 정보가 상기 광 반사 영역에 속하는 위치결정 요소를 필터링하는 단계를 더 포함한다.
실내외 환경에서, 특히 실내 환경에서, 일반적으로 광 반사 현상이 발생하는데, 그러면 광 반사 영역의 위치결정 요소 검출 결과가 정확하지 않다. 따라서, 광 반사 영역를 검출하고, 또한 검출 결과를 이용하여 위치결정 요소를 필터링하여 이러한 광 반사 영역 내에서 발생되는 위치결정 요소를 제거함으로써 위치결정 요소 검출의 정확성을 더욱 향상시킨다.
여기서 설명해야 할 것은, 일 실시 형태에서, 심층 신경망 모델의 경우, 이는 적어도 위치결정 요소를 포함하는 정보, 키포인트 검출의 정보, 및 각 픽셀 점 시맨틱 분할의 정보, 광 반사 영역의 정보를 출력한다. 이러한 출력은 후처리 모듈에 제공되어, 키포인트 검출의 정보를 위치결정 요소에서의 키포인트에 정밀 매칭되어 키포인트 검출 정밀도를 향상시킬 수 있고; 나아가, 정밀 매칭하여 얻은 키포인트와 상기 시맨틱 분할의 정보에 대한 매칭 융합을 구현할 수 있는바, 그 목적은 마찬가지로 검출 정밀도를 나아가 더 향상시키는 것이고; 이밖에, 주차 위치 번호에 대한 인식, 및 광 반사 영역을 이용한 위치결정 요소에 대한 융합 필터링을 구현할 수 있고; 물론, 검출된 차선에 대한 포인트 클러스터링을 통해 차선 포인트 선별을 구현할 수 있으며, 이로써 차선 검출 정밀도를 향상시킨다. 그리고, 상기 후처리 모듈에서 각 조작의 수행 순서에 대해서, 본 출원의 실시예는 어떠한 한정도 하지 않는다.
본 출원의 실시예의 기술 방안은, 어라운드 뷰 스티칭 픽처를 입력으로 하고 차량 주위 지면에 자연적으로 존재하는 목표물을 위치결정 요소로 하여 검출하고, 픽셀 점의 시맨틱 정보에 기반하여 위치결정 요소를 매칭 융합하는바, 일반 센서에 있어서 시야가 제한적인 문제가 회피될 뿐만 아니라, 어떠한 주차장측 개조와 배치도 필요하지 않고, 동시에, 심층 신경망 모델을 이용하여 어라운드 뷰 스티칭 픽처 내의 위치결정 요소를 검출하는바, 시맨틱 기반의 특징 포인트 검출이 구현되고 종래 기술에서의 이미지 특징 포인트가 불안정적이고 환경 요소의 영향을 쉽게 받는 문제가 회피되고 강건성이 더 양호하다. 또한, 주차 위치 번호를 검출함에 있어서는, 더우기 차량이 위치한 절대 위치를 결정할 수 있고 위치결정 정밀도를 향상시킬 수 있다. 마지막으로, 광 반사 영역에 대한 검출은 위치결정 요소 검출의 정확성을 나아가 더 향상시킨다.
도 4는 본 출원의 제4 실시예에 따른 위치결정 요소 검출 장치의 개략적인 구조도이고, 본 실시예가 적용될 수 있는 경우이다. 당해 장치는 본 출원의 어느 한 실시예에 따른 위치결정 요소 검출 방법을 구현할 수 있다. 도 4에 도시한 바와 같이, 당해 장치(400)는 구체적으로,
차량 주위의 어라운드 뷰 스티칭 픽처를 획득하기 위한 이미지 획득 모듈(401);
상기 어라운드 뷰 스티칭 픽처를 검출하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하기 위한 위치결정 요소 검출 모듈(402);
상기 시맨틱 유형을 이용하여 상기 적어도 하나의 위치결정 요소를 매칭 융합하여 위치결정 요소 검출 결과를 획득하기 위한 매칭 융합 모듈(403);을 포함한다.
선택적으로, 상기 위치결정 요소는 주차 위치, 주차 위치 번호, 차선, 지면 화살표, 과속방지턱 및 횡단보도 중 적어도 하나를 포함한다.
선택적으로, 상기 위치결정 요소 검출 모듈(402)은 구체적으로,
사전 트레이닝된 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처를 검출하고 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점에 대해 시맨틱 분할을 수행하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소의 정보, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하기 위한 것이다.
선택적으로, 상기 위치결정 요소의 정보는 적어도 위치결정 요소의 유형 및 위치 정보, 및 상기 위치결정 요소에서의 키포인트의 유형 및 위치 정보를 포함한다.
선택적으로, 상기 매칭 융합 모듈(403)은,
상기 키포인트의 위치 정보 및 상기 어라운드 뷰 스티칭 픽처 내의 각 픽셀 점의 픽셀 위치를 결합시켜 동일한 위치에서의 키포인트의 유형 및 픽셀 점의 시맨틱 유형을 매칭시키기 위한 매칭 유닛; 및
매칭 결과 및 미리 설정된 융합 전략에 따라, 각 위치결정 요소에서의 키포인트의 위치 정보를 보정하기 위한 보정 유닛;을 포함한다.
선택적으로, 상기 심층 신경망 모델은, 위치결정 요소 검출 분기 및 키포인트 검출 분기를 포함하되; 상기 위치결정 요소 검출 분기는 위치결정 요소에 대해 목표물 분류 및 키포인트의 위치 회귀를 수행하기 위한 것이고, 상기 키포인트 검출 분기는 키포인트를 검출하기 위한 것이며;
대응되게, 상기 위치결정 요소에서의 키포인트의 위치 정보는, 상기 위치 회귀에 의해 얻은 키포인트와 상기 키포인트 검출에 의해 얻은 키포인트를 융합하여 결정된다.
선택적으로, 상기 장치는, 주차 위치 번호 검출 모듈을 더 포함하되, 구체적으로 상기 매칭 융합 모듈이 위치결정 요소 검출 결과를 획득하기 이전에, 하기한 바와 같이,
상기 위치결정 요소의 유형이 주차 위치 번호이면, 상기 심층 신경망 모델로부터 주차 위치 번호 검출 박스를 추출하는 것;
상기 주차 위치 번호 검출 박스가 속한 주차 위치에서의, 상기 주차 위치 번호에 근접한 2개의 주차 위치 코너 점의 연결선과, 상기 어라운드 뷰 스티칭 픽처의 이미지 좌표계 횡축 사이의 협각을 계산하는 것;
상기 주차 위치 번호 검출 박스의 중심점 및 상기 협각에 따라, 상기 주차 위치 번호 검출 박스의 상기 심층 신경망 모델에서의 대응되는 주차 위치 번호 특징 맵을 회전시켜, 회전 후 대응되는 주차 위치 번호가 상기 이미지 좌표계에서 수평을 이루도록 하는 것; 및
문자 분류기를 이용하여 회전된 주차 위치 번호 특징 맵에 대해 주차 위치 번호를 인식하는 것을 포함하는 조작을 수행한다.
선택적으로, 상기 위치결정 요소 검출 모듈(402)은 또한, 상기 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처에 존재하는 광 반사 영역을 검출하기 위한 것이고;
대응되게, 상기 장치는, 상기 매칭 융합 모듈이 위치결정 요소 검출 결과를 획득하기 이전에, 상기 광 반사 영역 검출 결과를 결합시켜, 위치 정보가 상기 광 반사 영역에 속하는 위치결정 요소를 필터링하기 위한 위치결정 요소 필터 모듈을 더 포함한다.
선택적으로, 상기 이미지 획득 모듈(401)은,
상기 차량 사방 주위에 위치하는 어안 카메라에 의해 수집된 이미지를 각각 획득하기 위한 이미지 획득 유닛; 및
상기 이미지를 스티칭하여 상기 어라운드 뷰 스티칭 픽처를 획득하기 위한 이미지 스티칭 유닛;을 포함한다.
본 출원의 실시예에서 제공된 위치결정 요소 검출 장치(400)는 본 출원의 임의의 실시예에서 제공된 위치결정 요소 검출 방법을 수행할 수 있으며, 수행 방법에 대응되는 기능 모듈과 유익한 효과를 가진다. 본 실시예에서 상세하게 설명되지 않은 내용은 본 출원의 임의의 방법 실시예의 설명을 참조할 수 있다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독 가능 저장 매체를 더 제공한다.
본 출원의 실시예에 따르면, 본 출원은, 비일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 더 제공하는바, 상기 컴퓨터 프로그램은 상기 컴퓨터가 본 출원에서 제공된 위치결정 요소 검출 방법을 수행하도록 한다.
도 5에 도시한 바와 같이, 본 출원의 실시예의 위치결정 요소 검출 방법에 따른 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 작업대, 개인정보단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내는 것을 목적으로 한다. 전자 기기는 또한 개인 디지털 처리, 셀룰러폰, 스마트폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에서 도시한 컴포넌트, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시로서 사용될 뿐, 본 명세서에서 설명한 및/또는 청구하는 본 출원의 구현을 한정하도록 의도되지 않는다.
도 5에 도시한 바와 같이, 당해 전자 기기는, 하나 또는 다수의 프로세서(501), 메모리(502)，및 각 컴포넌트를 연결하기 위한 고속 인터페이스 및 저속 인터페이스와 같은 인터페이스를 포함한다. 각 컴포넌트는 서로 다른 버스를 통해 서로 연결되고, 또한 공용 마더 보드에 설치되거나 필요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 메모리에 저장되거나 또는 외부 입력/출력 장치(예를 들면, 인터페이스에 커플링되는 디스플레이 기기)에 GUI의 그래픽 정보를 디스플레이하기 위한 메모리 내의 명령을 포함하여, 전자 기기 내에서 실행되는 명령을 처리할 수 있다. 다른 실시 형태에서, 필요에 따라, 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 기기에 연결될 수 있으며, 각 기기는 일부 필요한 조작을 제공한다(예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 멀티 프로세서 시스템으로서 사용됨). 도 5에서는 하나의 프로세서(501)를 예로 한다.
메모리(502)는 본 출원에서 제공된 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원에서 제공된 위치결정 요소 검출 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장하며, 당해 컴퓨터 명령은 컴퓨터에 의해 본 출원에서 제공된 위치결정 요소 검출 방법이 수행되도록 한다.
메모리(502)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예를 들어본 출원의 실시예에서의 위치결정 요소 검출 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 4에 도시한 이미지 획득 모듈(401), 위치결정 요소 검출 모듈(402) 및 매칭 융합 모듈(403))을 저장하는데 사용될 수 있다. 프로세서(501)는 메모리(502)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여 서버의 다양한 기능 응용 및 데이터 처리를 수행하는바, 즉 상기 방법 실시예에서의 위치결정 요소 검출 방법을 구현한다.
메모리(502)는 저장 프로그램 영역 및 저장 데이터 영역을 포함할 수 있으며, 여기서 저장 프로그램 영역은 운영 체제, 적어도 하나의 기능에 의해 요구되는 애플리케이션 프로그램을 저장할 수 있고; 저장 데이터 영역은 본 출원의 실시예의 위치결정 요소 검출법을 구현하는 전자 기기의 사용에 따라 구축된 데이터 등을 저장할 수 있다. 이밖에, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 저장 장치, 플래시 메모리 장치 또는 기타 비일시적 고체 상태 메모리 장치와 같은 비일시적 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(502)는 프로세서(501)에 대해 원격으로 설치되는 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 본 출원의 실시예의 위치결정 요소 검출 방법을 구현하는 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 인트라넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 한정되지는 않는다.
본 출원의 실시예의 위치결정 요소 검출 방법을 구현하는 전자 기기는, 입력 장치(503) 및 출력 장치(504)를 더 포함할 수 있다. 프로세서(501), 메모리(502), 입력 장치(503) 및 출력 장치(504)는 버스를 통해 연결되거나 기타 방식에 의해 연결될 수 있고, 도 5에서는 버스를 통해 연결되는 것을 예로 한다.
입력 장치(503)는 입력된 디지털 또는 문자 정보를 수신할 수 있고, 본 출원의 실시예의 위치결정 요소 검출 방법을 구현하는 전자 기기의 사용자 설정 및 기능 제어와 관련되는 키 신호 입력을 생성하며, 예를 들면, 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱과 같은 입력 장치가 있다. 출력 장치(504)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이 장치(LCD), 발광 다이오드(LED) 디스플레이 장치 및 플라즈마 디스플레이 장치를 포함할 수 있지만, 이에 한정되지는 않는다. 일부 실시 형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기서 설명하는 시스템 및 기술의 다양한 실시 형태는 디지털 전자 회로시스템, 집적 회로 시스템, 주문형ASIC(주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시 형태는, 하나 또는 다수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 당해 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 수행 및/또는 해석될 수 있으며, 당해 프로그램 가능 프로세서는 전용적이거나 일반 프로그램 가능 프로세서일 수 있고, 메모리 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고 데이터 및 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치, 및 당해 적어도 하나의 출력 장치로 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드라고도 지칭됨)은 프로그램 가능 프로세서의 기계 명령을 포함하고, 또한 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨팅 프로그램을 구현할 수 있다. 본 명세서에 사용된 바와 같이, 용어 ‘기계 판독 가능 매체’ 및 ‘컴퓨터 판독 가능 매체’는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 가리키며, 기계 판독 가능 신호로서의 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 ‘기계 판독 가능 신호’는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위해, 여기에 설명하는 시스템 및 기술을 컴퓨터에서 구현할 수 있으며, 당해 컴퓨터는, 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD (액정 디스플레이 장치) 모니터임); 및 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 구비하며, 사용자는 당해 키보드와 당해 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 다른 유형의 장치는 또한 사용자와의 인터랙션을 제공하는데 사용될 수 있으며, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고; 임의의 형태(음향 입력, 음성 입력 또는 촉각 입력을 포함함)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명하는 시스템 및 기술은, 백-엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서 사용됨), 또는 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트-엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 사용자 컴퓨터이며, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 웹 브라우저에 의해 여기서 설명되는 시스템 및 기술의 실시 형태와 인터랙션할 수 있음), 또는 이러한 백-엔드 컴포넌트, 미들웨어 컴포넌트, 또는 프론트-엔드 컴포넌트를 포함하는 임의의 조합의 컴퓨팅 시스템에서 구현될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 시스템의 컴포넌트를 상호 연결할 수 있다. 통신 네트워크의 예로는, 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷 및 블록 체인 네트워크가 포함된다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있으며 통신 네트워크를 통해 상호 작용한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램으로 클라이언트와 서버의 관계를 생성한다.
본 출원의 실시예에 따른 기술 방안은, 어라운드 뷰 스티칭 픽처를 입력으로 하고 차량 주위 지면에 자연적으로 존재하는 목표물을 위치결정 요소로 하여 검출하고, 픽셀 점의 시맨틱 정보에 기반하여 위치결정 요소를 매칭 융합하는바, 일반 센서에 있어서 시야가 제한적인 문제가 회피될 뿐만 아니라, 어떠한 주차장측 개조와 배치도 필요하지 않고, 동시에, 심층 신경망 모델을 이용하여 어라운드 뷰 스티칭 픽처 내의 위치결정 요소를 검출하는바, 시맨틱 기반의 특징 포인트 검출이 구현되고 종래 기술에서의 이미지 특징 포인트가 불안정적이고 환경 요소의 영향을 쉽게 받는 문제가 회피되고 강건성이 더 양호하다. 그리고, 픽셀 점의 시맨틱 분할 결과를 결합시켜 위치결정 요소에서의 키포인트의 위치를 추가로 교정하는바, 나아가 위치결정 요소의 검출 정밀도를 향상시킬 수 있다. 또한, 주차 위치 번호를 검출함에 있어서는, 더우기 차량이 위치한 절대 위치를 결정할 수 있고 위치결정 정밀도를 향상시킬 수 있다. 마지막으로, 광 반사 영역에 대한 검출은 위치결정 요소 검출의 정확성을 나아가 더 향상시킨다.
상기에 서술된 다양한 형태의 프로세스를 사용하여, 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 할 것이다. 예를 들어, 본 출원에 기재된 각 단계는 병렬, 순차적 또는 서로 다른 순서로 수행될 수 있으며, 본 출원에 개시된 기술 방안의 기대 결과가 구현될 수 있는 한, 명세서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시 형태는 본 출원의 보호 범위에 대해 한정하지 않는다. 당업자라면 설계 요구와 기타 요소에 따라, 다양한 수정, 조합, 서브 조합 및 치환이 이루어질 수 있음을 이해해야 할 것이다. 본 출원의 사상과 원칙 이내에서 이루어진 임의의 수정, 등가 교체 및 개선 등은 모두 본 출원의 보호 범위 이내에 포함되어야 한다.

Claims (21)

  1. 위치결정 요소 검출 방법에 있어서,
    차량 주위의 어라운드 뷰 스티칭 픽처를 획득하는 단계;
    상기 어라운드 뷰 스티칭 픽처를 검출하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하는 단계; 및
    상기 시맨틱 유형을 이용하여 상기 적어도 하나의 위치결정 요소를 매칭 융합하여 위치결정 요소 검출 결과를 획득하는 단계;를 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 방법.
  2. 제1항에 있어서,
    상기 위치결정 요소는 주차 위치, 주차 위치 번호, 차선, 지면 화살표, 과속방지턱 및 횡단보도 중 적어도 하나를 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 방법.
  3. 제1항에 있어서,
    상기 어라운드 뷰 스티칭 픽처를 검출하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하는 단계는,
    사전 트레이닝된 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처를 검출하고 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점에 대해 시맨틱 분할을 수행하여, 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소의 정보, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하는 단계;를 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 방법.
  4. 제3항에 있어서,
    상기 위치결정 요소의 정보는 적어도 위치결정 요소의 유형 및 위치 정보, 및 상기 위치결정 요소에서의 키포인트의 유형 및 위치 정보를 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 방법.
  5. 제4항에 있어서,
    상기 시맨틱 유형을 이용하여 상기 적어도 하나의 위치결정 요소를 매칭 융합하는 단계는,
    상기 키포인트의 위치 정보 및 상기 어라운드 뷰 스티칭 픽처 내의 각 픽셀 점의 픽셀 위치를 결합시켜 동일한 위치에서의 키포인트의 유형 및 픽셀 점의 시맨틱 유형을 매칭시키는 단계; 및
    매칭 결과 및 미리 설정된 융합 전략에 따라, 각 위치결정 요소에서의 키포인트의 위치 정보를 보정하는 단계;를 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 방법.
  6. 제4항에 있어서,
    상기 심층 신경망 모델은, 위치결정 요소 검출 분기 및 키포인트 검출 분기를 포함하되; 상기 위치결정 요소 검출 분기는 위치결정 요소에 대해 목표물 분류 및 키포인트의 위치 회귀를 수행하기 위한 것이고, 상기 키포인트 검출 분기는 키포인트를 검출하기 위한 것이며;
    대응되게, 상기 위치결정 요소에서의 키포인트의 위치 정보는, 상기 위치 회귀에 의해 얻은 키포인트와 상기 키포인트 검출에 의해 얻은 키포인트를 융합하여 결정되는,
    것을 특징으로 하는 위치결정 요소 검출 방법.
  7. 제4항에 있어서,
    상기 위치결정 요소 검출 결과를 획득하기 이전에, 상기 위치결정 요소 검출 방법은,
    상기 위치결정 요소의 유형이 주차 위치 번호이면, 상기 심층 신경망 모델로부터 주차 위치 번호 검출 박스를 추출하는 단계;
    상기 주차 위치 번호 검출 박스가 속한 주차 위치에서의, 상기 주차 위치 번호에 근접한 2개의 주차 위치 코너 점의 연결선과, 상기 어라운드 뷰 스티칭 픽처의 이미지 좌표계 횡축 사이의 협각을 계산하는 단계;
    상기 주차 위치 번호 검출 박스의 중심점 및 상기 협각에 따라, 상기 주차 위치 번호 검출 박스의 상기 심층 신경망 모델에서의 대응되는 주차 위치 번호 특징 맵을 회전시켜, 회전 후 대응되는 주차 위치 번호가 상기 이미지 좌표계에서 수평을 이루도록 하는 단계; 및
    문자 분류기를 이용하여 회전된 주차 위치 번호 특징 맵에 대해 주차 위치 번호를 인식하는 단계;를 더 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 방법.
  8. 제4항에 있어서,
    상기 위치결정 요소 검출 방법은,
    상기 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처에 존재하는 광 반사 영역을 검출하는 단계;를 더 포함하고,
    대응되게, 상기 위치결정 요소 검출 결과를 획득하기 이전에, 상기 방법은,
    상기 광 반사 영역 검출 결과를 결합시켜, 위치 정보가 상기 광 반사 영역에 속하는 위치결정 요소를 필터링하는 단계;를 더 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 방법.
  9. 제1항에 있어서,
    상기 차량 주위의 어라운드 뷰 스티칭 픽처를 획득하는 단계는,
    상기 차량 사방 주위에 위치하는 어안 카메라에 의해 수집된 이미지를 각각 획득하는 단계; 및
    상기 이미지를 스티칭하여 상기 어라운드 뷰 스티칭 픽처를 획득하는 단계;를 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 방법.
  10. 위치결정 요소 검출 장치에 있어서,
    차량 주위의 어라운드 뷰 스티칭 픽처를 획득하기 위한 이미지 획득 모듈;
    상기 어라운드 뷰 스티칭 픽처를 검출하여 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하기 위한 위치결정 요소 검출 모듈; 및
    상기 시맨틱 유형을 이용하여 상기 적어도 하나의 위치결정 요소를 매칭 융합하여 위치결정 요소 검출 결과를 획득하기 위한 매칭 융합 모듈;을 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 장치.
  11. 제10항에 있어서,
    상기 위치결정 요소는 주차 위치, 주차 위치 번호, 차선, 지면 화살표, 과속방지턱 및 횡단보도 중 적어도 하나를 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 장치.
  12. 제10항 또는 제11항에 있어서,
    상기 위치결정 요소 검출 모듈은 구체적으로,
    사전 트레이닝된 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처를 검출하고 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점에 대해 시맨틱 분할을 수행하여, 상기 차량 주위 지면에 존재하는 적어도 하나의 위치결정 요소의 정보, 및 상기 어라운드 뷰 스티칭 픽처의 각 픽셀 점이 속하는 시맨틱 유형을 결정하는,
    것을 특징으로 하는 위치결정 요소 검출 장치.
  13. 제12항에 있어서,
    상기 위치결정 요소의 정보는 적어도 위치결정 요소의 유형 및 위치 정보, 및 상기 위치결정 요소에서의 키포인트의 유형 및 위치 정보를 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 장치.
  14. 제13항에 있어서,
    상기 매칭 융합 모듈은,
    상기 키포인트의 위치 정보 및 상기 어라운드 뷰 스티칭 픽처 내의 각 픽셀 점의 픽셀 위치를 결합시켜 동일한 위치에서의 키포인트의 유형 및 픽셀 점의 시맨틱 유형을 매칭시키기 위한 매칭 유닛; 및
    매칭 결과 및 미리 설정된 융합 전략에 따라, 각 위치결정 요소에서의 키포인트의 위치 정보를 보정하기 위한 보정 유닛;을 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 장치.
  15. 제13항에 있어서,
    상기 심층 신경망 모델은, 위치결정 요소 검출 분기 및 키포인트 검출 분기를 포함하되; 상기 위치결정 요소 검출 분기는 위치결정 요소에 대해 목표물 분류 및 키포인트의 위치 회귀를 수행하기 위한 것이고, 상기 키포인트 검출 분기는 키포인트를 검출하기 위한 것이며;
    대응되게, 상기 위치결정 요소에서의 키포인트의 위치 정보는, 상기 위치 회귀에 의해 얻은 키포인트와 상기 키포인트 검출에 의해 얻은 키포인트를 융합하여 결정되는,
    것을 특징으로 하는 위치결정 요소 검출 장치.
  16. 제13항에 있어서,
    상기 장치는, 주차 위치 번호 검출 모듈을 더 포함하되, 구체적으로 상기 매칭 융합 모듈이 위치결정 요소 검출 결과를 획득하기 이전에, 하기한 바와 같이,
    상기 위치결정 요소의 유형이 주차 위치 번호이면, 상기 심층 신경망 모델로부터 주차 위치 번호 검출 박스를 추출하는 것;
    상기 주차 위치 번호 검출 박스가 속한 주차 위치에서의, 상기 주차 위치 번호에 근접한 2개의 주차 위치 코너 점의 연결선과, 상기 어라운드 뷰 스티칭 픽처의 이미지 좌표계 횡축 사이의 협각을 계산하는 것;
    상기 주차 위치 번호 검출 박스의 중심점 및 상기 협각에 따라, 상기 주차 위치 번호 검출 박스의 상기 심층 신경망 모델에서의 대응되는 주차 위치 번호 특징 맵을 회전시켜, 회전 후 대응되는 주차 위치 번호가 상기 이미지 좌표계에서 수평을 이루도록 하는 것; 및
    문자 분류기를 이용하여 회전된 주차 위치 번호 특징 맵에 대해 주차 위치 번호를 인식하는 것을 포함하는 조작을 수행하는,
    것을 특징으로 하는 위치결정 요소 검출 장치.
  17. 제13항에 있어서,
    상기 위치결정 요소 검출 모듈은 또한, 상기 심층 신경망 모델을 이용하여 상기 어라운드 뷰 스티칭 픽처에 존재하는 광 반사 영역을 검출하며;
    대응되게, 상기 장치는, 상기 매칭 융합 모듈이 위치결정 요소 검출 결과를 획득하기 이전에, 상기 광 반사 영역 검출 결과를 결합시켜, 위치 정보가 상기 광 반사 영역에 속하는 위치결정 요소를 필터링하기 위한 위치결정 요소 필터 모듈을 더 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 장치.
  18. 제10항에 있어서,
    상기 이미지 획득 모듈은,
    상기 차량 사방 주위에 위치하는 어안 카메라에 의해 수집된 이미지를 각각 획득하기 위한 이미지 획득 유닛; 및
    상기 이미지를 스티칭하여 상기 어라운드 뷰 스티칭 픽처를 획득하기 위한 이미지 스티칭 유닛;을 포함하는,
    것을 특징으로 하는 위치결정 요소 검출 장치.
  19. 전자 기기에 있어서,
    상기 전자 기기 사방 주위에 위치하여 이미지를 수집하기 위한 어안 카메라;
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 통신가능하게 연결되는 메모리;를 포함하되,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서가 제1항 내지 제9항 중 어느 한 항에 따른 위치결정 요소 검출 방법을 수행할 수 있도록 하는,
    것을 특징으로 하는 전자 기기.
  20. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제9항 중 어느 한 항에 따른 위치결정 요소 검출 방법을 수행하도록 하는,
    것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체.
  21. 비일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 상기 컴퓨터가 제1항 내지 제9항 중 어느 한 항에 따른 위치결정 요소 검출 방법을 수행하도록 하는,
    것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020210006649A 2020-01-21 2021-01-18 위치결정 요소 검출 방법, 장치, 기기 및 매체 KR102436300B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010072016.9A CN111274974B (zh) 2020-01-21 2020-01-21 定位元素检测方法、装置、设备和介质
CN202010072016.9 2020-01-21

Publications (2)

Publication Number Publication Date
KR20210094476A true KR20210094476A (ko) 2021-07-29
KR102436300B1 KR102436300B1 (ko) 2022-08-25

Family

ID=71001255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210006649A KR102436300B1 (ko) 2020-01-21 2021-01-18 위치결정 요소 검출 방법, 장치, 기기 및 매체

Country Status (5)

Country Link
US (1) US11335101B2 (ko)
EP (1) EP3855351B1 (ko)
JP (1) JP7228559B2 (ko)
KR (1) KR102436300B1 (ko)
CN (1) CN111274974B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402314A (zh) * 2023-05-31 2023-07-07 北京拓普丰联信息科技股份有限公司 一种信息提示方法、装置、设备和介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150550B (zh) * 2020-09-23 2021-07-27 华人运通(上海)自动驾驶科技有限公司 一种融合定位方法及装置
CN112464934A (zh) * 2020-12-08 2021-03-09 广州小鹏自动驾驶科技有限公司 一种车位号检测方法、装置和设备
CN113177502B (zh) * 2021-05-13 2024-02-02 北京罗克维尔斯科技有限公司 环视障碍物检测方法、装置、介质、车载系统以及车辆
CN113276845A (zh) * 2021-07-02 2021-08-20 上海追势科技有限公司 一种带有显示增强功能的自动泊车方法
CN113674199A (zh) * 2021-07-06 2021-11-19 浙江大华技术股份有限公司 停车位检测方法、电子设备及存储介质
CN113781300B (zh) * 2021-08-17 2023-10-13 东风汽车集团股份有限公司 一种用于远距离自主泊车的车辆视觉定位方法
CN113762272B (zh) * 2021-09-10 2024-06-14 北京精英路通科技有限公司 道路信息的确定方法、装置和电子设备
CN114111815B (zh) * 2021-11-01 2023-02-03 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114530056B (zh) * 2022-02-15 2023-05-02 超级视线科技有限公司 一种基于定位信息和图像信息的停车管理方法及系统
KR20240020543A (ko) * 2022-08-08 2024-02-15 현대자동차주식회사 차량의 카메라 캘리브레이션 장치 및 방법
CN115497099B (zh) * 2022-09-23 2023-04-18 神州数码系统集成服务有限公司 一种基于圆周扫描式的单一字符图像匹配识别方法
CN115294204B (zh) * 2022-10-10 2023-03-17 浙江光珀智能科技有限公司 一种户外目标定位方法及系统
CN117131150B (zh) * 2023-10-26 2023-12-26 毫末智行科技有限公司 电子地图的生成方法、装置、车辆和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01113665A (ja) * 1987-10-27 1989-05-02 Fuji Heavy Ind Ltd スリップ検出装置
KR20190076815A (ko) * 2018-03-27 2019-07-02 한화시스템 주식회사 전자 장치의 이동체 포즈 추정 방법
US20190325580A1 (en) * 2019-06-26 2019-10-24 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244098B2 (en) * 2015-01-27 2019-03-26 Prasad Muthukumar Autonomous mobility, orientation and rotation providing mechanism for mobile devices [AMORPM]
US10657364B2 (en) * 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
CN117824676A (zh) * 2016-12-09 2024-04-05 通腾全球信息公司 用于基于视频的定位及映射的方法及系统
JP6930394B2 (ja) * 2017-11-24 2021-09-01 トヨタ自動車株式会社 物体認識装置
CN108090455B (zh) * 2017-12-27 2023-08-22 北京纵目安驰智能科技有限公司 基于级联机制的车位线顶点定位方法、系统、终端及介质
US10650531B2 (en) * 2018-03-16 2020-05-12 Honda Motor Co., Ltd. Lidar noise removal using image pixel clusterings
US11100366B2 (en) * 2018-04-26 2021-08-24 Volvo Car Corporation Methods and systems for semi-automated image segmentation and annotation
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
JP2019207541A (ja) * 2018-05-29 2019-12-05 株式会社日立製作所 画像処理装置及びその方法
CN110617821B (zh) * 2018-06-19 2021-11-02 北京嘀嘀无限科技发展有限公司 定位方法、装置及存储介质
CN109141444B (zh) * 2018-08-28 2019-12-06 北京三快在线科技有限公司 定位方法、装置、存储介质及移动设备
CN110136049B (zh) * 2018-10-30 2023-07-11 北京魔门塔科技有限公司 一种基于环视图像与轮速计融合的定位方法及车载终端
CN109374008A (zh) * 2018-11-21 2019-02-22 深动科技（北京）有限公司 一种基于三目摄像头的图像采集系统及方法
CN110210280B (zh) * 2019-03-01 2024-04-19 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质
US11092456B2 (en) * 2019-03-08 2021-08-17 Aptiv Technologies Limited Object location indicator system and method
CN109945858B (zh) * 2019-03-20 2021-04-13 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
CN109949609B (zh) * 2019-04-30 2020-11-13 广州小鹏汽车科技有限公司 一种车辆的定位修正方法及系统、车辆
CN110163176B (zh) * 2019-05-28 2021-06-18 北京百度网讯科技有限公司 车道线变化位置识别方法、装置、设备和介质
CN110595459B (zh) * 2019-09-18 2021-08-17 百度在线网络技术（北京）有限公司 车辆定位方法、装置、设备和介质
US11789155B2 (en) * 2019-12-23 2023-10-17 Zoox, Inc. Pedestrian object detection training
CN111274343B (zh) * 2020-01-20 2023-11-24 阿波罗智能技术(北京)有限公司 一种车辆定位方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01113665A (ja) * 1987-10-27 1989-05-02 Fuji Heavy Ind Ltd スリップ検出装置
KR20190076815A (ko) * 2018-03-27 2019-07-02 한화시스템 주식회사 전자 장치의 이동체 포즈 추정 방법
US20190325580A1 (en) * 2019-06-26 2019-10-24 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) *
IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402314A (zh) * 2023-05-31 2023-07-07 北京拓普丰联信息科技股份有限公司 一种信息提示方法、装置、设备和介质

Also Published As

Publication number Publication date
CN111274974B (zh) 2023-09-01
US20210224562A1 (en) 2021-07-22
EP3855351B1 (en) 2023-10-25
JP7228559B2 (ja) 2023-02-24
CN111274974A (zh) 2020-06-12
EP3855351A1 (en) 2021-07-28
JP2021117988A (ja) 2021-08-10
KR102436300B1 (ko) 2022-08-25
US11335101B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
KR102436300B1 (ko) 위치결정 요소 검출 방법, 장치, 기기 및 매체
US11586218B2 (en) Method and apparatus for positioning vehicle, electronic device and storage medium
US20230260151A1 (en) Simultaneous Localization and Mapping Method, Device, System and Storage Medium
CN111612760B (zh) 用于检测障碍物的方法和装置
EP3420530B1 (en) A device and method for determining a pose of a camera
CN111220154A (zh) 车辆定位方法、装置、设备和介质
CN110322500A (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
KR102564430B1 (ko) 차량의 제어 방법, 장치 및 차량
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
CN110793544B (zh) 路侧感知传感器参数标定方法、装置、设备及存储介质
US20150235367A1 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
CN111220164A (zh) 定位方法、装置、设备及存储介质
CN111784836B (zh) 高精地图生成方法、装置、设备及可读存储介质
US20220156969A1 (en) Visual localization method, terminal, and server
CN110595490B (zh) 车道线感知数据的预处理方法、装置、设备和介质
CN111523471A (zh) 车辆所在车道的确定方法、装置、设备以及存储介质
US20210374977A1 (en) Method for indoor localization and electronic device
CN113011298B (zh) 截断物体样本生成、目标检测方法、路侧设备和云控平台
CN114119671B (zh) 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法
CN115578432B (zh) 图像处理方法、装置、电子设备及存储介质
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
WO2023030062A1 (zh) 一种无人机的飞行控制方法、装置、设备、介质及程序
CN111191619A (zh) 车道线虚线段的检测方法、装置、设备和可读存储介质
CN113011212B (zh) 图像识别方法、装置及车辆
CN116245730A (zh) 图像拼接的方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant