KR102003152B1 - 정보 처리 방법, 디바이스, 및 단말기 - Google Patents

정보 처리 방법, 디바이스, 및 단말기 Download PDF

Info

Publication number
KR102003152B1
KR102003152B1 KR1020177036734A KR20177036734A KR102003152B1 KR 102003152 B1 KR102003152 B1 KR 102003152B1 KR 1020177036734 A KR1020177036734 A KR 1020177036734A KR 20177036734 A KR20177036734 A KR 20177036734A KR 102003152 B1 KR102003152 B1 KR 102003152B1
Authority
KR
South Korea
Prior art keywords
image
dimensional
road traffic
data
unit configured
Prior art date
Application number
KR1020177036734A
Other languages
English (en)
Other versions
KR20180010238A (ko
Inventor
위진 푸
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20180010238A publication Critical patent/KR20180010238A/ko
Application granted granted Critical
Publication of KR102003152B1 publication Critical patent/KR102003152B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3819—Road shape data, e.g. outline of a route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

정보 처리 방법, 디바이스, 및 단말기. 이 방법은: 도로 데이터를 수집하는 단계 - 상기 도로 데이터는 2차원 거리 뷰 이미지, 3차원 포인트 클라우드 및 관성 데이터를 포함함 - (S101); 상기 2차원 거리 뷰 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 데이터의 공간적 위치 관계에 기초하여 상기 2차원 거리 뷰 이미지를 구역들로 분할하고, 지면 구역 이미지를 추출하는 단계(S102); 상기 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하는 단계 - 상기 도로 교통 표시는 차선들 및/또는 도로 표지들을 포함함 - (S103); 상기 2차원 거리 뷰 이미지, 상기 3차원 포인트 클라우드 및 상기 관성 데이터의 공간적 위치 관계에 기초하여 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 계산하는 단계(S104)를 포함한다. 2차원 거리 뷰 이미지로부터 도로 교통 표시를 검출함으로써, 본 발명은 검출 결과의 정확도를 향상시키고 데이터 처리의 실용성을 향상시킬 수 있다.

Description

정보 처리 방법, 디바이스, 및 단말기
이 출원은 2016년 1월 18일자로 출원된 "정보 처리 방법, 디바이스, 및 단말기"라는 제목의 중국 특허 출원 제201610031452.5호의 우선권을 주장하며, 그 전체 내용이 인용에 의해 포함된다.
이 출원은 컴퓨터 기술 분야, 구체적으로 도로 데이터 처리의 기술 분야에 관한 것으로, 특히, 데이터 처리 방법, 데이터 처리 장치, 및 단말기에 관한 것이다.
자동차 내비게이션, 차량 자동 주행, 및 주행 안전 요령의 기존 분야들에서, 가장 기본적이고 중요한 기술은 차선들 및 도로 표지들과 같은 도로 교통 표시들에 관한 검출 기술이다. 현재 주류 기술 해결 방안은 주로 다음 2 종류를 포함한다. 한 가지 해결 방안은 지면 반사율의 변화에 기초한 검출 방법이다: 도로 교통 표시들의 반사율은 일반적으로 도로 표면의 다른 부분들의 반사율보다 높다. 따라서, 먼저 도로 장면 공간의 3차원 포인트 클라우드를 획득한 다음, 이 특징에 따라 3차원 포인트 클라우드로부터 도로 교통 표시들을 추출할 수 있다. 이 해결 방안은 3차원 포인트 클라우드로부터 도로 교통 표시들을 직접 검출하고 추출하기 때문에, 3차원 포인트 클라우드의 포인트 클라우드가 드물거나, 가려지거나, 없거나, 등등의 경우에 검출 결과가 영향을 받을 수 있다. 또한, 지면 반사율이 약하거나 불균일하게 되면 검출 결과의 정확도가 직접적으로 영향을 받을 수 있다. 다른 한 가지 해결 방안은 수동 검출 방법이다: 도로 장면 공간의 2차원 거리 풍경 이미지 및 3차원 포인트 클라우드를 획득하고, 2차원 거리 풍경 이미지를 사용하여 3차원 포인트 클라우드에 색들을 적용하여, 다채로운 포인트 클라우드를 생성한 다음, 2차원 거리 풍경 이미지에 따라 다채로운 포인트 클라우드로부터 도로 교통 표시들을 수동으로 추출한다. 이 해결 방안은 여전히 3차원 포인트 클라우드로부터 도로 교통 표시들을 직접 추출하므로, 3차원 포인트 클라우드의 포인트 클라우드가 드물거나, 가려지거나, 없거나, 등등의 경우에 검출 결과가 영향을 받을 수 있다. 또한, 수동 검출은 비실용적이고, 효율이 낮아, 실수를 유발하기 쉽다.
이 출원의 실시예들은 데이터 처리 방법, 장치, 및 단말기를 제공한다. 2차원 거리 풍경 이미지에서 도로 교통 표시들을 검출함으로써, 검출 결과의 정확도 및 데이터 처리의 실용성을 향상시킬 수 있다.
이 출원의 실시예들의 제1 양태는 데이터 처리 방법을 제공하는데, 이는 다음을 포함할 수 있다:
도로 데이터를 수집하는 단계 - 상기 도로 데이터는 2차원 거리 풍경 이미지, 3차원 포인트 클라우드, 및 관성 항법 데이터를 포함함 -;
상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 지면 구역 이미지를 추출하는 단계;
상기 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하는 단계 - 상기 도로 교통 표시는 차선 및/또는 도로 표지를 포함함 -;
상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 계산하는 단계.
바람직하게는, 상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 지면 구역 이미지를 추출하는 단계는 다음을 포함한다:
상기 관성 항법 데이터에 따라 3차원 공간의 관성 항법의 좌표계를 설정하는 단계;
상기 관성 항법의 좌표계에 기초하여 상기 3차원 공간에 상기 3차원 포인트 클라우드 및 상기 2차원 거리 풍경 이미지를 등록하는 단계;
등록된 3차원 포인트 클라우드에 의해, 상기 2차원 거리 풍경 이미지에 대한 상기 구역 분할을 수행하고 상기 지면 구역 이미지를 추출하는 단계.
바람직하게는, 상기 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하는 단계는 다음을 포함한다:
상기 지면 구역 이미지에 대해 이진 처리를 수행하여 이진 지면 구역 이미지를 획득하는 단계;
상기 이진 지면 구역 이미지에 대해 정사 투영 변환(orthographic projection transformation)을 수행하여 지면 정사 투영 이미지를 생성하는 단계;
상기 지면 정사 투영 이미지로부터 적어도 하나의 도로 교통 표시를 추출하는 단계.
바람직하게는, 상기 지면 정사 투영 이미지로부터 적어도 하나의 도로 교통 표시를 추출하는 단계는 다음을 포함한다:
이미지 인식 방법을 이용하여 상기 지면 정사 투영 이미지로부터 적어도 하나의 제1 도로 교통 표시를 추출하고 간섭 이미지를 추출하는 단계;
상기 간섭 이미지를 상기 지면 정사 투영 이미지에 반작용하는 이진 마스크로서 간주하는 단계;
상기 이미지 인식 방법을 이용하여 반작용을 받은 지면 정사 투영 이미지로부터 적어도 하나의 제2 도로 교통 표시를 추출하는 단계;
추출되는 상기 제1 도로 교통 표시와 상기 제2 도로 교통 표시를 조합하여 적어도 하나의 목표 도로 교통 표시를 획득하는 단계.
바람직하게는, 상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 계산하는 단계는 다음을 포함한다:
상기 관성 항법의 좌표계에서 상기 지면 정사 투영 이미지의 형태 데이터를 획득하는 단계 - 상기 형태 데이터는 위치 데이터 및 자세 데이터를 포함함 -;
상기 형태 데이터에 따라 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 구하는 단계.
이 출원의 실시예들의 제2 양태는 데이터 처리 장치를 제공하는데, 이는 다음을 포함할 수 있다:
도로 데이터를 수집하도록 구성된 수집 유닛 - 상기 도로 데이터는 2차원 거리 풍경, 3차원 포인트 클라우드, 및 관성 항법 데이터를 포함함 -;
상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 지면 구역 이미지를 추출하도록 구성된 분할 처리 유닛;
상기 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하도록 구성된 검출 유닛 - 상기 도로 교통 표시는 차선 및/또는 도로 표지를 포함함 -;
상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 계산하도록 구성된 계산 유닛.
바람직하게는, 상기 분할 처리 유닛은 다음을 포함한다:
상기 관성 항법 데이터에 따라 3차원 공간의 관성 항법의 좌표계를 설정하도록 구성된 설정 유닛;
상기 관성 항법의 좌표계에 기초하여 상기 3차원 공간에 상기 3차원 포인트 클라우드 및 상기 2차원 거리 풍경 이미지를 등록하도록 구성된 등록 유닛;
등록된 3차원 포인트 클라우드에 의해, 상기 2차원 거리 풍경 이미지에 대한 상기 구역 분할을 수행하도록 구성된 구역 분할 유닛;
상기 지면 구역 이미지를 추출하도록 구성된 이미지 추출 유닛.
바람직하게는, 상기 검출 유닛은 다음을 포함한다:
상기 지면 구역 이미지에 대해 이진 처리를 수행하여 이진 지면 구역 이미지를 획득하도록 구성된 이진 처리 유닛;
상기 이진 지면 구역 이미지에 대해 정사 투영 변환(orthographic projection transformation)을 수행하여 지면 정사 투영 이미지를 생성하도록 구성된 변환 유닛;
상기 지면 정사 투영 이미지로부터 적어도 하나의 도로 교통 표시를 추출하도록 구성된 표시 추출 유닛.
바람직하게는, 상기 표시 추출 유닛은 다음을 포함한다:
이미지 인식 방법을 이용하여 상기 지면 정사 투영 이미지로부터 적어도 하나의 제1 도로 교통 표시를 추출하고 간섭 이미지를 추출하도록 구성된 제1 추출 유닛;
상기 간섭 이미지를 상기 지면 정사 투영 이미지에 반작용하는 이진 마스크로서 간주하도록 구성된 반작용 처리 유닛;
상기 이미지 인식 방법을 이용하여 반작용을 받은 지면 정사 투영 이미지로부터 적어도 하나의 제2 도로 교통 표시를 추출하도록 구성된 제2 추출 유닛;
추출되는 상기 제1 도로 교통 표시와 상기 제2 도로 교통 표시를 조합하여 적어도 하나의 목표 도로 교통 표시를 획득하도록 구성된 조합 처리 유닛.
바람직하게는, 상기 계산 유닛은 다음을 포함한다:
상기 관성 항법의 좌표계에서 상기 지면 정사 투영 이미지의 형태 데이터를 획득하도록 구성된 형태 데이터 획득 유닛 - 상기 형태 데이터는 위치 데이터 및 자세 데이터를 포함함 -;
상기 형태 데이터에 따라 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 구하도록 구성된 좌표 추구 유닛.
이 출원의 실시예들의 제3 양태는 전술한 두 양태의 데이터 처리 장치를 포함할 수 있는 단말기를 제공한다.
이 출원의 실시예들을 구현함으로써, 다음과 같은 유익한 효과들이 획득된다:
이 출원의 실시예들에서는, 2차원 거리 풍경 이미지, 3차원 포인트 클라우드, 및 관성 항법 데이터를 수집한 후에, 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 3차원 포인트 클라우드 및 관성 항법 데이터를 이용하여 지면 구역 이미지를 추출하고, 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하고, 목표 도로 교통 표시의 3차원 좌표를 구한다. 3차원 포인트 클라우드보다는 2차원 거리 풍경 이미지로부터 도로 교통 표시가 검출 및 획득되기 때문에, 3차원 포인트 클라우드의 포인트 클라우드가 드물거나, 가려지거나, 없거나, 등등의 경우에 검출 결과가 영향을 받는 것을 피할 수 있다. 또한, 관성 항법 데이터 및 3차원 포인트 클라우드를 이용하여 2차원 거리 풍경 이미지에 대한 구역 분할을 정확히 수행하고, 2차원 거리 풍경 이미지를 검출하고, 추출함으로써, 검출 결과의 정확도 및 데이터 처리의 실용성을 효과적으로 향상시킬 수 있다.
종래 기술 또는 본 출원의 실시예들에서의 기술적 해결 방안들을 더 명확히 설명하기 위해, 이하에서는, 종래 기술 또는 실시예들을 설명하는 데 필요한 도면들을 간략히 소개한다. 명백하게, 다음의 설명에서의 첨부 도면들은 본 출원의 일부 실시예들만을 도시하고 있고, 이 분야의 통상의 기술자들은 창의적인 노력 없이도 이들 첨부 도면들로부터 다른 도면들을 유도할 수 있다.
도 1은 이 출원의 실시예에 따른 데이터 처리 방법의 흐름도이다;
도 2a는 이 출원의 실시예에 따른 2차원 거리 풍경 이미지의 개략도이다;
도 2b는 이 출원의 실시예에 따른 2차원 거리 풍경 이미지 및 3차원 포인트 클라우드를 등록하는 것의 개략도이다;
도 2c는 이 출원의 실시예에 따른 지면 구역 이미지의 개략도이다;
도 3a는 이 출원의 실시예에 따른 이진 지면 구역 이미지의 개략도이다;
도 3b는 이 출원의 실시예에 따른 지면 정사 투영 이미지의 개략도이다;
도 4는 이 출원의 실시예에 따른 단말기의 개략적인 구조도이다;
도 5는 이 출원의 실시예에 따른 데이터 처리 장치의 개략적인 구조도이다.
본 출원의 실시예들에서의 기술적 해결 방안들은 이하에서 첨부 도면들을 참조하여 명확하게 설명된다. 명백하게, 설명된 실시예들은 본 출원의 모든 실시예들이 아니라 일부일 뿐이다. 이 분야의 통상의 기술자들이 창의적인 노력 없이 본 발명의 실시예들에 기초하여 얻는 임의의 다른 실시예들은 본 발명의 보호 범위 내에 있다.
이 출원의 실시예들에서는, 2차원 거리 풍경 이미지, 3차원 포인트 클라우드, 및 관성 항법 데이터를 수집한 후에, 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 3차원 포인트 클라우드 및 관성 항법 데이터를 이용하여 지면 구역 이미지를 추출하고, 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하고, 목표 도로 교통 표시의 3차원 좌표를 구하여, 검출 결과의 정확도 및 데이터 처리의 실용성을 향상시키기 위한 목적에 도달한다.
전술한 원리에 기초하여, 이 출원의 실시예들은 데이터 처리 방법을 제공한다. 도 1에 도시된 바와 같이, 이 방법은 다음의 단계 S101 내지 단계 S104를 포함한다.
S101: 도로 데이터를 수집한다 - 도로 데이터는 2차원 거리 풍경 이미지, 3차원 포인트 클라우드, 및 관성 항법 데이터를 포함한다.
2차원 거리 풍경 이미지는 카메라들 및 카메라 렌즈들과 같은 카메라 장비를 사용하여 도로를 촬영함으로써 획득될 수 있다. 2차원 거리 풍경 이미지는 통상적으로 지면 구역의 이미지 및 비-지면 구역의 이미지를 포함하고, 여기서 지면 구역의 이미지는 도로 표면 상황, 도로 교통 표시들, 도로 상의 주행 차량들, 및 도로의 격리 스트립들과 같은 데이터를 묘사할 수 있다. 비-지면 구역의 이미지는 도로 주변의 건물, 식물 등을 묘사할 수 있다. 또한, 도로 교통 표시들은 안내, 제한, 경고 등의 교통 정보를 전달하는 데 사용되는 선, 단어, 화살표, 물체 표시, 도로 스터드, 및 윤곽과 같은 표지들을 지칭한다. 도로 교통 표시들은 차선들 및/또는 도로 표지들을 포함하지만, 이에 한정되지는 않으며; 여기서 도로 표지들은 조향 표지, 감속 표지, 금지 구역 표지 등을 포함하지만, 이에 한정되지는 않는다. 3차원 포인트 클라우드는 레이저 스캐너를 이용하여 획득될 수 있다. 레이저 스캐너는 스캐닝 범위 내의 다수의 공간 포인트를 스캔하여 각 공간 포인트의 3차원 좌표를 획득하고, 각 공간 포인트에 대응하는 레이저 펄스 강도를 참조하여 3차원 포인트 클라우드를 형성할 수 있다. 관성 항법 데이터는 관성 항법 시스템(Inertial Navigation System, INS)과 관성 측정 유닛(Inertial Measurement Unit, IMU)을 사용하여 스캔함으로써 획득될 수 있다. 구체적으로, INS는 스캐닝 위치의 GPS(Global Positioning System) 데이터, 및 속도, 가속도 등을 포함한 캐리어 운행 데이터를 획득할 수 있고; IMU는 캐리어의 롤링, 피칭, 및 요잉 데이터를 획득할 수 있다.
S102: 2차원 거리 풍경 이미지, 3차원 포인트 클라우드, 및 관성 항법 데이터의 공간적 위치 관계에 기초하여 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 지면 구역 이미지를 추출한다.
이 출원의 실시예들에서, 수집되는 2차원 거리 풍경 이미지, 3차원 포인트 클라우드, 및 관성 항법 데이터는 모두 동일한 장면 공간으로부터 유래한다. 따라서, 그 3개의 공간적 위치 관계에 기초하여 그리고 3차원 포인트 클라우드를 이용하여 2차원 거리 풍경 이미지에 대한 구역 분할이 수행될 수 있다. 구체적인 구현에서, 방법이 단계 S102를 수행할 때, 방법은 구체적으로 다음의 단계들 s11-s13을 수행한다:
s11: 관성 항법 데이터에 따라 3차원 공간의 관성 항법의 좌표계를 설정한다.
INS는 외부 정보에 의존하지 않는 또는 외부로 에너지를 방사하는 자동 내비게이션 시스템이다. IMU는 물체의 3 축 자세 각도(또는 각속도)와 가속도를 측정하는 데 사용되는 장치이다. INS와 IMU는 모두 자이로스코프와 가속도계를 포함하는데, 자이로스코프는 관성 항법의 좌표계를 형성하여 가속도계의 측정 축이 관성 항법의 좌표계에서 코스와 자세 각도를 꾸준히 형성하게 한다. 가속도계는 캐리어가 운행할 때 가속도를 측정하고, 일련의 계산 및 변환을 사용하여 속도, 변위, 롤링, 및 피칭과 같은, 캐리어의 관성 항법 데이터를 획득하는 데 사용된다. 따라서, 수집된 관성 항법 데이터에 따라 3차원 공간에서 사용되는 관성 항법의 좌표계가 반대로 산출될 수 있고, 관성 항법의 좌표계는 스캐닝 과정에서 3차원 공간의 위치 기준이 된다.
s12: 관성 항법의 좌표계에 기초하여 3차원 공간에 3차원 포인트 클라우드 및 2차원 거리 풍경 이미지를 등록한다.
관성 항법의 좌표계를 위치 기준으로 간주하여, 3차원 공간에 3차원 포인트 클라우드 및 2차원 거리 풍경 이미지를 등록한다. 구체적인 구현에서, 장면 공간에서의 특정 3차원 포인트
Figure 112017127133818-pct00001
는 레이저 스캐너를 사용하여 획득되는데, 여기서 3차원 포인트
Figure 112017127133818-pct00002
는 카메라 장비에 의한 이미징 후에 2차원 거리 풍경 이미지에서 특정 2차원 포인트
Figure 112017127133818-pct00003
를 획득할 수 있다. 등록의 목적은 3차원 포인트 클라우드와 2차원 거리 풍경 이미지로부터 모든 일치된 3차원 포인트
Figure 112017127133818-pct00004
와 2차원 포인트
Figure 112017127133818-pct00005
를 구하는 것이다.
s13: 등록된 3차원 포인트 클라우드에 의해, 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 지면 구역 이미지를 추출한다.
3차원 공간에 3차원 포인트 클라우드 및 2차원 거리 풍경 이미지를 등록한 후, 2차원 거리 풍경 이미지에 대한 구역 분할은 3차원 포인트 클라우드를 이용하여 편리하게 구현된다. 3차원 포인트 클라우드 내의 각 포인트는 3차원 좌표 (x,y,z)에 의해 표현되므로, 구역 분할은 x, y, 및 z의 값들에 따라 3차원 공간에 대해 직관적으로 수행될 수 있다. 예를 들어, 지면 구역 내의 3차원 포인트의 z 축의 값이 0인 경우, 3차원 포인트 클라우드에서 그 z 축의 값이 0인 모든 3차원 포인트를 추출하여 구성된 공간 구역이 지면 공간 구역이고; 유사하게, 목표 공간 구역 내의 3차원 포인트의 x축의 값이 사전 설정된 값인 경우, 3차원 포인트 클라우드에서 그 x 축의 값이 사전 설정된 값인 모든 3차원 포인트에 의해 구성된 공간 구역이 목표 공간 구역이다. 이에 기초하여, 이 단계는 3차원 포인트 클라우드 내의 각 포인트의 3차원 좌표를 사용하여 3차원 공간에 대한 구역 분할을 수행하여, 지면 공간 구역 내의 각 3차원 포인트에 등록하는 모든 2차원 포인트를 구할 수 있다. 2차원 거리 풍경 이미지 내의 2차원 포인트들로 구성된 구역 이미지가 지면 구역 이미지이다.
전술한 단계들 s11-s13을 겨냥하여 그리고 도 2a 내지 도 2c를 참조하여, 도 2a는 수집된 2차원 거리 풍경 이미지를 도시한다. 단계 s12에서, 관성 항법의 좌표계에 기초하여 3차원 포인트 클라우드와 함께 도 2a에 도시된 2차원 거리 풍경 이미지를 등록한 후, 도 2a에 도시된 이미지가 형성될 수 있다. 도 2c에 도시된 지면 구역 이미지는, 도 2b에 도시된 이미지에 대해, s13에서와 같이, 구역 분할을 수행한 후에 획득될 수 있다.
S103: 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출한다 - 도로 교통 표시는 차선 및/또는 도로 표지를 포함한다.
2차원 거리 풍경 이미지를 촬영하는 동안, 지면 구역 이미지의 촬영 방식은 통상적으로 일반적으로 비-정사 방식(non-orthographic)이다: 카메라 장비 및 도로 표면은 기본적으로 정시 범위(head-up range) 내에 있다, 즉, 카메라 장비의 이미징 축은 지면에 수직이 아니지만, 일정한 각도를 가지며, 관성 항법의 좌표계에서의 그 각도는 카메라 장비의 요 각 및/또는 피치 각을 나타낸다. 비-정사 방식으로 획득된 지면 구역 이미지의 피사계 심도는 근거리에서 원거리로 점진적으로 변화하면서 비교적 멀고, 이는 도로 교통 표시를 추출하기 위한 기초를 제공한다. 그러나, 비-정사 방식은 지면 구역 이미지에서 도로 교통 표시를 변형시켜, 검출의 어려움을 증가시킬 수 있다. 이에 기초하여, 이 단계는 검출 동안 지면 구역 이미지를 처리할 필요가 있고, 방법이 단계 S103를 수행할 때, 방법은 구체적으로 다음의 단계들 s21-s23을 수행한다:
s21: 지면 구역 이미지에 대해 이진 처리를 수행하여 이진 지면 구역 이미지를 획득한다.
일반적으로, 수집된 2차원 거리 풍경 이미지는 다채로운 이미지이고, 2차원 거리 풍경 이미지에서 추출된 지면 구역 이미지도 다채로운 이미지인 반면, 도로 교통 표시는 흰색이다. 지면 구역 이미지에서 도로 교통 표시를 더 명확하고 더 검출하기 쉽게 하기 위해, 이 단계에서 다채로운 지면 구역 이미지에 대해 이진 처리를 수행하여, 이진 지면 구역 이미지를 획득할 필요가 있다.
s22: 이진 지면 구역 이미지에 대해 정사 투영 변환(orthographic projection transformation)을 수행하여 지면 정사 투영 이미지를 생성한다.
정사 투영 변환의 목적은 지면 구역 이미지의 광축의 방향을 수직이 되도록 조정하는 것이다; 구체적으로, 이진 지면 구역 이미지를 3차원 포인트 클라우드에 의해 묘사된 지면 공간 구역에 투영하여 지면 정사 투영 이미지를 생성할 수 있다.
s23: 지면 정사 투영 이미지로부터 적어도 하나의 도로 교통 표시를 추출한다.
지면 정사 투영 이미지는 차선들 및 도로 표지들과 같은 도로 교통 표시들을 명확하게 제시하고, 이에 따라 적어도 하나의 도로 교통 표시는 이미지 재구성을 사용하여 인식되고 추출될 수 있다; 구체적인 구현에서, 허프 변환(Hough Transform)의 방법을 이용하여 지면 정사 투영 이미지에서 차선들을 인식할 수 있고 모듈 매칭의 방법을 이용하여 지면 정사 투영 이미지에서의 도로 표지들을 인식할 수 있다.
전술한 단계 s21-s23를 겨냥하여, 그리고 도 3a 내지 도 3b를 참조하여, 도 3a에 도시된 이진 지면 구역 이미지는 단계 s21에서의 이진 처리 후에 도 2c에 도시된 추출된 지면 구역 이미지를 겨냥하여 획득될 수 있다. 도 3b에 도시된 지면 정사 투영은 도 3a에 도시된 이진 지면 구역 이미지에 대해 단계 s21에서 정사 투영 변환이 수행된 후에 획득될 수 있다. 적어도 하나의 도로 교통 표시는 이미지 재구성을 사용하여 도 3b에 도시된 지면 정사 투영으로부터 추출될 수 있다.
실제 응용에서는, 지면 구역 이미지에 주행 차량들, 격리 벨트들, 및 도로 얼룩들과 같은 간섭들이 항상 존재한다. 따라서, 이진 지면 정사 투영 이미지에는 간섭 이미지들이 존재하고, 이 간섭 이미지들은 도로 교통 표시의 검출 결과에 영향을 줄 수 있다. 이 문제를 해결하기 위해, 이 출원의 실시예들에 따른 방법은 방법은 구체적으로, 방법이 단계 s23을 수행할 때 다음의 단계들 s231-s234를 수행한다:
s231: 이미지 인식 방법을 이용하여 지면 정사 투영 이미지로부터 적어도 하나의 제1 도로 교통 표시를 추출하고 간섭 이미지를 추출한다.
s232: 간섭 이미지를 지면 정사 투영 이미지에 반작용하는 이진 마스크로서 간주한다.
s233: 이미지 인식 방법을 이용하여 반작용을 받은 지면 정사 투영 이미지로부터 적어도 하나의 제2 도로 교통 표시를 추출한다.
s234: 추출되는 제1 도로 교통 표시와 제2 도로 교통 표시를 조합하여 적어도 하나의 목표 도로 교통 표시를 획득한다.
단계 s231 내지 단계 s234는 두 번째로 도로 교통 표시를 추출함으로써 간섭의 영향이 제거될 수 있고 도로 교통 표시의 검출 결과의 정확도가 향상될 수 있음을 보여준다; 구체적으로는, 먼저 지면 정사 투영 이미지로부터 한 번 도로 교통 표시를 추출하고, 이와 동시에 지면 정사 투영 이미지에 반작용하는 이진 마스크로서 간섭 이미지를 추출한다; 지면 정사 투영 이미지 내의 간섭 이미지는 반작용에 의해 제거될 수 있고, 지면 정사 투영 이미지로부터 또 한 번 도로 교통 표시를 추출하여 두 개의 도로 교통 표시를 조합한다. 간섭의 영향을 제거하기 위해, 제2 추출 방식으로 한정되지 않고, 예를 들어, 제3 또는 더 많은 회수의 추출을 이용하여 다중 추출된 도로 교통 표시들을 조합할 수 있다는 점에 유의해야 한다. 제2 추출과 비교하여, 제3 또는 더 많은 회수의 추출은 효율이 낮아지는 대가로 간섭의 영향을 더 철저히 제거할 수 있으므로, 구체적인 구현에서는 실제 필요에 따라 선택이 이루어질 수 있다.
S104: 2차원 거리 풍경 이미지, 3차원 포인트 클라우드, 및 관성 항법 데이터의 공간적 위치 관계에 기초하여 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 계산한다.
구체적인 구현에서, 방법이 단계 S104를 수행할 때, 방법은 구체적으로 다음의 단계들 s31-s32를 수행한다:
s31: 관성 항법의 좌표계에서 지면 정사 투영 이미지의 형태 데이터를 획득한다 - 형태 데이터는 위치 데이터 및 자세 데이터를 포함한다.
s32: 형태 데이터에 따라 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 구한다.
전술한 단계들 s31-s32에서는, 관성 항법의 좌표계에서의 지면 정사 투영 이미지의 위치 데이터 및 자세 데이터는 2차원 거리 풍경 이미지, 3차원 포인트 클라우드, 및 관성 항법 데이터의 공간적 위치 관계에 기초하여 획득될 수 있는데, 그 이유는 지면 정사 투영 이미지는 2차원 거리 풍경 이미지로부터 유래하기 때문이다. 관성 항법의 좌표계에서의 지면 정사 투영 이미지의 위치 데이터 및 자세 데이터를 이용하여 도로 교통 표시의 3차원 좌표를 구할 수 있다.
이 출원의 실시예들은 데이터 처리 방법을 제공한다. 2차원 거리 풍경 이미지, 3차원 포인트 클라우드, 및 관성 항법 데이터를 수집한 후에, 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 3차원 포인트 클라우드 및 관성 항법 데이터를 이용하여 지면 구역 이미지를 추출하고, 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하고, 목표 도로 교통 표시의 3차원 좌표를 구한다. 3차원 포인트 클라우드보다는 2차원 거리 풍경 이미지로부터 도로 교통 표시가 검출 및 획득되기 때문에, 3차원 포인트 클라우드의 포인트 클라우드가 드물거나, 가려지거나, 없거나, 등등의 경우에 검출 결과가 영향을 받는 것을 피할 수 있다. 또한, 관성 항법 데이터 및 3차원 포인트 클라우드를 이용하여 2차원 거리 풍경 이미지에 대한 구역 분할을 정확히 수행하고, 2차원 거리 풍경 이미지를 검출하고, 추출함으로써, 검출 결과의 정확도 및 데이터 처리의 실용성을 효과적으로 향상시킬 수 있다.
이 출원의 실시예들은 랩톱, 전화, 패드(PAD), 및 차량 단말기와 같은 디바이스들을 포함하는 단말기를 제공한다. 도 4를 참조하면, 단말기의 내부 구조는 프로세서, 사용자 인터페이스, 네트워크 인터페이스, 및 메모리를 포함할 수 있지만, 이에 한정되는 것은 아니다. 단말기 내의 프로세서, 사용자 인터페이스, 네트워크 인터페이스, 및 메모리는 버스로 또는 다른 방식으로 연결될 수 있다. 이 출원의 실시예들의 도 4에서는, 버스 연결을 예로 든다.
사용자 인터페이스는 사용자와 단말기 사이의 상호 작용 및 정보 교환 매체로서, 구체적으로는 출력에 사용되는 디스플레이(Display), 입력에 사용되는 키보드(Keyboard) 등을 포함한다. 여기서 키보드는 물리적 키보드, 터치 스크린 가상 키보드, 또는 물리적 및 터치 스크린 가상 키보드일 수 있다는 점에 유의해야 한다. 프로세서(또는 중앙 처리 유닛(CPU))는 단말기에서 명령들 및 처리 단말기의 데이터를 분석할 수 있는, 단말기의 계산 코어 및 제어 코어이고, 예를 들어, CPU는 사용자에 의해 단말기로 전송된 온/오프 명령을 분석하고, 단말기가 온/오프 동작들을 수행하도록 제어하는 데 사용된다; 또 다른 예로서, CPU는 단말기의 내부 구조들 사이의 상호 작용 데이터 등을 송신할 수 있다. 메모리(Memory)는 프로그램들 및 데이터를 저장하는 데 사용되는, 단말기 내의 메모리 디바이스이다. 여기서 메모리는 단말기의 내부 메모리를 포함할 수 있고, 또한 단말기에 의해 지원되는 확장 메모리를 포함할 수도 있음을 이해해야 한다. 메모리는 단말기의 운영 체제를 저장하는 저장 공간을 제공한다. 이 출원의 실시예들에서, 메모리의 저장 공간은 또한 데이터 처리 장치를 저장한다. 단말기는 메모리에 저장된 데이터 처리 장치를 실행함으로써 전술한 도 도 1-3에 도시된 방법 절차의 대응하는 단계들을 수행한다. 도 5를 참조하면, 데이터 처리 장치는 다음의 유닛들을 수행한다:
도로 데이터를 수집하도록 구성된 수집 유닛(101)) - 상기 도로 데이터는 2차원 거리 풍경, 3차원 포인트 클라우드, 및 관성 항법 데이터를 포함한다.
상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 지면 구역 이미지를 추출하도록 구성된 분할 처리 유닛(102).
상기 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하도록 구성된 검출 유닛(103) - 상기 도로 교통 표시는 차선 및/또는 도로 표지를 포함한다.
상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 계산하도록 구성된 계산 유닛(104).
구체적인 구현에서, 디바이스가 분할 처리 유닛(102)을 동작시킬 때, 디바이스는 구체적으로 다음의 유닛들을 동작시킨다:
관성 항법 데이터에 따라 3차원 공간의 관성 항법의 좌표계를 설정하도록 구성된 설정 유닛(1001).
상기 관성 항법의 좌표계에 기초하여 상기 3차원 공간에 상기 3차원 포인트 클라우드 및 상기 2차원 거리 풍경 이미지를 등록하도록 구성된 등록 유닛(1002);
등록된 3차원 포인트 클라우드에 의해, 상기 2차원 거리 풍경 이미지에 대한 상기 구역 분할을 수행하도록 구성된 구역 분할 유닛(1003);
상기 지면 구역 이미지를 추출하도록 구성된 이미지 추출 유닛(1004).
구체적인 구현에서, 디바이스가 검출 유닛(103)을 동작시킬 때, 디바이스는 구체적으로 다음의 유닛들을 동작시킨다:
상기 지면 구역 이미지에 대해 이진 처리를 수행하여 이진 지면 구역 이미지를 획득하도록 구성된 이진 처리 유닛(2001).
상기 이진 지면 구역 이미지에 대해 정사 투영 변환(orthographic projection transformation)을 수행하여 지면 정사 투영 이미지를 생성하도록 구성된 변환 유닛(2002).
상기 지면 정사 투영 이미지로부터 적어도 하나의 도로 교통 표시를 추출하도록 구성된 표시 추출 유닛(2003).
구체적인 구현에서, 디바이스가 표시 추출 유닛(2003)을 동작시킬 때, 디바이스는 구체적으로 다음의 유닛들을 동작시킨다:
이미지 인식 방법을 이용하여 상기 지면 정사 투영 이미지로부터 적어도 하나의 제1 도로 교통 표시를 추출하고 간섭 이미지를 추출하도록 구성된 제1 추출 유닛(2331).
상기 간섭 이미지를 상기 지면 정사 투영 이미지에 반작용하는 이진 마스크로서 간주하도록 구성된 반작용 처리 유닛(2332).
상기 이미지 인식 방법을 이용하여 반작용을 받은 지면 정사 투영 이미지로부터 적어도 하나의 제2 도로 교통 표시를 추출하도록 구성된 제2 추출 유닛(2333).
추출되는 상기 제1 도로 교통 표시와 상기 제2 도로 교통 표시를 조합하여 적어도 하나의 목표 도로 교통 표시를 획득하도록 구성된 조합 처리 유닛(2334).
구체적인 구현에서, 디바이스가 계산 유닛(104)을 동작시킬 때, 디바이스는 구체적으로 다음의 유닛들을 동작시킨다:
상기 관성 항법의 좌표계에서 상기 지면 정사 투영 이미지의 형태 데이터를 획득하도록 구성된 형태 데이터 획득 유닛(3001) - 상기 형태 데이터는 위치 데이터 및 자세 데이터를 포함한다.
상기 형태 데이터에 따라 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 구하도록 구성된 좌표 추구 유닛(3002).
도 1-3에 도시된 데이터 처리 방법은 이 출원의 실시예에 따라 도 5에 도시된 데이터 처리 장치 내의 모든 유닛에 의해 수행될 수 있다. 예를 들어, 도 1에 도시된 단계 S101, S102, S103, 및 S104는 도 5에 도시된 수집 유닛(101), 분할 처리 유닛(102), 검출 유닛(103), 및 계산 유닛(104)에 의해 개별적으로 수행될 수 있다; 단계 s11, s12, 및 s13은 도 5에 도시된 설정 유닛(1001), 등록 유닛(1002), 구역 분할 유닛(1003), 및 이미지 추출 유닛(1004)에 의해 개별적으로 수행될 수 있다; 단계 s21, s22, 및 s23은 도 5에 도시된 이진 처리 유닛(2001), 변환 유닛(2002), 및 표시 추출 유닛(2003)에 의해 개별적으로 수행될 수 있다; 단계 s231, s232, s233, 및 s234는 도 5에 도시된 제1 추출 유닛(2331), 반작용 처리 유닛(2332), 제2 추출 유닛(2333), 및 조합 처리 유닛(2334)에 의해 개별적으로 수행될 수 있다; 단계 s31 및 s32는 도 5에 도시된 형태 데이터 획득 유닛(3001) 및 좌표 추구 유닛(3002)에 의해 개별적으로 수행될 수 있다.
이 출원의 또 다른 실시예에 따르면, 도 5에 도시된 데이터 처리 장치를 위한 시스템의 유닛들은 개별적으로 또는 전체적으로 하나 또는 몇 개의 다른 유닛들로 조합될 수 있거나, 본 명세서에서의 유닛들 중 하나(또는 그 이상)이 더 작은 기능들의 다수의 유닛으로 더 분할될 수 있다. 이러한 방식으로, 동일한 동작들이 구현될 수 있고, 이 출원의 실시예들의 기술적 효과들의 구현은 영향을 받지 않는다. 전술한 유닛들은 논리 기능들에 기초하여 분할된다. 실제 응용에서는, 하나의 유닛의 기능은 다수의 유닛에 의해 구현될 수도 있고, 또는 다수의 유닛의 기능들이 하나의 유닛에 의해 구현된다. 이 출원의 다른 실시예들에서, 단말기 디바이스는 다른 모듈들을 포함할 수 있다. 그러나, 실제 응용에서는, 이들 기능은 또한 또 다른 유닛에 의해 협력적으로 구현될 수도 있고, 다수의 유닛에 의해 협력적으로 구현될 수도 있다.
이 출원의 또 다른 실시예에 따르면, 도 5에 도시된 데이터 처리 장치가 구성될 수 있고 도 1에 도시된 데이터 처리 방법을 중앙 처리 유닛(CPU), 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM) 등을 포함하는 처리 요소들 및 메모리 요소들, 예를 들어, 컴퓨터들의 일반적인 컴퓨팅 디바이스들에서 수행할 수 있는 컴퓨터 프로그램(프로그램 코드를 포함함)을 실행함으로써 이 출원의 실시예들에 따라 데이터 처리 방법이 구현될 수 있다. 컴퓨터 프로그램은 예를 들어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있고, 상기 컴퓨터 판독 가능한 기록 매체를 이용하여 전술한 컴퓨팅 디바이스에 로딩되어, 컴퓨팅 디바이스에서 실행될 수 있다.
이 방법과 동일하게, 이 출원의 실시예들은 데이터 처리 장치를 제공한다. 2차원 거리 풍경 이미지, 3차원 포인트 클라우드, 및 관성 항법 데이터를 수집한 후에, 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 3차원 포인트 클라우드 및 관성 항법 데이터를 이용하여 지면 구역 이미지를 추출하고, 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하고, 목표 도로 교통 표시의 3차원 좌표를 구한다. 3차원 포인트 클라우드보다는 2차원 거리 풍경 이미지로부터 도로 교통 표시가 검출 및 획득되기 때문에, 3차원 포인트 클라우드의 포인트 클라우드가 드물거나, 가려지거나, 없거나, 등등의 경우에 검출 결과가 영향을 받는 것을 피할 수 있다. 또한, 관성 항법 데이터 및 3차원 포인트 클라우드를 이용하여 2차원 거리 풍경 이미지에 대한 구역 분할을 정확히 수행하고, 2차원 거리 풍경 이미지를 검출하고, 추출함으로써, 검출 결과의 정확도 및 데이터 처리의 실용성을 효과적으로 향상시킬 수 있다.
이 출원의 각 부분은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 사용하여 구현될 수 있음을 이해해야 한다. 전술한 구현들에서, 다수의 단계 또는 방법은 메모리에 저장되고 적절한 명령 실행 시스템에 의해 실행되는 소프트웨어 또는 펌웨어를 사용하여 구현될 수 있다. 예를 들어, 하드웨어를 사용하여 구현하는 경우, 또 다른 구현에서와 동일하게, 이 분야에서 알려진 다음의 기술들 중 어느 하나 또는 이들의 조합을 사용하여 다음을 구현할 수 있다: 디지털 신호에 대한 논리 함수를 구현하는 데 사용되는 논리 게이팅 회로의 개별 논리 회로, 조합 논리 게이팅 회로의 적절한 전용 집적 회로, 프로그래머블 게이트 어레이(PGA), 필드 프로그래머블 게이트 어레이(FPGA) 등.
이 분야의 통상의 기술자는 실시예들에서 방법들의 프로세스들의 전부 또는 일부가 관련 하드웨어에 지시하는 컴퓨터 프로그램에 의해 구현될 수 있다는 것을 이해할 수 있다. 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 프로그램이 실행될 때, 실시예들에서의 방법들의 프로세스들이 수행된다. 또한, 본 출원의 실시예들에서의 기능 유닛들은 하나의 처리 모듈로 통합될 수도 있고, 또는 그 유닛들 각각이 물리적으로 단독으로 존재할 수도 있고, 또는 둘 이상의 유닛이 하나의 모듈로 통합된다. 통합된 모듈들은 하드웨어 또는 소프트웨어 기능 모듈들의 형태로 구현될 수 있다. 소프트웨어 기능 모듈들의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용되는 경우, 통합된 모듈들은 컴퓨터 판독 가능 저장 매체에 저장될 수도 있다. 저장 매체는 자기 디스크, 광 디스크, 판독 전용 메모리(Read-Only Memory, ROM) 또는 랜덤 액세스 메모리(Random Access Memory, RAM) 등일 수 있다.
위에 개시된 것은 이 출원의 예시적인 실시예들일 뿐이며, 당연히 이 출원의 보호 범위를 제한하려는 것은 아니다. 그러므로, 이 출원의 청구 범위에 따라 이루어진 균등한 변형들은 이 출원의 범위 내에 속해야 한다.

Claims (15)

  1. 데이터 처리 방법으로서,
    도로 데이터를 수집하는 단계 - 상기 도로 데이터는 2차원 거리 풍경 이미지, 3차원 포인트 클라우드, 및 관성 항법 데이터를 포함함 -;
    상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 지면 구역 이미지를 추출하는 단계;
    상기 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하는 단계 - 상기 적어도 하나의 목표 도로 교통 표시는 차선 및/또는 도로 표지를 포함함 -;
    상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 계산하는 단계를 포함하고,
    상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 지면 구역 이미지를 추출하는 단계는:
    상기 관성 항법 데이터에 따라 3차원 공간의 관성 항법의 좌표계를 설정하는 단계;
    상기 관성 항법의 좌표계에 기초하여 상기 3차원 공간에 상기 3차원 포인트 클라우드 및 상기 2차원 거리 풍경 이미지를 등록하는 단계;
    등록된 3차원 포인트 클라우드에 의해, 상기 2차원 거리 풍경 이미지에 대한 상기 구역 분할을 수행하고 상기 지면 구역 이미지를 추출하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하는 단계는:
    상기 지면 구역 이미지에 대해 이진 처리를 수행하여 이진 지면 구역 이미지를 획득하는 단계;
    상기 이진 지면 구역 이미지에 대해 정사 투영 변환(orthographic projection transformation)을 수행하여 지면 정사 투영 이미지를 생성하는 단계;
    상기 지면 정사 투영 이미지로부터 적어도 하나의 도로 교통 표시를 추출하는 단계를 포함하는, 방법.
  3. 제2항에 있어서, 상기 지면 정사 투영 이미지로부터 적어도 하나의 도로 교통 표시를 추출하는 단계는:
    이미지 인식 방법을 이용하여 상기 지면 정사 투영 이미지로부터 적어도 하나의 제1 도로 교통 표시를 추출하고 간섭 이미지를 추출하는 단계;
    상기 간섭 이미지를 상기 지면 정사 투영 이미지에 반작용하는 이진 마스크로서 간주하는 단계;
    상기 이미지 인식 방법을 이용하여 반작용을 받은 지면 정사 투영 이미지로부터 적어도 하나의 제2 도로 교통 표시를 추출하는 단계;
    추출되는 상기 제1 도로 교통 표시와 상기 제2 도로 교통 표시를 조합하여 상기 적어도 하나의 목표 도로 교통 표시를 획득하는 단계를 포함하는, 방법.
  4. 제2항에 있어서, 상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 계산하는 단계는:
    상기 관성 항법의 좌표계에서 상기 지면 정사 투영 이미지의 형태 데이터를 획득하는 단계 - 상기 형태 데이터는 위치 데이터 및 자세 데이터를 포함함 -;
    상기 형태 데이터에 따라 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 구하는 단계를 포함하는, 방법.
  5. 데이터 처리 장치로서,
    도로 데이터를 수집하도록 구성된 수집 유닛 - 상기 도로 데이터는 2차원 거리 풍경, 3차원 포인트 클라우드, 및 관성 항법 데이터를 포함함 -;
    상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 지면 구역 이미지를 추출하도록 구성된 분할 처리 유닛;
    상기 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하도록 구성된 검출 유닛 - 상기 도로 교통 표시는 차선 및/또는 도로 표지를 포함함 -;
    상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 계산하도록 구성된 계산 유닛을 포함하고,
    상기 분할 처리 유닛은:
    상기 관성 항법 데이터에 따라 3차원 공간의 관성 항법의 좌표계를 설정하도록 구성된 설정 유닛;
    상기 관성 항법의 좌표계에 기초하여 상기 3차원 공간에 상기 3차원 포인트 클라우드 및 상기 2차원 거리 풍경 이미지를 등록하도록 구성된 등록 유닛;
    등록된 3차원 포인트 클라우드에 의해, 상기 2차원 거리 풍경 이미지에 대한 상기 구역 분할을 수행하도록 구성된 구역 분할 유닛;
    상기 지면 구역 이미지를 추출하도록 구성된 이미지 추출 유닛을 포함하는, 데이터 처리 장치.
  6. 제5항에 있어서, 상기 검출 유닛은:
    상기 지면 구역 이미지에 대해 이진 처리를 수행하여 이진 지면 구역 이미지를 획득하도록 구성된 이진 처리 유닛;
    상기 이진 지면 구역 이미지에 대해 정사 투영 변환(orthographic projection transformation)을 수행하여 지면 정사 투영 이미지를 생성하도록 구성된 변환 유닛;
    상기 지면 정사 투영 이미지로부터 적어도 하나의 도로 교통 표시를 추출하도록 구성된 표시 추출 유닛을 포함하는, 데이터 처리 장치.
  7. 제6항에 있어서, 상기 표시 추출 유닛은:
    이미지 인식 방법을 이용하여 상기 지면 정사 투영 이미지로부터 적어도 하나의 제1 도로 교통 표시를 추출하고 간섭 이미지를 추출하도록 구성된 제1 추출 유닛;
    상기 간섭 이미지를 상기 지면 정사 투영 이미지에 반작용하는 이진 마스크로서 간주하도록 구성된 반작용 처리 유닛;
    상기 이미지 인식 방법을 이용하여 반작용을 받은 지면 정사 투영 이미지로부터 적어도 하나의 제2 도로 교통 표시를 추출하도록 구성된 제2 추출 유닛;
    추출되는 상기 제1 도로 교통 표시와 상기 제2 도로 교통 표시를 조합하여 적어도 하나의 목표 도로 교통 표시를 획득하도록 구성된 조합 처리 유닛을 포함하는, 데이터 처리 장치.
  8. 제6항에 있어서, 상기 계산 유닛은:
    상기 관성 항법의 좌표계에서 상기 지면 정사 투영 이미지의 형태 데이터를 획득하도록 구성된 형태 데이터 획득 유닛 - 상기 형태 데이터는 위치 데이터 및 자세 데이터를 포함함 -;
    상기 형태 데이터에 따라 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 구하도록 구성된 좌표 추구 유닛을 포함하는, 데이터 처리 장치.
  9. 데이터 처리 장치를 포함하는 단말기로서, 상기 데이터 처리 장치는:
    도로 데이터를 수집하도록 구성된 수집 유닛 - 상기 도로 데이터는 2차원 거리 풍경, 3차원 포인트 클라우드, 및 관성 항법 데이터를 포함함 -;
    상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 2차원 거리 풍경 이미지에 대한 구역 분할을 수행하고 지면 구역 이미지를 추출하도록 구성된 분할 처리 유닛;
    상기 지면 구역 이미지에서 적어도 하나의 목표 도로 교통 표시를 검출하도록 구성된 검출 유닛 - 상기 도로 교통 표시는 차선 및/또는 도로 표지를 포함함 -;
    상기 2차원 거리 풍경 이미지, 상기 3차원 포인트 클라우드, 및 상기 관성 항법 데이터의 공간적 위치 관계에 기초하여 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 계산하도록 구성된 계산 유닛을 포함하고,
    상기 분할 처리 유닛은:
    상기 관성 항법 데이터에 따라 3차원 공간의 관성 항법의 좌표계를 설정하도록 구성된 설정 유닛;
    상기 관성 항법의 좌표계에 기초하여 상기 3차원 공간에 상기 3차원 포인트 클라우드 및 상기 2차원 거리 풍경 이미지를 등록하도록 구성된 등록 유닛;
    등록된 3차원 포인트 클라우드에 의해, 상기 2차원 거리 풍경 이미지에 대한 상기 구역 분할을 수행하도록 구성된 구역 분할 유닛;
    상기 지면 구역 이미지를 추출하도록 구성된 이미지 추출 유닛을 포함하는, 단말기.
  10. 제9항에 있어서, 상기 검출 유닛은:
    상기 지면 구역 이미지에 대해 이진 처리를 수행하여 이진 지면 구역 이미지를 획득하도록 구성된 이진 처리 유닛;
    상기 이진 지면 구역 이미지에 대해 정사 투영 변환(orthographic projection transformation)을 수행하여 지면 정사 투영 이미지를 생성하도록 구성된 변환 유닛;
    상기 지면 정사 투영 이미지로부터 적어도 하나의 도로 교통 표시를 추출하도록 구성된 표시 추출 유닛을 포함하는, 단말기.
  11. 제10항에 있어서, 상기 표시 추출 유닛은:
    이미지 인식 방법을 이용하여 상기 지면 정사 투영 이미지로부터 적어도 하나의 제1 도로 교통 표시를 추출하고 간섭 이미지를 추출하도록 구성된 제1 추출 유닛;
    상기 간섭 이미지를 상기 지면 정사 투영 이미지에 반작용하는 이진 마스크로서 간주하도록 구성된 반작용 처리 유닛;
    상기 이미지 인식 방법을 이용하여 반작용을 받은 지면 정사 투영 이미지로부터 적어도 하나의 제2 도로 교통 표시를 추출하도록 구성된 제2 추출 유닛;
    추출되는 상기 제1 도로 교통 표시와 상기 제2 도로 교통 표시를 조합하여 적어도 하나의 목표 도로 교통 표시를 획득하도록 구성된 조합 처리 유닛을 포함하는, 단말기.
  12. 제10항에 있어서, 상기 계산 유닛은:
    상기 관성 항법의 좌표계에서 상기 지면 정사 투영 이미지의 형태 데이터를 획득하도록 구성된 형태 데이터 획득 유닛 - 상기 형태 데이터는 위치 데이터 및 자세 데이터를 포함함 -;
    상기 형태 데이터에 따라 상기 적어도 하나의 목표 도로 교통 표시의 3차원 좌표를 구하도록 구성된 좌표 추구 유닛을 포함하는, 단말기.
  13. 삭제
  14. 삭제
  15. 삭제
KR1020177036734A 2016-01-18 2016-12-28 정보 처리 방법, 디바이스, 및 단말기 KR102003152B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610031452.5 2016-01-18
CN201610031452.5A CN105719284B (zh) 2016-01-18 2016-01-18 一种数据处理方法、装置及终端
PCT/CN2016/112671 WO2017124901A1 (zh) 2016-01-18 2016-12-28 一种数据处理方法、装置及终端

Publications (2)

Publication Number Publication Date
KR20180010238A KR20180010238A (ko) 2018-01-30
KR102003152B1 true KR102003152B1 (ko) 2019-07-23

Family

ID=56147331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177036734A KR102003152B1 (ko) 2016-01-18 2016-12-28 정보 처리 방법, 디바이스, 및 단말기

Country Status (7)

Country Link
US (2) US10712747B2 (ko)
EP (1) EP3407294B1 (ko)
JP (1) JP7034530B2 (ko)
KR (1) KR102003152B1 (ko)
CN (1) CN105719284B (ko)
MY (1) MY188758A (ko)
WO (1) WO2017124901A1 (ko)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719284B (zh) 2016-01-18 2018-11-06 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
US10683034B2 (en) * 2017-06-06 2020-06-16 Ford Global Technologies, Llc Vehicle remote parking systems and methods
US10585430B2 (en) 2017-06-16 2020-03-10 Ford Global Technologies, Llc Remote park-assist authentication for vehicles
US10775781B2 (en) 2017-06-16 2020-09-15 Ford Global Technologies, Llc Interface verification for vehicle remote park-assist
EP3642683B1 (en) 2017-06-22 2022-12-14 Agjunction LLC 3-d image system for vehicle control
US10580304B2 (en) 2017-10-02 2020-03-03 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for voice controlled autonomous parking
US10627811B2 (en) 2017-11-07 2020-04-21 Ford Global Technologies, Llc Audio alerts for remote park-assist tethering
US10578676B2 (en) 2017-11-28 2020-03-03 Ford Global Technologies, Llc Vehicle monitoring of mobile device state-of-charge
CN107944425A (zh) * 2017-12-12 2018-04-20 北京小米移动软件有限公司 道路标志的识别方法和装置
US10737690B2 (en) 2018-01-02 2020-08-11 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10583830B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10585431B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10814864B2 (en) 2018-01-02 2020-10-27 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US11148661B2 (en) 2018-01-02 2021-10-19 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10974717B2 (en) 2018-01-02 2021-04-13 Ford Global Technologies, I.LC Mobile device tethering for a remote parking assist system of a vehicle
US10688918B2 (en) 2018-01-02 2020-06-23 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10684773B2 (en) 2018-01-03 2020-06-16 Ford Global Technologies, Llc Mobile device interface for trailer backup-assist
US10747218B2 (en) 2018-01-12 2020-08-18 Ford Global Technologies, Llc Mobile device tethering for remote parking assist
US10917748B2 (en) 2018-01-25 2021-02-09 Ford Global Technologies, Llc Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning
US10684627B2 (en) 2018-02-06 2020-06-16 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for position aware autonomous parking
US11188070B2 (en) 2018-02-19 2021-11-30 Ford Global Technologies, Llc Mitigating key fob unavailability for remote parking assist systems
US10507868B2 (en) 2018-02-22 2019-12-17 Ford Global Technologies, Llc Tire pressure monitoring for vehicle park-assist
CN110316106B (zh) * 2018-03-30 2021-09-03 比亚迪股份有限公司 车辆及其显示终端系统和通过其建立立体地形数据库的方法
US10732622B2 (en) 2018-04-05 2020-08-04 Ford Global Technologies, Llc Advanced user interaction features for remote park assist
US10759417B2 (en) 2018-04-09 2020-09-01 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10493981B2 (en) 2018-04-09 2019-12-03 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10793144B2 (en) 2018-04-09 2020-10-06 Ford Global Technologies, Llc Vehicle remote park-assist communication counters
US10683004B2 (en) 2018-04-09 2020-06-16 Ford Global Technologies, Llc Input signal management for vehicle park-assist
CN109099901B (zh) * 2018-06-26 2021-09-24 中科微易(苏州)智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109271861B (zh) * 2018-08-15 2021-08-17 武汉中海庭数据技术有限公司 多尺度融合的点云交通标识牌自动提取方法
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
US10384605B1 (en) 2018-09-04 2019-08-20 Ford Global Technologies, Llc Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers
CN110148196B (zh) 2018-09-12 2022-03-25 腾讯大地通途（北京）科技有限公司 一种图像处理方法、装置以及相关设备
US10821972B2 (en) 2018-09-13 2020-11-03 Ford Global Technologies, Llc Vehicle remote parking assist systems and methods
US10717432B2 (en) 2018-09-13 2020-07-21 Ford Global Technologies, Llc Park-assist based on vehicle door open positions
US10529233B1 (en) 2018-09-24 2020-01-07 Ford Global Technologies Llc Vehicle and method for detecting a parking space via a drone
US10967851B2 (en) 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
CN110969592B (zh) * 2018-09-29 2024-03-29 北京嘀嘀无限科技发展有限公司 图像融合方法、自动驾驶控制方法、装置和设备
US10908603B2 (en) 2018-10-08 2021-02-02 Ford Global Technologies, Llc Methods and apparatus to facilitate remote-controlled maneuvers
US10628687B1 (en) 2018-10-12 2020-04-21 Ford Global Technologies, Llc Parking spot identification for vehicle park-assist
US11097723B2 (en) 2018-10-17 2021-08-24 Ford Global Technologies, Llc User interfaces for vehicle remote park assist
US11137754B2 (en) 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
US10976747B2 (en) * 2018-10-29 2021-04-13 Here Global B.V. Method and apparatus for generating a representation of an environment
JP7138718B2 (ja) * 2018-10-30 2022-09-16 三菱電機株式会社 地物検出装置、地物検出方法および地物検出プログラム
WO2020102944A1 (zh) * 2018-11-19 2020-05-28 深圳市大疆创新科技有限公司 点云处理方法、设备及存储介质
CN110163064B (zh) * 2018-11-30 2022-04-05 腾讯科技（深圳）有限公司 一种道路标志物的识别方法、装置及存储介质
WO2020118619A1 (en) 2018-12-13 2020-06-18 Continental Automotive Gmbh Method for detecting and modeling of object on surface of road
CN109901139B (zh) * 2018-12-28 2023-07-04 文远知行有限公司 激光雷达标定方法、装置、设备和存储介质
US11789442B2 (en) 2019-02-07 2023-10-17 Ford Global Technologies, Llc Anomalous input detection
US11195344B2 (en) 2019-03-15 2021-12-07 Ford Global Technologies, Llc High phone BLE or CPU burden detection and notification
US11169517B2 (en) 2019-04-01 2021-11-09 Ford Global Technologies, Llc Initiation of vehicle remote park-assist with key fob
US11275368B2 (en) 2019-04-01 2022-03-15 Ford Global Technologies, Llc Key fobs for vehicle remote park-assist
WO2020243962A1 (zh) * 2019-06-06 2020-12-10 深圳市大疆创新科技有限公司 物体检测方法、电子设备和可移动平台
CN110648389A (zh) * 2019-08-22 2020-01-03 广东工业大学 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
US11455813B2 (en) * 2019-11-14 2022-09-27 Nec Corporation Parametric top-view representation of complex road scenes
CN112907659B (zh) * 2019-11-19 2024-07-12 浙江菜鸟供应链管理有限公司 移动设备定位系统、方法及设备
US11584377B2 (en) * 2019-11-21 2023-02-21 Gm Cruise Holdings Llc Lidar based detection of road surface features
WO2021121306A1 (zh) * 2019-12-18 2021-06-24 北京嘀嘀无限科技发展有限公司 视觉定位方法和系统
CN111862337B (zh) * 2019-12-18 2024-05-10 北京嘀嘀无限科技发展有限公司 视觉定位方法、装置、电子设备和计算机可读存储介质
CN113091757B (zh) * 2019-12-23 2022-09-27 百度在线网络技术（北京）有限公司 地图生成方法和装置
CN111127459B (zh) * 2019-12-30 2023-05-26 武汉理工大学 路面车辙检测的图像实时处理系统
CN111414809B (zh) * 2020-02-28 2024-03-05 上海牙典软件科技有限公司 一种三维图形识别方法、装置、设备及存储介质
CN113362393A (zh) * 2020-03-06 2021-09-07 阿里巴巴集团控股有限公司 一种地图测绘系统中设备标定方法、系统和装置
CN111144388B (zh) * 2020-04-03 2020-07-14 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
CN111551976A (zh) * 2020-05-20 2020-08-18 四川万网鑫成信息科技有限公司 一种结合多种数据对异常定位进行自动补全的方法
US11030893B1 (en) * 2020-06-05 2021-06-08 Samuel Messinger System for reducing speed of a vehicle and method thereof
CN112863194B (zh) * 2021-01-20 2022-08-23 青岛以萨数据技术有限公司 一种图像处理方法、装置、终端及介质
CN112907746B (zh) * 2021-03-25 2024-10-29 上海商汤临港智能科技有限公司 电子地图的生成方法、装置、电子设备及存储介质
CN113222965B (zh) * 2021-05-27 2023-12-29 西安交通大学 放电通道的三维观测方法
JP7597224B2 (ja) * 2021-07-14 2024-12-10 日本電信電話株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
US11608084B1 (en) 2021-08-27 2023-03-21 Motional Ad Llc Navigation with drivable area detection
CN114419231B (zh) * 2022-03-14 2022-07-19 幂元科技有限公司 基于点云数据和ai技术的交通设施矢量识别提取分析系统
CN115578433B (zh) * 2022-09-30 2023-09-01 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN116468870B (zh) * 2023-06-20 2024-01-23 佛山科学技术学院 一种城市道路三维可视化建模方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187347A (ja) 2007-01-29 2008-08-14 Toshiba Corp 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
JP2011233165A (ja) 2008-08-29 2011-11-17 Mitsubishi Electric Corp 俯瞰画像生成装置、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005251106A (ja) * 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
EP2120009B1 (en) 2007-02-16 2016-09-07 Mitsubishi Electric Corporation Measuring device and measuring method
JP2009199284A (ja) * 2008-02-21 2009-09-03 Univ Of Tokyo 道路地物認識方法
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
KR20130085235A (ko) * 2012-01-19 2013-07-29 김동용 자동차의 무인 운전 시스템
GB2520338A (en) * 2013-11-19 2015-05-20 Nokia Corp Automatic scene parsing
CN104063499A (zh) * 2014-07-04 2014-09-24 纵横皆景（北京)信息技术有限公司 基于车载空间信息采集的空间矢量poi提取方法
CN104899858A (zh) * 2015-02-15 2015-09-09 北京联合大学 基于双摄像机图像融合的车道线识别方法
CN104766058B (zh) * 2015-03-31 2018-04-27 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
CN105719284B (zh) * 2016-01-18 2018-11-06 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187347A (ja) 2007-01-29 2008-08-14 Toshiba Corp 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
JP2011233165A (ja) 2008-08-29 2011-11-17 Mitsubishi Electric Corp 俯瞰画像生成装置、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이한슬 외1, "어려운 고속도로 환경에서 Lidar를 이용한 안정적이고 정확한 다중 차선 인식 알고리즘", Journal of The Institute of Electronics and Information Engineers, 2015년 12월.*

Also Published As

Publication number Publication date
CN105719284B (zh) 2018-11-06
MY188758A (en) 2021-12-29
JP2018523865A (ja) 2018-08-23
CN105719284A (zh) 2016-06-29
EP3407294A4 (en) 2019-10-23
US11320833B2 (en) 2022-05-03
JP7034530B2 (ja) 2022-03-14
EP3407294A1 (en) 2018-11-28
KR20180010238A (ko) 2018-01-30
WO2017124901A1 (zh) 2017-07-27
EP3407294B1 (en) 2021-03-31
US10712747B2 (en) 2020-07-14
US20180224863A1 (en) 2018-08-09
US20200293058A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
KR102003152B1 (ko) 정보 처리 방법, 디바이스, 및 단말기
CN105512646B (zh) 一种数据处理方法、装置及终端
CN108694882B (zh) 用于标注地图的方法、装置和设备
US20220277478A1 (en) Positioning Method and Apparatus
JP4232167B1 (ja) 対象特定装置、対象特定方法および対象特定プログラム
CN110386142A (zh) 用于自动驾驶车辆的俯仰角校准方法
KR102519666B1 (ko) 이미지 변환 장치 및 방법
CN110673107B (zh) 基于多线激光雷达的路沿检测方法及装置
KR20210061722A (ko) 고정밀 지도 제작 방법, 고정밀 지도 제작 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP4978615B2 (ja) 対象特定装置
CN103644904A (zh) 一种基于sift算法的视觉导航方法
CN113095184B (zh) 定位方法、行驶控制方法、装置、计算机设备及存储介质
CN108007456A (zh) 一种室内导航方法、装置及系统
CN109918977A (zh) 确定空闲车位的方法、装置及设备
WO2021212477A1 (zh) 校正点云数据的方法和相关装置
Liu et al. Deep-learning and depth-map based approach for detection and 3-D localization of small traffic signs
US20240426988A1 (en) Method for calibration of camera and lidar, and computer program recorded on recording medium for executing method therefor
JP2019102007A (ja) 勾配推定装置、勾配推定方法、プログラムおよび制御システム
WO2023065342A1 (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
US20240426989A1 (en) Method for calibration of lidar and imu, and computer program recorded on recording medium for executing method therefor
CN110298320A (zh) 一种视觉定位方法、装置及存储介质
CN113433566A (zh) 地图建构系统以及地图建构方法
Nowicki et al. Laser-based localization and terrain mapping for driver assistance in a city bus
KR102748377B1 (ko) 3차원 시설물 위치 정보를 이용한 모바일 장치의 위치 결정 방법 및 이를 이용한 장치
JP7308772B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20171220

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181022

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190429

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190717

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190717

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220617

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230619

Start annual number: 5

End annual number: 5