KR20190082069A - 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기 - Google Patents

도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기 Download PDF

Info

Publication number
KR20190082069A
KR20190082069A KR1020180132473A KR20180132473A KR20190082069A KR 20190082069 A KR20190082069 A KR 20190082069A KR 1020180132473 A KR1020180132473 A KR 1020180132473A KR 20180132473 A KR20180132473 A KR 20180132473A KR 20190082069 A KR20190082069 A KR 20190082069A
Authority
KR
South Korea
Prior art keywords
points
curve
fitting
determining
reliability
Prior art date
Application number
KR1020180132473A
Other languages
English (en)
Other versions
KR102210715B1 (ko
Inventor
시옹 두안
왕 조우
먀오 얀
이페이 잔
창지에 마
샨펑 랑
용강 진
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20190082069A publication Critical patent/KR20190082069A/ko
Application granted granted Critical
Publication of KR102210715B1 publication Critical patent/KR102210715B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/00798—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

본 개시의 실시예들은 도로 중의 차도선을 확정하기 위한 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장 매체에 관한 것이다. 해당 방법은, 기준 곡선으로서 제1 곡선을 획득하되, 제1 곡선은 제1 포인트 집합에 대해 피팅을 진행하여 획득한 것이고, 제1 포인트 집합은 도로 중의 상이한 영역들의 다수의 포인트 집합들로부터 선택되는 단계; 기준 곡선을 기반으로 다수의 포인트 집합들로부터 제2 포인트 집합을 선택하는 단계와, 제2 포인트 집합에 대해 피팅을 진행하여 제2 곡선을 생성하는 단계와 기준 곡선에 관련된 제1 피팅도와 제2 곡선에 관련된 제2 피팅도 사이의 피팅도 차이를 확정하는 단계와, 적어도 부분적으로 피팅도 차이를 기반으로 수렴 조건을 만족하는지 여부를 확정하는 단계와, 수렴 조건이 만족되지 않음에 대응하여, 제2 곡선을 기준 곡선으로 설정하는 단계를 적어도 한번 반복적으로 실행하는 단계; 및 수렴 조건이 만족될 때의 제2 포인트 집합을 기반으로 도로의 차도선을 확정하는 단계를 포함한다.

Description

도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기{METHOD, APPARATUS AND DEVICE FOR DETERMINING LANE LINES IN ROAD}
본 개시의 실시예들은 데이터 처리 기술 분야에 관한 것으로, 보다 구체적으로는 도로 중의 차도선을 확정하기 위한 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장 매체에 관한 것이다.
인공 지능이 발전함에 따라, 자율 주행 기술은 각광을 받고 있다. 3차원 고정밀 지도는 차세대 디지털 지도의 주요 발전 방향으로 업계에서 인정받고 있으며, 이는 자율 주행의 전제 조건으로서, 자율 주행 차량이 정확한 항법과 정확한 결책을 진행함에 있어서 주요 근거로 제공된다.
고정밀 지도는 도로 이용 상황을 분석하고 스마트 트래픽을 실현하는 중요한 전략적 플랫폼 자원이다. 3차원 고정밀 지도 제작의 핵심적인 문제점들은 도로면 차도선 정보의 검출과 생성에 집중되어 있다. 종래의 차도선 검출 기술은 예컨대 횡단보도선, 교통 표지선 등과 같이 차도선 특징과 근사한 기타 선들을 배제하기 어려워 자율 주행의 결책과정에 영향을 초래할 가능성이 존재한다.
본 개시의 예시적 실시예들에 의하면, 도로 중의 차도선을 확정하기 위한 방안을 제공한다.
본 개시의 제1 양태에 있어서, 도로 중의 차도선을 확정하기 위한 방법을 제공한다. 해당 방법은, 기준 곡선으로서 제1 곡선을 획득하되, 제1 곡선은 제1 포인트 집합에 대해 피팅을 진행하여 획득한 것이고, 제1 포인트 집합은 도로 중의 상이한 영역들의 다수의 포인트 집합들로부터 선택되는 단계; 기준 곡선을 기반으로 다수의 포인트 집합들로부터 제2 포인트 집합을 선택하는 단계와, 제2 포인트 집합에 대해 피팅을 진행하여 제2 곡선을 생성하는 단계와 기준 곡선에 관련된 제1 피팅도와 제2 곡선에 관련된 제2 피팅도 사이의 피팅도 차이를 확정하는 단계와, 적어도 부분적으로 피팅도 차이를 기반으로 수렴 조건을 만족하는지 여부를 확정하는 단계와, 수렴 조건이 만족되지 않음에 대응하여, 제2 곡선을 기준 곡선으로 설정하는 단계를 적어도 한번 반복적으로 실행하는 단계; 및 수렴 조건이 만족될 때의 제2 포인트 집합을 기반으로 도로의 차도선을 확정하는 단계를 포함한다.
본 개시의 제2 양태에 있어서, 도로 중의 차도선을 확정하기 위한 장치를 제공한다. 해당 장치는, 기준 곡선으로서 제1 곡선을 획득하도록 구축되되, 제1 곡선은 제1 포인트 집합에 대해 피팅을 진행하여 획득한 것이고, 제1 포인트 집합은 도로 중의 상이한 영역들의 다수의 포인트 집합들로부터 선택되는 곡선 획득 모듈과, 기준 곡선을 기반으로 다수의 포인트 집합들로부터 제2 포인트 집합을 선택하고, 제2 포인트 집합에 대해 피팅을 진행하여 제2 곡선을 생성하고, 기준 곡선에 관련된 제1 피팅도와 제2 곡선에 관련된 제2 피팅도 사이의 피팅도 차이를 확정하고, 적어도 부분적으로 피팅도 차이를 기반으로 수렴 조건을 만족하는지 여부를 확정하며, 수렴 조건이 만족되지 않음에 대응하여, 제2 곡선을 기준 곡선으로 설정하는 것을 적어도 한번 반복적으로 실행하도록 구축된 곡선 업데이트 모듈과, 수렴 조건이 만족될 때의 제2 포인트 집합을 기반으로 도로의 차도선을 확정하도록 구축된 차도선 확정 모듈을 포함한다.
본 개시의 제3 양태에 있어서, 하나 또는 다수의 프로세서와, 하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되, 해당 하나 또는 다수의 프로그램이 해당 하나 또는 다수의 프로세서에 의해 실행될 경우, 해당 하나 또는 다수의 프로세서가 본 개시의 제1 양태에 따른 방법을 구현하도록 하는 기기를 제공한다.
본 개시의 제4 양태에 있어서, 컴퓨터 프로그램이 저장되되, 해당 프로그램은 프로세서에 의해 실행될 경우 본 개시의 제1 양태에 따른 방법을 구현하는 컴퓨터 판독 가능한 저장 매체를 제공한다.
발명의 내용 부분에서 설명한 내용은 본 개시의 실시예들의 관건적이거나 중요한 특징을 한정하고자 하는 것이 아니며, 본 개시의 범위를 한정하기 위한 것이 아님을 이해하여야 한다. 본 개시의 기타 특징들은 아래의 설명을 통해 용이하게 이해할 수 있을 것이다.
본 개시의 각 실시예의 전술한 및 기타의 특징, 이점 및 방면들은 첨부된 도면들을 결부하고 아래의 상세한 설명을 참조함으로써 더욱 명확해질 것이다. 첨부된 도면들에 있어서, 동일하거나 유사한 도면 부호는 동일하거나 유사한 요소를 표시하며, 첨부된 도면들에 있어서:
도1은 본 개시의 다수의 실시예들이 구현될 수 있는 예시적 환경의 개략도를 나타낸다.
도2는 본 개시의 일부의 실시예들에 따른 차도선을 생성하는 개략도를 나타낸다.
도3은 본 개시의 일부의 실시예들에 따른 도로 중의 차도선을 확정하기 위한 방법의 흐름도를 나타낸다.
도4는 본 개시의 일 실시예에 따른 제2 좌표 포인트 집합을 선택하는 방법의 흐름도를 나타낸다.
도5는 본 개시의 다른 일 실시예에 따른 제2 좌표 포인트 집합을 선택하는 방법의 흐름도를 나타낸다.
도6은 본 개시의 일부의 실시예들에 따른 피팅도를 산출하는 예시적 방법의 흐름도를 나타낸다.
도7은 본 개시의 실시예들에 따른 도로 중의 차도선을 확정하기 위한 장치의 개략적 블록도를 나타낸다.
도8은 본 개시의 다수의 실시예들을 구현할 수 있는 컴퓨팅 기기의 블록도를 나타낸다.
아래에 첨부된 도면들을 참조하여 본 개시의 실시예들에 대한 보다 상세한 설명을 진행하기로 한다. 첨부된 도면들에는 본 개시의 일부의 실시예들이 표시되나, 본 개시는 각종의 형식으로 실현될 수 있음을 이해하여야 하고, 본 개시가 본원에 진술된 실시예들에 한정되는 것으로 해석하여서는 아니된다. 반대로, 이러한 실시예들은 본 개시의 더욱 명확하고 완정한 이해를 위해 제공된다. 본 개시의 첨부된 도면들과 실시예들은 단지 예시적인 작용으로 이용될 뿐, 본 개시의 보호 범위를 한정하기 위한 것이 아님을 이해하여야 한다.
본 개시의 실시예들을 설명함에 있어서, 용어 "포함” 및 이와 유사한 용어는 개방적인 포함으로 이해하여야 하며, 즉, "... 포함하나, 이에 한정되지 않는다”로 이해하여야 한다. 용어 "기반으로”는 "적어도 부분적으로 ... 기반으로”로 이해하여야 한다. 용어 "일 실시예” 또는 "해당 실시예는” "적어도 하나의 실시예”로 이해하어야 한다. 용어 "제1", "제2" 등은 상이하거나 동일한 대상물을 지시할 수 있다. 아래에는 기타의 명확한 정의 및 함축적인 정의가 포함될 수 있다.
본 개시의 실시예들에는 해당 기술 분야의 당업자가 이해하기 편리하도록 일부의 특정된 수치를 이용하였으나, 이러한 수치들은 단지 예시적인 것일 뿐, 본 발명의 보호 범위를 한정하고자 하지 않는다.
앞서 언급한 바와 같이, 도로 중의 차도선을 확정하기 위해, 종래의 방안에 있어서, 라이다를 통해 3차원 포인트 클라우드를 수집하거나, 이미지 센서를 기반으로 이미지 데이터를 수집함으로써 구현된다. 이러한 방안은 정확율 또는 적응성 등의 방면에 모두 결함이 존재한다. 예를 들어, 횡단보도선, 교통 표지선이 존재하는 복잡한 정경에 대해, 횡단보도선 또는 교통 표지선이 차도선과 유사한 시각적 특징 및 레이저 반사 특징을 구비하므로, 종래의 방안은 횡단보도선 또는 교통 표지선을 차도선과 효과적으로 분리시키기 어려워, 착오로 횡단보도선 또는 교통 표지선을 차도선으로 인지할 가능성이 존재하며, 이로써 자율 주행의 결책에 영향을 미치게 된다.
본 개시의 실시예들에 의하면, 도로 중의 차도선을 확정하기 위한 방안을 제출한다. 해당 방안에 있어서, 피팅 곡선이 충분히 수렴될때 까지 피팅을 이용하여 획득한 곡선의 피팅도에 대해 반복적으로 피팅을 진행한다. 수렴을 판정하는 과정에, 피팅 곡선을 위한 매번에 획득한 후보 포인트가 3차원 포인트 클라우드 데이터 및/또는 이미지 데이터를 기반으로 판단한 상대적으로 높은 확율을 구비하는 차도선 상의 포인트들에 동시에 해당되도록, 라이다 및/또는 이미지 센서로부터 획득한 도로 중의 차도선의 3차원 포인트 클라우드 데이터 및/또는 이미지 데이터를 결합시킬 수도 있다.
이러한 방안을 기반으로, 생성된 차도선이 더욱 양호한 곡선 특성을 구비하도록 할 수 있다. 또한, 해당 방안은 피팅 곡선에 대한 수렴 판정을 이용하여, 횡단보도선, 교통 표지선 등의 특징이 차도선과 유사함으로 인한 간섭을 효과적으로 구분함으로써, 생성된 차도선의 정확성을 향상시킬 수 있다.
아래에 첨부된 도면들을 참조하여 본 개시의 실시예들에 대한 구체적인 설명을 진행하기로 한다. 도1은 본 개시의 다수의 실시예들이 구현될 수 있는 예시적 환경(100)의 개략도를 나타낸다. 해당 예시적 환경(100)에 있어서, 인식된 차도선(180)은 컴퓨팅 기기(170)에 의해 센서 데이터(150, 152 및 152)에 따라 확정된다.
도로(110) 중의 차도선(115)을 인식할 수 있기 위해, 도로(110)에서 하나 또는 다수의 수집 본체(예컨대, 수집 본체(120), 수집 본체(130) 및 수집 본체(140))를 운행시킬 필요가 있다. 수집 본체(120)를 예로 들면, 수집 본체(120) 상에는 예컨대 라이다 장치 및 이미지 수집 장치를 포함하여 하나 또는 다수의 센서 장치를 설치될 수 있으며, 여기서, 라이다 장치는 도로(110)의 3차원 포인트 클라우드 데이터를 수집할 수 있으며, 이미지 수집 장치는 도로(110) 중 차도선(115)의 이미지를 수집할 수 있다. 일부의 실시예들에 있어서, 수집 본체(120) 상에는 이미지가 수집될 때 수집 본체가 위치하는 위치를 확정하기 위한 위치 확정 장치가 더 설치될 수 있다.
일부의 실시예들에 있어서, 수집 본체(120, 130 및 140)에는 유선 또는 무선 방식을 경유하여 수집한 센서 데이터(150, 152 및 154)를 저장 장치(160)에 전송하기 위한 통신 장치가 더 설치될 수 있다. 본 개시의 실시예들에 의하면, 컴퓨팅 기기(170)는 저장 장치(160)로부터 센서 데이터를 획득하고, 센서 데이터를 기반으로 인식된 차도선(180)을 확정한다.
아래에 도2 내지 도3을 결부하여 본 개시의 실시예들에 따른 도로 중의 차도선을 확정하기 위한 방법에 대한 설명을 진행하기로 한다. 도2는 본 개시의 실시예들에 따른 차도선을 확정하는 개략도(200)를 나타내고, 도3은 본 개시의 실시예들에 따른 도로 중의 차도선을 확정하기 위한 방법(300)의 흐름도를 나타낸다.
도2에 도시된 바와 같이, 도로(110) 중의 차도선(115)을 확정하기 위해, 도로(110)에서 도1에 도시된 바와 같은 하나 또는 다수의 수집 본체(120)를 운행시켜, 도로 중의 차도선의 센서 데이터(즉, 3차원 포인트 클라우드 데이터 및/또는 이미지 데이터)를 획득할 수 있다.
일부의 실시예들에 있어서, 수집된 센서 데이터에 대해, 수집 차량의 진행 궤적에 따라 소정의 거리(예컨대, 2 미터일 수 있음)를 간격으로 차도선 확정에 이용되도록 기정 영역의 센서 데이터를 선택할 수 있으며, 이로써 충분한 정확도를 확보할 수 있는 전제 하에, 필요한 컴퓨팅 량을 저감시킬 수 있다. 일부의 실시예들에 있어서, 예를 들어, 수집 본체(120) 주위의 0.5 미터의 반경의 범위를 해당 기정 영역으로 할 수 있다. 도2에 도시된 바와 같이, 기정 영역의 다수의 예시들(제1 영역(206), 제2 영역(208) 및 제3 영역(210))이 주어진다. 이러한 기정 영역은 단지 예시적일 뿐, 기타 임의의 적합한 규칙을 기반으로 해당 기정 영역을 선택함으로써, 차도선이 존재할 가능성이 없는 영역에 대한 판정을 저감시킬 수도 있음을 이해하여야 한다.
각 기정 영역(206, 208 및 210) 중의 하나 또는 다수의 위치들은 사전에 선택되거나 설정될 수 있으며, 이러한 위치들의 2차원 또는 3차원 좌표는 다수의 포인트들(212)에 대응될 수 있다. 도2의 예시에는 각 기정 영역(206, 208 및 210) 중의 위치들이 대응되는 포인트들(212)이 개략적으로 도시된다. 일부의 실시예들에 있어서, 포인트들(212)은 라이다를 기반으로 획득한 3차원 포인트 클라우드 데이터 중의 샘플링 포인트들에 대응될 수 있다. 아래에, 토론의 편의를 위하여, 영역 중의 위치들과 포인트들은 상호 교환 가능하게 사용된다. 아래에, 도3을 결부하여 차도선을 확정하는 방법(300)에 대한 설명을 진행하기로 한다.
블록(302)에서, 기준 곡선으로서 제1 곡선을 획득한다. 제1 곡선은 제1 포인트 집합에 대해 피팅을 진행하여 획득한 것이고, 제1 포인트 집합은 해당 도로 중의 상이한 영역들의 다수의 포인트 집합들로부터 선택될 수 있다. 도2에 도시된 바와 같이, 제1 곡선(220)은 제1 영역(206) 중의 포인트들(222), 제2 영역(208) 중의 포인트들(224) 및 제3 영역(210) 중의 포인트들(226)에 대해 피팅을 진행하여 획득한 것이다.
일부의 실시예들에 있어서, 3차원 포인트 클라우드 데이터를 기반으로 각 기정 영역 중 제1 곡선을 피팅하기 위한 포인트들을 확정할 수 있다. 차도선의 표면 재질이 상대적으로 높은 레이저 반사율을 구비하므로, 획득한 3차원 포인트 클라우드 데이터 중 각 포인트가 표시하는 위치의 레이저 반사율을 기반으로 이가 차도선일 가능성이 존재하는지 여부를 판정할 수 있다. 예를 들어, 제1 영역(206)에 대해, 해당 영역 중 모든 포인트들의 포인트 클라우드 반사율을 기반으로, 제1 곡선을 피팅하기 위한 포인트들로서 그 중의 레이저 반사율이 가장 높은 하나 또는 다수의 포인트들을 선택할 수 있다. 일부의 실시예들에 있어서, 특정의 레이저 반사값 역치를 기반으로 제1 곡선을 피팅하기 위한 하나 또는 다수의 포인트들을 확정할 수도 있다. 도2에 도시된 예시에 있어서, 예를 들어, 제1 영역(206)에서 선택된 제1 곡선을 피팅하기 위한 포인트들(222)은 제1 영역(206) 중 레이저 반사율이 가장 높은 포인트들일 수 있다.
일부의 실시예들에 있어서, 이미지 데이터를 기반으로 각 기정 영역 중 제1 곡선을 피팅하기 위한 포인트들을 확정할 수도 있다. 일부의 실시예들에 있어서, 해당 이미지 데이터는 픽셀 포인트의 심도 데이터(depth of field data)를 포함할 수 있다. 이러한 경우, 종래의 이미지 처리 알고리즘을 이용하여 이미지 데이터에 대해 처리를 진행함으로써, 이미지 데이터 중의 각 픽셀 포인트가 차도선 상에 위치하는 신뢰도를 확정할 수 있다. 일부의 실시예들에 있어서, 예를 들어, 심층 학습 알고리즘을 이용하여 이미지 데이터에 대해 분석을 진행하여 픽셀 포인트의 분류 결과를 획득함으로써, 각 픽셀 포인트가 차도선에 해당되는 신뢰도를 획득할 수 있다. 일부의 실시예들에 있어서, 예를 들어, 간단하게 픽셀의 그레이 스케일을 기반으로 픽셀 포인트가 차도선 상에 위치하는 신뢰도를 판정할 수도 있다. 예를 들어, 차도선의 샘플링 그레이 스케일 범위를 기반으로, 검출된 그레이 스케일이 해당 범위에 위치하는 픽셀 포인트들은 상대적으로 높은 신뢰도를 구비하는 것으로 간주할 수 있다. 이미지 중 각 픽셀 포인트가 차도선 상에 위치하는 신뢰도를 확정하도록, 임의의 기타의 적당한 이미지 처리 방법들이 모두 사용될 수 있으며, 해당 신뢰도는 각 픽셀 포인트가 차도선 상에 위치하는 확률 또는 가능성을 표시할 수 있음을 이해하여야 한다.
수집한 이미지 중 각 픽셀 포인트의 신뢰도를 확정한 이후, 이미지를 수집할 때의 수집 본체(120)의 위치(예컨대, GPS를 통해 주어짐), 이미지 센서의 정격 파라미터 및 이미지의 심도 데이터를 기반으로, 이미지 데이터에서 기정 영역 중의 포인트들로의 매핑을 구축하여, 기정 영역 중의 포인트들이 표시하는 위치들이 차도선에 해당되는 신뢰도를 획득할 수 있다. 이미지 데이터 중 픽셀 포인트들에서 기정 영역 중의 포인트들로의 매핑 과정을 구축함에 있어서, 부분적 포인트들이 대응되지 않는 이미지 데이터가 존재할 가능성이 존재하며, 이러한 경우, 이러한 포인트들의 신뢰도는 고정값(예컨대, 0 또는 임의의 기타 적당한 수치)으로 설정될 수 있음을 이해할 수 있을 것이다.
일부의 실시예들에 있어서, 해당 이미지 데이터는 심도 정보를 포함하지 않을 수 있다. 이러한 경우, 이미지 데이터 중의 픽셀 포인트들이 반영하는 것은 2차원 위치이고, 기정 영역 중의 포인트들이 반영하는 것은 3차원 위치이므로, 픽셀 포인트들에서 기정 영역 중의 포인트들로의 매핑 과정을 구축함에 있어서, 2차원 위치 중의 하나의 포인트는 3차원 위치 중의 하나의 선으로 매핑된다. 일부의 실시예들에 있어서, 이미지 데이터 중 픽셀 포인트들의 매핑 위치로서 해당 매핑된 선 중 수집 본체(120)와의 위치가 가장 가까운 포인트들을 선택할 수 있으며, 해당 포인트의 신뢰도는 해당 픽셀 포인트의 신뢰도로 설정될 수 있으며, 해당 선 중의 기타 포인트들의 신뢰도는 고정값(예컨대, 0)으로 설정될 수 있다.
또한, 앞서 토론한 레이저 반사율과 유사하게, 이미지 데이터의 픽셀 포인트들과 기정 영역 포인트들로의 매핑으로 확정한 포인트들의 신뢰도를 기반으로, 제1 곡선을 피팅하기 위해 해당 기정 영역 중 신뢰도가 가장 높은 하나 또는 다수의 포인트들을 선택할 수 있으며, 또는 제1 곡선을 피팅하기 위해 해당 기정 영역 중 신뢰도가 기정의 역치보다 높은 하나 또는 다수의 포인트들을 선택할 수 있다. 도2에 도시된 예시에 있어서, 예를 들어, 제1 영역(206)에서 선택된 제1 곡선을 피팅하기 위한 포인트들(222)은 제1 영역(206)에서 신뢰도가 가장 높은 포인트들일 수 있다.
일부의 실시예들에 있어서, 선택한 포인트들의 정확성을 향상시키기 위해, 동시에 레이저 반사율 및 이미지 데이터의 신뢰도를 기반으로 제1 곡선을 피팅하기 위한 포인트들을 확정할 수도 있다. 일부의 실시예들에 있어서, 레이저 반사율 및 신뢰도에 대해 각각 정규화를 진행하고, 레이저 반사율 및 신뢰도에 각자의 가중치를 분배하고, 그의 가중치 합계를 기반으로 각 포인트의 득점을 확정할 수 있으며, 해당 득점은 선세 데이터를 기반으로 확정한 각 포인트가 대응되는 위치가 차도선에 해당되는 가능성을 반영할 수 있다. 예를 들어, 포인트들의 득점 Point_Score은 아래의 공식을 기반으로 확정할 수 있다.
Point_Score =α * Point_Cloud_Rate + β* Image_Conf,
여기서, α와 β는 가중치 계수를 표시하고, Point_Cloud_Rate는 해당 포인트의 포인트 클라우드 반사율을 표시하고, Image_Conf는 해당 포인트의 신뢰도를 표시한다. 일부의 실시예들에 있어서, 레이저 반사율은 위치가 차도선인지 여부의 가능성을 상대적으로 더욱 정확하게 반영할 수 있으므로, 반사율에 상대적으로 높은 가중치 α를 분배하고, 신뢰도에 상대적으로 낮은 가중치 β를 분배할 수 있다. 일부의 실시예들에 있어서, 제1 곡선을 피팅하기 위해 해당 기정 영역 중 득점이 가장 높은 하나 또는 다수의 포인트들을 선택할 수 있으며, 또는 제1 곡선을 피팅하기 위해 해당 기정 영역 중 득점이 기정의 역치보다 높은 하나 또는 다수의 포인트들을 선택할 수 있다. 도2에 도시된 예시에 있어서, 예를 들어, 제1 영역(206)에서 선택된 제1 곡선을 피팅하기 위한 포인트들(222)은 제1 영역(206) 중 득점이 가장 높은 포인트들일 수 있다. 3차원 포인트 클라우드 데이터와 이미지 데이터를 융합 처리하는 방식을 통해, 양자의 데이터는 상호 인증될 수 있으며, 해당 포인트는 양자가 모두 해당 포인트가 표시하는 위치가 차도선 상에 위치할 가능성이 존재함을 표시할 경우에만 상대적으로 높은 득점을 획득할 수 있으므로, 이러한 방식은 종래의 방안에 비해 보다 정확할 수 있다.
각 기정 영역 중 제1 곡선을 피팅하기 위한 포인트들을 확정한 이후, 곡선 피팅 알고리즘을 이용하여 확정된 포인트들에 대해 곡선 피팅을 진행할 수 있다. 일부의 실시예들에 있어서, RANSAC 알고리즘을 이용하여 확정된 다수의 포인트들에 대해 피팅을 진행할 수 있다. 제1 곡선을 확정하기 위해 임의의 기타 적합한 곡선 피팅 알고리즘들을 이용하여 확정된 다수의 포인트들에 대해 곡선 피팅을 진행할 수도 있음을 이해하여야 한다. 예를 들어, 도2에 도시된 예시에 있어서, 선택된 포인트들(222), 포인트들(224) 및 포인트들(226)에 대해 피팅을 진행하여 획득된 곡선은 제1 곡선(214)이다.
이어서 도3을 참조하면, 블록(304)에서, 기준 곡선을 기반으로 상이한 영역들의 다수의 포인트 집합들로부터 제2 포인트 집합을 선택한다. 일부의 실시예들에 있어서, 현재의 기준 곡선(즉, 제1 곡선(214))에 대해, 각 기정 영역 중의 포인트들에서 제1 곡선(214)으로의 유클리드 거리를 산출할 수 있으며, 해당 거리를 기반으로 제2 포인트 집합을 선택할 수 있다. 예를 들어, 기정 영역 중 제1 곡선(214)과의 거리가 가장 가까운 하나 또는 다수의 포인트들을 선택할 수 있으며, 또는 기정 영역 중 해당 거리가 기정의 역치보다 작은 하나 또는 다수의 포인트들을 선택할 수 있다. 일부의 실시예들에 있어서, 해당 거리를 기반으로 기정 영역 중 각 포인트의 새로운 득점을 확정할 수도 있다. 예를 들어, 각 포인트의 득점 Point_Score_New은 아래의 공식을 기반으로 확정할 수 있다.
Point_Score_New=2/(1 + e^(f * Dist)),
여기서, f는 상수일 수 있고, Dist는 포인트에서 기준 곡선까지의 유클리드 거리를 표시한다. 이러한 경우, 예를 들어, 기준 곡선과 보다 가까운 포인트들이 우선적으로 선택되도록, 및 새로운 곡선이 더욱 바람직한 평활도를 구비할 수 있도록, 제2 포인트 집합으로서 기정 영역 중 득점이 가장 높은 하나 또는 다수의 포인트들을 선택할 수 있으며, 또는 기정 영역 중 득점이 기정의 역치보다 높은 하나 또는 다수의 포인트들을 선택할 수 있다.
일부의 실시예들에 있어서, 3차원 포인트 클라우드 데이터를 기반으로 제2 포인트 집합을 확정할 수도 있다. 도4에 도시된 바와 같이, 방법(400)은 블록(304)의 일 예시적 실시예이다.
블록(402)에서, 도로 중 상이한 영역들의 다수의 포인트 집합들에 관련된 포인트 클라우드 데이터를 획득한다. 일부의 실시예들에 있어서, 라이다를 통해 도로 중 상이한 영역들의 3차원 포인트 클라우드 데이터를 획득하고, 다수의 집합들이 대응되는 위치들과 라이다 샘플링 포인트들 사이의 위치 매칭을 기반으로, 다수의 포인트 집합들에 관련된 포인트 클라우드 데이터를 확정할 수 있다. 블록(404)에서, 포인트 클라우드 데이터로부터 다수의 포인트 집합들 중의 포인트들이 표시하는 위치의 레이저 반사율을 확정한다.
블록(406)에서, 레이저 반사율과 기준 곡선을 기반으로 제2 포인트 집합을 선택한다. 일부의 실시예들에 있어서, 레이저 반사율과 기준 곡선을 기반으로 기정 영역 중의 포인트들의 득점을 다시 확정할 수 있다. 일부의 실시예들에 있어서, 전술한 바와 같이, 기정 영역 중 각 포인트에서 해당 기준 곡선까지의 유클리드 거리를 확정할 수 있으며, 이때 득점 Ponit_Score_New은 예컨대 아래와 같은 공식으로 확정할 수 있다.
Ponit_Score_New=α1* Point_Cloud_Rate + β1*Point_Dist_Score,
Point_Dist_Score = 2 / (1 + e^(f * Dist)),
여기서, α1와 β1은 가중치 계수를 표시하고, Point_Cloud_Rate는 포인트가 표시하는 위치의 레이저 반사율을 표시하고, Dist는 포인트에서 기준 곡선까지의 유클리드 거리를 표시하고, f는 상수이다. 이러한 경우, 예를 들어, 해당 기준 곡선과의 거리가 가깝고 레이저 반사율이 높은 포인트들이 우선적으로 선택되도록, 기정 영역 중 득점이 가장 높은 하나 또는 다수의 포인트들을 선택할 수 있으며, 또는 기정 영역 중 득점이 기정의 역치보다 높은 하나 또는 다수의 포인트들을 선택할 수 있다. 이러한 방식을 기반으로, 한편으로, 상술한 바와 같이, 획득한 곡선은 보다 평활할 수 있고, 다른 한편으로, 제2 포인트 집합을 선택하는 과정에 레이저 반사율 및 곡선까지의 거리의 2가지 요소를 동시에 고려하므로, 단지 레이저 반사율로 확정한 차도선의 결과를 진일보로 수정하고, 일부의 잘못된 검출의 발생을 피면하고, 차도선의 정확도를 향상시킬 수 있다.
일부의 실시예들에 있어서, 이미지 데이터를 기반으로 제2 포인트 집합을 확정할 수도 있다. 도4에 도시된 바와 같이, 방법(400)은 블록(304)의 다른 일 예시적 실시예이다. 블록(502)에서, 도로 중 상이한 영역들의 차도선 이미지를 획득한다. 일부의 실시예들에 있어서, 예를 들어, 촬상 장치를 통해 도로 중 상이한 영역들의 차도선 이미지를 획득할 수 있다.
블록(504)에서, 다수의 포인트 집합들 중의 포인트들이 표시하는 위치에서 이미지로의 매핑을 구축한다. 일부의 실시예들에 있어서, 차도선 이미지는 심도 정보를 더 포함할 수 있다. 이러한 경우, 종래의 이미지 처리 알고리즘을 이용하여 이미지 데이터에 대해 처리를 진행하여, 이미지 데이터 중의 각 픽셀 포인트가 차도선인 신뢰도를 확정할 수 있다. 전술한 바와 같이, 예를 들어, 심층 학습 알고리즘을 이용하여 이미지 데이터에 대해 분석을 진행하여 픽셀 포인트의 분류 결과를 획득함으로써, 각 픽셀 포인트가 차도선에 해당되는 신뢰도를 획득할 수 있다. 일부의 실시예들에 있어서, 예를 들어, 간단하게 픽셀의 그레이 스케일을 기반으로 픽셀 포인트들이 차도선에 해당되는 신뢰도를 판정할 수도 있으며, 예를 들어, 차도선의 일반 그레이 스케일 영역을 기반으로, 그레이 스케일이 해당 영역에 위치하는 픽셀 포인트들은 상대적으로 높은 신뢰도를 구비한다. 이미지 중 각 픽셀 포인트가 차도선에 해당되는 확률을 확정하기 위해, 임의의 기타 적당한 이미지 처리 방법들을 모두 이용할 수 있음을 이해하여야 한다.
수집한 이미지 중 각 픽셀 포인트의 신뢰도를 확정한 이후, 이미지를 수집할 때의 수집 본체(120)의 위치(예컨대, GPS를 통해 주어짐), 이미지 센서의 정격 파라미터 및 이미지의 심도 데이터를 기반으로, 이미지 데이터에서 기정 영역 중의 포인트들로의 매핑을 구축하여, 기정 영역 중의 포인트들이 대응되는 위치들이 차도선에 해당되는 신뢰도를 획득할 수 있다. 이미지 데이터 중 픽셀 포인트들에서 기정 영역 중의 포인트들로의 매핑 과정을 구축함에 있어서, 부분적 포인트들이 대응되지 않는 이미지 데이터가 존재할 가능성이 존재하며, 이러한 경우, 이러한 포인트들의 신뢰도는 고정값(예컨대, 0 또는 임의의 기타 적당한 수치)으로 설정될 수 있음을 이해할 수 있을 것이다.
일부의 실시예들에 있어서, 해당 이미지 데이터는 심도 정보를 포함하지 않을 수 있다. 이러한 경우, 이미지 데이터 중의 픽셀 포인트들이 반영하는 것은 2차원 위치이고, 기정 영역 중의 포인트들이 반영하는 것은 3차원 위치이므로, 픽셀 포인트들에서 기정 영역 중의 포인트들로의 매핑 과정을 구축함에 있어서, 2차원 위치 중의 하나의 포인트는 3차원 위치 중의 하나의 선으로 매핑된다. 일부의 실시예들에 있어서, 이미지 데이터 중 픽셀 포인트들의 매핑 위치로서 해당 매핑된 선 중 수집 본체(120)와의 위치가 가장 가까운 포인트들을 선택할 수 있으며, 해당 포인트의 신뢰도는 해당 픽셀 포인트의 신뢰도로 설정될 수 있으며, 해당 선 중의 기타 포인트들의 신뢰도는 고정값(예컨대, 0 또는 임의의 기타 적당한 수치)으로 설정될 수 있다.
블록(506)에서, 매핑 및 기준 곡선을 기반으로 제2 포인트 집합을 선택한다. 일부의 실시예들에 있어서, 매핑으로 획득한 포인트들의 신뢰도 및 기준 곡선의 거리를 기반으로 포인트들의 득점을 다시 확정할 수 있다. 예를 들어, 일부의 실시예들에 있어서, 전술한 바와 같이, 기정 영역 중 각 포인트에서 해당 기준 곡선까지의 유클리드 거리를 확정할 수 있으며, 이때 득점 Point_Score_New은 예컨대 아래와 같은 공식으로 확정할 수 있다.
Ponit_Score_New=α2* Image_Conf + β2*Point_Dist_Score,
Point_Dist_Score = 2 / (1 + e^(f * Dist)),
여기서, α2와 β2는 가중치 계수를 표시하고, Image_Conf는 포인트의 신뢰도를 표시하고, Dist는 포인트에서 기준 곡선까지의 유클리드 거리를 표시하고, f는 상수이다. 이러한 경우, 예를 들어, 해당 기준 곡선과의 거리가 가깝고 신뢰도가 높은 포인트들이 우선적으로 선택되도록, 기정 영역 중 득점이 가장 높은 하나 또는 다수의 포인트들을 선택할 수 있으며, 또는 기정 영역 중 득점이 기정의 역치보다 높은 하나 또는 다수의 포인트들을 선택할 수 있다. 이러한 방식을 기반으로, 판편으로, 상술한 바와 같이, 이러한 방식을 기반으로, 한편으로, 상술한 바와 같이, 획득한 곡선은 보다 평활할 수 있고, 다른 한편으로, 제2 포인트 집합을 선택하는 과정에 이미지를 기반으로 확정한 포인트들이 차도선 상에 위치하는 신뢰도 및 곡선까지의 거리의 2가지 요소를 동시에 고려하므로, 단지 이미지 데이터에 따라 확정한 차도선의 결과를 진일보로 수정하고, 일부의 잘못된 검출의 발생을 피면하고, 차도선의 정확도를 향상시킬 수 있다.
일부의 실시예들에 있어서, 3차원 포인트 클라우드 데이터 및 이미지 데이터를 기반으로 제2 포인트 집합을 확정할 수도 있다. 상술한 바와 같이, 도로 중 상이한 영역들의 3차원 포인트 클라우드 데이터 및 상응한 차도선 이미지를 획득할 수 있다. 앞서 설명한 내용과 유사한 과정을 기반으로, 각 기정 영역 중 각 포인트의 레이저 반사율, 신뢰도 및 기준 곡선까지의 거리를 확정할 수 있다. 이때 포인트의 득점은 아래와 같은 공식으로 산출할 수 있다.
Ponit_Score_New=
α3* Point_Cloud_Rate +β3* Image_Conf + γ*Point_Dist_Score,
Point_Dist_Score = 2 / (1 + e^(f * Dist)),
여기서, α3, β3 및 γ는 가중치 계수를 표시하고, Point_Cloud_Rate는 포인트가 표시하는 위치의 레이저 반사율을 표시하고, Image_Conf는 포인트의 신뢰도를 표시하고, Dist는 포인트에서 기준 곡선까지의 유클리드 거리를 표시하고, f는 상수이다. 이러한 경우, 예를 들어, 해당 기준 곡선과의 거리가 가깝고 레이저 반사율이 높으며 신뢰도가 높은 포인트들이 우선적으로 선택되도록, 나아가 제2 포인트 집합이 실제 중의 차도선에 더욱 근접할 수 있도록, 기정 영역 중 득점이 가장 높은 하나 또는 다수의 포인트들을 선택할 수 있으며, 또는 기정 영역 중 득점이 기정의 역치보다 높은 하나 또는 다수의 포인트들을 선택할 수 있다.
이러한 방식을 통해, 한편으로, 상술한 바와 같이, 획득한 곡선은 보다 평활할 수 있고, 다른 한편으로, 제2 포인트 집합을 선택하는 과정에 레이저 반사율, 이미지를 기반으로 확정한 포인트들이 차도선 상에 위치하는 신뢰도 및 곡선까지의 거리의 3가지 요소를 동시에 고려하므로, 먼저 다수의 파라미터들의 종합 검증을 기반으로 검출 결과를 획득할 수 있으며, 보다 정확할 수 있을 뿐만 아니라, 진일보로 포인트에서 기준 곡선까지의 거리를 고려하므로, 센서 융합으로 확정한 차도선의 결과를 진일보로 수정하고, 일부의 잘못된 검출의 발생을 피면하고, 차도선의 정확도를 향상시킬 수 있다.
예를 들어, 도2에 도시된 예시에 있어서, 제1 영역(206)에서 선택된 포인트들은 포인트들(232)이고, 제1 영역(206)에서 선택된 포인트들은 포인트들(234)이고, 제1 영역(206)에서 선택된 포인트들은 포인트들(236)이며, 피팅으로 획득한 곡선은 제2 곡선(230)이다.
이어서 도3을 참조하면, 블록(306)에서, 기준 곡선에 관련된 제1 피팅도와 제2 곡선에 관련된 제2 피팅도 사이의 피팅도 차이를 확정한다. 일부의 실시예들에 있어서, 피팅도는 곡선을 피팅시키기 위한 포인트들과 피팅으로 획득한 곡선의 피팅 정도를 반영한다. 도6을 참조하면, 도6은 본 개시의 실시예들에 따른 피팅도를 확정하는 방법(600)의 흐름도를 나타낸다.
블록(602)에서, 일 포인트 집합 중 포인트들에서 곡선까지의 거리를 확정한다. 예를 들어, 제2 곡선을 예로 들면, 일부의 실시예들에 있어서, 해당 거리는 제2 포인트 집합 중의 포인트들에서 제2 곡선까지의 유클리드 거리이다. 블록(604)에서, 일 포인트 집합 중 곡선까지의 거리가 소정의 거리보다 작은 포인트들의 점유율을 확정한다. 제2 곡선을 예를 들면, 일부의 실시예들에 있어서, 예를 들어, 점유율 Ratio은 아래의 공식으로 확정할 수 있다.
Ratio=Count(Dist<Dist_Threshold)/Amount
여기서, Dist는 곡선 상의 포인트들에서 제2 곡선까지의 거리를 표시하고, Dist_Threshold는 거리 역치를 표시하고, Amount는 해당 곡선 상의 포인트들의 수량을 표시하고, Count(Dist<Dist_Threshold)는 제2 곡선까지의 거리가 역치 거리보다 작은 포인트들의 수량을 표시한다. 일부의 실시예들에 있어서, 폭 내의 포인트들이 모두 상대적으로 양호한 피팅도를 구비하도록, 역치 거리는 차도선 폭값의 절반으로 선택될 수 있다.
블록(606)에서, 거리와 점유율의 가중치 합계를 기반으로 피팅도를 확정한다. 제2 곡선를 예로 들면, 일부의 실시예들에 있어서, 예를 들어, 거리를 기반으로 해당 곡선 상의 모든 포인트들의 평균 거리 득점 Average_Dist_Score을 획득할 수 있다.
Average_Dist_Score=Sum(Point_Dist_Score)/Amount,
Point_Dist_Score = 2 / (1 + e^(f * Dist)),
여기서, Dist는 곡선 상의 포인트들에서 제2 곡선까지의 거리를 표시하고, f는 상수이고, Amount는 해당 곡선 상의 포인트들의 수량을 표시하고, Sum(Point_Dist_Score)는 곡선 상의 포인트들이 거리 득점의 합계를 표시한다. 일부의 실시예들에 있어서, 이어서, 평균 거리 득점 및 점유율을 기반으로 제2 피팅도 Fit_Score_2를 산출할 수 있다.
Fit_Score_2 = α4* Average_Dist_Score + β4* Ratio
여기서, α4와 β4는 가중치 계수를 표시한다. 이러한 방식을 기반으로 산출된 피팅도는 곡선 자체와 포인트들의 매칭 정도를 고려할 뿐만 아니라, 차도선이 특정의 폭을 구비하는 특징도 고려하므로, 해당 곡선을 피팅하기 위한 선을 후보 차도선 상의 포인트들인 가능성을 보다 정확하게 반영할 수 있다.
이어서 도3을 참조하면, 기준 곡선에 관련된 제1 피팅도는 방법(600)에 따라 확정될 수도 있음을 이해하여야 한다. 일부의 실시예들에 있어서, 피팅도 차이는 제2 피팅도와 제1 피팅도의 차이값으로 표시될 수 있다.
블록(308)에서, 수렴 조건을 만족하는지 여부를 확정한다. 일부의 실시예들에 있어서, 수렴 조건은 피팅도 차이에 상호 관련될 수 있다. 일부의 실시예들에 있어서, 예를 들어, 피팅도 차이의 절대값이 기정의 역치보다 작은지 여부를 판단할 수 있으며, 작을 경우, 2개의 곡선이 아주 근접함을 반영하고, 즉, 수렴이 충분함을 반영한다. 일부의 실시예들에 있어서, 예를 들어, 피팅 차이도의 값이 0보다 크거나 같으며 기정의 역치보다 작을 경우, 즉, 제2 곡선의 품질은 기준 곡선의 품질보다 양호하고 2개의 곡선이 아주 근접할 경우, 이때 더 이상 반복을 진행하여도 곡선의 품질을 현저하게 향상시키기 어려울 가능성이 존재하며, 따라서 수렴 조건을 만족하는 것으로 확정할 수 있다.
일부의 실시예들에 있어서, 수렴 조건은 곡선 상의 포인트들의 레이저 반사율에 관련될 수도 있다. 일부의 실시예들에 있어서, 예를 들어, 기준 곡선에 관련된 제1 평균 레이저 반사율 및 제2 곡선에 관련된 제2 평균 레이저 반사율을 각각 확정할 수 있으며, 여기서, 평균 레이저 반사율은 해당 곡선 상의 모든 포인트들이 표시하는 위치의 레이저 반사율의 평균치를 가리킨다. 이어서, 제1 평균 레이저 반사율 및 제2 평균 레이저 반사율을 기반으로, 양자의 차이, 즉 레이저 반사율 차이를 산출할 수 있다. 일부의 실시예들에 있어서, 레이저 반사율 차이와 피팅도 차이에 대해 가중치 합계를 진행하여 차이도 득점을 획득할 수 있으며, 즉, 차이도 득점 Diff_Score은 아래와 같이 표시될 수 있다.
Diff_Score =
α5 * Diff_Point_Cloud_Ratio + β5 * Diff_Fitting_Score
여기서, α5와 β5는 가중치 계수를 표시하고, Diff_Point_Cloud_Ratio는 레이저 반사율 차이를 표시하고, Diff_Fitting_Score는 피팅도 차이를 표시한다. 일부의 실시예들에 있어서, 차이도 득점과 기정의 역치에 대해 비교를 진행하고, 합계가 기정의 역치보다 작을 경우, 수렴 조건을 만족하는 것으로 판정한다. 일부의 실시예들에 있어서, 유사하게, 차이도 득점이 0보다 크거나 같으며 기정의 역치보다 작을 경우, 수렴 조건을 만족하는 것으로 확정할 수도 있다.
일부의 실시예들에 있어서, 수렴 조건은 곡선 상의 포인트들의 신뢰도에 관련될 수도 있다. 일부의 실시예들에 있어서, 예를 들어, 기준 곡선에 관련된 제1 평균 신뢰도 및 제2 곡선에 관련된 제2 평균 신뢰도를 각각 확정할 수 있으며, 여기서, 평균 신뢰도는 해당 곡선 상의 모든 포인트들의 신뢰도의 평균값을 가리킨다. 이어서, 제1 평균 신뢰도 및 제2 평균 신뢰도를 기반으로, 양차의 차이, 즉, 신뢰도 차이를 산출할 수 있다. 일부의 실시예들에 있어서, 신뢰도 차이와 피팅도 차이에 대해 가중치 합계를 진행하여 차이도 득점을 획득할 수 있으며, 즉, 차이도 득점 Diff_Score은 아래와 같이 표시될 수 있다.
Diff_Score =
α6 * Diff_Image_Conf + β6 * Diff_Fitting_Score,
여기서, α6과 β6는 가중치 계수를 표시하고, Diff_Image_Conf는 신뢰도 차이를 표시하고, Diff_Fitting_Score는 피팅도 차이를 표시한다. 일부의 실시예들에 있어서, 이어서, 차이도 득점과 기정의 역치에 대해 비교를 진행하고, 합계가 기정의 역치보다 작을 경우, 수렴 조건을 만족하는 것으로 판정한다. 일부의 실시예들에 있어서, 유사하게, 차이도 득점이 0보다 크거나 같으며 기정의 역치보다 작을 경우, 수렴 조건을 만족하는 것으로 확정할 수도 있다.
수렴 조건은 동시에 피팅도 차이, 레이저 반사율 차이 및 신뢰도 차이에 관련될 수 있으며, 즉, 3자에 대해 가중치 합계를 진행하여 차이도 득점을 획득할 수 있음을 이해하여야 하며, 즉, 차이도 득점Diff_Score은 아래와 같이 표시될 수 있다.
Diff_Score =
α7 * Diff_Point_Cloud_Ratio + β7 * Diff_Image_Conf
+ γ2 * Diff_Fitting_Score,
여기서, α7, β7 및 γ2는 가중치 계수를 표시하고, Diff_Point_Cloud_Ratio는 레이저 반사율 차이를 표시하고, Diff_Image_Conf는 신뢰도 차이를 표시하고, Diff_Fitting_Score는 피팅도 차이를 표시한다. 일부의 실시예들에 있어서, 이어서, 차이도 득점과 기정의 역치에 대해 비교를 진행하고, 합계가 기정의 역치보다 작을 경우, 수렴 조건을 만족하는 것으로 판정한다. 일부의 실시예들에 있어서, 유사하게, 차이도 득점이 0보다 크거나 같으며 기정의 역치보다 작을 경우, 수렴 조건을 만족하는 것으로 확정할 수도 있다.
블록(308)에서 수렴 조건을 만족하는 것으로 확정될 경우, 방법(300)은 블록(310)으로 진행되며, 즉, 수렴 조건이 만족될 때의 제2 포인트 집합을 기반으로 도로의 차도선을 확정하며, 즉, 제2 포인트 집합을 최종의 차도선 결과로서 출력한다.
수렴 조건을 만족하지 않는 것으로 확정될 경우, 방법(300)은 블록(312)으로 진행되며, 즉, 제2 곡선을 기준 곡선으로 설정하고, 이어서 블록(304)로 돌아가, 즉 새로운 기준 곡선을 기반으로 제2 포인트 집합을 다시 선택한다. 블록(304), 블록(306), 블록(308) 및 블록(312)은 수렴 조건이 만족될 때까지 반복적으로 실행됨을 이해하여야 한다. 일부의 실시예들에 있어서, 산출 결과와 산출 오버 헤드의 균형을 위하여, 예컨대 반복 횟수에 상한계(예컨대, 10회)를 설정할 수 있으며, 즉, 반복 횟수가 해당 상한계에 도달할 경우, 수렴 조건을 만족하는 것으로 확정하고, 반복을 자동으로 종료시키며, 이때의 제2 포인트 집합을 최종의 차도선 결과로서 출력한다.
요컨대, 본 개시의 실시예들에서 제공하는 차도선을 확정하는 방안은 3차원 포인트 클라우드 및 이미지 수집 데이터에 대해 융합 판정을 진행하고, 단일의 센서로 인식하는 방안에 비해 보다 정확하다. 또한, 해당 방안은 진일보로 레이저 반사율, 신뢰도 및 기준 곡선까지의 거리를 기반으로 각 후보 포인트에 대해 점수를 산출하고, 센서 데이터를 기초로 진일보로 곡선 특성을 도입시켜, 획득한 곡선이 보다 평활하고, 실제의 차도 특징에 부합되도록 할 수 있다. 더 나아가, 수차례의 반복의 방식을 통해, 획득한 포인트들이 상대적으로 높은 레이저 반사율을 구비하고, 상대적으로 높은 신뢰도를 구비하며 피팅 곡선과의 거리가 상대적으로 가까울 수 있을 뿐만 아니라, 일부의 시각적 특징들이 차도선과 상대적으로 근사한 기타의 도로선들(예컨대, 횡단보도선 및 차도 표지선 등)을 배제할 수 있다.
도7은 본 개시의 실시예들에 따른 도로 중의 차도선을 확정하기 위한 장치(700)의 개략적 블록도를 나타낸다. 도7에 도시된 바와 같이, 장치(700)는, 기준 곡선으로서 제1 곡선을 획득하도록 구축되되, 제1 곡선은 제1 포인트 집합에 대해 피팅을 진행하여 획득한 것이고, 제1 포인트 집합은 도로 중의 상이한 영역들의 다수의 포인트 집합들로부터 선택되는 곡선 획득 모듈(702)과, 기준 곡선을 기반으로 다수의 포인트 집합들로부터 제2 포인트 집합을 선택하고, 제2 포인트 집합에 대해 피팅을 진행하여 제2 곡선을 생성하고, 기준 곡선에 관련된 제1 피팅도와 제2 곡선에 관련된 제2 피팅도 사이의 피팅도 차이를 확정하고, 적어도 부분적으로 피팅도 차이를 기반으로 수렴 조건을 만족하는지 여부를 확정하며, 수렴 조건이 만족되지 않음에 대응하여, 제2 곡선을 기준 곡선으로 설정하는 것을 적어도 한번 반복적으로 실행하도록 구축된 곡선 업데이트 모듈(704)과, 수렴 조건이 만족될 때의 제2 포인트 집합을 기반으로 도로의 차도선을 확정하도록 구축된 차도선 확정 모듈(706)을 포함한다.
일부의 실시예들에 있어서, 곡선 업데이트 모듈(704)은, 준 곡선과의 거리가 가까운 포인트들이 우선적으로 선택되도록, 다수의 포인트 집합들에서 기준 곡선까지의 거리를 기반으로 제2 포인트 집합을 선택하도록 구축된 제1 포인트 선택 모듈을 더 포함한다.
일부의 실시예들에 있어서, 곡선 업데이트 모듈(704)은, 도로 중의 상이한 영역들의 다수의 포인트 집합들에 관련된 포인트 클라우드 데이터를 획득하도록 구축된 포인트 클라우드 데이터 획득 모듈과, 포인트 클라우드 데이터로부터 다수의 포인트 집합들 중의 포인트들이 표시하는 위치의 레이저 반사율을 확정하도록 구축된 레이저 반사율 확정 모듈과, 기준 곡선과의 거리가 가깝고 레이저 반사율이 높은 포인트가 우선으로 선택되도록, 포인트 클라우드 신뢰도와 기준 곡선을 기반으로 제2 포인트 집합을 선택하도록 구축된 포인트 제2 포인트선택 모듈을 더 포함한다.
일부의 실시예들에 있어서, 곡선 업데이트 모듈(704)은, 기준 곡선을 피팅하기 위한 포인트들이 표시하는 위치의 레이저 반사율을 기반으로, 기준 곡선에 관련된 제1 평균 레이저 반사율을 확정하도록 구축된 제1 평균 레이저 반사율 확정 모듈과, 제2 곡선을 피팅하기 위한 포인트들이 표시하는 위치의 레이저 반사율을 기반으로, 제2 곡선에 관련된 제2 평균 레이저 반사율을 확정하도록 구축된 제2 평균 레이저 반사율 확정 모듈과, 제1 평균 레이저 반사율과 제2 평균 레이저 반사율 사이의 레이저 반사율 차이를 확정하도록 구축된 레이저 반사율 차이 확정 모듈과, 레이저 반사율 차이와 피팅도 차이의 가중치 합계가 기정의 역치보다 작음에 대응하여, 수렴 조건을 만족하는 것으로 확정하도록 구축된 제1 수렴 판단 모듈을 더 포함한다.
일부의 실시예들에 있어서, 곡선 업데이트 모듈(704)은, 도로의 상이한 영역들 중의 차도선의 이미지를 획득하도록 구축된 이미지 획득 모듈과, 다수의 포인트 집합들 중의 포인트들이 표시하는 위치를 이미지 상에 매핑시키도록 구축된 매핑 모듈과, 기준 곡선과의 거리가 가깝고 대응되는 위치가 이미지에서 차도선에 근접하거나 차도선 상에 위치하는 포인트가 우선으로 선택되도록, 매핑 및 기준 곡선을 기반으로 제2 포인트 집합을 선택하도록 구축된 제3 포인트 선택 모듈을 더 포함한다.
일부의 실시예들에 있어서, 곡선 업데이트 모듈(704)은, 포인트들이 표시하는 위치의 매핑을 기반으로, 포인트들이 차도선에 해당되는 신뢰도를 확정하도록 구축된 신뢰도 확정 모듈과, 기준 곡선을 피팅하기 위한 포인트들의 신뢰도를 기반으로, 기준 곡선에 관련된 제1 평균 신뢰도를 확정하도록 구축된 제1 평균 신뢰도 확정 모듈과, 제2 곡선을 피팅하기 위한 포인트들의 신뢰도를 기반으로, 제2 곡선에 관련된 제2 평균 신뢰도를 확정하도록 구축된 제2 평균 신뢰도 확정 모듈과, 제1 평균 신뢰도와 제2 신뢰도 사이의 신뢰도 차이를 확정하도록 구축된 신뢰도 차이 확정 모듈과, 신뢰도 차이와 피팅도 차이의 가중치 합계가 기정의 역치보다 작음에 대응하여, 수렴 조건을 만족하는 것으로 확정하도록 구축된 제2 수렴 판단 모듈을 더 포함한다.
일부의 실시예들에 있어서, 곡선 업데이트 모듈(704)은, 반복 횟수가 기정의 역치에 도달함에 대응하여, 수렴 조건을 만족하는 것으로 확정하도록 구축된 제3 수렴 판단 모듈을 더 포함한다.
일부의 실시예들에 있어서, 곡선 업데이트 모듈(704)은, 제2 포인트 집합에서 제2 곡선까지의 거리를 확정하도록 구축된 거리 확정 모듈과, 제2 포인트 집합 중 제2 곡선까지의 거리가 소정의 거리보다 작은 포인트들의 점유율을 확정하도록 구축된 점유율 확정 모듈과, 평균 거리와 점유율의 가중치 합계를 기반으로 제2 피팅도를 확정하도록 구축된 피팅도 확정 모듈을 더 포함한다.
도8은 본 개시의 실시예들을 실시할 수 있는 예시적 기기(800)의 개략적 블록도를 나타낸다. 기기(800)는 도1의 컴퓨팅 기기(170)를 구현하도록 이용될 수 있다. 도시된 바와 같이, 기기(800)는, 중앙 처리 유닛(801; CPU)을 포함하되, CPU(801)는 읽기 전용 메모리(802; ROM)에 저장된 컴퓨터 프로그램 명령 또는 저장 유닛(808)으로부터 랜덤 액세스 메모리(803; RAM)에 로딩된 컴퓨터 프로그램 명령에 따라 각종의 적당한 동작과 처리를 실행할 수 있다. RAM(803)에는 기기(800)의 작동에 필요한 각종의 프로그램 및 데이터가 더 저장될 수 있다. CPU(801), ROM(802) 및 RAM(803)은 버스(804)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(805)도 버스(804)에 연결된다.
기기(800) 중의 I/O 인터페이스(805)에 연결되는 다수의 부재들로서, 키보드, 마우스 등과 같은 입력 유닛(806)과, 각종 유형의 표시 장치, 스피커 등과 같은 출력 유닛(807)과, 자기 디스크, 콤팩트 디스크 등과 같은 저장 유닛(808)과, 랜카드, 모뎀, 무선 통신 송수신기 등과 같은 통신 유닛(809)이 포함된다. 통신 유닛(809)은 기기(800)가 인터넷과 같은 컴퓨터 네트워크 및/또는 각종의 전기 통신망을 통해 기타의 기기와 정보/데이터를 교환하는 것을 허용한다.
중앙 처리 유닛(801)은 전술한 각 방법과 처리, 예컨대 방법(300), 방법(400), 방법(500) 및/또는 방법(600)을 실행한다. 예를 들어, 일부의 실시예들에 있어서, 방법(300), 방법(400), 방법(500) 및/또는 방법(600)은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있으며, 이는 기계 판독 가능한 매체(예컨대 저장 유닛(808))에 유형적으로 포함된다. 일부의 실시예들에 있어서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(802) 및/또는 통신 유닛(809)을 경유하여 기기(800) 상에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(803)에 로딩되고 CPU(801)에 의해 실행될 경우, 전술한 방법(300), 방법(400), 방법(500) 및/또는 방법(600)의 하나 또는 다수의 단계를 실행할 수 있다. 선택 가능하게, 기타의 실시예에 있어서, CPU(801)는 기타의 임의의 적당한 방식을 통해 (예컨대, 펌웨어의 도움으로) 방법(300), 방법(400), 방법(500) 및/또는 방법(600)을 실행하도록 구축될 수 있다.
본원에 설명된 이상의 기능들은 적어도 부분적으로 하나 또는 다수의 하드웨어 로직 부재로 실행될 수 있다. 예를 들어, 사용 가능한 모범적인 유형의 하드웨어 로직 부재는, 필드 프로그래머블 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 주문형 표준 제품(ASSP), 시스템-온-칩 시스템(SOC), 복합프로그래머블 로직 소자(CPLD) 등을 포함하나, 이에 한정되지 않는다.
본 개시의 방법을 실시하기 위한 프로그램 코드는 하나 또는 다수의 프로그래머블 언어들의 임의의 조합을 이용하여 프로그래밍될 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 주문형 컴퓨터 또는 기타의 프로그래머블 데이터 처리 장치의 프로세서 또는 제어 장치에 제공될 수 있으며, 프로그램 코드가 프로세서 또는 제어 장치에 의해 실행될 경우, 흐름도 및/또는 블록도에 규정된 기능/조작들이 실시되도록 한다. 프로그램 코드는 완전히 기계 상에서 실행되거나, 부분적으로 기계 상에서 실행되거나, 독립적인 소프트웨어 패키지로서 부분적으로 기계 상에서 실행되고 부분적으로 원격 기계 상에서 실행되거나, 또는 완전히 원격 기계 또는 서비스 상에서 실행될 수 있다.
본 개시의 맥락에 있어서, 기계 판독 가능한 매체는 유형의 매체일 수 있으며, 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나, 또는 명령 실행 시스템, 장치 또는 기기와 결합하여 사용되는 프로그램을 포함하거나 저장할 수 있다. 기계 판독 가능한 매체는 기계 판독 가능한 신호 매체 또는 기계 판독 가능한 저장 매체일 수 있다. 기계 판독 가능한 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다. 기계 판독 가능한 저장 매체의 보다 구체적인 예시는 하나 또는 다수의 와이어 기반의 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 특정된 순서를 이용하여 각 조작을 설명하였으나, 이는 이러한 조작들이 도시된 특정된 순서 또는 순차 순서로 실행되는 것을 요구하거나, 원하는 결과를 실현하기 위해 도시된 모든 조작들이 실행되어야 하는 것을 요구하는 것으로 이해하여서는 아니된다. 일정한 환경에 있어서, 멀티 태스킹과 병렬 처리는 유리할 수 있다. 마찬가지로, 앞선 토론에는 여러가지 구체적인 구현들의 세부사항들이 포함되나, 이들은 본 개시의 범위에 대한 한정으로 해석하여서는 아니된다. 별도의 실시예의 맥락에 설명된 일부의 특징들은 조합의 방식으로 단일의 구현에 구현될 수 있다. 반대로, 단일의 구현의 맥락에 설명된 각종의 특징들도 별도로 또는 임의의 적당한 서브 조합의 방식으로 다수의 구현들에 구현될 수도 있다.
구조 특징 및/또는 방법 로직 동작에 특정된 언어를 이용하여 본 주제를 설명하였으나, 특허청구범위에 한정된 주제는 반드시 전술한 특정된 특징 또는 동작들에 한정되어야 하는 것이 아님을 이해하여야 한다. 반대로, 전술한 특정된 특징 또는 동작들은 단지 특허청구범위를 구현하는 예시적 형식이다.

Claims (18)

  1. 기준 곡선으로서 제1 곡선을 획득하되, 상기 제1 곡선은 제1 포인트 집합에 대해 피팅을 진행하여 획득한 것이고, 상기 제1 포인트 집합은 상기 도로 중의 상이한 영역들의 다수의 포인트 집합들로부터 선택되는 단계와,
    상기 기준 곡선을 기반으로 상기 다수의 포인트 집합들로부터 제2 포인트 집합을 선택하는 단계와, 상기 제2 포인트 집합에 대해 피팅을 진행하여 제2 곡선을 생성하는 단계, 상기 기준 곡선에 관련된 제1 피팅도와 상기 제2 곡선에 관련된 제2 피팅도 사이의 피팅도 차이를 확정하는 단계와, 적어도 부분적으로 상기 피팅도 차이를 기반으로 수렴 조건을 만족하는지 여부를 확정하는 단계와, 상기 수렴 조건이 만족되지 않음에 대응하여, 상기 제2 곡선을 상기 기준 곡선으로 설정하는 단계를 적어도 한번 반복적으로 실행하는 단계와,
    상기 수렴 조건이 만족될 때의 상기 제2 포인트 집합을 기반으로, 상기 도로의 상기 차도선을 확정하는 단계를 포함하는 도로 중의 차도선을 확정하기 위한 방법.
  2. 제1항에 있어서,
    상기 제2 포인트 집합을 선택하는 단계는,
    상기 기준 곡선과의 거리가 가까운 포인트들이 우선적으로 선택되도록, 상기 다수의 포인트 집합들에서 상기 기준 곡선까지의 거리를 기반으로 상기 제2 포인트 집합을 선택하는 단계를 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 다수의 포인트 집합들로부터 상기 제2 포인트 집합을 선택하는 단계는,
    상기 도로 중의 상기 상이한 영역들의 상기 다수의 포인트 집합들에 관련된 포인트 클라우드 데이터를 획득하는 단계와,
    상기 포인트 클라우드 데이터로부터 상기 다수의 포인트 집합들 중의 포인트들이 표시하는 위치의 레이저 반사율을 확정하는 단계와,
    상기 기준 곡선과의 거리가 가깝고 레이저 반사율이 높은 포인트들이 우선적으로 선택되도록, 상기 레이저 반사율과 상기 기준 곡선을 기반으로 상기 제2 포인트 집합을 선택하는 단계를 더 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 방법.
  4. 제3항에 있어서,
    상기 수렴 조건을 만족하는지 여부를 확정하는 단계는,
    상기 기준 곡선을 피팅하기 위한 포인트들이 표시하는 위치의 레이저 반사율을 기반으로, 상기 기준 곡선에 관련된 제1 평균 레이저 반사율을 확정하는 단계와,
    상기 제2 곡선을 피팅하기 위한 포인트들이 표시하는 위치의 레이저 반사율을 기반으로, 상기 제2 곡선에 관련된 제2 평균 레이저 반사율을 확정하는 단계와,
    상기 제1 평균 레이저 반사율과 상기 제2 평균 레이저 반사율 사이의 레이저 반사율 차이를 확정하는 단계와,
    상기 레이저 반사율 차이와 상기 피팅도 차이의 가중치 합계가 기정의 역치보다 작음에 대응하여, 상기 수렴 조건을 만족하는 것으로 확정하는 단계를 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 다수의 포인트 집합들로부터 상기 제2 포인트 집합을 선택하는 단계는,
    상기 도로의 상기 상이한 영역들 중의 차도선의 이미지를 획득하는 단계와,
    상기 다수의 포인트 집합들 중의 포인트들이 표시하는 위치에서 상기 이미지로의 매핑을 구축하는 단계와,
    상기 기준 곡선과의 거리가 가깝고 대응되는 위치가 이미지에서 차도선에 근접하거나 차도선 상에 위치하는 포인트들이 우선적으로 선택되도록, 상기 매핑 및 상기 기준 곡선을 기반으로 상기 제2 포인트 집합을 선택하는 단계를 더 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 방법.
  6. 제5항에 있어서,
    상기 수렴 조건을 만족하는지 여부를 확정하는 단계는,
    상기 포인트들이 표시하는 상기 위치의 상기 매핑을 기반으로, 상기 포인트들이 상기 차도선에 해당되는 신뢰도를 확정하는 단계와,
    상기 기준 곡선을 피팅하기 위한 포인트들의 상기 신뢰도를 기반으로, 상기 기준 곡선에 관련된 제1 평균 신뢰도를 확정하는 단계와,
    상기 제2 곡선을 피팅하기 위한 포인트들의 상기 신뢰도를 기반으로, 상기 제2 곡선에 관련된 제2 평균 신뢰도를 확정하는 단계와,
    상기 제1 평균 신뢰도와 상기 제2 신뢰도 사이의 신뢰도 차이를 확정하는 단계와,
    상기 신뢰도 차이와 상기 피팅도 차이의 가중치 합계가 기정의 역치보다 작음에 대응하여, 상기 수렴 조건을 만족하는 것으로 확정하는 단계를 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 방법.
  7. 제1항에 있어서,
    상기 수렴 조건을 만족하는 것으로 확정하는 단계는,
    반복 횟수가 기정의 역치에 도달함에 대응하여, 상기 수렴 조건을 만족하는 것으로 확정하는 단계를 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 방법.
  8. 제1항에 있어서,
    상기 제2 곡선에 관련된 상기 제2 피팅도는,
    상기 제2 포인트 집합에서 상기 제2 곡선까지의 거리를 확정하고,
    상기 제2 포인트 집합 중 상기 제2 곡선까지의 거리가 소정의 거리보다 작은 포인트들의 점유율을 확정하고,
    상기 평균 거리와 상기 점유율의 가중치 합계를 기반으로 상기 제2 피팅도를 확정하는 것을 기반으로 확정되는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 방법.
  9. 기준 곡선으로서 제1 곡선을 획득하도록 구축되되, 상기 제1 곡선은 제1 포인트 집합에 대해 피팅을 진행하여 획득한 것이고, 상기 제1 포인트 집합은 상기 도로 중의 상이한 영역들의 다수의 포인트 집합들로부터 선택되는 곡선 획득 모듈과,
    상기 기준 곡선을 기반으로 상기 다수의 포인트 집합들로부터 제2 포인트 집합을 선택하고, 상기 제2 포인트 집합에 대해 피팅을 진행하여 제2 곡선을 생성하고, 상기 기준 곡선에 관련된 제1 피팅도와 상기 제2 곡선에 관련된 제2 피팅도 사이의 피팅도 차이를 확정하고, 적어도 부분적으로 상기 피팅도 차이를 기반으로 수렴 조건을 만족하는지 여부를 확정하며, 상기 수렴 조건이 만족되지 않음에 대응하여, 상기 제2 곡선을 상기 기준 곡선으로 설정하는 것을 적어도 한번 반복적으로 실행하도록 구축된 곡선 업데이트 모듈과,
    상기 수렴 조건이 만족될 때의 상기 제2 포인트 집합을 기반으로, 상기 도로의 상기 차도선을 확정하도록 구축된 차도선 확정 모듈을 포함하는 도로 중의 차도선을 확정하기 위한 장치.
  10. 제9항에 있어서,
    상기 곡선 업데이트 모듈은,
    상기 기준 곡선과의 거리가 가까운 포인트들이 우선적으로 선택되도록, 상기 다수의 포인트 집합들에서 상기 기준 곡선까지의 거리를 기반으로 상기 제2 포인트 집합을 선택하도록 구축된 제1 포인트 선택 모듈을 더 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 장치.
  11. 제9항에 있어서,
    상기 곡선 업데이트 모듈은,
    상기 도로 중의 상기 상이한 영역들의 상기 다수의 포인트 집합들에 관련된 포인트 클라우드 데이터를 획득하도록 구축된 포인트 클라우드 데이터 획득 모듈과,
    상기 포인트 클라우드 데이터로부터 상기 다수의 포인트 집합들 중의 포인트들이 표시하는 위치의 레이저 반사율을 확정하도록 구축된 레이저 반사율 확정 모듈과,
    상기 기준 곡선과의 거리가 가깝고 레이저 반사율이 높은 포인트들이 우선적으로 선택되도록, 상기 레이저 반사율과 상기 기준 곡선을 기반으로 상기 제2 포인트 집합을 선택하도록 구축된 제2 포인트 선택 모듈을 더 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 장치.
  12. 제11항에 있어서,
    상기 곡선 업데이트 모듈은,
    상기 기준 곡선을 피팅하기 위한 포인트들이 표시하는 위치의 레이저 반사율을 기반으로, 상기 기준 곡선에 관련된 제1 평균 레이저 반사율을 확정하도록 구축된 제1 평균 레이저 반사율 확정 모듈과,
    상기 제2 곡선을 피팅하기 위한 포인트들이 표시하는 위치의 레이저 반사율을 기반으로, 상기 제2 곡선에 관련된 제2 평균 레이저 반사율을 확정하도록 구축된 제2 평균 레이저 반사율 확정 모듈과,
    상기 제1 평균 레이저 반사율과 상기 제2 평균 레이저 반사율 사이의 레이저 반사율 차이를 확정하도록 구축된 레이저 반사율 차이 확정 모듈과,
    상기 레이저 반사율 차이와 상기 피팅도 차이의 가중치 합계가 기정의 역치보다 작음에 대응하여, 상기 수렴 조건을 만족하는 것으로 확정하도록 구축된 제1 수렴 판단 모듈을 더 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 장치.
  13. 제9항에 있어서,
    상기 곡선 업데이트 모듈은,
    상기 도로의 상기 상이한 영역들 중의 차도선의 이미지를 획득하도록 구축된 이미지 획득 모듈과,
    상기 다수의 포인트 집합들 중의 포인트들이 표시하는 위치에서 상기 이미지로의 매핑을 구축하도록 구축된 매핑 모듈과,
    상기 기준 곡선과의 거리가 가깝고 대응되는 위치가 이미지에서 차도선에 근접하거나 차도선 상에 위치하는 포인트들이 우선적으로 선택되도록, 상기 매핑 및 상기 기준 곡선을 기반으로 상기 제2 포인트 집합을 선택하도록 구축된 제3 포인트 선택 모듈을 더 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 장치.
  14. 제13항에 있어서,
    상기 곡선 업데이트 모듈은,
    상기 포인트들이 표시하는 상기 위치의 상기 매핑을 기반으로, 상기 포인트들이 상기 차도선에 해당되는 신뢰도를 확정하도록 구축된 신뢰도 확정 모듈과,
    상기 기준 곡선을 피팅하기 위한 포인트들의 상기 신뢰도를 기반으로, 상기 기준 곡선에 관련된 제1 평균 신뢰도를 확정하도록 구축된 제1 평균 신뢰도 확정 모듈과,
    상기 제2 곡선을 피팅하기 위한 포인트들의 상기 신뢰도를 기반으로, 상기 제2 곡선에 관련된 제2 평균 신뢰도를 확정하도록 구축된 제2 평균 신뢰도 확정 모듈과,
    상기 제1 평균 신뢰도와 상기 제2 신뢰도 사이의 신뢰도 차이를 확정하도록 구축된 신뢰도 차이 확정 모듈과,
    상기 신뢰도 차이와 상기 피팅도 차이의 가중치 합계가 기정의 역치보다 작음에 대응하여, 상기 수렴 조건을 만족하는 것으로 확정하도록 구축된 제2 수렴 판단 모듈을 더 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 장치.
  15. 제9항에 있어서,
    상기 곡선 업데이트 모듈은,
    반복 횟수가 기정의 역치에 도달함에 대응하여, 상기 수렴 조건을 만족하는 것으로 확정하도록 구축된 제3 수렴 판단 모듈을 더 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 장치.
  16. 제9항에 있어서,
    상기 곡선 업데이트 모듈은,
    상기 제2 포인트 집합에서 상기 제2 곡선까지의 거리를 확정하도록 구축된 거리 확정 모듈과,
    상기 제2 포인트 집합 중 상기 제2 곡선까지의 거리가 소정의 거리보다 작은 포인트들의 점유율을 확정하도록 구축된 점유율 확정 모듈과,
    상기 평균 거리와 상기 점유율의 가중치 합계를 기반으로 상기 제2 피팅도를 확정하도록 구축된 피팅도 확정 모듈을 더 포함하는 것을 특징으로 하는 도로 중의 차도선을 확정하기 위한 장치.
  17. 하나 또는 다수의 프로세서와,
    하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되,
    상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 제1항 내지 제8항 중의 임의의 한 항의 방법을 구현하도록 하는 기기.
  18. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 프로그램은 프로세서에 의해 실행될 경우 제1항 내지 제8항 중의 임의의 한 항의 방법을 구현하는 컴퓨터 판독 가능한 저장 매체.
KR1020180132473A 2017-12-29 2018-10-31 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기 KR102210715B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711475639.5A CN108256446B (zh) 2017-12-29 2017-12-29 用于确定道路中的车道线的方法、装置和设备
CN201711475639.5 2017-12-29

Publications (2)

Publication Number Publication Date
KR20190082069A true KR20190082069A (ko) 2019-07-09
KR102210715B1 KR102210715B1 (ko) 2021-02-01

Family

ID=62724638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180132473A KR102210715B1 (ko) 2017-12-29 2018-10-31 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기

Country Status (5)

Country Link
US (1) US10885352B2 (ko)
EP (1) EP3506158B1 (ko)
JP (1) JP6966989B2 (ko)
KR (1) KR102210715B1 (ko)
CN (1) CN108256446B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210028294A (ko) * 2019-09-03 2021-03-12 충북대학교 산학협력단 라이다 센서를 이용한 차선인식 방법 및 그를 위한 장치
KR20220058988A (ko) * 2020-11-02 2022-05-10 주식회사 맵퍼스 모바일 매핑 시스템을 이용한 차선 데이터 자동 추출 시스템 및 방법

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256446B (zh) * 2017-12-29 2020-12-11 百度在线网络技术（北京）有限公司 用于确定道路中的车道线的方法、装置和设备
CN108960183B (zh) * 2018-07-19 2020-06-02 北京航空航天大学 一种基于多传感器融合的弯道目标识别系统及方法
CN109598199B (zh) * 2018-10-31 2021-07-27 百度在线网络技术（北京）有限公司 车道线生成方法和装置
CN109300322B (zh) * 2018-10-31 2021-05-04 百度在线网络技术（北京）有限公司 引导线绘制方法、装置、设备和介质
CN109636877B (zh) * 2018-10-31 2021-06-01 百度在线网络技术（北京）有限公司 车道线调整处理方法、装置及电子设备
JP7095559B2 (ja) * 2018-11-09 2022-07-05 トヨタ自動車株式会社 区画線検出装置及び区画線検出方法
CN111179152B (zh) * 2018-11-12 2023-04-28 阿里巴巴集团控股有限公司 一种道路标识识别方法及装置、介质、终端
CN109798903B (zh) * 2018-12-19 2021-03-30 广州文远知行科技有限公司 一种从地图数据中获取道路信息的方法及装置
CN111247525A (zh) * 2019-01-14 2020-06-05 深圳市大疆创新科技有限公司 一种车道检测方法、装置及车道检测设备、移动平台
CN109916416B (zh) * 2019-01-29 2022-04-01 腾讯科技（深圳）有限公司 车道线数据处理与更新方法、装置及设备
CN109703569B (zh) * 2019-02-21 2021-07-27 百度在线网络技术（北京）有限公司 一种信息处理方法、装置及存储介质
CN110426051B (zh) * 2019-08-05 2021-05-18 武汉中海庭数据技术有限公司 一种车道线绘制方法、装置及存储介质
CN110703227B (zh) * 2019-09-20 2023-01-24 中国铁路设计集团有限公司 一种基于TerraSolid参数阈值自动选择的地面点云滤波方法
CN110705444B (zh) * 2019-09-27 2022-02-08 四川长虹电器股份有限公司 车道跟踪系统及方法
CN112630751A (zh) * 2019-10-09 2021-04-09 中车时代电动汽车股份有限公司 一种激光雷达的标定方法
CN110909711B (zh) * 2019-12-03 2022-08-02 阿波罗智能技术(北京)有限公司 检测车道线位置变化的方法、装置、电子设备和存储介质
SG11202013252SA (en) * 2020-02-07 2021-09-29 Shenzhen Sensetime Technology Co Ltd Road marking recognition method, map generation method, and related products
CN111130147B (zh) * 2020-02-21 2023-09-05 海南电网有限责任公司电力科学研究院 一种基于清洁能源的智能微网协调控制方法
CN111353466B (zh) * 2020-03-12 2023-09-22 北京百度网讯科技有限公司 车道线识别处理方法、设备、存储介质
CN111460073B (zh) * 2020-04-01 2023-10-20 北京百度网讯科技有限公司 车道线检测方法、装置、设备和存储介质
CN111553844B (zh) 2020-04-29 2023-08-29 阿波罗智能技术(北京)有限公司 用于更新点云的方法及装置
CN111652952B (zh) * 2020-06-05 2022-03-18 腾讯科技（深圳）有限公司 车道线生成方法、装置、计算机设备和存储介质
CN111811530B (zh) * 2020-06-16 2022-06-21 北京五一视界数字孪生科技股份有限公司 车道线生成方法、装置、存储介质及电子设备
CN111860484B (zh) * 2020-07-22 2023-11-03 腾讯科技（深圳）有限公司 一种区域标注方法、装置、设备及存储介质
CN112037328A (zh) * 2020-09-02 2020-12-04 北京嘀嘀无限科技发展有限公司 生成地图中的道路边沿的方法、装置、设备和存储介质
CN114264310A (zh) * 2020-09-14 2022-04-01 阿里巴巴集团控股有限公司 定位及导航方法、装置、电子设备、计算机存储介质
CN112115857B (zh) * 2020-09-17 2024-03-01 福建牧月科技有限公司 智能汽车的车道线识别方法、装置、电子设备及介质
CN112382092B (zh) * 2020-11-11 2022-06-03 成都纳雷科技有限公司 交通毫米波雷达自动生成车道的方法、系统及介质
CN112528917A (zh) * 2020-12-18 2021-03-19 深兰科技（上海）有限公司 斑马线区域识别方法、装置、电子设备和存储介质
CN112580179B (zh) * 2020-12-29 2022-04-19 武汉中海庭数据技术有限公司 高精度地图路口车道形状更新方法及系统、服务器及介质
CN113640823B (zh) * 2021-07-15 2023-11-21 北京三快在线科技有限公司 一种基于激光反射率底图进行地图绘制的方法及装置
CN114519696B (zh) * 2021-12-31 2022-11-29 扬州盛强薄膜材料有限公司 基于光学智能化的pvc热收缩膜检测方法及系统
CN114782638B (zh) * 2022-06-17 2022-09-09 小米汽车科技有限公司 生成车道线的方法、装置、车辆、存储介质及芯片
CN114862957B (zh) * 2022-07-08 2022-09-27 西南交通大学 一种基于3d激光雷达的地铁车底定位方法
CN116047537B (zh) * 2022-12-05 2023-12-26 北京中科东信科技有限公司 基于激光雷达的道路信息生成方法及系统
CN116580559A (zh) * 2023-05-18 2023-08-11 中国公路工程咨询集团有限公司 一种基于人工智能技术的交通数据处理方法
CN117475399B (zh) * 2023-12-27 2024-03-29 新石器慧通（北京）科技有限公司 车道线拟合方法、电子设备及可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101504252B1 (ko) * 2013-11-28 2015-03-19 현대모비스 주식회사 곡선 도로에서 차량의 속도를 제어하기 위한 시스템 및 그 방법
KR20170083462A (ko) * 2016-01-08 2017-07-18 서울대학교산학협력단 구간적 다항식을 기반으로 한 곡선 근사 방법
JP2017223511A (ja) * 2016-06-14 2017-12-21 日本電信電話株式会社 道路構造化装置、道路構造化方法、及び道路構造化プログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08314540A (ja) * 1995-03-14 1996-11-29 Toyota Motor Corp 車両走行誘導システム
EP0740163B1 (en) * 1995-04-25 2005-12-14 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus for detecting a local position of an automobile on a road
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
WO2008091565A1 (en) * 2007-01-23 2008-07-31 Valeo Schalter & Sensoren Gmbh Method and system for universal lane boundary detection
US8311283B2 (en) * 2008-07-06 2012-11-13 Automotive Research&Testing Center Method for detecting lane departure and apparatus thereof
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
JP5444130B2 (ja) 2010-06-11 2014-03-19 富士重工業株式会社 車両用白線認識装置
US9077958B2 (en) * 2010-08-30 2015-07-07 Honda Motor Co., Ltd. Road departure warning system
US9057203B2 (en) * 2011-06-10 2015-06-16 Peter J. BUTTERFIELD Swimming pool lane line support apparatus
US9189976B2 (en) * 2013-07-10 2015-11-17 Telenav Inc. Navigation system with multi-layer road capability mechanism and method of operation thereof
KR101892306B1 (ko) * 2013-12-18 2018-08-27 주식회사 만도 Fmcw 레이더 기반의 도로 환경 감지 방법 및 장치
US9283967B2 (en) * 2014-07-16 2016-03-15 GM Global Technology Operations LLC Accurate curvature estimation algorithm for path planning of autonomous driving vehicle
US9858487B2 (en) * 2015-02-19 2018-01-02 Here Global B.V. Method and apparatus for converting from an analytical curve road geometry to a clothoid road geometry
CN104766058B (zh) * 2015-03-31 2018-04-27 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
CN106327468B (zh) 2015-06-25 2019-02-15 株式会社理光 曲线检测方法和曲线检测装置
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN105261020B (zh) * 2015-10-16 2018-11-20 桂林电子科技大学 一种快速车道线检测方法
CN105528558B (zh) 2015-12-12 2019-03-08 天津南大通用数据技术股份有限公司 一种隐蔽信道通信的检测方法及装置
US10102434B2 (en) * 2015-12-22 2018-10-16 Omnivision Technologies, Inc. Lane detection system and method
CN105528588B (zh) * 2015-12-31 2019-04-23 百度在线网络技术（北京）有限公司 一种车道线识别方法及装置
CN105701449B (zh) * 2015-12-31 2019-04-23 百度在线网络技术（北京）有限公司 路面上的车道线的检测方法和装置
JP6733225B2 (ja) * 2016-03-08 2020-07-29 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US10121367B2 (en) * 2016-04-29 2018-11-06 Ford Global Technologies, Llc Vehicle lane map estimation
US10102435B2 (en) * 2016-08-10 2018-10-16 Omnivision Technologies, Inc. Lane departure warning system and associated methods
CN107742091B (zh) * 2016-08-22 2019-01-29 腾讯科技（深圳）有限公司 一种路肩提取的方法及装置
CN106407893B (zh) 2016-08-29 2019-11-22 东软集团股份有限公司 一种检测车道线的方法、装置和设备
CN107097794B (zh) * 2016-12-15 2020-04-21 财团法人车辆研究测试中心 道路车道线的侦测系统及其方法
CN107045629B (zh) * 2017-04-19 2020-06-26 南京理工大学 一种多车道线检测方法
US10633024B2 (en) * 2017-12-27 2020-04-28 Automotive Research & Testing Center Vehicle lateral control system having lane model with modulation weighting and control method thereof
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
CN108319895B (zh) * 2017-12-29 2021-09-17 百度在线网络技术（北京）有限公司 用于识别电子地图中的路口的方法和装置
KR102589967B1 (ko) * 2017-12-29 2023-10-16 삼성전자주식회사 차선을 검출하는 방법 및 장치
CN108256446B (zh) * 2017-12-29 2020-12-11 百度在线网络技术（北京）有限公司 用于确定道路中的车道线的方法、装置和设备
US10997433B2 (en) * 2018-02-27 2021-05-04 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
WO2019173481A1 (en) * 2018-03-06 2019-09-12 Phantom AI, Inc. Lane line reconstruction using future scenes and trajectory
TWI662278B (zh) * 2018-09-18 2019-06-11 財團法人工業技術研究院 刀具磨耗監控方法
KR20200036335A (ko) * 2018-09-28 2020-04-07 삼성전자주식회사 차로를 결정하는 방법 및 장치
US11518384B2 (en) * 2018-12-07 2022-12-06 Thinkware Corporation Method for displaying lane information and apparatus for executing the method
US11531348B2 (en) * 2018-12-21 2022-12-20 Here Global B.V. Method and apparatus for the detection and labeling of features of an environment through contextual clues
KR20200090527A (ko) * 2019-01-21 2020-07-29 현대자동차주식회사 차선 인식 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101504252B1 (ko) * 2013-11-28 2015-03-19 현대모비스 주식회사 곡선 도로에서 차량의 속도를 제어하기 위한 시스템 및 그 방법
KR20170083462A (ko) * 2016-01-08 2017-07-18 서울대학교산학협력단 구간적 다항식을 기반으로 한 곡선 근사 방법
JP2017223511A (ja) * 2016-06-14 2017-12-21 日本電信電話株式会社 道路構造化装置、道路構造化方法、及び道路構造化プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210028294A (ko) * 2019-09-03 2021-03-12 충북대학교 산학협력단 라이다 센서를 이용한 차선인식 방법 및 그를 위한 장치
KR20220058988A (ko) * 2020-11-02 2022-05-10 주식회사 맵퍼스 모바일 매핑 시스템을 이용한 차선 데이터 자동 추출 시스템 및 방법

Also Published As

Publication number Publication date
KR102210715B1 (ko) 2021-02-01
EP3506158A1 (en) 2019-07-03
CN108256446A (zh) 2018-07-06
CN108256446B (zh) 2020-12-11
JP2019153281A (ja) 2019-09-12
US20190205665A1 (en) 2019-07-04
US10885352B2 (en) 2021-01-05
EP3506158B1 (en) 2023-08-30
JP6966989B2 (ja) 2021-11-17

Similar Documents

Publication Publication Date Title
KR20190082069A (ko) 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기
US11776155B2 (en) Method and apparatus for detecting target object in image
JP7042905B2 (ja) 逆センサモデルを生成する方法および装置、ならびに障害物を検出するための方法
US20190271551A1 (en) Method and System for Recording Landmarks in a Traffic Environment of a Mobile Unit
WO2018181974A1 (ja) 判定装置、判定方法、及び、プログラム
KR20190088387A (ko) 차도선을 검출하기 위한 방법, 장치 및 매체
JP2017223511A (ja) 道路構造化装置、道路構造化方法、及び道路構造化プログラム
US20180307930A1 (en) Method and apparatus for establishing feature prediction accuracy
CN109635816B (zh) 车道线生成方法、装置、设备以及存储介质
US10210403B2 (en) Method and apparatus for pixel based lane prediction
Konrad et al. Localization in digital maps for road course estimation using grid maps
JP6119225B2 (ja) 交差点道路境界検出装置及びプログラム
CN111060074A (zh) 基于计算机视觉的导航方法、装置、计算机设备及介质
WO2019073024A1 (en) WAY DETECTION METHOD
CN114051628A (zh) 一种确定目标对象点云集的方法及装置
CN111429515A (zh) 基于深度学习的机器人避障行为的学习方法
CN114387576A (zh) 一种车道线识别方法、系统、介质、设备及信息处理终端
CN114022614A (zh) 一种三维重建目标位置置信度的估计方法及系统
KR102252295B1 (ko) 실내 토폴로지맵 생성 방법 및 이를 위한 자율주행 로봇
CN113378694A (zh) 生成目标检测和定位系统及目标检测和定位的方法及装置
Daudt et al. Learning to understand earth observation images with weak and unreliable ground truth
CN115311244A (zh) 一种病灶尺寸确定方法、装置、电子设备及存储介质
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN113191279A (zh) 数据标注方法、装置、设备、存储介质以及计算机程序产品
WO2021056278A1 (en) Systems and methods for evaluating three-dimensional (3-d) map constructed based on sensor data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant