KR20230131209A - 주기적으로 업데이트되는 앵커 프레임들을 사용한 레인맵핑 및 로컬라이제이션 - Google Patents

주기적으로 업데이트되는 앵커 프레임들을 사용한 레인맵핑 및 로컬라이제이션 Download PDF

Info

Publication number
KR20230131209A
KR20230131209A KR1020237024006A KR20237024006A KR20230131209A KR 20230131209 A KR20230131209 A KR 20230131209A KR 1020237024006 A KR1020237024006 A KR 1020237024006A KR 20237024006 A KR20237024006 A KR 20237024006A KR 20230131209 A KR20230131209 A KR 20230131209A
Authority
KR
South Korea
Prior art keywords
vehicle
parameter values
lane
lane boundary
time
Prior art date
Application number
KR1020237024006A
Other languages
English (en)
Inventor
메가나 반데
우르스 니센
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20230131209A publication Critical patent/KR20230131209A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • G01C21/3819Road shape data, e.g. outline of a route
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183Compensation of inertial measurements, e.g. for temperature effects
    • G01C21/188Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

일련의 앵커 프레임들이 사용되어 트리거 이벤트 시에 글로벌 프레임을 효과적으로 리셋하는, 레퍼런스 프레임들을 사용하기 위한 하이브리드 접근법이 제시된다. 각각의 새로운 앵커 프레임에 대해, (레인 경계 상태들로 알려진) 레인 경계 추정치들에 대한 파라미터 값들이 그 새로운 앵커 프레임에 대해 재계산될 수 있다. 트리거링 이벤트들은 시간의 길이, 이동된 거리, 및/또는 불확실성 값에 기초할 수도 있다.

Description

주기적으로 업데이트되는 앵커 프레임들을 사용한 레인 맵핑 및 로컬라이제이션
배경
1. 발명의 분야
본 발명은 일반적으로 전자 차량 시스템 분야에 관한 것으로, 보다 구체적으로 첨단 운전자 보조 시스템(Advanced Driver-Assist Systems; ADAS)에 관한 것이다.
2. 관련 기술의 설명
자율 주행 및 ADAS와 같은 차량 시스템들은 종종 차량이 주행하고 있는 도로의 차량 위치 및 레인(lane) 경계들을 추적할 필요가 있다. 그렇게 하기 위해, ADAS 시스템들은 다양한 소스들로부터의 정보를 활용할 수도 있다. 이러한 소스들은, 예를 들어, GNSS(Global Navigation Satellite Systems) 수신기, IMU(inertial measurement unit), 및 하나 이상의 카메라들을 포함할 수도 있다. 차량 위치 및 레인 경계들은 움직이는 차량 바디 레퍼런스 프레임("바디 프레임") 또는 정적 글로벌 레퍼런스 프레임("글로벌 프레임")을 사용하여 추적될 수 있다. 양 선택지 모두 단점이 있다.
간단한 요약
본 명세서의 실시양태들은 레퍼런스 프레임들(reference frames)을 사용하기 위한 하이브리드 접근법을 포함한다. 특히, 실시양태들은 트리거 이벤트(trigger event) 시에 글로벌 프레임(global frame)을 효과적으로 리셋(reset)하는 일련의 앵커 프레임들(anchor frames)을 사용한다. 각각의 새로운 앵커 프레임에 대해, (레인 경계 상태들로 알려진) 레인 경계 (lane boundary) 추정치들에 대한 파라미터 값들이 그 새로운 앵커 프레임에 대해 재계산될 수 있다. 트리거링 이벤트들은 시간의 길이, 이동된 거리, 및/또는 불확실성 값(uncertainty value)에 기초할 수도 있다.
본 개시에 따른, 도로 상의 차량의 레인 맵핑 (lane mapping) 및 로컬라이제이션의 예시적인 방법은, 제 1 시간에, 도로의 제 1 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 1 세트를 결정하는 단계를 포함하고, 여기서 파라미터 값들의 제 1 세트는 제 1 레퍼런스 프레임에 대해 결정된다. 방법은 또한 제 1 시간에 후속하여, 제 1 레퍼런스 프레임에 대한 차량의 위치를 결정하는 단계를 포함한다. 방법은 또한 차량의 위치를 결정하는 것에 후속하여, 제 2 시간에, 도로의 제 2 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하는 단계를 포함하고, 여기서: 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함할 수도 있는 앵커 프레임에 대해 결정되고, 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정된다.
본 개시에 따른 예시적인 모바일 디바이스는 센서들, 메모리, 및 그 센서들 및 메모리와 통신가능하게 커플링된 하나 이상의 프로세싱 유닛들을 포함한다. 하나 이상의 프로세싱 유닛들은, 제 1 시간에, 차량이 위치되는 도로의 제 1 부분을 따른 레인 경계를 기술하는 제 1 세트의 파라미터 값들을 결정하도록 구성되고, 여기서 제 1 세트의 파라미터 값들은 제 1 레퍼런스 프레임에 대해 결정된다. 하나 이상의 프로세싱 유닛들은 또한 제 1 시간에 후속하여, 제 1 레퍼런스 프레임에 대한 차량의 위치를 결정하도록 구성된다. 하나 이상의 프로세싱 유닛들은 또한, 차량의 위치를 결정하는 것에 후속하여, 제 2 시간에, 도로의 제 2 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하도록 구성되고, 여기서: 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함할 수도 있는 앵커 프레임에 대해 결정되고, 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정된다.
본 개시에 따른 다른 예시적인 디바이스는, 제 1 시간에, 차량이 위치되는 도로의 제 1 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 1 세트를 결정하기 위한 수단을 포함하고, 여기서 파라미터 값들의 제 1 세트는 제 1 레퍼런스 프레임에 대해 결정된다. 디바이스는 또한, 제 1 시간에 후속하여, 제 1 레퍼런스 프레임에 대한 차량의 위치를 결정하기 위한 수단을 포함한다. 디바이스는 또한, 차량의 위치를 결정한 이후의 제 2 시간에, 도로의 제 2 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하기 위한 수단을 포함하고, 여기서: 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함할 수도 있는 앵커 프레임에 대해 결정되고, 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정된다.
예시적인 비일시적 컴퓨터 판독가능 매체는, 본 개시에 따라, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션을 위한 명령들을 저장한다. 그 명령들은, 제 1 시간에, 도로의 제 1 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 1 세트를 결정하기 위한 코드를 포함하고, 여기서 파라미터 값들의 제 1 세트는 제 1 레퍼런스 프레임에 대해 결정된다. 그 명령들은 또한, 제 1 시간에 후속하여, 제 1 레퍼런스 프레임에 대한 차량의 위치를 결정하기 위한 코드를 포함한다. 그 명령들은 또한, 차량의 위치를 결정하는 것에 후속하여, 제 2 시간에, 도로의 제 2 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하기 위한 코드를 포함하고, 여기서: 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함할 수도 있는 앵커 프레임에 대해 결정되고, 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정된다.
도면들의 간단한 설명
본 개시의 양태들은 예로서 예시된다.
도 1은 차량의 사시도이다.
도 2는 일 실시양태에 따른 레인 맵핑 및 로컬라이제이션 시스템의 블록도이다.
도 3a 내지 도 3c는 일 실시양태에 따른 레인 연관 프로세스를 설명하기 위한 도면이다.
도 4a 및 도 4b는 일 실시양태에 따른, 레인 경계 상태들이 필터에 어떻게 표현될 수도 있는지를 나타내는 도면이다.
도 5는 일 실시양태에 따른, 사용될 수 있는 레퍼런스 프레임들을 예시하는 차량의 사시도이다.
도 6은 단일 원 프레임을 사용하여 원점으로부터 종점까지의 차량의 이동 경로의 예를 도시하는 단순화된 그래프이다.
도 7은 도 6과 유사하지만 여러 개의 앵커 프레임을 사용하는 차량의 이동 경로의 예를 도시하는 단순화된 그래프이다.
도 8a 내지 도 8b는 일 실시양태에 따른, 연속적인 앵커 프레임들 사이의 레인 경계 상태들의 일관성이 보장될 수 있는 프로세스를 예시하는 도면들이다.
도 9는 실시양태에 따른, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션의 흐름도이다.
도 10은 모바일 컴퓨팅 시스템의 일 실시양태의 블록도이다.
특정 예시적인 구현들에 따라, 다양한 도면들에서 유사한 참조 부호들은 유사한 엘리먼트들을 나타낸다. 또한, 엘리먼트의 다수의 인스턴스들은 하이픈 및 제 2 의 숫자 또는 문자가 엘리먼트에 대한 제 1 의 숫자에 후속함으로써 표시될 수도 있다. 예를 들어, 엘리먼트 (110) 의 다수의 인스턴스들은 110-1, 110-2, 110-3 등 또는 110a, 110b, 110c 등으로 표시될 수도 있다. 제 1 의 숫자만을 사용하여 그러한 엘리먼트를 지칭할 때, 그 엘리먼트의 임의의 인스턴스가 이해되어야 한다 (예를 들어, 이전 예에서의 엘리먼트 (110) 는 엘리먼트들 (110-1, 110-2 및 110-3) 또는 엘리먼트들 (110a, 110b 및 110c) 을 지칭할 것이다).
상세한 설명
이제 본 명세서의 일부를 형성하는 첨부 도면과 관련하여 몇 가지 예시적인 실시양태들이 설명될 것이다. 다음의 설명은 오직 예시적인 실시양태들을 제공할 뿐이고, 본 개시의 범위, 적용가능성, 또는 구성을 한정하도록 의도되지 않는다. 오히려, 실시양태(들)의 다음의 설명은 본 기술 분야의 통상의 기술자에게 실시양태를 구현하기 위한 가능 설명을 제공할 것이다. 본 개시의 범위를 벗어나지 않고 엘리먼트들의 기능 및 배열에서 다양한 변경들이 이루어질 수도 있다는 것이 이해된다.
본 명세서에서 사용되는 용어 "좌표 프레임", "레퍼런스 프레임", "레퍼런스의 프레임" 등은 차량의 위치들 및 레인 경계들이 추적되는 좌표 프레임을 지칭한다. 원하는 기능성에 따라, 레퍼런스 프레임은 2-D 좌표 프레임(예를 들어, 2-D 맵 상의 위도 및 경도 등) 또는 3-D 좌표 프레임(예를 들어, 3-D 맵 상의 위도, 경도 및 고도(LLA))을 포함할 수도 있다. 또한, 일부 실시양태들에 따르면, 차량의 위치는 헤딩과 같은 방위 정보를 포함할 수도 있다. 일부 실시양태들에서, 차량의 위치 추정치는 병진(위도, 경도, 및 고도) 및 배향(피치, 롤, 및 요) 정보를 포함하는 6 자유도(6DoF)("포즈"라고도 함)의 추정치를 포함할 수도 있다.
도 1 은 ADAS 시스템이 차량(110)에 의해 사용될 수 있는 환경을 예시하는 차량(110)의 간략화된 사시도이다. 위성들(120)은 차량(110)의 (예를 들어, 절대 또는 글로벌 좌표들을 사용하여) 위치를 결정하기 위해 차량(110) 상의 GNSS(Global Navigation Satellite System) 수신기(예를 들어, GPS(Global Positioning System) 수신기)에 무선(예를 들어, 라디오 주파수(RF)) 신호들을 제공할 수도 있다. (물론, 도 1의 위성들(120)이 시각적 단순화를 위해 차량(110)에 비교적 가까운 것으로 예시되지만, 위성들(120)은 지구 주위의 궤도에 있을 것이라는 것이 이해될 것이다.) 위성들 (120) 은 하나 이상의 GNSS 시스템들의 위성들의 하나 이상의 성상도들의 일부일 수도 있다.
또한, 하나 이상의 카메라는 차량의 주변의 이미지를 캡처할 수도 있다. (예를 들어, 전방 카메라는 차량(110)의 전방으로부터 뷰(130)의 이미지들(예를 들어, 비디오)을 촬영할 수도 있다.) 또한, 차량(110) 상의 및/또는 내의 하나 이상의 모션 센서들(예를 들어, 가속도계들, 자이로스코프들 등)은 차량(110)의 이동(movement)을 나타내는 모션(motion) 데이터를 제공할 수 있다. 이러한 센서들은 관성 측정 유닛(inertial measurement unit; IMU)에 통합될 수도 있다. 일부 실시양태들에서, 이미지 및 모션 데이터는 추가적인 포지셔닝(positioning) 정보를 제공하도록 융합될 수 있다. 이는 그 후 차량(110)의 GNSS 포지셔닝을 (예를 들어, 필요할 때) 보완 및/또는 대체하고, 그리고/또는 차량(110)이 이동하고 있는 도로 상의 레인 경계들을 식별 및 추적하는 것을 돕기 위해 사용될 수 있다.
레인 경계들을 추적하고, 새롭게 검출된 경계들을 이들 추적된 레인 경계들에 맵핑하고, 레인 경계들에 대해 차량을 포지셔닝하는 프로세스는 본 명세서에서 레인 맵핑 (lane mapping) 및 로컬라이제이션(localization)으로서 지칭된다. 이는 레인 유지 및 적응형 순항 제어(adaptive cruise control)와 같은 차량(110)에 대한 여러 ADAS 기능들에 대한 프라이머리 인에이블러(enabler)일 수 있다. 레인 맵핑 및 로컬라이제이션은 종종 레인 경계들 및 차량 위치를 공동으로 추적하는 확장된 칼만 필터(extended Kalman filter; EKF) 또는 입자 필터와 같은 필터에 의해 수행된다. 레인 맵핑 및 로컬라이제이션을 수행하기 위한 예시적인 시스템이 도 2에 도시되어 있다.
도 2는 일 실시양태에 따른 레인 맵핑 및 로컬라이제이션 시스템(200)의 블록도이다. 이 시스템(200)은 차량(110) 내의 다양한 컴포넌트들 및 시스템들에 의해 구현될 수도 있고, 하나 이상의 추가적인 차량 시스템들(예를 들어, 차량 포지셔닝, 내비게이션, 및/또는 자동 주행 시스템들 등)의 일부를 구성할 수도 있다. 본 명세서의 다른 실시양태들에서와 같이, 단지 일 예 및 대안적인 실시양태들로서 제공된 이 도면들은 예시된 컴포넌트들을 재배열, 추가, 생략, 결합, 분리, 재배열, 및/또는 그렇지 않으면 변경할 수도 있다.
여기서, 차량 센서들(205)은 하나 이상의 카메라들(210), IMU들(215), 휠 속도 센서들(220), GNSS 수신기들(225), 및/또는 차량(110)이 주행하고 있는 도로 상의 레인 경계들을 추적하고/추적하거나 차량 이동을 나타낼 수 있는 다른 센서들을 포함할 수도 있다. 센서들(205)은 전술한 바와 같이, 레인 맵핑 및 로컬라이제이션을 수행할 수 있는 필터에 입력들을 제공한다. 그렇게 하기 위해, 하나 이상의 카메라(210)로부터의 입력은 먼저 프로세싱 유닛 및/또는 특수 회로에 의해 실행될 수도 있는 레인 경계 검출 기능부(235)에 제공될 수도 있다. 카메라 이미지들에 대한 객체 검출 및/또는 유사한 알고리즘들을 사용하여, 레인 경계 검출 기능부(235)는 카메라(들)(210)로부터의 카메라 이미지들에 기초하여 후보 레인 경계들을 식별하고 이들 후보 레인 경계들을 필터(230)에 제공할 수 있다.
언급된 바와 같이, 필터(230)는 칼만 필터(예를 들어, EKF), 입자 필터, 슬라이딩-윈도우 알고리즘, 또는 상태 추정을 위한 유사한 필터 또는 알고리즘을 포함할 수도 있으며, 이는 프로세싱 유닛 및/또는 특수 회로에 의해 (예를 들어, 소프트웨어로) 실행될 수도 있다. 연관 기능부(240)를 사용하여, 필터(230)는 레인 경계 검출 기능부(235)로부터의 입력에서의 후보 레인 경계들을 현재 추적되고 있는 추정된 레인 경계들과 연관시킬 수 있다. 그 다음, 필터(230)의 추정 기능부(250)는 그 연관에 기초하여 추적된 레인 경계들을 업데이트하고 센서들(205)로부터의 입력에 기초하여 차량의 위치를 업데이트할 수 있다.
필터(230)에 의해 수행된 이 레인 맵핑 및 로컬라이제이션의 결과는 ADAS 시스템(255)을 포함하는 차량(110) 내의 임의의 다양한 시스템에 제공될 수 있다. 예시된 바와 같이, ADAS 시스템들(255)은, 예를 들어, 디스플레이(260), 제어 블록(265), 내비게이션 블록(270), 경로 플래닝 블록(275), 및/또는 다른 기능부들을 포함할 수도 있다. 디스플레이(260)는, 예를 들어, 차량(110)의 위치들 및/또는 레인 경계들을 운전자 또는 다른 차량 사용자에게 디스플레이할 수 있다. 제어 블록(265)은, 예를 들어, 레인 유지, 적응형 순항 제어, 자동화된 주행 기능성, 및/또는 차량-제어된 제동, 가속, 조향 등을 포함할 수도 있는 다른 기능들과 같은 차량(110)의 자동화된 기능들을 제어할 수도 있다. 내비게이션 블록(270)은 차량(110)의 위치 및/또는 레인 경계들에 관한 정보를 사용할 수도 있는 차량(110)에 대한 내비게이션을 제공하기 위한 디바이스 또는 시스템을 포함할 수도 있다. 경로 플래닝 블록(275)은 지도 및 현재 차량 위치에 기초하여 차량에 대한 목표 경로를 계산하고 그 후 목표 경로를 하나 이상의 차량 제어 시스템에 제공하기 위한 디바이스 또는 시스템을 포함할 수도 있다.
도 3a 내지 도 3c는 일 실시양태에 따른, 레인 연관의 프로세스를 예시하는 것을 돕기 위해 제공된 도면들이다. 언급된 바와 같이, 이것은 도 2에 예시된 필터(230)의 연관 기능부(240)에 의해 수행될 수도 있다.
도 3a 는 카메라 이미지(300)를 도시한다. 이미지가 획득되는 카메라는 도 2에 도시된 센서들(205)의 카메라(210)를 포함할 수도 있고, (예를 들어, 도 1에 도시된 시야(130)와 유사한 뷰를 갖는) 차량(110)의 전방 카메라일 수도 있다. 이는 카메라가 차량(110)이 이동하고 있는 도로 상의 레인 경계들을 나타내는 레인 마킹들(310)의 이미지들을 캡처하게 할 수 있다. 원하는 기능성에 따라, 차량 카메라는 초당 여러 번 (예를 들어, 초당 30 프레임(30fps)) 이미지 또는 비디오를 캡처할 수도 있다. (예를 들어, 도 2의 블록(235)에서) 레인 경계 검출은 유사한 레이트로 수행될 수도 있다.
도 3b 는 도 3a의 카메라 이미지(300)에 기초한 레인 경계 검출 출력(320)을 예시한다. 이전에 언급된 바와 같이, 레인 경계 검출은 카메라 이미지(300) 내에서 레인 경계 검출(330)을 식별하기 위해 다양한 식별 및/또는 추적 알고리즘을 사용할 수도 있다. 일부 실시양태들에서, 레인 경계 검출 출력(320)은 카메라 이미지(300) 내에서, 각각의 레인 경계 검출(330)에 대응하는 픽셀들과 함께, (예를 들어, 숫자 또는 문자와 같은 고유 식별자를 사용하여) 각각의 레인 경계 검출(330)에 대한 식별표시를 포함할 수도 있다.
레인 경계 검출(330)은 레인 마킹들(310)에 항상 정확하게 대응하지는 않을 수도 있다. 일부 경우들에서, 예를 들어, 레인 마킹들(310)은 차량 또는 다른 객체들, 눈, 얼음 등에 의해 가려질 수도 있다. 따라서, 레인 경계 검출 출력(320)은 특정 레인 마킹들(310)을 정확하게 식별하지 못할 수도 있다. 또한, 일부 경우들에서, 레인 경계 검출은 레인 마킹들(310)로서 도로 상의 다른 마킹들(예를 들어, 건설 마킹들, 타이어 스키드 트랙들 등)을 잘못 식별할 수도 있다. 이와 같이, 레인 경계 검출 출력(320)에서의 레인 경계 검출(330)은 궁극적으로 실제 레인 경계들과 대응하도록 결정되지 않을 수도 있다. 이와 같이, 레인 경계 검출(330)은 또한 본 명세서에서 후보 레인 경계들 또는 레인 경계 후보들로 지칭된다.
도 3c는 레인 경계 검출들(330)이 필터에서 현재 추적되고 레인 경계 상태들(350) 또는 필터 상태들에 의해 표현되는 레인 경계들과 연관되거나 (또는 그에 맵핑되는) 레인 경계 맵핑(340)을 도시한다. 이러한 맵핑은, 예시된 바와 같이, 카메라 이미지(300)에 기초하여, (예를 들어, 도 3c에 도시된 바와 같이) 레인 경계 상태들(350)을 이미지 평면 상에 투영하고 투영된 레인 경계 상태들을 레인 경계 검출들(330)과 비교함으로써 이미지 평면에서 발생할 수도 있다. (대안적으로, 레인 경계 검출들(330)은 연관을 위해 다른 평면/좌표 시스템 상에 투영될 수도 있다) 대체로, 거리, 배향, 추정 불확실성 등과 같은 인자들에 기초하여, 레인 경계 검출들(330)을 가장 유사한 레인 경계 상태들(350)과 매칭시킴으로써 연관(association)이 발생한다. 이러한 연관을 수행하기 위해 다양한 알고리즘들이 사용될 수도 있다.
레인 경계 상태들(350)은 (차량이 위치되는) "자기 레인(ego lane)"(360)의 레인 경계들에 대해 유지될 수도 있다. 이용 가능할 때, 레인 경계들은 또한 인접한 좌측 레인(370)(좌측의 자기 레인(360)에 바로 인접한 레인) 및 인접한 우측 레인(380)(우측의 자기 레인(360)에 바로 인접한 레인)과 같은 자기 레인(360)에 인접한 레인들에 대해 유지될 수도 있다. 인접한 레인들을 추적하는 것은, 예를 들어, 입력으로서 레인 경계 맵핑(340)을 수신하는 ADAS 시스템들이 가능한 레인 변경 여부를 결정하고 (선택적으로) 레인 변경 조작을 수행하는 것을 허용할 수 있다. 추가적인 레인들로부터의 추가적인 레인 경계들은 또한 원하는 기능성, 검출된 레인들의 수, 프로세싱 능력들 등과 같은 기능들에 따라, 레인 경계 상태들(350)에 의해 추적되고 표현될 수도 있다.
필터 내에서, 레인 경계 상태들(350)은 파라메트릭 모델을 사용하여 레인 경계들을 설명할 수도 있다. 즉, 각각의 레인 경계 상태(350)는 곡률, 헤딩, 및/또는 다른 레인 경계 피처들을 나타내는 스칼라 파라미터들 중 하나 이상에 대한 값들(예를 들어, 스칼라 상태들)의 벡터를 포함할 수도 있다. 그 다음, 필터는 레인 경계 상태(350)가 대응하는 레인 경계를 정확하게 표현할 수 있게 하는 파라미터 값들을 결정할 수 있다. (따라서, 레인 경계 상태들(350)은 또한 본 명세서에서 레인 경계 추정치들로 지칭된다)
레인 경계 상태들(350)에서 사용되는 파라미터들의 예가 도 4a 에서 예시된다. 여기서, 레인 경계의 대표 포인트(400)에 대해, 파라미터들은 레인 경계를 기술하는(descriptive) 레인 경계 헤딩(410), 측방 오프셋(420) 및 곡률(430)을 포함할 수도 있다. 일부 실시양태들에 따르면, 파라미터들은 포인트(400) 자체에 대한 좌표들을 포함할 수도 있다. 레인 경계 상태(350)가 레인 경계를 추정함으로써 추가적인 또는 대안적인 파라미터들이 사용될 수도 있다. 언급된 바와 같이, 파라미터들은, 예를 들어 포인트(450)에 센터링될 수도 있는 차량 프레임과 관련하여 설명될 수도 있다.
일부 실시양태들에 따르면, 레인 경계 상태들(350)은 도로의 다가오는 섹션을 기술(describe)하기 위해 도 4b에 예시된 바와 같이 분할될 수도 있다. (복잡함을 피하기 위해, 단지 하나의 레인 경계 상태(350)로부터의 세그먼트들(435)이 라벨링된다.) 각각의 레인 경계 세그먼트는 파라미터 값들의 고유 세트를 가질 수도 있어서, 각각의 세그먼트(435)가 레인 경계 상태(350)에 의해 상이하게 모델링될 수 있게 한다. 세그먼트들의 수 및 세그먼트 길이(440)는, 원하는 기능성에 따라, (더 큰 수의 세그먼트들에 따라 증가할 수도 있는) 레인 경계 상태들(350)의 정확도를 (더 큰 수의 세그먼트들에 따라 증가할 수도 있는) 연관된 프로세싱 요건들과 균형을 맞추기 위해 변할 수도 있다.
이는 추적하기 위한 많은 양의 파라미터 값들을 초래할 수도 있다. 예를 들어, 일 실시양태는 차량(110) 전방의 도로의 75m를 따른 레인 경계들을 나타내는 레인 경계 상태들(350)을 유지할 수도 있으며, 여기서 각각의 레인 경계는 15m의 세그먼트 길이(440)를 갖는 세그먼트들로 세그먼트화된다. 이는 각각의 레인 경계 상태(350)에 대해 5개의 세그먼트들을 초래한다. 4개의 레인 경계 상태들(350)이 필터(230)에 의해 유지되는 경우(예를 들어, 자기 레인(360), 인접한 좌측 레인(370), 및 인접한 우측 레인(380)에 대한 레인 경계 상태들(350)), 이는 필터가 추적하기 위한 20개의 세그먼트들을 초래한다. 그리고, 각각의 세그먼트가 3개의 파라미터 값들(예를 들어, 측방향 오프셋, 헤딩, 및 곡률에 대한 값들)에 의해 표현되면, 이는 필터(230)가 4개의 레인 경계 상태들(350)에 대응하는 레인 경계들을 추적하기 위해 결정하기 위한 60개의 파라미터 값들을 초래한다.
필터(230)가 파라미터 값들을 추적하는 방식은 이들 파라미터 값들을 표현하기 위해 필터에 의해 사용되는 레퍼런스 프레임에 의해 크게 영향을 받을 수 있다. 일반적으로 사용되는 레퍼런스 프레임들은 이동하는 차량 바디 레퍼런스 프레임("바디 프레임(body frame)") 또는 정적 글로벌 레퍼런스 프레임("글로벌 프레임(global frame)" 또는 "정적 프레임(static frame)")을 포함한다.
도 5 는 차량(110)에 대한 다양한 좌표 프레임들의 예시이다. 특히, 바디 프레임("b 프레임")(510)은 차량(110)의 바디 상의 고정된 위치의 좌표 프레임을 포함한다. 이는, 예를 들어, 차량(110) 상의 미리 결정된 위치(예를 들어, 차량의 후방 차축 상의 위치), 차량(110)의 IMU(215) 또는 다른 센서의 위치 등을 포함할 수도 있다. 일부 실시양태들에 따르면, 차량 상의 위치는 차량 종속적일 수도 있다. 글로벌 프레임("s 프레임")(530)은 차량(110) 외부의 좌표 프레임을 나타내는 공간 좌표 프레임을 포함한다. 글로벌 프레임(530)은 차량(110)과 독립적일 수도 있고(예를 들어, 지구에 대한 좌표계), GNSS 수신기(들)(225)에 의해 사용되는 좌표계일 수도 있다. 대안적으로, 글로벌 프레임(530)은 이동 이전에 초기에 턴온될 때 차량(110)의 원점과 같은 차량(110) 외부의 일부 다른 정적 위치를 포함할 수도 있다.
언급된 바와 같이, 바디 프레임(510) 또는 글로벌 프레임(530)의 사용은 필터(230)의 기능성에 크게 영향을 미칠 수 있다. 예를 들어, 바디 프레임(510)이 필터(230)에 대한 레퍼런스 프레임으로서 사용되는 경우, 레인 경계 상태들(350)은 (예를 들어, EKF에서) 필터에 의해 선형화될 필요가 있을 수도 있는 복잡한 역학을 가질 수 있다. 센서(205)로부터 입력을 수신할 때, 필터(230)는 도로 상의 차량(110)(및 바디 프레임(510))의 새로운 위치를 반영하기 위해 레인 경계 상태(350)에 대한 파라미터 값들을 조정할 필요가 있을 수도 있다. 따라서, 60개의 파라미터 값들을 갖는 이전의 예에서, 모두 60개의 파라미터 값들이 업데이트될 필요가 있을 수도 있다. 또한, 측정들이 고주파수에서 수신되는 경우(예를 들어, 200Hz에서 수신된 IMU 측정들), 필터(230)는 동일한(또는 유사한) 고주파수에서 파라미터 값들을 결정할 수도 있다. 바디 프레임(510)을 사용할 때 파라미터 값들의 결정의 빈도 및 복잡성은 계산적으로 고비용일 수 있고 실시간 동작을 배제할 수 있다. 또한, 바디 프레임(510)의 사용은 동역학의 선형화를 요구할 수 있기 때문에, 그것은 또한 필터 정확도에 영향을 줄 수 있는 상당한 선형화 에러를 도입할 수도 있다. 이러한 문제들로 인해 레인 맵핑 성능이 저하된다.
한편, 글로벌 프레임(530)이 레퍼런스 프레임으로 이용되는 경우, 레인 경계 상태들은 530 의 글로벌 프레임을 기준으로 변하지 않기 때문에 역동성이 없다. 그러나, 이 경우, 잠재적으로 제한되지 않은 드리프트가 이 글로벌 프레임에 대해 계산된 차량 위치 사이에서 발생할 수 있으며, 이는 필터(230)의 정확도에 영향을 줄 수 있다. 즉, 이러한 제한되지 않은 드리프트는 로컬라이제이션 성능을 저하시킨다. 이의 예가 도 6에 도시되어 있다.
도 6 은 원 프레임(origin frame)(640)에 대한 원점(620)으로부터 종점(630)까지의 차량의 이동 경로(610)를 도시하는 단순화된 그래프이다. 여기서, 원점(620)은 이동 전에 먼저 턴 온될 때 차량(110)의 위치를 포함할 수도 있다. 원 프레임(640)은 자동차가 처음 켜질 때 개시될 수 있는 원점(620)에 중심을 둔 글로벌 프레임이고, 차량(110)의 로컬라이제이션을 위한 레퍼런스 프레임으로서 사용된다.
차량이 이동 경로(610)를 따라 이동함에 따라, 차량(110)의 계산된 위치는 원 프레임(640)에 대해 드리프트(drift)할 수 있다. 센서 입력에 기초하여 차량(110)의 계산된 위치에서의 에러들 및/또는 부정확성들로 인해, 이러한 드리프트는 제한되지 않고, 일반적으로 원 프레임(640)으로부터 증가된 거리에 따라 증가한다. 도 6에 예시된 바와 같이, 예를 들어, (원 프레임(640)에 관하여) 계산된 이동 경로(650)는 계산된 종점(660)이 누적된 드리프트(670)에 의해 실제 종점(630)과 상이하도록 이동 경로(610)와 상이하다.
본 명세서의 실시양태들은 하이브리드 접근법(hybrid approach)을 사용함으로써 글로벌 프레임(530)(예를 들어, 원 프레임(640))을 사용할 때의 제한 없는 드리프트 및 바디 프레임(510)을 사용할 때의 계산 복잡도의 문제들을 해결한다. 특히, 단일 글로벌 프레임(530)을 사용하기 보다는, 실시양태들은 트리거 이벤트에 기초하여 글로벌 프레임(530)을 바디 프레임(510)으로 주기적으로 리셋하는데 사용되는 일련의 "앵커 프레임들"을 사용한다. 이는 필터(230)에서의 바디 프레임(510)의 사용에 비해 상당한 계산적 절감을 제공하면서, 또한 드리프트를 제한되게 유지할 수 있다. 도 7은 일 예를 나타낸다.
도 7 은 도 6과 유사하게, 차량의 원점(720)으로부터 종점(730)까지의 이동 경로(710)를 도시하는 단순화된 그래프이다. 다시, 원 프레임(740)은 원점(720)에 중심을 두고, 차량이 이동 경로(710)를 따라 이동할 때 차량의 위치를 기술하기 위해 초기 정적 레퍼런스 프레임으로서 사용될 수도 있다. 그러나, 여기서, 레퍼런스 프레임은 차량이 원점(720)으로부터 종점(730)까지 이동할 때 정적 앵커 프레임(750)이 주기적으로 사용되는 많은 "재-앵커링"을 겪는다(제 1 앵커 프레임(750-1)으로 시작하여, 제 2 앵커 프레임(750-2)이 뒤따르는 등). 각각의 앵커 프레임(750)에 대해, 일단 앵커 프레임(750)이 사용되면, 이동 경로(710)는 후속(subsequent) 앵커 프레임(710)이 사용될 때까지 그 앵커 프레임(750)에 대해 기술된다.
모든 새로운 앵커 프레임(750)으로, 레인 경계 필터 상태들에 대한 파라미터 값들은 새로운 앵커 프레임(750)에서 표현되도록 재계산될 수 있다. 새로운 앵커 프레임(750)의 위치는 재-앵커링 시에 차량(110)의 바디 프레임(510)의 위치를 포함할 수도 있다. 이러한 방식으로 앵커 프레임들(750)을 사용함으로써, 드리프트 누적이 각각의 앵커 프레임(750)에 대해 효과적으로 제한되어, 각각의 후속 앵커 프레임(750)으로 리셋된다. 이러한 특성은 필터가 현재 앵커 프레임을 기준으로 추적하므로 유용하다. 더욱이, 파라미터 값들은 각각의 앵커 프레임(750)에 대해 한 번만 재계산될 필요가 있을 수도 있기 때문에, 이 방법의 계산 요건들은 차량(110)이 이동함에 따라 바디 프레임(510)을 사용하여 파라미터 값들을 지속적으로 재계산하는 것(파라미터 값들을 몇 밀리초마다 보다는 몇 초마다 재계산)보다 훨씬 적을 수 있다. 이는 이러한 방법들의 선형화 에러(linearization error)를 추가로 감소시킨다.
원하는 기능성에 따라, 재-앵커링을 유발하는 트리거 이벤트들이 달라질 수도 있다. 예를 들어, 일부 실시양태들에 따르면, 트리거는, 이전 프레임(예를 들어, 원 프레임(740) 또는 이전 앵커 프레임(750))이 생성된 이후의 시간의 길이, 이전 프레임이 생성된 이후에 이동된 임계 거리, 임계치를 초과하는 불확실성 값(예를 들어, 필터에 의해 계산된 바와 같은 위치 추정치 분산), 및 기타 등등의 임의의 조합을 포함할 수도 있다. 이들 트리거들에 대한 임계치들 (예를 들어, 임계치 불확실성 값들, 시간 길이들, 거리들) 은 정확도 요건들, 프로세싱 능력들, 및 다른 그러한 인자들의 균형을 맞추도록 선택될 수도 있다. 이들 인자들이 변할 수도 있기 때문에, 이들 임계치들은 동적일 수도 있고, 하나의 이동 경로로부터 다음 이동 경로로, 또는 심지어 단일 이동 경로 내에서 변할 수도 있다.
3D 객체들로서 모델링된 레인 경계 상태들(350)에 대해, 재-앵커링 동안 대응하는 파라미터 값들의 계산이 표준일 수도 있다는 것이 주목될 수 있다. 그러나, 2D-모델링된 레인 경계 상태들(350)로, 정확도를 보장하는 것을 돕기 위해 추가적인 동작들이 수행될 수도 있다. 이것이 어떻게 행해질 수 있는지에 대한 설명은 도 8a 및 도 8b와 관련하여 제공된다.
도 8a 는 일 예에 따른, 차량의 이동 경로(815)의 (예를 들어, z 축을 따른) 고도 및 기울기의 변화들을 예시하는 단순화된 단면도이다. 여기서, 앵커 프레임들(도시되지 않음)은 제 1 포인트(820-1) 및 제 2 포인트(820-2)에서 사용될 수도 있으며, 여기서 각각의 앵커 프레임은 대응하는 포인트(820)에서 도로에 접하는 대응하는 앵커 x-y 평면(830)으로서 사용된다. 레인 맵핑 및 로컬라이제이션 시스템(200)에 대해, 특히 단일 카메라 시스템들에 대해, 레인 경계 상태(350)(도시되지 않음)는 이들 x-y 평면(830) 상에서 발생할 수도 있는 2D 객체들로서 모델링될 수도 있다. 그러나, 레인 경계 상태들(350)에서의 불일치들(예를 들어, 필터 발산을 초래할 수도 있는 레인 경계 상태들(350)의 큰 카메라 재투영 에러들)은, 제 1 앵커 x-y 평면(830-1)과 제 2 앵커 x-y 평면(830-2) 사이의 z-축 차이(840)와 같은, 이들 x-y 평면들(830)에서의 z-축 또는 기울기 차이를 초래하는 앵커 프레임들 사이의 도로 고도 또는 기울기의 변화가 존재할 때 발생할 수 있다.
2D-모델링된 레인 경계 상태들(350)에 대해 하나의 앵커 프레임으로부터 다음 앵커 프레임까지 레인 경계 상태들(350)에서의 일관성을 보장하는 것을 돕기 위해, 실시양태들은 카메라(예를 들어, 도 3a의 카메라 캡처 카메라 이미지(300))의 카메라 이미지 평면(850) 상으로의 이들 레인 경계 상태들(350)의 투영을 사용할 수 있다. 이것의 예가 도 8b에 도시된 예시에서 제공된다. 특히, 제 1 앵커 x-y 평면(830-1)에서 모델링된 레인 경계 상태(350)는 제 2 앵커 x-y 평면(830-2)에서 재계산될 수도 있어서, 제 1 및 제 2 앵커 x-y 평면(830-1 및 830-2)으로부터 카메라 이미지 평면(850) 상으로의 레인 경계 상태(350)의 투영은 불변으로 유지된다. 일 실시양태에서, 이러한 재계산은 제 1 앵커 x-y 평면으로부터 카메라 이미지 평면 상으로의 투시 맵핑(perspective mapping)에 이어서 카메라 이미지 평면으로부터 제 2 앵커 x-y 평면 상으로의 역 투시 맵핑에 의해 수행될 수 있다. 이는 다수의 앵커 프레임들에 걸쳐 레인 경계 상태들(350)의 일관성을 보장하는 것을 도울 수 있다.
도 9 는 일 실시양태에 따른, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법 (900) 의 흐름도이다. 대안적인 실시양태들은 원하는 기능성에 따라, 도 9의 블록들에 예시된 기능들을 대안적인 순서로 수행하고, 조합하고, 분리하고, 그리고/또는 재배열하고, 그리고/또는 병렬로 기능들을 수행할 수도 있다. 당업자는 이러한 변형들을 인식할 것이다. 도 9에 예시된 하나 이상의 블록들의 기능을 수행하기 위한 수단은 예를 들어, 필터(230)를 포함할 수 있다. 언급된 바와 같이, 필터(230)는 칼만 필터(예를 들어, EKF), 입자 필터, 또는 하나 이상의 센서들(205)로부터의 업데이트된 데이터의 시퀀스로부터 상태 추정치들(예를 들어, 레인 경계 상태들(350))을 재귀적으로 업데이트하도록 구성된 유사한 알고리즘들을 포함할 수도 있다. 필터(230)는 소프트웨어로 구현될 수도 있고, 이하에서 더 상세히 설명되는 도 10의 모바일 컴퓨팅 시스템(1000)과 같은 차량 내 컴퓨터 시스템의 프로세싱 유닛 및/또는 다른 하드웨어 및/또는 소프트웨어 컴포넌트들에 의해 실행될 수도 있다. 추가적으로 또는 대안적으로, 이러한 수단은 특수화된 하드웨어를 포함할 수도 있다.
블록(910)에서, 기능성은, 제 1 시간에, 도로의 제 1 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 1 세트를 결정하는 단계를 포함하고, 여기서 파라미터 값들의 제 1 세트는 제 1 레퍼런스 프레임에 대해 결정된다. 이전에 표시된 바와 같이, 레인 경계 상태들은 레인 경계를 기술하는 파라미터 값들의 세트(예를 들어, 스칼라 상태들)를 포함할 수도 있으며, 이는 필터에 의해 계산 및 유지되고, 센서 입력에 의해 업데이트될 수도 있다. 추가적으로 또는 대안적으로, 파라미터 값들은 맵으로부터의 입력 및/또는 레인 경계들에 관한 다른 관련 비-센서 정보에 기초할 수도 있다. 제 1 레퍼런스 프레임은 예를 들어 도 7에 도시된 바와 같이, 원 프레임(740) 또는 앵커 프레임(750)을 포함할 수도 있다. 이와 같이, 제 1 레퍼런스 프레임은 이전 시점에서의 차량의 위치에 기초한 레퍼런스 프레임(또는 더 구체적으로, 차량의 바디 프레임)을 포함할 수도 있다. 블록(910)의 기능성을 수행하기 위한 수단은 버스(1005), 프로세싱 유닛(들)(1010), 디지털 신호 프로세서(DSP)(1020), 입력 디바이스(들)(1070), 작업 메모리(1035), 및/또는 도 10에 예시되고 아래에서 더 상세히 설명되는 바와 같은 모바일 컴퓨팅 시스템(1000)의 다른 컴포넌트들을 포함할 수도 있다.
블록(920)에서의 기능성은 제 1 시간에 후속하여, 제 1 레퍼런스 프레임에 대한 차량의 위치를 결정하는 단계를 포함한다. 도 7에 예시된 프로세스에서 언급된 바와 같이, 이는 센서 입력에 기초할 수도 있고, 차량이 이동함에 따라 바디 프레임에 대한 파라미터 값들을 재계산하는 것보다 훨씬 적은 프로세싱 전력을 요구할 수도 있다. 일부 실시양태들에 따르면, 차량의 위치를 결정하는 단계는, 도로를 따른 차량의 이동(movement)을 나타내는 센서 정보를 획득하는 단계, 및 센서 정보를 사용하여 차량의 위치를 결정하는 단계를 포함할 수 있다. 이는 도 2에 나타내고 이전에 설명된 바와 같이 다양한 센서들(205)을 포함할 수 있다. 따라서, 일부 실시양태들에 따르면, 센서 정보는 차량 상에 위치된 IMU 센서, 차량 상에 위치된 휠 속도 센서, 무선 신호 측정들, 차량 상에 위치된 GNSS 센서, 또는 차량 상에 위치된 카메라 센서, 또는 이들의 임의의 조합으로부터의 이동 정보를 포함할 수도 있다. 무선 신호 측정들은 셀룰러, 광역, 및/또는 근거리 네트워크에 의해 송신된 무선 신호들의 측정들을 포함할 수도 있으며, 이는 차량의 포지셔닝 및/또는 모션 추적을 위해 사용될 수도 있다. 블록(920)의 기능성을 수행하기 위한 수단은 버스(1005), 프로세싱 유닛(들)(1010), 디지털 신호 프로세서(DSP)(1020), 입력 디바이스(들)(1070), 작업 메모리(1035), 및/또는 도 10에 예시되고 아래에서 더 상세히 설명되는 바와 같은 모바일 컴퓨팅 시스템(1000)의 다른 컴포넌트들을 포함할 수도 있다.
블록(930)의 기능성은, 차량의 위치를 결정하는 것에 후속하여, 제 2 시간에, 도로의 제 2 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하는 것을 포함하고, 여기서, 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함하는 앵커 프레임에 대해 결정되고, 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정된다. 일부 경우들에서, 도로의 제 1 부분은 도로의 제 2 부분과 적어도 부분적으로 중첩(overlap)될 수도 있다. 언급된 바와 같이, 앵커 프레임의 사용은 시간, 거리, 및/또는 불확실성에 기초할 수 있다. 이와 같이, 일부 실시양태들에 따르면, 트리거 이벤트는 제 1 시간 이후 경과된 시간의 길이, 제 1 시간 이후 차량이 주행한 거리, 제 1 시간 이후 증가한 불확실성 값, 또는 이들의 임의의 조합을 포함한다. 이전에 표시된 바와 같이, 레인 경계 상태들(350)은 레인 경계들을 기술하기 위해 상이한 유형들의 파라미터들을 포함할 수도 있다. 일부 실시양태들에 따르면, 파라미터 값들의 제 1 세트 및 파라미터 값들의 제 2 세트는 레인 경계의 헤딩(heading), 레인 경계의 곡률(curvature), 레인 경계의 오프셋, 또는 레인 경계 상의 포인트, 또는 이들의 임의의 조합을 포함하는 파라미터들에 대한 값들을 포함한다.
다른 실시양태들은 추가적인 기능성을 포함할 수도 있다. 그리고 언급된 바와 같이, 하나의 레인 경계 상태들은 2차원으로 표현되고, 이미지 평면은 하나의 레퍼런스 프레임으로부터 다음 레퍼런스 프레임으로의 일관성을 보장하는 것을 돕기 위해 사용될 수 있다. 따라서, 일부 실시양태들에 따르면, 파라미터 값들의 제 1 세트 및 파라미터 값들의 제 2 세트는, 제 1 앵커 프레임의 평면으로부터 차량 상에 위치된 카메라의 이미지 평면 상으로의 레인 경계의 투영이 제 2 앵커 프레임의 평면으로부터 이미지 평면 상으로의 레인 경계의 투영과 중첩되도록 2차원으로 레인 경계를 기술한다. 추가적으로, 필터는 결정된 정보를 다양한 출력 시스템들 중 임의의 것에 제공할 수도 있다. 따라서, 방법(900)의 일부 실시양태들은 결정된 위치 또는 결정된 레인 경계를 제공하는 단계를 더 포함할 수도 있다. 결정된 위치 또는 레인 경계를 제공하는 것은 차량의 첨단 운전자 보조 시스템 (Advanced Driver-Assist System; ADAS), 또는 차량의 사용자 인터페이스, 또는 양자 모두에 이들을 제공하는 것을 포함한다.
블록(930)의 기능성을 수행하기 위한 수단은 버스(1005), 프로세싱 유닛(들)(1010), 디지털 신호 프로세서(DSP)(1020), 입력 디바이스(들)(1070), 작업 메모리(1035), 및/또는 도 10에 예시되고 아래에서 더 상세히 설명되는 바와 같은 모바일 컴퓨팅 시스템(1000)의 다른 컴포넌트들을 포함할 수도 있다.
도 10은 도 7에 예시된 블록들 중 하나 이상의 블록들의 기능성을 포함하여, 본 명세서의 실시양태들에서 설명된 기능성의 일부 또는 전부를 수행하는데 사용될 수도 있는 모바일 컴퓨팅 시스템(1000)의 실시양태의 블록도이다. 모바일 컴퓨팅 시스템(1000)은 차량 상에 위치될 수도 있고, 도 2의 레인 맵핑 및 로컬라이제이션 시스템(200)의 컴포넌트들 중 일부 또는 전부를 포함할 수도 있다. 예를 들어, 도 2의 필터링(230) 및 레인 경계 검출 기능(235)은 프로세싱 유닛(들)(1010) 및/또는 DSP(1020)에 의해 실행될 수도 있고; 센서들(205) 중 임의의 것 또는 전부는 센서(들)(1040), GNSS 수신기(1080), 및/또는 입력 디바이스(들)(1070)와 대응할 수도 있고; ADAS(255)는 프로세싱 유닛(들)(1010) 및/또는 DSP(1020)에 의해 구현될 수도 있거나, 출력 디바이스(들)(1015)에 포함될 수도 있고; 기타 등등이다. 당업자는 도 2 및 도 10 의 추가적인 또는 대안적인 컴포넌트들이 중첩할 수도 있는 경우를 인식할 것이다.
도 10은 다양한 컴포넌트들의 일반화된 예시를 제공하는 것만을 의도하고, 이들 중 임의의 것 또는 모두는 적절하게 이용될 수도 있다는 것에 유의해야 한다. 따라서, 도 10은 개별 시스템 엘리먼트들이 어떻게 비교적 분리된 또는 비교적 더 통합된 방식으로 구현될 수도 있는지를 넓게 예시한다. 또한, 도 10에 의해 예시된 컴포넌트들은 단일 디바이스에 국한될 수 있고 그리고/또는 차량 상의 상이한 물리적 위치들에 배치될 수도 있는 다양한 네트워킹된 디바이스들 사이에 분산될 수 있다는 것이 주목될 수 있다.
모바일 컴퓨팅 시스템(1000)은 버스(1005)를 통해 전자적으로/통신가능하게 커플링될 수 있는(또는 그렇지 않으면 적절하게 통신할 수도 있는) 하드웨어 엘리먼트들을 포함하는 것으로 도시된다. 하드웨어 엘리먼트들은, 제한 없이, 하나 이상의 범용 프로세서들, 하나 이상의 특수 목적 프로세서들(예컨대, 디지털 신호 프로세서(DSP), 그래픽 프로세싱 유닛(GPU), 주문형 집적 회로(ASIC), 필드 프로그래밍가능 게이트 어레이(FPGA) 등), 및/또는 도 9에 설명된 방법의 적어도 부분을 포함하여, 본원에 설명된 방법들 중 하나 이상을 수행하도록 구성될 수 있는 다른 프로세싱 구조 또는 수단을 포함할 수도 있는 프로세싱 유닛(들)(1010)을 포함할 수 있다. 모바일 컴퓨팅 시스템(1000)은 또한 CAN 버스(및/또는 다양한 차량 시스템들에 대한 데이터의 다른 소스), 차량 피드백 시스템들, 사용자 입력(예를 들어, 터치스크린 디스플레이, 브레이킹 입력, 스티어링 입력, 다이얼들, 스위치들 등) 등을 제한 없이 포함할 수 있는 하나 이상의 입력 디바이스들(1070)을 포함할 수 있다. 모바일 컴퓨팅 시스템(1000)은 또한 디스플레이 디바이스(예를 들어, 대시 디스플레이, 인포테인먼트 스크린 등), 라이트, 미터, 차량 자동화 및/또는 제어 시스템 등을 제한 없이 포함할 수 있는 하나 이상의 출력 디바이스(1015)를 포함할 수 있다.
모바일 컴퓨팅 시스템(1000)은 또한, 모바일 컴퓨팅 시스템(1000)이 상기 실시양태들에서 설명된 바와 같이 다른 디바이스들과 통신할 수 있게 할 수도 있는 모뎀, 네트워크 카드, 적외선 통신 디바이스, 무선 통신 디바이스, 및/또는 칩셋(예컨대, Bluetooth® 디바이스, IEEE 802.11 디바이스, IEEE 802.15.4 디바이스, Wi-Fi 디바이스, WiMAX 디바이스, WAN 디바이스, 및/또는 다양한 셀룰러 디바이스들 등) 등을 제한 없이 포함할 수도 있는 무선 통신 인터페이스(1030)를 포함할 수도 있다. 무선 통신 인터페이스(1030)는, 본 명세서에 설명된 바와 같이, 예를 들어, 액세스 포인트들, 다양한 기지국들, 및/또는 다른 액세스 노드 타입들, 및/또는 다른 네트워크 컴포넌트들, 컴퓨터 시스템들, 및/또는 TRP들과 통신가능하게 커플링된 임의의 다른 전자 디바이스들을 통해, 네트워크의 송신/수신 포인트들(TRP들)과 데이터 및 시그널링이 통신(예를 들어, 송신 및 수신)되는 것을 허용할 수도 있다.
통신은 V2X(Vehicle-to-Everything)와 같은 차량 교환 상황에 대한 적용 가능한 통신 표준을 통해 수행될 수도 있다. V2X는 V2X 가능 차량들 간의 V2V(Vehicle-to-Vehicle) 통신, 차량과 인프라 기반 디바이스(일반적으로 노변 장치 또는 노변 장치(RSU)로 지칭됨) 간의 V2I(Vehicle-to-Infrastructure) 통신, 차량과 주변 사람(보행자, 자전거 운전자 및 다른 도로 사용자) 간의 V2P(Vehicle-to-Person) 통신 등을 포함할 수 있다. 또한, V2X는 다양한 무선 라디오 주파수 통신 기술들 중 임의의 것을 사용할 수 있다. 예를 들어, 셀룰러 V2X(CV2X)는 롱 텀 에볼루션 (LTE), 5세대 뉴 라디오 (5G NR), 및/또는 3세대 파트너십 프로젝트 (3GPP) 에 의해 정의된 바와 같은 직접 통신 모드에서의 다른 셀룰러 기술들과 같은 셀룰러 기반 통신을 사용하는 V2X의 한 형태이다. 이러한 방식으로, 모바일 컴퓨팅 시스템(1000)은 V2X 디바이스 또는 V2X 사용자 장비(UE)를 포함할 수도 있다.
무선 통신 인터페이스(1030)에 의한 통신은 무선 신호들(1034)을 전송 및/또는 수신하는 하나 이상의 무선 통신 안테나(들)(1032)를 통해 수행될 수 있다. 일부 실시양태들에 따르면, 무선 통신 안테나(들) (1032) 는 복수의 이산 안테나들, 안테나 어레이들, 또는 이들의 임의의 조합을 포함할 수도 있다. 안테나(들) (1032) 는 빔들 (예를 들어, Tx 빔들 및 Rx 빔들) 을 사용하여 무선 신호들을 송신 및 수신 가능할 수도 있다. 빔 형성은 디지털 및/또는 아날로그 빔 형성 기법들을 사용하여, 개별의 디지털 및/또는 아날로그 회로부로 수행될 수도 있다. 무선 통신 인터페이스 (1030) 는 그러한 회로부를 포함할 수도 있다.
원하는 기능성에 따라, 무선 통신 인터페이스(1030)는 무선 디바이스들 및 액세스 포인트들과 같은 기지국들 및 다른 지상 트랜시버들과 통신하기 위해 별개의 수신기 및 송신기, 또는 트랜시버들, 송신기들, 및/또는 수신기들의 임의의 조합을 포함할 수도 있다. 모바일 컴퓨팅 시스템(1000)은 다양한 네트워크 타입들을 포함할 수도 있는 상이한 데이터 네트워크들과 통신할 수도 있다. 예를 들어, WWAN (Wireless Wide Area Network) 은 CDMA (Code Division Multiple Access) 네트워크, TDMA (Time Division Multiple Access) 네트워크, FDMA (Frequency Division Multiple Access) 네트워크, OFDMA (Orthogonal Frequency Division Multiple Access) 네트워크, SC-FDMA (Single-Carrier Frequency Division Multiple Access) 네트워크, WiMAX (IEEE 802.16) 네트워크 등일 수도 있다. CDMA 네트워크는 CDMA2000, 광대역 CDMA(WCDMA) 등과 같은 하나 이상의 RAT들을 구현할 수도 있다. CDMA2000 은 IS-95, IS-2000 및/또는 IS-856 표준들을 포함한다. TDMA 네트워크는 GSM (Global System for Mobile Communications), D-AMPS (Digital Advanced Mobile Phone System), 또는 일부 다른 RAT 를 구현할 수도 있다. OFDMA 네트워크는 LTE, LTE 어드밴스드, 5G NR 등을 이용할 수도 있다. 5G NR, LTE, LTE 어드밴스드, GSM, 및 WCDMA 는 3GPP 로부터의 문헌들에 설명된다. cdma2000 은 "제 3세대 파트너십 프로젝트 X3" (3GPP2) 로 명명된 컨소시엄으로부터의 문헌들에서 설명된다. 3GPP 및 3GPP2 문헌들은 공개적으로 입수가능하다. 무선 로컬 영역 네트워크 (WLAN) 는 또한 IEEE 802.11x 네트워크일 수도 있고, 무선 개인 영역 네트워크 (WPAN) 는 블루투스 네트워크, IEEE 802.15x, 또는 일부 다른 타입의 네트워크일 수도 있다. 본 명세서에서 설명된 기법들은 또한 WWAN, WLAN, 및/또는 WPAN 의 임의의 조합을 위해 사용될 수도 있다.
모바일 컴퓨터 시스템 (1000) 는 또한, 센서(들) (1040) 를 포함할 수 있다. 이전에 언급된 바와 같이, 센서들은 도 2에 예시되고 이전에 설명된 센서들(205)을 포함하는, 본 명세서에 설명된 차량 센서들 중 임의의 것을 포함할 수도 있다. 추가적으로 또는 대안적으로, 센서(들)(1040)는 제한 없이, 하나 이상의 관성 센서들 및/또는 다른 센서들(예를 들어, 가속도계(들), 자이로스코프(들), 카메라(들), 자력계(들), 고도계(들), 마이크로폰(들), 근접 센서(들), 광 센서(들), 기압계(들) 등)을 포함할 수도 있으며, 이들 중 일부는 포지션 관련 측정치들 및/또는 다른 정보를 획득하기 위해 사용될 수도 있다.
모바일 컴퓨팅 시스템(1000)의 실시양태들은 또한 안테나(1082)(안테나(1032)와 동일할 수 있음)를 사용하여 하나 이상의 GNSS 위성들로부터 신호들(1084)을 수신할 수 있는 글로벌 내비게이션 위성 시스템 (Global Navigation Satellite System; GNSS) 수신기(1080)를 포함할 수도 있다. GNSS 신호 측정에 기초한 포지셔닝은 본 명세서에서 설명된 기법들을 보완 및/또는 통합하기 위해 활용될 수 있다. GNSS 수신기(1080)는 GPS, 갈릴레오, GLONASS, 일본의 QZSS(Quasi-Zenith Satellite System), 인도의 IRNSS(Indian Regional Navigational Satellite System), 중국의 BDS(Beidou Navigation Satellite System) 등과 같은 GNSS 시스템의 GNSS 위성들(120)로부터 종래의 기법들을 사용하여 모바일 컴퓨팅 시스템(1000)의 위치를 추출할 수 있다. 또한, GNSS 수신기 (1080) 는 하나 이상의 글로벌 및/또는 지역적 내비게이션 위성 시스템들, 이를 테면, 예를 들어, WAAS (Wide Area Augmentation System), EGNOS (European Geostationary Navigation Overlay Service), MSAS (Multi-functional Satellite Augmentation System), 및 GAGAN (Geo Augmented Navigation system) 등과 연관되거나 또는 이들과 사용하기 위하여 달리 인에이블될 수도 있는 다양한 증강 시스템들 (예를 들어, SBAS (Satellite Based Augmentation System)) 과 사용될 수 있다.
GNSS 수신기(1080)가 별개의 컴포넌트로서 도 10에 예시되지만, 실시양태들은 그렇게 제한되지 않는다는 것에 유의할 수 있다. 본 명세서에서 사용된 바와 같이, 용어 "GNSS 수신기" 는 GNSS 측정치들 (GNSS 위성들로부터의 측정치들) 을 획득하도록 구성된 하드웨어 및/또는 소프트웨어 컴포넌트들을 포함할 수도 있다. 따라서, 일부 실시양태들에서, GNSS 수신기는 (예를 들어, 모뎀에서) 프로세싱 유닛(들) (1010), DSP (1020), 및/또는 무선 통신 인터페이스 (1030) 내의 프로세싱 유닛과 같은 하나 이상의 프로세싱 유닛들에 의해 (소프트웨어로서) 실행되는 측정 엔진을 포함할 수도 있다. GNSS 수신기는 선택적으로 또한, EKF, 가중된 최소 제곱들 (WLS), 해치 필터, 입자 필터 등을 사용하여 GNSS 수신기의 위치를 결정하기 위해 측정 엔진으로부터의 GNSS 측정치들을 사용할 수 있는 포지셔닝 엔진을 포함할 수도 있다. 포지셔닝 엔진은 또한 프로세싱 유닛(들) (1010) 또는 DSP (1020) 와 같은 하나 이상의 프로세싱 유닛들에 의해 실행될 수도 있다.
모바일 컴퓨터 시스템(1000)은 메모리(1060)를 더 포함할 수도 있고/있거나 이와 통신할 수도 있다. 메모리 (1060) 는, 로컬 및/또는 네트워크 액세스가능 스토리지, 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 솔리드-스테이트 저장 디바이스, 예컨대, 프로그래밍가능, 플래시 업데이트가능 등등일 수 있는 판독 전용 메모리 (ROM) 및/또는 랜덤 액세스 메모리 ("RAM") 를 제한없이 포함할 수 있다. 그러한 저장 디바이스들은 다양한 파일 시스템들, 데이터베이스 구조들 등을 제한 없이 포함하는 임의의 적절한 데이터 스토어들을 구현하도록 구성될 수도 있다.
모바일 컴퓨팅 시스템(1000)의 메모리(1060)는 또한 운영 체제, 디바이스 드라이버들, 실행가능한 라이브러리들, 및/또는 다른 코드, 예컨대, 다양한 실시양태들에 의해 제공되는 컴퓨터 프로그램들을 포함할 수도 있는 그리고/또는 본 명세서에 설명된 바와 같이, 다른 실시양태들에 의해 제공되는 방법들을 구현하고 그리고/또는 시스템들을 구성하도록 설계될 수도 있는 하나 이상의 애플리케이션 프로그램들을 포함하는 소프트웨어 요소들(도 10에 도시되지 않음)을 포함할 수 있다. 단지 예시로써, 위에서 논의된 방법(들)과 관련하여 설명된 하나 이상의 절차는 모바일 컴퓨팅 시스템(1000)(및/또는 모바일 컴퓨팅 시스템 (1000) 내의 프로세싱 유닛(들)(1010) 또는 DSP(1020))에 의해 실행 가능한 메모리(1060)에서의 코드 및/또는 명령들로서 구현될 수도 있다. 일 양태에서, 그러한 코드 및/또는 명령들은 설명된 방법에 따라 하나 이상의 동작들을 수행하도록 범용 컴퓨터(또는 다른 디바이스)를 구성 및/또는 적응시키는 데 사용될 수 있다.
실질적인 변형들이 특정 요건들에 따라 이루어질 수도 있음이 당업자에게 명백할 것이다. 예를 들어, 맞춤형 하드웨어도 사용될 수도 있고/있거나 특정 엘리먼트들이 하드웨어, 소프트웨어(애플릿 등과 같은 휴대용 소프트웨어 포함) 또는 양자 모두에서 구현될 수도 있다. 또한, 네트워크 입/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들에 대한 접속이 사용될 수도 있다.
첨부된 도면을 참조하면, 메모리를 포함할 수 있는 컴포넌트들은 비일시적 머신 판독 가능 매체를 포함할 수 있다. 본 명세서에서 사용된 "머신 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"라는 용어는 기계가 특정 방식으로 작동하게 하는 데이터를 제공하는 것에 참여하는 모든 저장 매체를 지칭한다. 위에 제공된 실시양태들에서, 다양한 머신 판독 가능 매체는 실행을 위해 프로세싱 유닛들 및/또는 다른 디바이스(들)에 명령들/코드를 제공하는 데 관련될 수도 있다. 추가적으로 또는 대안적으로, 머신 판독 가능 매체는 이러한 명령들/코드를 저장 및/또는 반송하는 데 사용될 수도 있다. 많은 구현예들에서, 컴퓨터-판독가능 매체는 물리적 및/또는 유형의 저장 매체이다. 그러한 매체는, 비휘발성 매체들 및 휘발성 매체들을 포함하지만 이에 제한되지 않는 다수의 형태들을 취할 수도 있다. 컴퓨터 판독가능 매체들의 일반적인 형태들은 예를 들어, 자기 및/또는 광학 매체들, 홀들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, 프로그래밍가능 ROM(PROM), 소거가능한 PROM(EPROM), FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
본 명세서에서 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 실시양태들은 적절할 때 다양한 절차들 또는 컴포넌트들을 생략, 치환, 또는 부가할 수도 있다. 예를 들어, 소정의 실시양태들에 대해 설명된 특징들은 다양한 다른 실시양태들에 조합될 수도 있다. 실시양태들의 상이한 양태들 및 엘리먼트들은 유사한 방식으로 조합될 수도 있다. 본 명세서에 제공된 도면들의 다양한 컴포넌트들은 하드웨어 및/또는 소프트웨어로 구현될 수 있다. 또한, 기술은 진화하고, 따라서 엘리먼트들의 다수는 본 개시의 범위를 이들 특정 예들로 제한하지 않는 예들이다.
주로 일반적인 사용을 이유로, 그러한 신호들을 비트들, 정보, 값들, 엘리먼트들, 심볼들, 문자들, 변수들, 용어들, 숫자들, 수치들 등으로서 지칭하는 것이 때때로 편리하다는 것이 입증되었다. 하지만, 이들 또는 유사한 용어들 모두는 적절한 물리량들과 연관되어야 하고, 단지 편리한 라벨들임을 이해해야 한다. 위의 논의들로부터 명백한 바와 같이 특별히 달리 언급되지 않으면, 본 명세서 전반에 걸쳐, "프로세싱하는 것", "계산하는 것", "산출하는 것", "결정하는 것", "확인하는 것", "식별하는 것", "연관시키는 것", “측정하는 것”, “수행하는 것” 등과 같은 용어를 활용하는 논의들은 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스와 같은 특정 장치의 액션들 및 프로세스들을 지칭함이 인식된다. 따라서, 본 명세서의 문맥에서, 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스는 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스의 메모리들, 레지스터들, 또는 다른 정보 저장 디바이스들, 송신 디바이스들, 또는 디스플레이 디바이스들 내에서 물리 전자적, 전기적, 또는 자기적 양들로서 통상적으로 표현되는, 신호들을 조작하거나 변환이 가능하다.
본 명세서에서 사용된 바와 같은 용어들 "및" 및 "또는" 은, 그러한 용어들이 사용되는 문맥에 적어도 부분적으로 의존하도록 또한 기대되는 다양한 의미들을 포함할 수도 있다. 통상적으로, A, B 또는 C 와 같이 리스트를 연관시키도록 사용된다면 "또는" 은 포괄적 의미로 여기서 사용되는 A, B, 및 C 를 의미할 뿐만 아니라 배타적 의미로 여기서 사용되는 A, B 또는 C 를 의미하도록 의도된다. 또한, 본 명세서에서 사용된 바와 같은 용어 "하나 이상" 은 임의의 특징, 구조, 또는 특성을 단수로 설명하는데 사용될 수도 있거나, 특징들, 구조들, 또는 특성들의 일부 조합을 설명하는데 사용될 수도 있다. 하지만, 이는 단지 예시적인 예일 뿐이며 청구물은 이러한 예로 제한되지 않음을 유의해야 한다. 더욱이, 용어 "~중 적어도 하나” 는 A, B 또는 C 와 같이 리스트를 연관시키는데 사용된다면, A, AB, AA, AAB, AABBCCC 등과 같은 A, B 및/또는 C 의 임의의 조합을 의미하는 것으로 해석될 수 있다.
수개의 실시양태들을 설명했고, 다양한 변형들, 대안적인 구성들, 및 균등물들이 본 개시의 사상으로부터 일탈함 없이 사용될 수도 있다. 예를 들어, 상기 엘리먼트들은 단지 더 큰 시스템의 컴포넌트일 수도 있으며, 여기서, 다른 규칙들이 우선권을 인수하거나 그렇지 않으면 여러 실시양태들의 적용을 변형할 수도 있다. 또한, 다수의 단계들이, 상기 엘리먼트들이 고려되기 전, 그 동안, 또는 그 이후에 착수될 수도 있다. 이에 따라, 상기 설명은 본 개시의 범위를 한정하지 않는다.
이러한 설명의 관점에서, 실시양태들은 특징들의 상이한 조합들을 포함할 수도 있다. 구현 예들이 다음의 넘버링된 조항들에서 기술된다:
조항 1: 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법으로서, 제 1 시간에, 도로의 제 1 부분을 따른 레인 경계를 기술하는 제 1 세트의 파라미터 값들을 결정하는 단계 - 상기 제 1 세트의 파라미터 값들은 제 1 레퍼런스 프레임에 대해 결정됨 -; 상기 제 1 시간에 후속하여, 상기 제 1 레퍼런스 프레임에 대한 상기 차량의 위치를 결정하는 단계; 및 상기 차량의 상기 위치를 결정하는 것에 후속하여, 제 2 시간에, 상기 도로의 제 2 부분을 따른 상기 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하는 단계를 포함하고, 상기 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함하는 앵커 프레임에 대해 결정되고, 상기 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정되는, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법.
조항 2: 조항 1 의 방법에 있어서, 상기 트리거 이벤트는: 상기 제 1 시간 이후 경과된 시간의 길이, 상기 제 1 시간 이후 상기 차량에 의해 이동된 거리, 또는 상기 제 1 시간 이후 성장한 불확실성 값, 또는 이들의 임의의 조합을 포함하는, 방법.
조항 3: 조항 1 또는 조항 2 의 방법에 있어서, 상기 차량의 결정된 위치를 나타내는 정보, 상기 레인 경계를 설명하는 파라미터 값들의 제 2 세트, 또는 양자 모두를 포함하는 출력 정보를 제공하는 단계를 더 포함하는, 방법.
조항 4: 조항 1 내지 조항 3 중 어느 것의 방법에 있어서, 상기 출력 정보를 제공하는 단계는 상기 출력 정보를 상기 차량의 ADAS(Advanced Driver-Assist System), 또는 상기 차량의 사용자 인터페이스, 또는 양자 모두에 제공하는 단계를 포함하는, 방법.
조항 5: 조항 1 내지 조항 4 중 어느 것의 방법에 있어서, 상기 도로의 상기 제 1 부분은 상기 도로의 상기 제 2 부분과 적어도 부분적으로 중첩되는, 방법.
조항 6: 조항 1 내지 조항 5 중 어느 것의 방법에 있어서, 상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는: 상기 레인 경계의 헤딩, 상기 레인 경계의 곡률, 상기 레인 경계의 오프셋, 또는 상기 레인 경계 상의 포인트, 또는 이들의 임의의 조합을 포함하는 파라미터들에 대한 값들을 포함하는, 방법.
조항 7: 조항 1 내지 조항 6 중 어느 것의 방법에 있어서, 상기 차량의 위치를 결정하는 단계는: 상기 도로를 따른 상기 차량의 이동을 나타내는 센서 정보를 획득하는 단계, 및 상기 센서 정보를 사용하여 상기 차량의 위치를 결정하는 단계를 포함하는, 방법.
조항 8: 조항 1 내지 조항 7 중 어느 것의 방법에 있어서, 상기 센서 정보는: 차량 상에 위치된 관성 측정 유닛(IMU) 센서, 차량 상에 위치된 휠 속도 센서, 무선 신호 측정들, 차량 상에 위치된 GNSS 센서, 또는 차량 상에 위치된 카메라 센서, 또는 이들의 임의의 조합으로부터의 이동 정보를 포함하는, 방법.
조항 9: 조항 1 내지 조항 8 중 어느 것의 방법에 있어서, 상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는 상기 앵커 프레임의 평면으로부터 상기 차량 상에 위치된 카메라의 이미지 평면 상으로의 상기 레인 경계의 투영이 상기 앵커 프레임의 평면으로부터 상기 이미지 평면 상으로의 상기 레인 경계의 투영과 중첩되도록 2차원으로 상기 레인 경계를 기술하는, 방법.
조항 10: 모바일 디바이스로서, 센서들; 메모리; 및 상기 센서들 및 상기 메모리와 통신가능하게 커플링된 하나 이상의 프로세싱 유닛들을 포함하고, 상기 하나 이상의 프로세싱 유닛들은: 제 1 시간에, 차량이 위치되는 도로의 제 1 부분을 따르는 레인 경계를 기술하는 제 1 세트의 파라미터 값들을 결정하고 - 상기 제 1 세트의 파라미터 값들은 제 1 레퍼런스 프레임에 대해 결정됨 -; 상기 제 1 시간에 후속하여, 상기 제 1 레퍼런스 프레임에 대한 상기 차량의 위치를 결정하고; 상기 차량의 위치를 결정한 것에 후속하여, 제 2 시간에, 상기 도로의 제 2 부분을 따르는 상기 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하도록 구성되며, 상기 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함하는 앵커 프레임에 대해 결정되고, 상기 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정되는, 모바일 디바이스.
조항 11: 조항 10 의 모바일 디바이스에 있어서, 상기 하나 이상의 프로세싱 유닛들은 상기 트리거 이벤트를 검출하도록 추가로 구성되고, 상기 트리거 이벤트는: 상기 제 1 시간 이후 경과된 시간의 길이, 상기 제 1 시간 이후 상기 차량에 의해 이동된 거리, 또는 상기 제 1 시간 이후 성장한 불확실성 값, 또는 이들의 임의의 조합을 포함하는, 모바일 디바이스.
조항 12: 조항 10 또는 조항 11 의 모바일 디바이스에 있어서, 상기 하나 이상의 프로세싱 유닛들은 출력 정보를 제공하도록 추가로 구성되고, 상기 출력 정보는 상기 차량의 결정된 위치, 상기 레인 경계를 기술하는 상기 파라미터 값들의 제 2 세트, 또는 양자 모두를 나타내는, 모바일 디바이스.
조항 13: 조항 10 내지 조항 12 중 어느 것의 모바일 디바이스에 있어서, 상기 하나 이상의 프로세싱 유닛들은 상기 출력 정보를: 상기 차량의 ADAS(Advanced Driver-Assist System), 또는 상기 차량의 사용자 인터페이스, 또는 양자 모두에 제공하도록 구성되는, 모바일 디바이스.
조항 14: 조항 10 내지 조항 13 중 어느 것의 모바일 디바이스에 있어서, 상기 도로의 상기 제 1 부분은 상기 도로의 상기 제 2 부분과 적어도 부분적으로 중첩되는, 모바일 디바이스.
조항 15: 조항 10 내지 조항 14 중 어느 것의 모바일 디바이스에 있어서, 상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는: 상기 레인 경계의 헤딩, 상기 레인 경계의 곡률, 상기 레인 경계의 오프셋, 또는 상기 레인 경계 상의 포인트, 또는 이들의 임의의 조합을 포함하는 파라미터들에 대한 값들을 포함하는, 모바일 디바이스.
조항 16: 조항 10 내지 조항 15 중 어느 것의 모바일 디바이스에 있어서, 상기 차량의 위치를 결정하기 위해, 상기 하나 이상의 프로세싱 유닛들은, 상기 센서들로부터 센서 정보를 획득하고 - 상기 센서 정보는 상기 도로를 따른 상기 차량의 이동을 나타냄 -, 상기 센서 정보를 사용하여 상기 차량의 위치를 결정하도록 구성되는, 모바일 디바이스.
조항 17: 조항 10 내지 조항 16 중 어느 것의 모바일 디바이스에 있어서, 상기 센서 정보를 획득하기 위해, 상기 하나 이상의 프로세싱 유닛들은 상기 센서들로부터 이동 정보를 획득하도록 구성되고, 상기 이동 정보는: 상기 차량에 위치된 관성 측정 유닛(IMU) 센서, 상기 차량에 위치된 휠 속도 센서, 무선 신호 측정치들, 상기 차량에 위치된 GNSS 센서, 또는 상기 차량에 위치된 카메라 센서, 또는 이들의 임의의 조합을 포함하는, 모바일 디바이스.
조항 18: 조항 10 내지 조항 17 중 어느 것의 모바일 디바이스에 있어서, 상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는 상기 앵커 프레임의 평면으로부터 상기 차량 상에 위치된 카메라의 이미지 평면 상으로의 상기 레인 경계의 투영이 상기 앵커 프레임의 평면으로부터 상기 이미지 평면 상으로의 상기 레인 경계의 투영과 중첩되도록 2차원으로 상기 레인 경계를 기술하는, 모바일 디바이스.
조항 19: 디바이스로서, 제 1 시간에, 차량이 위치되는 도로의 제 1 부분을 따른 레인 경계를 기술하는 제 1 세트의 파라미터 값들을 결정하기 위한 수단 - 상기 제 1 세트의 파라미터 값들은 제 1 레퍼런스 프레임에 대해 결정됨 -; 상기 제 1 시간에 후속하여, 상기 제 1 레퍼런스 프레임에 대한 상기 차량의 위치를 결정하기 위한 수단; 및 상기 차량의 위치를 결정한 이후의 제 2 시간에, 상기 도로의 제 2 부분을 따른 상기 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하기 위한 수단을 포함하고, 상기 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함하는 앵커 프레임에 대해 결정되고, 상기 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정되는, 디바이스.
조항 20: 조항 19 의 디바이스에 있어서, 상기 트리거 이벤트는: 상기 제 1 시간 이후 경과된 시간의 길이, 상기 제 1 시간 이후 상기 차량에 의해 이동된 거리, 또는 상기 제 1 시간 이후 성장한 불확실성 값, 또는 이들의 임의의 조합을 포함하는, 디바이스.
조항 21: 조항 19 또는 조항 20 의 디바이스에 있어서, 출력 정보를 제공하기 위한 수단을 더 포함하고, 상기 출력 정보는 상기 차량의 결정된 위치, 상기 레인 경계를 기술하는 상기 파라미터 값들의 제 2 세트, 또는 양자 모두를 나타내는, 디바이스.
조항 22: 조항 20 내지 조항 21 중 어느 것의 디바이스에 있어서, 상기 출력 정보를 제공하기 위한 수단은 상기 차량의 ADAS(Advanced Driver-Assist System), 또는 상기 차량의 사용자 인터페이스, 또는 양자 모두에 상기 출력 정보를 제공하기 위한 수단을 포함하는, 디바이스.
조항 23: 조항 20 내지 조항 22 중 어느 것의 디바이스에 있어서, 상기 도로의 상기 제 1 부분은 상기 도로의 상기 제 2 부분과 적어도 부분적으로 중첩되는, 디바이스.
조항 24: 조항 20 내지 조항 23 중 어느 것의 디바이스에 있어서, 상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는: 상기 레인 경계의 헤딩, 상기 레인 경계의 곡률, 상기 레인 경계의 오프셋, 또는 상기 레인 경계 상의 포인트, 또는 이들의 임의의 조합을 포함하는 파라미터들에 대한 값들을 포함하는, 디바이스.
조항 25: 조항 20 내지 조항 24 중 어느 것의 디바이스에 있어서, 상기 차량의 위치를 결정하기 위한 수단은: 상기 도로를 따른 상기 차량의 이동을 나타내는 센서 정보를 획득하기 위한 수단, 및 상기 센서 정보를 사용하여 상기 차량의 위치를 결정하기 위한 수단을 포함하는, 디바이스.
조항 26: 조항 20 내지 조항 25 중 어느 것의 디바이스에 있어서, 상기 센서 정보를 획득하기 위한 수단은: 상기 차량 상에 위치된 관성 측정 유닛(IMU) 센서, 상기 차량 상에 위치된 휠 속도 센서, 무선 신호 측정들, 상기 차량 상에 위치된 GNSS 센서, 또는 상기 차량 상에 위치된 카메라 센서, 또는 이들의 임의의 조합으로부터 이동 정보를 획득하기 위한 수단을 포함하는, 디바이스.
조항 27: 조항 20 내지 조항 26 중 어느 것의 디바이스에 있어서, 상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는 상기 앵커 프레임의 평면으로부터 상기 차량 상에 위치된 카메라의 이미지 평면 상으로의 상기 레인 경계의 투영이 상기 앵커 프레임의 평면으로부터 상기 이미지 평면 상으로의 상기 레인 경계의 투영과 중첩되도록 2차원으로 상기 레인 경계를 기술하는, 디바이스.
조항 28: 도로 상의 차량의 레인 맵핑 및 로컬라이제이션을 위한 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령들은: 제 1 시간에, 도로의 제 1 부분을 따른 레인 경계를 기술하는 제 1 세트의 파라미터 값들을 결정하는 것 - 상기 제 1 세트의 파라미터 값들은 제 1 레퍼런스 프레임에 대해 결정됨 -; 상기 제 1 시간에 후속하여, 상기 제 1 레퍼런스 프레임에 대한 상기 차량의 위치를 결정하는 것; 및 상기 차량의 상기 위치를 결정하는 것에 후속하여, 제 2 시간에, 상기 도로의 제 2 부분을 따른 상기 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하는 것을 위한 코드를 포함하고, 상기 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함하는 앵커 프레임에 대해 결정되고, 상기 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정되는, 비일시적 컴퓨터 판독가능 저장 매체.
조항 29: 조항 28 의 비일시적 컴퓨터 판독가능 매체에 있어서, 상기 명령들은 상기 트리거 이벤트를 검출하기 위한 코드를 더 포함하고, 상기 트리거 이벤트는: 상기 제 1 시간 이후 경과된 시간의 길이, 상기 제 1 시간 이후 상기 차량에 의해 이동된 거리, 또는 상기 제 1 시간 이후 성장한 불확실성 값, 또는 이들의 임의의 조합을 포함하는, 비일시적 컴퓨터 판독가능 매체.
조항 30: 조항 28 또는 조항 29 의 비일시적 컴퓨터 판독가능 매체에 있어서, 상기 명령들은 출력 정보를 제공하기 위한 코드를 더 포함하고, 상기 출력 정보는 상기 차량의 결정된 위치, 상기 레인 경계를 기술하는 상기 파라미터 값들의 제 2 세트, 또는 양자 모두를 나타내는, 비일시적 컴퓨터 판독가능 매체.

Claims (30)

  1. 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법으로서,
    제 1 시간에, 상기 도로의 제 1 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 1 세트를 결정하는 단계로서, 상기 파라미터 값들의 제 1 세트는 제 1 레퍼런스 프레임에 대해 결정되는, 상기 파라미터 값들의 제 1 세트를 결정하는 단계;
    상기 제 1 시간에 후속하여, 상기 제 1 레퍼런스 프레임에 대한 상기 차량의 위치를 결정하는 단계; 및
    상기 차량의 위치를 결정하는 것에 후속하여, 제 2 시간에, 상기 도로의 제 2 부분을 따른 상기 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하는 단계를 포함하며,
    상기 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함하는 앵커 프레임에 대해 결정되고, 그리고
    상기 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정되는, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법.
  2. 제 1 항에 있어서,
    상기 트리거 이벤트는:
    상기 제 1 시간 이후 경과된 시간 길이,
    상기 제 1 시간 이후 상기 차량이 주행한 거리, 또는
    상기 제 1 시간 이후 증가한 불확실성 값,
    또는 이들의 임의의 조합
    을 포함하는, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법.
  3. 제 1 항에 있어서,
    상기 차량의 결정된 위치를 나타내는 정보, 상기 레인 경계를 기술하는 상기 파라미터 값들의 제 2 세트, 또는 양자 모두를 포함하는 출력 정보를 제공하는 단계를 더 포함하는, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법.
  4. 제 3 항에 있어서,
    상기 출력 정보를 제공하는 단계는, 상기 출력 정보를:
    상기 차량의 첨단 운전자 보조 시스템 (Advanced Driver-Assist System; ADAS), 또는
    상기 차량의 사용자 인터페이스, 또는
    양자 모두
    에 제공하는 단계를 포함하는, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법.
  5. 제 1 항에 있어서,
    상기 도로의 상기 제 1 부분은 상기 도로의 상기 제 2 부분과 적어도 부분적으로 중첩되는, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법.
  6. 제 1 항에 있어서,
    상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는:
    상기 레인 경계의 헤딩,
    상기 레인 경계의 곡률,
    상기 레인 경계의 오프셋, 또는
    상기 레인 경계 상의 포인트, 또는
    이들의 임의의 조합
    을 포함하는 파라미터들에 대한 값들을 포함하는, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법.
  7. 제 1 항에 있어서,
    상기 차량의 위치를 결정하는 단계는,
    상기 도로를 따른 상기 차량의 이동을 나타내는 센서 정보를 획득하는 단계, 및
    상기 차량의 위치를 결정하기 위해 상기 센서 정보를 사용하는 단계를 포함하는, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법.
  8. 제 7 항에 있어서,
    상기 센서 정보는:
    상기 차량에 위치된 관성 측정 유닛 (IMU) 센서,
    상기 차량에 위치된 휠 속도 센서,
    무선 신호 측정들,
    상기 차량에 위치된 GNSS 센서, 또는
    상기 차량에 위치된 카메라 센서, 또는
    이들의 임의의 조합
    으로부터의 이동 정보를 포함하는, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법.
  9. 제 1 항에 있어서,
    상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는, 상기 앵커 프레임의 평면으로부터 상기 차량에 위치된 카메라의 이미지 평면 상으로의 상기 레인 경계의 투영이 상기 앵커 프레임의 평면으로부터 상기 이미지 평면 상으로의 상기 레인 경계의 투영과 중첩하도록, 상기 레인 경계를 2차원으로 기술하는, 도로 상의 차량의 레인 맵핑 및 로컬라이제이션 방법.
  10. 모바일 디바이스로서,
    센서들;
    메모리; 및
    상기 센서들 및 상기 메모리와 통신가능하게 커플링된 하나 이상의 프로세싱 유닛들을 포함하고,
    상기 하나 이상의 프로세싱 유닛들은:
    제 1 시간에, 차량이 위치되는 도로의 제 1 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 1 세트를 결정하는 것으로서, 상기 파라미터 값들의 제 1 세트는 제 1 레퍼런스 프레임에 대해 결정되는, 상기 파라미터 값들의 제 1 세트를 결정하는 것을 행하고;
    상기 제 1 시간에 후속하여, 상기 제 1 레퍼런스 프레임에 대한 상기 차량의 위치를 결정하며; 그리고
    상기 차량의 위치를 결정하는 것에 후속하여, 제 2 시간에, 상기 도로의 제 2 부분을 따른 상기 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하도록
    구성되고,
    상기 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함하는 앵커 프레임에 대해 결정되고, 그리고
    상기 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정되는, 모바일 디바이스.
  11. 제 10 항에 있어서,
    상기 하나 이상의 프로세싱 유닛들은 또한, 상기 트리거 이벤트를 검출하도록 구성되고, 상기 트리거 이벤트는:
    상기 제 1 시간 이후 경과된 시간 길이,
    상기 제 1 시간 이후 상기 차량이 주행한 거리, 또는
    상기 제 1 시간 이후 증가한 불확실성 값,
    또는 이들의 임의의 조합
    을 포함하는, 모바일 디바이스.
  12. 제 10 항에 있어서,
    상기 하나 이상의 프로세싱 유닛들은 또한, 출력 정보를 제공하도록 구성되고, 상기 출력 정보는 상기 차량의 결정된 위치, 상기 레인 경계를 기술하는 상기 파라미터 값들의 제 2 세트, 또는 양자 모두를 나타내는, 모바일 디바이스.
  13. 제 12 항에 있어서,
    상기 하나 이상의 프로세싱 유닛들은 상기 출력 정보를:
    상기 차량의 첨단 운전자 보조 시스템 (Advanced Driver-Assist System; ADAS), 또는
    상기 차량의 사용자 인터페이스, 또는
    양자 모두
    에 제공하도록 구성되는, 모바일 디바이스.
  14. 제 10 항에 있어서,
    상기 도로의 상기 제 1 부분은 상기 도로의 상기 제 2 부분과 적어도 부분적으로 중첩되는, 모바일 디바이스.
  15. 제 10 항에 있어서,
    상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는:
    상기 레인 경계의 헤딩,
    상기 레인 경계의 곡률,
    상기 레인 경계의 오프셋, 또는
    상기 레인 경계 상의 포인트, 또는
    이들의 임의의 조합
    을 포함하는 파라미터들에 대한 값들을 포함하는, 모바일 디바이스.
  16. 제 10 항에 있어서,
    상기 차량의 위치를 결정하기 위해, 상기 하나 이상의 프로세싱 유닛들은:
    상기 센서들로부터 센서 정보를 획득하는 것으로서, 상기 센서 정보는 상기 도로를 따른 상기 차량의 이동을 나타내는, 상기 센서 정보를 획득하는 것을 행하고, 그리고
    상기 차량의 위치를 결정하기 위해 상기 센서 정보를 사용하도록
    구성되는, 모바일 디바이스.
  17. 제 16 항에 있어서,
    상기 센서 정보를 획득하기 위해, 상기 하나 이상의 프로세싱 유닛들은 상기 센서들로부터 이동 정보를 획득하도록 구성되고, 상기 이동 정보는:
    상기 차량에 위치된 관성 측정 유닛 (IMU) 센서,
    상기 차량에 위치된 휠 속도 센서,
    무선 신호 측정들,
    상기 차량에 위치된 GNSS 센서, 또는
    상기 차량에 위치된 카메라 센서, 또는
    이들의 임의의 조합
    을 포함하는, 모바일 디바이스.
  18. 제 10 항에 있어서,
    상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는, 상기 앵커 프레임의 평면으로부터 상기 차량에 위치된 카메라의 이미지 평면 상으로의 상기 레인 경계의 투영이 상기 앵커 프레임의 평면으로부터 상기 이미지 평면 상으로의 상기 레인 경계의 투영과 중첩하도록, 상기 레인 경계를 2차원으로 기술하는, 모바일 디바이스.
  19. 디바이스로서,
    제 1 시간에, 차량이 위치되는 도로의 제 1 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 1 세트를 결정하기 위한 수단으로서, 상기 파라미터 값들의 제 1 세트는 제 1 레퍼런스 프레임에 대해 결정되는, 상기 파라미터 값들의 제 1 세트를 결정하기 위한 수단;
    상기 제 1 시간에 후속하여, 상기 제 1 레퍼런스 프레임에 대한 상기 차량의 위치를 결정하기 위한 수단; 및
    상기 차량의 위치를 결정하는 것에 후속하는 제 2 시간에, 상기 도로의 제 2 부분을 따른 상기 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하기 위한 수단을 포함하고,
    상기 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함하는 앵커 프레임에 대해 결정되고, 그리고
    상기 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정되는, 디바이스.
  20. 제 19 항에 있어서,
    상기 트리거 이벤트는:
    상기 제 1 시간 이후 경과된 시간 길이,
    상기 제 1 시간 이후 상기 차량이 주행한 거리, 또는
    상기 제 1 시간 이후 증가한 불확실성 값,
    또는 이들의 임의의 조합
    을 포함하는, 디바이스.
  21. 제 19 항에 있어서,
    출력 정보를 제공하기 위한 수단을 더 포함하고,
    상기 출력 정보는 상기 차량의 결정된 위치, 상기 레인 경계를 기술하는 상기 파라미터 값들의 제 2 세트, 또는 양자 모두를 나타내는, 디바이스.
  22. 제 21 항에 있어서,
    상기 출력 정보를 제공하기 위한 수단은 상기 출력 정보를:
    상기 차량의 첨단 운전자 보조 시스템 (Advanced Driver-Assist System; ADAS), 또는
    상기 차량의 사용자 인터페이스, 또는
    양자 모두
    에 제공하기 위한 수단을 포함하는, 디바이스.
  23. 제 19 항에 있어서,
    상기 도로의 상기 제 1 부분은 상기 도로의 상기 제 2 부분과 적어도 부분적으로 중첩되는, 디바이스.
  24. 제 19 항에 있어서,
    상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는:
    상기 레인 경계의 헤딩,
    상기 레인 경계의 곡률,
    상기 레인 경계의 오프셋, 또는
    상기 레인 경계 상의 포인트, 또는
    이들의 임의의 조합
    을 포함하는 파라미터들에 대한 값들을 포함하는, 디바이스.
  25. 제 19 항에 있어서,
    상기 차량의 위치를 결정하기 위한 수단은:
    상기 도로를 따른 상기 차량의 이동을 나타내는 센서 정보를 획득하기 위한 수단, 및
    상기 차량의 위치를 결정하기 위해 상기 센서 정보를 사용하기 위한 수단을 포함하는, 디바이스.
  26. 제 25 항에 있어서,
    상기 센서 정보를 획득하기 위한 수단은:
    상기 차량에 위치된 관성 측정 유닛 (IMU) 센서,
    상기 차량에 위치된 휠 속도 센서,
    무선 신호 측정들,
    상기 차량에 위치된 GNSS 센서, 또는
    상기 차량에 위치된 카메라 센서, 또는
    이들의 임의의 조합
    으로부터 이동 정보를 획득하기 위한 수단을 포함하는, 디바이스.
  27. 제 19 항에 있어서,
    상기 파라미터 값들의 제 1 세트 및 상기 파라미터 값들의 제 2 세트는, 상기 앵커 프레임의 평면으로부터 상기 차량에 위치된 카메라의 이미지 평면 상으로의 상기 레인 경계의 투영이 상기 앵커 프레임의 평면으로부터 상기 이미지 평면 상으로의 상기 레인 경계의 투영과 중첩하도록, 상기 레인 경계를 2차원으로 기술하는, 디바이스.
  28. 도로 상의 차량의 레인 맵핑 및 로컬라이제이션을 위한 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은:
    제 1 시간에, 상기 도로의 제 1 부분을 따른 레인 경계를 기술하는 파라미터 값들의 제 1 세트를 결정하는 것으로서, 상기 파라미터 값들의 제 1 세트는 제 1 레퍼런스 프레임에 대해 결정되는, 상기 파라미터 값들의 제 1 세트를 결정하는 것;
    상기 제 1 시간에 후속하여, 상기 제 1 레퍼런스 프레임에 대한 상기 차량의 위치를 결정하는 것; 및
    상기 차량의 위치를 결정하는 것에 후속하여, 제 2 시간에, 상기 도로의 제 2 부분을 따른 상기 레인 경계를 기술하는 파라미터 값들의 제 2 세트를 결정하는 것
    을 위한 코드를 포함하고,
    상기 파라미터 값들의 제 2 세트는 제 2 레퍼런스 프레임을 포함하는 앵커 프레임에 대해 결정되고, 그리고
    상기 파라미터 값들의 제 2 세트는 트리거 이벤트에 응답하여 결정되는, 비일시적 컴퓨터 판독가능 저장 매체.
  29. 제 28 항에 있어서,
    상기 명령들은 상기 트리거 이벤트를 검출하기 위한 코드를 더 포함하고,
    상기 트리거 이벤트는:
    상기 제 1 시간 이후 경과된 시간 길이,
    상기 제 1 시간 이후 상기 차량이 주행한 거리, 또는
    상기 제 1 시간 이후 증가한 불확실성 값,
    또는 이들의 임의의 조합
    을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  30. 제 28 항에 있어서,
    상기 명령들은 출력 정보를 제공하기 위한 코드를 더 포함하고, 상기 출력 정보는 상기 차량의 결정된 위치, 상기 레인 경계를 기술하는 상기 파라미터 값들의 제 2 세트, 또는 양자 모두를 나타내는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020237024006A 2021-01-21 2021-11-30 주기적으로 업데이트되는 앵커 프레임들을 사용한 레인맵핑 및 로컬라이제이션 KR20230131209A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/154,169 2021-01-21
US17/154,169 US11436843B2 (en) 2021-01-21 2021-01-21 Lane mapping and localization using periodically-updated anchor frames
PCT/US2021/072640 WO2022159254A1 (en) 2021-01-21 2021-11-30 Lane mapping and localization using periodically-updated anchor frames

Publications (1)

Publication Number Publication Date
KR20230131209A true KR20230131209A (ko) 2023-09-12

Family

ID=79164899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237024006A KR20230131209A (ko) 2021-01-21 2021-11-30 주기적으로 업데이트되는 앵커 프레임들을 사용한 레인맵핑 및 로컬라이제이션

Country Status (6)

Country Link
US (2) US11436843B2 (ko)
EP (1) EP4281730A1 (ko)
KR (1) KR20230131209A (ko)
CN (1) CN116710730A (ko)
TW (1) TW202229818A (ko)
WO (1) WO2022159254A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436843B2 (en) 2021-01-21 2022-09-06 Qualcomm Incorporated Lane mapping and localization using periodically-updated anchor frames

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120283912A1 (en) * 2011-05-05 2012-11-08 GM Global Technology Operations LLC System and method of steering override end detection for automated lane centering
US9475500B2 (en) * 2014-11-12 2016-10-25 GM Global Technology Operations LLC Use of participative sensing systems to enable enhanced road friction estimation
JP2018510373A (ja) 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
JP6261832B1 (ja) * 2017-01-10 2018-01-17 三菱電機株式会社 走行路認識装置及び走行路認識方法
US11631256B2 (en) * 2017-01-10 2023-04-18 Mitsubishi Electric Corporation Travel path recognition apparatus and travel path recognition method
JP2018169888A (ja) * 2017-03-30 2018-11-01 株式会社デンソー 道路パラメータ推定装置
US11093761B2 (en) * 2019-03-06 2021-08-17 GM Global Technology Operations LLC Lane position sensing and tracking in a vehicle
CN113874683A (zh) 2019-05-28 2021-12-31 御眼视觉技术有限公司 用于车辆导航的系统和方法
US11436843B2 (en) 2021-01-21 2022-09-06 Qualcomm Incorporated Lane mapping and localization using periodically-updated anchor frames

Also Published As

Publication number Publication date
US11436843B2 (en) 2022-09-06
US20220366705A1 (en) 2022-11-17
WO2022159254A1 (en) 2022-07-28
CN116710730A (zh) 2023-09-05
TW202229818A (zh) 2022-08-01
US11651598B2 (en) 2023-05-16
EP4281730A1 (en) 2023-11-29
US20220230019A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
US11487020B2 (en) Satellite signal calibration system
US10788830B2 (en) Systems and methods for determining a vehicle position
US10495762B2 (en) Non-line-of-sight (NLoS) satellite detection at a vehicle using a camera
US11227168B2 (en) Robust lane association by projecting 2-D image into 3-D world using map information
US20210248768A1 (en) Generation of Structured Map Data from Vehicle Sensors and Camera Arrays
KR20200044420A (ko) 위치 추정 방법 및 장치
CN110945320B (zh) 车辆定位方法和系统
WO2020146283A1 (en) Vehicle pose estimation and pose error correction
WO2020189079A1 (ja) 自己位置推定装置、それを備えた自動運転システム、および、自己生成地図共有装置
US11555705B2 (en) Localization using dynamic landmarks
JP6342104B1 (ja) 車両位置推定装置
KR20190115982A (ko) 지도 데이터를 생성하는 전자 장치 및 그 동작 방법
CN107764273B (zh) 一种车辆导航定位方法及系统
US11651598B2 (en) Lane mapping and localization using periodically-updated anchor frames
EP3339808B1 (en) Positioning objects in an augmented reality display
WO2024039944A2 (en) Cellular radio frequency (rf) sensing in automobile navigation
KR101964059B1 (ko) 실내 주차장 안내 시스템을 위한 바퀴 속력 센서 기반 차량 측위 시스템
US11636693B2 (en) Robust lane-boundary association for road map generation
RU2772620C1 (ru) Создание структурированных картографических данных с помощью датчиков транспортного средства и массивов камер
CN116788275A (zh) 确定道路信息的方法和装置
Janssen et al. Bootstrapping Computer vision and sensor fusion for absolute and relative vehicle positioning