KR101514935B1 - 다른 차량들과의 안전 거리 유지를 통한 도로 상에서의 안전한 내비게이팅 - Google Patents

다른 차량들과의 안전 거리 유지를 통한 도로 상에서의 안전한 내비게이팅 Download PDF

Info

Publication number
KR101514935B1
KR101514935B1 KR1020147029955A KR20147029955A KR101514935B1 KR 101514935 B1 KR101514935 B1 KR 101514935B1 KR 1020147029955 A KR1020147029955 A KR 1020147029955A KR 20147029955 A KR20147029955 A KR 20147029955A KR 101514935 B1 KR101514935 B1 KR 101514935B1
Authority
KR
South Korea
Prior art keywords
vehicle
lane
distance
lane information
sensor
Prior art date
Application number
KR1020147029955A
Other languages
English (en)
Other versions
KR20140131601A (ko
Inventor
데이비드 아이. 퍼거슨
드미트리 돌고브
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20140131601A publication Critical patent/KR20140131601A/ko
Application granted granted Critical
Publication of KR101514935B1 publication Critical patent/KR101514935B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0289Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling with means for avoiding collisions between vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/801Lateral distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00Output or target parameters relating to objects
    • B60W2754/10Spatial relation or speed relative to objects
    • B60W2754/30Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Controls For Constant Speed Travelling (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

일부 차량들은 차량이 운전자로부터의 입력이 거의 또는 전혀 없는 환경을 통해 내비게이팅하는 자율 모드에서 동작하도록 구성된다. 그러한 차량은 통상적으로 환경에 대한 정보를 감지하도록 구성되는 하나 이상의 센서를 포함한다. 차량은 감지된 정보를 이용하여 환경을 통해 내비게이팅할 수 있다. 예를 들어, 센서들이 차량이 장애물에 접근하고 있는 것을 감지하는 경우, 차량은 장애물을 우회하여 내비게이팅할 수 있다.

Description

다른 차량들과의 안전 거리 유지를 통한 도로 상에서의 안전한 내비게이팅{SAFELY NAVIGATING ON ROADS THROUGH MAINTAINING SAFE DISTANCE FROM OTHER VEHICLES}
일부 차량들은 차량이 운전자로부터의 입력이 거의 또는 전혀 없는 환경을 통해 내비게이팅하는 자율 모드에서 동작하도록 구성된다. 그러한 차량은 통상적으로 환경에 대한 정보를 감지하도록 구성되는 하나 이상의 센서를 포함한다. 차량은 감지된 정보를 이용하여 환경을 통해 내비게이팅할 수 있다. 예를 들어, 센서들이 차량이 장애물에 접근하고 있는 것을 감지하는 경우, 차량은 장애물을 우회하여 내비게이팅할 수 있다.
발명의 요약
일 양태에서, 컴퓨터 시스템에 의해, 차량이 주행하고 있는 도로의 차선의 추정 위치를 제공하는 차선 정보를 획득하는 단계를 포함하는 예시적인 방법이 개시되며, 상기 컴퓨터 시스템은 상기 차량을 자율 모드에서 제어하도록 구성된다. 예시적인 방법은 상기 컴퓨터 시스템에 의해, 상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정하는 단계를 더 포함하며, 상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정한 것에 응답하여, 상기 컴퓨터 시스템은 적어도 하나의 센서를 이용하여 적어도 하나의 이웃 차량을 모니터링하고, 상기 차량을 제어하여, 상기 차량과 상기 적어도 하나의 이웃 차량 사이의 거리를 적어도 사전 결정된 최소 거리로 유지한다.
다른 양태에서, 컴퓨팅 장치로 하여금 전술한 예시적인 방법을 수행하게 하기 위해 상기 컴퓨팅 장치에 의해 실행될 수 있는 명령어들을 저장한 비일시적 컴퓨터 판독 가능 매체가 개시된다.
또 다른 양태에서, 적어도 하나의 센서, 적어도 하나의 프로세서, 및 사전 결정된 최소 거리 및 명령어들을 포함하는 데이터 저장소를 포함하는 예시적인 차량이 개시된다. 상기 명령어들은 상기 차량이 주행하고 있는 도로의 차선의 추정 위치를 제공하는 차선 정보를 획득하고, 상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정하고, 상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정한 것에 응답하여, 상기 적어도 하나의 센서를 이용하여 적어도 하나의 이웃 차량을 모니터링하고, 상기 차량을 제어하여 상기 차량과 상기 적어도 하나의 이웃 차량 사이의 거리를 적어도 사전 결정된 최소 거리로 유지하기 위해, 상기 적어도 하나의 프로세서에 의해 실행될 수 있다.
이들은 물론, 다른 양태들, 장점들 및 대안들이 적절한 경우에 첨부 도면들을 참조하여 아래의 상세한 설명을 읽음으로써 이 분야의 통상의 기술자들에게 명백해질 것이다.
도 1은 일 실시예에 따른 예시적인 방법을 나타내는 흐름도이다.
도 2는 일 실시예에 따른 예시적인 방법의 예시적인 구현을 나타낸다.
도 3은 일 실시예에 따른 예시적인 방법의 예시적인 구현을 나타낸다.
도 4a-c는 일 실시예에 따른 예시적인 방법의 예시적인 구현을 나타낸다.
도 5a-b는 일 실시예에 따른 예시적인 방법의 예시적인 구현을 나타낸다.
도 6은 일 실시예에 따른 예시적인 차량을 나타낸다.
도 7은 일 실시예에 따른 예시적인 차량의 간략화된 블록도이다.
도 8은 일 실시예에 따른 예시적인 컴퓨터 프로그램 제품의 간략화된 블록도이다.
아래의 상세한 설명은 개시되는 시스템들 및 방법들의 다양한 특징들 및 기능들을 첨부 도면들을 참조하여 설명한다. 도면들에서, 문맥이 달리 지시하지 않는 한, 유사한 부호들은 통상적으로 유사한 컴포넌트들을 식별한다. 본 명세서에서 설명되는 예시적인 시스템 및 방법 실시예들은 한정을 의도하지 않는다. 개시되는 시스템들 및 방법들의 소정 양태들은 다양한 상이한 구성들로 배열되고 결합될 수 있다는 것을 쉽게 이해할 것이며, 이들 모두는 본 명세서에서 고려된다.
차량은 차량을 자율 모드에서 제어하도록 구성되는 컴퓨터 시스템을 포함할 수 있다. 이 때문에, 컴퓨터 시스템은 차량이 주행하고 있는 도로의 차선의 추정 위치를 제공하는 차선 정보를 획득하도록 구성될 수 있다. 차선 정보는 예를 들어 도로 상의 차선 마킹들, 차량의 지리 위치 및/또는 도로의 사전 결정된 지도에 기초할 수 있다. 다른 타입의 차선 정보도 가능하다.
소정 시점에서, 차량은 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정할 수 있다. 예를 들어, 차량은 도로 상의 차선 마킹들을 더 이상 검출하지 못할 수 있고, 차량은 도로 상의 모순된 차선 마킹들을 검출할 수 있고, 차량은 차량의 지리 위치를 더 이상 결정하지 못할 수 있고/있거나, 차량은 도로의 사전 결정된 지도에 액세스하지 못할 수 있다. 다른 예들도 가능하다.
차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정한 것에 응답하여, 컴퓨터 시스템은 적어도 하나의 센서를 이용하여 적어도 하나의 이웃 차량, 예를 들어 이웃 차선 내의 이웃 차량 또는 차량 뒤의 이웃 차량을 모니터링할 수 있다. 이어서, 컴퓨터 시스템은 차량을 제어하여 차량과 적어도 하나의 이웃 차량 간의 거리를 적어도 사전 결정된 최소 거리로 유지할 수 있다.
이러한 방식으로, 차량이 차선 정보에 의존하여 도로 상의 차선의 위치를 추정할 수 없는 경우에도, 차량은 적어도 하나의 이웃 차량과의 충돌을 피할 수 있다.
도 1은 일 실시예에 따른 예시적인 방법(100)을 나타내는 흐름도이다.
도 1에 도시된 방법(100)은 예를 들어 본 명세서에서 설명되는 차량들과 관련하여 사용될 수 있는 방법의 일 실시예를 제공한다. 방법(100)은 블록들(102-106) 중 하나 이상에 의해 설명되는 바와 같은 하나 이상의 동작, 기능 또는 액션을 포함할 수 있다. 블록들이 순차적인 순서로 도시되지만, 이러한 블록들은 병렬로 그리고/또는 본 명세서에서 설명되는 것들과 다른 순서로 수행될 수도 있다. 또한, 다양한 블록들은 원하는 구현에 기초하여 더 적은 블록으로 결합되고, 추가 블록들로 분할되고/되거나 제거될 수 있다.
게다가, 방법(100) 및 본 명세서에서 설명되는 다른 프로세스들 및 방법들에 대해, 흐름도는 본 실시예들의 하나의 가능한 구현의 기능 및 동작을 나타낸다. 이와 관련하여, 각각의 블록은 프로세스 내의 특정 논리 기능들 또는 단계들을 구현하기 위해 프로세서에 의해 실행될 수 있는 하나 이상의 명령어를 포함하는 모듈, 세그먼트, 또는 프로그램 코드의 일부를 나타낼 수 있다. 프로그램 코드는 예를 들어 디스크 또는 하드 드라이브를 포함하는 저장 장치와 같은 임의 타입의 컴퓨터 판독 가능 매체에 저장될 수 있다. 컴퓨터 판독 가능 매체는 예를 들어 레지스터 메모리, 프로세서 캐시 및 랜덤 액세스 메모리(RAM)와 같이 짧은 기간 동안 데이터를 저장하는 컴퓨터 판독 가능 매체와 같은 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 예를 들어 판독 전용 메모리(ROM), 광 또는 자기 디스크 및 컴팩트 디스크 판독 전용 메모리(CD-ROM)와 같은 보조 또는 영구 장기 저장소와 같은 비일시적 매체도 포함할 수 있다. 컴퓨터 판독 가능 매체는 임의의 다른 휘발성 또는 비휘발성 저장 시스템들일 수도 있다. 컴퓨터 판독 가능 매체는 예를 들어 컴퓨터 판독 가능 저장 매체, 유형의 저장 장치 또는 다른 제조물로서 간주될 수 있다.
게다가, 방법(100) 및 본 명세서에서 설명되는 다른 프로세스들 및 방법들에 대해, 각각의 블록은 프로세스 내의 특정 논리 기능들을 수행하도록 구성되는 회로를 나타낼 수 있다.
방법(100)은 블록 102에서 시작하며, 여기서 차량을 자율 모드에서 제어하도록 구성되는 컴퓨터 시스템이 차량이 주행하고 있는 도로의 차선의 추정 위치를 제공하는 차선 정보를 획득한다. 차선 정보는 다수의 형태를 취할 수 있다.
일부 실시예들에서, 차선 정보는 도로 상의 차선 마킹들을 포함할 수 있으며, 컴퓨터 시스템은 하나 이상의 센서를 이용하여 차선 마킹들을 감지할 수 있다. 예를 들어, 컴퓨터 시스템은 이미지 캡처 장치를 이용하여 도로의 이미지들을 캡처할 수 있으며, 차선 마킹들의 사전결정된 컬러, 형상 및/또는 휘도와 유사한 사전 결정된 컬러들, 형상들 및/또는 휘도들에 대해 이미지들을 분석함으로써 차선 마킹들을 검출할 수 있다. 다른 예로서, 컴퓨터 시스템은 레이저를 도로 상에 투영할 수 있으며, 차선 마킹들로부터의 반사의 사전결정된 강도와 유사한 강도에 대해 도로로부터의 반사들을 분석함으로써 차선 마킹들을 검출할 수 있다. 다른 예들도 가능하다. 어느 경우에나, 컴퓨터 시스템이 차선 마킹들을 감지하면, 컴퓨터 시스템은 감지된 차선 마킹들에 기초하여 차선의 위치를 추정할 수 있다.
다른 실시예들에서, 차선 정보는 차량의 지리 위치 및 도로의 사전결정된 지도를 포함할 수 있다. 컴퓨터 시스템은 예를 들어 차량의 지리 위치에 대해 위치 서버를 조회함으로써 차량의 지리 위치를 결정할 수 있다. 대안으로서, 사전결정된 지도가 차량 근처의 적어도 2개의 물체의 지리 위치를 지시하는 경우, 컴퓨터 시스템은 예를 들어 레이저 거리 측정기(laser rangefinder) 또는 LIDAR(light detection and ranging) 유닛을 이용하여 차량으로부터 차량 근처의 적어도 2개의 물체까지의 거리를 추정하고, 삼각측량법을 이용하여 차량의 지리 위치를 결정함으로써 차량의 지리 위치를 결정할 수 있다. 다른 예들도 가능하다. 어느 경우에나, 컴퓨터 시스템은 사전결정된 지도 상의 차량의 지리 위치를 찾아서 차량의 지리 위치에 대한 차선의 위치를 결정할 수 있다.
또 다른 실시예들에서, 차선 정보는 차선에서 차량의 정면에 있는 선행 차량(leading vehicle)을 포함할 수 있다. 컴퓨터 시스템은 예를 들어 레이저 거리 측정기 및/또는 LIDAR 유닛을 이용하여 선행 차량의 경로를 추정할 수 있다. 다른 예들도 가능하다. 컴퓨터 시스템이 선행 차량의 경로를 추정하면, 컴퓨터 시스템은 추정 경로에 기초하여 차선의 위치를 추정할 수 있다. 예를 들어, 컴퓨터 시스템은 추정된 경로를 포함하는(예를 들어, 추정된 경로의 어느 한쪽에서 사전결정된 차선 폭의 절반만큼 확장되는) 차선의 위치를 추정할 수 있다. 다른 예들도 가능하다.
차선 정보는 다른 형태들도 취할 수 있다.
블록 104에서, 컴퓨터 시스템은 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정할 수 있다. 예를 들어, 차선 정보가 차선 마킹들을 포함하는 실시예들에서, 컴퓨터 시스템은 차선 마킹이 존재하지 않거나 (예를 들어, 차선 마킹들이 공사로 인해 마모되거나 제거됨에 따라) 감지하기 어려울 때 그리고/또는 (예를 들어, 차선 마킹들이 공사로 인해 다시 페인팅됨에 따라) 모순된 차선 마킹들이 존재할 때 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정할 수 있다. 다른 예로서, 차선 정보가 차량의 지리 위치를 포함하는 실시예들에서, 컴퓨터 시스템이 위치 서버와 통신할 수 없을 때 컴퓨터 시스템은 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정할 수 있다. 또 다른 예로서, 차선 정보가 도로의 사전결정된 지도를 포함하는 실시예들에서, 컴퓨터 시스템은 이용 가능한 도로 지도가 없을 때 또는 도로의 불완전한 지도만이 이용가능할 때 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정할 수 있다. 또 다른 예로서, 차선 정보가 선행 차량을 포함하는 실시예들에서, 컴퓨터 시스템은 선행 차량이 너무 멀리 떨어지거나 (예를 들어, 선행 차량이 차선을 변경하거나 바른 길에서 벗어나는 것 등으로 인해) 추정 불가능한 경로를 가질 때 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정할 수 있다. 다른 예들도 가능하다.
일부 실시예들에서, 컴퓨터 시스템은 차선 정보에 대한 사전 결정된 임계치를 유지할 수 있으며, 컴퓨터 시스템은 차선 정보의 신뢰도(예를 들어, 컴퓨터 시스템이 차선 정보가 신뢰할 수 있다는 것을 신뢰하는 정도)가 사전결정된 임계치 아래인 것을 검출할 때 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정할 수 있다. 일부 실시예들에서, 컴퓨터 시스템은 차선 정보에 대한 사전결정된 기간을 더 유지할 수 있으며, 컴퓨터 시스템이 차선 정보의 신뢰도가 적어도 사전결정된 기간 동안 사전결정된 임계치 아래인 것을 검출할 때 컴퓨터 시스템은 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정할 수 있다.
블록 106에서, 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정한 것에 응답하여, 컴퓨터 시스템은 적어도 하나의 센서를 이용하여 적어도 하나의 이웃 차량을 모니터링할 수 있다. 적어도 하나의 이웃 차량은 예를 들어 차량이 주행하고 있는 차선에 인접하는 차선 내의 이웃 차량을 포함할 수 있다. 다른 예로서, 적어도 하나의 이웃 차량은 차량이 주행하고 있는 차선 내의 차량 뒤의 이웃 차량을 포함할 수 있다. 또 다른 예로서, 적어도 하나의 이웃 차량은 제1 이웃 차량 및 제2 이웃 차량을 포함할 수 있으며, 이들 각각은 차량이 주행하고 있는 차선에 인접하는 차선 내에 있거나, 차량이 주행하고 있는 차선 내의 차량 뒤에 위치할 수 있다. 다른 예들도 가능하다.
블록 106에서, 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정하는 것에 더 응답하여, 컴퓨터 시스템은 차량을 제어하여 차량과 적어도 하나의 이웃 차량 간의 거리를 적어도 사전결정된 거리로 유지할 수 있다. 사전결정된 거리는 예를 들어 안전 거리 및/또는 사전결정된 차선 폭과 차량의 폭 사이의 차이와 대략 동일한 거리인 것으로 결정된 거리일 수 있다. 다른 사전결정된 거리들도 가능하다.
차량과 적어도 하나의 이웃 차량 간의 거리를 적어도 사전결정된 거리로 유지하기 위하여, 컴퓨터 시스템은 차량 상의 적어도 하나의 센서를 계속 또는 주기적으로 사용하여 차량과 적어도 하나의 이웃 차량 간의 거리를 모니터링할 수 있다. 컴퓨터 시스템은 예를 들어 레이저 거리 측정기 및/또는 LIDAR 유닛을 이용하여 차량과 적어도 하나의 이웃 차량 간의 거리를 모니터링할 수 있다. 차량과 적어도 하나의 이웃 차량 간의 거리가 사전결정된 거리보다 작아지는 경우, 컴퓨터 시스템은 차량을 적어도 하나의 이웃 차량으로부터 멀어지게 하여 차량과 적어도 하나의 이웃 차량 간의 거리를 적어도 사전결정된 거리로 유지할 수 있다.
일부 실시예들에서, 차량과 적어도 하나의 이웃 차량 간의 거리를 적어도 사전결정된 거리로 유지하는 것에 더하여, 컴퓨터 시스템은 추가로 차량과 적어도 하나의 이웃 차량 간의 거리를 사전결정된 거리의 사전결정된 범위 내로 유지할 수 있다. 이러한 실시예들에서, 차량과 적어도 하나의 이웃 차량 간의 거리가 너무 커지는 경우(예를 들어, 더 이상 사전결정된 거리의 사전 결정된 범위 내에 있지 않은 경우), 컴퓨터 시스템은 차량을 적어도 하나의 이웃 차량에 더 가깝게 이동시킬 수 있다. 이것은, 예를 들어, 차량이 이웃 차량으로부터 너무 멀리 드리프트하여, 차량이 이웃 차량으로부터 차량의 맞은편의 차선 내로 드리프트하는 것을 방지할 수 있다.
전술한 바와 같이, 일부 실시예들에서, 적어도 하나의 차량은 제1 이웃 차량 및 제2 이웃 차량을 포함할 수 있다. 이러한 실시예들에서, 차량과 적어도 하나의 이웃 차량 간의 거리를 유지하는 것은 (예를 들어, 차량이 계속 제1 이웃 차량과 제2 이웃 차량 사이의 대략 중간에 있도록) 차량과 제1 이웃 차량 간의 제1 거리 및 차량과 제2 이웃 차량 간의 제2 거리 양자를 최대화하는 것을 포함할 수 있다. 제1 거리 및 제2 거리 각각은 적어도 사전결정된 거리일 수 있다.
일부 실시예들에서, 차량과 적어도 하나의 이웃 차량 간의 거리를 적어도 사전결정된 거리로 유지하는 것에 더하여, 컴퓨터 시스템은 차선의 갱신된 추정 위치를 결정할 수 있다. 이 때문에, 컴퓨터 시스템은 적어도 하나의 센서를 이용하여 적어도 하나의 이웃 차량에 대한 제1 거리 및 적어도 하나의 차량에 대한 제2 거리를 적어도 모니터링할 수 있다. 제1 거리 및 제2 거리에 기초하여, 컴퓨터 시스템은 적어도 하나의 이웃 차량의 (예를 들어, 차량에 대한) 제1 상대 위치 및 제2 상대 위치를 결정할 수 있다. 제1 상대 위치 및 제2 상대 위치에 기초하여, 컴퓨터 시스템은 적어도 하나의 이웃 차량에 대한 경로를 추정할 수 있다. 이어서 컴퓨터 시스템은 추정된 경로를 이용하여 차선의 갱신된 추정 위치를 결정할 수 있다. 예를 들어, 차량이 주행하고 있는 차선에 인접하는 차선에서 적어도 하나의 이웃 차량이 주행하고 있는 실시예들에서, 컴퓨터 시스템은 차선의 추정 위치를 추정 경로와 실질적으로 평행하도록 결정할 수 있다(예를 들어, 차선은 추정 경로로부터 예를 들어 사전결정된 차선 폭만큼 시프트되는 경로 상에 중심을 둘 수 있으며, 경로의 어느 한쪽으로 사전결정된 차선 폭의 절반만큼 확장될 수 있다). 다른 예로서, 차량이 주행하고 있는 차선 내의 차량 뒤에서 적어도 하나의 이웃 차량이 주행하고 있는 실시예들에서, 컴퓨터 시스템은 차선의 추정 위치를 추정 경로의 (예를 들어, 일정한 곡률을 갖는) 추론인 것으로 결정할 수 있다. 다른 예들도 가능하다.
일부 실시예들에서, 컴퓨터 시스템은 추가로 속도 센서를 이용하여 적어도 하나의 이웃 차량의 속도를 모니터링할 수 있으며, 차량의 속도를 적어도 하나의 이웃 차량의 속도보다 느리도록 변경할 수 있다. 이것은 차량이 적어도 하나의 이웃 차량에 의해 추월되게 할 수 있다. 적어도 하나의 이웃 차량이 차량을 추월하면, 적어도 하나의 이웃 차량은 차량이 주행하고 있는 차선에 인접하는 차선 내의 선행 차량 또는 차량이 주행하고 있는 차선 내의 차량의 앞에 있는 선행 차량이 될 수 있으며, 컴퓨터 시스템은 전술한 바와 같이 선행 차량의 추정 경로에 기초하여 도로의 차선의 위치를 추정할 수 있다.
일부 실시예들에서, 컴퓨터 시스템은 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정한 것에 응답하여서만 적어도 하나의 이웃 차량의 모니터링을 개시할 수 있다. 이러한 실시예들에서, 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정하기 전에, 컴퓨터 시스템은 차선 정보에만 의존하여 차선의 위치를 추정할 수 있다. 그러나, 다른 실시예들에서, 컴퓨터 시스템은 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정하기 전에도 적어도 하나의 이웃 차량을 모니터링할 수 있다. 이러한 실시예들에서, 컴퓨터 시스템은 추가로 적어도 하나의 이웃 차량에 대한 거리를 이용하여, 차량이 주행하고 있는 차선의 위치를 추정할 수 있다. 예를 들어, 차량이 주행하고 있는 차선에 인접하는 차선에서 적어도 하나의 이웃 차량이 주행하고 있는 경우, 컴퓨터 시스템은 차선이 적어도 하나의 이웃 차량까지 확장되지 않는 것으로 결정할 수 있다. 다른 예로서, 차량이 주행하고 있는 차선 내의 차량 뒤에서 적어도 하나의 이웃 차량이 주행하고 있는 경우, 컴퓨터 시스템은 차선이 적어도 하나의 이웃 차량을 포함하는 것으로 결정할 수 있다. 다른 예들도 가능하다. 대안으로서, 이러한 실시예들에서, 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정하기 전에, 컴퓨터 시스템은 적어도 하나의 이웃 차량에 대한 거리만을 이용하여 적어도 하나의 이웃 차량과의 충돌을 방지할 수 있다.
또한, 일부 실시예들에서, 차량이 적어도 하나의 이웃 차량의 모니터링을 개시하면, 컴퓨터 시스템은 차량이 주행하고 있는 차선의 위치를 추정하기 위해 차선 정보를 이용하는 것을 중지할 수 있다. 이러한 실시예들에서, 컴퓨터 시스템은 차선 정보가 이용할 수 있게 되거나 신뢰할 수 있게 될 때까지 적어도 하나의 이웃 차량에 대한 거리에만 의존하여 적어도 하나의 이웃 차량과의 충돌을 방지할 수 있다. 예를 들어, 컴퓨터 시스템은 갱신된 차선 정보를 획득하기 위해 주기적으로 시도할 수 있다. 컴퓨터 시스템이 차선 정보가 이용할 수 있게 되거나 신뢰할 수 있게 된 것으로 결정하면, 컴퓨터 시스템은 차선의 갱신된 추정 위치에 다시 한 번 의존하고, 적어도 하나의 이웃 차량에 대한 거리에 더 적게 의존할 수 있다(또는 의존하지 않을 수 있다). 컴퓨터 시스템은 예를 들어 컴퓨터 시스템이 갱신된 차선 정보의 신뢰도가 사전 결정된 임계치보다 큰 것으로 결정할 때 갱신된 차선 정보가 신뢰할 수 있는 것으로 결정할 수 있다. 사전결정된 임계치는 전술한 사전결정된 임계치와 동일하거나 다를 수 있다.
그러나, 다른 실시예들에서(예를 들어, 차선 정보가 이용할 수 있지만 신뢰할 수 없는 실시예들에서), 차량이 적어도 하나의 이웃 차량의 모니터링을 개시하면, 컴퓨터 시스템은 차량이 주행하고 있는 차선의 위치를 추정하기 위해 차선 정보를 계속 이용할 수 있지만, 적어도 하나의 이웃 차량과의 충돌을 피하기 위해 차선의 추정 위치에는 더 적게 의존하고 적어도 하나의 이웃 차량에 대한 거리에는 더 많이 의존할 수 있다. 전술한 실시예들에서와 같이, 컴퓨터 시스템은 갱신된 차선 정보를 획득하기 위해 주기적으로 시도할 수 있다. 컴퓨터 시스템이 차선 정보가 이용할 수 있게 되거나 신뢰할 수 있게 되는 것으로 결정하면, 컴퓨터 시스템은 다시 한 번 차선의 갱신된 추정 위치에 더 많이(또는 갱신된 추정 위치만) 그리고 적어도 하나의 이웃 차량에 대한 거리에는 더 적게 의존할 수 있다(또는 전혀 의존하지 않을 수 있다).
설명의 목적을 위해, 아래에서는 도 2-5b와 관련하여 방법(100)의 다수의 예시적인 구현이 설명된다. 그러나, 예시적인 구현들은 예시적일 뿐, 한정을 의도하지 않는다는 것을 이해해야 한다. 다른 예시적인 구현들도 가능하다.
도 2는 일 실시예에 따른 예시적인 방법의 예시적인 구현을 나타낸다. 도 2에 도시된 바와 같이, 차량(202)이 도로 상의 차선(200) 내에서 주행하고 있다. 차량(202)은 차량을 자율 모드에서 제어하도록 구성되는 컴퓨터 시스템(도시되지 않음)을 포함한다. 이 때문에, 차량(202)은 차선 마킹들과 같은 차선 정보를 이용하여 도로 상의 차선(200)의 위치를 추정할 수 있다.
도시된 바와 같이, 차량(202)은 센서(204)를 포함한다. 센서(204)는 예를 들어 이미지 캡처 장치, 레이저 거리 측정기 및/또는 LIDAR 유닛을 포함할 수 있다. 다른 센서들도 가능하다. 차량(202)은 센서(204)를 이용하여 차선(200)에 대한 차선 정보를 획득할 수 있다. 예를 들어, 전술한 바와 같이, 차량(202)은 센서(204)를 이용하여 도로 상의 차선 마킹들을 감지할 수 있다.
소정 시점에서, 차선 정보는 신뢰할 수 없게 될 수 있다. 예를 들어, 도시된 바와 같이, 차선 마킹들(206A, 206B)은 모순된다. 이것은 예를 들어 차선(200)의 위치의 변경을 유발한 공사의 결과일 수 있다. 모순된 차선 마킹들(206A, 206B)로 인해, 차량(202)은 차선 정보에 대한 신뢰가 낮아질 수 있으며, 따라서 차선 정보가 신뢰할 수 없게 된 것으로 결정할 수 있다.
차선 정보가 신뢰할 수 없게 된 것으로 결정한 것에 응답하여, 차량(202)은 센서(204)(또는 일부 실시예들에서는 다른 센서(도시되지 않음))를 이용하여, 그늘진 삼각형(210)에 의해 표시된 바와 같이, 인접 차선(214)에서 주행하고 있는 이웃 차량(208)을 모니터링할 수 있다. 구체적으로, 차량(202)은 차량(202)과 이웃 차량(208) 간의 거리(212)를 모니터링하여, 거리(212)를 적어도 사전결정된 거리로 유지할 수 있다. 이 때문에, 거리(212)가 사전결정된 거리 아래로 작아질 때, 차량(202)은 거리(212)가 다시 한 번 사전결정된 거리보다 커질 때까지 이웃 차량(208)으로부터 멀어질 수 있다.
차량(202)이 거리(212)를 모니터링하는 동안, 차량(202)은 갱신된 차선 정보를 주기적으로 수신할 수 있다. 소정 시점에서, 차량(202)은 갱신된 차선 정보가 신뢰할 수 있는 것으로 결정할 수 있다. 예를 들어, 도로 전방에서 차선 마킹들(206A, 206B)이 합쳐질 수 있으며, 따라서 차선 마킹들은 더 이상 모순되지 않는다. 다른 예들도 가능하다. 차량(202)이 갱신된 차선 정보가 신뢰할 수 있는 것으로 결정하면, 차량(202)은 갱신된 정보를 이용하여 차선(200)의 갱신된 위치를 추정할 수 있다. 게다가, 차량(202)이 갱신된 차선 정보가 신뢰할 수 있는 것으로 결정하면, 차량(202)은 전술한 바와 같이 차량(202)과 이웃 차량(208) 간의 거리(212)를 계속 모니터링하거나 하지 않을 수 있다.
도 2와 관련하여 전술한 예시적인 구현에서는 차량이 단지 하나의 이웃 차량에 대한 거리를 모니터링한 반면, 다른 예시적인 구현들에서는, 도 3과 관련하여 후술하는 바와 같이, 차량이 둘 이상의 차량에 대한 거리를 모니터링할 수 있다.
도 3은 일 실시예에 따른 예시적인 방법의 예시적인 구현을 나타낸다. 도 3에 도시된 바와 같이, 차량(302)이 도로 상의 차선(300)에서 주행하고 있다. 차량(302)은 차량을 자율 모드에서 제어하도록 구성되는 컴퓨터 시스템(도시되지 않음)을 포함한다. 이 때문에, 차량(302)은 차선 마킹들과 같은 차선 정보를 이용하여 도로 상의 차선(300)의 위치를 추정할 수 있다.
도시된 바와 같이, 차량(302)은 제1 센서(304) 및 제2 센서(306)를 포함한다. 제1 센서(304) 및 제2 센서(306) 각각은 예를 들어 이미지 캡처 장치, 레이저 거리 측정기 및/또는 LIDAR 유닛을 포함할 수 있다. 다른 센서들도 가능하다. 차량(302)은 제1 센서(304) 및 제2 센서(306)를 이용하여 차선(300)에 대한 차선 정보를 획득할 수 있다. 예를 들어, 전술한 바와 같이, 차량(302)은 제1 센서(304) 및 제2 센서(306)를 이용하여 도로 상의 차선 마킹들을 감지할 수 있다.
소정 시점에서, 차선 정보는 신뢰할 수 없게 될 수 있다. 예를 들어, 도시된 바와 같이, 차량(302)이 제1 센서(304)를 이용하여 차선 마킹(308)을 감지할 수 있지만, 차선 마킹이 소멸(miss)될 수 있으며, 따라서 제2 센서(306)는 차선 마킹을 감지하지 못한다. 이것은 예를 들어 시간 경과에 따라 차선 마킹이 흐려진 결과일 수 있다. 차선 마킹의 소멸로 인해, 차량(302)은 차선 정보에 대한 신뢰가 낮아질 수 있으며, 따라서 차선 정보가 신뢰할 수 없게 된 것으로 결정할 수 있다.
차선 정보가 신뢰할 수 없게 된 것으로 결정한 것에 응답하여, 차량(302)은 제1 센서(304)(또는 다른 실시예들에서는 다른 센서(도시되지 않음))를 이용하여, 그늘진 삼각형(312)에 의해 표시된 바와 같이, 제1 인접 차선(322) 내의 제1 이웃 차량(310)을 모니터링할 수 있다. 구체적으로, 차량(302)은 차량(302)과 제1 이웃 차량(310) 간의 제1 거리(314)를 모니터링하여 제1 거리(314)를 적어도 사전결정된 거리로 유지할 수 있다. 이 때문에, 제1 거리(314)가 사전결정된 거리 아래로 작아질 때, 차량(302)은 제1 거리(314)가 사전결정된 거리보다 다시 한 번 커질 때까지 제1 이웃 차량(310)으로부터 멀어질 수 있다.
게다가, 차량(302)은 제2 센서(306)(또는 다른 실시예들에서는 다른 센서(도시되지 않음))를 이용하여, 그늘진 삼각형(318)에 의해 표시된 바와 같이, 제2 인접 차선(324) 내의 제2 이웃 차량(316)을 모니터링할 수 있다. 구체적으로, 차량(302)은 차량(302)과 제2 이웃 차량(316) 간의 제2 거리(320)를 모니터링하여 제2 거리(320)를 적어도 사전결정된 거리로 유지할 수 있다. 이 때문에, 제2 거리(320)가 사전결정된 거리 아래로 작아질 때, 차량(302)은 제2 거리(320)가 사전결정된 거리보다 다시 한 번 커질 때까지 제2 이웃 차량(316)으로부터 멀어질 수 있다.
대안으로서 또는 추가로, 차량(302)은 제1 센서(304) 및 제2 센서(306)를 이용하여 제1 거리(314) 및 제2 거리(320)를 각각 모니터링할 수 있으며, 차량(302)을 제어하여, 제1 거리(314) 및 제2 거리(320) 각각을 최대화하면서 제1 거리(314) 및 제2 거리(320) 각각을 사전결정된 거리보다 크게 유지할 수 있다. 결과적으로, 차량(302)은 계속 제1 이웃 차량(310)과 제2 이웃 차량(316) 사이의 대략 중간에 있을 수 있으며, 따라서 제1 이웃 차량(310) 또는 제2 이웃 차량(316)과의 충돌을 방지할 수 있다.
차량(302)이 제1 거리(314) 및 제2 거리(320)를 모니터링하는 동안, 차량(302)은 갱신된 차선 정보를 주기적으로 수신할 수 있다. 소정 시점에, 차량(302)은 갱신된 차선 정보가 신뢰할 수 있는 것으로 결정할 수 있다. 예를 들어, 도로 전방에서 소멸된 차선 마킹이 다시 나타날 수 있으며, 따라서 제2 센서(306)는 차선 마킹을 감지할 수 있다. 다른 예들도 가능하다. 차량(302)이 갱신된 차선 정보가 신뢰할 수 있는 것으로 결정하면, 차량(302)은 갱신된 정보를 이용하여 차선(300)의 갱신된 위치를 추정할 수 있다. 게다가, 차량(302)이 갱신된 차선 정보가 신뢰할 수 있는 것으로 결정하면, 차량(302)은 제1 거리(314) 및 제2 거리(320)를 계속 모니터링하거나 하지 않을 수 있다.
일부 실시예들에서, 이웃 차량과의 충돌을 피하기 위해 차량과 이웃 차량 간의 거리를 모니터링하는 것에 더하여, 차량은 차량과 이웃 차량 간의 거리를 이용하여 이웃 차량의 경로를 추정할 수 있으며, 추정된 경로를 이용하여 차선의 갱신된 추정 위치를 결정할 수 있다.
도 4a-c는 일 실시예에 따른 예시적인 방법의 예시적인 구현을 나타낸다. 도 4a에 도시된 바와 같이, 차량(402)이 도로 상의 차선(400)에서 주행하고 있다. 차량(402)은 차량을 자율 모드에서 제어하도록 구성되는 컴퓨터 시스템(도시되지 않음)을 포함한다. 이 때문에, 차량(402)은 차선 마킹들과 같은 차선 정보를 이용하여 도로 상의 차선(400)의 위치를 추정할 수 있다.
도시된 바와 같이, 차량(402)은 센서(404)를 포함한다. 센서(404)는 예를 들어 이미지 캡처 장치, 레이저 거리 측정기 및/또는 LIDAR 유닛을 포함할 수 있다. 다른 센서들도 가능하다. 차량(402)은 센서(404)를 이용하여 차선(400)에 대한 차선 정보를 획득할 수 있다. 예를 들어, 전술한 바와 같이, 차량(402)은 센서(404)를 이용하여 도로 상의 차선 마킹들을 감지할 수 있다.
소정 시점에서, 차선 정보는 신뢰할 수 없게 될 수 있다. 예를 들어, 도시된 바와 같이, 차선 마킹이 소멸될 수 있으며, 따라서 센서(404)는 차선 마킹을 감지하지 못한다. 이것은 예를 들어 시간 경과에 따라 차선 마킹이 흐려진 결과일 수 있다. 차선 마킹의 소멸로 인해, 차량(402)은 차선 정보에 대한 신뢰가 낮아질 수 있으며, 따라서 차선 정보가 신뢰할 수 없게 된 것으로 결정할 수 있다.
차선 정보가 신뢰할 수 없게 된 것으로 결정한 것에 응답하여, 차량(402)은 센서(404)(또는 다른 실시예들에서는 다른 센서(도시되지 않음))를 이용하여, 그늘진 삼각형(408)에 의해 표시된 바와 같이, 인접 차선(422) 내의 이웃 차량(406)을 모니터링할 수 있다. 구체적으로, 차량(402)은 차량(402)과 이웃 차량(406) 간의 제1 거리(410)를 모니터링하여 제1 거리(410)를 적어도 사전결정된 거리로 유지할 수 있다. 게다가, 차량(402)은 제1 거리(410)(및 다른 실시예들에서는 센서(404)의 배향)를 이용하여, 별표에 의해 지시되는 바와 같이, 이웃 차량(406)의 제1 상대 위치(412)를 결정할 수 있다.
이어서, 차량(402)은 센서(404)를 이용하여, 차량(402)과 이웃 차량(406) 사이의 제2 거리(414)를 더 모니터링할 수 있으며, 도 4b에 도시된 바와 같이, 제2 거리(414)를 적어도 사전결정된 거리로 유지할 수 있다. 게다가, 차량(402)은 제2 거리(414)(및 다른 실시예들에서는 센서(404)의 배향)을 이용하여, 별표에 의해 지시되는 바와 같이, 이웃 차량(406)의 제2 상대 위치(416)를 결정할 수 있다.
이웃 차량(406)의 제1 상대 위치(412) 및 제2 상대 위치(416)에 기초하여, 차량(402)은 (명료화를 위해 이웃 차량(406)이 도시되지 않은) 도 4c에 도시된 바와 같이 이웃 차량(406)에 대한 경로(418)를 추정할 수 있다. 예를 들어, 차량(402)은 (예를 들어, 일정한 곡률을 가정하여) 제1 상대 위치(412) 및 제2 상대 위치(416)에서 추론하여, 경로(418)를 추정할 수 있다. 다른 예들도 가능하다.
추정 경로(418)에 기초하여, 차량(402)은 차선(400)의 갱신된 추정 위치를 결정할 수 있다. 예를 들어, 차량(402)은 차선(400)이 예를 들어 사전결정된 차선 폭만큼 추정 경로(418)로부터 시프트되는 경로(420) 상에 중심을 둘 수 있고 경로(420)의 어느 한쪽에서 사전결정된 차선 폭의 절반만큼 확장될 수 있는 것으로 결정할 수 있다. 다른 예들도 가능하다.
제1 및 제2 거리들(410, 414) 및 제1 및 제2 상대 위치들(412, 416)만이 위에서 설명되었지만, 다른 실시예들에서는 더 많은 거리들 및 상대 위치들이 차량(402)에 의해 결정될 수 있다. 일부 예들에서 추가적인 거리들 및 상대 위치들은 추정 경로(418)의 정확도, 결국, 차선(400)의 갱신된 추정 위치의 정확도를 향상시킬 수 있다.
차량(402)이 제1 및 제2 거리들(410, 414) 및 제1 및 제2 상대 위치들(412, 416)을 모니터링하는 동안, 차량(402)은 갱신된 차선 정보를 주기적으로 수신할 수 있다. 소정 시점에서, 차량(402)은 갱신된 차선 정보가 신뢰할 수 있는 것으로 결정할 수 있다. 예를 들어, 도로 전방에서 소멸된 차선 마킹이 다시 나타날 수 있고, 따라서 센서(404)가 차선 마킹을 감지할 수 있다. 다른 예들도 가능하다. 차량(402)이 갱신된 차선 정보가 신뢰할 수 있는 것으로 결정하면, 차량(402)은 갱신된 정보 및 다른 예들에서는 추정된 경로(418)를 이용하여 차선(400)의 갱신 위치를 추정할 수 있다. 게다가, 차량(402)이 갱신된 차선 정보가 신뢰할 수 있는 것으로 결정하면, 차량(402)은 이웃 차량(406)에 대한 거리들 및 상대 위치들을 계속 모니터링할 수 있거나 하지 않을 수 있다.
일부 실시예들에서, 이웃 차량에 대한 거리를 모니터링하고 차선의 갱신된 추정 위치를 결정하는 것에 더하여, 차량은 이웃 차량이 차량을 추월할 수 있도록 차량의 속도를 변경할 수 있다. 이웃 차량이 차량을 추월하면, 전술한 바와 같이, 차량은 이웃 차량을 선행 차량으로 이용할 수 있다. 이웃 차량은 이웃 차량으로서보다 선행 차량으로서 더 유용한 차선 정보를 제공할 수 있으며, 따라서 차량에 의해 추정된 차선 위치의 정확도를 향상시킬 수 있다.
도 5a-b는 일 실시예에 따른 예시적인 방법의 예시적인 구현을 나타낸다. 도 5a에 도시된 바와 같이, 차량(502)이 도로 상의 차선(500)에서 주행하고 있다. 차량(502)은 차량을 자율 모드에서 제어하도록 구성되는 컴퓨터 시스템(도시되지 않음)을 포함한다. 이 때문에, 차량(502)은 차선 마킹들과 같은 차선 정보를 이용하여 도로 상의 차선(502)의 위치를 추정할 수 있다.
도시된 바와 같이, 차량(502)은 제1 센서(504)를 포함한다. 제1 센서(504)는 예를 들어 이미지 캡처 장치, 레이저 거리 측정기 및/또는 LIDAR 유닛을 포함할 수 있다. 다른 센서들도 가능하다. 차량(502)은 제1 센서(504)를 이용하여 차선(500)에 대한 차선 정보를 획득할 수 있다. 예를 들어, 전술한 바와 같이, 차량(502)은 제1 센서(504)를 이용하여 도로 상의 차선 마킹들을 감지할 수 있다.
소정 시점에, 차선 정보가 신뢰할 수 없게 될 수 있다. 예를 들어, 도시된 바와 같이, 차선 마킹들(506)이 도로를 따르는 일부 장소들에서 흐려지거나 소멸될 수 있다. 이것은 예를 들어 시간 경과에 따라 차선 마킹(506)이 흐려진 결과일 수 있다. 흐려지고 소멸된 차선 마킹(506)으로 인해, 차량(502)은 차선 정보에 대한 신뢰가 낮아질 수 있으며, 따라서 차선 정보가 신뢰할 수 없게 된 것으로 결정할 수 있다.
차선 정보가 신뢰할 수 없게 된 것으로 결정한 것에 응답하여, 차량(502)은 제1 센서(504)(또는 다른 실시예들에서는 다른 센서(도시되지 않음))를 이용하여, 그늘진 삼각형(510)에 의해 표시된 바와 같이, 인접 차선(514) 내의 이웃 차량(508)을 모니터링할 수 있다. 구체적으로, 전술한 바와 같이, 차량(502)은 차량(502)과 이웃 차량(508) 사이의 거리(512)를 모니터링하여 거리(512)를 적어도 사전결정된 거리로 유지할 수 있다.
거리(512)를 모니터링하는 것에 더하여, 차량(502)은 추가로 이웃 차량(508)의 속도를 모니터링할 수 있다. 이 때문에, 차량(502)은 예를 들어 RADAR(radio detection and ranging) 유닛을 포함할 수 있는 제2 센서(514)를 이용할 수 있다. 다른 센서들도 가능하다. 이어서, 차량(502)은 차량(502)의 속도를 이웃 차량(508)의 속도보다 느리게 변경하여, 도 5b에 도시된 바와 같이, 이웃 차량(508)이 차량(502)을 추월하게 할 수 있다.
이웃 차량(508)이 차량(502)을 추월하면, 이웃 차량(508)은 선행 차량(508)이 될 수 있고, 차량(502)은 전술한 바와 같이 선행 차량(508)의 경로를 추정할 수 있다. 차량(502)이 선행 차량(508)의 경로를 추정하면, 차량(502)은 추정 경로에 기초하여 차선(500)의 위치를 추정할 수 있다. 예를 들어, 차량(502)은 추정 경로를 포함하는(예를 들어, 추정 경로의 어느 한쪽으로 사전결정된 차선 폭의 절반만큼 확장되는) 차선의 위치를 추정할 수 있다. 다른 예들도 가능하다.
전술한 예시적인 구현들은 차선 마킹들만을 포함하는 차선 정보에 초점을 맞추었지만, 전술한 바와 같이, 차량의 지리 위치 및 도로의 사전결정된 지도를 포함하는 다른 차선 정보도 가능하다는 것을 이해할 것이다. 예를 들어, 도로 상의 차선 마킹들이 소멸되고/되거나 모순되는 것으로 결정하는 대신에 또는 그에 더하여, 차량은 (예를 들어, 차량이 위치 서버와 통신할 수 없으므로) 차량이 그의 지리 위치를 결정할 수 없는 것으로 결정하고, 차량은 차량이 도로의 사전결정된 지도를 갖지 않는 것으로(또는 불완전한 사전결정된 지도만을 갖는 것으로) 결정하고/하거나, 차량은 차량의 전방에 선행 차량이 존재하지 않는 것으로 결정할 수 있다. 다른 예들도 가능하다.
이제, 위의 예시적인 방법들의 예시적인 실시예들을 구현할 수 있는 시스템들이 더 상세히 설명될 것이다. 일반적으로, 예시적인 시스템은 차량에서 구현될 수 있거나 차량의 형태를 취할 수 있다. 차량은 예를 들어 자동차, 승용차, 트럭, 모터사이클, 버스, 보트, 항공기, 헬리콥터, 잔디 깎는 기계, 땅 고르는 기계, 설상차, 레저 차량, 놀이 공원 차량, 농장 장비, 건설 장비, 전차, 골프 차, 기차 및 트롤리를 포함하는 다수의 형태를 취할 수 있다. 다른 차량들도 가능하다.
또한, 다른 예시적인 시스템은 본 명세서에서 설명되는 기능을 제공하기 위해 적어도 하나의 프로세서에 의해 실행될 수 있는 프로그램 명령어들을 저장한 비일시적 컴퓨터 판독 가능 매체의 형태를 취할 수 있다. 예시적인 시스템은 그러한 프로그램 명령어들을 저장한 그러한 비일시적 컴퓨터 판독 가능 매체를 포함하는 차량 또는 차량의 서브시스템의 형태를 취할 수도 있다.
도 6은 일 실시예에 따른 예시적인 차량(600)을 나타낸다. 구체적으로, 도 6은 차량(600)의 우측면도, 정면도, 후면도 및 상면도를 나타낸다. 도 6에는 차량(600)이 승용차로서 도시되지만, 다른 실시예들이 가능하다. 예를 들어, 차량(600)은 많은 예 중에서 특히 트럭, 밴, 세미-트레일러 트럭, 모터사이클, 골프 차, 오프-로드 차량 또는 농장 차량을 나타낼 수 있다. 도시된 바와 같이, 차량(600)은 제1 센서 유닛(602), 제2 센서 유닛(604), 제3 센서 유닛(606), 무선 통신 시스템(608) 및 이미지 캡처 장치(610)를 포함한다.
제1, 제2 및 제3 센서 유닛들(602-606) 각각은 글로벌 포지셔닝 시스템 센서, 관성 측정 유닛, RADAR 유닛, 레이저 거리 측정기, LIDAR 유닛, 이미지 캡처 장치 및 음향 센서의 임의의 조합을 포함할 수 있다. 다른 타입의 센서들도 가능하다.
제1, 제2 및 제3 센서 유닛들(602-606)이 차량(600) 상의 특정 위치들에 장착되는 것으로 도시되지만, 일부 실시예들에서는 센서 유닛(602)이 차량(600)의 다른 곳에, 즉 차량(600)의 안쪽 또는 바깥쪽에 장착될 수 있다. 또한, 3개의 센서 유닛만이 도시되지만, 일부 실시예들에서는 더 많거나 적은 센서 유닛이 차량(600)에 포함될 수 있다.
일부 실시예들에서, 제1, 제2 및 제3 센서 유닛들(602-606) 중 하나 이상은 하나 이상의 이동 가능 마운트들을 포함할 수 있으며, 센서들은 마운트들 상에 이동 가능하게 장착될 수 있다. 이동 가능 마운트는 예를 들어 회전 플랫폼을 포함할 수 있다. 회전 플랫폼 상에 장착된 센서들은 회전될 수 있으며, 따라서 센서들은 차량(600) 주위의 각각의 방향으로부터 정보를 획득할 수 있다. 대안으로서 또는 추가로, 이동 가능 마운트는 경사 플랫폼을 포함할 수 있다. 경사 플랫폼 상에 장착된 센서들은 특정 범위의 각도 및/또는 방위 내에서 경사질 수 있으며, 따라서 센서들은 다양한 각도로부터 정보를 획득할 수 있다. 이동 가능 마운트는 다른 형태들도 취할 수 있다.
또한, 일부 실시예들에서, 제1, 제2 및 제3 센서 유닛들(602-606) 중 하나 이상은 센서들 및/또는 이동 가능 마운트들을 이동시킴으로써 센서 유닛 내의 센서들의 위치 및/또는 배향을 조정하도록 구성되는 하나 이상의 액추에이터를 포함할 수 있다. 예시적인 액추에이터는 모터, 공압 액추에이터, 유압 피스톤, 릴레이, 솔레노이드 및 압전 액추에이터를 포함한다. 다른 액추에이터들도 가능하다.
무선 통신 시스템(608)은 직접 또는 통신 네트워크를 통해 하나 이상의 다른 차량, 센서 또는 다른 엔티티에 무선 결합하도록 구성되는 임의의 시스템일 수 있다. 이 때문에, 무선 통신 시스템(608)은 다른 차량, 센서 또는 다른 엔티티와 직접 또는 에어 인터페이스를 통해 통신하기 위한 안테나 및 칩셋을 포함할 수 있다. 칩셋 또는 무선 통신 시스템(608)은 일반적으로 많은 가능성 중에서 특히 블루투스, (임의의 IEEE 802.11 개정안들을 포함하는) IEEE 802.11에서 기술되는 통신 프로토콜, (GSM, CDMA, UMTS, EV-DO, WiMAX 또는 LTE와 같은) 셀룰러 기술, 지그비, 전용 단거리 통신(DSRC) 및 무선 주파수 식별(RFID) 통신과 같은 하나 이상의 다른 타입의 무선 통신(예를 들어, 프로토콜)에 따라 통신하도록 배열될 수 있다. 무선 통신 시스템(608)은 다른 형태들도 취할 수 있다.
무선 통신 시스템(608)이 차량(600)의 지붕 위에 배치되는 것으로 도시되지만, 다른 실시예들에서는 무선 통신 시스템(608)이 완전히 또는 부분적으로 다른 곳에 배치될 수 있다.
이미지 캡처 장치(610)는 차량(600)이 위치하는 환경의 이미지들을 캡처하도록 구성되는 임의의 장치(예로서, 정지 카메라, 비디오 카메라 등)일 수 있다. 이 때문에, 이미지 캡처 장치(610)는 가시광을 검출하도록 구성될 수 있거나, 적외선 또는 자외선 광과 같은 다른 스펙트럼 부분들로부터의 광을 검출하도록 구성될 수 있다. 다른 타입의 이미지 캡처 장치들도 가능하다. 이미지 캡처 장치(610)는 이차원 검출기일 수 있거나, 삼차원 공간 범위를 가질 수 있다. 일부 실시예들에서, 이미지 캡처 장치(610)는 예를 들어 이미지 캡처 장치(610)로부터 환경 내의 다수의 포인트까지의 거리를 지시하는 이차원 이미지를 생성하도록 구성되는 범위 검출기일 수 있다. 이 때문에, 이미지 캡처 장치(610)는 하나 이상의 범위 검출 기술을 이용할 수 있다. 예를 들어, 이미지 캡처 장치(610)는 구조화된 광 기술을 이용할 수 있으며, 이러한 기술에서는 차량(600)이 그리드 또는 체커보드 패턴과 같은 사전결정된 광 패턴을 이용하여 환경 내의 물체를 조명하고, 이미지 캡처 장치(610)를 이용하여 물체로부터의 사전결정된 광 패턴의 반사를 검출한다. 반사된 광 패턴의 왜곡에 기초하여, 차량(600)은 물체 상의 포인트들까지의 거리를 결정할 수 있다. 사전결정된 광 패턴은 적외선 광 또는 다른 파장의 광을 포함할 수 있다. 다른 예로서, 이미지 캡처 장치(610)는 레이저 스캐닝 기술을 이용할 수 있으며, 이 기술에서는 차량(600)이 레이저를 방출하고, 환경 내의 물체 상의 다수의 포인트에 걸쳐 스캐닝한다. 물체를 스캐닝하는 동안, 차량(600)은 이미지 캡처 장치(610)를 이용하여 각각의 포인트에 대한 물체로부터의 레이저의 반사를 검출한다. 레이저가 각각의 포인트에서 물체로부터 반사하는 데 걸리는 시간의 길이에 기초하여, 차량(600)은 물체 상의 포인트들까지의 거리를 결정할 수 있다. 또 다른 예로서, 이미지 캡처 장치(610)는 비행 시간 기술을 이용할 수 있으며, 이 기술에서는 차량(600)이 광 펄스를 방출하고, 이미지 캡처 장치(610)를 이용하여 물체의 다수의 포인트에서 물체로부터의 광 펄스의 반사를 검출한다. 구체적으로, 이미지 캡처 장치(610)는 다수의 픽셀을 포함할 수 있으며, 각각의 픽셀은 물체 상의 하나의 포인트로부터의 광 펄스의 반사를 검출할 수 있다. 광 펄스가 각각의 포인트에서 물체로부터 반사하는 데 걸리는 시간의 길이에 기초하여, 차량(600)은 물체 상의 포인트들까지의 거리를 결정할 수 있다. 광 펄스는 레이저 펄스일 수 있다. 특히 스테레오 삼각측량법, 광 시트(sheet-of-light) 삼각측량법, 간섭법 및 코딩된 개구 기술들을 포함하는 다른 범위 검출 기술들도 가능하다. 이미지 캡처 장치(610)는 다른 형태들도 취할 수 있다.
일부 실시예들에서, 이미지 캡처 장치(610)는 이미지 캡처 장치(610) 및/또는 이동 가능 마운트의 위치 및/또는 배향을 조정하도록 구성되는 전술한 바와 같은 이동 가능 마운트 및/또는 액추에이터를 포함할 수 있다.
이미지 캡처 장치(610)가 차량(600)의 정면 바람막이 창 안쪽에 장착되는 것으로 도시되지만, 다른 실시예들에서는 이미지 캡처 장치(610)가 차량(600)의 다른 곳에, 즉 차량(600)의 안쪽 또는 바깥쪽에 장착될 수 있다.
차량(600)은 도시된 것들에 더하여 또는 그들 대신에 하나 이상의 다른 컴포넌트를 포함할 수 있다.
도 7은 일 실시예에 따른 예시적인 차량(700)의 간략화된 블록도이다. 차량(700)은 예를 들어 도 6과 관련하여 전술한 차량(600)과 유사할 수 있다. 차량(700)은 다른 형태들도 취할 수 있다.
도시된 바와 같이, 차량(700)은 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 주변장치들(708), 및 프로세서(712), 데이터 저장소(714) 및 명령어들(716)을 포함하는 컴퓨터 시스템(710)을 포함한다. 다른 실시예들에서, 차량(700)은 더 많거나, 더 적거나 또는 상이한 시스템들을 포함할 수 있으며, 각각의 시스템은 더 많거나, 더 적거나 또는 상이한 컴포넌트들을 포함할 수 있다. 게다가, 도시된 시스템들 및 컴포넌트들은 임의 수의 방식으로 결합 또는 분할될 수 있다.
추진 시스템(702)은 차량(700)에 대한 전동 모션(powered motion)을 제공하도록 구성될 수 있다. 도시된 바와 같이, 추진 시스템(702)은 엔진/모터(718), 에너지 소스(720), 변속기(722) 및 휠들/타이어들(724)을 포함한다.
엔진/모터(718)는 내연 기관, 전기 모터, 스팀 엔진 및 스털링 엔진의 임의의 조합이거나 그들을 포함할 수 있다. 다른 모터들 및 엔진들도 가능하다. 일부 실시예들에서, 추진 시스템(702)은 다중 타입의 엔진 및/또는 모터를 포함할 수 있다. 예를 들어, 가스-전기 하이브리드 차는 가솔린 엔진 및 전기 모터를 포함할 수 있다. 다른 예들이 가능하다.
에너지 소스(720)는 엔진/모터(718)에 완전히 또는 부분적으로 급전하는 에너지의 소스일 수 있다. 즉, 엔진/모터(718)는 에너지 소스(720)를 기계 에너지로 변환하도록 구성될 수 있다. 에너지 소스들(720)의 예는 가솔린, 디이젤, 프로판, 다른 압축 가스 기반 연료, 에탄올, 솔라 패널, 배터리 및 다른 전력 소스를 포함한다. 에너지 소스(들)(720)는 추가로 또는 대안으로서 연료 탱크, 배터리, 커패시터 및/또는 플라이휠의 임의의 조합을 포함할 수 있다. 일부 실시예들에서, 에너지 소스(720)는 차량(700)의 다른 시스템들에 대한 에너지도 제공할 수 있다.
변속기(transmission; 722)는 엔진/모터(718)로부터의 기계적인 파워를 휠들/타이어들(724)로 전달하도록 구성될 수 있다. 이 때문에, 변속기(722)는 기어박스, 클러치, 차동 장치(differential), 구동축(drive shafts) 및/또는 다른 요소를 포함할 수 있다. 변속기(722)가 구동축을 포함하는 실시예들에서, 구동축은 휠들/타이어들(724)에 결합되도록 구성되는 하나 이상의 차축을 포함할 수 있다.
차량(700)의 휠들/타이어들(724)은 유니사이클, 바이사이클/모터사이클, 트라이사이클 또는 차/트럭 4-휠 포맷을 포함하는 다양한 포맷으로 구성될 수 있다. 6개 이상의 휠을 포함하는 것들과 같은 다른 휠/타이어 포맷들도 가능하다. 어느 경우에나, 차량(700)의 휠들/타이어들(724)은 다른 휠들/타이어들(724)에 대해 차동적으로 회전하도록 구성될 수 있다. 일부 실시예들에서, 휠들/타이어들(724)은 변속기(722)에 고착되는 적어도 하나의 휠 및 구동 표면과 접촉할 수 있는 휠의 림에 결합되는 적어도 하나의 타이어를 포함할 수 있다. 휠들/타이어들(724)은 금속 및 고무의 임의의 조합 또는 다른 재료들의 조합을 포함할 수 있다.
추진 시스템(702)은 추가로 또는 대안으로서 도시된 것들과 다른 컴포넌트들을 포함할 수 있다.
센서 시스템(704)은 차량(700)이 위치하는 환경에 대한 정보를 감지하도록 구성되는 다수의 센서는 물론, 센서들의 위치 및/또는 배향을 변경하도록 구성되는 하나 이상의 액추에이터(736)도 포함할 수 있다. 도시된 바와 같이, 센서 시스템의 센서들은 글로벌 포지셔닝 시스템(GPS)(726), 관성 측정 유닛(IMU)(728), RADAR 유닛(730), 레이저 거리 측정기 및/또는 LIDAR 유닛(732) 및 이미지 캡처 장치(734)를 포함한다. 센서 시스템(704)은 예를 들어 차량(700)의 내부 시스템들을 모니터링하는 센서들(예로서, 산소 모니터, 연료 게이지, 엔진 오일 온도 등)을 포함하는 추가 센서들도 포함할 수 있다. 다른 센서들도 가능하다.
GPS(726)는 차량(700)의 지리 위치를 추정하도록 구성되는 임의의 센서일 수 있다. 이 때문에, GPS(726)는 지구에 대한 차량(700)의 위치를 추정하도록 구성되는 송수신기를 포함할 수 있다. GPS(726)는 다른 형태들도 취할 수 있다.
IMU(728)는 관성 가속도에 기초하여 차량(700)의 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 임의의 조합일 수 있다. 일부 실시예들에서, 센서들의 조합은 예를 들어 가속도계들 및 자이로스코프들을 포함할 수 있다. 센서들의 다른 조합들도 가능하다.
RADAR 유닛(730)은 차량(700)이 위치하는 환경 내의 물체들을 무선 신호들을 이용하여 감지하도록 구성되는 임의의 센서일 수 있다. 일부 실시예들에서, 물체들을 감지하는 것에 더하여, RADAR 유닛(730)은 물체들의 속도 및/또는 헤딩을 감지하도록 더 구성될 수 있다.
유사하게, 레이저 거리 측정기 또는 LIDAR 유닛(732)은 차량(700)이 위치하는 환경 내의 물체들을 레이저를 이용하여 감지하도록 구성되는 임의의 센서일 수 있다. 구체적으로, 레이저 거리 측정기 또는 LIDAR 유닛(732)은 레이저를 방출하도록 구성되는 레이저 소스 및/또는 레이저 스캐너, 및 레이저의 반사들을 검출하도록 구성되는 검출기를 포함할 수 있다. 레이저 거리 측정기 또는 LIDAR(732)은 가간섭성(예를 들어, 헤테로다인 검출을 이용함) 또는 비간섭성 검출 모드에서 동작하도록 구성될 수 있다.
이미지 캡처 장치(734)는 차량(700)이 위치하는 환경의 이미지들을 캡처하도록 구성되는 임의의 장치(예로서, 정지 카메라, 비디오 카메라 등)일 수 있다. 이 때문에, 이미지 캡처 장치(734)는 도 6의 이미지 캡처 장치(610)와 관련하여 전술한 형태들 중 임의의 형태를 취할 수 있다.
센서 시스템(704)은 추가로 또는 대안으로서 도시된 것들과 다른 컴포넌트들을 포함할 수 있다.
제어 시스템(706)은 차량(700) 및 그의 컴포넌트들의 동작을 제어하도록 구성될 수 있다. 이 때문에, 제어 시스템(706)은 조종 유닛(738), 스로틀(740), 브레이크 유닛(742), 센서 융합 알고리즘(744), 컴퓨터 비전 시스템(746), 내비게이션 또는 경로 제어 시스템(748) 및 장애물 회피 시스템(750)을 포함할 수 있다.
조종 유닛(738)은 차량(700)의 헤딩을 조종하도록 구성되는 메커니즘들의 임의의 조합일 수 있다.
스로틀(740)은 엔진/모터(718)의 동작 속도 및 결국 차량(700)의 속도를 제어하도록 구성되는 메커니즘들의 임의의 조합일 수 있다.
브레이크 유닛(742)은 차량(700)을 감속시키도록 구성되는 메커니즘들의 임의의 조합일 수 있다. 예를 들어, 브레이크 유닛(742)은 마찰을 이용하여 휠들/타이어들(724)을 감속시킬 수 있다. 다른 예로서, 브레이크 유닛(742)은 휠들/타이어들(724)의 운동 에너지를 전류로 변환할 수 있다. 브레이트 유닛(742)은 다른 형태들도 취할 수 있다.
센서 융합 알고리즘(744)은 센서 시스템(704)으로부터의 데이터를 입력으로서 수신하도록 구성되는 알고리즘(또는 알고리즘을 저장하는 컴퓨터 프로그램 제품)일 수 있다. 데이터는 예를 들어 센서 시스템(704)의 센서들에서 감지되는 정보를 표현하는 데이터를 포함할 수 있다. 센서 융합 알고리즘(744)은 예를 들어 칼만(Kalman) 필터, 베이지안 네트워크(Bayesian network) 또는 다른 알고리즘을 포함할 수 있다. 센서 융합 알고리즘(744)은 센서 시스템(704)으로부터의 데이터에 기초하여, 예를 들어 차량(700)이 위치하는 환경 내의 개별 물체들 및/또는 특징들의 평가, 특정 상황들의 평가 및/또는 특정 상황들에 기초하는 가능한 영향들의 평가를 포함하는 다양한 평가들을 제공하도록 더 구성될 수 있다. 다른 평가들도 가능하다.
컴퓨터 비전 시스템(746)은 이미지 캡처 장치(734)에 의해 캡처된 이미지들을 처리 및 분석하여, 차량(700)이 위치하는 환경 내의 예를 들어 교통 신호들 및 장애물들을 포함하는 물체들 및/또는 특징들을 식별하도록 구성되는 임의의 시스템일 수 있다. 이 때문에, 컴퓨터 비전 시스템(746)은 물체 인식 알고리즘, SFM(Structure from Motion) 알고리즘, 비디오 추적 또는 다른 컴퓨터 비전 기술들을 이용할 수 있다. 일부 실시예들에서, 컴퓨터 비전 시스템(746)은 추가로 환경을 맵핑하고, 물체들을 추적하고, 물체들의 속도를 추정하고, 기타 등등을 행하도록 구성될 수 있다.
내비게이션 및 경로 제어 시스템(748)은 차량(700)에 대한 운전 경로를 결정하도록 구성되는 임의의 시스템일 수 있다. 내비게이션 및 경로 제어 시스템(748)은 추가로 차량(700)이 동작하는 동안 운전 경로를 동적으로 갱신하도록 구성될 수 있다. 일부 실시예들에서, 내비게이션 및 경로 제어 시스템(748)은 센서 융합 알고리즘(744), GPS(726) 및 하나 이상의 사전결정된 지도로부터의 데이터를 통합하여 차량(700)에 대한 운전 경로를 결정하도록 구성될 수 있다.
장애물 회피 시스템(750)은 차량(700)이 위치하는 환경 내의 장애물들을 식별, 평가 및 회피하거나 다른 방식으로 절충하도록 구성되는 임의의 시스템일 수 있다.
제어 시스템(706)은 추가로 또는 대안으로서 도시된 것들과 다른 컴포넌트들을 포함할 수 있다.
주변장치들(708)은 차량(700)이 외부 센서들, 다른 차량들 및/또는 사용자와 상호작용하는 것을 가능하게 하도록 구성될 수 있다. 이 때문에, 주변장치들(708)은 예를 들어 무선 통신 시스템(752), 터치스크린(754), 마이크(756) 및/또는 스피커(758)를 포함할 수 있다.
무선 통신 시스템(752)은 전술한 임의의 형태를 취할 수 있다.
터치스크린(754)은 사용자에 의해 차량(700)에 명령들을 입력하는 데 사용될 수 있다. 이 때문에, 터치스크린(754)은 많은 가능성 중에서 특히 정전식 감지(capacitive sensing), 저항성 감지(resistance sensing) 또는 표면 탄성파 프로세스(surface acoustic wave process)를 통해 사용자의 손가락의 위치 및 이동 중 적어도 하나를 감지하도록 구성될 수 있다. 터치스크린(754)은 터치스크린 표면에 대해 평행하거나 평면인 방향, 터치스크린 표면에 수직인 방향 또는 이들 둘 다에서의 손가락 이동을 감지할 수 있으며, 터치스크린 표면에 인가되는 압력의 레벨을 감지할 수도 있다. 터치스크린(754)은 하나 이상의 반투명 또는 투명한 절연층 및 하나 이상의 반투명 또는 투명한 도전층으로 형성될 수 있다. 터치스크린(754)은 다른 형태들도 취할 수 있다.
마이크(756)는 차량(700)의 사용자로부터 오디오(예를 들어, 음성 명령 또는 다른 오디오 입력)를 수신하도록 구성될 수 있다. 유사하게, 스피커들(758)은 차량(700)의 사용자에게 오디오를 출력하도록 구성될 수 있다.
주변장치들(708)은 추가로 또는 대안으로서 도시된 것들과 다른 컴포넌트들을 포함할 수 있다.
컴퓨터 시스템(710)은 추진 시스템(702), 센서 시스템(704), 제어 시스템(706) 및 주변장치들(708) 하나 이상으로 데이터를 전송하고 그로부터 데이터를 수신하도록 구성될 수 있다. 이 때문에, 컴퓨터 시스템(710)은 시스템 버스, 네트워크 및/또는 다른 접속 메커니즘(도시되지 않음)에 의해 추진 시스템(702), 센서 시스템(704), 제어 시스템(706) 및 주변장치들(708) 중 하나 이상에 통신적으로 링크될 수 있다.
컴퓨터 시스템(710)은 추진 시스템(702), 센서 시스템(704), 제어 시스템(706) 및/또는 주변장치들(708)의 하나 이상의 컴포넌트와 상호작용하고 그를 제어하도록 더 구성될 수 있다. 예를 들어, 컴퓨터 시스템(710)은 연료 효율을 개선하기 위해 변속기(722)의 동작을 제어하도록 구성될 수 있다. 다른 예로서, 컴퓨터 시스템(710)은 이미지 캡처 장치(734)가 환경의 이미지들을 캡처하게 하도록 구성될 수 있다. 또 다른 예로서, 컴퓨터 시스템(710)은 센서 융합 알고리즘(744)에 대응하는 명령어들을 저장 및 실행하도록 구성될 수 있다. 또 다른 예로서, 컴퓨터 시스템(710)은 터치스크린(754) 상에 표시를 행하기 위한 명령어들을 저장 및 실행하도록 구성될 수 있다. 다른 예들도 가능하다.
도시된 바와 같이, 컴퓨터 시스템(710)은 프로세서(712) 및 데이터 저장소(714)를 포함한다. 프로세서(712)는 하나 이상의 범용 프로세서 및/또는 하나 이상의 특수 목적 프로세서를 포함할 수 있다. 프로세서(712)가 둘 이상의 프로세서를 포함하는 한, 그러한 프로세서들은 개별적으로 또는 조합하여 동작할 수 있다. 데이터 저장소(714)는 결국 광학, 자기 및/또는 유기 저장소와 같은 하나 이상의 휘발성 및/또는 하나 이상의 비휘발성 저장 컴포넌트를 포함할 수 있으며, 데이터 저장소(714)는 프로세서(712)와 완전히 또는 부분적으로 통합될 수 있다.
일부 실시예들에서, 데이터 저장소(714)는 도 1-5b와 관련하여 전술한 것들을 포함하는 다양한 차량 기능들을 실행하기 위해 프로세서(712)에 의해 실행될 수 있는 명령어들(716)(예로서, 프로그램 논리)을 포함할 수 있다. 데이터 저장소(714)는 추진 시스템(702), 센서 시스템(704), 제어 시스템(706) 및 주변장치들(708) 중 하나 이상으로 데이터를 전송하고, 그로부터 데이터를 수신하고, 그와 상호작용하고/하거나, 그를 제어하기 위한 명령어들을 포함하는 추가 명령어들도 포함할 수 있다.
컴퓨터 시스템(702)은 추가로 또는 대안으로서 도시된 것들과 다른 컴포넌트들을 포함할 수 있다.
도시된 바와 같이, 차량(700)은 차량(700)의 컴포넌트들 중 일부 또는 전부에 전력을 제공하도록 구성될 수 있는 전원(760)을 더 포함한다. 이 때문에, 전원(760)은 예를 들어 재충전 가능 리튬-이온 또는 납-산 배터리를 포함할 수 있다. 일부 실시예들에서는, 배터리들의 하나 이상의 뱅크가 전력을 제공하도록 구성될 수 있다. 다른 전원 재료들 및 구성들도 가능하다. 일부 실시예들에서, 전원(760) 및 에너지 소스(720)는 일부 전전기 차들(all-electric cars)에서와 같이 함께 구현될 수 있다.
일부 실시예들에서, 추진 시스템(702), 센서 시스템(704), 제어 시스템(706) 및 주변장치들(708) 중 하나 이상은 그들 각각의 시스템들 내의 그리고/또는 밖의 다른 컴포넌트들과 상호접속되는 방식으로 동작하도록 구성될 수 있다.
또한, 차량(700)은 도시된 것들에 더하여 또는 그들 대신에 하나 이상의 요소를 포함할 수 있다. 예를 들어, 차량(700)은 하나 이상의 추가 인터페이스 및/또는 전원을 포함할 수 있다. 다른 추가 컴포넌트들도 가능하다. 그러한 실시예들에서, 데이터 저장소(714)는 추가 컴포넌트들을 제어하고/하거나 그들과 통신하기 위해 프로세서(712)에 의해 실행될 수 있는 명령어들을 더 포함할 수 있다.
더욱이, 컴포넌트들 및 시스템들 각각은 차량(700) 내에 통합되는 것으로 도시되지만, 일부 실시예들에서는 하나 이상의 컴포넌트 또는 시스템이 유선 또는 무선 접속을 이용하여 차량(700)에 제거 가능하게 장착되거나, 다른 방식으로 (기계적으로 또는 전기적으로) 접속될 수 있다.
차량(700)은 다른 형태들도 취할 수 있다.
일부 실시예들에서, 개시된 방법들은 기계 판독 가능 포맷으로 비일시적 컴퓨터 판독 가능 저장 매체 상에 또는 그 외의 비일시적 매체들 또는 제조물들 상에 인코딩되는 컴퓨터 프로그램 명령어들로서 구현될 수 있다. 도 8은 본 명세서에서 설명된 적어도 일부 실시예들에 따라 배열된, 컴퓨팅 장치 상에서 컴퓨터 프로세스를 실행하기 위한 컴퓨터 프로그램을 포함하는 예시적인 컴퓨터 프로그램 제품(800)의 개념적인 부분도이다.
일 실시예에서, 예시적인 컴퓨터 프로그램 제품(800)은 신호 베어링 매체(802)를 이용하여 제공된다. 신호 베어링 매체(802)는 하나 이상의 프로세서에 의해 실행될 때 도 1-5b에 관련하여 전술한 기능 또는 기능의 부분들을 제공할 수 있는 하나 이상의 프로그래밍 명령어(804)를 포함할 수 있다.
일부 실시예들에서, 신호 베어링 매체(802)는 하드 디스크 드라이브, 컴팩트 디스크(CD), 디지털 비디오 디스크(DVD), 디지털 테이프, 메모리 등과 같은, 그러나 이에 한정되지 않는 컴퓨터 판독 가능 매체(806)를 포함할 수 있다. 또한, 일부 실시예들에서, 신호 베어링 매체(802)는 메모리, 판독/기록(R/W) CD, R/W DVD 등과 같은, 그러나 이에 한정되지 않는 컴퓨터 기록 가능 매체(808)를 포함할 수 있다. 더구나, 일부 실시예들에서, 신호 베어링 매체(802)는 디지털 및/또는 아날로그 통신 매체(예로서, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등)와 같은, 그러나 이에 한정되지 않는 통신 매체(810)를 포함할 수 있다. 따라서, 예를 들어, 신호 베어링 매체(802)는 무선 형태의 통신 매체(810)에 의해 운반될 수 있다.
하나 이상의 프로그래밍 명령어(804)는 예를 들어 컴퓨터 실행 가능 및/또는 논리 구현 명령어들일 수 있다. 일부 예들에서, 컴퓨팅 장치(예로서, 도 7의 컴퓨터 시스템(710))는 컴퓨터 판독 가능 매체(806), 컴퓨터 기록 가능 매체(808) 및/또는 통신 매체(810) 중 하나 이상에 의해 컴퓨팅 장치로 운반되는 프로그래밍 명령어들(804)에 응답하여 다양한 동작들, 기능들 또는 액션들을 제공하도록 구성될 수 있다.
비일시적 컴퓨터 판독 가능 매체는 서로 원격적으로 배치될 수 있는 다수의 데이터 저장 요소들 사이에 분산될 수도 있다.
일부 실시예들에서, 프로그래밍 명령어들(804) 중 일부 또는 전부를 실행하는 컴퓨팅 장치는 도 7에 도시된 차량(700)과 같은 차량일 수 있다. 다른 컴퓨팅 장치들도 가능하다.
다양한 양태들 및 실시예들이 본 명세서에서 개시되었지만, 이 분야의 기술자들에게는 다른 양태들 및 실시예들이 명백할 것이다. 본 명세서에서 개시된 다양한 양태들 및 실시예들은 설명의 목적을 위한 것이고, 한정을 의도하지 않으며, 본 발명의 진정한 범위 및 사상은 아래의 청구항들에 의해 지시된다.

Claims (20)

  1. 컴퓨터 시스템에 의해, 차량이 주행하고 있는 도로 상의 차선의 추정 위치를 제공하는 차선 정보를 획득하는 단계 - 상기 컴퓨터 시스템은 상기 차량을 자율 모드에서 제어하도록 구성됨 -;
    상기 컴퓨터 시스템에 의해, 상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정하는 단계; 및
    상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정한 것에 응답하여, 상기 컴퓨터 시스템에 의해,
    적어도 하나의 센서를 이용하여 적어도 하나의 이웃 차량을 모니터링하는 단계와,
    상기 차량을 제어하여 상기 차량과 상기 적어도 하나의 이웃 차량 간의 거리를 적어도 사전결정된 최소 거리로 유지하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 차선 정보는 상기 도로 상의 차선 마킹, 상기 차량의 지리 위치 및 상기 도로의 사전 결정된 지도 중 적어도 하나에 기초하는 방법.
  3. 제1항에 있어서,
    상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정하는 단계는 상기 차선 정보의 신뢰도가 사전결정된 임계치보다 낮다는 것을 검출하는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정하는 단계는 상기 차선 정보의 신뢰도가 적어도 사전결정된 시간량 동안 사전결정된 임계치보다 낮다는 것을 검출하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 이웃 차량은 제1 이웃 차량 및 제2 이웃 차량을 포함하고,
    상기 차량과 상기 적어도 하나의 이웃 차량 간의 상기 거리를 적어도 상기 사전결정된 최소 거리로 유지하는 단계는 상기 차량과 상기 제1 이웃 차량 간의 제1 거리 및 상기 차량과 상기 제2 이웃 차량 간의 제2 거리 둘 다를 최대화하면서, 상기 제1 거리 및 상기 제2 거리 각각을 상기 사전결정된 최소 거리보다 크게 유지하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 센서를 이용하여 상기 적어도 하나의 이웃 차량을 모니터링하는 단계는 상기 적어도 하나의 센서를 이용하여 상기 적어도 하나의 이웃 차량에 대한 적어도 제1 거리 및 제2 거리를 모니터링하는 단계를 포함하고,
    상기 방법은,
    상기 제1 거리 및 상기 제2 거리에 기초하여, 상기 적어도 하나의 이웃 차량의 제1 상대 위치 및 제2 상대 위치를 결정하는 단계;
    상기 제1 상대 위치 및 상기 제2 상대 위치에 기초하여, 상기 적어도 하나의 이웃 차량에 대한 경로를 추정하는 단계; 및
    상기 추정된 경로에 기초하여, 상기 차선의 갱신된 추정 위치를 결정하는 단계
    를 더 포함하는 방법.
  7. 제1항에 있어서,
    속도 센서를 이용하여 상기 적어도 하나의 이웃 차량의 속도를 모니터링하는 단계; 및
    상기 차량의 속도를 상기 적어도 하나의 이웃 차량의 상기 속도보다 느리게 변경하는 단계
    를 더 포함하는 방법.
  8. 제1항에 있어서,
    컴퓨터 시스템에 의해, 상기 차선의 갱신된 추정 위치를 제공하는 갱신된 차선 정보를 주기적으로 획득하는 단계;
    상기 컴퓨터 시스템에 의해, 상기 갱신된 차선 정보가 신뢰할 수 있게 된 것으로 결정하는 단계; 및
    상기 갱신된 차선 정보가 신뢰할 수 있게 된 것으로 결정한 것에 응답하여, 상기 차량을 제어하여 상기 차량과 상기 적어도 하나의 이웃 차량 간의 상기 거리를 적어도 상기 사전결정된 최소 거리로 유지하는 것을 중지하는 단계
    를 더 포함하는 방법.
  9. 제8항에 있어서,
    상기 갱신된 차선 정보가 신뢰할 수 있게 된 것으로 결정하는 단계는 상기 갱신된 차선 정보의 신뢰도가 사전결정된 임계치보다 높다는 것을 검출하는 단계를 포함하는 방법.
  10. 자율 모드에서 동작하도록 구성되는 차량으로서,
    적어도 하나의 센서;
    적어도 하나의 프로세서; 및
    사전결정된 최소 거리 및 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령어들을 포함하는 데이터 저장소
    를 포함하고,
    상기 명령어들은,
    상기 차량이 주행하고 있는 도로 상의 차선의 추정 위치를 제공하는 차선 정보를 획득하고;
    상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정하고;
    상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정한 것에 응답하여,
    상기 적어도 하나의 센서를 이용하여 적어도 하나의 이웃 차량을 모니터링하고,
    상기 차량을 제어하여 상기 차량과 상기 적어도 하나의 이웃 차량 간의 거리를 적어도 사전결정된 최소 거리로 유지하기 위해, 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 차량.
  11. 제10항에 있어서,
    상기 적어도 하나의 센서는 레이저를 포함하는 차량.
  12. 제10항에 있어서,
    상기 적어도 하나의 센서는 상기 도로 상의 차선 마킹을 감지하도록 구성되는 차선 마킹 센서 및 상기 차량의 지리 위치를 감지하도록 구성되는 위치 센서 중 적어도 하나를 포함하는 차량.
  13. 제12항에 있어서,
    상기 차선 정보는 상기 도로 상의 상기 차선 마킹 및 상기 차량의 상기 지리 위치 중 적어도 하나에 기초하는 차량.
  14. 제10항에 있어서,
    상기 데이터 저장소는 상기 도로의 사전결정된 지도를 더 포함하는 차량.
  15. 제14항에 있어서,
    상기 차선 정보는 상기 사전결정된 지도에 기초하는 차량.
  16. 제10항에 있어서,
    상기 적어도 하나의 이웃 차량의 속도를 감지하도록 구성되는 속도 센서를 더 포함하는 차량.
  17. 제10항에 있어서,
    상기 차량의 속도를 상기 적어도 하나의 이웃 차량의 속도보다 느리게 변경하도록 구성되는 스로틀을 더 포함하는 차량.
  18. 컴퓨팅 장치가 기능들을 수행하게 하기 위해 상기 컴퓨팅 장치에 의해 실행될 수 있는 명령어들을 저장한 비일시적 컴퓨터 판독 가능 매체로서,
    상기 기능들은,
    차량이 주행하고 있는 도로 상의 차선의 추정 위치를 제공하는 차선 정보를 획득하는 기능;
    상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정하는 기능; 및
    상기 차선 정보가 이용할 수 없게 되거나 신뢰할 수 없게 된 것으로 결정한 것에 응답하여,
    적어도 하나의 센서를 이용하여 적어도 하나의 이웃 차량을 모니터링하는 기능과,
    상기 차량을 제어하여 상기 차량과 상기 적어도 하나의 이웃 차량 간의 거리를 적어도 사전결정된 최소 거리로 유지하는 기능을 포함하는 비일시적 컴퓨터 판독 가능 매체.
  19. 제18항에 있어서,
    상기 적어도 하나의 센서를 이용하여 상기 적어도 하나의 이웃 차량을 모니터링하는 기능은 상기 적어도 하나의 센서를 이용하여 상기 적어도 하나의 이웃 차량에 대한 적어도 제1 거리 및 제2 거리를 모니터링하는 기능을 포함하고,
    상기 컴퓨팅 장치는,
    상기 제1 거리 및 상기 제2 거리에 기초하여, 상기 적어도 하나의 이웃 차량의 제1 상대 위치 및 제2 상대 위치를 결정하는 기능;
    상기 제1 상대 위치 및 상기 제2 상대 위치에 기초하여, 상기 적어도 하나의 이웃 차량에 대한 경로를 추정하는 기능; 및
    상기 추정된 경로에 기초하여, 상기 차선의 갱신된 추정 위치를 결정하는 기능을 더 수행하는 비일시적 컴퓨터 판독 가능 매체.
  20. 제18항에 있어서,
    상기 기능들은,
    상기 차선의 갱신된 추정 위치를 제공하는 갱신된 차선 정보를 주기적으로 획득하는 기능;
    상기 갱신된 차선 정보가 신뢰할 수 있게 된 것으로 결정하는 기능; 및
    상기 갱신된 차선 정보가 신뢰할 수 있게 된 것으로 결정한 것에 응답하여, 상기 차량을 제어하여 상기 차량과 상기 적어도 하나의 이웃 차량 간의 상기 거리를 적어도 상기 사전결정된 최소 거리로 유지하는 것을 중지하는 기능을 더 포함하는 비일시적 컴퓨터 판독 가능 매체.
KR1020147029955A 2012-04-27 2013-04-04 다른 차량들과의 안전 거리 유지를 통한 도로 상에서의 안전한 내비게이팅 KR101514935B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/457,628 2012-04-27
US13/457,628 US8504233B1 (en) 2012-04-27 2012-04-27 Safely navigating on roads through maintaining safe distance from other vehicles
PCT/US2013/035284 WO2013162847A1 (en) 2012-04-27 2013-04-04 Safely navigating on roads through maintaining safe distance from other vehicles

Publications (2)

Publication Number Publication Date
KR20140131601A KR20140131601A (ko) 2014-11-13
KR101514935B1 true KR101514935B1 (ko) 2015-04-23

Family

ID=48876458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147029955A KR101514935B1 (ko) 2012-04-27 2013-04-04 다른 차량들과의 안전 거리 유지를 통한 도로 상에서의 안전한 내비게이팅

Country Status (6)

Country Link
US (2) US8504233B1 (ko)
EP (2) EP2841316B8 (ko)
JP (1) JP5890585B2 (ko)
KR (1) KR101514935B1 (ko)
CN (1) CN104395168B (ko)
WO (1) WO2013162847A1 (ko)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503045A (zh) * 2011-04-27 2014-01-08 丰田自动车株式会社 周边车辆检测装置
US8510200B2 (en) 2011-12-02 2013-08-13 Spireon, Inc. Geospatial data based assessment of driver behavior
US10169822B2 (en) 2011-12-02 2019-01-01 Spireon, Inc. Insurance rate optimization through driver behavior monitoring
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
US9779379B2 (en) 2012-11-05 2017-10-03 Spireon, Inc. Container verification through an electrical receptacle and plug associated with a container and a transport vehicle of an intermodal freight transport system
US8933802B2 (en) 2012-11-05 2015-01-13 Spireon, Inc. Switch and actuator coupling in a chassis of a container associated with an intermodal freight transport system
KR101470104B1 (ko) * 2012-12-27 2014-12-05 현대자동차주식회사 차량의 충돌방지 제어 장치 및 방법
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9070202B2 (en) * 2013-03-14 2015-06-30 Nec Laboratories America, Inc. Moving object localization in 3D using a single camera
US10339711B2 (en) 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US9378644B2 (en) 2013-03-15 2016-06-28 Honda Motor Co., Ltd. System and method for warning a driver of a potential rear end collision
US9393870B2 (en) 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US9251715B2 (en) 2013-03-15 2016-02-02 Honda Motor Co., Ltd. Driver training system using heads-up display augmented reality graphics elements
US9747898B2 (en) 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US9727796B2 (en) * 2013-03-29 2017-08-08 Panasonic Intellectual Property Management Co., Ltd. Parking assistance system and parking assistance method
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
US9779449B2 (en) 2013-08-30 2017-10-03 Spireon, Inc. Veracity determination through comparison of a geospatial location of a vehicle with a provided data
US9156473B2 (en) * 2013-12-04 2015-10-13 Mobileye Vision Technologies Ltd. Multi-threshold reaction zone for autonomous vehicle navigation
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US9406177B2 (en) * 2013-12-20 2016-08-02 Ford Global Technologies, Llc Fault handling in an autonomous vehicle
US20150186991A1 (en) 2013-12-31 2015-07-02 David M. Meyer Creditor alert when a vehicle enters an impound lot
CN104859662B (zh) * 2014-02-20 2019-07-19 福特全球技术公司 自主车辆中的故障处理
CN103996312B (zh) * 2014-05-23 2015-12-09 北京理工大学 具有社会行为交互的无人驾驶汽车控制系统
US20160205656A1 (en) * 2015-01-13 2016-07-14 GM Global Technology Operations LLC Determination of object-to-object position using data fusion techniques
US9551788B2 (en) 2015-03-24 2017-01-24 Jim Epler Fleet pan to provide measurement and location of a stored transport item while maximizing space in an interior cavity of a trailer
US10901415B1 (en) 2015-05-26 2021-01-26 Waymo Llc Non-passenger requests for autonomous vehicles
US9368026B1 (en) 2015-05-26 2016-06-14 Google Inc. Fallback requests for autonomous vehicles
US9959765B2 (en) * 2015-07-20 2018-05-01 Dura Operating Llc System and method for providing alert to a vehicle or an advanced driver assist system based on vehicle dynamics input
CN105083278B (zh) * 2015-07-31 2017-08-04 奇瑞汽车股份有限公司 车辆控制方法及装置
WO2017076439A1 (en) * 2015-11-04 2017-05-11 Telefonaktiebolaget Lm Ericsson (Publ) Method of providing traffic related information and device, computer program and computer program product
KR102149295B1 (ko) * 2015-11-10 2020-08-28 현대자동차주식회사 추월 차선에서의 차량 제어 장치 및 방법
US9829888B2 (en) 2015-11-17 2017-11-28 Ford Global Technologies, Llc Distinguishing lane markings for a vehicle to follow
KR102433791B1 (ko) * 2015-11-20 2022-08-19 주식회사 에이치엘클레무브 차선 이탈 경고 장치 및 방법
CN105427668B (zh) * 2015-11-24 2017-10-10 东南大学 一种确定驾驶人换道行为特性参数的方法和系统
EP3995782A1 (en) * 2016-01-05 2022-05-11 Mobileye Vision Technologies Ltd. Systems and methods for estimating future paths
US10030978B2 (en) * 2016-01-17 2018-07-24 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detection of surrounding vehicle lane departure
US10474964B2 (en) * 2016-01-26 2019-11-12 Ford Global Technologies, Llc Training algorithm for collision avoidance
US10291348B2 (en) 2016-02-02 2019-05-14 Bao Tran Systems and methods for control of drones
US9835709B2 (en) 2016-02-02 2017-12-05 Bao Tran Systems and methods for permission based control of robots
US10034066B2 (en) 2016-05-02 2018-07-24 Bao Tran Smart device
US9802656B1 (en) * 2016-06-07 2017-10-31 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle sensing systems including retractable mounting structures
US9840253B1 (en) * 2016-06-14 2017-12-12 Delphi Technologies, Inc. Lane keeping system for autonomous vehicle during camera drop-outs
JP6997106B2 (ja) * 2016-06-27 2022-01-17 モービルアイ ビジョン テクノロジーズ リミテッド 車両をナビゲートするためのシステム、方法およびコンピュータプログラム
DE102016115705B4 (de) * 2016-08-24 2018-07-12 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren für die Erfassung von Objekten in der Umgebung eines Fahrzeugs
US20180067496A1 (en) * 2016-09-06 2018-03-08 Delphi Technologies, Inc. Automated vehicle lane change control system
US10331142B2 (en) * 2016-09-18 2019-06-25 Eyedog Israel Ltd. Monitoring of vehicle passing maneuver
US10635117B2 (en) 2016-10-25 2020-04-28 International Business Machines Corporation Traffic navigation for a lead vehicle and associated following vehicles
JP6179654B1 (ja) * 2016-11-09 2017-08-16 トヨタ自動車株式会社 車両の制御装置
DE102016224913A1 (de) 2016-12-14 2018-06-14 Robert Bosch Gmbh Verfahren zur selbsttätigen Einstellung der Geschwindigkeit eines Motorrads
CN108248611B (zh) * 2016-12-29 2020-08-25 华为技术有限公司 一种自动驾驶的方法、汽车控制设备、汽车及系统
KR102535540B1 (ko) * 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
KR101941605B1 (ko) * 2017-03-06 2019-04-12 만도헬라일렉트로닉스(주) 추월 보조 시스템 및 그 제어방법
CA3059862A1 (en) 2017-04-12 2018-10-18 Nissan Motor Co., Ltd. Driving control method and driving control device
JP6594375B2 (ja) * 2017-05-31 2019-10-23 本田技研工業株式会社 処理装置、車両、処理方法およびプログラム
US20190027034A1 (en) * 2017-07-19 2019-01-24 Aptiv Technologies Limited Variable steering error limits for automated vehicle control
US10613547B2 (en) * 2017-08-14 2020-04-07 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system
WO2019109262A1 (en) * 2017-12-06 2019-06-13 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for determining new roads on a map
US10467907B2 (en) 2017-12-28 2019-11-05 Bendix Commercial Vehicle Systems Llc Initialization and safety maintenance strategy for platooning vehicles
JP7047482B2 (ja) * 2018-03-09 2022-04-05 株式会社Jvcケンウッド 測長システム、車両連結システム、測長方法、およびプログラム
JP6927132B2 (ja) * 2018-04-17 2021-08-25 株式会社デンソー 運転支援システムおよび方法
JP7096701B2 (ja) * 2018-05-10 2022-07-06 日立Astemo株式会社 撮像装置
US11013340B2 (en) 2018-05-23 2021-05-25 L&P Property Management Company Pocketed spring assembly having dimensionally stabilizing substrate
JP7049188B2 (ja) * 2018-06-04 2022-04-06 本田技研工業株式会社 車両制御装置、車両制御方法およびプログラム
US10909866B2 (en) 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
JP2020029140A (ja) * 2018-08-22 2020-02-27 日立オートモティブシステムズ株式会社 車両制御装置、車両制御方法及び車両制御システム
CN112703540B (zh) * 2018-09-11 2022-06-07 日产自动车株式会社 驾驶辅助方法和驾驶辅助装置
CN109213168A (zh) * 2018-09-19 2019-01-15 甘肃农业大学 一种收获机上的智能安全控制系统
US11827241B2 (en) 2018-10-29 2023-11-28 Motional Ad Llc Adjusting lateral clearance for a vehicle using a multi-dimensional envelope
US10930155B2 (en) * 2018-12-03 2021-02-23 Continental Automotive Systems, Inc. Infrastructure sensor detection and optimization method
FR3089927B1 (fr) * 2018-12-14 2020-11-20 Renault Sas Procédé et dispositif de maintien d’un véhicule dans sa voie.
CN111522003B (zh) * 2019-01-31 2022-11-11 广州汽车集团股份有限公司 车辆定位方法及系统、计算机设备、车辆、存储介质
GB2584618B (en) * 2019-05-23 2022-03-23 Jaguar Land Rover Ltd Disabling navigation data for a vehicle
JP7360269B2 (ja) * 2019-08-01 2023-10-12 株式会社Subaru 車両の走行制御装置
JP6967092B2 (ja) 2020-01-16 2021-11-17 本田技研工業株式会社 自動二輪車
KR102143641B1 (ko) * 2020-02-07 2020-08-11 (주)라인테크 비전센서를 이용한 자동 차선 도색 장치
KR102139342B1 (ko) * 2020-02-07 2020-07-29 (주)라인테크 자동화장비를 이용한 노면 문자 자동 도색장치
US11325603B2 (en) * 2020-02-28 2022-05-10 Toyota Research Institute, Inc. Systems and methods for estimating lane geometry
JP7211397B2 (ja) 2020-05-15 2023-01-24 トヨタ自動車株式会社 他車両表示システム
CN112319465A (zh) * 2020-11-28 2021-02-05 景德镇学院 一种智能驾驶环境感知分析系统
DE102020132607A1 (de) 2020-12-08 2022-06-09 Honda Motor Co., Ltd. Fahrzeug mit verbessertem fahrspurhalteassistenzsystem
US20220185273A1 (en) * 2020-12-16 2022-06-16 Zf Friedrichshafen Ag Vehicle assist system
CN114379552B (zh) * 2021-11-11 2024-03-26 重庆大学 一种基于高精度地图和车载传感器的自适应车道保持控制系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231718A1 (en) 2009-03-12 2010-09-16 Honda Motor Co., Ltd. Lane recognition device

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351044A (en) * 1992-08-12 1994-09-27 Rockwell International Corporation Vehicle lane position detection system
US5572449A (en) * 1994-05-19 1996-11-05 Vi&T Group, Inc. Automatic vehicle following system
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7979172B2 (en) * 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
US20080147253A1 (en) * 1997-10-22 2008-06-19 Intelligent Technologies International, Inc. Vehicular Anticipatory Sensor System
DE19749086C1 (de) * 1997-11-06 1999-08-12 Daimler Chrysler Ag Vorrichtung zur Ermittlung fahrspurverlaufsindikativer Daten
JP2002540495A (ja) * 1999-03-22 2002-11-26 インダクティブ シグナチュアー テクノロジーズ、 インコーポレイテッド 透磁率変調搬送波参照
US6385539B1 (en) * 1999-08-13 2002-05-07 Daimlerchrysler Ag Method and system for autonomously developing or augmenting geographical databases by mining uncoordinated probe data
US6675094B2 (en) * 2000-09-08 2004-01-06 Raytheon Company Path prediction system and method
US6882923B2 (en) * 2002-10-17 2005-04-19 Ford Global Technologies, Llc Adaptive cruise control system using shared vehicle network data
US6930593B2 (en) * 2003-02-24 2005-08-16 Iteris, Inc. Lane tracking system employing redundant image sensing devices
DE10345809A1 (de) * 2003-09-30 2005-04-21 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung und Einstellung des Verkehrssinns
JP4781707B2 (ja) 2005-04-15 2011-09-28 富士重工業株式会社 車両の運転支援装置
KR100781135B1 (ko) * 2005-04-29 2007-11-30 반병철 차량 통신 장치 및 그 제어 방법
US7400236B2 (en) * 2005-10-21 2008-07-15 Gm Global Technology Operations, Inc. Vehicular lane monitoring system utilizing front and rear cameras
JP4721279B2 (ja) * 2006-03-29 2011-07-13 富士重工業株式会社 車線追従支援装置
JP2008149860A (ja) * 2006-12-15 2008-07-03 Toyota Motor Corp 走行制御装置
JP2009220630A (ja) * 2008-03-13 2009-10-01 Fuji Heavy Ind Ltd 車両の走行制御装置
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
JP5300357B2 (ja) * 2008-07-22 2013-09-25 日立オートモティブシステムズ株式会社 衝突防止支援装置
JP5359092B2 (ja) * 2008-07-28 2013-12-04 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
JP5125853B2 (ja) * 2008-07-29 2013-01-23 日産自動車株式会社 走行制御装置、及び走行制御方法
JP5066123B2 (ja) 2009-03-24 2012-11-07 日立オートモティブシステムズ株式会社 車両運転支援装置
JP5375752B2 (ja) * 2009-07-15 2013-12-25 日産自動車株式会社 車両運転支援装置
JP5135321B2 (ja) 2009-11-13 2013-02-06 株式会社日立製作所 自律走行装置
KR101102144B1 (ko) * 2009-11-17 2012-01-02 주식회사 만도 차선 유지 제어 방법 및 시스템
US20110190972A1 (en) 2010-02-02 2011-08-04 Gm Global Technology Operations, Inc. Grid unlock
CN103718061B (zh) * 2011-06-22 2017-04-19 罗伯特·博世有限公司 使用radar和视频的改进的驾驶员辅助系统
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231718A1 (en) 2009-03-12 2010-09-16 Honda Motor Co., Ltd. Lane recognition device

Also Published As

Publication number Publication date
KR20140131601A (ko) 2014-11-13
EP2841316B8 (en) 2017-08-02
JP5890585B2 (ja) 2016-03-22
WO2013162847A1 (en) 2013-10-31
EP3266667A1 (en) 2018-01-10
CN104395168B (zh) 2016-03-02
EP2841316B1 (en) 2017-06-21
CN104395168A (zh) 2015-03-04
US8725342B2 (en) 2014-05-13
US20140018995A1 (en) 2014-01-16
EP3266667B1 (en) 2019-09-25
EP2841316A4 (en) 2016-01-06
EP2841316A1 (en) 2015-03-04
JP2015523256A (ja) 2015-08-13
US8504233B1 (en) 2013-08-06

Similar Documents

Publication Publication Date Title
KR101514935B1 (ko) 다른 차량들과의 안전 거리 유지를 통한 도로 상에서의 안전한 내비게이팅
US11731629B2 (en) Robust method for detecting traffic signals and their associated states
US11507102B2 (en) Actively modifying a field of view of an autonomous vehicle in view of constraints
KR102130630B1 (ko) 센서 폐색을 클리어링하기 위한 방법 및 시스템
US9355562B1 (en) Using other vehicle trajectories to aid autonomous vehicles driving through partially known areas
EP2917082B1 (en) Methods and systems to aid autonomous driving through a lane merge
US9261881B1 (en) Filtering noisy/high-intensity regions in laser-based lane marker detection

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190416

Year of fee payment: 5