KR102042945B1 - 자율 주행 차량을 위한 차로 연석 보조의 차로 이탈 점검 및 차로 유지 시스템 - Google Patents

자율 주행 차량을 위한 차로 연석 보조의 차로 이탈 점검 및 차로 유지 시스템 Download PDF

Info

Publication number
KR102042945B1
KR102042945B1 KR1020187007707A KR20187007707A KR102042945B1 KR 102042945 B1 KR102042945 B1 KR 102042945B1 KR 1020187007707 A KR1020187007707 A KR 1020187007707A KR 20187007707 A KR20187007707 A KR 20187007707A KR 102042945 B1 KR102042945 B1 KR 102042945B1
Authority
KR
South Korea
Prior art keywords
lane
adv
curb
wheel
time point
Prior art date
Application number
KR1020187007707A
Other languages
English (en)
Other versions
KR20180135846A (ko
Inventor
판 쭈
치 콩
치 루오
시앙 유
센 후
?구앙 쭈
시아오신 푸
지아루이 헤
홍예 리
유창 판
쫑푸 시아
천밍 짜오
구앙 양
진가오 왕
Original Assignee
바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
바이두 유에스에이 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드, 바이두 유에스에이 엘엘씨 filed Critical 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
Publication of KR20180135846A publication Critical patent/KR20180135846A/ko
Application granted granted Critical
Publication of KR102042945B1 publication Critical patent/KR102042945B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2422/00—Indexing codes relating to the special location or mounting of sensors
    • B60W2422/70—Indexing codes relating to the special location or mounting of sensors on the wheel or the tire
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/20—Tyre data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/60—Traversable objects, e.g. speed bumps or curbs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/306—Pressure sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

일 실시예에서, 차로 이탈 검출 시스템은 제1 시점에서, 자율 주행 차량(ADV)의 차륜이 상기 ADV가 주행하는 차로의 가장자리에 배치된 차로 연석(lane curb)에 굴러 닿는 것을 검출한다. 시스템은 제2 시점에서, ADV의 차륜이 차로의 차로 연석으로부터 굴러 벗어나는 것을 검출한다. 시스템은 ADV의 현재 속력을 고려해서 제1 시점과 제2 시점 간의 차이에 기초하여 ADV의 이동 방향과 차로의 차로 방향 간의 각도를 계산한다. 그후, ADV의 이동 방향을 조정하여 ADV가 차로의 차로 방향으로부터 더 벗어나는 것을 방지하도록 각도에 기초하여 제어 명령어를 생성한다.

Description

자율 주행 차량을 위한 차로 연석 보조의 차로 이탈 점검 및 차로 유지 시스템
본 발명의 실시예들은 일반적으로 자율 주행 차량을 동작하는 것에 관한 것이다. 특히, 본 발명의 실시예들은 차로 연석 감지에 기초한 차로 이탈 검출에 관한 것이다.
자율 모드(예: 운전자 없이)에서 작동하는 차량에서 탑승자, 특히 운전자는 일부 운전과 관련하여 담당하고 있는 사항들로부터 경담될 수 있다. 자율 모드에서 작동할 때, 차량은 온보드 센서를 사용하여 다양한 위치들로 내비게이트할 수 있고, 그 결과 최소한의 인간과의 상호 작용으로 또는 일부의 경우 승객없이 차량이 이동하는 것이 허용된다.
움직임 계획 및 제어는 자율 주행에 있어서 중요한 동작이다. 자율 주행 차량(ADV, Autonomous Driving Vehicle)이 이동 중인 차로(lane) 내에서 주행하고 그대로 유지하는 것이 중요하다. 그러나, 자율 주행의 인지나 계획이 부정확할 수 있으며 ADV가 차로를 올바르게 따르지 않는다는 것을 검출하지 못할 수도 있다. 특히 차로가 충분히 대비될 수 있도록 표시되어 있지 않은 경우, ADV가 차로를 올바르게 따르지 않는다는 것을 검출하기가 어렵다.
본 개시의 실시예들은 자율 주행 차량을 작동시키기 위한 컴퓨터로 구현된 방법, 비일시적 기계 판독가능한 매체, 및 데이터 처리 시스템을 제공한다.
본 개시의 일 실시예에 따르면, 자율 주행 차량을 작동시키기 위한 컴퓨터로 구현되는 방법은, 제1 시점에서, 자율 주행 차량(ADV, Autonomous Driving Vehicle)의 차륜이 상기 ADV가 주행하는 차로의 가장자리에 배치된 차로 연석(lane curb)에 굴러 닿는 것을 검출하는 단계; 제2 시점에서, 상기 ADV의 차륜이 상기 차로의 차로 연석으로부터 굴러 벗어나는 것을 검출하는 단계; 상기 ADV의 현재 속력을 고려해서 상기 제1 시점과 상기 제2 시점 간의 차이에 기초하여 상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 단계; 및 상기 ADV가 상기 차로의 차로 방향으로부터 더 벗어나는 것을 방지하도록 상기 각도에 기초하여 제어 명령어를 생성하여 상기 ADV의 이동 방향을 조정하는 단계를 포함한다.
본 개시의 다른 실시예에서, 명령어들을 저장하는 비일시적 기계 판독 가능 매체에서 상기 명령어들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금 자율 주행 차량을 작동시키는 동작들을 수행하게 하고, 상기 동작들은, 제1 시점에서, 자율 주행 차량(ADV)의 차륜이 상기 ADV가 주행하는 차로의 가장자리에 배치된 차로 연석에 굴러 닿는 것을 검출하는 동작; 제2 시점에서, 상기 ADV의 차륜이 상기 차로의 차로 연석으로부터 굴러 벗어나는 것을 검출하는 동작; 상기 ADV의 현재 속력을 고려해서 상기 제1 시점과 상기 제2 시점 간의 차이에 기초하여 상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 동작; 및 상기 ADV가 상기 차로의 차로 방향으로부터 더 벗어나는 것을 방지하도록 상기 각도에 기초하여 제어 명령어를 생성하여 상기 ADV의 이동 방향을 조정하는 동작을 포함한다.
본 개시의 또 다른 실시예에서, 데이터 처리 시스템은프로세서; 및 상기 프로세서에 결합되어 명령어들을 저장하는 메모리를 포함하고, 상기 명령어들은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금 동작들을 수행하게 하며, 상기 동작들은, 제1 시점에서, 자율 주행 차량(ADV)의 차륜이 상기 ADV가 주행하는 차로의 가장자리에 배치된 차로 연석에 굴러 닿는 것을 검출하는 동작; 제2 시점에서, 상기 ADV의 차륜이 상기 차로의 차로 연석으로부터 굴러 벗어나는 것을 검출하는 동작; 상기 ADV의 현재 속력을 고려해서 상기 제1 시점과 상기 제2 시점 간의 차이에 기초하여 상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 동작; 및 상기 ADV가 상기 차로의 차로 방향으로부터 더 벗어나는 것을 방지하도록 상기 각도에 기초하여 제어 명령어를 생성하여 상기 ADV의 이동 방향을 조정하는 동작을 포함한다.
본 개시의 또 다른 실시예에서, 자율 주행 차량을 작동시키기 위한 컴퓨터로 구현되는 방법은, 제1 시점에서, 자율 주행 차량(ADV)의 제1 차륜이 상기 ADV가 주행하는 차로의 가장자리에 배치된 차로 연석에 접촉하는 것을 검출하는 단계; 제2 시점에서, 상기 ADV의 제2 차륜이 상기 차로의 차로 연석에 접촉하는 것을 검출하는 단계; 상기 ADV의 현재 속력을 고려해서 상기 제1 시점과 상기 제2 시점 간의 차이에 기초하여 상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 단계; 및 상기 ADV가 상기 차로의 차로 방향으로부터 더 벗어나는 것을 방지하도록 상기 각도에 기초하여 제어 명령어를 생성하여 상기 ADV의 이동 방향을 조정하는 단계를 포함한다.
본 발명의 실시예들은 유사한 참조 번호가 유사한 요소들을 나타내는 첨부된 도면들의 도면들에서 예시로서 설명되고 이에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 네트워크 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 자율 주행 차량의 예를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따라 자율 주행 차량과 함께 사용되는 인지 및 계획 시스템의 예를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따라 자율 주행 차량의 차로 이탈을 검출하고 보정하는 처리 흐름을 나타내는 처리 흐름도이다.
도 5는 차량이 차로 연석과 접촉하는 전형적인 시나리오를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 이동 방향과 차로 방향 간의 차이를 판정하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 자율 주행 차량을 작동시키는 프로세스를 나타내는 흐름도이다.
도 8은 본 발명의 다른 실시예에 따라 이동 방향과 차로 방향 간의 차이를 판정하기 위한 도면이다.
도 9는 본 발명의 다른 실시예에 따라 자율 주행 차량이 작동하는 과정을 나타내는 흐름도이다.
도 10은 일 실시예에 따른 데이터 처리 시스템을 나타내는 블록도이다.
본 발명의 다양한 실시예들은 이하 논의될 상세한 사항들을 참조하여 설명될 것이고, 첨부 도면들은 다양한 실시예들을 설명할 것이다. 이하의 개시 및 도면은 본 발명을 예시하고 본 발명을 제한하는 것으로 해석되어서는 안된다. 다수의 특정 상세한 사항들이 본 발명의 다양한 실시예들의 완전한 이해를 제공하기 위해 설명된다. 그러나, 어떤 경우에는, 본 발명들의 실시예들에 대한 간결한 설명을 제공하기 위해 잘 알려진 또는 종래의 상세한 사항들은 설명되지 않는다.
명세서에서의 "일 실시예"또는 "실시예"의 언급은 본 실시예와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있다는 것을 의미한다. 명세서의 다양한 부분들에서 "일 실시예에서"라는 문구의 출현은 동일한 실시예를 모두 반드시 지칭하는 것은 아니다.
일부 실시예에 따르면, 차로 이탈 검출 시스템은 ADV가 차로의 가장자리에, 차로의 갓길에, 또는 차로들 사이에 배치된 차로 연석(lane curb)과 접촉할 때 캡쳐된 센서 데이터에 기초하여 ADV가 주행 중인 차로로부터 이탈하고 있음을 검출하도록 구성된다. ADV가 차로 연석과 접촉할 때, 차로 이탈 검출 시스템은 ADV의 속력을 고려해서 접촉의 타이밍에 기초하여 ADV의 이동 방향과 차로의 차로 방향 간의 각도를 검출 및 계산한다. 각도에 기초하여, 시스템은 ADV의 이동 방향이 차로의 차로 방향과 비교하여 얼마나 벗어 났는지를 계산한다. 차로 방향은 일반적으로 차로 연석의 종방향(longitudinal)의 축 또는 방향, 차로의 가장자리 또는 차로들 사이에 배치된 차로 연석의 차로 연석 세그먼트들의 어레이의 분배선 또는 패턴과 실질적으로 평행하다. 속력 제어 명령어 및/또는 조향 제어 명령어과 같은 제어 명령어는 ADV의 이동 방향을 보정하기 위해 ADV가 차로로부터 이탈한 각도 및/또는 거리에 기초하여 생성된다.
본 발명의 일 실시예에서, 차로 이탈 검출 시스템은 제1 시점에서 ADV의 차륜이 ADV가 이동하는 차로의 가장자리에 배치된 차로 연석에 굴러 닿는 것을 검출한다. 시스템은 제2 시점에서, ADV의 동일한 차륜이 차로의 차로 연석을 굴러 벗어나는 것을 검출한다. 굴러 닿는 때와 굴러 벗어날 때의 접촉은 타이어 압력 센서 또는 움직임 센서와 같은 차륜과 관련된 센서를 사용하여 검출된다. 차륜은 ADV의 차륜들 중 임의의 하나, 전륜 또는 후륜일 수 있다. 시스템은 ADV의 현재 속력을 고려해서 제1 시점과 제2 시점 간의 시간차에 기초하여 ADV의 이동 방향과 차로의 차로 방향 간의 각도를 계산한다. 그후, 시스템은 ADV의 이동 방향을 조정하여 ADV가 차로의 차로 방향으로부터 더 벗어나는 것을 방지하도록 각도에 기초하여 제어 명령어(예 : 속력 제어 명령어, 조향 제어 명령어)를 생성한다.
일 실시예에 따르면, 각도 계산 시, 차로의 차로 방향에 수직인 거리가 제1 시점으로부터 제2 시점까지 계산된다. 그러한 거리는 ADV의 횡방향의 이동 거리(lateral moving distance)라고도 한다. 그후, 각도가 제1 시점과 제2 시점 간의 시간차를 고려해서 ADV의 거리 및 현재 속력에 기초하여 계산된다. 차로 방향에 수직인 거리는 차륜의 차륜 폭 및 차로 연석의 연석 폭에 기초하여 계산될 수 있다. 차륜 폭은 차륜의 사양에 따라 결정될 수 있다. 차로 연석의 연석 폭은 카메라에 의해 캡쳐된 차로의 이미지와 같은 차로 연석을 인지하는 인지 데이터에 기초하여 판정될 수있다.
본 발명의 다른 실시예에 따르면, 차로 이탈 검출 시스템은 ADV의 제1 차륜이 ADV가 이동하는 차로의 가장자리에 배치된 차로 연석과 접촉하는 것을 제1 시점에서 검출한다. 시스템은 ADV의 제2 차륜이 차로의 차로 연석과 접촉하는 것을 제2 시점에서 검출한다. 제1 차륜과 차로 연석 간의 접촉은 타이어 압력 센서 또는 움직임 센서와 같은 제1 차륜과 관련된 센서를 사용하여 검출된다. 제2 차륜과 차로 연석 간의 접촉은 타이어 압력 센서 또는 움직임 센서와 같은 제2 차륜과 관련된 센서를 사용하여 검출된다. 제1 차륜과 제2 차륜은 서로 다른 차륜일 수 있고, 한 쌍의 전륜 또는 후륜과 같이 ADV 차륜들 중 임의의 하나 일 수 있다. 시스템은 ADV의 현재 속력을 고려해서 제1 시점과 제2 시점 간의 시간차에 기초하여 ADV의 이동 방향과 차로의 차로 방향 간의 각도를 계산한다. 그후, 시스템은 ADV가 차로의 차로 방향으로부터 더 멀리 벗어나는 것을 방지하기 위하여 각도에 기초하여 ADV의 이동 방향을 조정하기 위한 제어 명령어(예 : 속력 제어 명령어, 조향 제어 명령어)를 생성한다.
일 실시예에 따르면, 각도 계산 시, 제1 차륜과 제2 차륜 간의 제1 거리가 판정된다. 제1 거리는 제1 차륜과 제2 차륜을 연결하는 축의 길이가 될 수 있다. ADV가 차로의 차로 방향에 수직으로 이동한 제2 거리(예를 들어, 횡방향의 이동 거리)는 ADV의 현재의 속력을 고려해서 제1 시점과 제2 시점 간의 시간차에 기초하여 결정된다. 그후, 각도는 제1 거리와 제2 거리 사이의 사인 곡선 관계(sinusoidal relationship)에 기초하여 계산된다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 차량 네트워크 구성을 나타내는 블록도이다. 도 1을 참조하면, 네트워크 구성(100)은 네트워크(102)를 통해 하나 이상의 서버(103-104)와 통신 가능하게 결합될 수 있는 자율 차량(101)을 포함한다. 하나의 자율 주행 차량이 도시되어 있지만, 다수의 자율 주행 차량이 서로 연결될 수 있고/있거나 네트워크(102)를 통해 서버(103, 104)와 연결될 수 있다. 네트워크(102)는 근거리 통신망(LAN), 인터넷, 셀룰러 네트워크, 위성 네트워크 또는 이들의 조합과 같은 광역 네트워크(WAN), 유선 또는 무선과 같은 임의의 유형의 네트워크일 수 있다. 서버(들)(103, 104)는 웹 또는 클라우드 서버, 애플리케이션 서버, 백엔드 서버, 또는 이들의 조합과 같은 임의의 종류의 서버 또는 서버 클러스터일 수 있다. 서버(103, 104)는 데이터 분석 서버, 콘텐츠 서버, 교통 정보 서버, 지도 및 관심 지점(MPOI, map and point of interest) 서버 또는 위치 서버 등일 수 있다.
자율 주행 차량은 차량이 운전자로부터의 입력이 거의 또는 전혀 없는 환경 속에서도 항해하는 자율 주행 모드에서 구성될 수 있는 차량을 나타낸다. 그러한 자율 주행 차량은 차량이 작동하는 환경에 관한 정보를 검출하도록 구성된 하나 이상의 센서를 가지는 센서 시스템을 포함할 수있다. 차량 및 그것의 관련 컨트롤러(들)는 검출된 정보를 사용하여 환경 속에서 항해한다. 자율 주행 차량(101)은 수동 모드, 완전 자율 모드 또는 부분 자율 모드에서 작동할 수 있다.
일 실시예에서, 자율 주행 차량(101)은 인지 및 계획 시스템(110), 차량 제어 시스템(111), 무선 통신 시스템(112), 사용자 인터페이스 시스템(113), 인포테인먼트 시스템 및 센서 시스템(115)을 포함하지만, 이에 제한되지 않는다. 자율 주행 차량(101)은 예를 들어, 가속 신호 또는 명령어, 감속 신호 또는 명령어, 조종 신호 또는 명령어, 제동 신호 또는 명령어 등과 같은 다양한 통신 신호 및/또는 명령어를 사용하여 차량 제어 시스템(111) 및/또는 인지 및 계획 시스템(110)에 의해 제어될 수 있는 엔진, 차륜, 스티어링 차륜, 변속기 등과 같은 일반 차량에 포함된 특정 공통 구성 요소를 더 포함할 수 있다.
구성요소(110-115)는 인터커넥트(interconnect), 버스, 네트워크, 또는 이들의 조합을 통해 서로 통신 가능하게 결합될 수 있다. 예를 들어, 구성요소들(110-115)은 제어기 영역 네트워크(CAN) 버스를 통해 서로 통신 가능하게 결합될 수 있다. CAN 버스는 호스트 컴퓨터 없이 응용 프로그램에서 마이크로 컨트롤러와 장치가 서로 통신할 수 있도록 설계된 차량 버스 표준이다. 이는 메시지 기반의 프로토콜로서, 원래는 자동차 내의 멀티 플렉스 전기 배선을 위해 설계되었지만 다른 많은 환경(context)에서도 사용된다.
도 2를 참조하면, 일 실시예에서, 센서 시스템(115)은 하나 이상의 카메라(211), GPS(global positioning system) 유닛(212), IMU(inertial measurement unit)(213), 레이더 유닛(214), LIDAR(light detection and range) 유닛(215)을 포함하지만, 이에 제한되지 않는다. GPS 시스템(212)은 자율 주행 차량의 위치에 관한 정보를 제공하도록 동작 가능한 송수신기를 포함할 수 있다. IMU(213)는 관성 가속력에 기초하여 자율 주행 차량의 위치 및 방향 변화를 감지할 수 있다. 레이더 유닛(214)는 무선 신호를 이용하여 자율 주행 차량의 로컬 환경 내의 물체를 감지하는 시스템을 나타낼 수 있다. 일부 실시예에서, 물체를 감지하는 것에 추가하여, 레이더 유닛(214)은 물체의 속력 및/또는 진로(heading)를 추가로 감지할 수 있다. LIDAR 유닛(215)은 레이저를 사용하여 자율 주행 차량이 위치하는 환경 내의 물체를 감지할 수 있다. LIDAR 유닛(215)은 다른 시스템 구성 요소들 중에서 하나 이상의 레이저 소스, 레이저 스캐너, 및 하나 이상의 검출기를 포함할 수 있다. 카메라(211)는 자율 주행 차량의 주변 환경의 이미지를 캡쳐하기 위한 하나 이상의 장치를 포함할 수 있다. 카메라(211)는 스틸 카메라 및/또는 비디오 카메라일 수 있다. 카메라는 예를 들어, 카메라를 회전 및/또는 틸팅(tilting) 플랫폼 상에 장착함으로써, 기계적으로 이동 가능할 수 있다.
센서 시스템(115)은 소나(sonar) 센서, 적외선 센서, 스티어링 센서, 스로틀(throttle) 센서, 제동 센서 및 오디오 센서(예: 마이크로폰)와 같은 다른 센서를 더 포함할 수 있다. 오디오 센서는 자율 주행 차량의 주변 환경에서 소리를 캡쳐하도록 구성될 수 있다. 스티어링 센서는 스티어링 차륜(steering wheel)의 스티어링 각도, 차량의 차륜(wheel) 또는 이들의 조합을 감지하도록 구성될 수 있다. 스로틀 센서 및 제동 센서는 차량의 스로틀 위치 및 제동 위치를 각각 감지한다. 일부 상황에서, 스로틀 센서와 제동 센서가 통합된 스로틀/제동 센서로 통합될 수 있다.
일 실시예에서, 센서 시스템(115)은 하나 이상의 타이어 압력 센서(216) 및/또는 하나 이상의 움직임 센서(217)를 더 포함한다. 타이어 압력 센서(216)의 각각은 차량의 차륜 중 하나의 타이어 공기압을 감지 및 측정하도록 구성된다. 일 실시예에서, ADV의 차륜의 각각은 타이어 압력 센서 및/또는 움직임 센서와 관련된다. 그러한 센서는 대응하는 차륜 근처, 예를 들어 차륜과 관련된 서스펜션 조인트 근처에 배치되거나 장착될 수 있다. 따라서, ADV의 차륜이 차로 연석과 접촉할 때, ADV의 차륜들 중 어느 차륜이 차로 연석과 접촉하는지 정확하게 판정될 수 있다. 또한, 차륜이 차로 연석에 굴러 닿거나(roll onto) 차로 연석과 닿는지(engage with) 또는 차로 연석으로부터 굴러 벗어나거나(roll off) 차로 연석으로부터 떨어지는지(disengage from) 검출할 수 있다.
차량의 타이어 공기압의 갑작스런 변화는 차륜이 차로 연석과 접촉하거나 차로 연석에 굴러 닿거나 굴러 벗어났을 때 차량에 가해진 충격을 비례하여 나타낸다. 움직임 센서(217)의 각각은 차륜 또는 ADV에 의해 발생된 움직임량을 감지 및 측정하도록 구성된다. 검출된 갑작스런 움직임의 양은 ADV가 차로 연석과 접촉하는지 여부 또는 차로 연석에 굴러 닿거나 굴러 벗어나는지를 판정하는데 이용될 수 있다. 일 실시예에서, 움직임 센서는 각각의 차륜 또는 각 차륜와 관련된 서스펜션 조인트 근처에 위치될 수있다. 타이어 공기압 데이터 및 움직임 센서 데이터는 대응 차륜이 차로 연석과 접촉했는지 또는 차로 연석에 굴러 닿거나 굴러 벗어나는지 판정하기 위해 조합될 수 있다.
일 실시예에서, 차량 제어 시스템(111)은 스티어링 유닛(201), 스로틀 유닛 (202)(가속 유닛으로도 지칭됨) 및 제동 유닛(203)를 포함하지만, 이에 제한되지 않는다. 스티어링 유닛(201)은 차량의 방향 또는 진로(heading)을 조정하기 위한 것이다. 스로틀 유닛(202)는 차량의 속력 및 가속력을 차례로 제어하는 모터 또는 엔진의 속력을 하기 위한 것이다. 제동 유닛(203)은 마찰을 제공하여 차량의 차륜 또는 타이어를 감속시킴으로써 차량을 감속시키기 위한 것이다. 도 2에 도시된 바와 같은 구성요소들은 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다.
도 1을 다시 참조하면, 무선 통신 시스템(112)은 자율 주행 차량(101)과 장치들, 센서들, 다른 차량들 등과 같은 외부 시스템 간의 통신을 가능하게 하기 위한 것이다. 예를 들어, 무선 통신 시스템(112)은 하나 이상의 장치들과 무선으로 직접 통신하거나 또는, 네트워크(102)를 통한 서버(103, 104)와 같이, 통신 네트워크를 통해 통신할 수 있다. 무선 통신 시스템(112)은 임의의 셀룰러 통신 네트워크 또는 무선 근거리 통신망(WLAN)을 사용할 수 있으며, 예를 들어, WiFi를 이용하여 다른 구성 요소 또는 시스템과 통신할 수 있다. 무선 통신 시스템(112)은, 예를 들어, 적외선 링크, 블루투스 등을 이용하여 장치(예를 들어, 승객의 모바일 장치, 디스플레이 장치, 차량(101) 내의 스피커)와 직접 통신할 수 있다. 사용자 인터페이스 시스템(113)은, 예를 들어, 키워드, 터치 스크린 디스플레이 장치, 마이크로폰 및 스피커 등을 포함하는 차량(101) 내에 구현된 주변 장치들의 일부일 수 있다.
특히 자율 주행 모드에서 동작할 때, 자율 주행 차량(101)의 일부 또는 모든 기능은 인지 및 계획 시스템(110)에 의해 제어되거나 관리될 수 있다. 인지 및 계획 시스템(110)은 센서 시스템(115), 제어 시스템(111), 무선 통신 시스템(112) 및/또는 사용자 인터페이스 시스템(113)으로부터 정보를 수신하고, 수신된 정보를 처리하고, 출발점에서 목적지 지점까지의 루트 또는 경로를 계획하고 나서, 계획 및 제어 정보에 기초하여 차량(101)을 구동시키기 위해 필요한 하드웨어(예: 프로세서, 메모리, 저장 장치) 및 소프트웨어(예: 운영체제, 계획 및 라우팅 프로그램)를 포함한다. 이와 달리, 인지 및 계획 시스템(110)은 차량 제어 시스템(111)과 통합될 수 있다.
예를 들어, 승객으로서의 사용자는, 예를 들어, 사용자 인터페이스를 통해 여행의 출발 위치 및 목적지를 지정할 수 있다. 인지 및 계획 시스템(110)은 여행 관련 데이터를 획득한다. 예를 들어, 인지 및 계획 시스템(110)은 서버(103, 104)의 일부일 수 있는 MPOI 서버로부터 위치 및 루트 정보를 획득할 수 있다. 위치 서버는 위치 서비스를 제공하며 MPOI 서버는 지도 서비스와 특정 위치의 POI를 제공한다. 이와 달리, 그러한 위치 및 MPOI 정보는 인지 및 계획 시스템(110)의 영구 저장 장치에 국부적으로 캐시될 수 있다.
자율 주행 차량(101)이 루트를 따라 이동하는 동안, 인지 및 계획 시스템(110)은 또한 교통 정보 시스템 또는 서버(TIS)로부터 실시간 교통 정보를 얻을 수 있다. 서버(103-104)는 제3자 엔티티에 의해 동작될 수 있다. 이와 달리, 서버들(103-104)의 기능들은 인지 및 계획 시스템(110)과 통합될 수 있다. 센서 시스템(115)(예를 들어, 장애물, 물체, 주변 차량)에 의해 검출 또는 감지된 실시간 로컬 정보뿐만 아니라 실시간 교통 정보, MPOI 정보 및 위치 정보에 기초하여, 인지 및 계획 시스템(110)은 최적의 루트를 계획할 수 있으며, 주행 차량(101)을, 예를 들면, 제어 시스템(111)을 통해 특정 목적지에 안전하고 효율적으로 도달시키기 위해 계획된 루트에 따르도록 계획할 수 있다.
서버(103)는 다양한 클라이언트에 대한 데이터 분석 서비스를 수행하기 위한 데이터 분석 시스템일 수 있다. 일 실시예에서, 데이터 분석 시스템(103)은 데이터 수집기(121) 및 머신 러닝 엔진(122)을 포함한다. 데이터 수집기(121)는 다양한 차량, 자율 주행 차량 또는 인간 운전자에 의해 구동되는 정규 차량으로부터 주행 통계(123)를 수집한다. 주행 통계(123)는 발생된(issued) 구동 명령어(예: 스로틀, 브레이크, 조향 명령어) 및 상이한 시점에서 차량의 센서에 의해 캡쳐된 차량의 응답(예: 속력, 가속력, 감속력, 방향)을 나타내는 정보를 포함한다. 주행 통계(123)는, 예를 들어, 루트(출발 및 도착 위치 포함), MPOI, 도로 상태, 날씨 조건 등과 같이 시간 상의 상이한 시점에서 주행 환경을 설명하는 정보를 더 포함할 수 있다.
주행 통계(123)에 기초하여, 머신 러닝 엔진(122)은 다양한 목적을 위해 규칙, 알고리즘 및/또는 예측 모델(124)의 세트를 생성 또는 훈련시킨다. 일 실시예에서, 알고리즘(124)은 ADV의 이동 방향과 ADV가 이동하는 차로의 차로 방향 간의 각도를 계산하는 알고리즘을 포함한다. 각도는 ADV의 물리적 차원(예 : 두 개의 전륜들 또는 후륜들 간의 거리, 하나의 전륜과 하나의 후륜 간의 거리)을 고려해서 계산될 수 있다. 그러한 각도는 ADV가 차로를 벗어나는지의 여부를 결정하는데 사용되며 그러한 차로 이탈을 보정하기 위해 적절한 제어 조치가 취해질 수 있다. 그후, 알고리즘(124)은 잠재적인 차로 이탈을 검출하기 위해 실시간으로 이용되도록 ADV 상에 업로드된다.
도 3은 본 발명의 일 실시예에 따른 자율 주행 차량과 함께 사용되는 인지 및 계획 시스템의 예를 설명하는 블록도이다. 시스템(300)은 도 1의 자율 차량(101)의 일부로서 구현될 수 있으며, 인지 및 계획 시스템(110), 제어 시스템(111) 및 센서 시스템(115)을 포함하지만 이에 제한되지 않으며, 도 3을 참조하면, 인지 및 계획 시스템(110)은 로컬라이제이션 모듈(301, localization module), 인지 모듈(302), 결정 모듈(303), 계획 모듈(304), 제어 모듈(305) 및 차로 이탈 검출기 또는 모니터(306)를 포함한다.
모듈들(301-306)의 일부 또는 전부는 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 이러한 모듈은 영구 저장 장치(352)에 설치되고, 메모리(351)에 로드되며, 하나 이상의 프로세서(미도시)에 의해 실행될 수 있다. 이러한 모듈 중 일부 또는 전부는 도 2의 차량 제어 시스템(111)의 일부 또는 모든 모듈과 통신 가능하게 결합되거나 통합 될 수 있다. 모듈들(301-306) 중 일부는 통합 모듈로서 함께 통합 될 수 있다.
로컬라이제이션 모듈(301)은 자율 주행 차량(300)의 현재 위치를 판정하고(예를 들어, GPS 유닛(212)을 레버리지함) 사용자의 여행 또는 루트와 관련된 임의의 데이터를 관리한다. 로컬라이제이션 모듈(301)(맵 및 루트 모듈이라고도 함)은 사용자의 여행 또는 루트와 관련된 임의의 데이터를 관리한다. 사용자는 예를 들어, 사용자 인터페이스를 통해 로그인하여 여행의 출발 위치 및 목적지를 지정할 수 있다. 로컬라이제이션 모듈(301)은 지도 및 루트 정보(311)와 같은 자율 주행 차량(300)의 다른 구성 요소와 통신하여 여행 관련 데이터를 획득한다. 예를 들어, 로컬라이제이션 모듈(301)은 위치 서버 및 지도 및 POI(MPOI) 서버로부터 위치 및 루트 정보를 획득할 수 있다. 위치 서버는 위치 서비스를 제공하고 MPOI 서버는 지도 및 루트 정보(311)의 일부로 캐시될 수 있는 지도 서비스 및 특정 위치의 POI를 제공한다. 자율 주행 차량(300)이 루트를 따라 이동하는 동안, 지역화 모듈(301)은 교통 정보 시스템 또는 서버로부터 실시간 교통 정보를 또한 얻을 수 있다.
센서 시스템(115)에 의해 제공된 센서 데이터 및 로컬라이제이션 모듈(301)에 의해 획득된 지역화 정보에 기초하여, 주변 환경의 인지는 인지 모듈(302)에 의해 판정된다. 인지 정보(perception information)는 일반 운전자가 운전자가 주행하는 차량 주위를 인지하는 것을 나타낼 수 있다. 인지(perception)에는 차로 구성(예: 직선 또는 곡선 차로), 신호등 신호, 다른 차량의 상대적 위치, 보행자, 건물, 횡단 보도 또는 기타 교통 관련 표지판(예 : 정지 표지판, 양보 표지) 등, 예컨대 물체의 형태의 것들을 포함할 수 있다.
인지 모듈(302)은 자율 주행 차량의 환경의 물체 및 / 또는 특징을 식별하기 위해 하나 이상의 카메라에 의해 캡쳐된 이미지를 처리 및 분석하는 컴퓨터 비전 시스템 또는 컴퓨터 비전 시스템의 기능을 포함할 수 있다. 물체는 교통 신호, 도로 경계, 다른 차량, 보행자 및/또는 장애물 등을 포함할 수 있다. 컴퓨터 비전 시스템은 물체 인식 알고리즘, 비디오 추적(tracking) 및 다른 컴퓨터 비전 기술을 사용할 수 있다. 일부 실시예에서, 컴퓨터 비전 시스템은 환경을 매핑하고, 물체를 추적하고, 물체의 속력을 추정할 수 있다. 인지 모듈(302)은 또한 레이더 및/또는 LIDAR와 같은 다른 센서에 의해 제공된 다른 센서 데이터에 기초하여 물체를 검출할 수 있다.
각각의 물체들에 대해, 결정 모듈(303)은 물체를 다루는 방법에 관한 결정을 한다. 예를 들어, 특정 물체(예를 들어, 교차 루트에 있는 다른 차량)뿐만 아니라 물체를 기술하는 메타 데이터(예를 들어, 속력, 방향, 선회 각도)에 대해서, 결정 모듈(303)은 물체를 어떻게 만나게 될지(예: 추월하다, 양보하다, 정지하다, 통과하다)를 결정한다. 결정 모듈(303)은 영구 저장 장치(352)에 저장될 수 있는 교통 규칙 또는 운전 규칙(312)과 같은 규칙 세트에 따라 그러한 결정을 할 수 있다.
인지된 물체의 각각에 대한 결정에 기초하여, 계획 모듈(304)은 자율 주행 차량에 대한 경로 또는 루트뿐만 아니라 주행 파라미터(예: 거리, 속력 및 / 또는 선회 각도)를 계획한다. 즉, 주어진 물체에 대해, 결정 모듈(303)은 물체에 대한 처리하는 것을 결정하는 반면, 계획 모듈(304)은 그것을 어떻게 수행할 지를 결정한다. 예를 들어, 주어진 물체에 대해, 결정 모듈(303)은 물체를 지나가는 것을 결정할 수 있는 반면, 계획 모듈(304)은 물체의 좌측 또는 우측으로 지나갈지를 결정할 수 있다. 계획 및 제어 데이터는 계획 모듈(304)에 의해 생성되고, 차량(300)이 후속 이동 사이클(예를 들어, 후속 루트/경로 세그먼트)에서 어떻게 움직이는지를 기술하는 정보를 포함한다. 예를 들어, 계획 및 제어 데이터는 차량(300)이 시속 30 마일(mph)의 속력로 10 m 이동 한 다음 시속 25 마일의 속력로 우측 차로로 변경하도록 지시할 수 있다.
계획 및 제어 데이터에 기초하여, 제어 모듈(305)은 계획 및 제어 데이터에 의해 정의된 루트 또는 경로에 따라 차량 제어 시스템(111)에 적절한 명령어 또는 신호를 전송함으로써, 자율 주행 차량을 제어 및 구동한다. 계획 및 제어 데이터는 경로 또는 루트에서 다른 시점에서의 적절한 차량 설정 또는 운전 매개 변수(예 : 스로틀, 제동 및 선회 명령어)를 사용하여 루트 또는 경로의 첫 번째 지점에서 두 번째 지점까지의 차량을 운전하는데에 충분한 정보를 포함한다.
일 실시예에서, 계획 단계는 다수의 계획 사이클 또는 명령 사이클, 예를 들어 100 밀리초(ms)의 시간 간격마다 수행된다. 계획 사이클 또는 명령 사이클 각각에 대해 하나 이상의 제어 명령어가 계획 및 제어 데이터를 기반으로 발행된다. 즉, 매 100ms마다, 계획 모듈(304)은 후속 루트 세그먼트 또는 경로 세그먼트를 계획하며, 후속 루트 세그먼트 또는 경로 세그먼트는 예컨대 목표 위치 및 ADV가 목표 위치에 도달하는데 필요한 시간을 포함할 수 있다. 대안적으로, 계획 모듈(304)은 특정 속력, 방향, 및/또는 조향각 등을 추가로 특정할 수 있다. 일 실시예에서, 계획 모듈(304)은 예컨대 5 초와 같은 소정의 후속 기간 동안 루트 세그먼트 또는 경로 세그먼트를 계획한다. 각 계획 사이클에 대해, 계획 모듈(304)은 이전 사이클에서 계획된 목표 위치에 기초하여 현재 사이클(예를 들어, 다음 5 초)에 대한 목표 위치를 계획한다. ADV의 현재 실제 위치가 이전 계획 사이클에 의해 계획된 목표 위치와 현저히 다른 경우, 계획 모듈(304)은 이전 계획 사이클의 목표 위치 대신에 ADV의 실제 위치에 기초하여 후속 세그먼트를 다시 계획해야 할 수도 있다. 그후, 제어 모듈(305)은 현재 사이클의 계획 및 제어 데이터에 기초하여 하나 이상의 제어 명령어(예를 들어, 스로틀, 브레이크, 조향 제어 명령어)을 발생시킨다.
결정 모듈(303) 및 계획 모듈(304)은 통합 모듈로 통합될 수 있다. 결정 모듈(303) / 계획 모듈(304)은 자율 차량에 대한 주행 경로를 결정하기 위해 내비게이션 시스템 또는 네비게이션 시스템의 기능을 포함할 수 있다. 예를 들어, 네비게이션 시스템은 일련의 속력 및 방향 표지를 결정하여, 인지한 장애물을 실질적으로 피하는 경로를 따라 자율 주행 차량을 이동시키면서, 최종 목적지에 이르는 도로 기반 경로를 따라 자율 주행 차량을 전진시킨다. 목적지는 사용자 인터페이스 시스템(113)을 통해 사용자 입력에 따라 설정될 수 있다. 내비게이션 시스템은 자율 주행 차량이 운행하는 동안 주행 경로를 동적으로 업데이트할 수 있다. 네비게이션 시스템은 자율 주행 차량을 위한 주행 경로를 결정하기 위해 GPS 시스템 및 하나 이상의 지도로부터의 데이터를 포함할 수 있다.
결정 모듈(303) / 플래닝 모듈(304)은 자율 주행 차량의 환경에서의 잠재적 장애물을 식별, 평가 및 회피하거나 협상하기 위한 충돌 회피 시스템 또는 충돌 회피 시스템의 기능을 더 포함할 수 있다. 예를 들어, 충돌 회피 시스템은 제어 시스템(111)의 하나 이상의 서브 시스템을 작동시켜 급회전 기동, 선회 기동, 제동 기동 등을 함으로써 자율 주행 차량의 주행에 변화를 줄 수 있다. 충돌 회피 시스템은 주변 교통 패턴, 도로 상태 등에 기초하여 잠재적인 장애물을 회피하는 기동을 자동으로 결정할 수 있다. 충돌 회피 시스템은 급회전하려는 자율 주행 차량의 주변 지역에 있는 자동차, 건설 차벽 등을 다른 센서 시스템이 감지할 때, 급회전 기동이 이루어지지 않도록 구성될 수 있다. 충돌 회피 시스템은 자율 주행 차량 탑승자의 안전을 극대화 가능한 기동을 선택할 수 있다. 충돌 회피 시스템은 자율 주행 차량의 승객 객실에서의 가속력이 최소로 발생할 것으로 예상되는 회피 기동을 선택할 수 있다.
차로 이탈 검출기 또는 검출 모듈(306)은 ADV가 이동하는 차로에서 이탈하는지 여부를 검출하도록 구성된다. 일 실시예에서, 차로 이탈 검출기(306)는 도 2의 타이어 압력 센서(216) 및 / 또는 움직임 센서(217)와 같은 하나 이상의 센서에 결합되어, ADV가 예를 들어 갓길, 차로 경고 지역, 또는 차로 간의 차로 구획과 같은 차로의 가장자리에 배치된 차로 연석과 접촉하는 것에 대한 응답으로, 갑작스러운 충격이나 진동을 겪었는지를 검출한다. 이러한 갑작스로운 충격이나 진동에 응답하여, 차로 이탈 검출기(306)는 그 시점에서 ADV의 이동 방향과 차로의 차로 방향 간의 각도를 결정한다. 해당 각도는 ADV의 이동 방향이 차로의 차로 방향에 비해 얼마나 벗어났는지(예컨대, 이동 방향과 차로 방향 간의 차이)를 나타낸다. 각도에 기초하여, 계획 모듈(304) 및 / 또는 제어 모듈(305)은 이동 방향의 보정이 필요한지 여부를 결정할 수 있고, 보정이 필요한 경우 새로운 제어 명령어가 생성되고 ADV에 발행되어 ADV의 이동 방향을 보정한다.
일 실시예에서, ADV의 이동 방향의 보정은 이동 방향과 차로 방향 간의 차이를 나타내는 각도가 소정의 임계값보다 큰 경우 필요하다. 소정의 임계값은 다양한 차량으로부터 일정 기간에 걸쳐 수집된 많은 양의 주행 통계에 기초하여 오프라인으로 데이터 분석 시스템(예를 들어, 데이터 분석 시스템(103))에 의해 결정되고 구성될 수있다. 그와 같은 소정의 임계값은 안전상의 이유 및/또는 인간 운전자의 운전 태도 또는 기호(예를 들면, 안락함)를 고려해서 결정될 수 있다.
일 실시예에 따르면, 차로 이탈 검출기(306)는 움직임 검출기 또는 검출 모듈(321) 및 각도 계산기(322)를 포함한다. 차로 이탈 검출기(306)는 ADV가 차로 연석에 접촉한 때 수집된 센서 데이터에 기초하여 ADV가 주행 중인 차로으로부터 ADV가 이탈하려는 것을 검출하도록 구성된다. ADV가 차로 연석과 접촉한 때, 차로 이탈 검출기(306)의 움직임 검출기(321)는 타이어 압력 센서 및 / 또는 움직임 센서를 통해 이와 같은 갑작스러운 움직임(예를 들면, 충격, 진동)을 검출한다. 각도 계산기(322)는 ADV의 이동 방향과 차로 연석의 종방향 간의 각도를 계산한다.
일 실시예에서, 각도는 ADV의 속력을 고려해서 ADV의 차륜이 차로 연석에 굴러 닿는 시점과 ADV의 차륜이 차로 연석에서 굴러 벗어나는 시점에 기초하여 계산될 수 있다. 대체하여, 각도는 ADV의 속력을 고려해서 ADV의 제1 륜(예를 들면, 우측 전륜)이 차로 연석과 접촉하는 시점과, ADV의 제2 륜(예를 들면, 좌측 전륜)이 차로 연석과 접촉하는 시점에 기초하여 계산될 수 있다. 각도에 기초하여, 차로 이탈 검출기(306)는 차로의 차로 방향에 비해 ADV의 이동 방향이 어느 정도 벗어났는지를 계산한다. 차로 방향은 통상적으로 차로 연석의 종방향과 실질적으로 평행하다. 속력 제어 명령어 및 / 또는 조향 제어 명령어와 같은 제어 명령어는 ADV의 이동 방향을 보정하기 위한 각도에 기초하여 계획 모듈(304) 및 / 또는 제어 모듈(305)에 의해 생성된다.
도 4는 본 발명의 일 실시예에 따른 자율 주행 차량의 차로 이탈을 검출하고 보정하는 처리의 흐름을 나타내는 처리 흐름도이다. 도 3 및 도 4를 참조하면, 전술한 바와 같이, 인지 모듈(303)로부터 수신된 인지 데이터에 기초하여, 계획 모듈(304)은 루트 세그먼트를 계획하고, 목표 위치 및 목표 위치에 있을 시간 등을 특정한다. 계획 모듈(304)에 의해 제공되는 계획 및 제어 데이터에 기초하여, 제어 모듈(305)은 필요한 제어 명령어 또는 명령어들(예를 들어, 속력 제어 명령어, 조향 제어 명령어)을 결정하고 차량 플랫폼(405)에 제어 명령어를 발행한다.
차로 이탈 검출기(306)는 ADV가 차로 연석(예를 들어, 갓길, 차로 분리 장치, 차로 경고 트랙)에 접촉했는지 여부와 접촉 시점을 검출하기 위해 타이어 압력 센서(216) 및 / 또는 움직임 센서(217)와 같은 차량 플랫폼(405)과 연결된다. ADV의 하나의 차륜 또는 차륜들에 의한 접촉 시점의 기초하여, ADV의 이동 방향과 차로의 차로 방향 간의 차이를 나타내는 각도가 계산된다. ADV의 이동 방향과 차로의 차로 방향 간의 차이에 관한 차로 이탈 정보는 계획 모듈(304) 및 / 또는 제어 모듈(305)에 피드백된다. 계획 모듈(304) 및 / 또는 제어 모듈(305)은 차로 이탈 검출기(306)에 의해 제공되는 차로 이탈 정보에 기초하여 보정 동작이 필요한지 여부를 결정할 수 있다. 이러한 보정은 제어 모듈(305)에 의해 수행 될 수 있다. 대체하여, 계획 모듈(304)은 ADV의 이동 방향을 보정하기 위해 후속 계획 사이클을 위한 루트 세그먼트를 다시 계획하여야 할 수 있다. 보정 동작이 필요하다고 결정되면, 제어 명령어가 생성되고 차량 플랫폼(405)에 발행되어 ADV의 이동 방향을 보정한다.
본 발명의 일 실시예에 따르면, 차로 이탈 검출기(306)의 움직임 검출기(321)는 제1 시점에서 ADV의 차륜이 ADV가 이동 중인 차로의 가장자리에 배치된 차로 연석에 굴러 닿는 것을 검출한다. 움직임 검출기(321)는 제2 시점에서 ADV의 차륜이 차로의 차로 연석에 굴러 벗어나는 것을 검출한다. 차로 연석으로 굴러 닿을 때와 차로 연석에서 굴러 벗어날 때의 접촉은 타이어 압력 센서 또는 움직임 센서와 관련된 센서를 이용하여 감지된다. 차륜은 ADV의 차륜 중 하나일 수 있으며 전륜 또는 후륜 중 하나 일 수 있다. 차로 이탈 검출기(306)의 각도 계산기(322)는 현재 속력을 고려해서 제1 시점과 제2 시점 간의 시간차에 기초하여 ADV의 이동 방향과 차로의 차로 방향 간의 각도를 계산한다. 차로 방향과 이동 방향 간의 차이를 나타내는 각도 정보는 계획 모듈(304) 및 / 또는 제어 모듈(305)에 제공된다. 차로 방향과 ADV의 이동 방향의 간의 차이가 미리 결정된 임계값보다 큰 경우, 계획 모듈(304) 및 / 또는 제어 모듈(305)은 각도에 기초하여 제어 명령어(예를 들어, 속력 제어 명령어, 조향 제어 명령어)을 생성하여, ADV가 차로의 차로 방향에서 더 벗어나는 것을 방지하기 위해 ADV의 이동 방향을 조정한다.
각도 계산시, 일 실시예에 따르면, 제1 시점에서부터 제2 시점까지 차로의 차로 방향에 수직한 거리(예를 들어, 횡방향 이동 거리(lateral moving distance))가 계산된다. 그후, 각도는 제1 시점과 제2 시점 간의 시간차를 고려해서 거리 및 ADV의 현재 속력에 기초하여 계산된다. 차로 방향에 수직인 거리는 차륜의 차륜 폭 및 차로 연석의 연석(curb) 폭에 기초하여 계산될 수있다. 차륜 폭은 차륜의 사양에 따라 결정될 수 있다. 차로 연석의 연석 폭은 카메라에 의해 캡쳐된 차로 연석 이미지와 같은 차로 연석을 인지하는 인지 데이터에 기초하여 결정될 수있다.
본 발명의 다른 실시예에 따르면, 움직임 검출기(321)는 제1 시점에서 ADV의 제1 차륜이 ADV가 이동하는 차로의 가장자리에 배치된 차로 연석에 접촉하는 것을 검출한다. 움직임 검출기(321)는 제2 시점에서 ADV의 제2 차륜이 차로의 차로 연석과 접촉하는 것을 검출한다. 제1 차륜과 차로 연석 간의 접촉은 타이어 압력 센서 또는 움직임 센서와 같은 제1 차륜과 관련된 센서를 사용하여 검출된다. 제2 차륜과 차로 연석 간의 접촉은 타이어 압력 센서 또는 움직임 센서와 같은 제2 차륜과 연관된 센서를 사용하여 검출된다. 제1 차륜 및 제2 차륜은 ADV의 차륜 중 임의의 차륜, 예컨대 한 쌍의 전륜 또는 후륜이 될 수 있다. 각도 계산기(322)는 ADV의 현재 속력을 고려해서 제1 시점과 제2 시점 간의 시간차에 기초하여 ADV의 이동 방향과 차로 방향 간의 각도를 계산한다.
차로 방향과 이동 방향 간의 차이를 나타내는 각도 정보는 계획 모듈(304) 및 / 또는 제어 모듈(305)에 제공된다. 차로 방향과 ADV의 이동 방향 간의 차이가 미리 결정된 임계값보다 큰 경우, 계획 모듈(304) 및 / 또는 제어 모듈(305)은 각도에 기초하여 제어 명령어(예를 들어, 속력 제어 명령어, 조향 제어 명령어)을 생성하여, ADV가 차로의 차로 방향에서 더 벗어나는 것을 방지하기 위해 ADV의 이동 방향을 조정한다.
각도를 계산할 때, 일 실시예에 따르면, 제1 차륜과 제2 차륜 간의 제1 거리가 결정된다. 제1 거리는 제1 차륜과 제2 차륜에 연결된 차축의 길이가 될 수 있다. ADV가 차로의 차로 방향에 수직으로 이동한 제2 거리는 ADV의 현재 속력을 고려해서 제1 시점과 제2 시점 간의 시간차에 기초하여 결정된다. 그후, 각도는 제1 거리와 제2 거리 간의 사인 곡선 관계에 기초하여 계산된다.
ADV의 이동 방향을 보정하기 위한 보정 동작은 이동 방향이 차로 방향으로부터 얼마나 떨어져 있는지에 따라 계획 모듈(304) 및 / 또는 제어 모듈(305)을 계획하는 것에 의해 수행될 수있다. 차로 방향과 이동 방향 간의 차이가 상당히 크면(예를 들어, 소정의 높은 임계값보다 큰 경우), 계획 모듈(304)은 다시 계획을 해야할 수 있다. 그렇지 않으면, 제어 모듈(305)은 이전 명령어를 수정하거나 새로운 명령어를 생성함으로써 보정할 수 있다.
도 5는 차량이 차로 연석과 접촉하는 일반적인 시나리오를 나타내는 도면이다. 도 5를 참조하면, ADV(501)의 하나 이상의 차륜(예를 들어, 한 쌍의 전륜 또는 후륜)이 차로(500)의 차로 연석(502)과 접촉할 때, 급작스런 움직임은 차륜과 연관된 움직임 센서 및 / 또는 타이어 압력 센서를 통해 검출될 수 있다. 또한, 차륜이 차로 연석(502)과 굴러 닿고 굴러 벗어나는 접촉 시점 또는 ADV(501)의 차륜들과 차로 연석(502) 사이의 접촉 시점이 기록될 수 있다. 접촉 시점에 기초하여, 차로(500)의 차로 방향(503)과 ADV(501)의 이동 방향(504) 간의 각도(505)가 계산될 수 있다. 각도(505)는 차로 방향(503)과 이동 방향(504) 간의 차이를 나타낸다. 각도(505)가 소정의 임계값보다 큰 경우, 이동 방향(504)을 보정하기 위해 적절한 동작이 수행 될 수 있다. 본 예시에서, 차로 연석(502)은 단일 차로 연석이다. 다른 예시에서는, 차로 연석(502)은, 예를 들어 차로 연석 세그먼트(506)의 어레이와 같은 차로(500)의 가장자리를 따라 분포된 차로 연석 세그먼트의 어레이일 수 있다.
일 실시예에서, 보정이 수행되는지 여부는 주행 환경들 또는 바로 그 시점에서의 주행 환경에 따를 수 있다. 예를 들어, 차로(500)가 좁거나 교통량 많은 차로인 경우, 차로 이탈의 에러 마진이 낮기 때문에, 보정 동작을 트리거하기 위한 각도(505)와 연관된 임계값은 더 낮을 수 있다. 유사하게, 보다 높은 에러 마진이 용인될 수 있기 때문에 교통량이 적거나 넓은 차로에 대해 더 높은 임계값이 이용될 수 있다. 또한, 양방향 차로에 더 낮은 임계값이 적용될 수 있고, 일방향 차로에 더 높은 임계값이 적용될 수 있다. 임계값을 결정하는 규칙은 과거의 주행 통계에 기초하여 데이터 분석 시스템(예를 들어, 데이터 분석 시스템(103))에 의해 오프라인으로 결정될 수 있다.
도 6은 본 발명의 일 실시예에 따라 이동 방향과 차로 방향 간의 차이를 결정하기 위한 도면이다. 도 6을 참조하면, ADV의 차륜(601)이 차로 연석(502)에 굴러 닿을 때, 이러한 갑작스런 움직임은 예를 들어 차륜(601)과 관련된 타이어 압력 센서 및 / 또는 움직임 센서에 의해 검출된다. 굴러 닿는 움직임의 시점(T1)이 기록된다. 계속해서, ADV의 차륜(601)이 차로 연석(502)에서 굴러 벗어갈 때, 굴러 벗어나는 움직임의 시점(T2)이 기록된다. T1과 T2 간의 차이에 기초하여, 접촉 시간 T1과 T2 간의 횡방향 이동 거리(605)(S로 지칭 됨)가 ADV의 현재 속력(V)를 고려해서 계산될 수 있다.
S = Vx * | T2-T1 |
여기서 Vx는 X 축에 투영된 현재 속력 V를 나타낸다(Vx= Vsin(θ)). 각도(θ)는 이동 방향(504)과 차로 방향(503) 간의 각도(505)를 나타낸다. 횡방향 이동 거리(S)는 ADV가 T1과 T2 사이에 이동한 차로 방향(503)에 수직인 거리를 나타낸다.
한편, 거리(S)는 차륜(601)의 차륜 폭(W1), 차륜(601)의 직경 또는 차륜 크기(D), 차로 연석 폭(603)(W2)를 고려해서 다음과 같이 결정될 수 있다.
S = W1 * cos(θ) + D * sin(θ) + W2
상기 두 개의 식을 결합하여 다음과 같이 각도 θ를 계산할 수 있다.
W1 * cos(θ) + D * sin(θ) + W2 = V * sin(θ) | T2-T1 |
각도 θ가 작으면 cos(θ)은 1에 가깝고, sin(θ)는 0에 가깝다. 따라서, S는 (W1 + W2)와 거의 같다. 상기 방정식은 다음과 같이 각도 θ를 계산하기 위해 단순화될 수 있다.
W1 + W2 = V * sin(θ) | T2-T1 |
차륜 폭(W1)은 ADV의 차륜(601)의 사양에 기초하여 결정될 수 있는 알려진 파라미터이다. 차로 연석(502)의 폭(W2)은 차로 연석(502)을 인지하는 인지 데이터에 기초하여 추정될 수 있다. 예를 들어, 카메라에 의해 캡쳐된 차로 연석(502)의 이미지가 인식되고 분석되어 차로 연석(502)의 폭을 결정할 수 있다.
도 7은 본 발명의 일 실시예에 따라 자율 주행 차량을 구동시키는 프로세스를 나타내는 흐름도이다. 프로세스(700)는 소프트웨어, 하드웨어, 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 예를 들어, 프로세스(700)는 도 3의 차로 이탈 검출기(306)에 의해 수행될 수 있다. 도 7을 참조하면, 동작(701)에서, 처리 로직은 제1 시점에서 ADV의 차륜이 ADV가 이동하는 주행 차로의 가장자리에 배치된 차로 연석으로 굴러 닿는 것을 검출한다. 동작(702)에서, 프로세싱 로직은 제2 시점에서 ADV의 동일한 차륜이 차로 연석으로부터 굴러 벗어나는 것을 검출한다. 이러한 검출은 차륜과 관련된 타이어 압력 센서 및 / 또는 움직임 센서를 이용하여 수행 될 수 있다. 일 실시예에서, ADV의 각 차륜은 타이어 압력 센서 및 / 또는 움직임 센서와 관련된다. 이러한 센서는 대응 차륜 근처, 예를 들어 차륜과 관련된 서스펜션 조인트 근처에 배치되거나 장착될 수있다. 따라서, ADV의 차륜이 차로 연석과 접촉할 때, ADV의 차륜들 중 어느 차륜이 차로 연석과 접촉하는지 정확하게 결정될 수 있다. 또한 차륜이 차로 연석에 굴러 닿거나(roll onto) 닿는지(engage with) 또는 차륜이 차로 연석에서 굴러 벗어나거나(roll off) 떨어지는지(disengage from)를 감지할 수 있다.
동작(703)에서, 처리 로직은 ADV의 현재 속력을 고려해서 제1 시점과 제2 시점의 차이에 기초하여 ADV의 이동 방향과 차로 방향 간의 각도를 계산한다. ADV의 이동 방향은 일반적으로 한 쌍의 전륜을 연결하는 전방 축 또는 한 쌍의 후륜을 연결하는 후방 축에 수직이다. 차로의 차로 방향은 일반적으로 차로의 가장자리 상에 배치된 차로 연석의 종방향 또는 차로 연석 세그먼트의 어레이의 종방향 분포 패턴과 평행하다. 각도는 이동 방향과 차로 방향 간의 차이를 나타내며, ADV가 차로에서 얼마나 멀리 떨어져 있는지 나타낸다. 동작(704)에서, 처리 로직은 각도에 기초하여 제어 명령어(예를 들어, 속력 제어 명령어, 조향 제어 명령어)를 생성하고 ADV의 이동 방향을 조정하여 ADV가 차로의 차로 방향으로부터 더 멀리 벗어하는 것을 방지한다. 일 실시예에서, 이동 방향을 조정하기 위한 제어 명령어는 각도가 미리 결정된 임계값보다 클 때 생성된다.
상술한 차로 이탈 검출 기술은 ADV의 하나의 차륜이 차로 연석에 굴러 닿거나 굴러 벗어나는 것을 검출하는 것에 기초한다. 본 발명의 또 다른 실시예에 따르면, ADV의 차로 이탈은 차로의 차로 연석과 접촉하는 ADV의 다수의 차륜(예를 들어, 전륜 쌍, 후륜 쌍 또는 전륜 및 후륜의 조합)에 기초하여 검출될 수 있다.
도 8은 본 발명의 다른 실시예에 따라 이동 방향과 차로 방향 간의 차이를 결정하기 위한 도면이다. 도 8을 참조하면, ADV의 차륜(801)이 차로 연석(502)에 접촉하거나 굴러 닿을 때, 이러한 급격한 움직임은 예를 들어 차륜(801)과 관련된 타이어 압력 센서 및 / 또는 움직임 센서에 의해 검출된다. 접촉 시간(T1)이 기록된다. 이어서, ADV의 다른 차륜(802)이 차로 연석(502)에 접촉하거나 굴러 닿을 때, 접촉 시간(T2)이 기록된다. 시간 T1과 T2 간의 차이에 기초하여, 접촉 시간T1과 T2 사이의 횡방향 이동 거리(S)는 ADV의 현재 속력(V)를 고려해서 계산될 수 있다.
S = Vx * | T2-T1 |
여기서 Vx는 X 축에 투영된 현재 속력 V이다(Vx = Vsin(θ)). 각도(θ)는 이동 방향(504)과 차로 방향(503) 간의 각도(505)를 나타낸다.
한편, 거리(S)는 각 차륜의 차륜 폭(W1), 각 차륜의 직경 또는 차륜 사이즈(D) 및 차로 연석 폭(W2)을 고려해서 다음과 같이 결정될 수 있다.
S = W1 * cos(θ) + D * sin(θ) - W2 + W * cos(θ)
여기서 W는 차륜(801, 802)을 연결하는 차축의 길이를 나타낸다. 위의 두 개의 식을 결합하여 다음과 같이 각도 θ를 계산할 수 있다.
W1 * cos(θ) + D * sin (θ) - W2 + W * cos(θ) = V * sin(θ) |T2 - T1|
각도 θ가 작으면 cos(θ)은 1에 가깝고 sin(θ)는 0에 가깝다. 따라서, S는 (W1 - W2 + W)와 대략 동일하다. 위의 식은 다음과 같이 각도 θ를 계산하기 위해 단순화될 수 있다.
W1 - W2 + W = V * sin(θ) | T2 - T1 |
차륜 폭(W1)은 ADV의 차륜(801)의 사양에 기초하여 결정될 수 있는 알려진 파라미터이다. 차로 연석의 폭(W2)은 차로 연석(502)을 인지하는 인지 데이터에 기초하여 추정될 수 있다. 예를 들어, 카메라에 의해 캡쳐된 차로 연석(502)의 이미지가 인식되고 분석되어 차로 연석(502)의 폭을 결정할 수 있다. 유사하게, 차축 길이(W)는 ADV의 사양에 기초하여 알 수 있다. 일 실시예에서, W가 W1 및 W2보다 상당히 길거나 넓으면, 상기 식은 W = V * sin(θ) | T2-T1 |로 단순화될 수 있다.
본 실시예에서, 차륜(801, 802)은 동일한 차축에 연결된다. 일 실시예에서, 상기 기술들은 ADV의 전륜 및 후륜과 같이 상이한 차축 상의 차륜들에 기초하여 이동 방향과 차로 방향 간의 각도를 계산하는 것에도 확장될 수있다. 이러한 실시예에서, 하나의 차륜이 ADV의 한쪽에 있고 다른 차륜이 ADV의 다른 쪽에 있는 경우, 전방 축과 후방 축 간의 거리(R)가 고려될 수 있다. 횡방향 이동 거리(S)는 X 축 상에 투영되는 거리 R(= R * sin(θ))을 더 포함할 수 있다.
따라서, 전륜 및 후륜이 ADV의 상이한 측에 있는 경우, 즉 운전자 측에 하나 그리고 승객 측에 다른 하나가 있는 경우, 횡방향 이동 거리(S)는 다음과 같이 정의될 수 있다.
S = W1 * cos(θ) + D * sin(θ) + W2 + W * cos(θ) + R * sin(θ)
각도 θ가 작은 경우, R * sin(θ)는 각도 계산의 간소화를 위해 무시될 수 있다(S = W1 + W2 + W). 차륜이 ADV의 동일한 측에 있는 경우, S는 다음과 같이 정의될 수 있다.
S = W1 * cos(θ) + D * sin(θ) + W2 + R * sin(θ)
각도 θ가 작으면, R * sin(θ) 및 D * sin(θ)는 각도 계산의 단순화를 위해 무시할 수 있다(S = W1 + W2).
도 9는 본 발명의 또 다른 실시예에 따른 자율 주행 차량의 동작 과정을 나타내는 흐름도이다. 프로세스(900)는 소프트웨어, 하드웨어, 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 예를 들어, 프로세스(900)는 도 3의 차로 이탈 검출기(306)에 의해 수행될 수 있다. 도 9를 참조하면, 동작(901)에서, 처리 로직은 제1 시점에서 ADV의 제1 차륜(예를 들어, 우측 전륜 또는 우측 후륜)이 ADV가 이동하는 차로의 차로 연석(예를 들어, 갓길, 차로 분리기 , 차로 경고 트랙)과 접촉하는지를 검출한다. 차로 연석은 차로의 가장자리 또는 차로 사이에 배치된다. 동작(902)에서, 프로세싱 로직은 제2 시점에서 ADV의 제2 차륜(예를 들어, 좌측 전륜 또는 좌측 후륜)이 차로 연석과 접촉하는지를 검출한다. 동작(903)에서, 프로세싱 로직은 ADV의 현재 속력을 고려해서 제1 시점 및 제2 시점에 기초하여 ADV의 이동 방향과 차로의 차로 방향 간의 각도를 계산한다. 동작(904)에서, 처리 로직은 계산된 각도에 기초하여 제어 명령어를 생성하고 ADV의 이동 방향을 조정하여, ADV가 차로의 차로 방향에 따라 차로 내에 유지되도록 한다.
상술되고 도시된 구성 요소의 일부 또는 전부는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 이러한 구성 요소는, 영구 기억 장치에 인스톨되어 저장되는 소프트웨어로서 구현될 수 있으며, 본 출원 전반에 걸쳐 설명 된 프로세스 또는 동작을 수행하기 위해 프로세서(미도시)에 의해 메모리에 로딩되어 실행될 수 있다. 대안적으로, 이러한 구성 요소들은 집적 회로(예를 들어, ASIC), 디지털 신호 프로세서(DSP), 또는 필드 프로그래머블 게이트 어레이(FPGA)와 같은 전용 하드웨어에 프로그래밍되거나 내장된 실행가능 코드로서 구현될 수 있다. 이는 응용 프로그램(application)에서 해당 드라이버 및 / 또는 운영 체제를 통해 액세스될 수 있다. 또한, 이러한 구성요소는 하나 이상의 특정 명령어를 통해 소프트웨어 구성요소에 의해 액세스 가능한 명령어 세트의 일부로서 프로세서 또는 프로세서 코어에서 특정 하드웨어 로직으로서 구현될 수 있다.
도 10은 본 발명의 일 실시예와 함께 사용될 수 있는 데이터 처리 시스템의 일 예시를 나타내는 블록도이다. 예를 들어, 시스템(1500)은 예컨대 도 1의 인지 및 계획 시스템(110) 또는 서버들(103, 104) 중 임의의 것과 같은, 상술한 프로세스들 또는 방법들 중 임의의 것을 수행하는 상술한 데이터 처리 시스템들 중 임의의 것을 나타낼 수 있다. 시스템(1500)은 많은 상이한 구성요소를 포함할 수 있다. 이들 구성요소는 집적 회로(IC), 집적 회로의 부분, 개별 전자 장치, 또는 컴퓨터 시스템의 마더 보드 또는 애드 인(add-in) 카드와 같은 회로 보드에 적용되는 다른 모듈로서 구현될 수 있거나, 컴퓨터 시스템의 섀시 내에 포함된 다른 구성요소로서 구현될 수 있다.
시스템(1500)은 컴퓨터 시스템의 많은 구성요소들을 개괄적으로 도시하기 위한 것이다. 그러나, 추가의 구성요소가 소정의 구현예에서 존재할 수 있고, 또한, 도시된 구성요소의 상이한 배치가 다른 구현예에서 발생할 수 있다는 것을 이해해야 한다. 시스템(1500)은 데스크탑, 랩탑, 태블릿, 서버, 이동 전화, 미디어 플레이어, PDA(personal digital assistant), 스마트 워치, 개인용 통신기, 게임 장치, 네트워크 라우터 또는 허브, 무선 액세스 포인트(AP) 또는 중계기, 셋톱 박스, 또는 이들의 조합일 수 있다. 또한, 단지 하나의 기계 또는 시스템이 도시되어 있지만, "기계" 또는 "시스템"이라는 용어는 여기에서 설명된 방법론 중 하나 이상을 수행하기 위한 명령어 세트(또는 복수의 세트)를 개별적으로 또는 결합하여 수행하는 기계 또는 시스템의 임의의 집합을 포함하는 것으로 이해될 수 있다.
일 실시예에서, 시스템(1500)은 버스 또는 인터커넥트(1510)을 통해 연결된 프로세서(1501), 메모리(1503) 및 디바이스들(1505-1508)을 포함한다. 프로세서(1501)는 그 안에 포함된 단일 프로세서 코어 또는 다중 프로세서를 나타낼 수 있다. 프로세서(1501)는 마이크로 프로세서, 중앙처리장치(CPU) 등과 같은 하나 이상의 범용 프로세서를 나타낼 수 있다. 구체적으로, 프로세서(1501)는 CISC(complex instruction set computing) 마이크로프로세서, RISC(reduced instruction set computing) 마이크로프로세서, VLIW(very long instruction word) 마이크로프로세서, 또는 다른 명령어 세트를 구현하는 마이크로프로세서, 또는 명령어 세트의 조합을 구현하는 프로세서일 수 있다. 프로세서(1501)는 주문형 집적 회로(ASIC), 셀룰러 또는베이스 밴드 프로세서, 필드 프로그래머블 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 네트워크 프로세서, 그래픽 프로세서, 통신 프로세서, 암호화 프로세서, 코-프로세서, 임베디드 프로세서, 또는 명령어를 처리할 수 있는 임의의 다른 유형의 로직 등과 같은 하나 이상의 특수 목적 프로세서일 수도 있다.
초저전압 프로세서와 같은 저전력 멀티 코어 프로세서 소켓일 수 있는 프로세서(1501)는 시스템의 다양한 구성요소와의 통신을 위한 메인 프로세싱 유닛 및 중앙 허브로서 작동할 수 있다. 이 같은 프로세서는 시스템 온 칩(SoC)으로서 구현 될 수 있다. 프로세서(1501)는 본 명세서에서 논의된 동작들 및 단계들을 수행하기 위한 명령어들을 실행하도록 구성된다. 시스템(1500)은 디스플레이 제어기, 그래픽 프로세서 및 / 또는 디스플레이 장치를 포함할 수 있는 임의의 그래픽 서브 시스템(1504)과 통신하는 그래픽 인터페이스를 더 포함할 수 있다.
프로세서(1501)는 일 실시예에서 주어진 양의 시스템 메모리를 제공하기 위해 다수의 메모리 장치를 통해 구현될 수 있는 메모리(1503)와 통신할 수 있다. 메모리(1503)는 RAM, DRAM, SDRAM, SRAM 또는 다른 유형의 저장 장치와 같은 하나 이상의 휘발성 저장 장치를 포함할 수 있다. 메모리(1503)는 프로세서(1501) 또는 임의의 다른 장치에 의해 실행되는 명령어들의 시퀀스를 포함하는 정보를 저장할 수있다. 예를 들어, 다양한 운영 체제, 데이터, 장치 드라이버, 펌웨어(예를 들어, 입출력 기본 시스템 또는 BIOS), 및 / 또는 애플리케이션의 실행가능 코드 및 / 또는 데이터는 메모리(1503)에 로드될 수 있고 프로세서(1501)에 의해 실행될 수 있다. 운영 체제는 예를 들어, ROS(Robot Operating System), Microsoft®의 Windows® operating system, Apple의 Mac OS®/iOS®, Google®의 Android®, LINUX, UNIX, 또는 다른 실시간 또는 임베디드 운영 체제를 포함하는 임의 유형의 운영체제일 수 있다.
시스템(1500)은 네트워크 인터페이스 장치(들)(1505), 임의의 입력 장치(들)(1506) 및 다른 임의의 IO 장치(들)(1507)을 포함하는 장치들(1505-1508)과 같은 IO 장치들을 더 포함할 수 있다. 네트워크 인터페이스 디바이스(1505)는 무선 트랜시버 및 / 또는 네트워크 인터페이스 카드(NIC, Network Interface Card)를 포함할 수 있다. 무선 트랜시버는 적외선 트랜시버, 블루투스 송수신기, WiMax 송수신기, 무선 셀룰러 전화 송수신기, 위성 송수신기(예를 들어, GPS 송수신기) 또는 다른 무선 주파수(RF) 송수신기일 수 있으며, 또는 이들의 조합을 포함한다. NIC는 이더넷 카드(ethernet card)일 수 있다.
입력 장치(들)(1506)은 마우스, 터치 패드, (디스플레이 장치(1504)와 통합될 수 있는) 터치 감지 스크린, 스타일러스와 같은 포인터 장치, 및 / 또는 키보드(예컨대, 물리적인 키보드 또는 터치 감지 스크린의 일부로서 표시되는 가상 키보드)를 포함할 수 있다. 예를 들어, 입력 장치(1506)는 터치 스크린에 연결된 터치 스크린 제어기를 포함할 수 있다. 터치 스크린 및 터치 스크린 제어기는, 예컨대 다수의 터치 감도 기술 중 임의의 것을 사용하여 접촉(contact) 및 이동(move) 또는 중지(break)를 검출할 수 있다. 터치 감도 기술은 예를 들어, 용량성, 저항성, 적외선 및 표면 탄성파 기술뿐만 아니라, 터치 스크린과의 하나 이상의 접촉점을 결정하기 위한 그 외의 근접 센서 어레이 또는 다른 요소를 포함하며, 이에 제한되지 않는다.
IO 디바이스들(1507)은 오디오 디바이스를 포함할 수 있다. 오디오 장치는 음성 인식, 음성 복제, 디지털 녹음 및 / 또는 전화 기능과 같은 음성 작동 기능을 용이하게 하기 위해 스피커 및 / 또는 마이크를 포함할 수 있다. 다른 입출력 장치들(1507)은 USB(universal serial bus) 포트(들), 병렬 포트(들), 직렬 포트(들), 프린터, 네트워크 인터페이스, 버스 브리지(예를 들어, PCI-PCI 브리지), 센서들(예를 들어, 가속력계, 자이로스코프, 자력계(magnetometer), 광 센서, 나침반, 근접 센서 등과 같은 움직임 센서), 또는 이들의 조합일 수 있다. 디바이스들(1507)은 이미징 프로세싱 서브 시스템(예를 들어, 카메라)를 더 포함할 수 있다. 이미징 프로세싱 서브 시스템은, 사진 및 비디오 클립 녹화와 같은 카메라 기능들을 용이하게 하는데 이용되는, CCD(charge coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 광학 센서를 포함할 수 있다. 특정 센서는 센서 허브(미도시)를 통해 인터커넥트(1510)에 연결될 수 있지만, 키보드 또는 열 센서와 같은 다른 장치는 시스템(1500)의 특정 구성 또는 설계에 따라 내장형 제어기(미도시)에 의해 제어될 수 있다.
데이터, 애플리케이션, 하나 이상의 운영 시스템 등과 같은 정보의 영구 저장을 제공하기 위해, 대용량 저장 장치(미도시)가 또한 프로세서(1501)에 연결될 수 있다. 다양한 실시예에서, 시스템 응답성을 향상시킬 뿐만 아니라 더 얇고 가벼운 시스템 설계를 가능하게 하기 위해, 대용량 저장 장치는 SSD(solid state device)를 통해 구현될 수 있다. 그러나, 다른 실시예에서, 대용량 저장 장치는 SSD 캐시로서 작용하는 더 적은 양의 SSD 스토리지를 갖는 하드 디스크 드라이브(HDD)를 주로 사용하여 구현될 수 있으며, 이로 인해 전원이 꺼진 동안 컨텍스트 상태(context state) 및 다른 정보를 비휘발성 저장할 수 있도록 하여 시스템 활동을 다시 시작할 때 빠른 전원 켜기가 가능하게 된다. 또한, 플래시 장치는 예를 들어 직렬 주변장치 인터페이스(SPI, serial peripheral interface)를 통해 프로세서(1501)에 연결될 수 있다. 플래시 장치는 시스템의 다른 펌웨어뿐만 아니라 BIOS를 포함하여 시스템 소프트웨어의 비휘발성 저장소를 제공할 수 있다.
저장 디바이스(1508)는 컴퓨터 액세스가능 저장매체(1509)(기계 판독가능 저장매체 또는 컴퓨터 판독가능 매체로도 알려짐)를 포함할 수 있고, 저장매체에는 본 명세서에 설명된 하나 이상의 방법론 또는 기능을 구현하는 명령어 또는 소프트웨어의 하나 이상의 세트(예컨대, 모듈, 유닛 및 / 또는 로직(1528))가 저장된다. 처리 모듈 / 유닛 / 로직(1528)은 예를 들어, 도 3의 계획 모듈(304), 제어 모듈(305), 및 / 또는 차로 이탈 검출기(306)와 같은, 전술한 구성요소 중 임의의 것을 나타낼 수 있다. 처리 모듈 / 유닛 / 로직(1528)은 기계 액세스가능 저장매체를 또한 구성하는 데이터 처리 시스템(1500), 메모리(1503) 및 프로세서(1501)에 의한 실행 중에 메모리(1503) 및 / 또는 프로세서(1501) 내에 완전히 또는 적어도 부분적으로 또한 위치할 수 있다. 프로세싱 모듈 / 유닛 / 로직(1528)은 네트워크 인터페이스 장치(1505)를 통해 네트워크를 통해 더 송신되거나 수신될 수 있다.
컴퓨터 판독가능 저장매체(1509)는 전술한 일부 소프트웨어 기능을 영구적으로 저장하는데 사용될 수 있다. 컴퓨터 판독가능 저장매체(1509)는 예시적인 실시예로서 단일 매체로 도시되지만, "컴퓨터 판독가능 저장매체"라는 용어는 하나 이상의 명령어 세트를 저장하는 단일 매체 또는 복수 매체(예를 들어, 중앙 집중식 또는 분산형 데이터베이스 및 / 또는 연관된 캐시들 및 서버들)를 포함하는 것으로 이해될 수 있다. "컴퓨터 판독가능 저장매체"라는 용어는 또한 기계에 의한 실행을 위한 명령어 세트를 저장 또는 인코딩할 수 있고 기계로 하여금 본 발명의 방법론 중 임의의 하나 이상을 수행하게 하는 임의의 매체를 포함하도록 이해될 수 있다. 따라서, "컴퓨터 판독가능 저장매체"라는 용어는 고체 상태 메모리, 광학 및 자기 매체, 또는 임의의 다른 비일시적 기계판독가능 매체를 포함하지만, 이에 한정되는 것은 아니다.
본 명세서에 설명된 프로세싱 모듈 / 유닛 / 로직(1528), 구성요소 및 다른 특징은 개별 하드웨어 구성요소로서 구현되거나 ASICS, FPGA, DSP 또는 그와 유사한 디바이스와 같은 하드웨어 구성요소의 기능에 통합되어 구현될 수 있다. 또한, 처리 모듈 / 유닛 / 로직(1528)은 하드웨어 장치 내의 펌웨어 또는 기능 회로로서 구현될 수 있다. 또한, 처리 모듈 / 유닛 / 로직(1528)은 하드웨어 장치 및 소프트웨어 구성요소의 임의의 조합으로 구현될 수있다.
시스템(1500)은 데이터 처리 시스템의 다양한 구성요소로 도시되어 있지만, 구성요소를 상호 연결하는 임의의 특정 아키텍처 또는 방식을 나타내기 위한 것이 아니다. 이러한 세부 사항들은 본 발명의 실시예들과 관련있지 않다. 또한 네트워크 컴퓨터, 핸드헬드 컴퓨터, 이동 전화, 서버, 및 / 또는 더 적은 구성요소들 또는 더 많은 구성요소들을 갖는 다른 데이터 처리 시스템이 본 발명의 실시예들과 이용될 수 있다는 것을 이해할 것이다.
전술한 설명의 일부는 컴퓨터 메모리 내의 데이터 비트 상에서의 연산의 알고리즘 및 기호 표현으로 제시되었다. 이러한 알고리즘 설명 및 표현은 데이터 처리 기술 분야의 당업자가 자신의 연구 내용을 다른 당업자에게 가장 효과적으로 전달하는데 사용되는 방법이다. 여기에서의 알고리즘은 일반적으로 원하는 결과를 이끌어내는 일관된 동작 순서일 수 있다. 동작들은 물리양을 물리적으로 조작하는 것이 필요한 동작이다.
그러나 이러한 모든 용어 및 그와 유사한 용어는 적절한 물리양과 관련되어 있으며 이러한 양에 적용되는 편리한 레이블이다. 상기 논의로부터 명백한 바와 같이 특별히 언급하지 않는 한, 명세서 전반에 걸쳐, 이하의 특허청구범위에 기재된 것과 같은 용어를 이용한 설명은 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 장치의 동작 및 프로세스를 참고하며, 동작 및 프로세스는 컴퓨터 시스템의 레지스터 및 메모리 내의 물리(전자) 양으로 표현된 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 기타 정보 저장 장치, 전송 또는 디스플레이 장치 내에서 물리량으로 유사하게 표현되는 다른 데이터로 조작 및 변형한다.
본 발명의 실시예는 또한 본 명세서의 동작을 수행하기 위한 장치에 관한 것이다. 컴퓨터 프로그램은 비일시적 컴퓨터 판독가능 매체에 저장된다. 기계 판독 가능 매체는 기계(예컨대, 컴퓨터)가 읽을 수 있는 형태의 저장 정보를 위한 매커니즘을 포함한다. 예를 들어, 기계 판독가능(예를 들어, 컴퓨터 판독 가능) 매체는 기계(예를 들어, 컴퓨터) 판독가능 저장매체(예를 들어, 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM) 저장 매체, 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 장치)를 포함한다.
전술한 도면들에 도시된 프로세스 또는 방법은 하드웨어(예를 들어, 회로, 전용 로직 등), 소프트웨어(예를 들어, 비일시적인 컴퓨터 판독가능 매체 상에 구현됨), 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행될 수 있다. 프로세스들 또는 방법들이 몇몇 순차적인 동작들에 관하여 상술되었지만, 설명된 동작들 중 일부는 다른 순서로 수행될 수 있다는 것을 이해해야 한다. 더욱이, 몇몇 동작들은 순차적으로 보다는 병렬적으로 수행될 수 있다.
본 발명의 실시예는 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 본 명세서에 설명된 본 발명의 실시예들의 교시를 구현하기 위해 다양한 프로그래밍 언어가 사용될 수 있다는 것을 이해할 것이다.
전술한 명세서에서, 본 발명의 실시예는 특정 실시예를 참조하여 설명되었다. 후술할 특허청구범위에 기재된 본 발명의 더 넓은 사상 및 범위를 벗어나지 않으면 서도 다양한 변형이 가능하다는 것은 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 의미라기보다는 예시적인 의미로 간주되어야한다.

Claims (24)

  1. 자율 주행 차량을 운행하기 위한 컴퓨터로 구현된 방법에 있어서,
    제1 시점에서, 자율 주행 차량(ADV, Autonomous Driving Vehicle)의 차륜이 상기 ADV가 주행하는 차로의 가장자리에 배치된 차로 연석(lane curb)에 굴러 닿는 것을 검출하는 단계;
    제2 시점에서, 상기 ADV의 차륜이 상기 차로의 차로 연석으로부터 굴러 벗어나는 것을 검출하는 단계;
    상기 ADV의 현재 속력을 고려해서 상기 제1 시점과 상기 제2 시점 간의 차이에 기초하여 상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 단계; 및
    상기 ADV가 상기 차로의 차로 방향으로부터 더 벗어나는 것을 방지하도록 상기 각도에 기초하여 제어 명령어를 생성하여 상기 ADV의 이동 방향을 조정하는 단계를 포함하고,
    상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 상기 단계는,
    상기 ADV가 상기 제1 시점으로부터 상기 제2 시점까지 이동하는 상기 차로의 차로 방향에 수직인 거리를 계산하는 단계; 및
    상기 제1 시점과 상기 제2 시점 간의 차이를 고려해서 상기 거리 및 상기 ADV의 현재 속력에 기초하여 상기 각도를 판정하는 단계를 포함하고,
    상기 ADV가 이동하는 상기 차로의 차로 방향에 수직인 거리를 계산하는 상기 단계는,
    상기 차륜의 사양(specification)에 기초하여 상기 차륜의 차륜 폭을 판정하는 단계; 및
    상기 차로 연석을 인지하는 인지 데이터에 기초하여 상기 차로 연석의 연석 폭을 판정하는 단계를 포함하되, 여기서 상기 차로 방향에 수직인 거리는 상기 차륜 폭 및 상기 연석 폭에 기초하여 계산되는 방법.
  2. 제1항에 있어서, 상기 차로 연석을 인지하는 상기 인지 데이터는,
    하나 이상의 카메라에 의해 캡쳐된 상기 차로 연석의 하나 이상의 이미지를 포함하는 방법.
  3. 제1항에 있어서, 상기 차륜이 상기 차로 연석과 접촉하는 것은 상기 차륜 근처에 배치된 타이어 압력 센서 또는 움직임 센서를 통해 검출되는 방법.
  4. 제1항에 있어서,
    상기 차로 연석에 굴러 닿는 상기 ADV의 검출은 상기 ADV의 제1 차륜을 통해 검출되고;
    상기 차로 연석으로부터 굴러 벗어나는 상기 ADV의 검출은 상기 ADV의 제2 차륜을 통해 검출되고; 및
    상기 각도는, 상기 제1 차륜과 상기 제2 차륜 간의 제1 거리, 및 상기 ADV의 현재 속력을 고려해서 상기 제1 시점과 상기 제2 시점 간의 차이에 기초하여 계산된 제2 거리에 기초하여 계산되는 방법.
  5. 제4항에 있어서, 상기 제1 거리 및 상기 제2 거리는 상기 각도와 사인 곡선 관계(sinusoidal relationship)를 가지는 방법.
  6. 명령어들을 저장하는 비일시적 기계 판독 가능 매체로서, 상기 명령어들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금 자율 주행 차량을 작동시키는 동작들을 수행하게 하고, 상기 동작들은,
    제1 시점에서, 자율 주행 차량(ADV)의 차륜이 상기 ADV가 주행하는 차로의 가장자리에 배치된 차로 연석에 굴러 닿는 것을 검출하는 동작;
    제2 시점에서, 상기 ADV의 차륜이 상기 차로의 차로 연석으로부터 굴러 벗어나는 것을 검출하는 동작;
    상기 ADV의 현재 속력을 고려해서 상기 제1 시점과 상기 제2 시점 간의 차이에 기초하여 상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 동작; 및
    상기 ADV가 상기 차로의 차로 방향으로부터 더 벗어나는 것을 방지하도록 상기 각도에 기초하여 제어 명령어를 생성하여 상기 ADV의 이동 방향을 조정하는 동작을 포함하고,
    상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 상기 동작은,
    상기 ADV가 상기 제1 시점으로부터 상기 제2 시점까지 이동하는 상기 차로의 차로 방향에 수직인 거리를 계산하는 동작; 및
    상기 제1 시점과 상기 제2 시점 간의 차이를 고려해서 상기 거리 및 상기 ADV의 현재 속력에 기초하여 상기 각도를 판정하는 동작을 포함하고,
    상기 ADV가 이동하는 상기 차로의 차로 방향에 수직인 거리를 계산하는 상기 동작은,
    상기 차륜의 사양에 기초하여 상기 차륜의 차륜 폭을 판정하는 동작; 및
    상기 차로 연석을 인지하는 인지 데이터에 기초하여 상기 차로 연석의 연석 폭을 판정하는 동작을 포함하되, 여기서 상기 차로 방향에 수직인 거리는 상기 차륜 폭 및 상기 연석 폭에 기초하여 계산되는 기계 판독 가능 매체.
  7. 제6항에 있어서, 상기 차로 연석을 인지하는 상기 인지 데이터는,
    하나 이상의 카메라에 의해 캡쳐된 상기 차로 연석의 하나 이상의 이미지를 포함하는 기계 판독 가능 매체.
  8. 제6항에 있어서, 상기 차륜이 상기 차로 연석과 접촉하는 것은 상기 차륜 근처에 배치된 타이어 압력 센서 또는 움직임 센서를 통해 검출되는 기계 판독 가능 매체.
  9. 제6항에 있어서,
    상기 차로 연석에 굴러 닿는 상기 ADV의 검출은 상기 ADV의 제1 차륜을 통해 검출되고;
    상기 차로 연석으로부터 굴러 벗어나는 상기 ADV의 검출은 상기 ADV의 제2 차륜을 통해 검출되고; 및
    상기 각도는, 상기 제1 차륜과 상기 제2 차륜 간의 제1 거리 및 상기 ADV의 현재 속력을 고려해서 상기 제1 시점과 상기 제2 시점 간의 차이에 기초하여 계산된 제2 거리에 기초하여 계산되는 기계 판독 가능 매체.
  10. 제9항에 있어서, 상기 제1 거리 및 상기 제2　거리는 상기 각도와 사인 곡선 관계를 가지는 기계 판독 가능 매체.
  11. 데이터 처리 시스템에 있어서,
    프로세서; 및
    상기 프로세서에 결합되어 명령어들을 저장하는 메모리를 포함하고, 상기 명령어들은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금 동작들을 수행하게 하며, 상기 동작들은,
    제1 시점에서, 자율 주행 차량(ADV)의 차륜이 상기 ADV가 주행하는 차로의 가장자리에 배치된 차로 연석에 굴러 닿는 것을 검출하는 동작;
    제2 시점에서, 상기 ADV의 차륜이 상기 차로의 차로 연석으로부터 굴러 벗어나는 것을 검출하는 동작;
    상기 ADV의 현재 속력을 고려해서 상기 제1 시점과 상기 제2 시점 간의 차이에 기초하여 상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 동작; 및
    상기 ADV가 상기 차로의 차로 방향으로부터 더 벗어나는 것을 방지하도록 상기 각도에 기초하여 제어 명령어를 생성하여 상기 ADV의 이동 방향을 조정하는 동작을 포함하고,
    상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 상기 동작은,
    상기 ADV가 상기 제1 시점으로부터 상기 제2 시점까지 이동하는 상기 차로의 차로 방향에 수직인 거리를 계산하는 동작; 및
    상기 제1 시점과 상기 제2 시점 간의 차이를 고려해서 상기 거리 및 상기 ADV의 현재 속력에 기초하여 상기 각도를 판정하는 동작을 포함하고,
    상기 ADV가 이동하는 상기 차로의 차로 방향에 수직인 거리를 계산하는 상기 동작은,
    상기 차륜의 사양에 기초하여 상기 차륜의 차륜 폭을 판정하는 동작; 및
    상기 차로 연석을 인지하는 인지 데이터에 기초하여 상기 차로 연석의 연석 폭을 판정하는 동작을 포함하되, 여기서 상기 차로 방향에 수직인 거리는 상기 차륜 폭 및 상기 연석 폭에 기초하여 계산되는 데이터 처리 시스템.
  12. 제11항에 있어서, 상기 차로 연석을 인지하는 상기 인지 데이터는,
    하나 이상의 카메라에 의해 캡쳐된 상기 차로 연석의 하나 이상의 이미지를 포함하는 데이터 처리 시스템.
  13. 자율 주행 차량을 운행하기 위한 컴퓨터로 구현된 방법에 있어서,
    제1 시점에서, 자율 주행 차량(ADV)의 제1 차륜이 상기 ADV가 주행하는 차로의 가장자리에 배치된 차로 연석에 접촉하는 것을 검출하는 단계;
    제2 시점에서, 상기 ADV의 제2 차륜이 상기 차로의 차로 연석에 접촉하는 것을 검출하는 단계;
    상기 ADV의 현재 속력을 고려해서 상기 제1 시점과 상기 제2 시점 간의 차이에 기초하여 상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 단계; 및
    상기 ADV가 상기 차로의 차로 방향으로부터 더 벗어나는 것을 방지하도록 상기 각도에 기초하여 제어 명령어를 생성하여 상기 ADV의 이동 방향을 조정하는 단계를 포함하고,
    상기 ADV의 이동 방향과 상기 차로의 차로 방향 간의 각도를 계산하는 상기 단계는,
    상기 제1 차륜과 상기 제2 차륜 간의 제1 거리를 판정하는 단계; 및
    상기 ADV의 현재 속력을 고려해서 상기 제1 시점과 상기 제2 시점 간의 차이에 기초하여 상기 ADV가 상기 차로의 차로 방향에 수직으로 이동한 제2 거리를 판정하는 단계를 포함하되, 여기서 상기 각도는 상기 제1 거리 및 상기 제2 거리에 기초하여 계산되고,
    상기 제1 거리 및 상기 제2 거리 간의 사인 곡선 관계에 기초하여 상기 각도가 계산되는 방법.
  14. 제13항에 있어서, 상기 ADV의 제1 차륜 및 제2 차륜은 차축(axle)을 통해 서로 결합되는 방법.
  15. 제13항에 있어서, 상기 제1 차륜이 상기 차로 연석과 접촉하는 것은 상기 제1 차륜과 관련된 제1 타이어 압력 센서 또는 제1 움직임 센서를 통해 검출되는 방법.
  16. 제15항에 있어서, 상기 제2 차륜이 상기 차로 연석과 접촉하는 것은 상기 제2 차륜과 관련된 제2 타이어 압력 센서 또는 제2 움직임 센서를 통해 검출되는 방법.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
KR1020187007707A 2017-04-19 2017-04-19 자율 주행 차량을 위한 차로 연석 보조의 차로 이탈 점검 및 차로 유지 시스템 KR102042945B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/081057 WO2018191881A1 (en) 2017-04-19 2017-04-19 Lane curb assisted off-lane checking and lane keeping system for autonomous driving vehicles

Publications (2)

Publication Number Publication Date
KR20180135846A KR20180135846A (ko) 2018-12-21
KR102042945B1 true KR102042945B1 (ko) 2019-11-08

Family

ID=63854478

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187007707A KR102042945B1 (ko) 2017-04-19 2017-04-19 자율 주행 차량을 위한 차로 연석 보조의 차로 이탈 점검 및 차로 유지 시스템

Country Status (6)

Country Link
US (1) US10365649B2 (ko)
EP (1) EP3612435A4 (ko)
JP (1) JP6700382B2 (ko)
KR (1) KR102042945B1 (ko)
CN (1) CN109195860B (ko)
WO (1) WO2018191881A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2564854B (en) * 2017-07-21 2020-06-24 Jaguar Land Rover Ltd Method and controller for providing a vehicle steering course
US20200174490A1 (en) * 2017-07-27 2020-06-04 Waymo Llc Neural networks for vehicle trajectory planning
US10699135B2 (en) * 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects
JP6933986B2 (ja) * 2018-02-06 2021-09-08 ヴィオニア スウェーデン エービー 物標検出装置、物標検出方法及びプログラム
CN109711477B (zh) * 2018-12-29 2021-03-09 百度在线网络技术（北京）有限公司 一种自动驾驶模型的训练方法及装置
CN111457931B (zh) * 2019-01-21 2021-09-24 广州汽车集团股份有限公司 自动驾驶车辆的局部路径重规划控制方法、装置、系统及存储介质
CN109795477B (zh) * 2019-02-22 2020-11-06 百度在线网络技术（北京）有限公司 消除稳态横向偏差的方法、装置及存储介质
DE102019003430B3 (de) * 2019-05-15 2020-06-04 Daimler Ag Verfahren zur Durchführung eines automatisierten oder autonomen Fahrbetriebs eines Fahrzeugs
US11927457B2 (en) 2019-07-10 2024-03-12 Deka Products Limited Partnership System and method for real time control of an autonomous device
JP7157884B2 (ja) * 2019-10-15 2022-10-20 本田技研工業株式会社 車両検査システムおよび位置合わせ方法
CN112817303B (zh) * 2019-11-18 2024-04-30 富联精密电子(天津)有限公司 自走三角警示架及其行进控制方法
US11577758B2 (en) * 2020-01-03 2023-02-14 Baidu Usa Llc Autonomous vehicle park-and-go scenario design
JP7268612B2 (ja) * 2020-01-20 2023-05-08 トヨタ自動車株式会社 運転支援装置
DE102020200650A1 (de) * 2020-01-21 2021-07-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben einer automatisierten Spurführung eines Kraftfahrzeugs
CN113205703B (zh) * 2020-02-03 2023-04-14 奥迪股份公司 道路隔离带防撞的驾驶辅助系统和方法
US11854402B2 (en) 2020-07-10 2023-12-26 Here Global B.V. Method, apparatus, and system for detecting lane departure events based on probe data and sensor data
CN111896024A (zh) * 2020-07-24 2020-11-06 北京汽车股份有限公司 导航显示的控制方法、装置及ar-hud显示系统
CN112519773B (zh) * 2020-11-30 2022-08-05 南通路远科技信息有限公司 一种智能驾驶汽车的车道保持方法、装置及汽车
DE102020215962A1 (de) * 2020-12-15 2022-06-15 Volkswagen Aktiengesellschaft Assistenzsystem und Verfahren zur Vermeidung von Falschauslösungen einer Bankettfunktion

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005324779A (ja) * 2004-03-29 2005-11-24 Nissan Technical Center North America Inc ランブルストリップ応答システム
US20080091318A1 (en) 2006-10-11 2008-04-17 Gm Global Technology Operations, Inc. Method and system for lane centering control
US20080243337A1 (en) * 2007-03-28 2008-10-02 Nissan Technical Center North America, Inc. Lane departure avoidance system
US20100191421A1 (en) 2007-08-15 2010-07-29 Jonas Nilsson Operating method and system for supporting lane keeping of a vehicle
US20150274164A1 (en) 2014-03-28 2015-10-01 Fuji Jukogyo Kabushiki Kaisha Lane deviation prevention control apparatus of vehicle
US20160236569A1 (en) 2015-02-12 2016-08-18 Honda Motor Co., Ltd. Lane keep assist system having augmented reality indicators and method thereof

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296918A (ja) * 2006-04-28 2007-11-15 Nissan Motor Co Ltd 車線逸脱防止装置及び車両用前照灯制御装置
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
DE102009047373A1 (de) 2009-12-02 2011-06-09 Robert Bosch Gmbh Verfahren zur Aktivierung und/oder Ansteuerung von mindestens einer reversiblen Rückhalteeinrichtung
JP5835242B2 (ja) * 2013-02-01 2015-12-24 株式会社デンソー 車両用安全制御システム
JP5966965B2 (ja) * 2013-02-19 2016-08-10 株式会社デンソー 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法
US8948972B2 (en) * 2013-03-01 2015-02-03 Nissan North America, Inc. Vehicle controlling system and method
JP6152069B2 (ja) * 2014-04-22 2017-06-21 本田技研工業株式会社 走行支援装置
CN104859563B (zh) * 2015-05-28 2017-07-04 北京汽车股份有限公司 车道偏离预警方法和系统
KR102042946B1 (ko) 2017-03-30 2019-11-08 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량을 위한 감속 연석 기반 방향 검출 및 차선 유지 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005324779A (ja) * 2004-03-29 2005-11-24 Nissan Technical Center North America Inc ランブルストリップ応答システム
US20080091318A1 (en) 2006-10-11 2008-04-17 Gm Global Technology Operations, Inc. Method and system for lane centering control
US20080243337A1 (en) * 2007-03-28 2008-10-02 Nissan Technical Center North America, Inc. Lane departure avoidance system
US7660669B2 (en) 2007-03-28 2010-02-09 Nissan Technical Center North America, Inc. Lane departure avoidance system
US20100191421A1 (en) 2007-08-15 2010-07-29 Jonas Nilsson Operating method and system for supporting lane keeping of a vehicle
US20150274164A1 (en) 2014-03-28 2015-10-01 Fuji Jukogyo Kabushiki Kaisha Lane deviation prevention control apparatus of vehicle
US20160236569A1 (en) 2015-02-12 2016-08-18 Honda Motor Co., Ltd. Lane keep assist system having augmented reality indicators and method thereof

Also Published As

Publication number Publication date
US10365649B2 (en) 2019-07-30
WO2018191881A1 (en) 2018-10-25
JP2019522830A (ja) 2019-08-15
EP3612435A1 (en) 2020-02-26
CN109195860B (zh) 2021-07-02
KR20180135846A (ko) 2018-12-21
EP3612435A4 (en) 2020-09-09
JP6700382B2 (ja) 2020-05-27
CN109195860A (zh) 2019-01-11
US20180307234A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
KR102042945B1 (ko) 자율 주행 차량을 위한 차로 연석 보조의 차로 이탈 점검 및 차로 유지 시스템
US10884422B2 (en) Method for generating trajectories for autonomous driving vehicles (ADVS)
KR102062608B1 (ko) 자율 주행 차량의 제어 피드백에 기초한 맵 업데이트 방법 및 시스템
EP3334624B1 (en) A sideslip compensated control method for autonomous vehicles
US10353393B2 (en) Method and system for improving stability of autonomous driving vehicles
US10421460B2 (en) Evaluation framework for decision making of autonomous driving vehicle
KR102260486B1 (ko) 자율 주행 차량의 완전 정지를 위한 속력 제어
EP3315388B1 (en) Spring system-based change lane approach for autonomous vehicles
US20190318267A1 (en) System and method for training a machine learning model deployed on a simulation platform
KR102042946B1 (ko) 자율 주행 차량을 위한 감속 연석 기반 방향 검출 및 차선 유지 시스템
US10183641B2 (en) Collision prediction and forward airbag deployment system for autonomous driving vehicles
US20180374360A1 (en) Traffic prediction based on map images for autonomous driving
US10569651B2 (en) Speed control and steering control assistant based on pitch status and roll status of autonomous driving vehicle
US10606273B2 (en) System and method for trajectory re-planning of autonomous driving vehicles
EP3562725B1 (en) Method and system for determining road frictions of autonomous driving vehicles using learning-based model predictive control
EP3524494B1 (en) Lane self-localization system using multiple cameras for autonomous driving vehicles
EP3694756B1 (en) Spiral curve based vertical parking planner system for autonomous driving vehicles
US11048252B2 (en) Optimal path generation for static obstacle avoidance
CN111103876A (zh) 自动驾驶车辆的基于雷达通信的扩展感知

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant