KR101727439B1 - 자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용 - Google Patents

자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용 Download PDF

Info

Publication number
KR101727439B1
KR101727439B1 KR1020167007135A KR20167007135A KR101727439B1 KR 101727439 B1 KR101727439 B1 KR 101727439B1 KR 1020167007135 A KR1020167007135 A KR 1020167007135A KR 20167007135 A KR20167007135 A KR 20167007135A KR 101727439 B1 KR101727439 B1 KR 101727439B1
Authority
KR
South Korea
Prior art keywords
image data
driving lane
vehicle
environment
predetermined
Prior art date
Application number
KR1020167007135A
Other languages
English (en)
Other versions
KR20160035099A (ko
Inventor
데이비드 아이. 퍼거슨
완-옌 로
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20160035099A publication Critical patent/KR20160035099A/ko
Application granted granted Critical
Publication of KR101727439B1 publication Critical patent/KR101727439B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

자율 차량이 이미지 처리를 위해 환경 정보를 이용하도록 구성될 수 있다. 차량은 환경에서 자율 모드에서 운행하도록 구성될 수 있고, 실질적으로 환경의 주행 차선에서 운행하고 있을 수 있다. 차량은 환경을 나타내는 이미지 데이터를 수신하도록 구성된 센서를 포함할 수 있다. 차량은 또한 환경의 주행 차선에 대응하는 이미지 데이터의 부분을 결정하기 위해 주행 차선을 나타내는 환경 정보를 이미지 데이터와 비교하도록 구성된 컴퓨터 시스템을 포함할 수 있다. 환경의 주행 차선에 대응하는 이미지 데이터의 부분에 기초하여 그리고 이미지 데이터의 나머지 부분은 무시함으로써, 차량은 차선에 물체가 존재하는지를 결정할 수 있고, 이 결정에 기초하여, 환경에서 자율 모드에서 차량을 제어하기 위한 명령어들을 제공할 수 있다.

Description

자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용{USE OF ENVIRONMENTAL INFORMATION TO AID IMAGE PROCESSING FOR AUTONOMOUS VEHICLES}
관련 출원에 대한 상호 참조
본 출원은, 그 전체가 인용에 의해 본 명세서에 포함되는, 2013년 6월 24일 출원된 미국 특허 출원번호 제13/925,795호에 대한 우선권을 주장한다.
본 명세서에 달리 지시되지 않는 한, 이 부분에 기술되는 자료들은 본 출원의 청구항들에 대한 종래 기술이 아니며 또한 이 부분에 포함된다고 해서 종래 기술인 것으로 인정되는 것도 아니다.
차량들은 운전자로부터의 입력이 거의 없거나 또는 전혀 없이 차량이 환경을 통하여 나아가는 자율 모드(autonomous mode)에서 운행하도록 구성될 수 있다. 그러한 자율 차량들은 차량이 운행하는 환경에 관한 정보를 탐지하도록 구성되는 하나 이상의 센서를 포함할 수 있다. 차량과 그와 관련된 컴퓨터 구현 제어기는 환경을 통하여 나아가기 위해 탐지된 정보를 이용한다. 예를 들어, 컴퓨터 구현 제어기에 의해 결정된 바와 같이, 센서(들)가 차량이 장애물에 접근하고 있는 것을 탐지하면, 제어기는 차량이 장애물을 돌아 나아가도록 하기 위해 차량의 방향 컨트롤들을 조절한다.
예들 내에서, 자율 차량에 대한 환경의 알려진 환경 정보에 기초하여 물체 탐지를 위한 방법들 및 시스템들이 제공된다.
제1 양태에서, 방법이 제공된다. 방법은 프로세서를 이용하여, 차량의 적어도 하나의 센서로부터 환경을 나타내는 이미지 데이터를 수신하는 것을 포함한다. 차량은 환경에서 자율 모드에서 운행하도록 구성될 수 있고 차량은 실질적으로 환경의 주행 차선(lane of travel)에 있을 수 있다. 방법은 또한 환경의 주행 차선에 대응하는 이미지 데이터의 부분을 결정하기 위해 주행 차선을 나타내는 환경 정보를 이미지 데이터와 비교하는 것을 포함한다. 방법은 또한 환경의 주행 차선에 대응하는 이미지 데이터의 부분에 기초하여 그리고 이미지 데이터의 나머지 부분은 무시함으로써 주행 차선에 물체가 존재하는지를 결정하는 것을 포함한다. 이미지 데이터의 나머지 부분은 주행 차선에 대응하는 이미지 데이터의 부분과 다른 이미지 데이터를 포함할 수 있다. 방법은 추가로 그 결정에 기초하여, 환경에서 자율 모드에서 차량을 제어하기 위한 명령어들을 제공하는 것을 포함한다.
제2 양태에서, 차량이 제공된다. 차량은 환경을 나타내는 이미지 데이터를 수신하도록 구성된 센서를 포함한다. 차량은 환경에서 자율 모드에서 운행하도록 구성될 수 있고, 차량은 실질적으로 환경의 주행 차선에 있을 수 있다. 차량은 또한 컴퓨터 시스템을 포함한다. 컴퓨터 시스템은 환경의 주행 차선에 대응하는 이미지 데이터의 부분을 결정하기 위해 주행 차선을 나타내는 환경 정보를 이미지 데이터와 비교하도록 구성될 수 있다. 컴퓨터 시스템은 또한 환경의 주행 차선에 대응하는 이미지 데이터의 부분에 기초하여 그리고 이미지 데이터의 나머지 부분은 무시함으로써 주행 차선에 물체가 존재하는지를 결정하도록 구성될 수 있다. 이미지 데이터의 나머지 부분은 주행 차선에 대응하는 이미지 데이터의 부분과 다른 이미지 데이터를 포함할 수 있다. 컴퓨터 시스템은 추가로 그 결정에 기초하여 환경에서 자율 모드에서 차량을 제어하기 위한 명령어들을 제공하도록 구성될 수 있다.
제3 양태에서, 차량 내의 컴퓨터 시스템에 의해 실행될 때, 컴퓨터 시스템이 기능들을 수행하게 하는 명령어들을 저장하고 있는 비일시적 컴퓨터 판독가능 매체가 개시된다. 기능들은 차량의 적어도 하나의 센서로부터 환경을 나타내는 이미지 데이터를 수신하는 것을 포함한다. 차량은 환경에서 자율 모드에서 운행하도록 구성될 수 있고, 차량은 실질적으로 환경의 주행 차선에 있을 수 있다. 기능들은 또한 환경의 주행 차선에 대응하는 이미지 데이터의 부분을 결정하기 위해 주행 차선을 나타내는 환경 정보를 이미지 데이터와 비교하는 것을 포함한다. 기능들은 추가로 환경의 주행 차선에 대응하는 이미지 데이터의 부분에만 기초하여 그리고 이미지 데이터의 나머지 부분은 무시함으로써 주행 차선에 물체가 존재하는지를 결정하는 것을 포함한다. 이미지 데이터의 나머지 부분은 주행 차선에 대응하는 이미지 데이터의 부분과 다른 이미지 데이터를 포함할 수 있다. 기능들은 또한 그 결정에 기초하여, 환경에서 자율 모드에서 차량을 제어하기 위한 명령어들을 제공하는 것을 포함한다.
제4 양태에서 시스템이 개시된다. 시스템은 차량의 적어도 하나의 센서로부터 환경을 나타내는 이미지 데이터를 수신하기 위한 수단을 포함한다. 차량은 환경에서 자율 모드에서 운행하도록 구성될 수 있고, 차량은 실질적으로 환경의 주행 차선에 있을 수 있다. 시스템은 또한 환경의 주행 차선에 대응하는 이미지 데이터의 부분을 결정하기 위해 주행 차선을 나타내는 환경 정보를 이미지 데이터와 비교하기 위한 수단들을 포함한다. 시스템은 추가로 환경의 주행 차선에 대응하는 이미지 데이터의 부분에 기초하여 그리고 이미지 데이터의 나머지 부분은 무시함으로써 주행 차선에 물체가 존재하는지를 결정하기 위한 수단을 포함한다. 이미지 데이터의 나머지 부분은 주행 차선에 대응하는 이미지 데이터의 부분과 다른 이미지 데이터를 포함할 수 있다. 시스템은 또한 그 결정에 기초하여, 환경에서 자율 모드에서 차량을 제어하기 위한 명령어들을 제공하기 위한 수단을 포함한다.
전술한 요약은 단지 예시적인 것이고 어떤 식으로든 제한하고자 하는 것이 아니다. 전술한 예시적인 양태들, 실시예들, 및 특징들 외에, 도면들과 하기의 상세한 설명을 참조함으로써 추가의 양태들, 실시예들, 및 특징들이 명백해질 것이다.
도 1은 예시적인 실시예에 따른 차량을 도시하는 기능 블록도이다.
도 2는 예시적인 실시예에 따른 차량이다.
도 3a는 예시적인 실시예에 따른 방법의 블록 다이어그램을 도시한다.
도 3b는 예시적인 실시예에 따른 방법의 다른 블록 다이어그램을 도시한다.
도 4a는 예시적인 실시예에 따른, 환경에서 운행하는 자율 차량의 평면도이다.
도 4b는 예시적인 실시예에 따른, 도 4a의 자율 차량에 의해 획득된 예시적인 이미지 데이터의 개략도이다.
도 4c는 예시적인 실시예에 따른, 도 4a의 자율 차량에 의해 획득된 예시적인 환경 정보의 개략도이다.
도 4d는 예시적인 실시예에 따른, 도 4c의 예시적인 환경 정보가 도 4b의 이미지 데이터와 비교되는 것의 개략도이다.
도 4e는 예시적인 실시예에 따른, 예시적인 3차원(3D) 환경 정보가 예시적인 3D 이미지 데이터와 비교되는 것의 개략도이다.
도 5는 예시적인 실시예에 따른 컴퓨터 프로그램 제품의 구성도이다.
예시적인 방법들 및 시스템들이 본 명세서에 기술된다. 본 명세서에서 기술되는 임의의 예시적인 실시예 또는 특징은 반드시 다른 실시예들 또는 특징들보다 더 바람직하거나 유리한 것으로 해석되어야 하는 것은 아니다. 본 명세서에서 기술되는 예시적인 실시예들은 제한하기 위한 것이 아니다. 개시된 시스템들 및 방법들의 특정 양태들은 매우 다양한 상이한 구성들로 배열되고 조합될 수 있으며, 그 모두가 본 명세서에서 고려됨을 용이하게 이해할 것이다.
더구나, 도면에 도시되는 특정 배열들은 제한하기 위한 것으로 보지 말아야 한다. 다른 실시예들이 소정의 도면에 도시된 각각의 요소를 더 많거나 또는 더 적게 포함할 수도 있음을 이해해야 한다. 또한, 예시된 요소들의 일부는 조합되거나 또는 생략될 수도 있다. 더욱이, 예시적인 실시예는 도면에 도시되지 않은 요소들을 포함할 수 있다.
자율 모드에서 운행하는 차량들을 위해, 차량의 현재 차선에 있는 물체들의 존재를 알거나 인지하는 것은 도움이 될 수 있다. 일반적으로, 물체들의 존재를 탐지하기 위해 자율 차량들은 라이다(LIDAR)와 레이더(RADAR)를 포함하여 다양한 센서들을 이용하여 차량들이 운행하고 있는 환경을 정기적으로 스캐닝할 수 있다. 때때로, 카메라들이 원거리에 있는 물체들을 관찰하도록 구성되고 금속 물체와 비금속 물체를 분간하지 않도록 구성될 수 있으므로 물체들의 존재를 탐지하기 위해 카메라들을 사용하는 것은 바람직할 수 있다. 라이다 및 레이더와 유사하게, 카메라들은 차량들이 운행하고 있는 환경을 정기적으로 스캐닝하고, 이미지 데이터를 획득하고, 촬영된 데이터를 처리하여 이질 물질들의 존재를 결정할 수 있다. 그러나, 이미지 데이터를 처리하는 것은 계산적으로 비싸고, 이미지 잡음에 취약할 수 있다.
예들 내에서, 이미지 처리를 용이하게 하기 위해 환경(예를 들면, 이미지 지도)의 데이터를 수신하고 이용하도록 구성되는 자율 차량이 제공된다. 자율 차량이 더 효율적으로 그리고 정확하게 물체들의 존재를 탐지하기 위해 차량의 환경을 나타내는 이미지 데이터와 이미지 지도들을 처리하는 것과 관련된 방법들 및 시스템들이 여기에 개시된다. 개시된 실시예들은 차량이 운행하고 있는 환경에서 특정 차선의 이미지 데이터를 캡처하도록 구성될 수 있는 자율 차량과 관련된다. 이미지 데이터는 차량이 운행하고 있는 특정 차선에 관한 정보를 포함하여 차량이 운행하고 있는 환경에 관한 정보를 포함할 수 있다. 이 정보를 이용하여, 차량은, 예를 들어, 무관한 지역들은 무시하고 특정 차선을 나타내는 이미지 데이터의 부분에 집중함으로써 관련 있는 지역들 내의 물체들을 탐지할 수 있다.
예시적인 시나리오에서, 자율 차량은 고속도로의 특정 차선에서 이동하고 있는 동안 차량에 결합된 카메라를 사용하여 이미지를 획득할 수 있다. 그러한 시나리오에서, 차량의 주행을 방해할지도 모른 어떤 장애물들(예를 들면, 도로 플레어(road flares), 원뿔형 교통 표지판(cones), 다른 차량들, 기타 등등)는 차량에게 중요할 수 있고, 차량은 이상적으로 특정 주행 차선 내에 있는 어떤 그러한 물체들을 효율적으로 그리고 정확하게 탐지하기를 원할 것이다. 물체들을 탐지하기 위해, 차량은 차량이 주행하고 있는 환경을 규정하거나 이를 나타내는 이미지 지도 - 현재 시나리오에서, 고속도로의 세부 사항들을 규정하고 제공하는 이미지 지도를 결정할 수 있다. 고속도로의 지도를 이용하여, 차량은 (예를 들면, 이미지 지도를 이미지 데이터와 비교하고, 차선 범위들을 결정하고, 차선의 범위들을 캡처된 이미지 데이터에 투영하는 것에 의해) 차량이 운행하고 있는 고속도로의 특정 차선을 나타내는 이미지 데이터의 부분을 결정할 수 있다. 이미지 데이터의 결정된 부분은 물체들 또는 다른 것들의 존재를 탐지하기 위한 차량에 의해 처리될 수 있다. 이미지 데이터의 나머지 부분들은 차량에 의해 무시될 수 있다.
여기에서 기술된 방법들과 시스템들을 이용하는 것은 자율 차량에서의 이미지 처리의 작업을 용이하게 하고, 아마도 더 전형적인 카메라 처리 방법들에 존재할 수 있는 어려움들 중 일부를 피할 수 있다.
예시적인 시스템들에 대해 이제 더 상세하게 기술한다. 일반적으로, 예시적인 시스템은 컴퓨팅 장치로 구현될 수 있거나, 컴퓨팅 장치의 형태를 취할 수 있다. 그러나, 예시적인 시스템은 또한 다른 장치들로 구현되거나 다른 장치들의 형태를 취할 수 있거나 승용차, 트럭, 오토바이, 버스, 보트, 비행기, 헬리콥터, 벌초기, 레저 차량, 놀이 공원 차량, 농업용 장비, 건설 장비, 트램, 골프 카트, 기차, 및 트롤리와 같은 차량들 내에 포함될 수 있다. 다른 차량들도 가능하다.
도 1은 예시적인 실시예에 따른 차량(100)을 도시하는 기능 블록도이다. 차량(100)은 자율 모드에서 완전히 또는 부분적으로 운행하도록 구성되고, 그러므로 "자율 차량"으로서 언급될 수 있다. 예를 들어, 컴퓨터 시스템(112)이 차량(100)을 위한 제어 시스템(106)에 대한 제어 명령어들을 통해 자율 모드에 있는 동안 차량(100)을 제어할 수 있다. 컴퓨터 시스템(112)은 센서 시스템(104)으로부터 정보를 수신하고 이 수신된 정보에 기초하여 자동화된 방식으로 하나 이상 제어 프로세스(탐지된 장애물을 회피하기 위해 진행 방향(heading)을 설정하는 것 등)를 수행할 수 있다.
차량(100)은 완전 자율적이거나 부분적으로 자율적일 수 있다. 부분적으로 자율적인 차량에서 일부 기능들은 선택적으로 일부 또는 모든 시간에 수동으로(예를 들어, 운전자에 의해) 제어될 수 있다. 또한, 부분적으로 자율적인 차량은 완전 수동 운행 모드와 부분 자율 및/또는 완전 자율 운행 모드 사이에 전환하도록 구성될 수 있다.
차량(100)은 추진 시스템(102), 센서 시스템(104), 제어 시스템(106), 하나 이상의 주변 장치들(108)뿐만 아니라, 전원(110), 컴퓨터 시스템(112), 및 사용자 인터페이스(116)와 같은 다양한 서브시스템들을 포함할 수 있다. 차량(100)은 더 많거나 더 적은 수의 서브시스템을 포함할 수 있으며 각각의 서브시스템은 여러 요소들을 포함할 수 있다. 또한, 차량(100)의 서브시스템들과 요소들 각각은 서로 연결될 수 있다. 따라서, 차량(100)의 기술되는 기능들 중 하나 이상은 추가의 기능적 또는 물리적 구성 요소들이 되도록 분할되거나, 더 적은 기능적 또는 물리적 구성 요소들이 되도록 조합될 수 있다. 일부 추가 예들에서는, 추가의 기능적 및/또는 물리적 구성 요소들이 도 1에 도시된 예들에 추가될 수 있다.
추진 시스템(102)은 차량(100)에 동력 운동(powered motion)을 제공하도록 동작할 수 있는 구성 요소들을 포함할 수 있다. 실시예에 따라서는, 추진 시스템(102)은 엔진/모터(118), 에너지원(119), 변속기(120), 및 휠들/타이어들(121)을 포함할 수 있다. 엔진/모터(118)는 내연 엔진, 전기 모터, 증기 기관, 스털링 엔진, 또는 다른 유형의 엔진들 및/또는 모터들의 임의 조합일 수 있다. 일부 실시예들에서, 추진 시스템(102)은 여러 유형의 엔진들 및/또는 모터들을 포함할 수 있다. 예를 들어, 가스-전기 하이브리드 승용차는 가솔린 엔진과 전기 모터를 포함할 수 있다. 다른 예들도 역시 가능하다.
에너지원(119)은 엔진/모터(118)에게 전체적으로 또는 부분적으로 동력을 공급할 수 있는 에너지의 소스를 나타낼 수 있다. 즉, 엔진/모터(118)는 에너지원(119)을 변속기(120)를 가동하기 위한 기계 에너지로 변환하도록 구성될 수 있다. 에너지원들(119)의 예들은 가솔린, 디젤, 다른 석유 계열 연료, 프로판, 다른 압축 가스 계열 연료, 에탄올, 태양 전지판, 축전지, 커패시터, 플라이휠, 회생 제동 시스템, 및/또는 다른 전력 소스들, 기타 등등을 포함할 수 있다. 에너지원(119)은 또한 자동차(100)의 다른 시스템들을 위한 에너지를 제공할 수 있다.
변속기(120)는 엔진/모터(118)로부터의 기계적 동력을 휠들/타이어들(121)에게 전달하도록 동작할 수 있는 요소들을 포함할 수 있다. 그러한 요소들은 기어박스, 클러치, 차동, 구동 샤프트 그리고/또는 차축(들), 기타 등등 포함할 수 있다. 변속기(120)는 다른 요소들도 포함할 수 있다. 구동 샤프트들은 하나 이상의 휠들/타이어들(121)에 결합될 수 있는 하나 이상의 차축을 포함할 수 있다.
휠들/타이어들(121)은 차량(100)이 이동하는 도로와 같은 표면과의 마찰 견인을 제공하면서 안정하게 차량(100)을 지지하도록 배열될 수 있다. 따라서, 차량(100)의 휠들/타이어들(121)은 외발 자전거(unicycle), 자전거/오토바이, 세발 자전거(tricycle), 또는 승용차/트럭의 사륜 형식을 포함하여 다양한 형식으로 구성될 수 있다. 6개 이상의 바퀴를 포함하는 것들과 같이 다른 휠/타이어 기하학적 구조들이 가능하다. 차량(100)의 휠들/타이어들(121)의 임의 조합이 다른 휠들/타이어들(121)에 대해 차동적으로(differentially) 회전하도록 동작할 수 있다. 휠들/타이어들(121)은 변속기(120)에 고정적으로 부착된 적어도 하나의 휠 및 주행 표면과 접촉할 수 있는 휠의 테두리에 결합된 적어도 하나의 타이어를 나타낼 수 있다. 휠들/타이어들(121)은 금속과 고무의 임의 조합, 또는 재료들의 또 다른 조합을 포함할 수 있다.
센서 시스템(104)은 차량(100)을 둘러싸는 환경에 관한 정보를 탐지하도록 구성된 하나 이상의 센서를 일반적으로 포함한다. 예를 들어, 센서 시스템(104)은 전지구 위치 확인 시스템(Global Positioning System, GPS)(122), 관성 측정 유닛(inertial measurement unit, IMU)(124), 레이더 유닛(126), 레이저 거리 측정기/라이다 유닛(128), 카메라(130), 및/또는 마이크로폰(131)을 포함할 수 있다. 센서 시스템(104)은 차량(100)의 내부 시스템들(예를 들어, O2 모니터, 연료 게이지, 엔진 오일 온도, 휠 속도 센서, 기타 등등)을 모니터링하도록 구성되는 센서들도 포함할 수 있다. 센서 시스템(104) 내에 포함되는 센서들 중 하나 이상은 하나 이상의 센서의 위치 및/또는 배향을 수정하기 위해 개별적으로 및/또는 집합적으로 작동되도록 구성될 수 있다.
GPS(122)는 차량(100)의 지리적 위치를 추정하도록 구성되는 임의의 센서일 수 있다. 이를 위해, GPS(122)는 지구에 대한 차량(100)의 위치에 관한 정보를 제공하도록 동작할 수 있는 송수신기를 포함할 수 있다.
IMU(124)는 관성 가속도에 기초하여 차량(100)의 위치 및 배향 변화들을 감지하도록 구성되는 센서들(예를 들어, 가속도계 및 자이로스코프)의 임의 조합을 포함할 수 있다.
레이더 유닛(126)은 무선 신호들을 이용하여 차량(100)의 국지적 환경 내의 물체들을 감지하는 시스템을 나타낼 수 있다. 일부 실시예들에서, 물체들을 감지하는 것에 더하여, 레이더 유닛(126)은 물체들의 속도 및/또는 진행 방향을 감지하도록 추가로 구성될 수 있다.
유사하게, 레이저 거리 측정기 또는 라이다 유닛(128)은 레이저를 이용하여 차량(100)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 임의의 센서일 수 있다. 실시예에 따라서는, 레이저 거리 측정기/라이다 유닛(128)은, 여러 시스템 구성 요소들 중에서도, 하나 이상의 레이저 소스, 레이저 스캐너, 및 하나 이상의 탐지기를 포함할 수 있다. 레이저 거리 측정기/라이다 유닛(128)은 (예를 들어, 헤테로다인 검파를 이용하는) 간섭성(coherent) 또는 비간섭성 검파 모드에서 동작하도록 구성될 수 있다.
카메라(130)는 차량(100)을 둘러싸는 환경의 복수의 이미지들을 캡처하도록 구성된 하나 이상의 장치를 포함할 수 있다. 카메라(130)는 정지 카메라(still camera) 또는 비디오 카메라일 수 있다. 일부 실시예들에서, 카메라(130)는 예를 들어 카메라가 탑재된 플랫폼을 회전시키고/시키거나 기울이는 것에 의해 기계적으로 움직일 수 있을 수 있다. 이에 따라, 차량(100)의 제어 프로세스가 카메라(130)의 움직임을 제어하기 위해 구현될 수 있다.
센서 시스템(104)은 또한 마이크로폰(131)을 포함할 수 있다. 마이크로폰(131)은 차량(100)을 둘러싸는 환경으로부터 사운드를 캡처하도록 구성될 수 있다. 일부 경우에, 다수의 마이크로폰들이 마이크로폰 어레이로서, 또는 아마 다수의 마이크로폰 어레이로서 배열될 수 있다.
제어 시스템(106)은 차량(100)과 그것의 구성 요소들의 동작(들)을 제어하도록 구성될 수 있다. 그에 따라서, 제어 시스템(106)은 조향 유닛(steering unit)(132), 스로틀(throttle)(134), 브레이크 유닛(136), 센서 융합 알고리즘(sensor fusion algorithm)(138), 컴퓨터 비전 시스템(140), 내비게이션/경로 안내 시스템(navigation/pathing system)(142), 및 장애물 회피 시스템(144), 기타 등등을 포함하여 다양한 요소들을 포함할 수 있다.
조향 유닛(132)은 차량(100)의 진행 방향을 조정하도록 동작할 수 있는 메커니즘들의 임의 조합을 나타낼 수 있다. 예를 들어, 조향 유닛(132)은 차량(100)의 선회(turning)를 달성하기 위해 휠들/타이어들(121) 중 하나 이상의 축(또는 축들)을 조절할 수 있다. 스로틀(134)은, 예를 들어 엔진/모터(118)의 운전 속도를 제어하고, 이어서 차량(100)의 속도를 제어하도록 구성될 수 있다. 브레이크 유닛(136)은 차량(100)을 감속시키도록 구성되는 메커니즘들의 임의 조합을 포함할 수 있다. 예를 들어, 브레이크 유닛(136)은 휠들/타이어들(121)의 속도를 늦추기 위해 마찰을 이용할 수 있다. 다른 실시예들에서, 브레이크 유닛(136)은 휠들/타이어들(121)의 운동 에너지를 전류로 변환하기 위해 회생 제동 프로세스에 의해 휠들/타이어들(121)을 유도성으로 감속시킨다. 브레이크 유닛(136)은 다른 형태들도 취할 수 있다.
센서 융합 알고리즘(138)은 센서 시스템(104)으로부터의 데이터를 입력으로서 받아들이도록 구성되는 알고리즘(또는 알고리즘을 저장하는 컴퓨터 프로그램 제품)일 수 있다. 데이터는, 예를 들어, 센서 시스템(104)의 센서들에서 감지된 정보를 나타내는 데이터를 포함할 수 있다. 센서 융합 알고리즘(138)은, 예를 들어 칼만 필터(Kalman filter), 베이지안 네트워크, 또는 다른 알고리즘을 포함할 수 있다. 센서 융합 알고리즘(138)은 센서 시스템(104)으로부터의 데이터에 기초하여 다양한 평가들을 제공할 수 있다. 실시예에 따라서는, 평가들은 차량(100)의 환경 내의 개별 물체들 및/또는 특징들의 평가들, 특정한 상황의 평가, 및/또는 특정한 상황에 기초한 가능한 영향들의 평가를 포함할 수 있다. 다른 평가들도 가능하다.
컴퓨터 비전 시스템(140)은 교통 신호, 도로 경계, 다른 차량, 보행자, 및/또는 장애물, 기타 등등을 포함할 수 있는 차량(100)의 환경 내의 물체들 및/또는 특징들을 식별하기 위해 카메라(130)에 의해 캡처되는 이미지들을 처리하고 분석하도록 동작할 수 있는 임의의 시스템일 수 있다. 컴퓨터 비전 시스템(140)은 물체 인식 알고리즘, SFM(Structure From Motion) 알고리즘, 비디오 추적, 및 다른 컴퓨터 비전 기술들을 이용할 수 있다. 일부 실시예들에서, 컴퓨터 비전 시스템(140)은 환경을 지도로 만들고, 물체들을 추적하고, 물체들의 속도를 추정하고, 기타 등등을 수행하도록 추가로 구성될 수 있다.
내비게이션 및 경로 안내 시스템(142)은 차량(100)을 위한 운전 경로를 결정하도록 구성되는 임의의 시스템일 수 있다. 예를 들어, 내비게이션/경로 안내 시스템(142)은 일반적으로, 예를 들어, 사용자 인터페이스(116)를 통해 사용자 입력들에 따라 설정될 수 있는 궁극적 목적지로 이어지는 도로 기반 경로를 따라 차량(100)을 나아가게 하는 동안 감지된 장애물들을 실질적으로 회피하는 경로를 따라 차량(100)의 움직임을 달성하기 위해 일련의 속력들과 지향 진행 방향들을 결정할 수 있다. 내비게이션 및 경로 안내 시스템(142)은 차량(100)이 운행하고 있는 동안 운전 경로를 동적으로 갱신하도록 추가로 구성될 수 있다. 일부 실시예들에서, 내비게이션 및 경로 안내 시스템(142)은 차량(100)을 위한 운전 경로를 결정하기 위해서 센서 융합 알고리즘(138), GPS(122), 및 하나 이상의 미리 정해진 지도로부터의 데이터를 통합하도록 구성될 수 있다.
장애물 회피 시스템(144)은 차량(100)의 환경 내의 잠재적 장애물들을 식별하고, 평가하고, 회피하거나 다른 방식으로 피해 나가도록 구성되는 제어 시스템을 나타낼 수 있다. 예를 들어, 장애물 회피 시스템(144)은 방향 전환(swerving) 조작들, 선회 조작들, 제동 조작들, 기타 등등을 수행하기 위해 제어 시스템(106) 내의 하나 이상의 서브시스템을 가동시키는 것에 의해 차량(100)의 내비게이션의 변화들을 달성할 수 있다. 일부 실시예들에서, 장애물 회피 시스템(144)은 주위의 교통 패턴들, 도로 상태들, 기타 등등을 기초로 하여 가능한("이용 가능한") 장애물 회피 조작들을 자동으로 결정하도록 구성된다. 예를 들어, 장애물 회피 시스템(144)은 다른 센서 시스템들이 방향 전환될 차량(100)에 인접한 영역에서 차량들, 공사 장벽들, 다른 장애물들, 기타 등등을 탐지할 때는 방향 전환이 수행되지 않도록 구성될 수 있다. 일부 실시예들에서, 장애물 회피 시스템(144)은 이용 가능하고 또한 차량의 탑승자들의 안전을 극대화하는 조작을 자동으로 선택할 수 있다. 예를 들어, 장애물 회피 시스템(144)은 차량(100)의 승객실에서 최소량의 가속을 야기하도록 예상되는 회피 조작을 선택할 수 있다.
제어 시스템(106)은 추가로 또는 대안으로서 도시되고 기술된 것들 이외의 구성 요소들을 포함할 수 있다.
차량(100)은 또한 차량(100)과, 외부 센서들, 다른 차량들, 다른 컴퓨터 시스템들, 및/또는 차량(100)의 탑승자와 같은 사용자 간의 상호 작용을 허용하도록 구성된 주변 장치들(108)을 포함한다. 예를 들어, 탑승자들, 외부 시스템들, 기타 등등으로부터 정보를 수신하기 위한 주변 장치들(108)은 무선 통신 시스템(146), 터치스크린(148), 마이크로폰(150), 및/또는 스피커(152)를 포함할 수 있다.
일부 실시예에서, 주변 장치들(108)은 차량(100)의 사용자가 사용자 인터페이스(116)와 상호 작용하기 위한 입력들을 수신하도록 기능한다. 이를 위해, 터치스크린(148)은 정보를 차량(100)의 사용자에게 제공할 수 있고, 또한 터치스크린(148)을 통해 표시된 사용자로부터의 정보를 사용자 인터페이스(116)에 전달할 수 있다. 터치스크린(148)은 정전용량식 감지, 저항식 감지, 광학적 감지, 표면 탄성파 처리, 기타 등등을 통해 사용자의 손가락(또는 스타일러스, 기타 등등)으로부터 터치 위치들과 터치 제스처들 양쪽 모두를 감지하도록 구성될 수 있다. 터치스크린(148)은 터치스크린 표면에 평행하거나 평면인 방향의, 터치스크린 표면에 수직인 방향의, 또는 양쪽 모두의 방향의 손가락 움직임을 감지할 수 있고, 또한 터치스크린 표면에 가해진 압력의 레벨을 감지할 수도 있다. 차량(100)의 탑승자는 또한 음성 명령 인터페이스를 이용할 수 있다. 예를 들어, 마이크로폰(150)은 차량(100)의 탑승자로부터 오디오(예를 들어, 음성 명령 또는 다른 오디오 입력)를 수신하도록 구성될 수 있다. 유사하게, 스피커(152)는 차량(100)의 탑승자에게 오디오를 출력하도록 구성될 수 있다.
일부 실시예들에서, 주변 장치들(108)은 차량(100)과, 교통 정보, 일기 정보, 기타 등등의 차량의 환경에 관한 유용한 정보를 제공하는 차량의 주위 환경 내의 장치들, 센서들, 다른 차량들, 기타 등등 및/또는 차량(100)에서 물리적으로 멀리 위치하는 제어기들, 서버들, 기타 등등과 같은 외부 시스템들 사이의 통신을 허용하도록 기능한다. 예를 들어, 무선 통신 시스템(146)은 직접적으로 또는 통신 네트워크를 통해 하나 이상의 장치와 무선으로 통신할 수 있다. 무선 통신 시스템(146)은 CDMA, EVDO, GSM/GPRS와 같은 3G 셀룰러 통신, 또는 WiMAX 또는 LTE와 같은 4G 셀룰러 통신을 선택적으로 이용할 수 있다. 추가로 또는 대안으로서, 무선 통신 시스템(146)은, 예를 들어 와이파이를 이용하여 무선 근거리 네트워크(WLAN)와 통신할 수 있다. 일부 실시예들에서, 무선 통신 시스템(146)은, 예를 들어 적외선 링크, 블루투스, 또는 지그비(ZigBee)를 이용하여 장치와 직접 통신할 수 있다. 무선 통신 시스템(146)은 차량들 및/또는 노변 기지국들(roadside stations) 간의 공공 및/또는 개인 데이터 통신을 포함할 수 있는 하나 이상의 DSRC(dedicated short range communication) 장치를 포함할 수 있다. 다양한 차량 통신 시스템들과 같이, 신호들에 포함된 정보를 송수신하기 위한 다른 무선 프로토콜들이 또한 본 개시의 맥락 내에서 무선 통신 시스템(146)에 의해 사용될 수 있다.
전원(110)은 주변 장치들(108), 컴퓨터 시스템(112), 센서 시스템(104), 기타 등등의 전자 장치들과 같은, 차량(100)의 구성 요소들에게 전력을 제공할 수 있다. 전원(110)은, 예를 들어, 전기 에너지를 저장하고 다양한 동력 구성 요소들에 방전하기 위한 재충전 가능한 리튬-이온 또는 납축전지를 포함할 수 있다. 일부 실시예들에서, 축전지들의 하나 이상의 뱅크가 전력을 공급하도록 구성될 수 있다. 일부 실시예들에서, 전원(110) 및 에너지원(119)은 일부 완전 전기 자동차에서와 같이 함께 구현될 수 있다.
차량(100)의 다수의 또는 모든 기능들은 센서 시스템(104), 주변 장치들(108), 기타 등등으로부터 입력들을 수신하고 차량의 환경에 기초하여 차량(100)의 자동 운행을 달성하기 위해 적절한 제어 신호들을 추진 시스템(102), 제어 시스템(106), 주변 장치들(108), 기타 등등에 전달하는 컴퓨터 시스템(112)을 통해 제어될 수 있다. 컴퓨터 시스템(112)은 데이터 저장소(114)와 같은 비일시적 컴퓨터 판독 가능 매체 내에 저장된 명령어들(115)을 실행하는 (적어도 하나의 마이크로프로세서를 포함할 수 있는) 적어도 하나의 프로세서(113)를 포함할 수 있다. 컴퓨터 시스템(112)은 또한 차량(100)의 개별 구성 요소들 또는 서브시스템들을 분산 방식으로 제어하는 역할을 할 수 있는 복수의 컴퓨팅 장치를 나타낼 수 있다.
일부 실시예들에서, 데이터 저장소(114)는 도 1과 관련하여 위에서 기술된 것들을 포함하여, 다양한 자동차 기능들을 실행하기 위해 프로세서(113)에 의해 실행할 수 있는 명령어들(115)(예를 들면, 프로그램 논리)를 포함할 수 있다. 데이터 저장소(114)는 추진 시스템(102), 센서 시스템(104), 제어 시스템(106), 및 주변 장치들(108) 중 하나 이상에게 데이터를 전송하고, 이들로부터 데이터를 수신하고, 이들과 상호 작용하고, 및/또는 이들을 제어하기 위한 명령어들을 포함하여, 추가적 명령어들도 포함할 수 있다.
명령어들(115)에 더하여, 데이터 저장소(114)는 여러 정보 중에서도 특히, 도로 지도, 경로 정보와 같은 데이터를 저장할 수 있다. 그러한 정보는 자율, 반-자율, 및/또는 수동 모드들에서의 차량(100)의 운행 동안 차량(100) 및 컴퓨터 시스템(112)에 의해 이용될 수 있다.
차량(100), 및 관련된 컴퓨터 시스템(112)은 차량(100)의 승객실 내의 탑승자와 같은 차량(100)의 사용자에게 정보를 제공하고/하거나 그로부터 입력을 수신한다. 따라서, 차량(100)은 차량(100)의 사용자에게 정보를 제공하거나 그로부터 입력을 수신하기 위한 사용자 인터페이스(116)를 포함할 수 있다. 사용자 인터페이스(116)는 터치스크린(148) 상에 표시될 수 있는 대화형 이미지들의 레이아웃 및/또는 콘텐츠를 제어하거나 그 제어를 가능하게 할 수 있다. 또한, 사용자 인터페이스(116)는 무선 통신 시스템(146), 터치스크린(148), 마이크로폰(150), 및 스피커(152)와 같은, 주변 장치들(108)의 세트 내의 하나 이상의 입출력 장치를 포함할 수 있다.
컴퓨터 시스템(112)은 차량 및/또는 환경 상태들을 나타내는 다양한 서브시스템들(예를 들어, 추진 시스템(102), 센서 시스템(104), 및 제어 시스템(106))으로부터 수신된 입력들뿐만 아니라, 사용자 기호들을 나타내는, 사용자 인터페이스(116)로부터의 입력들에 기초하여 차량(100)의 운행을 제어한다. 예를 들어, 컴퓨터 시스템(112)은 센서 시스템(104) 및 장애물 회피 시스템(144)에 의해 탐지되는 장애물을 회피하도록 조향 유닛(132)을 제어하기 위해 제어 시스템(106)으로부터의 입력을 활용할 수 있다. 컴퓨터 시스템(112)은 차량(100)과 그것의 서브시스템들의 많은 양상들을 제어하도록 구성될 수 있다. 그러나, 일반적으로, 예를 들어 응급 상황의 경우에, 또는 단지 사용자 작동 무효화에 응답하여, 자동화된 제어기 구동 작동을 수동으로 무효화하기 위한 준비들이 이루어진다.
여기에 기술된 차량(100)의 구성 요소들은 그 각각의 시스템들 내부 또는 외부의 다른 구성 요소들과 상호접속된 방식으로 기능하도록 구성될 수 있다. 예를 들어, 카메라(130)는 자율 모드에서 운행하는 동안 차량(100)의 환경에 관한 정보를 나타내는 복수의 영상을 캡처할 수 있다. 환경은 다른 차량들, 교통 신호등들, 도로 표지들, 보행자들, 기타 등등을 포함할 수 있다. 컴퓨터 비전 시스템(140)은 데이터 저장소(114)에 미리 저장된 물체 인식 모델들에 기초하여, 그리고/또는 다른 기법들에 의해 센서 융합 알고리즘(138), 컴퓨터 시스템(112), 기타 등등과 협력하여 환경 내의 다양한 양상들을 분류하고/하거나 인지할 수 있다.
도 1이 차량(100)의 다양한 구성 요소들, 즉 무선 통신 시스템(146), 컴퓨터 시스템(112), 데이터 저장소(114), 및 사용자 인터페이스(116)가 차량(100) 내에 통합된 것으로 도시하지만, 이러한 구성 요소들 중 하나 이상은 차량(100)과 별개로 장착되거나 연관될 수 있다. 예를 들어, 데이터 저장소(114)는 부분적으로 또는 완전히 차량(100)과 분리하여 존재할 수 있다. 따라서, 차량(100)은 별개로 또는 함께 위치할 수 있는 장치 요소들의 형태로 제공될 수 있다. 차량(100)을 구성하는 장지 요소들은 일반적으로 유선 및/또는 무선 방식으로 함께 통신 가능하게 결합될 수 있다.
도 2는 도 1을 참조하여 차량(100)과 관련하여 기술된 모든 또는 대부분의 기능들을 포함할 수 있는 예시적인 차량(200)을 묘사한다. 예시적인 차량(200)이 설명의 목적으로 사륜 세단형 승용차로서 도 2에 도시될지라도, 본 개시는 그렇게 제한되지 않는다. 예를 들어, 예시적인 차량(200)은 여기에서 언급된 임의 유형의 차량을 나타낼 수 있다.
차량(200)은 센서 유닛(202), 무선 통신 시스템(204), 라이다 유닛(206), 레이저 거리 측정기 유닛(208) 및 카메라(210)를 포함한다. 게다가, 예시적인 차량(200)은 도 1의 차량(100)과 관련하여 기술된 구성 요소들 중 임의의 구성 요소를 포함할 수 있다.
센서 유닛(202)은 예시적인 차량(200)의 꼭대기에 탑재되고, 예시적인 차량(200)을 둘러싸는 환경에 관한 정보를 탐지하고, 그 정보의 표시들을 출력하도록 구성된 하나 이상의 센서를 포함한다. 예를 들어, 센서 유닛(202)은 카메라, 레이더, 라이다, 거리 측정기, 및 음향 센서의 임의 조합을 포함할 수 있다. 센서 유닛(202)은 센서 유닛(202) 내의 하나 이상의 센서의 방위를 조정하도록 작동될 수 있는 하나 이상의 이동식 마운트(movable mounts)를 포함한다. 일 실시예에서, 이동식 마운트는 예시적인 차량(200) 주위의 각각의 방향으로부터 정보를 획득하기 위해 센서들을 스캐닝할 수 있는 회전 플랫폼을 포함할 수 있다. 또 다른 실시예에서, 센서 유닛(202)의 이동식 마운트는 특정 범위의 각도들 및/또는 방위각들 내에서 스캐닝 방식으로 이동 가능할 수 있다. 센서 유닛(202)은 예를 들어 차의 지붕 위에 장착될 수 있지만, 다른 장착 위치들이 가능하다. 게다가, 센서 유닛(202)의 센서들은 상이한 위치들에 분산될 수 있으며, 단일 위치에 함께 위치할 필요는 없다. 일부 가능한 센서 유형들 및 장착 위치들은 라이다 유닛(206) 및 레이저 거리 측정기 유닛(208)을 포함한다. 더구나, 센서 유닛(202)의 각각의 센서는 센서 유닛(202)의 다른 센서들과 독립적으로 이동되거나 또는 스캐닝되도록 구성될 수 있다.
무선 통신 시스템(204)은 도 2에 도시된 것처럼 예시적인 차량(200)의 지붕에 위치할 수 있다. 대안으로서, 무선 통신 시스템(204)은 완전히 또는 부분적으로 다른 곳에 위치할 수 있다. 무선 통신 시스템(204)은 예시적인 차량(200)의 외부 또는 내부의 장치들과 통신하도록 구성될 수 있는 무선 송신기들과 수신기들을 포함할 수 있다. 구체적으로, 무선 통신 시스템(204)은, 예를 들어 차량 통신 시스템 또는 도로 기지국(roadway station)에서 다른 차량들 및/또는 컴퓨팅 장치들과 통신하도록 구성되는 송수신기들을 포함할 수 있다. 그러한 차량 통신 시스템들의 예는 DSRC(dedicated short range communications), RFID(radio frequency identification), 및 지능형 전송 시스템들(intelligent transport systems)을 지향하는 다른 제안된 통신 표준들을 포함한다.
카메라(210)는 차량(200)의 환경의 복수의 이미지를 캡처하도록 구성되는 감광 기기, 예를 들어 정지 카메라, 비디오 카메라 등일 수 있다. 이를 위해, 카메라(210)는 가시광을 탐지하도록 구성될 수 있거나, 추가로 또는 대안으로서 적외선 또는 자외선 광과 같은 다른 스펙트럼 부분들로부터의 광을 탐지하도록 구성될 수 있다. 카메라(210)는 2차원 탐지기일 수 있고, 선택적으로 3차원 공간 감도 범위를 가지고 있을 수 있다. 일부 실시예들에서, 카메라(210)는 예를 들어 카메라(210)로부터 환경 내의 복수의 지점까지의 거리를 나타내는 이차원 이미지를 생성하도록 구성되는 거리 탐지기(range detector)일 수 있다. 이를 위해, 카메라(210)는 하나 이상의 거리 탐지 기술을 이용할 수 있다.
예를 들어, 카메라(210)는 구조화된 광 기술을 이용하여 거리 정보를 제공할 수 있는데, 이러한 기술에서는 차량(200)이 격자 또는 바둑판 무늬와 같은 미리 정해진 광 패턴으로 환경 내의 물체를 조명하고 또한 카메라(210)를 이용하여 주위 환경으로부터의 미리 정해진 광 패턴의 반사를 탐지한다. 반사된 광 패턴에서의 왜곡들에 기초하여, 차량(200)은 물체상의 지점들까지의 거리를 결정할 수 있다. 미리 정해진 광 패턴은 그와 같은 측정들을 위해 적외선 광 또는 다른 적절한 파장들에 있는 복사를 포함할 수 있다.
카메라(210)는 예시적인 차량(200)의 전면 유리(front windshield) 안쪽에 장착될 수 있다. 구체적으로, 카메라(210)는 예시적인 차량(200)의 배향에 관하여 전면에 보이는 광경으로부터의 이미지들을 캡처하도록 위치할 수 있다. 차량(200) 내부에 또는 외부에, 카메라(210)의 다른 장착 위치들 및 시야각들이 이용될 수도 있다.
카메라(210)는 조정 가능한 시야를 제공하도록 동작할 수 있는 관련 광학 장치들을 가질 수 있다. 또한, 카메라(210)는, 예를 들어 팬/틸트 메커니즘을 통해, 카메라(210)의 지시 각(pointing angle)을 변화시키기 위해 이동식 마운트를 이용해 예시적인 차량(200)에 장착될 수 있다.
도 3a에서, 이미지 처리를 통하여 물체 탐지를 용이하게 하기 위해 알려진 환경 정보를 이용하기 위한 방법(300)이 제공된다. 이 방법에서 기술된 차량은 각각 도 1과 도 2에 관하여 예시되고 기술된 차량(100) 그리고/또는 차량(200)일 수 있다. 예를 들어, 여기에서 기술된 프로세스들은 컴퓨터 시스템(112), 센서 융합 알고리즘(138) 그리고/또는 컴퓨터 비전 시스템(140)과 통신하는 자율 차량(예를 들어, 차량(200))에 장착된 카메라(130)에 의해 수행될 수 있다.
게다가, 여기에서 기술된 흐름도들과 관련하여 기술된 기능은 특수 기능 그리고/또는 구성된 일반 기능 하드웨어 모듈들, 도 3에 도시된 흐름도와 관련하여 기술된 특정 논리 기능들, 결정들 그리고/또는 단계들을 달성하기 위해 프로세서(예를 들어, 컴퓨터 시스템(112)의 프로세서(113))에 의해 실행되는 프로그램 코드의 일부들로 구현될 수 있다는 것에 주목한다. 사용되는 경우, 프로그램 코드는, 예를 들어, 디스크 또는 하드 드라이브를 포함하는 저장 장치 등, 임의의 유형의 컴퓨터 판독가능 매체(예를 들어, 컴퓨터 시스템(112)에 관하여 위에 기술한 데이터 저장소(114) 및/또는 아래에 기술된 컴퓨터 프로그램 제품(500) 등, 컴퓨터 판독가능 매체 또는 비일시적 매체)에 저장될 수 있다.
게다가, 도 3a(또는 도 3b)에 도시된 흐름도의 각 블록은 프로세스에서 특정 논리 기능들을 수행하기 위해 배선되어 있는 회로를 나타낼 수 있다. 구체적으로 지시되지 않는 한, 도 3a-3b에 도시된 흐름도의 기능들은, 설명된 방법의 전반적인 기능이 유지되기만 하면, 개별적으로 기술된 기능들의 실질적으로 동시의 실행을 포함하여, 도시되거나 설명된 것과 다른 순서로, 또는 관련된 기능에 따라서는, 일부 예들에서는 심지어 역순으로 실행될 수 있다. 게다가, 하드웨어 그리고/또는 소프트웨어 요소들의 유사한 조합들이 도 3b에 도시된 추가적 흐름도와 같은, 본 개시에 제공된 다른 흐름도들과 관련하여 기술된 방법들을 구현하기 위해 사용될 수 있다.
처음에 블록 302에서, 도 3a의 방법(300)은 실질적으로 환경의 주행 차선에서 운행하도록 구성된 차량의 센서로부터 환경을 나타내는 이미지 데이터를 수신하는 것을 포함한다. 차량은 도 1 및 도 2를 참조하여 기술된 차량일 수 있고, 환경에서 자율 모드에서 운행하도록 구성될 수 있다. 환경은 차량이 주행 차선에서 자율적으로 운행할 수 있는 임의의 환경일 수 있다. 그러한 환경들은 몇몇을 예를 들어 고속도로, 도로 또는 주간 고속도로(interstate)를 포함할 수 있다. 한 예에서, 도 4a를 참고하면, 차량(404)은 도로(402), 석유 유출물(408), 트럭(410) 원뿔형 교통 표지판(412)을 포함하는 환경(400)에서 운행하고 있을 수 있다. 환경(400)에서, 차량은 실질적으로 주행 차선(402b)에서 운행하고 있을 수 있고, 석유 유출물(408), 트럭(410) 및 원뿔형 교통 표지판(412)은 실질적으로 차선(402a)에 위치할 수 있다.
환경(400)의 특징들은 영구적인 것과 비영구적인 것 양쪽 모두일 수 있다. 예를 들어, 석유 유출물(408), 트럭(410) 및 원뿔형 교통 표지판(412)은 비영구적일 수 있고 특정 시간(예를 들어, 특정한 날 그리고 년)에 환경(400)의 현재 상태를 나타낼 수 있다. 반대로, 차선(402)과 차선들(402a, 402b)은 영구적인 특징들일 수 있다. 다시 말하면, 차선(402a, 402b)과 함께 도로(402)는 환경(400)의 고정된 부분일 수 있고, 환경이 영구히 바뀌지(예를 들면, 도로(402)의 재건) 않는 한 환경(400)에 존재할 수 있다. 다른 영구적이고 비영구적인 특징들도 환경(400)에 포함될 수 있다.
환경에서 운행하는 동안, 차량은 그것이 운행하고 있는 환경의 현재 표현을 나타내는 이미지 데이터를 수신할 수 있다. 예를 들어, 차량(404)은 환경(400)을 나타내는 이미지 데이터를 수신하기 위해, 카메라(130)와 유사한 또는 동일한 카메라와 같은, 센서 유닛(406)의 적어도 하나의 센서를 작동시킬 수 있다. 도 4b에 도시된 이미지 데이터(420)는 환경(400)의 일부를 나타내는 예시적인 이미지 데이터를 나타낸다.
도 4b에서 차량(404)의 센서 유닛(406)의 카메라에 의해, 캡처된 이미지 데이터(420)는 점선 화살표들 위에 도시된 이미지이고 차량(404)은 포함하지 않는다는 점에 유의한다. 차량(404)은 단지 설명 목적으로 도시되어 있고, 이 예에서, 이미지 데이터(420)의 일부로 의도하는 것은 아니다. 실제로, 이미지 데이터(420)는 차량(404)의 전방에서, 후방에서, 또는 중간에 임의의 각도에서 획득될 수 있으므로 차량 자체를 나타내는 이미지 데이터는 포함하지 않을 수 있다. 일부 예들에서, 차량(404)의 일부가 이미지 데이터(420)에 포함될 수 있다.
이미지 데이터(420)는 환경(400)을 나타내는 디지털 사진 또는 디지털 그래픽을 포함할 수 있다. 이미지 데이터(420)는 디지털 파일로서 사진 이미지 그리고/또는 그래픽 이미지를 조직화하고 저장할 수 있는 임의의 데이터 형식을 포함할 수 있고, 여러 가지 유형의 데이터를 포함할 수 있고, 파일 형식들이 다양할 수 있고, 다양한 매체들에 저장될 수 있으며, 그 데이터의 유형들, 파일 형식들, 및 매체들은 알려져 있든 아직 개발되지 않은 것이든 상관없다. 도 4b에 도시된 예에서, 이미지 데이터(420)는 도로(402)와 차선들(402a, 402b), 석유 유출물(408), 트럭(410), 및 원뿔형 교통 표지판들(412)을 포함할 수 있다. 이미지 데이터(420)는 또한 환경의 각각의 구성 요소들을 상술하는 이미지 데이터를 포함할 수 있다. 예를 들어, 이미지 데이터(420)는 도로(402)의 가로 경계선들(street lines)을 나타내는 데이터와 도로(402)를 규정하는 어떤 다른 세부 사항들(예를 들어, 텍스처들, 컬러들, 조명 기타 등등)을 포함할 수 있다. 다른 예들에서, 이미지 데이터(420)는 환경(400)의 각각의 구성 요소와 관련된 위치 정보를 포함할 수 있다. 예를 들어, 이미지 데이터(420)는 트럭(410)과 원뿔형 교통 표지판들(412)의 위치를 나타내는 위치 정보를 포함할 수 있다.
블록 304는 주행 차선에 대응하는 이미지 데이터의 부분을 결정하기 위해 주행 차선을 나타내는 환경 정보를 이미지 데이터와 비교하는 것을 포함한다. 환경 정보는 이미지 데이터를 획득하기 전에 차량에 의해 알려졌거나 수신된 환경의 주행 차선을 정확하게 규정하는 임의의 정보일 수 있다. 예를 들어, 도 4a를 참고하면, 환경 정보는 여러 정보 중에서도 차선(402a, 402b)에 대한 경계들을 규정하는 이미지 지도를 포함할 수 있다. 환경 정보는 어떤 정보도 포함할 수 있다. 일반적으로, 환경 정보는 이미지 데이터를 획득하기 전에 환경(400)에 존재하는 어떤 알려진 구조들, 표지판들 또는 다른 특징들(영구적인 것과 비영구적인 것 양쪽 모두)을 나타내는 정보를 포함할 수 있다.
일부 예들에서, 환경 정보는 환경 정보가 정확하게 유지되는 것을 보장하게 하기 위해 정기적으로 차량(404)에 의해 획득될 수 있다. 다른 예들에서, 환경 정보는 서버로부터 차량(404)에 의해 정기적으로 수신될 수 있다. 예를 들어, 제3자 엔티티가 계속적으로 환경(400)을 모니터링할 수 있고, 예를 들어, 구조적인 변화들(위에 언급한 영구적인 특징들에 대한 변화들)이 발생할 수 있을 때 업데이트들을 제공할 수 있다. 업데이트는, 예를 들어, 업데이트된 이미지 지도의 형태로 제공될 수 있다. 다른 업데이트들은 또한 제공될 수 있다.
도 4c는 환경(400)을 나타내는 예시적인 이미지 지도(440)를 도시한다. 도 4c에서 이미지 지도(440)는 도로(402)의 위치(예를 들어, 경도와 위도 또는 기본 방향), 차선들(402a, 402b)의 위치, 도로(402)의 경계(444a), 및 각 차선(402a, 402b)의 경계(444a, 444b)를 포함할 수 있다. 이미지 지도(440)는 또한 차선들(402a, 402b)을 나누는 도로(402)의 중앙 경계(446)를 포함할 수 있다. 다른 정보도 이미지 지도에 포함될 수 있다. 도 4c에 도시된 예시적인 이미지 지도(440)에서, 이미지 지도가 작성된 당시 도로(402)에 어떤 영구적 구조들 또는 비영구적 구조들이 없다.
이미지 지도(440)로부터의 정보를 이용하여, 차량(404)이 실질적으로 주행하고 있는 차선, 또는 이 경우, 차선(402b)에 대응하는 이미지 데이터의 부분이 결정될 수 있다. 주행 차선에 대응하는 이미지 데이터의 부분은 획득된 이미지 지도를 환경의 이미지 데이터에 매핑(또는 투영)하고 이미지 지도에서 차선에 대응하는 위치 정보를 이용하여 이미지 데이터에서 그것에 대응하는 위치를 결정하는 것에 의해 결정될 수 있다. 매핑은 차량(404)의 알려진 위치와 이미지 데이터(420)를 획득한 카메라(130)의 알려진 카메라 변환을 이용하여 수행될 수 있다. 다시 말하면, 도로(402)의 위치, 차선들(402a, 402b)의 위치, 도로(402)의 경계(444a) 및 각 차선(402a, 402b)의 경계들(444a, 444b)과 같은 정보를 이용하여 차선 범위들 및 차선 라인들이 이미지 데이터(420)에 투영될 수 있다. 다른 예들에서, 이미지 데이터의 부분은 차량의 진행 방향에 기초하여 결정될 수 있다. 많은 기법들이 이미지 지도로부터의 차선 범위들을 이미지 데이터에 투영하기 위해 사용될 수 있고, 이 기술 분야에 일반적으로 알려져 있다.
도 4d는 이미지 데이터(420)와 그것을 오버레이하는 이미지 지도(440)와 그것에 투영된 차선 범위들을 도시한다. 도 4d에 도시된 바와 같이, 이미지 지도(440)로부터의 점선들은 이미지 데이터(440)에 투영된다.
설명의 목적으로 도 4a, 4b, 4d, 및 4e에 도시된 환경(400)(이미지 데이터(420)로서 캡처되었든 이미지 지도(440)이든)은 2차원 x-y 평면에서 기술된다는 점에 유의한다. 그러나, 차량(404)의 센서 유닛(406)의 카메라를 x-y 평면에서 위 또는 아래로 조정하는 것에 의해 더 완전한 3차원 이미지 데이터가 획득될 수 있다는 점에 유의한다. 더욱이 환경(400)을 묘사하는 이미지 지도들은 3차원일 수 있고, 예를 들어, 도 4e에 도시된 것과 같이 3차원 방식으로 이미지 데이터(420)에 투영될 수 있다. 도 4d와 유사하게, 도 4e에서, 차선 범위들(462)이 이미지 데이터(460)에 투영될 수 있다.
이 투영에 기초하여, 차량은 이미지 데이터의 어느 부분이 주행 차선을 나타내는지 결정할 수 있다. 예를 들어, 차량(404)은 이미지 데이터(420)의 어떤 부분들이 차량(404)이 현재 운행하고 있는 차선(402b)을 나타내는지 결정할 수 있다. 이 방식으로 이미지 데이터를 처리하는 것은 모든 이미지 데이터를 처리하는 것이 아니라 대신에 차량(402b) 내에 있는 석유 유출물(408)의 부분들에 집중하는 것에 의해 차량(404)이 처리의 양을 줄이는 것을 가능하게 할 수 있다. 그렇지 않으면 차량(404)은 트럭(410)과 원뿔형 교통 표지판들(412)이 차량(404)의 진행 방향과 관련이 없거나 차량(404)의 주행 차선에 있지 않음에도 불구하고 트럭(410)과 원뿔형 교통 표지판들(412)을 처리할 수 있다.
주행 차선을 나타내는 이미지 데이터의 부분이 결정되면, 블록 306에서, 방법(300)은 환경의 주행 차선에 대응하는 이미지 데이터의 부분에 기초하여 그리고 이미지 데이터의 나머지 부분은 무시함으로써 주행 차선에 물체가 존재하는지를 결정하는 것을 포함한다. 이미지 데이터의 나머지 부분은 주행 차선에 대응되지 않는 어떤 이미지 데이터일 수 있다. 다시 말하면, 차량(404)은 주행 차선에 대응하는 이미지 데이터의 부분만을 처리하고 이미지 데이터의 어떤 다른 부분들은 무시할 수 있다. 이런 방식으로 이미지 데이터를 처리하는 것은 처리 시간 및/또는 처리의 복잡도를 현저하게 줄일 수 있다. 물체는 차량의 주행 차선에 있는 임의의 물체일 수 있지만, 차량에 알려지지 않을 수 있다. 예시적인 물체들은 몇몇을 예를 들어 장애물들(예를 들어, 원뿔형 교통 표지판, 잔해, 기타 등등), 다른 차량들 또는 보행자들일 수 있다. 탐지를 수행하기 위해, 차량(또는 차량의 컴퓨팅 장치는) 차선을 나타내는 이미지 데이터의 부분 내에서, 알려진 물체 또는 구조를 나타내는 이미지 데이터의 부분을 결정할 수 있고 그것을 알려지지 않은 구조를 포함하는 이미지 데이터의 부분과 비교할 수 있다.
예를 들어, 도 4d에 도시된 바와 같이, 주행 차선(402b)의 위치를 알고, 차량(404)은 그 차선의 알려진 구조를 결정하기 위해 차선의 초기 부분(460)을 처리할 수 있다. 예를 들어, 차량(404)은 초기 부분(460)을 처리하여 음영, 컬러, 컬러 농도 등을 결정할 수 있고 그 후 차선의 나머지를 처리하여 결정된 속성들(예를 들어, 음영의 유사성을 결정)을 비교하여 결정을 내릴 수 있다.
비교는, 예를 들어, 알려진 구조의 컬러 평균, 컬러 농도, 음영 존재, 컬러 농도의 변화, 또는 컬러의 변화를 포함하는 하나 이상의 변수를 알려지지 않은 물체의 컬러 평균, 컬러 농도, 음영 존재, 컬러 농도의 변화, 또는 컬러의 변화 중 하나 이상과 비교하는 것을 포함할 수 있다. 다른 예들에서, 어떤 다른 알려진 또는 표준 이미지 처리 특징 기술자들이 알려진 지역을 기술하는 데 사용될 수 있다. 그러한 예들은 모서리 탐지기들, 에지 탐지기들, 블롭 탐지기들, 리지 탐지기들, 경사도 탐지기들, 기타 등등을 포함할 수 있다. 실제로, 알려진 구조와 알려지지 않은 구조를 규정하는 분포들이 계산될 수 있고, 그 분포들로부터 그러한 변수들이 결정되고 비교될 수 있다. 예를 들어, 알려진 구조의 컬러 농도를 규정하는 화소들을 나타내는 가우스 분포들을 계산할 수 있고 알려지지 않은 물체의 컬러 농도를 규정하는 이미지 데이터 내의 화소들을 나타내는 가우스 분포들과 비교하여 화소들의 유사성을 결정할 수 있다. 앞서 언급한 변수들 중 어떤 것이라도 분포로 규정되고 비교에 사용될 수 있다.
일부 예들에서, 알려진 구조 및 알려진 물체의 외양을 나타내는 정보가 결정되면, 예를 들어, 컴퓨터 시스템(112)과 같은 컴퓨터 시스템을 이용하여 자동으로 비교가 수행될 수 있다. 다른 예들에서, 비교는 차량 외부에서 처리되어 완료시에 차량에 제공될 수 있다.
결정이 이루어지면, 블록 308에서, 방법(300)은 결정에 기초하여, 자율 모드에서 차량을 제어하기 위한 명령어들을 제공하는 것을 포함한다. 차량은, 예를 들어, 차량의 현재 차선에 정지해 있을 수 있는 차량들 또는 장애물들을 회피하도록 제어될 수 있다. 도 4a-4c에 도시된 예에서, 차량(404)은 현재 주행 차선(402b) 내에 있는 석유 유출물(408)의 부분을 안전하게 회피하도록 제어될 수 있다.
도 3b는 이미지 처리를 통한 물체 탐지를 용이하게 하기 위해 알려진 환경 정보를 이용하기 위해 제공된 또 다른 방법(320)을 설명한다. 처음에, 블록 322에서, 방법(320)은 제2 주행 차선에 대응하는 이미지 데이터의 제2 부분을 결정하기 위해 환경 정보를 이미지 데이터와 비교하는 것을 포함한다. 제2 주행 차선은 방법(300)에 관련하여 논의된 주행 차선과 유사할 수 있지만, 상이할 수도 있다. 예를 들어, 도 4a를 참고하면, 제2 주행 차선은 환경(400)에 포함될 수 있지만, 주행 차선(402a)과 상이할 수 있다. 예를 들어, 제2 주행 차선은 402b와 같은 차선(402a)에 인접한 주행 차선일 수 있다. 다른 예들에서, 제2 주행 차선은 도로(402)상의 주행 차선일 수 있지만, 최초 차선(402)으로부터 한 차선 또는 두 차선 떨어져 있을 수 있다.
블록 324에서, 방법(320)은 상기 비교에 기초하여 제2 주행 차선에 대응하는 이미지 데이터의 제2 부분을 결정하는 것을 포함한다. 제2 주행 차선에 대응하는 이미지 데이터의 제2 부분은 방법(300)의 단계 304에 관련하여 논의된 것과 동일한 방식으로 결정될 수 있다.
블록 326에서, 방법(320)은 제2 주행 차선에 대응하는 이미지 데이터의 제2 부분에 기초하여 그리고 이미지 데이터의 제2 나머지 부분은 무시함으로써 제2 주행 차선에 물체가 존재하는지를 결정하는 것을 포함한다. 이미지 데이터의 제2 나머지 부분은 제2 주행 차선에 대응하는 이미지 데이터의 제2 부분과 다른 이미지 데이터를 포함할 수 있다. 그러한 결정은 방법(300)의 단계 306에 관련하여 논의된 것과 동일한 방식으로 이루어질 수 있다.
블록 328에서, 방법(320)은 상기 결정에 기초하여, 환경에서 자율 모드에서 차량을 제어하기 위한 명령어들을 제공하는 것을 포함한다. 방법(300)의 단계 308에 관련하여 논의된 것과 동일한 방식으로 명령어들이 제공될 수 있고 차량이 제어될 수 있다.
전술한 방법들(300 및 320)은 "차선"에서 운행하는 차량의 활동에 집중하고 있지만, 이것은 단지 예인 것으로 의도된다. 전술한 방법들은 차량이 수행하고 있을 수 있는 작업과 관련된 환경의 다른 지역들에 주의를 집중하는 데 이용될 수도 있다. 예를 들어, 다른 응용들에서 차량은 인도(sidewalk), 갓길(shoulder), 또는 횡단보도(cross walk), 또는 차량이 표지판 등을 볼 것으로 기대하는 곳에서 물체들을 찾는 것에만 관심이 있을 수 있다. 따라서, 차량은 환경에서 다른 지역들 또는 관심 있는 부분들에서 물체들을 탐지하기 위해 유사한 방식으로 방법들(300 및 320)을 이용할 수 있다.
도 3a의 방법(300) 또는 도 3b의 방법(320)과 같은 예시적인 방법들은 전부 또는 일부가 차량 및 그의 서브시스템들에 의해 수행될 수 있다. 따라서, 예시적인 방법들은 본 명세서에서 예를 들어 차량에 의해 구현되는 것으로 기술될 수 있다. 그러나, 예시적인 방법이 전부 또는 일부가 다른 컴퓨팅 장치들에 의해 구현될 수도 있다는 것을 이해해야 한다. 예를 들어, 예시적인 방법은 전부 또는 일부가 서버 시스템에 의해 구현될 수 있는데, 이 시스템은 차량과 관련된 것들과 같은 장치로부터 데이터를 수신한다. 예시적인 방법을 구현할 수 있는 컴퓨팅 장치들 또는 컴퓨팅 장치들의 조합들의 다른 예들도 가능하다.
일부 실시예들에서, 본 명세서에 개시된 기법들은 머신 판독 가능한 형식으로 비일시적 컴퓨터 판독 가능 저장 매체에 또는 다른 비일시적 매체 또는 제조물에 인코딩된 컴퓨터 프로그램 명령어들로서 구현될 수 있다(예를 들어, 차량(100)의 컴퓨터 시스템(112)의 데이터 저장소(114)에 저장된 명령어들(115)). 도 5는 본 명세서에 개시된 적어도 일부 실시예에 따라서 배열된, 컴퓨팅 장치 상에서 컴퓨터 프로세스를 실행하기 위한 컴퓨터 프로그램을 포함하는 예시적인 컴퓨터 프로그램 제품의 개념 부분도를 나타내는 개략도이다.
일 실시예에서, 예시적인 컴퓨터 프로그램 제품(500)은 신호 담지 매체(signal bearing medium)(502)를 이용하여 제공된다. 신호 담지 매체(502)는 하나 이상의 프로세서에 의해 실행될 때 본 명세서에 기술된 기능 또는 기능의 부분들을 제공할 수 있는 하나 이상의 프로그래밍 명령어들(504)을 포함할 수 있다. 일부 예들에서, 신호 담지 매체(502)는 하드 디스크 드라이브, CD(Compact Disc), DVD(Digital Video Disk), 디지털 테이프, 메모리, 기타 등등과 같은 비일시적 컴퓨터 판독 가능 매체(506)일 수 있지만, 이것들에만 국한되는 것은 아니다. 일부 실시예들에서, 신호 담지 매체(502)는 메모리, R/W(read/write) CD, R/W DVD, 기타 등등과 같은 컴퓨터 기록 가능 매체(508)를 포괄할 수 있지만, 이것들에만 국한되는 것은 아니다. 일부 실시예들에서, 신호 담지 매체(502)는 디지털 및/또는 아날로그 통신 매체(예를 들어, 광 섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크, 기타 등등)와 같은 통신 매체(510)를 포괄할 수 있지만, 이것들에만 국한되는 것은 아니다. 따라서, 예를 들어, 신호 담지 매체(502)는 무선 형태의 통신 매체(510)에 의해 전달될 수 있다.
하나 이상의 프로그래밍 명령어들(504)은, 예를 들어, 컴퓨터 실행 가능 및/또는 로직 구현 명령어들일 수 있다. 일부 예들에서, 도 1의 컴퓨터 시스템(112)과 같은 컴퓨팅 장치는 컴퓨터 판독 가능 매체(506), 컴퓨터 기록 가능 매체(508), 및/또는 통신 매체(510) 중 하나 이상에 의해 컴퓨터 시스템(112)에게 전달되는 프로그래밍 명령어들(504)에 응답하여 다양한 동작들, 기능들 또는 액션들을 제공하도록 구성될 수 있다.
비일시적 컴퓨터 판독 가능 매체는 서로 원격으로 위치할 수 있는 복수의 데이터 저장 요소 중에 분산될 수도 있다. 저장된 명령어들 중 일부 또는 전부를 실행하는 컴퓨팅 장치는 도 2에 도시된 예시적인 차량(200)과 같은 차량일 수 있다. 대안으로서, 저장된 명령어들 중 일부 또는 전부를 실행하는 컴퓨팅 장치는 서버와 같은 또 다른 컴퓨팅 장치일 수 있다.
위의 상세한 설명은 개시된 시스템들, 장치들, 및 방법들의 다양한 특징들 및 기능들을 첨부 도면들을 참조하여 기술하였다. 본 명세서에서 다양한 양태들 및 실시예들이 개시되었지만, 다른 양태들 및 실시예들도 가능하다. 본 명세서에서 개시되는 다양한 양태들 및 실시예들은 예시의 목적을 위한 것이고, 한정하고자 하는 것이 아니며, 진정한 범위는 아래의 청구항들에 의해 규정된다.

Claims (20)

  1. 방법으로서,
    프로세서를 이용하여, 차량의 적어도 하나의 센서로부터 환경을 나타내는 이미지 데이터를 수신하는 단계 - 상기 차량은 상기 환경에서 자율 모드에서 운행하도록 구성되고, 상기 차량은 실질적으로 상기 환경의 주행 차선(lane of travel)에 있음 -;
    상기 이미지 데이터를 상기 주행 차선을 나타내는 상기 환경 내의 도로의 미리 정해진 이미지 지도와 비교하는 단계;
    상기 비교 단계에 기초하여, 상기 주행 차선에 대응하는 상기 이미지 데이터의 부분을 결정하고, 상기 이미지 데이터의 나머지 부분은 무시하는 단계;
    상기 이미지 데이터의 상기 결정된 부분에만 기초하여 물체 감지를 수행하는 단계; 및
    상기 수행된 물체 감지에 기초하여, 상기 환경에서 상기 자율 모드에서 상기 차량을 제어하기 위한 명령어들을 제공하는 단계를 포함하고,
    상기 주행 차선에 대응하는 상기 이미지 데이터의 상기 부분을 결정하는 단계는, 상기 이미지 데이터의 상기 부분을 미리 정해진 특징들에 대응하는 특징들을 포함하는 상기 이미지 데이터의 부분으로 결정하는 단계 - 상기 미리 정해진 특징들은 상기 미리 정해진 이미지 지도에 표시되고, 상기 주행 차선의 알려진 차선 경계들과 연관됨 - 를 포함하는,
    방법.
  2. 제1항에 있어서,
    상기 비교하는 단계는, 상기 미리 정해진 이미지 지도를 상기 이미지 데이터에 투영하는 단계를 포함하는,
    방법.
  3. 제1항에 있어서,
    상기 미리 정해진 이미지 지도는 상기 주행 차선의 위치 또는 상기 주행 차선의 경계 중 적어도 하나를 표시하고,
    상기 미리 정해진 이미지 지도를 상기 이미지 데이터와 비교하는 단계는,
    (i) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 주행 차선의 상기 위치, 또는 (ii) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 주행 차선의 상기 경계 중 적어도 하나를 상기 이미지 데이터와 비교하는 단계를 더 포함하는,
    방법.
  4. 제1항에 있어서,
    상기 부분은 제1 부분이고, 상기 주행 차선은 제1 주행 차선이고, 상기 환경 내의 상기 도로의 상기 미리 정해진 이미지 지도는 상기 환경의 제2 주행 차선을 더 나타내고, 상기 방법은,
    상기 비교 단계에 기초하여, 상기 제2 주행 차선에 대응하는 상기 이미지 데이터의 제2 부분을 결정하는 단계 - 상기 이미지 데이터의 상기 제2 부분은 상기 이미지 데이터의 상기 제1 부분과 상이하고, 상기 환경의 상기 제2 주행 차선은 상기 제1 주행 차선과 상이하고, 상기 이미지 데이터의 상기 무시된 나머지 부분은 상기 제1 및 상기 제2 부분 외의 이미지 데이터를 포함함 -;
    상기 이미지 데이터의 상기 제1 및 상기 제2 부분에만 기초하여 추가 물체 감지를 수행하는 단계; 및
    상기 수행된 추가 물체 감지에 기초하여, 상기 환경에서 상기 자율 모드에서 상기 차량을 제어하기 위한 명령어들을 제공하는 단계를 추가로 포함하는,
    방법.
  5. 제4항에 있어서,
    상기 미리 정해진 이미지 지도는 상기 제2 주행 차선의 위치 또는 상기 제2 주행 차선의 경계 중 적어도 하나를 표시하고,
    상기 미리 정해진 이미지 지도를 상기 이미지 데이터와 비교하는 단계는
    (i) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 제2 주행 차선의 상기 위치, 또는 (ii) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 제2 주행 차선의 상기 경계 중 적어도 하나를 상기 이미지 데이터와 비교하는 단계를 포함하는,
    방법.
  6. 제4항에 있어서,
    상기 제2 주행 차선은 상기 제1 주행 차선에 인접해 있는,
    방법.
  7. 제1항에 있어서,
    상기 미리 정해진 이미지 지도는 상기 환경 내의 상기 차량의 진행 방향(heading)을 포함하는,
    방법.
  8. 삭제
  9. 차량으로서,
    환경을 나타내는 이미지 데이터를 수신하도록 구성된 적어도 하나의 센서 - 상기 차량은 상기 환경에서 자율 모드에서 운행하도록 구성되고, 상기 차량은 실질적으로 상기 환경의 주행 차선에 있음 -; 및
    컴퓨터 시스템
    을 포함하고, 상기 컴퓨터 시스템은:
    상기 이미지 데이터를 상기 주행 차선을 나타내는 상기 환경 내의 도로의 미리 정해진 이미지 지도와 비교하고,
    상기 비교에 기초하여, 상기 주행 차선에 대응하는 상기 이미지 데이터의 부분을 결정하고, 상기 이미지 데이터의 나머지 부분은 무시하고,
    상기 이미지 데이터의 상기 결정된 부분에만 기초하여 물체 감지를 수행하고,
    상기 수행된 물체 감지에 기초하여, 상기 환경에서 상기 자율 모드에서 상기 차량을 제어하기 위한 명령어들을 제공하도록 구성되고,
    상기 컴퓨터 시스템은, 상기 비교에 기초하여, 상기 주행 차선에 대응하는 상기 이미지 데이터의 상기 부분을 결정할 때, 상기 이미지 데이터의 상기 부분을 미리 정해진 특징들에 대응하는 특징들을 포함하는 상기 이미지 데이터의 부분으로 결정 - 상기 미리 정해진 특징들은 상기 미리 정해진 이미지 지도에 표시되고, 상기 주행 차선의 알려진 차선 경계들과 연관됨 - 하도록 더 구성되는,
    차량.
  10. 제9항에 있어서,
    상기 비교는, 상기 미리 정해진 이미지 지도를 상기 이미지 데이터에 투영하는 것을 포함하는,
    차량.
  11. 제9항에 있어서,
    상기 미리 정해진 이미지 지도는 상기 주행 차선의 위치 또는 상기 주행 차선의 경계 중 적어도 하나를 표시하고,
    상기 미리 정해진 이미지 지도를 상기 이미지 데이터와 비교하는 것은,
    (i) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 주행 차선의 상기 위치, 또는 (ii) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 주행 차선의 상기 경계 중 적어도 하나를 상기 이미지 데이터와 비교하는 것을 더 포함하는,
    차량.
  12. 제9항에 있어서,
    상기 부분은 제1 부분이고, 상기 주행 차선은 제1 주행 차선이고, 상기 환경 내의 상기 도로의 상기 미리 정해진 이미지 지도는 상기 환경의 제2 주행 차선을 더 나타내고, 상기 컴퓨터 시스템은,
    상기 비교에 기초하여, 상기 제2 주행 차선에 대응하는 상기 이미지 데이터의 제2 부분을 결정하고 - 상기 이미지 데이터의 상기 제2 부분은 상기 이미지 데이터의 상기 제1 부분과 상이하고, 상기 환경의 상기 제2 주행 차선은 상기 제1 주행 차선과 상이하고, 상기 이미지 데이터의 상기 무시된 나머지 부분은 상기 제1 및 상기 제2 부분 외의 이미지 데이터를 포함함 -;
    상기 이미지 데이터의 상기 제1 및 상기 제2 부분에만 기초하여 추가 물체 감지를 수행하고;
    상기 수행된 추가 물체 감지에 기초하여, 상기 환경에서 상기 자율 모드에서 상기 차량을 제어하기 위한 명령어들을 제공하도록 추가로 구성되는,
    차량.
  13. 제12항에 있어서,
    상기 미리 정해진 이미지 지도는 상기 제2 주행 차선의 위치 또는 상기 제2 주행 차선의 경계 중 적어도 하나를 표시하고,
    상기 미리 정해진 이미지 지도를 상기 이미지 데이터와 비교하는 것은,
    (i) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 제2 주행 차선의 상기 위치, 또는 (ii) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 제2 주행 차선의 상기 경계 중 적어도 하나를 상기 이미지 데이터와 비교하는 것을 포함하는,
    차량.
  14. 제12항에 있어서,
    상기 제2 주행 차선은 상기 제1 주행 차선에 인접해 있는,
    차량.
  15. 차량 내의 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 기능들을 수행하게 하는 명령어들을 저장하고 있는 비일시적 컴퓨터 판독가능 매체로서, 상기 기능들은
    상기 차량의 적어도 하나의 센서로부터 환경을 나타내는 이미지 데이터를 수신하는 것 - 상기 차량은 상기 환경에서 자율 모드에서 운행하도록 구성되고, 상기 차량은 실질적으로 상기 환경의 주행 차선에 있음 -;
    상기 이미지 데이터를 상기 주행 차선을 나타내는 상기 환경 내의 도로의 미리 정해진 이미지 지도와 비교하는 것;
    상기 비교에 기초하여, 상기 주행 차선에 대응하는 상기 이미지 데이터의 부분을 결정하고, 상기 이미지 데이터의 나머지 부분은 무시하는 것;
    상기 결정된 상기 이미지 데이터의 부분에만 기초하여 물체 감지를 수행하는 것; 및
    상기 수행된 물체 감지에 기초하여, 상기 환경에서 상기 자율 모드에서 상기 차량을 제어하기 위한 명령어들을 제공하는 것을 포함하고,
    상기 주행 차선에 대응하는 상기 이미지 데이터의 상기 부분을 결정하는 것은, 상기 이미지 데이터의 상기 부분을 미리 정해진 특징들에 대응하는 특징들을 포함하는 상기 이미지 데이터의 부분으로 결정하는 것 - 상기 미리 정해진 특징들은 상기 미리 정해진 이미지 지도에 표시되고, 상기 주행 차선의 알려진 차선 경계들과 연관됨 - 을 포함하는,
    비일시적 컴퓨터 판독 가능 매체.
  16. 제15항에 있어서,
    상기 비교하는 것은, 상기 미리 정해진 이미지 지도를 상기 이미지 데이터에 투영하는 것을 포함하는,
    비일시적 컴퓨터 판독 가능 매체.
  17. 제15항에 있어서,
    상기 미리 정해진 이미지 지도는 상기 주행 차선의 위치 또는 상기 주행 차선의 경계 중 적어도 하나를 표시하고,
    상기 미리 정해진 이미지 지도를 상기 이미지 데이터와 비교하는 것은,
    (i) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 주행 차선의 상기 위치, 또는 (ii) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 주행 차선의 상기 경계 중 적어도 하나를 상기 이미지 데이터와 비교하는 것을 더 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  18. 제15항에 있어서,
    상기 미리 정해진 이미지 지도는 상기 환경 내의 상기 차량의 진행 방향을 포함하는 비일시적 컴퓨터 판독 가능 매체.
  19. 제15항에 있어서,
    상기 부분은 제1 부분이고, 상기 주행 차선은 제1 주행 차선이고, 상기 환경 내의 상기 도로의 상기 미리 정해진 이미지 지도는 상기 제1 주행 차선에 인접한 상기 환경의 제2 주행 차선을 더 나타내고, 상기 명령어들은 상기 차량 내의 상기 컴퓨터 시스템으로 하여금 기능들을 수행하게 하도록 상기 컴퓨터 시스템에 의해 추가로 실행 가능하고, 상기 기능들은
    상기 비교에 기초하여, 상기 제2 주행 차선에 대응하는 상기 이미지 데이터의 제2 부분을 결정하는 것 - 상기 이미지 데이터의 상기 제2 부분은 상기 이미지 데이터의 상기 제1 부분과 상이하고, 상기 환경의 상기 제2 주행 차선은 상기 제1 주행 차선과 상이하고, 상기 이미지 데이터의 상기 무시된 나머지 부분은 상기 제1 및 상기 제2 부분 외의 이미지 데이터를 포함함 - ;
    상기 이미지 데이터의 상기 제1 및 상기 제2 부분에만 기초하여 추가 물체 감지를 수행하는 것; 및
    상기 수행된 추가 물체 감지에 기초하여, 상기 환경에서 상기 자율 모드에서 상기 차량을 제어하기 위한 명령어들을 제공하는 것을 포함하는,
    비일시적 컴퓨터 판독 가능 매체.
  20. 제19항에 있어서,
    상기 미리 정해진 이미지 지도는 상기 제2 주행 차선의 위치 또는 상기 제2 주행 차선의 경계 중 적어도 하나를 표시하고,
    상기 미리 정해진 이미지 지도를 상기 이미지 데이터와 비교하는 것은,
    (i) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 제2 주행 차선의 상기 위치, 또는 (ii) 상기 미리 정해진 이미지 지도에 의해 표시되는 상기 제2 주행 차선의 상기 경계 중 적어도 하나를 상기 이미지 데이터와 비교하는 것을 포함하는,
    비일시적 컴퓨터 판독 가능 매체.
KR1020167007135A 2013-06-24 2014-04-22 자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용 KR101727439B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/925,795 US9145139B2 (en) 2013-06-24 2013-06-24 Use of environmental information to aid image processing for autonomous vehicles
US13/925,795 2013-06-24
PCT/US2014/034904 WO2014209477A1 (en) 2013-06-24 2014-04-22 Use of environmental information to aid image processing for autonomous vehicles

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157027973A Division KR101606337B1 (ko) 2013-06-24 2014-04-22 자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용

Publications (2)

Publication Number Publication Date
KR20160035099A KR20160035099A (ko) 2016-03-30
KR101727439B1 true KR101727439B1 (ko) 2017-04-14

Family

ID=52111572

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157027973A KR101606337B1 (ko) 2013-06-24 2014-04-22 자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용
KR1020167007135A KR101727439B1 (ko) 2013-06-24 2014-04-22 자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157027973A KR101606337B1 (ko) 2013-06-24 2014-04-22 자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용

Country Status (6)

Country Link
US (2) US9145139B2 (ko)
EP (2) EP2976243B1 (ko)
JP (1) JP6055562B2 (ko)
KR (2) KR101606337B1 (ko)
CN (2) CN107757616B (ko)
WO (1) WO2014209477A1 (ko)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9452754B2 (en) * 2013-12-04 2016-09-27 Mobileye Vision Technologies Ltd. Systems and methods for detecting and responding to traffic laterally encroaching upon a vehicle
US10422649B2 (en) * 2014-02-24 2019-09-24 Ford Global Technologies, Llc Autonomous driving sensing system and method
DE102014204309A1 (de) * 2014-03-10 2015-09-10 Robert Bosch Gmbh Vorrichtung und Verfahren zum Betreiben eines Fahrzeugs
US10534370B2 (en) * 2014-04-04 2020-01-14 Signify Holding B.V. System and methods to support autonomous vehicles via environmental perception and sensor calibration and verification
JP6348357B2 (ja) * 2014-07-09 2018-06-27 株式会社デンソーテン 情報提供装置、通信システム及び情報提供方法
US9321461B1 (en) * 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
DE102015201247A1 (de) * 2015-01-26 2016-07-28 Robert Bosch Gmbh Vorrichtung und Verfahren zum Betreiben eines Fahrzeugs
CA3067177A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6376059B2 (ja) * 2015-07-06 2018-08-22 トヨタ自動車株式会社 自動運転車両の制御装置
US11069082B1 (en) * 2015-08-23 2021-07-20 AI Incorporated Remote distance estimation system and method
US11935256B1 (en) 2015-08-23 2024-03-19 AI Incorporated Remote distance estimation system and method
US9881219B2 (en) * 2015-10-07 2018-01-30 Ford Global Technologies, Llc Self-recognition of autonomous vehicles in mirrored or reflective surfaces
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
EP3190022B1 (en) * 2016-01-11 2018-08-29 Delphi Technologies, Inc. Lane extension for vision steered automated vehicle
US9802599B2 (en) * 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
EP3223188A1 (en) * 2016-03-22 2017-09-27 Autoliv Development AB A vehicle environment mapping system
DE102016005884A1 (de) * 2016-05-12 2017-11-16 Adam Opel Ag Fahrerassistenzsystem
US10448555B2 (en) 2016-05-27 2019-10-22 Cnh Industrial America Llc System and method for scouting vehicle mapping
DE102016210632A1 (de) * 2016-06-15 2017-12-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überprüfen eines Medienverlustes eines Kraftfahrzeuges sowie Kraftfahrzeug und System zum Ausführen eines solchen Verfahrens
US10336326B2 (en) * 2016-06-24 2019-07-02 Ford Global Technologies, Llc Lane detection systems and methods
US11210436B2 (en) * 2016-07-07 2021-12-28 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of algorithms facilitating navigation of railway crossings in varying weather conditions
US10521677B2 (en) * 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
EP3490861A4 (en) 2016-07-15 2020-01-08 Harman International Industries, Incorporated DEVICE AND METHOD FOR VIRTUALIZING A DRIVING ENVIRONMENT, AND VEHICLE
US10762358B2 (en) * 2016-07-20 2020-09-01 Ford Global Technologies, Llc Rear camera lane detection
CA3029124A1 (en) * 2016-07-21 2018-01-25 Mobileye Vision Technologies Ltd. Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
US10152058B2 (en) * 2016-10-24 2018-12-11 Ford Global Technologies, Llc Vehicle virtual map
US10410074B2 (en) * 2016-10-25 2019-09-10 Ford Global Technologies, Llc Systems and methods for locating target vehicles
KR102647407B1 (ko) * 2016-11-04 2024-03-14 현대모비스 주식회사 차량 사고 예방 시스템 및 그 방법
US20180129219A1 (en) * 2016-11-09 2018-05-10 Aatonomy, Inc. Autonomous vehicle moving system, device and method
US10423156B2 (en) 2016-12-11 2019-09-24 Aatonomy, Inc. Remotely-controlled device control system, device and method
DE102016015514A1 (de) * 2016-12-23 2018-06-28 Lucas Automotive Gmbh Fahrassistenz für ein Kraftfahrzeug
CN110383005B (zh) 2017-01-27 2023-04-11 科派克系统公司 一种用于为自动驾驶车辆形成局部导航路径的方法
GB2559196B (en) * 2017-01-31 2021-11-17 Sony Europe Bv Determining a position of a vehicle on a track
US10053088B1 (en) 2017-02-21 2018-08-21 Zoox, Inc. Occupant aware braking system
DE102017203838B4 (de) * 2017-03-08 2022-03-17 Audi Ag Verfahren und System zur Umfelderfassung
US10209718B2 (en) * 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
EP3764060A1 (en) * 2017-06-14 2021-01-13 Mobileye Vision Technologies Ltd. Fusion framework of navigation information for autonomous navigation
WO2018232681A1 (en) * 2017-06-22 2018-12-27 Baidu.Com Times Technology (Beijing) Co., Ltd. TRAFFIC PREDICTION BASED ON CARD IMAGES FOR AUTONOMOUS DRIVING
US10386856B2 (en) 2017-06-29 2019-08-20 Uber Technologies, Inc. Autonomous vehicle collision mitigation systems and methods
US10065638B1 (en) 2017-08-03 2018-09-04 Uber Technologies, Inc. Multi-model switching on a collision mitigation system
US10629080B2 (en) * 2017-08-31 2020-04-21 Uatc Llc Autonomous vehicles featuring vehicle intention system
US20190072978A1 (en) * 2017-09-01 2019-03-07 GM Global Technology Operations LLC Methods and systems for generating realtime map information
US10957201B2 (en) 2017-09-15 2021-03-23 Qualcomm Incorporated System and method for relative positioning based safe autonomous driving
US10551849B2 (en) * 2017-09-25 2020-02-04 Aptiv Technologies Limited Automated vehicle simulated lane-marking guidance system
EP4303059A3 (en) * 2017-10-03 2024-03-13 Google Llc Vehicle function control with sensor based validation
US11080537B2 (en) * 2017-11-15 2021-08-03 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
JP6930394B2 (ja) * 2017-11-24 2021-09-01 トヨタ自動車株式会社 物体認識装置
KR102333033B1 (ko) 2017-12-07 2021-12-01 삼성전자주식회사 차량 및 그 제어 방법
US10921142B2 (en) * 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing
US10533860B2 (en) * 2017-12-19 2020-01-14 Intel Corporation Light pattern based vehicle location determination method and apparatus
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US10712168B2 (en) * 2017-12-28 2020-07-14 Uatc, Llc Submap geographic projections
US20190208136A1 (en) * 2017-12-29 2019-07-04 Waymo Llc High-speed image readout and processing
KR102323394B1 (ko) 2018-01-22 2021-11-08 삼성전자주식회사 차량의 주행을 보조하는 장치 및 방법
KR102055156B1 (ko) * 2018-02-05 2019-12-12 주식회사 만도 적응형 순항 제어 시스템의 제어 장치 및 제어 방법
CN108284838A (zh) * 2018-03-27 2018-07-17 杭州欧镭激光技术有限公司 一种用于检测车辆外部环境信息的检测系统及检测方法
CN111989915B (zh) * 2018-04-02 2022-06-24 幻影人工智能公司 用于图像中的环境的自动视觉推断的方法、介质、及系统
US11650059B2 (en) * 2018-06-06 2023-05-16 Toyota Research Institute, Inc. Systems and methods for localizing a vehicle using an accuracy specification
US10843702B2 (en) * 2018-06-06 2020-11-24 Ford Global Technologies, Llc Methods and systems for oil leak determination
US10656647B2 (en) * 2018-06-27 2020-05-19 Aptiv Technologies Limited Verification of vehicle operator awareness before transition from autonomous-mode to manual-mode
DK201870683A1 (en) * 2018-07-05 2020-05-25 Aptiv Technologies Limited IDENTIFYING AND AUTHENTICATING AUTONOMOUS VEHICLES AND PASSENGERS
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
EP3617650A1 (en) 2018-08-31 2020-03-04 Volkswagen Aktiengesellschaft Methods, apparatuses and computer program for vehicles and a backend entity
US10310197B1 (en) * 2018-09-17 2019-06-04 Waymo Llc Transmitter devices having bridge structures
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
DE102018217840A1 (de) * 2018-10-18 2020-04-23 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen eines Umfeldmodells für ein Fahrzeug
US11200430B2 (en) * 2018-11-05 2021-12-14 Tusimple, Inc. Systems and methods for detecting trailer angle
KR102555916B1 (ko) * 2018-12-12 2023-07-17 현대자동차주식회사 Odm 정보 신뢰성 판단 장치 및 그의 판단 방법과 그를 이용하는 차량
US20210188282A1 (en) * 2018-12-26 2021-06-24 Baidu Usa Llc Methods for obstacle filtering for a non-nudge planning system in an autonomous driving vehicle
CN111247525A (zh) * 2019-01-14 2020-06-05 深圳市大疆创新科技有限公司 一种车道检测方法、装置及车道检测设备、移动平台
EP3918589B1 (en) 2019-01-30 2022-11-09 Volvo Truck Corporation A method for adjusting a display view of a vision aid system
WO2020233772A1 (en) 2019-05-17 2020-11-26 Volvo Truck Corporation A method for operating an autonomous vehicle
WO2021018396A1 (en) 2019-07-31 2021-02-04 Volvo Truck Corporation A method for forming a travelling path for a vehicle
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
US11233840B2 (en) 2019-09-13 2022-01-25 Roku, Inc. Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
US11591012B2 (en) * 2019-10-01 2023-02-28 Robert Bosch Gmbh Vehicle trajectory prediction using road topology and traffic participant object states
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
CN111611709B (zh) * 2020-05-20 2023-09-15 阿波罗智能技术(北京)有限公司 用于控制仿真车辆的方法、装置、电子设备和存储介质
US20220075378A1 (en) * 2020-06-23 2022-03-10 California Institute Of Technology Aircraft-based visual-inertial odometry with range measurement for drift reduction
CN111598061B (zh) * 2020-07-21 2020-10-20 成都中轨轨道设备有限公司 一种自主识别定位轨道标识牌内容的系统和方法
US20220111859A1 (en) * 2020-10-12 2022-04-14 Ford Global Technologies, Llc Adaptive perception by vehicle sensors
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
US11772603B2 (en) 2021-05-18 2023-10-03 Motional Ad Llc Passenger authentication and entry for autonomous vehicles
US20230077909A1 (en) * 2021-09-15 2023-03-16 Zoox, Inc. Road network validation
CN114030468A (zh) * 2021-12-07 2022-02-11 武汉路特斯汽车有限公司 特殊路况的车辆自动避让控制方法、控制系统及车辆

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006199273A (ja) 2004-12-24 2006-08-03 Fujitsu Ten Ltd 車両情報提供装置
JP2010072973A (ja) 2008-09-19 2010-04-02 Hitachi Automotive Systems Ltd 走行環境認識装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160995A (ja) * 1993-12-08 1995-06-23 Mitsubishi Motors Corp 車両用自動操舵装置
JP3284845B2 (ja) * 1995-09-20 2002-05-20 三菱自動車工業株式会社 障害物認識装置
JP3849505B2 (ja) 2001-11-26 2006-11-22 株式会社デンソー 障害物監視装置及びプログラム
JP2004098827A (ja) 2002-09-09 2004-04-02 Denso Corp 障害物検知装置及びプログラム
KR20040091788A (ko) * 2003-04-22 2004-11-02 현대자동차주식회사 고속도로 자율주행 시스템 및 그의 제어방법
JP3936683B2 (ja) * 2003-08-04 2007-06-27 株式会社デンソー 道路位置検出装置及びプログラム
JP3890594B2 (ja) * 2003-09-26 2007-03-07 マツダ株式会社 車両用情報提供装置
JP2005202678A (ja) * 2004-01-15 2005-07-28 Nissan Motor Co Ltd 走行支援装置
DE102004003850A1 (de) 2004-01-26 2005-08-18 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung von Markierungen auf einer Fahrbahn
JP4377284B2 (ja) * 2004-06-02 2009-12-02 株式会社ザナヴィ・インフォマティクス 車載ナビゲーション装置
JP2006284414A (ja) 2005-04-01 2006-10-19 Xanavi Informatics Corp 車載情報端末、自動車の走行制御システム、自動車の走行制御装置及び方法
JP4392389B2 (ja) * 2005-06-27 2009-12-24 本田技研工業株式会社 車両及び車線認識装置
GB0516403D0 (en) 2005-08-10 2005-09-14 Trw Ltd Method and apparatus for determining motion of a vehicle
US9008940B2 (en) 2006-03-06 2015-04-14 Hitachi, Ltd. Vehicle control device and vehicle control method
JP2007315861A (ja) * 2006-05-24 2007-12-06 Nissan Motor Co Ltd 車両用画像処理装置
JP2008128827A (ja) * 2006-11-21 2008-06-05 Matsushita Electric Ind Co Ltd ナビゲーション装置およびナビゲーション方法ならびにそのプログラム
US8027029B2 (en) * 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
JP4731627B2 (ja) 2007-12-28 2011-07-27 三菱電機株式会社 ナビゲーション装置
US8259998B2 (en) 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
DE102009007342A1 (de) * 2009-02-04 2010-08-05 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung
MX347608B (es) 2009-04-15 2017-05-04 Bic-Violex Sa * Cartucho de afeitar y máquina de afeitar mecánica que comprende un cartucho tal.
DE102009060377B4 (de) 2009-12-24 2016-10-20 Richard Wolf Gmbh Trokarhülse
JP2011149835A (ja) * 2010-01-22 2011-08-04 Clarion Co Ltd カーナビゲーション装置
DE102010011093A1 (de) * 2010-03-11 2011-09-15 Daimler Ag Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
JP5531733B2 (ja) * 2010-04-01 2014-06-25 トヨタ自動車株式会社 道路情報取得装置
EP2583217A1 (en) * 2010-06-21 2013-04-24 Centre De Visió Per Computador Method for obtaining drivable road area
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US8704887B2 (en) * 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
US20120310465A1 (en) 2011-06-02 2012-12-06 Harman International Industries, Incorporated Vehicle nagivation system
JP5645769B2 (ja) * 2011-08-01 2014-12-24 株式会社日立製作所 画像処理装置
DE102011084993A1 (de) * 2011-10-21 2013-04-25 Robert Bosch Gmbh Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem
JP2012208111A (ja) * 2011-12-05 2012-10-25 Pioneer Electronic Corp 画像表示装置及び制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006199273A (ja) 2004-12-24 2006-08-03 Fujitsu Ten Ltd 車両情報提供装置
JP2010072973A (ja) 2008-09-19 2010-04-02 Hitachi Automotive Systems Ltd 走行環境認識装置

Also Published As

Publication number Publication date
JP6055562B2 (ja) 2016-12-27
KR101606337B1 (ko) 2016-03-24
EP2976243A4 (en) 2016-05-18
US20160214605A1 (en) 2016-07-28
WO2014209477A1 (en) 2014-12-31
EP3196804A1 (en) 2017-07-26
CN107757616B (zh) 2020-09-08
EP3196804B1 (en) 2018-09-05
US9145139B2 (en) 2015-09-29
EP2976243B1 (en) 2017-03-29
JP2016532914A (ja) 2016-10-20
US20140379247A1 (en) 2014-12-25
KR20160035099A (ko) 2016-03-30
CN105358399B (zh) 2017-10-31
EP2976243A1 (en) 2016-01-27
KR20150123946A (ko) 2015-11-04
CN107757616A (zh) 2018-03-06
US9387854B1 (en) 2016-07-12
CN105358399A (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
KR101727439B1 (ko) 자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용
US11281918B1 (en) 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface
US11068726B1 (en) Static obstacle detection
US11913807B2 (en) Methods and systems for calibrating sensors using road map data
US9026303B1 (en) Object detection based on known structures of an environment of an autonomous vehicle
US10181084B2 (en) Combining multiple estimates of an environment into a consolidated estimate for an autonomous vehicle
US9213337B1 (en) Detecting lane closures and lane shifts by an autonomous vehicle
US9494942B1 (en) Enhancing basic roadway-intersection models using high intensity image data
US9417631B2 (en) Use of prior maps for estimation of lane boundaries
US9261881B1 (en) Filtering noisy/high-intensity regions in laser-based lane marker detection
US9558413B2 (en) Bus detection for an autonomous vehicle

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant