KR102603648B1 - 자율 주행을 위한 약도 - Google Patents

자율 주행을 위한 약도 Download PDF

Info

Publication number
KR102603648B1
KR102603648B1 KR1020207002073A KR20207002073A KR102603648B1 KR 102603648 B1 KR102603648 B1 KR 102603648B1 KR 1020207002073 A KR1020207002073 A KR 1020207002073A KR 20207002073 A KR20207002073 A KR 20207002073A KR 102603648 B1 KR102603648 B1 KR 102603648B1
Authority
KR
South Korea
Prior art keywords
vehicle
data
road
landmark
vehicles
Prior art date
Application number
KR1020207002073A
Other languages
English (en)
Other versions
KR20200011566A (ko
Inventor
암논 샤슈아
요람 그달야후
오퍼 스프링거
아란 레이즈만
다니엘 브라운스타인
오리 부버맨
샤이 샬레브-슈워츠
요아브 타이엡
이고르 투비스
데이비드 휴버먼
레비 벨라체
기드온 스타인
안드라스 페렌츠
가비 아욘
세르게이 루빈스키
유발 아비엘
Original Assignee
모빌아이 비젼 테크놀로지스 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모빌아이 비젼 테크놀로지스 엘티디. filed Critical 모빌아이 비젼 테크놀로지스 엘티디.
Publication of KR20200011566A publication Critical patent/KR20200011566A/ko
Application granted granted Critical
Publication of KR102603648B1 publication Critical patent/KR102603648B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/14—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by recording the course traversed by the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3896—Transmission of map data from central databases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/10—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing dedicated supplementary positioning signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0018—Transmission from mobile station to base station
    • G01S5/0027—Transmission from mobile station to base station of actual mobile position, i.e. position determined on mobile
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/60—Traversable objects, e.g. speed bumps or curbs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3819—Road shape data, e.g. outline of a route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination

Abstract

자율주행차의 주행을 위한 약도를 구성, 사용, 및 업데이트하기 위한 시스템 및 방법이 제공된다. 일 실시예에서, 비일시적 컴퓨터 가독 매체는 도로 구간을 따라 차량을 자율 주행하기 위한 약도를 포함한다. 상기 약도는 상기 도로 구간을 따라 가는 상기 자율주행차의 목표 궤적의 다항식 표현과 상기 도로 구간과 관련된 복수의 미리 정해진 랜드마크를 포함하고, 상기 복수의 미리 정해진 랜드마크는 적어도 50미터의 간격으로 서로 떨어져 있다. 상기 약도의 데이터 밀도는 1킬로미터 당 1메가바이트 이하이다.

Description

자율 주행을 위한 약도{SPARSE MAP FOR AUTONOMOUS VEHICLE NAVIGATION}
본 발명은 자율 주행과 자율 주행을 위한 약도(sparse map)에 관한 것이다. 본 발명은 또한 자율 주행을 위한 약도(sparse map)의 제작, 사용, 업데이트를 위한 시스템 및 방법에 관한 것이다.
기술 발전과 함께, 도로 위를 주행할 수 있는 완전 자율 자동차의 구현이 목전에 있다. 자율주행차는 의도한 목적지에 안전하고 정확하게 도착하기 위해 다양한 요소를 고려하고 그런 요소에 근거한 적절한 판단을 해야 할 수 있다. 예를 들어, 자율주행차는 시각 정보(예를 들면, 카메라가 촬영한 정보)를 처리하고 해석해야 할 수 있고, 또한 기타 출처(예를 들면, GPS 장치, 속력 센서, 가속도계, 서스펜션 센서 등)로부터 획득한 정보를 이용할 수도 있다. 동시에, 자율주행차는, 목적지로 주행하기 위하여, 특정 도로 내의 위치(예를 들면, 다차선 도로 상의 차선)를 식별하고, 다른 차량을 따라 주행하고, 장애물과 보행자를 회피하고, 신호등과 도로표지판을 관찰하고, 적절한 교차로나 분기점에서 한 도로에서 다른 도로로 이동할 필요가 있을 수도 있다. 목적지로 이동하면서 자율주행차에 의해 수집된 방대한 양의 정보를 활용하고 해석하는 것은 설계 상의 매우 어려운 숙제이다. 자율주행차가 분석, 접근 및/또는 저장해야 하는 데이터(예를 들면, 촬영 이미지 데이터, 지도 데이터, GPS 데이터, 센서 데이터 등)의 용량 만으로도 자율 주행에 실제로 제한이 되거나 심지어 악영향을 주는 문제가 발생할 수 있다. 더 나아가, 자율주행차가 기존의 지도 기술에 의존하여 주행한다면, 지도의 저장과 업데이트에 필요한 데이터의 양은 해결하기 어려운 문제이다.
본 발명의 실시예들은 자율 주행을 위한 시스템과 방법을 제공한다.
본 발명의 실시예들은 자율 주행을 위한 시스템과 방법을 제공한다. 기재된 실시예는 카메라를 사용하여 자율 주행 특징을 제공할 수 있다. 예를 들면, 기재된 실시예에 따라, 기재된 시스템은 차량의 주변환경을 모니터하는 하나, 둘, 또는 그 이상의 카메라를 포함할 수 있다. 기재된 시스템은, 예를 들어, 하나 또는 그 이상의 카메라에 의해 캡처된 영상의 분석에 근거하여 주행 반응을 제공할 수 있다. 상기 주행 반응은 또한, 예를 들어, GPS 데이터, 센서 데이터(예, 가속도계, 속력 센서, 서스펜션 센서 등으로부터의 데이터), 및/또는 기타 지도 데이터를 포함하는 기타 데이터를 고려할 수 있다.
일부 실시예에서, 기재된 시스템과 방법은 자율 주행을 위해 약도(sparse map)를 사용할 수 있다. 예를 들면, 상기 약도(sparse map)는 과도한 데이터 저장을 요구하지 않으면서도 주행을 위한 충분한 정보를 제공할 수 있다.
다른 실시예에서, 기재된 시스템과 방법은 자율 주행을 위한 도로 모델을 구성할 수 있다. 예를 들면, 기재된 시스템과 방법은 추천 궤적을 포함하는 자율 주행을 위해서 크라우드 소스 데이터를 사용할 수 있다. 다른 예에서, 기재된 시스템과 방법은 차량의 주변환경에서 랜드마크를 식별하고 랜드마크 위치를 정제할 수 있다.
또 다른 실시예에서, 기재된 시스템과 방법은 자율 주행을 위해서 간략 도로 모델을 사용할 수 있다. 예를 들면, 기재된 시스템과 방법은 인지된 랜드마크에 기반한 주행을 제공하고, 주행을 위해 차량의 후미를 정렬하고, 차량이 도로 교차로를 주행하게 하고, 차량이 로컬 중첩 지도를 사용하여 주행하게 하고, 차량이 약도(sparse map)를 사용하여 주행하게 하고, 예상 랜드마크 위치에 근거하여 주행하고, 도로 특징에 근거하여 도로를 자율 주행하고, 후방 카메라에 근거한 전방 주행을 제공하고, 빈 공간 판단에 근거하여 주행하고, 눈길에서 주행하고, 자율 차량 속력 교정을 제공하고, 인지된 랜드마크 위치에 근거하여 차선 배정을 결정하고, 수퍼 랜드마크를 주행 보조로 사용할 수 있다.
또 다른 실시예에서, 기재된 시스템과 방법은 어댑티브 자율 주행을 제공할 수 있다. 예를 들면, 기재된 시스템과 방법은 사용자 개입에 기반한 어댑티브 주행을 제공하고, 자각 어댑티브 주행을 제공하고, 어댑티브 도로 모델 관리자를 제공하고, 선택적 피드백에 근거하여 도로 모델을 관리할 수 있다.
일부 실시예에서, 비일시적 컴퓨터 가독 매체는 도로 구간을 따라 자율주행차를 주행하기 위한 약도(sparse map)를 포함할 수 있다. 상기 약도(sparse map)는 상기 도로 구간을 따라 가는 상기 자율주행차를 위한 목표 궤적의 다항식 표현 및 상기 도로 구간과 관련된 복수의 미리 정해진 랜드마크를 포함할 수 있고, 상기 복수의 미리 정해진 랜드마크는 적어도 50미터의 간격으로 서로 떨어져 있을 수 있고, 상기 약도(sparse map)의 데이터 밀도는 1킬로미터 당 1메가바이트 이하일 수 있다.
비일시적 컴퓨터 가독 매체의 일부 실시예에서, 상기 다항식 표현은 3차원 다항식 표현일 수 있다. 상기 목표 궤적의 상기 다항식 표현은 상기 도로 구간을 따라가는 차량들의 이전 횡단의 둘 또는 그 이상의 재구성 궤적에 근거하여 판단될 수 있다. 상기 복수의 미리 정해진 랜드마크는 50바이트 이하의 데이터로 상기 약도(sparse map) 내에 표현된 교통표지판을 포함할 수 있다. 상기 복수의 미리 정해진 랜드마크는 50바이트 이하의 데이터로 상기 약도(sparse map) 내에 표현된 방향표지판을 포함할 수 있다. 상기 복수의 미리 정해진 랜드마크는 100바이트 이하의 데이터로 상기 약도(sparse map) 내에 표현된 일반표지판을 포함할 수 있다. 상기 복수의 미리 정해진 랜드마크는 100바이트 이하의 데이터로 상기 약도(sparse map) 내에 표현된 직사각형 물체를 포함할 수 있다. 상기 약도(sparse map) 내의 상기 직사각형 물체의 표현은 상기 직사각형 물체와 연계된 응축 영상 특징을 포함할 수 있다. 상기 복수의 미리 정해진 랜드마크는 랜드마크 크기, 이전 랜드마크까지의 거리, 랜드마크 유형, 및 랜드마크 위치를 포함하는 파라미터에 의해 상기 약도(sparse map) 내에서 표현될 수 있다. 상기 약도(sparse map)에 포함된 상기 복수의 미리 정해진 랜드마크는 적어도 2킬로미터의 간격으로 서로 떨어져 있을 수 있다. 상기 약도(sparse map)에 포함된 상기 복수의 미리 정해진 랜드마크는 적어도 1킬로미터의 간격으로 서로 떨어져 있을 수 있다. 상기 약도(sparse map)에 포함된 상기 복수의 미리 정해진 랜드마크는 적어도 100미터의 간격으로 서로 떨어져 있을 수 있다. 상기 약도(sparse map)의 데이터 밀도는 1킬로미터 당 100킬로바이트 이하일 수 있다. 상기 약도(sparse map)의 데이터 밀도는 1킬로미터 당 10킬로바이트 이하일 수 있다. 상기 복수의 미리 정해진 랜드마크는 종방향 위치 판단 정확도를 1미터 이내로 유지하기에 충분한 비율을 초과하는 비율로 상기 약도(sparse map) 내에 등장할 수 있다.
일부 실시예에서, 자율주행차는 차체 및 도로 구간을 따라 자율주행차를 주행하기 위한 약도(sparse map)를 포함하는 비일시적 컴퓨터 가독 매체를 포함할 수 있다. 상기 약도(sparse map)는 상기 도로 구간을 따라 가는 상기 자율주행차를 위한 목표 궤적의 다항식 표현 및 상기 도로 구간과 관련된 복수의 미리 정해진 랜드마크를 포함할 수 있고, 상기 복수의 미리 정해진 랜드마크는 적어도 50미터의 간격으로 서로 떨어져 있을 수 있고, 상기 약도(sparse map)의 데이터 밀도는 1킬로미터 당 1메가바이트 이하일 수 있다. 상기 자율주행차는 상기 도로 구간을 따라 자율 주행을 제공하기 위하여 상기 약도(sparse map) 내에 포함된 데이터를 실행하도록 구성된 프로세서를 포함할 수 있다.
자율주행차의 일부 실시예에서, 상기 다항식 표현은 3차원 다항식 표현일 수 있다. 상기 목표 궤적의 상기 다항식 표현은 상기 도로 구간을 따라가는 차량들의 이전 횡단의 둘 또는 그 이상의 재구성 궤적에 근거하여 판단될 수 있다.
일부 실시예에서, 자율주행차는 차체 및 도로 구간을 따라 자율주행차를 주행하기 위하여 약도(sparse map)에 포함된 데이터를 수신하고 상기 데이터를 실행하도록 구성된 프로세서를 포함할 수 있다. 상기 약도(sparse map)는 상기 도로 구간을 따라 가는 상기 자율주행차를 위한 목표 궤적의 다항식 표현 및 상기 도로 구간과 관련된 복수의 미리 정해진 랜드마크를 포함할 수 있고, 상기 복수의 미리 정해진 랜드마크는 적어도 50미터의 간격으로 서로 떨어져 있을 수 있고, 상기 약도(sparse map)의 데이터 밀도는 1킬로미터 당 1메가바이트 이하일 수 있다.
일부 실시예에서, 자율 주행에 사용하기 위해 차량 주행 정보를 프로세스하는 방법은 서버가 복수의 차량으로부터 주행 정보를 수신하는 단계를 포함할 수 있다. 복수의 차량으로부터의 주행 정보는 공통 도로 구간에 관한 것일 수 있다. 상기 방법은 서버가 공통 도로 구간에 관한 주행 정보를 저장하는 단계를 포함할 수 있다. 상기 방법은 서버가 복수의 차량으로부터의 주행 정보에 근거하여 공통 도로 구간의 자율주행차 도로 주행 모델의 적어도 일부를 생성하는 단계와 공통 도로 구간을 따라 하나 이상의 자율주행차의 자율주행에 사용하기 위해 서버가 상기 자율주행차 도로 주행 모델을 하나 이상의 자율주행차로 배포하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 주행 정보는 복수의 차량 각각이 공통 도로 구간을 운행함에 따라 상기 복수의 차량 각각으로부터의 궤적을 포함할 수 있다. 상기 궤적은 3차원 평행이동 및 3차원 회전 움직임을 포함하는 카메라의 감지된 움직임에 근거하여 판단될 수 있다. 상기 주행 정보는 차선 배정을 포함할 수 있다. 자율주행차 도로 주행 모델의 적어도 일부를 생성하는 단계는 공통 도로 구간을 따라 가는 차량 궤적을 클러스터링 하는 단계와 클러스터링된 차량 궤적에 근거하여 공통 도로 구간을 따라 가는 목표 궤적을 판단하는 단계를 포함할 수 있다. 상기 자율주행차 도로 주행 모델은 공통 도로 구간을 따라 가는 목표 궤적에 상응하는 3차원 스플라인을 포함할 수 있다. 상기 목표 궤적은 공통 도로 구간의 단일 차선과 연계될 수 있다. 상기 자율주행차 도로 주행 모델은 각각이 공통 도로 구간의 다른 차선과 연계된 복수의 목표 궤적을 포함할 수 있다. 클러스터링된 차량 궤적에 근거하여 공통 도로 구간을 따라 가는 목표 궤적을 판단하는 단계는 클러스터링된 차량 궤적에 근거하여 평균(mean 또는 average) 궤적을 구하는 단계를 포함할 수 있다. 상기 목표 궤적은 3차원 스플라인에 의해 표현될 수 있다. 상기 스플라인은 킬로미터 당 10킬로바이트 미만으로 정의될 수 있다. 상기 자율주행차 도로 주행 모델은 적어도 하나의 랜드마크의 위치를 포함하는 적어도 하나의 랜드마크의 식별을 포함할 수 있다. 상기 적어도 하나의 랜드마크의 위치는 복수의 차량과 연계된 센서 시스템을 사용하여 수행된 위치 측정에 근거하여 판단될 수 있다. 상기 위치 측정의 평균을 구하여 적어도 하나의 랜드마크의 위치를 획득할 수 있다. 상기 적어도 하나의 랜드마크는 교통표지판, 화살 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 랜드마크 비콘, 및 가로등 중의 적어도 하나를 포함할 수 있다.
일부 실시예에서, 차량을 위한 주행 시스템은, 카메라로부터 차량에 관한 적어도 하나의 주변환경 영상을 수신하고, 적어도 하나의 주변환경 영상을 분석하여 차량에 관한 주행 정보를 판단하고, 주행 정보를 차량으로부터 서버로 전송하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 서버로부터 자율주행차 도로 주행 모델을 수신하도록 프로그램될 수 있다. 상기 자율주행차 도로 주행 모델은 전송된 주행 정보에 근거한 적어도 하나의 업데이트를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 자율주행차 도로 주행 모델에 근거하여 상기 차량에 적어도 하나의 주행 조작을 유발하도록 프로그램될 수 있다.
상기 주행 시스템의 일부 실시예에서, 상기 주행 정보는 복수의 차량 각각이 공통 도로 구간을 운행함에 따라 상기 복수의 차량 각각으로부터의 궤적을 포함할 수 있다.
일부 실시예에서, 자율 주행에 사용하기 위한 차량 주행 정보를 프로세스하기 위한 서버는 복수의 차량과 통신하도록 구성된 통신부와 상기 통신부를 통하여 차량으로부터 주행 정보를 수신하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 주행 정보에 근거하여 자율주행차 도로 주행 모델의 적어도 일부를 생성하고 상기 자율주행차 도로 주행 모델의 적어도 일부를 적어도 하나의 차량으로 전송하여 상기 자율주행차 도로 주행 모델의 일부에 근거하여 적어도 하나의 차량에 주행 조작을 유발하도록 프로그램될 수 있다.
상기 서버의 일부 실시예에서, 상기 주행 정보는 상기 복수의 차량 각각이 공통 도로 구간을 운행함에 따라 상기 복수의 차량 각각으로부터의 궤적을 포함할 수 있다. 상기 자율주행차 도로 주행 모델의 일부는 상기 자율주행차 도로 주행 모델에 대한 업데이트를 포함할 수 있다.
일부 실시예에서, 차량을 위한 주행 시스템은 하나 또는 그 이상의 센서로부터 상기 차량의 움직임을 나타내는 출력을 수신하고, 상기 하나 또는 그 이상의 센서로부터의 출력에 근거하여 상기 차량의 실제 궤적을 판단하고, 카메라로부터 상기 차량과 관련된 적어도 하나의 주변환경 영상을 수신하고, 상기 적어도 하나의 주변환경 영상을 분석하여 적어도 하나의 주행 제약에 관한 정보를 판단하고, 상기 차량의 상기 실제 궤적과 상기 적어도 하나의 주행 제약에 관한 상기 판단된 정보에 근거한 상기 실제 궤적에 대한 하나 또는 그 이상의 수정을 포함하는 목표 궤적을 판단하고, 상기 목표 궤적을 상기 차량으로부터 서버로 전송하도록 적어도 하나의 프로세서를 포함하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 하나 또는 그 이상의 센서는 속력 센서를 포함할 수 있다. 상기 하나 또는 그 이상의 센서는 가속도계를 포함할 수 있다. 상기 하나 또는 그 이상의 센서는 상기 카메라를 포함할 수 있다. 상기 적어도 하나의 주행 제약은 장벽, 물체, 차선 표시, 표지판, 및 기타 차량 중의 적어도 하나를 포함할 수 있다. 상기 카메라는 상기 차량에 포함될 수 있다.
일부 실시예에서, 목표 궤적을 서버로 업로드하는 방법은 하나 또는 그 이상의 센서로부터 상기 차량의 움직임을 나타내는 출력을 수신하는 단계, 상기 하나 또는 그 이상의 센서로부터의 출력에 근거하여 상기 차량의 실제 궤적을 판단하는 단계, 카메라로부터 상기 차량과 관련된 적어도 하나의 주변환경 영상을 수신하는 단계, 상기 적어도 하나의 주변환경 영상을 분석하여 적어도 하나의 주행 제약에 관한 정보를 판단하는 단계, 상기 차량의 상기 실제 궤적과 상기 적어도 하나의 주행 제약에 관한 상기 판단된 정보에 근거한 상기 실제 궤적에 대한 하나 또는 그 이상의 수정을 포함하는 목표 궤적을 판단하는 단계, 및 상기 목표 궤적을 상기 차량으로부터 서버로 전송하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 하나 또는 그 이상의 센서는 속력 센서를 포함할 수 있다. 상기 하나 또는 그 이상의 센서는 가속도계를 포함할 수 있다. 상기 하나 또는 그 이상의 센서는 상기 카메라를 포함할 수 있다. 상기 적어도 하나의 주행 제약은 장벽, 물체, 차선 표시, 표지판, 및 기타 차량 중의 적어도 하나를 포함할 수 있다. 상기 카메라는 상기 차량에 포함될 수 있다.
일부 실시예에서, 자율 주행에 사용하기 위하여 랜드마크를 식별하기 위한 시스템은 상기 랜드마크와 관련된 적어도 하나의 식별자를 수신하고, 상기 랜드마크를 상응하는 도로 구간과 연계하고, 상기 상응하는 도로 구간에 관한 자율주행차 도로주행 모델이 상기 랜드마크와 관련된 상기 적어도 하나의 식별자를 포함하도록 업데이트하고, 상기 업데이트된 자율주행차 도로주행 모델을 복수의 자율주행차로 배포하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 식별자는 호스트 차량과 연계된 카메라로부터 상기 호스트 차량의 주변환경을 나타내는 적어도 하나의 영상의 확보, 상기 호스트 차량의 주변환경 내의 상기 랜드마크를 식별하기 위한 상기 적어도 하나의 영상의 분석, 및 상기 랜드마크와 관련된 상기 적어도 하나의 식별자를 판단하기 위한 상기 적어도 하나의 영상의 분석에 근거하여 판단될 수 있다.
상기 시스템의 일부 실시예에서, 상기 적어도 하나의 식별자는 상기 랜드마크의 위치를 포함할 수 있다. 상기 적어도 하나의 식별자는 상기 랜드마크의 형상을 포함할 수 있다. 상기 적어도 하나의 식별자는 상기 랜드마크의 크기를 포함할 수 있다. 상기 적어도 하나의 식별자는 다른 랜드마크에 대한 상기 랜드마크의 거리를 포함할 수 있다. 상기 적어도 하나의 식별자는 상기 랜드마크가 복수의 랜드마크 유형의 하나로 식별되는 것에 근거하여 판단될 수 있다. 상기 랜드마크 유형은 교통표지판을 포함할 수 있다. 상기 랜드마크 유형은 기둥을 포함할 수 있다. 상기 랜드마크 유형은 방향 지시자를 포함할 수 있다. 상기 랜드마크 유형은 직사각형 표지판을 포함할 수 있다. 상기 적어도 하나의 식별자는 응축 특징 표현을 더 포함할 수 있다. 상기 랜드마크의 응축 특징 표현은 상기 랜드마크의 영상을 미리 설정된 데이터 사이즈의 수열에 매핑한 것에 근거하여 판단될 수 있다. 상기 응축 특징 표현은 상기 랜드마크의 모습을 나타낼 수 있다. 상기 응축 특징 표현은 상기 랜드마크의 영상의 색상패턴 및 상기 영상의 밝기 패턴 중 적어도 하나를 나타낼 수 있다. 상기 랜드마크는 방향표지판, 교통표지판, 가로등, 도로 표시, 및 상업용 표지판 중 적어도 하나를 포함할 수 있다.
일부 실시예에서, 자율 주행에 사용하기 위하여 랜드마크를 식별하는 방법은 상기 랜드마크와 관련된 적어도 하나의 식별자를 수신하는 단계, 상기 랜드마크를 상응하는 도로 구간과 연계하는 단계, 상기 상응하는 도로 구간에 관한 자율주행차 도로주행 모델이 상기 랜드마크와 관련된 상기 적어도 하나의 식별자를 포함하도록 업데이트하는 단계, 상기 업데이트된 자율주행차 도로주행 모델을 복수의 자율주행차로 배포하는 단계를 포함할 수 있다.
일부 실시예에서, 상기 방법은 상기 적어도 하나의 식별자를 판단하는 단계를 포함할 수 있다. 상기 적어도 하나의 식별자를 판단하는 단계는 호스트 차량과 연계된 카메라로부터 상기 호스트 차량의 주변환경을 나타내는 적어도 하나의 영상의 확보하는 단계, 상기 호스트 차량의 주변환경 내의 상기 랜드마크를 식별하기 위한 상기 적어도 하나의 영상의 분석하는 단계, 및 상기 랜드마크와 관련된 상기 적어도 하나의 식별자를 판단하기 위한 상기 적어도 하나의 영상의 분석하는 단계를 포함할 수 있다. 상기 적어도 하나의 식별자는 다른 랜드마크에 대한 상기 랜드마크의 거리를 포함할 수 있고, 상기 적어도 하나의 식별자를 판단하는 단계는 다른 랜드마크에 대한 상기 랜드마크의 거리를 판단하는 단계를 포함할 수 있다. 상기 적어도 하나의 식별자는 응축 특징 표현을 더 포함할 수 있으며, 상기 적어도 하나의 식별자를 판단하는 단계는 상기 적어도 하나의 영상으로부터 상기 응축 특징 표현을 판단하는 단계를 포함할 수 있다.
일부 실시예에서, 자율주행차의 주행에 사용하기 위해 랜드마크의 위치를 판단하기 위한 시스템은 상기 랜드마크의 측정 위치를 수신하고, 상기 랜드마크의 측정 위치와 상기 랜드마크의 적어도 하나의 이전에 확보된 위치에 근거하여 상기 랜드마크의 정제된 위치를 판단하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다. 상기 측정 위치와 상기 적어도 하나의 이전에 확보된 위치는 호스트 차량과 연계된 카메라로부터 상기 호스트 차량에 관련된 적어도 하나의 주변환경 영상의 확보, 상기 적어도 하나의 주변환경 영상을 분석하여 상기 호스트 차량의 주변환경에서 상기 랜드마크의 식별, 상기 호스트 차량의 위치를 나타내는 GPS 데이터의 수신, 상기 적어도 하나의 주변환경 영상을 분석하여 상기 호스트 차량에 대한 상기 식별된 랜드마크의 상대적 위치의 판단, 및 적어도 상기 GPS 데이터 및 상기 판단된 상대적 위치에 근거하여 상기 랜드마크의 글로벌 인식 위치의 판단에 근거하여 판단될 수 있다.
상기 시스템의 일부 실시예에서, 상기 랜드마크는 교통표지판, 화살표, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 랜드마크 비콘, 및 가로등 중의 적어도 하나를 포함할 수 있다. 상기 적어도 하나의 영상을 분석하여 상기 차량에 대한 상기 식별된 랜드마크의 상기 상대적 위치의 판단은 상기 적어도 하나의 영상과 관련된 축척에 근거하여 거리를 계산하는 것을 포함할 수 있다. 상기 적어도 하나의 영상을 분석하여 상기 차량에 대한 상기 식별된 랜드마크의 상기 상대적 위치의 판단은 상기 적어도 하나의 영상과 관련된 광류에 근거하여 거리를 계산하는 것을 포함할 수 있다. 상기 GPS 데이터는 호스트 차량에 포함된 상기 GPS 장치로부터 수신될 수 있다. 상기 카메라는 상기 호스트 차량에 포함될 수 있다. 상기 랜드마크의 상기 정제된 위치를 판단하는 단계는 상기 랜드마크의 상기 측정 위치와 상기 적어도 하나의 이전에 확보된 위치의 평균을 구하는 단계를 포함할 수 있다.
일부 실시예에서, 자율주행차의 주행에 사용하기 위해 랜드마크의 위치를 판단하기 위한 방법은 상기 랜드마크의 측정 위치를 수신하는 단계, 및 상기 랜드마크의 측정 위치와 상기 랜드마크의 적어도 하나의 이전에 확보된 위치에 근거하여 상기 랜드마크의 정제된 위치를 판단하는 단계를 포함할 수 있다. 상기 측정 위치와 상기 적어도 하나의 이전에 확보된 위치는 호스트 차량과 연계된 카메라로부터 상기 호스트 차량에 관련된 적어도 하나의 주변환경 영상의 확보, 상기 적어도 하나의 주변환경 영상을 분석하여 상기 호스트 차량의 주변환경에서 상기 랜드마크의 식별, 상기 호스트 차량의 위치를 나타내는 GPS 데이터의 수신, 상기 적어도 하나의 주변환경 영상을 분석하여 상기 호스트 차량에 대한 상기 식별된 랜드마크의 상대적 위치의 판단, 및 적어도 상기 GPS 데이터 및 상기 판단된 상대적 위치에 근거하여 상기 랜드마크의 글로벌 인식 위치의 판단에 근거하여 판단될 수 있다.
상기 방법의 일부 실시예에서, 상기 랜드마크는 교통표지판, 화살표, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 랜드마크 비콘, 및 가로등 중의 적어도 하나를 포함할 수 있다. 상기 적어도 하나의 영상을 분석하여 상기 차량에 대한 상기 식별된 랜드마크의 상기 상대적 위치의 판단은 상기 적어도 하나의 영상과 관련된 축척에 근거하여 거리를 계산하는 것을 포함할 수 있다. 상기 적어도 하나의 영상을 분석하여 상기 차량에 대한 상기 식별된 랜드마크의 상기 상대적 위치의 판단은 상기 적어도 하나의 영상과 관련된 광류에 근거하여 거리를 계산하는 것을 포함할 수 있다. 상기 GPS 데이터는 호스트 차량에 포함된 상기 GPS 장치로부터 수신될 수 있다. 상기 카메라는 상기 호스트 차량에 포함될 수 있다. 상기 랜드마크의 상기 정제된 위치를 판단하는 단계는 상기 랜드마크의 상기 측정 위치와 상기 적어도 하나의 이전에 확보된 위치의 평균을 구하는 단계를 포함할 수 있다.
일부 실시예에서, 자율주행차는 차체; 및 상기 랜드마크의 측정 위치를 수신하고, 상기 랜드마크의 측정 위치와 상기 랜드마크의 적어도 하나의 이전에 확보된 위치에 근거하여 상기 랜드마크의 정제된 위치를 판단하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 호스트 차량과 연계된 카메라로부터 상기 호스트 차량에 관련된 적어도 하나의 주변환경 영상의 확보, 상기 적어도 하나의 주변환경 영상을 분석하여 상기 호스트 차량의 주변환경에서 상기 랜드마크의 식별, 상기 호스트 차량의 위치를 나타내는 GPS 데이터의 수신, 상기 적어도 하나의 주변환경 영상을 분석하여 상기 호스트 차량에 대한 상기 식별된 랜드마크의 상대적 위치의 판단, 및 적어도 상기 GPS 데이터 및 상기 판단된 상대적 위치에 근거하여 상기 랜드마크의 글로벌 인식 위치의 판단에 근거하여 상기 측정 위치와 상기 적어도 하나의 이전에 확보된 위치를 판단하도록 더 프로그램될 수 있다.
상기 자율주행차의 일부 실시예에서, 상기 랜드마크는 교통표지판, 화살표, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 랜드마크 비콘, 및 가로등 중의 적어도 하나를 포함할 수 있다. 상기 적어도 하나의 영상을 분석하여 상기 차량에 대한 상기 식별된 랜드마크의 상기 상대적 위치의 판단은 상기 적어도 하나의 영상과 관련된 축척에 근거하여 거리를 계산하는 것을 포함할 수 있다. 상기 적어도 하나의 영상을 분석하여 상기 차량에 대한 상기 식별된 랜드마크의 상기 상대적 위치의 판단은 상기 적어도 하나의 영상과 관련된 광류에 근거하여 거리를 계산하는 것을 포함할 수 있다. 상기 GPS 데이터는 호스트 차량에 포함된 상기 GPS 장치로부터 수신될 수 있다. 상기 랜드마크의 상기 정제된 위치를 판단하는 단계는 상기 랜드마크의 상기 측정 위치와 상기 적어도 하나의 이전에 확보된 위치의 평균을 구하는 단계를 포함할 수 있다.
일부 실시예에서, 도로 구간을 따라 차량을 자율 주행하기 위한 시스템은 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하고, 상기 적어도 하나의 영상을 분석하여 적어도 하나의 인지된 랜드마크를 식별하고, 적어도 부분적으로는 상기 인지된 랜드마크의 미리 정해진 위치에 근거하여 상기 도로 구간과 연계된 미리 정해진 도로 모델 궤적에 대한 상기 차량의 현재 위치를 판단하고, 상기 미리 정해진 도로 모델 궤적에 대한 상기 차량의 상기 판단된 현재 위치에서의 상기 미리 정해진 도로 모델 궤적의 방향에 근거하여 상기 차량의 자율 조향 동작을 결정하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 인지된 랜드마크는 교통표지판, 화살 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 및 가로등 중의 적어도 하나를 포함할 수 있다. 상기 인지된 랜드마크는 도로 구간 상의 차선 간격의 변경을 포함할 수 있다. 상기 인지된 랜드마크는 상업용 표지판을 포함할 수 있다. 상기 미리 정해진 도로 모델 궤적은 상기 도로 구간을 따라 가는 목표 궤적의 3차원 다항식 표현을 포함할 수 있다. 인지된 랜드마크 사이의 주행은 미리 정해진 도로 모델 궤적을 따라 가는 차량의 위치를 판단하기 위한 차량 속도의 통합을 포함할 수 있다. 상기 프로세서는 상기 차량을 주행하기 위하여 상기 자율 조향 동작에 근거하여 상기 차량의 조향 시스템을 조정하도록 더 프로그램될 수 있다. 상기 프로세서는 상기 적어도 하나의 인지된 랜드마크로부터 상기 차량의 거리를 판단하고 상기 거리에 근거하여 상기 차량이 상기 도로 구간과 연계된 상기 미리 정해진 도로 모델 궤적 상에 위치하는지 여부를 판단하도록 더 프로그램될 수 있다. 상기 프로세서는 상기 차량이 상기 미리 정해진 도로 모델 궤적 상에 위치하지 않는 경우 상기 차량의 상기 조향 시스템을 조정하여 상기 차량을 상기 차량의 현재 위치로부터 상기 미리 정해진 도로 모델 궤적 상의 위치로 이동하도록 더 프로그램될 수 있다.
일부 실시예에서, 차량은 차체; 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 확보하도록 구성된 적어도 하나의 이미지캡처장치; 및 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하고, 상기 적어도 하나의 영상을 분석하여 적어도 하나의 인지된 랜드마크를 식별하고, 적어도 부분적으로는 상기 인지된 랜드마크의 미리 정해진 위치에 근거하여 상기 도로 구간과 연계된 미리 정해진 도로 모델 궤적에 대한 상기 차량의 현재 위치를 판단하고, 상기 미리 정해진 도로 모델 궤적에 대한 상기 차량의 상기 판단된 현재 위치에서의 상기 미리 정해진 도로 모델 궤적의 방향에 근거하여 상기 차량의 자율 조향 동작을 결정하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 차량의 일부 실시예에서, 상기 인지된 랜드마크는 교통표지판, 화살 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 가로등, 도로 구간 상의 차선 간격의 변경, 및 상업용 표지판 중의 적어도 하나를 포함할 수 있다. 상기 미리 정해진 도로 모델 궤적은 상기 도로 구간을 따라 가는 목표 궤적의 3차원 다항식 표현을 포함할 수 있다. 인지된 랜드마크 사이의 주행은 미리 정해진 도로 모델 궤적을 따라 가는 차량의 위치를 판단하기 위한 차량 속도의 통합을 포함할 수 있다. 상기 프로세서는 상기 차량을 주행하기 위하여 상기 자율 조향 동작에 근거하여 상기 차량의 조향 시스템을 조정하도록 더 프로그램될 수 있다. 상기 프로세서는 상기 적어도 하나의 인지된 랜드마크로부터 상기 차량의 거리를 판단하고 상기 거리에 근거하여 상기 차량이 상기 도로 구간과 연계된 상기 미리 정해진 도로 모델 궤적 상에 위치하는지 여부를 판단하도록 더 프로그램될 수 있다. 상기 프로세서는 상기 차량이 상기 미리 정해진 도로 모델 궤적 상에 위치하지 않는 경우 상기 차량의 상기 조향 시스템을 조정하여 상기 차량을 상기 차량의 현재 위치로부터 상기 미리 정해진 도로 모델 궤적 상의 위치로 이동하도록 더 프로그램될 수 있다.
일부 실시예에서, 차량을 주행하는 방법은 상기 차량과 연계된 이미지캡처장치로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하는 단계, 상기 차량과 연계된 프로세서를 사용하여 상기 적어도 하나의 영상을 분석하여 적어도 하나의 인지된 랜드마크를 식별하는 단계, 적어도 부분적으로는 상기 인지된 랜드마크의 미리 정해진 위치에 근거하여 상기 도로 구간과 연계된 미리 정해진 도로 모델 궤적에 대한 상기 차량의 현재 위치를 판단하는 단계, 상기 미리 정해진 도로 모델 궤적에 대한 상기 차량의 상기 판단된 현재 위치에서의 상기 미리 정해진 도로 모델 궤적의 방향에 근거하여 상기 차량의 자율 조향 동작을 결정하는 단계, 및 상기 차량을 주행하기 위하여 상기 자율 조향 동작에 근거하여 상기 차량의 조향 시스템을 조정하는 단계를 포함할 수 있다.
일부 실시예에서, 상기 방법은 상기 차량 속도를 통합하여 상기 미리 정해진 도로 모델 궤적을 따라 상기 차량의 위치를 판단하는 단계를 포함할 수 있다. 상기 방법은 상기 프로세서를 사용하여 상기 적어도 하나의 인지된 랜드마크로부터 상기 차량의 거리를 판단하는 단계 및 상기 거리에 근거하여 상기 차량이 상기 도로 구간과 연계된 상기 미리 정해진 도로 모델 궤적 상에 위치하는지 여부를 판단하는 단계를 포함할 수 있다. 상기 방법은 상기 차량을 상기 차량의 현재 위치로부터 상기 미리 정해진 도로 모델 궤적 상의 위치로 이동하기 위해 필요한 변형을 판단하는 단계 및 상기 변형에 근거하여 상기 차량의 상기 조향 시스템을 조정하는 단계를 포함할 수 있다.
일부 실시예에서, 도로 구간을 따라 자율주행차를 자율 주행하기 위한 시스템은 이미지캡처장치로부터 상기 자율주행차의 주변환경을 나타내는 복수의 영상을 수신하고, 적어도 부분적으로는 상기 복수의 영상의 하나 또는 그 이상의 분석에 근거하여 상기 도로 구간을 따라 상기 자율주행차의 운행한 궤적을 판단하고, 상기 복수의 영상의 하나 또는 그 이상의 분석에 근거하여 미리 정해진 도로 모델 궤적을 따라 상기 자율주행차의 현재 위치를 판단하고, 상기 판단된 운행한 궤적에 근거하여 상기 자율주행차의 진행 방향을 판단하고, 상기 자율주행차의 상기 현재 위치에서의 상기 운행한 궤적과 상기 미리 정해진 도로 모델 궤적을 비교하여 상기 진행 방향에 대한 상기 자율주행차의 조향 방향을 판단하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 운행한 궤적과 상기 미리 정해진 도로 모델 궤적 사이의 비교는 상기 운행한 궤적과 상기 미리 정해진 도로 모델 궤적 사이의 오차를 감소하는 변형의 판단을 포함할 수 있다. 상기 프로세서는 상기 변형에 근거하여 상기 자율주행차의 상기 조향 시스템을 조정하도록 더 프로그램될 수 있다. 상기 미리 정해진 도로 모델 궤적은 상기 도로 구간을 따라 가는 목표 궤적의 3차원 다항식 표현을 포함할 수 있다. 상기 미리 정해진 도로 모델 궤적은 자율주행차에 포함된 메모리에 저장된 데이터베이스에서 가져올 수 있다. 상기 미리 정해진 도로 모델 궤적은 무선 통신 인터페이스를 통해 자율주행차로 접속 가능한 데이터베이스에서 가져올 수 있다. 상기 이미지캡처장치는 상기 자율주행차에 포함될 수 있다. 상기 조향 방향의 판단은 좌측 차로 표시 다항식 모델, 우측 차로 표시 다항식 모델, 전체론적 경로 예측, 전방 차량의 움직임, 자율주행차 전방에 판단된 빈 공간, 및 가상 차로 중의 하나 또는 그 이상을 포함하는 하나 또는 그 이상의 추가 신호에 더 근거할 수 있다. 상기 조향 방향의 판단은 상기 하나 또는 그 이상의 추가 신호에 부여된 가중치에 근거할 수 있다.
일부 실시예에서, 자율주행차는 차체; 상기 자율주행차의 주변환경을 나타내는 적어도 하나의 영상을 확보하도록 구성된 적어도 하나의 이미지캡처장치; 및 상기 이미지캡처장치로부터 상기 자율주행차의 상기 주변환경을 나타내는 복수의 영상을 수신하고, 적어도 부분적으로는 상기 복수의 영상의 하나 또는 그 이상의 분석에 근거하여 상기 도로 구간을 따라 상기 자율주행차의 운행한 궤적을 판단하고, 상기 복수의 영상의 하나 또는 그 이상의 분석에 근거하여 미리 정해진 도로 모델 궤적을 따라 상기 자율주행차의 현재 위치를 판단하고, 상기 자율주행차의 상기 현재 위치에서의 상기 운행한 궤적과 상기 미리 정해진 도로 모델 궤적을 비교하여 상기 진행 방향에 대한 상기 자율주행차의 조향 방향을 판단하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 자율주행차의 일부 실시예에서, 상기 운행한 궤적과 상기 미리 정해진 도로 모델 궤적 사이의 비교는 상기 운행한 궤적과 상기 미리 정해진 도로 모델 궤적 사이의 오차를 감소하는 변형의 판단을 포함할 수 있다. 상기 미리 정해진 도로 모델 궤적은 상기 도로 구간을 따라 가는 목표 궤적의 3차원 다항식 표현을 포함할 수 있다. 상기 미리 정해진 도로 모델 궤적은 상기 자율주행차에 포함된 메모리에 저장된 데이터베이스 및 무선 통신 인터페이스를 통해 상기 자율주행차로 접속 가능한 데이터베이스 중의 하나에서 가져올 수 있다. 상기 조향 방향의 판단은 좌측 차로 표시 다항식 모델, 우측 차로 표시 다항식 모델, 전체론적 경로 예측, 전방 차량의 움직임, 자율주행차 전방에 판단된 빈 공간, 및 가상 차로 중의 하나 또는 그 이상을 포함하는 하나 또는 그 이상의 추가 신호에 더 근거할 수 있다. 상기 조향 방향의 판단은 상기 하나 또는 그 이상의 추가 신호에 부여된 가중치에 근거할 수 있다.
일부 실시예에서, 자율주행차를 주행하는 방법은 이미지캡처장치로부터 상기 자율주행차의 주변환경을 나타내는 복수의 영상을 수신하는 단계, 적어도 부분적으로는 상기 복수의 영상의 하나 또는 그 이상의 분석에 근거하여 상기 도로 구간을 따라 상기 자율주행차의 운행한 궤적을 판단하는 단계, 상기 복수의 영상의 하나 또는 그 이상의 분석에 근거하여 미리 정해진 도로 모델 궤적을 따라 상기 자율주행차의 현재 위치를 판단하는 단계, 및 상기 자율주행차의 상기 현재 위치에서의 상기 운행한 궤적과 상기 미리 정해진 도로 모델 궤적을 비교하여 상기 진행 방향에 대한 상기 자율주행차의 조향 방향을 판단하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 운행한 궤적과 상기 미리 정해진 도로 모델 궤적을 비교하는 단계는 상기 운행한 궤적과 상기 미리 정해진 도로 모델 궤적 사이의 오차를 감소하는 변형을 판단하는 단계를 포함할 수 있다. 상기 조향 방향을 판단하는 단계는 좌측 차로 표시 다항식 모델, 우측 차로 표시 다항식 모델, 전체론적 경로 예측, 전방 차량의 움직임, 자율주행차 전방에 판단된 빈 공간, 및 가상 차로 중의 하나 또는 그 이상을 포함하는 하나 또는 그 이상의 추가 신호에 근거할 수 있다. 상기 조향 방향을 판단하는 단계는 상기 하나 또는 그 이상의 추가 신호에 가중치를 부여하는 단계를 포함할 수 있다.
일부 실시예에서, 도로 교차로를 통해 차량을 자율 주행하기 위한 시스템은 이미지캡처장치로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하고, 상기 적어도 하나의 영상을 분석하여 상기 차량의 상기 주변환경 내에 위치한 둘 또는 그 이상의 랜드마크를 식별하고, 상기 둘 또는 그 이상의 랜드마크 각각에 대하여 상기 차량에 대한 방향 지시자를 판단하고, 상기 둘 또는 그 이상의 랜드마크의 방향 지시자의 교차점에 근거하여 상기 도로 교차로에 대한 상기 차량의 현재 위치를 판단하고, 상기 둘 또는 그 이상의 랜드마크의 방향 지시자에 근거하여 상기 차량의 방향을 판단하고, 상기 차량의 상기 현재 위치에서의 상기 차량의 방향과 미리 정해진 도로 모델 궤적을 비교하여 상기 차량의 조향각을 판단하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 미리 정해진 도로 모델 궤적은 상기 도로 구간을 따라 가는 목표 궤적의 3차원 다항식 표현을 포함할 수 있다. 상기 둘 또는 그 이상의 랜드마크는 셋 또는 그 이상의 랜드마크를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 조향각을 명시하는 제어신호를 상기 차량의 조향 시스템으로 전송하도록 더 프로그램될 수 있다. 상기 프로세서는 무선 통신 인터페이스를 통해 상기 차량으로 접속 가능한 데이터베이스에서 상기 미리 정해진 도로 모델 궤적을 가져오도록 구성될 수 있다. 상기 카메라는 상기 차량에 포함될 수 있다. 상기 프로세서는 상기 둘 또는 그 이상의 랜드마크의 상기 방향 지시자의 상기 교차점에 근거하여 상기 도로 교차로에 대한 상기 차량의 이전 위치를 판단하고 상기 이전 위치와 상기 현재위치에 근거하여 상기 방향을 판단함으로써 상기 차량의 방향을 판단하도록 더 프로그램될 수 있다.
일부 실시예에서, 자율주행차는 차체; 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 확보하도록 구성된 적어도 하나의 이미지캡처장치; 및 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하고, 상기 적어도 하나의 영상을 분석하여 상기 차량의 상기 주변환경 내에 위치한 둘 또는 그 이상의 랜드마크를 식별하고, 상기 둘 또는 그 이상의 랜드마크 각각에 대하여 상기 차량에 대한 방향 지시자를 판단하고, 상기 둘 또는 그 이상의 랜드마크의 방향 지시자의 교차점에 근거하여 상기 도로 교차로에 대한 상기 차량의 현재 위치를 판단하고, 상기 둘 또는 그 이상의 랜드마크의 방향 지시자에 근거하여 상기 차량의 방향을 판단하고, 상기 차량의 상기 현재 위치에서의 상기 차량의 방향과 미리 정해진 도로 모델 궤적을 비교하여 상기 차량의 조향각을 판단하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 차량의 일부 실시예에서, 상기 미리 정해진 도로 모델 궤적은 상기 도로 구간을 따라 가는 목표 궤적의 3차원 다항식 표현을 포함할 수 있다. 상기 둘 또는 그 이상의 랜드마크는 셋 또는 그 이상의 랜드마크를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 조향각을 명시하는 제어신호를 상기 차량의 조향 시스템으로 전송하도록 더 프로그램될 수 있다. 상기 미리 정해진 도로 모델 궤적은 상기 차량에 포함된 메모리에 저장된 데이터베이스 및 무선 통신 인터페이스를 통해 상기 차량으로 접속 가능한 데이터베이스 중의 하나에서 가져올 수 있다. 상기 프로세서는 상기 둘 또는 그 이상의 랜드마크의 상기 방향 지시자의 상기 교차점에 근거하여 상기 도로 교차로에 대한 상기 차량의 이전 위치를 판단하고 상기 이전 위치와 상기 현재위치에 근거하여 상기 방향을 판단함으로써 상기 차량의 방향을 판단하도록 더 프로그램될 수 있다.
일부 실시예에서, 자율주행차를 주행하는 방법은 이미지캡처장치로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하는 단계, 적어도 하나의 프로세서를 사용하여 상기 적어도 하나의 영상을 분석하여 상기 차량의 상기 주변환경 내에 위치한 둘 또는 그 이상의 랜드마크를 식별하는 단계, 상기 둘 또는 그 이상의 랜드마크 각각에 대하여 상기 차량에 대한 방향 지시자를 판단하는 단계, 상기 둘 또는 그 이상의 랜드마크의 방향 지시자의 교차점에 근거하여 상기 도로 교차로에 대한 상기 차량의 현재 위치를 판단하는 단계, 상기 둘 또는 그 이상의 랜드마크의 방향 지시자에 근거하여 상기 차량의 방향을 판단하는 단계, 상기 차량의 상기 현재 위치에서의 상기 차량의 방향과 미리 정해진 도로 모델 궤적을 비교하여 상기 차량의 조향각을 판단하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 미리 정해진 도로 모델 궤적은 상기 도로 구간을 따라 가는 목표 궤적의 3차원 다항식 표현을 포함할 수 있다. 상기 방법은 상기 차량에 포함된 메모리에 저장된 데이터베이스 및 무선 통신 인터페이스를 통해 상기 차량으로 접속 가능한 데이터베이스 중의 하나에서 상기 미리 정해진 도로 모델 궤적을 가져오는 단계를 포함할 수 있다. 상기 방법은 상기 조향각을 명시하는 제어신호를 상기 차량의 조향 시스템으로 전송하는 단계를 포함할 수 있다. 상기 차량의 방향을 판단하는 단계는 상기 둘 또는 그 이상의 랜드마크의 상기 방향 지시자의 상기 교차점에 근거하여 상기 도로 교차로에 대한 상기 차량의 이전 위치를 판단하는 단계와 상기 이전 위치와 상기 현재위치에 근거하여 상기 방향을 판단하는 단계를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 복수의 중첩 주행지도는 각각 고유의 좌표 프레임을 가질 수 있다. 상기 복수의 중첩 주행지도는 각각 도로 구간을 따라 가는 목표 궤적의 다항식 표현을 포함할 수 있다. 상기 중첩 주행지도는 각각 데이터 밀도가 킬로미터 당 10킬로바이트 이하인 약도(sparse map)일 수 있다. 상기 중첩 구간의 길이는 50미터 이상일 수 있다. 상기 중첩 구간의 길이는 100미터 이상일 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 주행지도와 상기 제2 주행지도 모두에 근거하여 상기 제3 자율주행반응을 결정하도록 프로그램될 수 있다. 상기 제3 자율주행반응은 상기 제1 자율주행반응과 상기 제2 자율주행반응의 조합일 수 있다. 상기 제3 자율주행반응은 상기 제1 자율주행반응과 상기 제2 자율주행반응의 평균일 수 있다. 상기 프로세서는 상기 제1 자율주행반응과 상기 제2 자율주행반응 사이의 오차를 판단하고 상기 오차가 임계 오차보다 작은 경우 상기 제2 자율주행반응에 근거하여 상기 제3 자율주행반응을 결정하도록 더 프로그램될 수 있다.
일부 실시예에서, 자율주행차는 차체; 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 확보하도록 구성된 적어도 하나의 이미지캡처장치; 및 상기 적어도 하나의 영상에 근거하여 상기 차량의 현재 위치를 판단하고, 제1 도로 구간과 연계된 제1 주행지도를 수신하고, 상기 차량의 상기 현재 위치가 상기 제1 주행지도 상에 있는 경우 상기 제1 주행지도의 분석에 근거하여 상기 차량의 적어도 제1 자율주행반응을 결정하고, 상기 제2 도로 구간과 다른 제2 도로 구간과 연계된 제2 주행지도를 수신하고, 여기서, 상기 제1 도로 구간과 상기 제2 도로 구간은 중첩 구간에서 서로 중첩하고, 상기 차량의 상기 현재 위치가 상기 제2 주행지도 상에 있는 경우 상기 제2 주행지도의 분석에 근거하여 상기 차량의 적어도 제2 자율주행반응을 결정하고, 상기 차량의 상기 현재 위치가 상기 중첩 구간에 있는 경우 상기 제1 주행지도와 상기 제2 주행지도의 적어도 하나에 근거하여 상기 차량의 적어도 제3 자율주행반응을 결정하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 자율주행차의 일부 실시예에서, 상기 제1 주행지도와 상기 제2 주행지도는 각각 고유의 좌표 프레임을 가질 수 있다. 상기 제1 주행지도와 상기 제2 주행지도는 각각 도로 구간을 따라 가는 목표 궤적의 다항식 표현을 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 주행지도와 상기 제2 주행지도 모두에 근거하여 상기 제3 자율주행반응을 결정하도록 프로그램될 수 있다. 상기 제3 자율주행반응은 상기 제1 자율주행반응과 상기 제2 자율주행반응의 조합일 수 있다. 상기 프로세서는 상기 제1 자율주행반응과 상기 제2 자율주행반응 사이의 오차를 판단하고 상기 오차가 임계 오차보다 작은 경우 상기 제2 자율주행반응에 근거하여 상기 제3 자율주행반응을 결정하도록 더 프로그램될 수 있다.
일부 실시예에서, 자율주행차를 주행하는 방법은 이미지캡처장치로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하는 단계; 상기 차량과 연계된 프로세서를 사용하여 상기 적어도 하나의 영상에 근거하여 상기 차량의 현재 위치를 판단하는 단계; 제1 도로 구간과 연계된 제1 주행지도를 수신하는 단계; 상기 차량의 상기 현재 위치가 상기 제1 주행지도 상에 있는 경우 상기 제1 주행지도의 분석에 근거하여 상기 차량의 적어도 제1 자율주행반응을 결정하는 단계; 상기 제2 도로 구간과 다른 제2 도로 구간과 연계된 제2 주행지도를 수신하는 단계―여기서, 상기 제1 도로 구간과 상기 제2 도로 구간은 중첩 구간에서 서로 중첩함; 상기 차량의 상기 현재 위치가 상기 제2 주행지도 상에 있는 경우 상기 제2 주행지도의 분석에 근거하여 상기 차량의 적어도 제2 자율주행반응을 결정하는 단계; 및 상기 차량의 상기 현재 위치가 상기 중첩 구간에 있는 경우 상기 제1 주행지도와 상기 제2 주행지도의 적어도 하나에 근거하여 상기 차량의 적어도 제3 자율주행반응을 결정하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 복수의 중첩 주행지도는 각각 고유의 좌표 프레임을 가질 수 있고, 상기 복수의 중첩 주행지도는 각각 도로 구간을 따라 가는 목표 궤적의 다항식 표현을 포함할 수 있다. 상기 제3 자율주행반응을 결정하는 단계는 상기 제1 자율주행반응과 상기 제2 자율주행반응의 조합을 판단하는 단계를 포함할 수 있다. 상기 방법은 상기 제1 자율주행반응과 상기 제2 자율주행반응 사이의 오차를 판단하는 단계 및 상기 오차가 임계 오차보다 작은 경우 상기 제2 자율주행반응에 근거하여 상기 제3 자율주행반응을 결정하는 단계를 포함할 수 있다.
일부 실시예에서, 도로 구간을 따라 차량의 약도(sparse map) 자율 주행을 위한 시스템은 데이터 밀도가 킬로미터 당 1메가바이트 이하인 상기 도로 구간의 약도(sparse map)를 수신하고, 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하고, 상기 약도(sparse map)와 상기 카메라로부터 수신한 상기 적어도 하나의 영상을 분석하고, 상기 약도(sparse map)와 상기 카메라로부터 수신한 상기 적어도 하나의 영상의 분석에만 근거하여 상기 차량의 자율주행반응을 결정하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 약도(sparse map)는 상기 도로 구간을 따라 가는 목표 궤적의 다항식 표현을 포함할 수 있다. 상기 약도(sparse map)는 하나 또는 그 이상의 인지된 랜드마크를 포함할 수 있다. 상기 인지된 랜드마크는 상기 약도(sparse map) 내에서 킬로미터 당 0.5 이하의 비율로 서로 떨어져 있을 수 있다. 상기 인지된 랜드마크는 상기 약도(sparse map) 내에서 킬로미터 당 1 이하의 비율로 서로 떨어져 있을 수 있다. 상기 인지된 랜드마크는 상기 약도(sparse map) 내에서 100미터 당 1 이하의 비율로 서로 떨어져 있을 수 있다. 상기 약도(sparse map)의 데이터 밀도는 킬로미터 당 100킬로바이트 이하일 수 있다. 상기 약도(sparse map)의 데이터 밀도는 킬로미터 당 10킬로바이트 이하일 수 있다.
일부 실시예에서, 도로 구간을 따라 차량의 약도(sparse map) 자율 주행을 위한 방법은 데이터 밀도가 킬로미터 당 1메가바이트 이하인 상기 도로 구간의 약도(sparse map)를 수신하는 단계, 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하는 단계, 상기 약도(sparse map)와 상기 카메라로부터 수신한 상기 적어도 하나의 영상을 분석하는 단계, 상기 약도(sparse map)와 상기 카메라로부터 수신한 상기 적어도 하나의 영상의 분석에만 근거하여 상기 차량의 자율주행반응을 결정하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 약도(sparse map)는 상기 도로 구간을 따라 가는 목표 궤적의 다항식 표현을 포함할 수 있다. 상기 약도(sparse map)는 하나 또는 그 이상의 인지된 랜드마크를 포함할 수 있다. 상기 인지된 랜드마크는 상기 약도(sparse map) 내에서 킬로미터 당 0.5 이하의 비율로 서로 떨어져 있을 수 있다. 상기 인지된 랜드마크는 상기 약도(sparse map) 내에서 킬로미터 당 1 이하의 비율로 서로 떨어져 있을 수 있다. 상기 인지된 랜드마크는 상기 약도(sparse map) 내에서 100미터 당 1 이하의 비율로 서로 떨어져 있을 수 있다. 상기 약도(sparse map)의 데이터 밀도는 킬로미터 당 100킬로바이트 이하일 수 있다. 상기 약도(sparse map)의 데이터 밀도는 킬로미터 당 10킬로바이트 이하일 수 있다.
일부 실시예에서, 비일시적 컴퓨터 가독 매체는 적어도 하나의 프로세서가, 도로 구간의 약도(sparse map)를 수신하는 것을 포함할 수 있는, 도로 구간을 따라 차량의 약도(sparse map) 자율 주행을 수행하도록 유발하는 명령을 저장할 수 있다. 상기 명령은 상기 프로세서로 하여금 데이터 밀도가 킬로미터 당 1메가바이트 이하인 상기 도로 구간의 약도(sparse map)를 수신하는 단계, 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하는 단계, 상기 약도(sparse map)와 상기 카메라로부터 수신한 상기 적어도 하나의 영상을 분석하는 단계, 상기 약도(sparse map)와 상기 카메라로부터 수신한 상기 적어도 하나의 영상의 분석에만 근거하여 상기 차량의 자율주행반응을 결정하는 단계를 수행하도록 할 수 있다.
상기 비일시적 컴퓨터 가독 매체의 일부 실시예에서, 상기 약도(sparse map)는 상기 도로 구간을 따라 가는 목표 궤적의 다항식 표현을 포함할 수 있다. 상기 약도(sparse map)는 하나 또는 그 이상의 인지된 랜드마크를 포함할 수 있다. 상기 인지된 랜드마크는 상기 약도(sparse map) 내에서 킬로미터 당 0.5 이하의 비율로 서로 떨어져 있을 수 있다.
일부 실시예에서, 미리 정해진 랜드마크 위치에 근거하여 도로 구간을 따라 차량을 자율 주행하기 위한 시스템은 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하고, 적어도 부분적으로는 상기 적어도 하나의 영상에 관한 정보에 근거하여 상기 도로 구간과 연관된 미리 정해진 도로 모델 궤적을 따라 가는 상기 차량의 위치를 판단하고, 상기 판단된 위치에 근거하여 상기 차량의 전방에서 상기 카메라의 가시거리 밖에 있는 인지된 랜드마크를 식별하고, 상기 차량의 상기 판단된 위치와 상기 인지된 랜드마크의 미리 정해진 위치를 비교하여 상기 차량과 상기 인지된 랜드마크 사이의 현재 거리를 판단하고, 상기 판단된 현재 거리에 근거하여 상기 차량의 자율주행반응을 결정하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 인지된 랜드마크의 상기 미리 정해진 위치는 상기 인지된 랜드마크와 관련하여 확보된 복수의 위치 측정치의 평균으로 판단될 수 있고, 상기 복수의 위치 측정치는 적어도 하나의 주변환경 영상의 확보, 상기 적어도 하나의 주변환경 영상의 분석을 통하여 상기 주변환경에서의 상기 인지된 랜드마크의 식별, GPS 데이터의 수신, 상기 적어도 하나의 주변환경 영상의 분석을 통하여 상기 차량에 대한 상기 인지된 랜드마크의 상대적 위치의 판단, 및 적어도 상기 GPS 데이터 및 상기 판단된 상대적 위치에 근거한 상기 인지된 랜드마크의 글로벌 인식 위치의 판단에 근거하여 판단된다. 상기 자율주행반응은 상기 차량과 연계된 브레이크의 적용을 포함할 수 있다. 상기 자율주행반응은 상기 차량의 조향각을 변경하는 것을 포함할 수 있다. 상기 인지된 랜드마크는 상기 도로 구간을 따라 있는 정지선, 신호등, 일시정지표지판, 또는 커브를 포함할 수 있다. 상기 카메라는 상기 차량에 포함될 수 있다.
일부 실시예에서, 미리 정해진 랜드마크 위치에 근거하여 도로 구간을 따라 차량을 자율 주행하기 위한 방법은 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하는 단계, 적어도 부분적으로는 상기 적어도 하나의 영상에 관한 정보에 근거하여 상기 도로 구간과 연관된 미리 정해진 도로 모델 궤적을 따라 가는 상기 차량의 위치를 판단하는 단계, 상기 판단된 위치에 근거하여 상기 차량의 전방에서 상기 카메라의 가시거리 밖에 있는 인지된 랜드마크를 식별하는 단계, 상기 차량의 상기 판단된 위치와 상기 인지된 랜드마크의 미리 정해진 위치를 비교하여 상기 차량과 상기 인지된 랜드마크 사이의 현재 거리를 판단하는 단계, 및 상기 판단된 현재 거리에 근거하여 상기 차량의 자율주행반응을 결정하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 인지된 랜드마크의 상기 미리 정해진 위치는 상기 인지된 랜드마크와 관련하여 확보된 복수의 위치 측정치의 평균으로 판단될 수 있고, 상기 복수의 위치 측정치는 적어도 하나의 주변환경 영상의 확보, 상기 적어도 하나의 주변환경 영상의 분석을 통하여 상기 주변환경에서의 상기 인지된 랜드마크의 식별, GPS 데이터의 수신, 상기 적어도 하나의 주변환경 영상의 분석을 통하여 상기 차량에 대한 상기 인지된 랜드마크의 상대적 위치의 판단, 및 적어도 상기 GPS 데이터 및 상기 판단된 상대적 위치에 근거한 상기 인지된 랜드마크의 글로벌 인식 위치의 판단에 근거하여 판단된다. 상기 자율주행반응은 상기 차량과 연계된 브레이크의 적용을 포함할 수 있다. 상기 자율주행반응은 상기 차량의 조향각을 변경하는 것을 포함할 수 있다. 상기 인지된 랜드마크는 상기 도로 구간을 따라 있는 정지선, 신호등, 일시정지표지판, 또는 커브를 포함할 수 있다. 상기 카메라는 상기 차량에 포함될 수 있다.
일부 실시예에서, 비일시적 컴퓨터 가독 매체는 적어도 하나의 프로세서가 도로 구간을 따라 차량의 자율 주행을 수행하도록 유발하는 명령을 저장할 수 있다. 상기 명령은 상기 프로세서로 하여금 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하는 단계, 적어도 부분적으로는 상기 적어도 하나의 영상에 관한 정보에 근거하여 상기 도로 구간과 연관된 미리 정해진 도로 모델 궤적을 따라 가는 상기 차량의 위치를 판단하는 단계, 상기 판단된 위치에 근거하여 상기 차량의 전방에서 상기 카메라의 가시거리 밖에 있는 인지된 랜드마크를 식별하는 단계, 상기 차량의 상기 판단된 위치와 상기 인지된 랜드마크의 미리 정해진 위치를 비교하여 상기 차량과 상기 인지된 랜드마크 사이의 현재 거리를 판단하는 단계, 및 상기 판단된 현재 거리에 근거하여 상기 차량의 자율주행반응을 결정하는 단계를 수행하도록 할 수 있다.
상기 비일시적 컴퓨터 가독 매체의 일부 실시예에서, 상기 자율주행반응은 상기 차량과 연계된 브레이크의 적용을 포함할 수 있다. 상기 자율주행반응은 상기 차량의 조향각을 변경하는 것을 포함할 수 있다. 상기 인지된 랜드마크는 상기 도로 구간을 따라 있는 정지선, 신호등, 일시정지표지판, 또는 커브를 포함할 수 있다. 상기 카메라는 상기 차량에 포함될 수 있다.
일부 실시예에서, 도로 구간을 따라 차량을 자율 주행하기 위한 시스템은 적어도 하나의 센서로부터 상기 도로 구간의 하나 또는 그 이상의 양상에 관한 정보를 수신하고, 상기 수신된 정보에 근거하여 상기 도로 구간의 로컬 특징을 판단하고, 상기 로컬 특징을 상기 도로 구간에 대한 미리 정해진 특징과 비교하고, 상기 로컬 특징과 상기 미리 정해진 특징의 비교에 근거하여 상기 도로 구간과 연관된 미리 정해진 도로 모델 궤적을 따라 상기 차량의 현재 위치를 판단하고, 상기 판단된 위치에서의 상기 미리 정해진 도로 모델 궤적의 방향에 근거하여 상기 차량의 자율 조향 동작을 결정하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 적어도 하나의 프로세서는 상기 현재 위치에서의 상기 차량의 진행 방향을 결정하고, 상기 미리 정해진 도로 모델 궤적의 상기 방향과 상기 진행 방향을 비교하여 상기 자율 조향 동작을 결정하도록 더 프로그램 될 수 있다. 상기 진행 방향은 상기 차량의 운행한 궤적에 근거하여 결정될 수 있다. 상기 적어도 하나의 센서는 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 확보하도록 구성된 이미지캡처장치를 포함할 수 있다. 상기 특징은 상기 도로 구간의 적어도 일부의 도로폭 프로필을 포함할 수 있다. 상기 특징은 상기 도로 구간의 적어도 일부의 차선폭 프로필을 포함할 수 있다. 상기 특징은 상기 도로 구간의 적어도 일부의 파선 간격 프로필을 포함할 수 있다. 상기 특징은 상기 도로 구간의 적어도 일부의 미리 정해진 수의 노면 표시를 포함할 수 있다. 상기 특징은 상기 도로 구간의 적어도 일부의 노면 프로필을 포함할 수 있다. 상기 특징은 상기 도로 구간과 구간과 연계된 미리 정해진 곡률을 포함할 수 있다. 상기 차량의 상기 현재 위치의 판단은 상기 미리 정해진 도로 모델 궤적의 곡률을 나타내는 제1 파라미터값과 상기 차량의 측정된 궤적의 곡률을 나타내는 제2 파라미터값의 비교를 포함할 수 있다. 상기 적어도 하나의 센서는 서스펜션 컴포넌트 모니터를 포함할 수 있다.
일부 실시예에서, 차량은 차체; 상기 도로 구간의 하나 또는 그 이상의 양상과 연관된 정보를 확보하도록 구성된 적어도 하나의 센서; 및 상기 적어도 하나의 센서로부터 수신된 정보에 근거하여 상기 도로 구간의 로컬 특징을 판단하고, 상기 로컬 특징을 상기 도로 구간에 대한 미리 정해진 특징과 비교하고, 상기 로컬 특징과 상기 미리 정해진 특징의 비교에 근거하여 상기 도로 구간과 연관된 미리 정해진 도로 모델 궤적을 따라 상기 차량의 현재 위치를 판단하고, 상기 판단된 위치에서의 상기 미리 정해진 도로 모델 궤적의 방향에 근거하여 상기 차량의 자율 조향 동작을 결정하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 차량의 일부 실시예에서, 상기 특징은 상기 도로 구간의 적어도 일부의 도로폭 프로필, 상기 도로 구간의 적어도 일부의 차선폭 프로필, 상기 도로 구간의 적어도 일부의 파선 간격 프로필, 상기 도로 구간의 적어도 일부의 미리 정해진 수의 노면 표시, 상기 도로 구간의 적어도 일부의 노면 프로필, 및 상기 도로 구간과 구간과 연계된 미리 정해진 곡률의 적어도 하나를 포함할 수 있다. 상기 차량은 서스펜션 컴포넌트 모니터를 포함할 수 있고, 상기 프로세서는 상기 서스펜션 컴포넌트 모니터로부터의 신호에 근거하여 상기 로컬 특징을 판단하도록 더 프로그램될 수 있다. 상기 프로세서는 상기 차량의 진행 방향을 결정하고, 상기 현재 위치에서의 상기 미리 정해진 도로 모델 궤적의 방향을 판단하고, 상기 방향과 상기 진행 방향을 비교하여 상기 자율 조향 동작을 결정하도록 더 프로그램될 수 있다.
일부 실시예에서, 차량을 주행하는 방법은 적어도 하나의 센서로부터 상기 도로 구간의 하나 또는 그 이상의 양상에 관한 정보를 수신하는 단계, 상기 적어도 하나의 센서로부터 수신된 정보에 근거하여 적어도 하나의 프로세서를 사용하여 상기 도로 구간의 로컬 특징을 판단하는 단계, 상기 로컬 특징을 상기 도로 구간에 대한 미리 정해진 특징과 비교하는 단계, 상기 로컬 특징과 상기 미리 정해진 특징의 비교에 근거하여 상기 도로 구간과 연관된 미리 정해진 도로 모델 궤적을 따라 상기 차량의 현재 위치를 판단하는 단계, 상기 판단된 위치에서의 상기 미리 정해진 도로 모델 궤적의 방향에 근거하여 상기 차량의 자율 조향 동작을 결정하는 단계를 포함할 수 있다.
일부 실시예에서, 상기 방법은 상기 현재 위치에서의 상기 차량의 진행 방향을 결정하는 단계, 상기 현재 위치에서의 상기 미리 정해진 도로 모델 궤적의 상기 방향을 판단하는 단계, 및 상기 미리 정해진 도로 모델 궤적의 상기 방향과 상기 진행 방향을 비교하여 상기 자율 조향 동작을 결정하는 단계를 포함할 수 있다. 상기 로컬 특징은 상기 도로 구간의 적어도 일부의 도로폭 프로필, 상기 도로 구간의 적어도 일부의 차선폭 프로필, 상기 도로 구간의 적어도 일부의 파선 간격 프로필, 상기 도로 구간의 적어도 일부의 미리 정해진 수의 노면 표시, 상기 도로 구간의 적어도 일부의 노면 프로필, 및 상기 도로 구간과 구간과 연계된 미리 정해진 곡률의 적어도 하나를 포함할 수 있다. 상기 방법은 서스펜션 컴포넌트 모니터를 사용하여 노면 프로필을 판단하는 단계, 상기 노면 프로필과 미리 정해진 노면 프로필을 비교하는 단계, 및 상기 노면 프로필과 상기 미리 정해진 노면 프로필의 비교에 근거하여 상기 현재 위치를 판단하는 단계를 포함할 수 있다.
일부 실시예에서, 차량을 자율 주행하기 위한 시스템은 후방 카메라로부터 상기 차량의 후방의 영역을 나타내는 적어도 하나의 영상을 수신하고, 상기 적어도 하나의 후방 영상을 분석하여 상기 영상 내에서 적어도 하나의 랜드마크의 표현의 위치를 파악하고, 상기 차량에 대한 상기 랜드마크의 적어도 하나의 위치 지시자를 판단하고, 적어도 부분적으로는 상기 차량에 대한 상기 랜드마크의 상기 위치 지시자에 근거하여 상기 차량의 전방 궤적을 판단하고, 상기 차량이 상기 판단된 전방 궤적을 따라 주행하게 유발하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 위치 지시자는 상기 차량과 상기 랜드마크 사이의 거리를 포함할 수 있다. 상기 위치 지시자는 상기 차량과 상기 랜드마크 사이의 상대각을 포함할 수 있다. 상기 랜드마크는 도로 가장자리, 차선 표시, 반사경, 기둥, 도로 상의 차선 패턴 변경, 또는 도로표지판을 포함할 수 있다. 상기 랜드마크는 도로표지판의 후면을 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 랜드마크의 상기 위치 지시자에 근거하여 현재 운행 차선 이내에서의 상기 차량의 차선 오프센 양을 판단하도록 더 프로그램될 수 있고, 상기 전방 궤적의 판단은 상기 판단된 차선 오프셋 양에 더 근거한다. 상기적어도 하나의 프로세서는 다른 카메라로부터 상기 차량의 다른 영역을 나타내는 적어도 하나의 영상을 수신하도록 더 프로그램될 수 있고, 상기 전방 궤적의 판단은 상기 다른 카메라로부터 수신된 상기 적어도 하나의 영상에 더 근거한다.
일부 실시예에서, 차량을 자율 주행하는 방법은 후방 카메라로부터 상기 차량의 후방의 영역을 나타내는 적어도 하나의 영상을 수신하는 단계, 상기 적어도 하나의 후방 영상을 분석하여 상기 영상 내에서 적어도 하나의 랜드마크의 표현의 위치를 파악하는 단계, 상기 차량에 대한 상기 랜드마크의 적어도 하나의 위치 지시자를 판단하는 단계, 적어도 부분적으로는 상기 차량에 대한 상기 랜드마크의 상기 위치 지시자에 근거하여 상기 차량의 전방 궤적을 판단하는 단계, 및 상기 차량이 상기 판단된 전방 궤적을 따라 주행하게 유발하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 위치 지시자는 상기 차량과 상기 랜드마크 사이의 거리를 포함할 수 있다. 상기 위치 지시자는 상기 차량과 상기 랜드마크 사이의 상대각을 포함할 수 있다. 상기 랜드마크는 도로 가장자리, 차선 표시, 반사경, 기둥, 도로 상의 차선 패턴 변경, 또는 도로표지판을 포함할 수 있다. 상기 랜드마크는 도로표지판의 후면을 포함할 수 있다. 상기 방법은 상기 랜드마크의 상기 위치 지시자에 근거하여 현재 운행 차선 이내에서의 상기 차량의 차선 오프센 양을 판단하는 단계를 포함할 수 있고, 상기 전방 궤적의 판단은 상기 판단된 차선 오프셋 양에 더 근거할 수 있다.
일부 실시예에서, 차량은 차체; 후방 카메라; 및 상기 후방 카메라를 연결하는 후방 카메라 인터페이스를 통하여 상기 차량의 후방의 영역을 나타내는 적어도 하나의 영상을 수신하고, 상기 적어도 하나의 후방 영상을 분석하여 상기 영상 내에서 적어도 하나의 랜드마크의 표현의 위치를 파악하고, 상기 차량에 대한 상기 랜드마크의 적어도 하나의 위치 지시자를 판단하고, 적어도 부분적으로는 상기 차량에 대한 상기 랜드마크의 상기 위치 지시자에 근거하여 상기 차량의 전방 궤적을 판단하고, 상기 차량이 상기 판단된 전방 궤적을 따라 주행하게 유발하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 차량의 일부 실시예에서, 상기 후방 카메라는 상기 차량에 연결된 물체 상에 탑재될 수 있다. 상기 물체는, 트레일러, 자전거 캐리어, 스키/스노보드 캐리어, 장착 베이스, 또는 루프탑랙(luggage carrier)일 수 있다. 상기 후방 카메라 인터페이스는 무선 인터페이스를 포함할 수 있다.
일부 실시예에서, 차량이 운행할 수 있는 빈 공간 구역을 판단하여 차량을 주행하기 위한 시스템은, 이미지캡처장치로부터 차량의 주변환경과 관련된 복수의 영상을 수신하고; 상기 복수의 영상의 적어도 하나를 분석하여 상기 차량의 운전자 측에 있고 상기 차량의 전방으로 연장되는 제1 빈 공간 경계, 상기 차량의 동승자 측에 있고 상기 차량의 전방으로 연장되는 제2 빈 공간 경계, 및 상기 차량의 전방에 있고 상기 제1 빈 공간 경계와 상기 제2 빈 공간 경계를 연결하는 전방 빈 공간 경계―여기서 제1 빈 공간 경계, 제2 빈 공간 경계, 및 전방 빈 공간 경계는 상기 차량 전방의 빈 공간 구역을 정의함―를 식별하고; 상기 빈 공간 구역을 통한 상기 차량의 주행 경로를 결정하고; 상기 차량이 상기 차량 전방의 상기 빈 공간 구역 이내의 상기 판단된 주행 경로의 적어도 일부를 운행하게 유발하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 제1 빈 공간 경계는 도로 가장자리, 도로 경계석, 장벽, 차선 분리 구조물, 주차한 차, 터널 벽, 및 교량 구조물의 적어도 하나에 상응할 수 있다. 상기 제2 빈 공간 경계는 도로 가장자리, 도로 경계석, 장벽, 차선 분리 구조물, 주차한 차, 터널 벽, 및 교량 구조물의 적어도 하나에 상응할 수 있다. 상기 전방 빈 공간 경계는 도로 지평선에 상응할 수 있다. 상기 적어도 하나의 프로세서는 상기 적어도 하나의 복수의 영상의 분석에 근거하여 상기 차량 전방의 장애물을 식별하고 상기 식별된 장애물을 상기 차량 전방의 상기 빈 공간 구역에서 제외시키도록 더 프로그램될 수 있다. 상기 장애물은 보행자를 포함할 수 있다. 상기 장애물은 다른 차량을 포함할 수 있다. 상기 장애물은 잔해를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 적어도 하나의 복수의 영상의 분석에 근거하여 상기 차량 전방의 장애물을 식별하고 상기 식별된 장애물을 둘러싼 구역을 상기 차량 전방의 상기 빈 공간 구역에서 제외시키도록 더 프로그램될 수 있다. 상기 적어도 하나의 프로세서는 상기 차량의 속력, 상기 장애물의 유형, 상기 이미지캡처장치의 이미지 캡처 속도, 및 상기 장애물의 이동 속력 중의 하나 또는 그 이상에 근거하여 상기 식별된 장애물을 둘러싼 상기 구역을 판단하도록 더 프로그램 될 수 있다.
일부 실시예에서, 차량은 운전자측과 동승자측을 포함하는 차체; 이미지캡처장치; 및 상기 이미지캡처장치로부터 차량의 주변환경과 관련된 복수의 영상을 수신하고, 상기 복수의 영상의 적어도 하나를 분석하여 상기 차량의 운전자 측에 있고 상기 차량의 전방으로 연장되는 제1 빈 공간 경계, 상기 차량의 동승자 측에 있고 상기 차량의 전방으로 연장되는 제2 빈 공간 경계, 및 상기 차량의 전방에 있고 상기 제1 빈 공간 경계와 상기 제2 빈 공간 경계를 연결하는 전방 빈 공간 경계―여기서 제1 빈 공간 경계, 제2 빈 공간 경계, 및 전방 빈 공간 경계는 상기 차량 전방의 빈 공간 구역을 정의함―를 식별하고, 상기 빈 공간 구역을 통한 상기 차량의 주행 경로를 결정하고, 상기 차량이 상기 차량 전방의 상기 빈 공간 구역 이내의 상기 판단된 주행 경로의 적어도 일부를 운행하게 유발하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
일부 실시예에서, 차량이 운행할 수 있는 빈 공간 구역을 판단하여 차량을 주행하는 방법은, 이미지캡처장치로부터 차량의 주변환경과 관련된 복수의 영상을 수신하는 단계; 상기 복수의 영상의 적어도 하나를 분석하여 상기 차량의 운전자 측에 있고 상기 차량의 전방으로 연장되는 제1 빈 공간 경계, 상기 차량의 동승자 측에 있고 상기 차량의 전방으로 연장되는 제2 빈 공간 경계, 및 상기 차량의 전방에 있고 상기 제1 빈 공간 경계와 상기 제2 빈 공간 경계를 연결하는 전방 빈 공간 경계―여기서 제1 빈 공간 경계, 제2 빈 공간 경계, 및 전방 빈 공간 경계는 상기 차량 전방의 빈 공간 구역을 정의함―를 식별하는 단계; 상기 빈 공간 구역을 통한 상기 차량의 주행 경로를 결정하는 단계; 상기 차량이 상기 차량 전방의 상기 빈 공간 구역 이내의 상기 판단된 주행 경로의 적어도 일부를 운행하게 유발하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 제1 빈 공간 경계는 도로 가장자리, 도로 경계석, 장벽, 차선 분리 구조물, 주차한 차, 터널 벽, 및 교량 구조물의 적어도 하나에 상응할 수 있다. 상기 제2 빈 공간 경계는 도로 가장자리, 도로 경계석, 장벽, 차선 분리 구조물, 주차한 차, 터널 벽, 및 교량 구조물의 적어도 하나에 상응할 수 있다. 상기 전방 빈 공간 경계는 도로 지평선에 상응할 수 있다. 상기 방법은 상기 적어도 하나의 복수의 영상의 분석에 근거하여 상기 차량 전방의 장애물을 식별하는 단계 및 상기 식별된 장애물을 상기 차량 전방의 상기 빈 공간 구역에서 제외시키는 단계를 포함할 수 있다. 상기 장애물은 보행자를 포함할 수 있다. 상기 장애물은 다른 차량을 포함할 수 있다. 상기 장애물은 잔해를 포함할 수 있다. 상기 방법은 상기 적어도 하나의 복수의 영상의 분석에 근거하여 상기 차량 전방의 장애물을 식별하는 단계 및 상기 식별된 장애물을 둘러싼 구역을 상기 차량 전방의 상기 빈 공간 구역에서 제외시키는 단계를 포함할 수 있다. 상기 방법은 상기 차량의 속력, 상기 장애물의 유형, 상기 이미지캡처장치의 이미지 캡처 속도, 및 상기 장애물의 이동 속력 중의 하나 또는 그 이상에 근거하여 상기 식별된 장애물을 둘러싼 상기 구역을 판단하는 단계를 포함할 수 있다.
일부 실시예에서, 적어도 일부 차선 표시와 도로 가장자리에 눈이 덮인 도로 상에서 차량을 주행하기 위한 시스템은 이미지캡처장치로부터 적어도 일부 차선 표시와 도로 가장자리에 눈이 덮인 영역을 포함하는 상기 차량 전방의 적어도 하나의 주변환경 영상을 수신하고, 상기 적어도 하나의 영상의 분석에 근거하여 상기 도로의 눈이 덮인 적어도 일부와 상기 도로의 눈이 덮인 상기 적어도 일부의 경계를 이루는 도로 가장자리의 개연성이 있는 위치를 식별하고, 상기 차량이 상기 식별된 도로의 일부를 포함하고 상기 판단된 도로 가장자리의 개연성이 있는 위치 이내에 있는 주행 경로를 주행하게 유발하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 적어도 하나의 영상의 상기 분석은 눈길에서 적어도 하나의 타이어 자국을 식별하는 것을 포함할 수 있다. 상기 적어도 하나의 영상의 상기 분석은 눈 표면에 걸친 빛의 변화를 식별하는 것을 포함할 수 있다. 상기 적어도 하나의 영상의 상기 분석은 상기 도로의 가장자리를 따라 복수의 나무를 식별하는 것을 포함할 수 있다. 상기 적어도 하나의 영상의 상기 분석은 눈 표면의 곡률의 변화를 인지하는 것을 포함할 수 있다. 상기 인지된 곡률의 변화는 도로 가장자리의 개연성이 있는 위치에 상응하는 것으로 판단될 수 있다. 상기 적어도 하나의 영상의 상기 분석은 상기 적어도 하나의 영상의 픽셀 분석을 포함할 수 있으며, 적어도 일부 차선 표시와 도로 가장자리를 덮고있는 눈의 표면과 연관된 특징을 판단하기 위하여 적어도 제1 픽셀이 적어도 제2 픽셀과 비교된다. 상기 특징은 타이어 자국의 가장자리에 상응할 수 있다. 상기 특징은 상기 도로의 가장자리에 상응할 수 있다. 상기 적어도 하나의 프로세서는 상기 차량이 상기 도로의 판단된 가장자리 사이를 주행하게 유발하도록 더 프로그램될 수 있다. 상기 적어도 하나의 프로세서는 상기 차량이 적어도 부분적으로는 눈길의 타이어 자국을 따라 주행하게 유발하도록 더 프로그램될 수 있다.
일부 실시예에서, 적어도 일부 차선 표시와 도로 가장자리에 눈이 덮인 도로 상에서 차량을 주행하는 방법은 이미지캡처장치로부터 적어도 일부 차선 표시와 도로 가장자리에 눈이 덮인 영역을 포함하는 상기 차량 전방의 적어도 하나의 주변환경 영상을 수신하는 단계, 상기 적어도 하나의 영상의 분석에 근거하여 상기 도로의 눈이 덮인 적어도 일부와 상기 도로의 눈이 덮인 상기 적어도 일부의 경계를 이루는 도로 가장자리의 개연성이 있는 위치를 식별하는 단계, 상기 차량이 상기 식별된 도로의 일부를 포함하고 상기 판단된 도로 가장자리의 개연성이 있는 위치 이내에 있는 주행 경로를 주행하게 유발하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 적어도 하나의 영상의 상기 분석은 눈길에서 적어도 하나의 타이어 자국을 식별하는 것을 포함할 수 있다. 상기 적어도 하나의 영상의 상기 분석은 눈 표면에 걸친 빛의 변화를 식별하는 것을 포함할 수 있다. 상기 적어도 하나의 영상의 상기 분석은 상기 도로의 가장자리를 따라 복수의 나무를 식별하는 것을 포함할 수 있다. 상기 적어도 하나의 영상의 상기 분석은 눈 표면의 곡률의 변화를 인지하는 것을 포함할 수 있다. 상기 인지된 곡률의 변화는 도로 가장자리의 개연성이 있는 위치에 상응하는 것으로 판단될 수 있다. 상기 적어도 하나의 영상의 상기 분석은 상기 적어도 하나의 영상의 픽셀 분석을 포함할 수 있으며, 적어도 일부 차선 표시와 도로 가장자리를 덮고있는 눈의 표면과 연관된 특징을 판단하기 위하여 적어도 제1 픽셀이 적어도 제2 픽셀과 비교된다. 상기 특징은 타이어 자국의 가장자리에 상응할 수 있다. 상기 특징은 상기 도로의 가장자리에 상응할 수 있다. 상기 방법은 상기 차량이 상기 도로의 판단된 가장자리 사이를 주행하게 유발하는 단계를 포함할 수 있다. 상기 방법은 상기 차량이 적어도 부분적으로는 눈길의 타이어 자국을 따라 주행하게 유발하는 단계를 포함할 수 있다.
일부 실시예에서, 적어도 부분적으로 눈에 덮인 도로 상에서 차량을 주행하기 위한 시스템은 이미지캡처장치로부터 상기 차량이 운행하는 도로의 눈 덮인 영역을 포함하는 상기 차량 전방의 주변환경의 복수의 영상을 수신하고, 상기 복수의 영상의 적어도 하나를 분석하여 상기 차량의 운전자측에 있고 상기 차량 전방으로 연장하는 제1 빈 공간 경계와 상기 차량의 동승자측에 있고 상기 차량 전방으로 연장하는 제2 빈 공간 경계와 상기 차량의 전방에 있고 상기 제1 빈 공간 경과와 상기 제2 빈 공간 경계 사이를 연장하는 전방 빈 공간 경계를 식별―여기서, 제1 빈 공간 경계, 제2 빈 공간 경계, 및 전방 빈 공간 경계는 상기 차량 전방의 빈 공간 구역을 정의함―하고, 상기 차량이 상기 빈 공간 구역을 통해 주행할 제1 제안 주행 경로를 판단하고, 상기 복수의 영상의 적어도 하나를 신경망에 제공하고 상기 신경망에 의한 상기 복수의 영상의 적어도 하나의 분석에 근거하여 상기 신경망으로부터 제2 제안 주행 경로를 수신하고, 상기 제1 제안 주행 경로가 상기 제2 제안 주행 경로와 일치하는지 여부를 판단하고, 상기 제1 제안 주행 경로가 상기 제2 제안 주행 경로와 일치하는 것으로 판단되는 경우 상기 차량이 상기 제1 제안 주행 경로의 적어도 일부 상에서 운행하게 유발하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
일부 실시예에서, 자율주행차의 속력 지시자를 교정하기 위한 시스템은 카메라로부터 상기 차량의 주변환경을 나타내는 복수의 영상을 수신하고, 상기 복수의 영상을 분석하여 적어도 두 개의 인지된 랜드마크를 식별하고, 상기 두 개의 인지된 랜드마크의 알려진 위치에 근거하여 상기 두 개의 인지된 랜드마크 사이의 거리를 나타내는 값을 판단하고, 상기 자율주행차와 연계된 적어도 하나의 센서의 출력에 근거하여 상기 두 개의 랜드마크 사이의 측정 거리를 판단하고, 상기 적어도 두 개의 인지된 랜드마크 사이의 상기 거리를 나타내는 상기 값과 상기 적어도 두 개의 랜드마크 사이의 상기 측정 거리의 비교에 근거하여 상기 적어도 하나의 센서의 수정 계수를 판단하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 수정 계수는 상기 수정 계수에 의해 상기 도로 구간을 따라 가는 상기 판단된 거리 상의 동작이 무선 송수신기를 통해 수신한 상기 거리값과 일치하도록 판단될 수 있다. 상기 두 개의 인지된 랜드마크는 교통표지판, 화살 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 및 가로등 중의 하나 또는 그 이상을 포함할 수 있다. 상기 적어도 하나의 센서는 상기 차량과 연계된 속도계를 포함할 수 있다. 상기 두 개의 인지된 랜드마크의 상기 알려진 위치는 상기 차량에 대해 원격으로 위치한 서버 기반 시스템으로부터 수신될 수 있다. 상기 알려진 위치 각각은 복수의 GPS 기반 측정에 근거하여 판단된 정제된 위치를 구성할 수 있다.
일부 실시예에서, 자율주행차의 속력 지시자를 교정하기 위한 시스템은 상기 자율주행차와 연계된 적어도 하나의 센서의 출력에 근거하여 도로 구간을 따라 가는 거리를 판단하고, 무선 송수신기를 통하여 상기 도로 구간과 연계된 거리값을 수신하고, 상기 도로 구간을 따라 가는 상기 판단된 거리와 상기 무선 송수신기를 통해 수신된 상기 거리값에 근거하여 상기 적어도 하나의 센서의 수정 계수를 판단하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 무선 송수신기를 통해 수신한 상기 도로 구간과 연계된 상기 거리값은 복수의 측정 차량이 수행한 이전 측정에 근거하여 판단될 수 있다. 상기 복수의 측정 차량은 적어도 100대의 측정 차량을 포함할 수 있다. 상기 복수의 측정 차량은 적어도 1000대의 측정 차량을 포함할 수 있다. 상기 수정 계수는 상기 수정 계수에 의해 상기 도로 구간을 따라 가는 상기 판단된 거리 상의 동작이 상기 무선 송수신기를 통해 수신한 상기 거리값과 일치하도록 판단될 수 있다. 상기 적어도 하나의 프로세서는 복수의 판단된 수정 계수에 근거하여 종합 수정 계수를 판단하도록 프로그램될 수 있다. 상기 종합 수정 계수는 상기 복수의 판단된 수정 계수의 평균(average)을 구하여 판단될 수 있다. 상기 종합 수정 계수는 상기 복수의 판단된 수정 계수의 평균(mean)을 구하여 판단될 수 있다.
일부 실시예에서, 차량은 차체; 카메라; 및 상기 카메라로부터 상기 차량의 주변환경을 나타내는 복수의 영상을 수신하고, 상기 복수의 영상을 분석하여 적어도 두 개의 인지된 랜드마크를 식별하고, 상기 두 개의 인지된 랜드마크의 알려진 위치에 근거하여 상기 두 개의 인지된 랜드마크 사이의 거리를 나타내는 값을 판단하고, 상기 자율주행차와 연계된 적어도 하나의 센서의 출력에 근거하여 상기 두 개의 랜드마크 사이의 측정 거리를 판단하고, 상기 적어도 두 개의 인지된 랜드마크 사이의 상기 거리를 나타내는 상기 값과 상기 적어도 두 개의 랜드마크 사이의 상기 측정 거리의 비교에 근거하여 상기 적어도 하나의 센서의 수정 계수를 판단하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 차량의 일부 실시예에서, 상기 적어도 하나의 센서는 상기 차량과 연계된 속도계를 포함할 수 있다. 상기 두 개의 인지된 랜드마크는 교통표지판, 화살 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 및 가로등 중의 하나 또는 그 이상을 포함할 수 있다. 상기 두 개의 인지된 랜드마크의 상기 알려진 위치는 상기 차량에 대해 원격으로 위치한 서버 기반 시스템으로부터 수신될 수 있다.
일부 실시예에서, 도로 구간을 따라 자율주행차의 차선 배정을 결정하기 위한 시스템은 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하고, 상기 적어도 하나의 영상을 분석하여 적어도 하나의 인지된 랜드마크를 식별하고, 상기 차량과 상기 적어도 하나의 인지된 랜드마크 사이의 횡적 오프셋 거리의 지시자를 판단하고, 상기 차량과 상기 적어도 하나의 인지된 랜드마크 사이의 상기 횡적 오프셋 거리의 상기 지시자에 근거하여 상기 도로 구간을 따라 상기 차량의 차선 배정을 결정하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 차량의 상기 주변환경은 상기 도로 구간, 여러 차선, 및 상기 적어도 하나의 인지된 랜드마크를 포함할 수 있다. 상기 적어도 하나의 인지된 랜드마크는 교통표지판, 화살 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 및 가로등 중의 적어도 하나를 포함할 수 있다. 상기 적어도 하나의 인지된 랜드마크는 상업용 표지판을 포함할 수 있다. 상기 차량과 상기 적어도 하나의 인지된 랜드마크 사이의 상기 횡적 오프셋 거리는 상기 차량과 상기 도로 구간의 제1측 사이의 제1 거리와 상기 도로의 상기 제1측과 상기 적어도 하나의 인지된 랜드마크 사이의 제2 거리의 합일 수 있다. 상기 차량과 상기 적어도 하나의 인지된 랜드마크 사이의 상기 횡적 오프셋 거리의 상기 지시자의 판단은 상기 적어도 하나의 인지된 랜드마크의 미리 정해진 위치에 근거할 수 있다. 상기 차량과 상기 적어도 하나의 인지된 랜드마크 사이의 상기 횡적 오프셋 거리의 상기 지시자의 판단은 상기 적어도 하나의 영상의 축척에 근거할 수 있다. 상기 차선 배정의 결정은 상기 도로 구간의 폭, 상기 도로 구간의 차선 수, 및 차선 폭의 적어도 하나에 더 근거할 수 있다. 상기 차선 배정의 결정은 상기 도로 구간과 연계된 미리 정해진 도로 모델 궤적에 더 근거할 수 있다. 상기 적어도 하나의 인지된 랜드마크는 상기 차량의 제1측에 있는 제1 인지된 랜드마크와 상기 차량의 제2측에 있는 제2 인지된 랜드마크를 포함할 수 있고, 상기 도로 구간을 따라 가는 상기 차량의 상기 차선 배정의 결정은 상기 차량과 상기 제1 인지된 랜드마크 사이의 횡적 오프셋 거리의 제1 지시자와 상기 차량과 상기 제2 인지된 랜드마크 사이의 횡적 오프셋 거리의 제2 지시자에 근거한다.
일부 실시예에서, 도로 구간을 따라 자율주행차의 차선 배정을 결정하기 위한 컴퓨터 실행 방법은 하나 또는 그 이상의 프로세서에 의해 수행되는, 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하고, 상기 적어도 하나의 영상을 분석하여 적어도 하나의 인지된 랜드마크를 식별하고, 상기 차량과 상기 적어도 하나의 인지된 랜드마크 사이의 횡적 오프셋 거리의 지시자를 판단하고, 상기 차량과 상기 적어도 하나의 인지된 랜드마크 사이의 상기 횡적 오프셋 거리의 상기 지시자에 근거하여 상기 도로 구간을 따라 상기 차량의 차선 배정을 결정하는 연산을 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 적어도 하나의 인지된 랜드마크는 교통표지판, 화살 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 및 가로등 중의 적어도 하나를 포함할 수 있다. 상기 적어도 하나의 인지된 랜드마크는 상업용 표지판을 포함할 수 있다. 상기 차선 배정의 결정은 상기 도로 구간과 연계된 미리 정해진 도로 모델 궤적에 더 근거할 수 있다. 상기 적어도 하나의 인지된 랜드마크는 상기 차량의 제1측에 있는 제1 인지된 랜드마크와 상기 차량의 제2측에 있는 제2 인지된 랜드마크를 포함할 수 있고, 상기 도로 구간을 따라 가는 상기 차량의 상기 차선 배정의 결정은 상기 차량과 상기 제1 인지된 랜드마크 사이의 횡적 오프셋 거리의 제1 지시자와 상기 차량과 상기 제2 인지된 랜드마크 사이의 횡적 오프셋 거리의 제2 지시자에 근거한다.
일부 실시예에서, 컴퓨터 가독 저장 매체는 적어도 하나의 프로세서가 도로 구간을 따라 자율주행차의 차선 배정을 결정하기 위한 방법을 수행하도록 하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 일련의 명령을 포함할 수 있다. 상기 방법은 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하는 단계, 상기 적어도 하나의 영상을 분석하여 적어도 하나의 인지된 랜드마크를 식별하는 단계, 상기 차량과 상기 적어도 하나의 인지된 랜드마크 사이의 횡적 오프셋 거리의 지시자를 판단하는 단계, 상기 차량과 상기 적어도 하나의 인지된 랜드마크 사이의 상기 횡적 오프셋 거리의 상기 지시자에 근거하여 상기 도로 구간을 따라 상기 차량의 차선 배정을 결정하는 단계를 포함할 수 있다.
상기 컴퓨터 가독 저장 매체의 일부 실시예에서, 상기 적어도 하나의 인지된 랜드마크는 교통표지판, 화살 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 및 가로등 중의 적어도 하나를 포함할 수 있다. 상기 적어도 하나의 인지된 랜드마크는 상업용 표지판을 포함할 수 있다. 상기 차선 배정의 결정은 상기 도로 구간과 연계된 미리 정해진 도로 모델 궤적에 더 근거할 수 있다. 상기 적어도 하나의 인지된 랜드마크는 상기 차량의 제1측에 있는 제1 인지된 랜드마크와 상기 차량의 제2측에 있는 제2 인지된 랜드마크를 포함할 수 있고, 상기 도로 구간을 따라 가는 상기 차량의 상기 차선 배정의 결정은 상기 차량과 상기 제1 인지된 랜드마크 사이의 횡적 오프셋 거리의 제1 지시자와 상기 차량과 상기 제2 인지된 랜드마크 사이의 횡적 오프셋 거리의 제2 지시자에 근거한다.
일부 실시예에서, 도로 구간을 따라 차량을 자율 주행하기 위한 시스템은 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하고, 상기 적어도 하나의 영상을 분석하여 적어도 하나의 인지된 랜드마크를 식별―여기서 상기 적어도 하나의 인지된 랜드마크는 한 그룹의 인지된 랜드마크의 일부이고, 상기 적어도 하나의 인지된 랜드마크의 식별은 적어도 부분적으로는 상기 한 그룹의 인지된 랜트마크와 연관된 하나 또는 그 이상의 랜드마크 그룹 특징에 근거함―하고, 적어도 부분적으로는 상기 인지된 랜드마크의 미리 정해진 위치에 근거하여 상기 도로 구간과 연계된 미리 정해진 도로 모델 궤적에 대한 상기 차량의 현재 위치를 판단하고, 상기 미리 정해진 도로 모델 궤적에 대한 상기 차량의 상기 판단된 현재 위치에서의 상기 미리 정해진 도로 모델 궤적의 방향에 근거하여 상기 차량의 자율 조향 동작을 결정하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 적어도 하나의 인지된 랜드마크는 교통표지판, 화살 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 및 가로등 중의 적어도 하나를 포함할 수 있다. 상기 적어도 하나의 인지된 랜드마크는 상업용 표지판을 포함할 수 있다. 상기 미리 정해진 도로 모델 궤적은 상기 도로 구간을 따라 가는 목표 궤적의 3차원 다항식 표현을 포함할 수 있다. 상기 적어도 하나의 프로세서는 차량 속도에 근거하여 상기 정해진 도로 모델 궤적을 따라 가는 상기 차량의 현재 위치를 판단하도록 더 프로그램될 수 있다. 상기 하나 또는 그 이상의 랜드마크 그룹 특징은 상기 한 그룹의 인지된 랜드마크 내 랜드마크 간의 상대적 거리를 포함할 수 있다. 상기 하나 또는 그 이상의 랜드마크 그룹 특징은 상기 한 그룹의 인지된 랜드마크 내 랜드마크의 순서를 포함할 수 있다. 상기 하나 또는 그 이상의 랜드마크 그룹 특징은 상기 한 그룹의 랜드마크에 포함된 랜드마크의 수를 포함할 수 있다. 상기 적어도 하나의 인지된 랜드마크의 식별은 적어도 부분적으로는 상기 한 그룹의 랜드마크와 연계된 수퍼 랜드마크 특징에 근거할 수 있다. 상기 적어도 하나의 프로세서는 상기 차량의 상기 판단된 현재 위치에서의 상기 차량의 진행 방향을 상기 미리 정해진 도로 모델 궤적에 비교하여 상기 차량의 자율 조향 동작을 결정하도록 프로그램될 수 있다.
일부 실시예에서, 도로 구간을 따라 차량을 자율 주행하기 위한 컴퓨터 실행 방법은 하나 또는 그 이상의 프로세서에 의해 수행되는, 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하고, 상기 적어도 하나의 영상을 분석하여 적어도 하나의 인지된 랜드마크를 식별―여기서 상기 적어도 하나의 인지된 랜드마크는 한 그룹의 인지된 랜드마크의 일부이고, 상기 적어도 하나의 인지된 랜드마크의 식별은 적어도 부분적으로는 상기 한 그룹의 인지된 랜트마크와 연관된 하나 또는 그 이상의 랜드마크 그룹 특징에 근거함―하고, 적어도 부분적으로는 상기 인지된 랜드마크의 미리 정해진 위치에 근거하여 상기 도로 구간과 연계된 미리 정해진 도로 모델 궤적에 대한 상기 차량의 현재 위치를 판단하고, 상기 미리 정해진 도로 모델 궤적에 대한 상기 차량의 상기 판단된 현재 위치에서의 상기 미리 정해진 도로 모델 궤적의 방향에 근거하여 상기 차량의 자율 조향 동작을 결정하는 연산을 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 적어도 하나의 인지된 랜드마크는 교통표지판, 화살 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 및 가로등 중의 적어도 하나를 포함할 수 있다. 상기 적어도 하나의 인지된 랜드마크는 상업용 표지판을 포함할 수 있다. 상기 하나 또는 그 이상의 랜드마크 그룹 특징은 상기 한 그룹의 인지된 랜드마크 내 랜드마크 간의 상대적 거리를 포함할 수 있다. 상기 하나 또는 그 이상의 랜드마크 그룹 특징은 상기 한 그룹의 인지된 랜드마크 내 랜드마크의 순서를 포함할 수 있다.
일부 실시예에서, 컴퓨터 가독 저장 매체는 적어도 하나의 프로세서가 도로 구간을 따라 차량을 자율 주행하기 위한 방법을 수행하도록 하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 일련의 명령을 포함할 수 있다. 상기 방법은 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하는 단계, 상기 적어도 하나의 영상을 분석하여 적어도 하나의 인지된 랜드마크를 식별―여기서 상기 적어도 하나의 인지된 랜드마크는 한 그룹의 인지된 랜드마크의 일부이고, 상기 적어도 하나의 인지된 랜드마크의 식별은 적어도 부분적으로는 상기 한 그룹의 인지된 랜트마크와 연관된 하나 또는 그 이상의 랜드마크 그룹 특징에 근거함―하는 단계, 적어도 부분적으로는 상기 인지된 랜드마크의 미리 정해진 위치에 근거하여 상기 도로 구간과 연계된 미리 정해진 도로 모델 궤적에 대한 상기 차량의 현재 위치를 판단하는 단계, 상기 미리 정해진 도로 모델 궤적에 대한 상기 차량의 상기 판단된 현재 위치에서의 상기 미리 정해진 도로 모델 궤적의 방향에 근거하여 상기 차량의 자율 조향 동작을 결정하는 단계를 포함할 수 있다.
상기 컴퓨터 가독 저장 매체의 일부 실시예에서, 상기 적어도 하나의 인지된 랜드마크는 교통표지판, 화살 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 및 가로등 중의 적어도 하나를 포함할 수 있다. 상기 적어도 하나의 인지된 랜드마크는 상업용 표지판을 포함할 수 있다. 상기 하나 또는 그 이상의 랜드마크 그룹 특징은 상기 한 그룹의 인지된 랜드마크 내 랜드마크 간의 상대적 거리를 포함할 수 있다. 상기 하나 또는 그 이상의 랜드마크 그룹 특징은 상기 한 그룹의 인지된 랜드마크 내 랜드마크의 순서를 포함할 수 있다.
일부 실시예에서, 차량을 위한 주행 시스템은 카메라로부터 상기 차량과 관련된 적어도 하나의 주변환경 영상을 수신하고, 상기 적어도 하나의 주변환경 영상의 분석에 근거하여 상기 차량을 위한 주행 조작을 결정하고, 상기 차량이 상기 주행 조작을 개시하도록 유발하고, 상기 개시된 주행 조작과 다른 사용자의 주행 반응과 연계된 사용자 입력을 수신하고, 상기 수신된 사용자 입력에 근거하여 상기 차량에 관한 주행 상황 정보를 판단하고, 상기 사용자 입력에 관한 정보와 관련하여 상기 주행 상황 정보를 저장하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 주행 조작은 상기 적어도 하나의 주변환경 영상 내에서 식별된 인지된 랜드마크에 기반할 수 있다. 상기 사용자 입력에 관한 정보는 상기 차량의 회전 정도, 상기 차량의 가속의 양, 및 상기 차량의 제동의 양 중의 적어도 하나를 명시하는 정보를 포함할 수 있다. 제어 시스템은 조향 제어, 가속 제어, 및 제동 제어 중의 적어도 하나를 포함할 수 있다. 상기 주행 상황 정보는 상기 차량에 탑재된 카메라에 의해 촬영된 하나 또는 그 이상의 영상을 포함할 수 있다. 상기 사용자 입력은 제동, 조향, 및 가속의 적어도 하나를 포함할 수 있다. 상기 주행 상황 정보는 상기 차량의 위치를 포함할 수 있다. 상기 주행 상황 정보는 상기 차량에 탑재된 센서의 적어도 하나의 출력을 포함할 수 있다. 상기 센서는 속도계일 수 있다. 상기 센서는 가속도계일 수 있다. 상기 센서는 적외선센서일 수 있다. 상기 주행 상황 정보는 하루 중의 시간을 포함할 수 있다. 상기 주행 상황 정보는 시각적 제약의 존재 사실를 포함할 수 있다. 상기 시각적 제약은 눈부신 빛에 의한 것일 수 있다. 상기 주행 상황 정보는 상기 적어도 하나의 주변환경 영상에 근거하여 판단될 수 있다. 상기 시스템은 상기 주행 상황 정보를 상기 차량으로부터 원격으로 배치된 서버로 전송하기 위한 송신기를 포함할 수 있다.
일부 실시예에서, 비일시적 컴퓨터 가독 매체는 적어도 하나의 프로세서가 방법을 수행하도록 하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령을 포함할 수 있다. 상기 방법은 카메라로부터 상기 차량과 관련된 적어도 하나의 주변환경 영상을 수신하는 단계, 상기 적어도 하나의 주변환경 영상의 분석에 근거하여 상기 차량을 위한 주행 조작을 결정하는 단계, 상기 차량이 상기 주행 조작을 개시하도록 유발하는 단계, 상기 개시된 주행 조작과 다른 사용자의 주행 반응과 연계된 사용자 입력을 수신하는 단계, 상기 수신된 사용자 입력에 근거하여 상기 차량에 관한 주행 상황 정보를 판단하는 단계, 및 상기 사용자 입력에 관한 정보와 관련하여 상기 주행 상황 정보를 저장하는 단계를 포함할 수 있다.
일부 실시예에서, 차량을 위한 주행 시스템은 도로 구간을 나타내는 미리 정해진 모델에 대한 상기 차량의 움직임의 비교에 적어도 부분적으로 근거하여 상기 차량을 위한 주행 조작을 결정하고, 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하고, 상기 적어도 하나의 영상의 분석에 근거하여 상기 차량의 상기 주변환경 내에 주행 조정 상황의 존재를 판단하고, 상기 주행 조정 상황의 존재에 근거하여 상기 차량이 상기 주행 조작을 조정하게 유발하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 주행 조정 상황은 주차 차량을 포함할 수 있다. 상기 주행 조정 상황은 차선 변경을 포함할 수 있다. 상기 주행 조정 상황은 새로 등장한 교통표지판 및 새로 등장한 신호등의 적어도 하나를 포함할 수 있다. 상기 주행 조정 상황은 공사구간을 포함할 수 있다. 상기 프로세서는 상기 주행 조정 상황에 의해 상기 도로 구간을 나타내는 상기 미리 정해진 모델에 대한 업데이트가 필요하게 됐는지 여부의 판단을 위하여 상기 주행 조정 상황에 관한 상기 저장된 정보가 도로 모델 관리 시스템으로 전송되게 하도록 더 프로그램될 수 있다. 상기 주행 조정 상황에 관하여 저장된 상기 정보는 상기 주행 조정 상황이 발생한 위치의 지시자, 상기 주행 조작에 수행된 상기 조정의 사실, 및 상기 적어도 하나의 영상 중 적어도 하나를 포함할 수 있다. 상기 도로 구간을 나타내는 상기 미리 정해진 모델은 상기 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 3차원 스플라인을 포함할 수 있다.
일부 실시예에서, 차량을 주행하기 위한 방법은 도로 구간을 나타내는 미리 정해진 모델에 대한 상기 차량의 움직임의 비교에 적어도 부분적으로 근거하여 상기 차량을 위한 주행 조작을 결정하는 단계, 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하는 단계, 상기 적어도 하나의 영상의 분석에 근거하여 상기 차량의 상기 주변환경 내에 주행 조정 상황의 존재를 판단하는 단계, 및 상기 주행 조정 상황의 존재에 근거하여 상기 차량이 상기 주행 조작을 조정하게 유발하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 주행 조정 상황은 주차 차량을 포함할 수 있다. 상기 주행 조정 상황은 차선 변경을 포함할 수 있다. 상기 주행 조정 상황은 새로 등장한 교통표지판 및 새로 등장한 신호등의 적어도 하나를 포함할 수 있다. 상기 주행 조정 상황은 공사구간을 포함할 수 있다. 상기 방법은 상기 주행 조정 상황에 의해 상기 도로 구간을 나타내는 상기 미리 정해진 모델에 대한 업데이트가 필요하게 됐는지 여부의 판단을 위하여 상기 주행 조정 상황에 관한 상기 저장된 정보가 도로 모델 관리 시스템으로 전송되게 하는 단계를 포함할 수 있다. 상기 주행 조정 상황에 관하여 저장된 상기 정보는 상기 주행 조정 상황이 발생한 위치의 지시자, 상기 주행 조작에 수행된 상기 조정의 사실, 및 상기 적어도 하나의 영상 중 적어도 하나를 포함할 수 있다. 상기 도로 구간을 나타내는 상기 미리 정해진 모델은 상기 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 3차원 스플라인을 포함할 수 있다.
일부 실시예에서, 비일시적 컴퓨터 가독 매체는 적어도 하나의 프로세서가 방법을 수행하도록 하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령을 포함할 수 있다. 상기 방법은 도로 구간을 나타내는 미리 정해진 모델에 대한 상기 차량의 움직임의 비교에 적어도 부분적으로 근거하여 상기 차량을 위한 주행 조작을 결정하는 단계, 카메라로부터 상기 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신하는 단계, 상기 적어도 하나의 영상의 분석에 근거하여 상기 차량의 상기 주변환경 내에 주행 조정 상황의 존재를 판단하는 단계, 및 상기 주행 조정 상황의 존재에 근거하여 상기 차량이 상기 주행 조작을 조정하게 유발하는 단계를 포함할 수 있다.
상기 컴퓨터 가독 매체의 일부 실시예에서, 상기 방법은 상기 주행 조정 상황에 의해 상기 도로 구간을 나타내는 상기 미리 정해진 모델에 대한 업데이트가 필요하게 됐는지 여부의 판단을 위하여 상기 주행 조정 상황에 관한 상기 저장된 정보가 도로 모델 관리 시스템으로 전송되게 하는 단계를 포함할 수 있다. 상기 주행 조정 상황에 관하여 저장된 상기 정보는 상기 주행 조정 상황이 발생한 위치의 지시자, 상기 주행 조작에 수행된 상기 조정의 사실, 및 상기 적어도 하나의 영상 중 적어도 하나를 포함할 수 있다. 상기 도로 구간을 나타내는 상기 미리 정해진 모델은 상기 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 3차원 스플라인을 포함할 수 있다.
일부 실시예에서, 복수의 자율주행차와 상호작용하기 위한 시스템은 적어도 하나의 도로 구간을 나타내는 미리 정해진 모델을 포함하는 메모리; 및 판단된 주행 조작에 대한 조정의 발생과 관련된 주행 상황 정보를 복수의 자율주행차 각각으로부터 수신하고, 상기 주행 상황 정보를 분석하고, 상기 주행 상황 정보의 분석에 근거하여 상기 판단된 주행 조작에 대한 상기 조정이 일시적인 상황에 기인한 것인지 여부를 판단하고, 상기 판단된 주행 조작에 대한 상기 조정이 일시적인 상황에 기인한 것이 아닌 경우 상기 적어도 하나의 도로 구간을 나타내는 상기 미리 정해진 모델을 업데이트하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 적어도 하나의 도로 구간을 나타내는 상기 미리 정해진 모델은 상기 적어도 하나의 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 3차원 스플라인을 포함할 수 있다. 상기 미리 정해진 모델에 대한 업데이트는 상기 적어도 하나의 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 상기 3차원 스플라인에 대한 업데이트를 포함할 수 있다. 판단된 주행 조작에 대한 상기 조정은 사용자 개입에 의해 발생할 수 있다. 판단된 주행 조작에 대한 상기 조정은 차량 주변환경 내에 주행 조정 상황의 존재에 대한, 영상 분석에 근거한, 자동 판단에 의해 발생할 수 있다. 상기 주행 상황 정보는 자율주행차의 주변환경을 나타내는 적어도 하나의 영상을 포함할 수 있다. 상기 주행 상황 정보는 자율주행차의 주변환경을 나타내는 동영상을 포함할 수 있다. 상기 일시적 상황은 주차 차량, 끼어드는 차량, 보행자, 어두운 상황, 눈부신 상황, 임시 장애물, 또는 임시 도로공사와 관련될 수 있다.
일부 실시예에서, 복수의 자율주행차와 상호작용하기 위한 방법은 판단된 주행 조작에 대한 조정의 발생과 관련된 주행 상황 정보를 복수의 자율주행차 각각으로부터 수신하는 단계, 상기 주행 상황 정보를 분석하는 단계, 상기 주행 상황 정보의 분석에 근거하여 상기 판단된 주행 조작에 대한 상기 조정이 일시적인 상황에 기인한 것인지 여부를 판단하는 단계, 상기 판단된 주행 조작에 대한 상기 조정이 일시적인 상황에 기인한 것이 아닌 경우 상기 적어도 하나의 도로 구간을 나타내는 상기 미리 정해진 모델을 업데이트하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 적어도 하나의 도로 구간을 나타내는 상기 미리 정해진 모델은 상기 적어도 하나의 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 3차원 스플라인을 포함할 수 있다. 상기 미리 정해진 모델에 대한 업데이트는 상기 적어도 하나의 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 상기 3차원 스플라인에 대한 업데이트를 포함할 수 있다. 판단된 주행 조작에 대한 상기 조정은 사용자 개입에 의해 발생할 수 있다. 판단된 주행 조작에 대한 상기 조정은 차량 주변환경 내에 주행 조정 상황의 존재에 대한, 영상 분석에 근거한, 자동 판단에 의해 발생할 수 있다. 상기 주행 상황 정보는 자율주행차의 주변환경을 나타내는 적어도 하나의 영상을 포함할 수 있다. 상기 주행 상황 정보는 자율주행차의 주변환경을 나타내는 동영상을 포함할 수 있다. 상기 일시적 상황은 주차 차량, 끼어드는 차량, 보행자, 어두운 상황, 눈부신 상황, 임시 장애물, 또는 임시 도로공사와 관련될 수 있다.
일부 실시예에서, 비일시적 컴퓨터 가독 매체는 적어도 하나의 프로세서가 방법을 수행하도록 하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령을 포함할 수 있다. 상기 방법은 판단된 주행 조작에 대한 조정의 발생과 관련된 주행 상황 정보를 복수의 자율주행차 각각으로부터 수신하는 단계, 상기 주행 상황 정보를 분석하는 단계, 상기 주행 상황 정보의 분석에 근거하여 상기 판단된 주행 조작에 대한 상기 조정이 일시적인 상황에 기인한 것인지 여부를 판단하는 단계, 상기 판단된 주행 조작에 대한 상기 조정이 일시적인 상황에 기인한 것이 아닌 경우 상기 적어도 하나의 도로 구간을 나타내는 상기 미리 정해진 모델을 업데이트하는 단계를 포함할 수 있다.
상기 컴퓨터 가독 매체의 일부 실시예에서, 적어도 하나의 도로 구간을 나타내는 상기 미리 정해진 모델은 상기 적어도 하나의 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 3차원 스플라인을 포함할 수 있다. 상기 미리 정해진 모델을 업데이트하는 단계는 상기 적어도 하나의 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 상기 3차원 스플라인에 대한 업데이트를 포함할 수 있다. 상기 일시적 상황은 주차 차량, 끼어드는 차량, 보행자, 어두운 상황, 눈부신 상황, 임시 장애물, 또는 임시 도로공사와 관련될 수 있다.
일부 실시예에서, 복수의 자율주행차와 상호작용하기 위한 시스템은 적어도 하나의 도로 구간을 나타내는 미리 정해진 도로 모델을 포함하는 메모리; 및 상기 복수의 자율주행차의 각 도로 환경을 통한 주행에 기반한 도로환경 정보를 상기 복수의 자율주행차로부터 선택적으로 수신하고, 상기 도로환경 정보에 근거하여 상기 미리 정해진 도로 모델에 대한 하나 또는 그 이상의 업데이트가 필요한지 여부를 판단하고, 상기 미리 정해진 도로 모델이 상기 하나 또는 그 이상의 업데이트를 포함하게 업데이트하도록 프로그램된 적어도 하나의 프로세서를 포함할 수 있다.
상기 시스템의 일부 실시예에서, 상기 도로 모델은 상기 적어도 하나의 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 3차원 스플라인을 포함할 수 있다. 상기 도로환경 정보의 선택적 수신은 특정 차량으로부터 수신되는 정보 전송의 빈도에 대한 제한을 포함할 수 있다. 상기 도로환경 정보의 선택적 수신은 한 그룹의 차량으로부터 수신되는 정보 전송의 빈도에 대한 제한을 포함할 수 있다. 상기 도로환경 정보의 선택적 수신은 특정 지리적 구역 내에서 운행하는 차량으로부터 수신되는 정보 전송의 빈도에 대한 제한을 포함할 수 있다. 상기 도로환경 정보의 선택적 수신은 특정 지리적 구역과 연관되어 판단된 모델 신뢰도 수준에 근거하여 차량으로부터 수신되는 정보 전송의 빈도에 대한 제한을 포함할 수 있다. 상기 도로환경 정보의 선택적 수신은 상기 미리 정해진 도로 모델의 적어도 한 양상에 대한 잠재적 차이를 포함하는 차량으로부터 수신되는 정보 전송으로 제한하는 것을 포함할 수 있다.
일부 실시예에서, 복수의 자율주행차와 상호작용하기 위한 방법은 상기 복수의 자율주행차의 각 도로 환경을 통한 주행에 기반한 도로환경 정보를 상기 복수의 자율주행차로부터 선택적으로 수신하는 단계, 상기 도로환경 정보에 근거하여 상기 미리 정해진 도로 모델에 대한 하나 또는 그 이상의 업데이트가 필요한지 여부를 판단하는 단계, 및 상기 미리 정해진 도로 모델이 상기 하나 또는 그 이상의 업데이트를 포함하게 업데이트하는 단계를 포함할 수 있다.
상기 방법의 일부 실시예에서, 상기 도로 모델은 상기 적어도 하나의 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 3차원 스플라인을 포함할 수 있다. 상기 도로환경 정보를 선택적으로 수신하는 단계는 특정 차량으로부터 수신되는 정보 전송의 빈도에 대한 제한을 포함할 수 있다. 상기 도로환경 정보를 선택적으로 수신하는 단계는 한 그룹의 차량으로부터 수신되는 정보 전송의 빈도에 대한 제한을 포함할 수 있다. 상기 도로환경 정보를 선택적으로 수신하는 단계는 특정 지리적 구역 내에서 운행하는 차량으로부터 수신되는 정보 전송의 빈도에 대한 제한을 포함할 수 있다. 상기 도로환경 정보를 선택적으로 수신하는 단계는 특정 지리적 구역과 연관되어 판단된 모델 신뢰도 수준에 근거하여 차량으로부터 수신되는 정보 전송의 빈도에 대한 제한을 포함할 수 있다. 상기 도로환경 정보를 선택적으로 수신하는 단계는 상기 미리 정해진 도로 모델의 적어도 한 양상에 대한 잠재적 차이를 포함하는 차량으로부터 수신되는 정보 전송으로 제한하는 것을 포함할 수 있다.
일부 실시예에서, 비일시적 컴퓨터 가독 매체는 적어도 하나의 프로세서가 방법을 수행하도록 하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령을 포함할 수 있다. 상기 방법은 상기 복수의 자율주행차의 각 도로 환경을 통한 주행에 기반한 도로환경 정보를 상기 복수의 자율주행차로부터 선택적으로 수신하는 단계, 상기 도로환경 정보에 근거하여 상기 미리 정해진 도로 모델에 대한 하나 또는 그 이상의 업데이트가 필요한지 여부를 판단하는 단계, 및 상기 미리 정해진 도로 모델이 상기 하나 또는 그 이상의 업데이트를 포함하게 업데이트하는 단계를 포함할 수 있다.
상기 컴퓨터 가독 매체의 일부 실시예에서, 상기 도로 모델은 상기 적어도 하나의 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 3차원 스플라인을 포함할 수 있다. 상기 도로환경 정보를 선택적으로 수신하는 단계는 특정 차량으로부터 수신되는 정보 전송의 빈도에 대한 제한을 포함할 수 있다. 상기 도로환경 정보를 선택적으로 수신하는 단계는 한 그룹의 차량으로부터 수신되는 정보 전송의 빈도에 대한 제한을 포함할 수 있다. 상기 도로환경 정보를 선택적으로 수신하는 단계는 특정 지리적 구역 내에서 운행하는 차량으로부터 수신되는 정보 전송의 빈도에 대한 제한을 포함할 수 있다. 상기 도로환경 정보를 선택적으로 수신하는 단계는 상기 미리 정해진 도로 모델의 적어도 한 양상에 대한 잠재적 차이를 포함하는 차량으로부터 수신되는 정보 전송으로 제한하는 것을 포함할 수 있다.
다른 기재된 실시예에 따라, 비일시적 컴퓨터 가독 저장 매체는 적어도 하나의 처리 장치에 의해 실행되고 상기 기재된 방법 중의 어느 하나를 수행하는 프로그램 명령을 저장할 수 있다.
상기 기재와 하기의 상세한 설명은 예시일 뿐이며 본 발명의 청구범위를 제한하지 않는다.
기재된 실시예는 카메라를 사용하여 자율 주행 특징을 제공할 수 있다. 예를 들면, 기재된 실시예에 따라, 기재된 시스템은 차량의 주변환경을 모니터하는 하나, 둘, 또는 그 이상의 카메라를 포함할 수 있다. 기재된 시스템은, 예를 들어, 하나 또는 그 이상의 카메라에 의해 캡처된 영상의 분석에 근거하여 주행 반응을 제공할 수 있다. 상기 주행 반응은 또한, 예를 들어, GPS 데이터, 센서 데이터(예, 가속도계, 속력 센서, 서스펜션 센서 등으로부터의 데이터), 및/또는 기타 지도 데이터를 포함하는 기타 데이터를 고려할 수 있다.
일부 실시예에서, 기재된 시스템과 방법은 자율 주행을 위해 약도(sparse map)를 사용할 수 있다. 예를 들면, 상기 약도(sparse map)는 과도한 데이터 저장을 요구하지 않으면서도 주행을 위한 충분한 정보를 제공할 수 있다.
다른 실시예에서, 기재된 시스템과 방법은 자율 주행을 위한 도로 모델을 구성할 수 있다. 예를 들면, 기재된 시스템과 방법은 추천 궤적을 포함하는 자율 주행을 위해서 크라우드 소스 데이터를 사용할 수 있다. 다른 예에서, 기재된 시스템과 방법은 차량의 주변환경에서 랜드마크를 식별하고 랜드마크 위치를 정제할 수 있다.
또 다른 실시예에서, 기재된 시스템과 방법은 자율 주행을 위해서 간략 도로 모델을 사용할 수 있다. 예를 들면, 기재된 시스템과 방법은 인지된 랜드마크에 기반한 주행을 제공하고, 주행을 위해 차량의 후미를 정렬하고, 차량이 도로 교차로를 주행하게 하고, 차량이 로컬 중첩 지도를 사용하여 주행하게 하고, 차량이 약도(sparse map)를 사용하여 주행하게 하고, 예상 랜드마크 위치에 근거하여 주행하고, 도로 특징에 근거하여 도로를 자율 주행하고, 후방 카메라에 근거한 전방 주행을 제공하고, 빈 공간 판단에 근거하여 주행하고, 눈길에서 주행하고, 자율 차량 속력 교정을 제공하고, 인지된 랜드마크 위치에 근거하여 차선 배정을 결정하고, 수퍼 랜드마크를 주행 보조로 사용할 수 있다.
또 다른 실시예에서, 기재된 시스템과 방법은 어댑티브 자율 주행을 제공할 수 있다. 예를 들면, 기재된 시스템과 방법은 사용자 개입에 기반한 어댑티브 주행을 제공하고, 자각 어댑티브 주행을 제공하고, 어댑티브 도로 모델 관리자를 제공하고, 선택적 피드백에 근거하여 도로 모델을 관리할 수 있다.
본 명세서에 포함되고 본 명세서의 일부를 구성하는 첨부 도면은 기재된 다양한 실시예를 나타낸다.
도 1은 본 발명의 실시예에 따른 시스템의 일례의 개략도이다.
도 2a는 본 발명의 실시예에 따른 시스템을 포함하는 자동차의 일례의 측면도이다.
도 2b는 본 발명의 실시예에 따른 도 2a의 자동차와 시스템의 평면도이다.
도 2c는 본 발명의 실시예에 따른 시스템을 포함하는 자동차의 다른 실시예의 평면도이다.
도 2d는 본 발명의 실시예에 따른 시스템을 포함하는 자동차의 또 다른 실시예의 평면도이다.
도 2e는 본 발명의 실시예에 따른 시스템을 포함하는 자동차의 또 다른 실시예의 평면도이다.
도 2f는 본 발명의 실시예에 따른 자동차 제어 시스템의 일례의 개략도이다.
도 3a는 본 발명의 실시예에 따른 차량 이미징 시스템을 위한 백미러(rear view mirror)와 사용자 인터페이스를 포함하는 차량의 실내를 계략적으로 예시한 것이다.
도 3b는 본 발명의 실시예에 따른 백미러 뒤의 차량 전면 유리에 위치되도록 구성된 카메라 마운트의 일례이다.
도 3c는 본 발명의 실시예에 따른 도 3b의 카메라 마운트를 다른 시각에서 예시한 것이다.
도 3d는 본 발명의 실시예에 따른 백미러 뒤의 차량 전면 유리에 위치되도록 구성된 카메라 마운트의 일례이다.
도 4는 본 발명의 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장하도록 구성된 메모리의 구성도이다.
도 5a는 본 발명의 실시예에 따른 단안 영상 분석에 근거한 하나 이상의 주행 반응을 야기하는 과정의 일례를 예시한 순서도이다.
도 5b는 본 발명의 실시예에 따른 일련의 영상에서 하나 이상의 차량 및/또는 보행자를 감지하는 과정의 일례를 예시한 순서도이다.
도 5c는 본 발명의 실시예에 따른 일련의 영상에서 도로 표지 및/또는 차선 형상 정보를 감지하는 과정의 일례를 예시한 순서도이다.
도 5d 는 본 발명의 실시예에 따른 일련의 영상에서 신호등을 감지하는 과정의 일례를 예시한 순서도이다.
도 5e는 본 발명의 실시예에 따른 차량 경로에 근거한 하나 이상의 주행 반응을 야기하는 과정의 일례를 예시한 순서도이다.
도 5f는 본 발명의 실시예에 따른 선두 차량이 차선 변경을 하는지를 판단하는 과정의 일례를 예시한 순서도이다.
도 6은 본 발명의 실시예에 따른 입체 영상 분석에 근거한 하나 이상의 주행 반응을 야기하는 과정의 일례를 예시한 순서도이다.
도 7은 본 발명의 실시예에 따른 3개 집합의 영상에 근거한 하나 이상의 주행 반응을 야기하는 과정의 일례를 예시한 순서도이다.
도 8은 본 발명의 실시예에 따른 자율 주행을 제공하기 위한 약도(sparse map)다.
도 9a는 본 발명의 실시예에 따른 도로 구간 일부의 다항식 표시를 예시한 것이다.
도 9b는 본 발명의 실시예에 따른 약도(sparse map)에 포함된, 특정 도로 구간에서의, 차량의 목표 궤적을 나타내는 3차원 공간의 곡선을 예시한 것이다.
도 10은 본 발명의 실시예에 따른 약도(sparse map)에 포함될 수 있는 랜드마크들의 예시이다.
도 11a는 본 발명의 실시예에 따른 궤적들의 다항식 표시를 예시한 것이다.
도 11b와 11c는 본 발명의 실시예에 따른 다차선 도로 상의 목표 궤적들을 예시한 것이다.
도 11d는 본 발명의 실시예에 따른 도로 특징 프로필의 일례를 예시한 것이다.
도 12는 본 발명의 실시예에 따른 자율 주행을 위한 복수의 차량으로부터 수신한 크라우드 소싱 데이터를 사용하는 시스템을 개략적으로 예시한 것이다.
도 13은 본 발명의 실시예에 따른 복수의 3차원 스플라인으로 표시된 자율주행차 도로주행 모델의 일례를 예시한 것이다.
도 14는 본 발명의 실시예에 따른 서버의 구성도이다.
도 15는 본 발명의 실시예에 따른 메모리의 구성도이다.
도 16은 본 발명의 실시예에 따른 차량과 연관된 차량 궤적들의 클러스터링 과정을 예시한 것이다.
도 17은 본 발명의 실시예에 따른 자율 주행에 사용될 수 있는 차량의 주행 시스템을 예시한 것이다.
도 18은 본 발명의 실시예에 따른 자율 주행에 사용되는 차량 주행 정보를 처리하는 프로세스의 일례를 예시한 순서도이다.
도 19는 본 발명의 실시예에 따른 차량의 주행 시스템에 의해 수행되는 프로세스의 일례를 예시한 순서도이다.
도 20은 본 발명의 실시예에 따른 메모리의 일례를 예시한 것이다.
도 21은 본 발명의 실시예에 따른 추천 궤적을 서버에 업로드하는 프로세스의 일례를 예시한 순서도이다.
도 22는 본 발명의 실시예에 따른 자율 주행에 사용되는 랜드마크 식별 시스템을 포함하는 주변환경의 일례를 예시한 것이다.
도 23은 본 발명의 실시예에 따른 자율 주행에 사용되는 랜드마크 식별 시스템을 포함하는 환경의 일례를 예시한 것이다.
도 24는 본 발명의 실시예에 따른 랜드마크의 응축 특징 표현을 판단하는 방법을 예시한 것이다.
도 25는 본 발명의 실시예에 따른 랜드마크의 응축 특징 표현을 판단하는 다른 방법을 예시한 것이다.
도 26은 본 발명의 실시예에 따른 메모리의 일례를 예시한 구성도이다.
도 27은 본 발명의 실시예에 따른 랜드마크의 식별자를 판단하는 프로세스의 일례를 예시한 순서도이다.
도 28은 본 발명의 실시예에 따른 식별자에 근거하여 차량 도로 주행 모델을 업데이트하고 배포하는 프로세스의 일례를 예시한 순서도이다.
도 29는 본 발명의 실시예에 따른 자율주행차의 주행에 사용되는 랜드마크의 위치를 판단하는 시스템의 일례를 예시한 구성도이다.
도 30은 본 발명의 실시예에 따른 메모리의 일례를 예시한 구성도이다.
도 31은 본 발명의 실시예에 따른 차량으로부터 랜드마크까지의 거리를 판단하는 축척 방식의 일례를 예시한 것이다.
도 32는 본 발명의 실시예에 따른 차량으로부터 랜드마크까지의 거리를 판단하는 광류 방식의 일례를 예시한 것이다.
도 33a는 본 발명의 실시예에 따른 자율주행차의 주행에 사용되는 랜드마크의 위치를 판단하는 프로세스의 일례를 예시한 순서도이다.
도 33b는 본 발명의 실시예에 따른 자율주행차의 주행에 사용되는 랜드마크의 위치를 측정하는 프로세스의 일례를 예시한 순서도이다.
도 34는 본 발명의 실시예에 따른 시스템을 포함하는 차량이 랜드마크를 사용하여 주행하는 일례를 개략적으로 예시한 평면도이다.
도 35는 본 발명의 실시예에 따른 시스템을 포함하는 차량이 랜드마크를 사용하여 주행하는 다른 일례를 개략적으로 예시한 평면도이다.
도 36은 랜드마크를 사용하는 차량을 주행하는 프로세스의 일례를 예시한 순서도이다.
도 37은 본 발명의 실시예에 따른 시스템을 포함하는 자율주행차가 후미 정렬을 이용하여 주행하는 일례를 예시한 평면도이다.
도 38은 본 발명의 실시예에 따른 시스템을 포함하는 자율주행차가 후미 정렬을 이용하여 주행하는 다른 일례를 예시한 평면도이다.
도 39는 후미 정렬을 이용하여 자율주행차를 주행하는 프로세스의 일례를 예시한 순서도이다.
도 40은 본 발명의 실시예에 따른 시스템을 포함하는 차량이 둘 이상의 랜드마크를 이용하여 교차로를 주행하는 일례를 예시한 평면도이다.
도 41은 둘 이상의 랜드마크를 이용하여 차량을 교차로를 통과하여 주행하는 프로세스의 일례를 예시한 순서도이다.
도 42는 본 발명의 실시예에 따른 시스템을 포함하는 차량이 중첩 지도를 이용하여 주행하는 일례를 예시한 평면도이다.
도 43a, 43b, 43c는 중첩 지도를 이용한 차량을 주행하는 프로세스의 일례를 예시한 순서도이다.
도 44는 본 발명의 실시예에 따른, 차량과 통신하는 원격 서버의 일례를 예시한 것이다.
도 45는 본 발명의 실시예에 따른, 다차선 도로를 주행하는 차량을 예시한 것이다.
도 46은 본 발명의 실시예에 따른, 목표 궤적을 이용하여 다차선 도로를 주행하는 차량의 일례를 예시한 것이다.
도 47은 본 발명의 실시예에 따른 도로 특징 프로필의 일례를 예시한 것이다.
도 48은 본 발명의 실시예에 따른 환경의 일례를 예시한 것이다.
도 49는 본 발명의 실시예에 따른 약도(sparse map) 자율주행의 프로세스의 일례를 예시한 순서도이다.
도 50은 본 발명의 실시예에 따른 랜드마크의 예상 위치에 근거한 자율 주행을 위한 주변환경의 일례를 예시한 것이다.
도 51은 본 발명의 실시예에 따른 자율 주행을 위한 구성을 예시한 것이다.
도 52는 본 발명의 실시예에 따른 예측 랜드마크 위치에 근거한 자율 주행을 위한 환경의 다른 일례를 예시한 것이다.
도 53은 본 발명의 실시예에 따른 예측 랜드마크 위치에 근거한 자율 주행을 위한 환경의 다른 일례를 예시한 것이다.
도 54는 본 발명의 실시예에 따른 랜드마크의 예상 위치에 근거한 자율 주행을 위한 프로세스의 일례를 예시한 순서도이다.
도 55는 본 발명의 실시예에 따른 차량 제어 시스템의 일례를 예시한 것이다.
도 56은 본 발명의 실시예에 따른 시스템을 포함하는 차량이 차로폭 프로필 또는 도로폭 프로필을 이용하여 주행하는 일례를 예시한 평면도이다.
도 57은 본 발명의 실시예에 따른 차량 제어 시스템에 사용되는 프로필의 일례를 예시한 그래프이다.
도 58은 본 발명의 실시예에 따른 시스템을 포함하는 차량이 도로 구간 상의 노면 표시의 길이 또는 간격을 이용하여 주행하는 일례를 예시한 평면도이다.
도 59는 본 발명의 실시예에 따른 시스템을 포함하는 차량이 도로 구간의 곡률에 관한 정보를 이용하여 주행하는 일례를 예시한 평면도이다.
도 60은 도로 특징을 이용하여 차량을 주행하는 프로세스의 일례를 예시한 순서도이다.
도 61a는 본 발명의 실시예에 따른 차량의 일례를 개략적으로 예시한 측면도이다.
도 61b는 본 발명의 실시예에 따른 차량의 일례를 개략적으로 예시한 측면도이다.
도 62는 본 발명의 실시예에 따른 도로 상에서 자율 주행하는 차량의 일례를 개략적으로 예시한 평면도이다.
도 63은 본 발명의 실시예에 따라 차량을 자율 주행하기 위한 프로세스의 일례를 예시한 순서도이다.
도 64는 본 발명의 실시예에 따른 차량의 전방 이미지캡처장치가 촬영한 주변환경의 일례를 개략적으로 예시한 사시도이다.
도 65는 본 발명의 실시예에 따른 차량의 전방 이미지캡처장치로부터 수신한 영상의 일례를 예시한 것이다.
도 66은 본 발명의 실시예에 따른 차량이 운행할 수 있는 빈 공간 영역을 판단하여 차량을 주행하는 프로세스의 일례를 예시한 순서도이다.
도 67은 본 발명의 실시예에 따른 적어도 일부 차선 표시 및 도로 가장자리에 눈이 덮인 도로 위를 주행하는 차량의 일례를 개략적으로 예시한 평면도이다.
도 68은 본 발명의 실시예에 따른 적어도 일부 차선 표시 및 도로 가장자리에 눈이 덮인 도로 상에서 차량을 주행하기 위한 프로세스의 일례를 예시한 순서도이다.
도 69는 본 발명의 실시예에 따른 차량의 속력을 교정하기 위한 시스템을 포함하는 차량의 일례를 개략적으로 예시한 평면도이다.
도 70은 본 발명의 실시예에 따른 차량의 속력을 교정하는 프로세스의 일례를 예시한 순서도이다.
도 71은 본 발명의 실시예에 따른 차량의 속력을 교정하기 위한 시스템을 포함하는 차량의 다른 일례를 개략적으로 예시한 평면도이다.
도 72는 본 발명의 실시예에 따른 차량의 속력을 교정하기 위한 프로세스의 다른 일례를 예시한 순서도이다.
도 73은 본 발명의 실시예에 따른 도로 구간의 일례의 스트리트뷰(street view)를 예시한 것이다.
도 74는 본 발명의 실시예에 따른 도로 구간의 일례의 조감도를 예시한 것이다.
도 75는 본 발명의 실시예에 따른 차량의 차선 배정을 결정하는 프로세스의 일례를 예시한 순서도이다.
도 76은 본 발명의 실시예에 따른 도로 구간의 일례의 스트리트뷰를 예시한 것이다.
도 77a는 본 발명의 실시예에 따른 도로 구간의 일례의 조감도를 예시한 것이다.
도 77b는 본 발명의 실시예에 따른 도로 구간의 일례의 스트리트뷰를 예시한 것이다.
도 78은 본 발명의 실시예에 따라 차량을 도로 구간을 따라 자율 주행하기 위한 프로세스의 일례를 예시한 순서도이다.
도 79a는 본 발명의 실시예에 따른 도로 상에서 특정 지점의 동절기 빙판 상황에 접근하는 차량의 일례를 예시한 평면도이다.
도 79b는 본 발명의 실시예에 따른 도로 상에서 보행자에 접근하는 차량의 일례를 예시한 평면도이다.
도 79c는 본 발명의 실시예에 따른 도로 상에서 다른 차량에 매우 근접하게 운행하는 차량의 일례를 예시한 평면도이다.
도 79d는 본 발명의 실시예에 따른 도로 상의 끝나는 차선에서 이동하는 차량의 일례를 예시한 평면도이다.
도 80은 본 발명의 실시예에 따른 시스템을 포함하는 차량의 일례를 개략적으로 예시한 측면도이다.
도 81은 본 발명의 실시예에 따른 사용자 개입에 근거한 어댑티브 주행 방법의 일례를 예시한 순서도이다.
도 82a는 본 발명의 실시예에 따른 주차 차량이 있는 도로 상에서 이동하는 차량의 일례를 예시한 평면도이다.
도 82b는 본 발명의 실시예에 따른 도로 상의 끝나는 차선에서 이동하는 차량의 일례를 예시한 평면도이다.
도 82c는 본 발명의 실시예에 따른 도로 상에서 보행자에 접근하는 차량의 일례를 예시한 평면도이다.
도 82d는 본 발명의 실시예에 따른 도로 상에서 공사구간에 접근하는 차량의 일례를 예시한 평면도이다.
도 83은 본 발명의 실시예에 따른 자각 주행 방법의 일례를 예시한 순서도이다.
도 84a는 본 발명의 실시예에 따른 주차 차량이 여러 대 있는 도로 상에서 이동하는 차량의 일례를 예시한 평면도이다.
도 84b는 본 발명의 실시예에 따른 정면으로 끼어드는 차량이 있는 도로 상에서 이동하는 차량의 일례를 예시한 평면도이다.
도 84c는 본 발명의 실시예에 따른 정면에 임시 장애물이 있는 도로 상에서 이동하는 차량의 일례를 예시한 평면도이다.
도 84d는 본 발명의 실시예에 따른 정면에 임시 도로 공사를 하는 도로 상에서 이동하는 차량의 일례를 예시한 평면도이다.
도 85a는 본 발명의 실시예에 따른 정면에 포트홀이 있는 도로 상에서 이동하는 차량의 일례를 예시한 평면도이다.
도 85b는 본 발명의 실시예에 따른 정면에 보행자와 애완동물이 횡단하는 도로 상에서 이동하는 차량의 일례를 예시한 평면도이다.
도 86은 본 발명의 실시예에 따른 어댑티브 도로 모델 관리자를 위한 방법의 일례를 예시한 순서도이다.
도 87a는 본 발명의 실시예에 따른 고속도로 상에서 이동하는 단일 차량의 일례를 예시한 평면도이다.
도 87b는 본 발명의 실시예에 따른 시내 도로 상에서 이동하는 한 무리의 차량의 일례를 예시한 평면도이다.
도 87c는 본 발명의 실시예에 따른 특정 시골의 도로 상에서 이동하는 차량의 일례를 예시한 평면도이다.
도 87d는 본 발명의 실시예에 따른 차로 변경이 있는 도로 상에서 이동하는 차량의 일례를 예시한 평면도이다.
도 88은 본 발명의 실시예에 따른 선택적 피드백에 근거한 도로 모델 관리 방법의 일례를 예시한 순서도이다.
하기의 상세한 설명은 첨부한 도면에 관한 것이다. 가능한 모든 경우에, 도면과 설명에서 동일 또는 유사한 구성요소에 동일한 참조 번호를 사용한다. 여러 예시적인 실시예를 설명하였지만, 다양한 수정, 개조, 구현 등이 가능하다. 예를 들어, 도면에 예시된 구성요소를 치환, 또는 추가, 수정할 수 있고, 설명에 포함된 방법은 단계를 치환하거나 순서를 바꾸거나 추가하여 수정할 수 있다. 따라서, 하기의 상세한 설명은 기재한 실시예와 예시에 국한되지 않고, 본 발명의 청구 범위는 첨부한 청구항에 의해 정의된다.
자율주행차의 개요
본 발명의 설명에서 사용된 "자율주행차"라는 용어는 운전자의 입력 없이 적어도 하나의 주행 변경을 구현할 수 있는 차량을 의미한다. "주행 변경"이란 차량의 조향, 제동, 가속의 하나 이상을 변경하는 것을 의미한다. 차량이 자율이기 위해서는 완전 자동(예, 운전자나 운전자의 입력 없이 완전히 동작)이어야 한다. 반면, 자율주행차는 특정 시간 동안은 운전자의 제어 하에 작동할 수 있고 다른 시간 동안은 운전자의 제어 없이 작동할 수 있는 차량을 포함한다. 자율주행차는 조향(예, 차량 진로의 차선 사이 유지)과 같은 일부 주행 요소만을 제어하고 나머지 요소(예, 제동)는 운전자에게 맡기는 차량도 포함할 수 있다. 일부 경우에, 자율주행차는 차량의 제동 및/또는 속도 제어, 조향의 일부 또는 모든 요소를 처리할 수 있다.
운전자들은 흔히 시각적 신호와 관찰에 의존해 자량을 제어하므로, 교통 인프라는 이에 따라 구축되어, 차선 표시, 교통 표지, 신호등이 모두 운전자들에게 시각 정보를 제공하도록 설계되었다. 교통 인프라의 이러한 설계 특징을 고려하여, 자율주행차는 카메라 및 차량의 주변으로부터 확보한 시각 정보를 분석하는 처리부를 포함할 수 있다. 시각 정보는, 예를 들어, 운전자가 눈으로 확인할 수 있는 교통 인프라의 구성요소(예, 차선 표시, 교통 표지, 신호등 등) 및 기타 장애물(예, 다른 차량, 보행자, 잔해 등)을 포함할 수 있다. 또한, 자율주행차는 주행 시에 차량 주변의 모델을 제공하는 정보와 같은 저장 정보도 사용할 수 있다. 예를 들어, 차량은 이동 중의 차량 환경과 관련된 정보를 제공하기 위하여 GPS 데이터 및/또는 센서 데이터(예, 가속도계, 속력 센서, 서스펜션 센서 등으로부터의 데이터), 기타 지도 데이터를 활용할 수 있고, 차량(다른 차량도 함께)은 이런 정보를 이용하여 차량의 위치를 모델 상에서 알아낼 수 있다.
본 상세한 설명의 일부 실시예에서, 자율주행차는 주행 중 확보한 정보(예, 카메라, GPS 장치, 가속도계, 속력 센서, 서스펜션 센서 등으로부터 수집한 정보)를 사용할 수 있다. 다른 실시예에서, 자율주행차는 차량(또는 다른 차량)이 과거 주행에서 확보한 정보를 사용할 수 있다. 또 다른 실시예에서, 자율주행차는 주행 중에 확보한 정보와 과거 주행에서 확보한 정보를 함께 사용할 수 있다. 하기에는 본 발명의 실시예에 따른 시스템의 개요를 설명한 후, 전방 영상 시스템과 시스템에 따른 방법의 개요를 설명한다. 이후, 자율 주행을 위한 약도(sparse map)를 구축, 사용, 업데이트 하는 시스템과 방법을 기재한다.
시스템 개요
도 1은 본 발명 실시예의 일례에 따른 시스템(100)의 구성도이다. 시스템(100)은 해당 구현의 요구 조건에 따라 다양한 구성 요소를 포함할 수 있다. 일부 실시예에서, 시스템(100)은 처리부(110), 영상획득부(120), 위치센서(120), 하나 이상의 메모리부(140, 150), 지도 데이터베이스(160), 사용자 인터페이스(170), 무선 송수신기(172)를 포함할 수 있다. 처리부(110)는 하나 이상의 처리 장치를 포함할 수 있다. 일부 실시예에서, 처리부(110)는 애플리케이션 프로세서(180), 영상 프로세서(190), 또는 기타 적합한 처리 장치를 포함할 수 있다. 이와 마찬가지로, 영상획득부(120)는 특정 애플리케이션의 요구 조건에 따라 여러 개의 영상 획득 장치 및 소자를 포함할 수 있다. 일부 실시예에서, 영상획득부(120)는 이미지캡처장치(122, 124, 126)와 같은 하나 이상의 이미지캡처장치(예, 카메라)를 포함할 수 있다. 시스템(100)은 또한 처리부(110)와 영상획득부(120)를 서로 통신하도록 연결하는 데이터 인터페이스(128)를 포함할 수 있다. 예를 들어, 데이터 인터페이스(128)는 영상획득부(120)가 획득한 영상 데이터를 처리부(110)로 전송하기 위한 단수 또는 복수의 유선 및/또는 무선 링크를 포함할 수 있다.
무선 송수신기(172)는 무선주파수, 또는 적외선주파수, 자기장, 전기장을 사용하여 무선 인터페이스를 통하여 전파를 하나 이상의 네트워크(예, 이동통신, 인터넷 등)와 주고받도록 구성된 하나 이상의 장치를 포함할 수 있다. 무선 송수신기(172)는 공지의 표준(예, Wi- Fi, Bluetooth®, Bluetooth Smart, 802.15.4, ZigBee 등)을 사용하여 데이터를 송신 및/또는 수신할 수 있다.
애플리케이션 프로세서(180)와 영상 프로세서(190)는 모두 다양한 종류의 처리 장치를 포함할 수 있다. 예를 들어, 애플리케이션 프로세서(180)와 영상 프로세서(190) 중 하나 또는 모두는 마이크로프로세서, 전처리 장치(예, 영상 전처리 장치), 그래픽 처리 장치, 중앙 처리 장치(CPU), 보조 회로, 디지털 신호 처리 장치, 집적 회로, 메모리, 또는 애플리케이션을 실행하고 영상을 처리 및 분석하기에 적합한 유형의 장치를 포함할 수 있다. 일부 실시예에서, 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190)는 단일 또는 멀티 코어 프로세서, 모바일 장치 마이크로컨트롤러, 중앙 처리 장치의 한 종류를 포함할 수 있다. 다양한 처리 장치들이 사용될 수 있으며, 여기에는, 예를 들면, Intel®, AMD® 등과 같은 업체가 제공하는 프로세서들이 포함될 수 있고, 다양한 아키텍처(예, x86 프로세서, ARM® 등)가 포함될 수 있다.
일부 실시예에서, 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190)는 Mobileye®가 제공하는 EyeQ 시리즈의 프로세서 칩을 포함할 수 있다. 이러한 프로세서 설계는 로컬 메모리와 명령 집합을 가진 다중 처리 장치를 포함한다. 이러한 프로세서는 복수의 영상 센서로부터 영상 데이터를 수신하는 비디오 인풋을 포함할 수 있고 비디오 아웃풋 기능도 포함할 수 있다. 일례로, EyeQ2®는 332Mhz로 작동하는 90nm-마이크론 기술을 사용한다. EyeQ2® 아키텍처는 두 개의 부동 소수점(floating point) 하이퍼 스레드(hyper-thread) 32비트 RISC CPU(MIPS32® 34K® cores), 다섯 개의 Vision Computing Engines (VCE), 세 개의 Vector Microcode Processors(VMP® ), Denali 64비트Mobile DDR Controller, 128비트 내부 Sonics Interconnect, 듀얼 16비트 비디오 인풋 및 18비트 비디오 아웃풋 제어 장치, 16 채널 DMA 및 여러 주변 장치로 구성된다. MIPS34K CPU는 다섯 개의 VCE와 세 개의 VMPTM, DMA, 두 번째 MIPS34K CPU, 다중 채널 DMA, 및 기타 주변 장치를 관리한다. 다섯 개의 VCE, 세 개의 VMP® 및 MIPS34K CPU는 다기능 묶음 애플리케이션이 요구하는 집중 영상 연산을 수행할 수 있다. 다른 일례에서, EyeQ2®보다 6배 강력한 3세대 프로세서인 EyeQ3®가 실시예에 사용될 수 있다.
여기에 기재된 처리 장치는 각각 특정한 기능을 수행하도록 구성될 수 있다. 특정한 기능을 수행하도록 상기의 EyeQ 프로세서 또는 기타 제어 장치 또는 마이크로프로세서와 같은 처리 장치를 구성하는 것은 컴퓨터 실행 명령을 프로그램하고 이러한 명령을 처리 장치가 작동하는 동안에 처리 장치에 제공하여 실행하도록 하는 것을 포함할 수 있다. 일부 실시예에서, 처리 장치를 구성하는 것은 구조적 명령으로 처리 장치를 직접 프로그램하는 것을 포함할 수 있다. 다른 실시예에서, 처리 장치를 구성하는 것은 작동 중에 처리 장치에 접속 가능한 메모리에 실행을 위한 명령을 저장하는 것을 포함할 수 있다. 예를 들어, 처리 장치는 작동 중에 메모리에 접속하여 저장된 명령을 획득하고 실행할 수 있다.
도 1에는 두 개의 처리 장치(processing devices)가 처리부(processing unit, 110)에 포함된 것을 예시하였지만, 이보다 많거나 적은 처리 장치가 사용될 수 있다. 예를 들면, 일부 실시예에서, 애플리케이션 프로세서(180)와 영상 프로세서(190)의 작업을 수행하기 위하여 단일 처리 장치를 사용할 수 있다. 다른 실시예에서, 이러한 작업은 2개 이상의 처리 장치를 사용하여 수행될 수 있다. 또한, 일부 실시예에서, 시스템(100)은 하나 이상의 처리부(110)을 포함하되 영상획득부(120) 등과 같은 다른 구성요소를 포함하지 않을 수도 있다.
처리부(110)는 다양한 유형의 장치를 포함할 수 있다. 예를 들어, 처리부(110)는 제어 장치, 영상 전처리 장치, 중앙 처리 장치(CPU), 보조 회로, 디지털 신호 처리 장치, 집적 회로, 메모리, 또는 영상의 처리 및 분석을 위한 기타 유형의 장치 등과 같은 다양한 장치를 포함할 수 있다. 영상 전처리 장치는 영상 센서로부터 영상을 촬영, 디지털화, 처리하기 위한 영상 프로세서를 포함할 수 있다. CPU는 단수 또는 복수의 마이크로컨트롤러 또는 마이크로프로세서를 포함할 수 있다. 보조 회로는 캐시, 전원, 클락, 입/출력 회로 등과 같이 본 발명의 분야에서 일반적으로 공지된 단수 또는 복수의 회로를 포함할 수 있다. 메모리는 처리 장치에 의해 실행될 때 시스템의 동작을 제어하는 소프트웨어를 저장할 수 있다. 메모리는 단수 또는 복수의 RAM(random access memory), ROM(read only memory), 플래시 메모리, 디스크 드라이브, 광 저장 장치, 테이프 저장 장치, 탈착형 저장 장치, 및 기타 유형의 저장 장치를 포함할 수 있다. 일례에서, 메모리는 처리부(110)와 분리되어 있을 수 있다. 다른 예에서, 메모리는 처리부(110)와 일체로 구성될 수 있다.
메모리(140, 150) 각각은 처리 장치(예, 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190))에 의해 실행될 때 시스템(100)의 다양한 측면의 동작을 제어할 수 있는 소프트웨어 명령을 포함할 수 있다. 이러한 메모리 장치는 다양한 데이터베이스 및 영상 처리 소프트웨어를 포함할 수 있다. 이러한 메모리 장치는 RAM, ROM, 플래시 메모리, 디스크 드라이브, 광 저장 장치, 테이프 저장 장치, 탈착형 저장 장치 및/또는 기타 유형의 저장 장치를 포함할 수 있다. 일부 실시예에서, 메모리 장치(140, 150)는 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190)와 분리되어 있을 수 있다. 다른 실시예에서, 이러한 메모리 장치는 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190)와 일체로 구성될 수 있다.
위치센서(130)는 시스템(100)의 적어도 한 구성요소와 연관된 위치를 판단하기에 적합한 유형의 장치를 포함할 수 있다. 일부 실시예에서, 위치센서(130)는 GPS 수신기를 포함할 수 있다. 이러한 수신기는 GPS 위성이 송신하는 신호를 처리하여 사용자의 위치와 속도를 판단할 수 있다. 위치센서(130)로부터의 위치 정보는 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190)로 제공될 수 있다.
일부 실시예에서, 시스템(100)은 차량(200)의 속도를 측정하기 위한 속력 센서(예, 속도계) 및/또는 차량(200)의 가속을 측정하기 위한 가속도계를 포함할 수 있다.
사용자 인터페이스(170)는 시스템(100)의 하나 이상의 사용자에게 정보를 제공하고 사용자로부터 입력을 수신하기 적합한 장치를 포함할 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 예를 들어 터치스크린, 마이크, 키보드, 포인터 장치, 트랙휠, 카메라, 노브, 버튼 등의 사용자 입력 장치를 포함할 수 있다. 이러한 입력 장치는 사용자로 하여금 명령 또는 정보를 타이핑하거나, 음성 명령을 제공하거나, 버튼, 포인터, 또는 눈동자 추적 기능을 사용하여 화면 상의 메뉴를 선택하거나, 시스템(100)과 정보를 교환하기 위한 기타 적합한 기술을 통하여 시스템(100)에 정보 입력 또는 명령을 제공할 수 있게 해준다.
사용자 인터페이스(170)는 사용자에게 정보를 제공하고 사용자로부터 정보를 수신하며 이러한 정보를 예를 들어 애플리케이션 프로세서(180)가 사용하게 처리하도록 구성된 하나 이상의 처리 장치를 구비할 수 있다. 일부 실시예에서, 이러한 처리 장치는 눈동자의 움직임을 인식 및 추적하고, 음성 명령을 수신 및 해석하고, 터치스크린 상의 터치 및/또는 제스처를 인식 및 해석하고, 키보드 입력 또는 메뉴 선택에 응답하는 등을 위한 지시를 수행할 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 디스플레이, 스피커, 촉감 장치, 및/또는 사용자에게 출력 정보를 제공하는 기타 장치를 포함할 수 있다.
지도 데이터베이스(160)는 시스템(100)에서 사용 가능한 지도 데이터를 저장하기 위한 모든 유형의 데이터베이스를 포함할 수 있다. 일부 실시예에서, 지도 데이터베이스(160)는 도로, 하천 지형, 지리적 지형, 사업체, 관심 지점, 식당, 주유소 등의 다양한 항목의 기준 좌표계 상 위치와 관련된 데이터를 포함할 수 있다. 지도 데이터베이스(160)는 이런 항목의 위치뿐만 아니라, 예를 들면, 저장된 지점 관련 명칭 등을 포함하는 설명을 저장할 수 있다. 일부 실시예에서, 지도 데이터베이스(160)는 시스템(100)의 다른 구성요소와 함께 물리적으로 배치될 수 있다. 대안적으로, 또는 추가적으로, 지도 데이터베이스(160) 또는 지도 데이터베이스(160)의 일부는 시스템(100)의 다른 구성요소(예, 처리부(110))에 대하여 원격으로 배치될 수 있다. 이 경우, 지도 데이터베이스(160)로부터의 정보는 네트워크와의 유선 또는 무선 데이터 연결(예, 이동통신망 및/또는 인터넷 등)을 통하여 다운로드 될 수 있다.
이미지캡처장치(122, 124, 126)는 각각 주변 환경으로부터 적어도 하나의 영상을 촬영하기에 적합한 유형의 장치를 포함할 수 있다. 또한, 영상 프로세서로의 입력에 필요한 영상을 촬영하기 위하여 여러 개의 이미지캡처장치를 사용할 수 있다. 일부 실시예는 단일 이미지캡처장치를 포함할 수 있는 반면, 다른 실시예는 두 개, 세 개, 또는 4개 이상의 이미지캡처장치를 포함할 수 있다. 이미지캡처장치(122, 124, 126)는 도 2b 내지 도 2e를 참조하여 하기에 추가로 설명한다.
시스템(100), 혹은 시스템(100)의 다양한 구성요소는 다양한 플랫폼에 구현될 수 있다. 일부 실시예에서, 시스템(100)은, 도 2a에 예시된 바와 같이, 차량(200)에 포함될 수 있다. 예를 들면, 차량(200)에는 도 1에 설명한 처리부(110) 및 시스템(100)의 기타 구성요소가 구비될 수 있다. 일부 실시예의 차량(200)에는 단일 이미지캡처장치(예, 카메라)만 구비될 수 있는 반면, 다른 실시예의 차량에는, 도 2b 내지 2E에 예시된 바와 같이, 여러 개의 이미지캡처장치가 사용될 수 있다. 예를 들어, 도 2a에 예시된 차량(200)의 이미지캡처장치(122, 124)는 첨단 운전자 지원 시스템(Advanced Driver Assistance Systems; ADAS) 영상 세트의 일부일 수 있다.
영상획득부(120)의 일부로서 차량(200)에 포함된 이미지캡처장치는 적합한 장소에 위치될 수 있다. 일부 실시예에서, 도 2a 내지 2E, 3A 내지 3c에 도시된 바와 같이, 이미지캡처장치(122)는 백미러 주위에 배치될 수 있다. 이 위치는 차량(200)의 운전자와 유사한 시선을 제공할 수 있으며, 이에 따라 운전자에게 보이는 것과 보이지 않는 것을 판단하는데 도움이 될 수 있다. 이미지캡처장치(122)는 백미러 주변의 임의의 위치에 배치될 수 있지만, 백미러의 운전자 측에 이미지캡처장치(122)를 배치하면 운전자의 시야 및/또는 시선을 나타내는 영상을 획득하는데 더욱 도움이 될 수 있다.
영상획득부(120)의 이미지캡처장치는 다른 위치에 배치될 수도 있다. 예를 들면, 이미지캡처장치(124)는 차량(200)의 범퍼 내부 또는 상에 배치될 수 있다. 이런 위치는 광시야를 가진 이미지캡처장치에 특히 적합할 수 있다. 범퍼에 위치한 이미지캡처장치의 시선은 운전자의 시선과 다를 수 있기 때문에 범퍼에 위치한 이미지캡처장치와 운전자는 항상 같은 대상을 보는 것이 아닐 수 있다. 이미지캡처장치(예, 122, 124, 126)는 또한 다른 위치에 배치될 수 있다. 예를 들어, 이미지캡처장치는 차량(200)의 일측 또는 양측의 사이드 미러 상 또는 내부에, 차량(200)의 지붕 상에, 차량(200)의 보닛 상에, 차량(200)의 측면에, 차량(200)의 윈도우 상, 후면 또는 전면에, 차량(200)의 전면 및/또는 후면 등화장치 상에 또는 주변 등의 위치에 배치될 수 있다.
차량(200)은 이미지캡처장치 외에도 시스템(100)의 다양한 기타 구성요소를 포함할 수 있다. 예를 들면, 처리부(110)는 차량(200)의 엔진제어장치(engine control unit, ECU)와 일체 또는 분리된 형태로 차량(200)에 포함될 수 있다. 차량(200)은 또한 GPS 수신기 등과 같은 위치센서(130), 지도 데이터베이스(160), 메모리부(140, 150)도 포함할 수 있다.
앞서 설명한 바와 같이, 무선 송수신기(172)는 하나 이상의 네트워크(예, 이동통신망, 인터넷 등)를 통하여 데이터를 송신 및/또는 수신할 수 있다. 예를 들어, 무선 송수신기(172)는 시스템(100)이 수집한 데이터를 하나 이상의 서버로 업로드하고 하나 이상의 서버로부터 데이터를 다운로드할 수 있다. 시스템(100)은 무선 송수신기(172)를 통하여, 예를 들어, 지도 데이터베이스(160) 및/또는 메모리(140, 150)에 저장된 데이터의 주기적 또는 일시적 업데이트를 수신할 수 있다. 마찬가지로, 무선 송수신기(172)는 시스템(100)의 데이터(예, 영상획득부(120)가 촬영한 영상, 위치센서(130), 기타 센서, 또는 차량 제어 시스템이 수신한 데이터 등) 및/또는 처리부(110)에 의해 처리된 데이터를 하나 이상의 서버에 업로드할 수 있다.
시스템(100)은 개인정보보호 설정에 근거하여 서버(예, 클라우드)로 데이터를 업로드할 수 있다. 예를 들면, 시스템(100)은 개인정보보호 설정을 실행하여 서버로 보내지는 차량과 차량의 운전자/소유자를 개별적으로 확인해주는 데이터(메타데이터 포함)의 유형을 규제 또는 제한할 수 있다. 이런 설정은 예를 들어 사용자에 의해 무선 송수신기(172)를 통해 설정되거나, 공장설정으로 초기화되거나, 무선 송수신기(172)가 수신한 데이터에 의해 설정될 수 있다.
일부 실시예에서, 시스템(100)은 "높은" 개인정보보호 수준에 의거하여 데이터를 업로드할 수 있으며, 이렇게 설정하면 시스템(100)은 특정 차량 및/또는 운전자/소유자 정보 없이 데이터(예, 경로 관련 위치정보, 촬영 영상 등)를 전송할 수 있다. 예를 들어, "높은" 개인정보보호 수준에 의거하여 데이터를 업로드할 경우, 시스템(100)은 차대번호 또는 차량 운전자 또는 소유자의 이름을 포함하지 않을 수 있고, 그대신 촬영 영상 및/또는 경로와 관련된 제한된 위치 정보 등의 데이터를 전송할 수 있다.
다른 개인정보보호 수준도 가능하다. 예를 들어, 시스템(100)은 "중간" 개인정보보호 수준에 의거하여 서버로 데이터를 전송할 수 있으며, 이 경우, "높은" 개인정보보호 수준 하에서 포함되지 않은 차량의 제조사 및/또는 모델 및/또는 차량 종류(예, 승용차, SUV, 트럭 등) 등의 추가 정보를 포함할 수 있다. 일부 실시예에서, 시스템(100)은 "낮은" 개인정보보호 수준에 의거하여 데이터를 업로드할 수 있다. "낮은" 개인정보보호 수준 하에서, 시스템(100)은 개별 차량, 소유자/운전자, 및/또는 차량이 이동한 전체 또는 일부 경로 등을 특정할 수 있는 정보를 포함하는 데이터를 업로드할 수 있다. 이러한 "낮은" 개인정보보호 수준 데이터는 예를 들어, 차대번호, 운전자/소유자 이름, 차량의 출발점, 차량의 목적지, 차량의 제조사 및/또는 모델, 차량의 종류 등을 포함할 수 있다.
도 2a는 본 발명의 실시예에 따른 차량 영상 시스템의 일례의 측면도이다. 도 2b는 도 2a에 도시된 실시예의 평면도이다. 도 2b에 도시된 바와 같이, 본 실시예에 따른 차량(200)은 백미러 주변 및/또는 운전자 가까이 배치된 제1 이미지캡처장치(122), 범퍼 영역(예, 범퍼 영역(210)의 일 영역) 상 또는 내부에 배치된 제2 이미지캡처장치(124), 및 처리부(110)을 구비한 시스템(100)을 본체 내부에 포함한다.
도 2c에 도시된 바와 같이, 이미지캡처장치(122, 124)는 모두 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있다. 또한, 도 2b와 2c에는 이미지캡처장치(122, 124)가 두 개로 예시되었지만, 다른 실시예에서는 세 개 이상의 이미지캡처장치가 포함될 수 있음은 당연할 것이다. 예를 들어, 도 2d와 2e에 도시된 실시예에서는, 제1, 제2, 제3 이미지캡처장치(122, 124, 126)가 차량(200)의 시스템(100)에 포함되어 있다.
도 2d에 도시된 바와 같이, 이미지캡처장치(122)는 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있고, 이미지캡처장치(124, 126)는 차량(200)의 범퍼 영역(예, 범퍼 영역(210)의 일 영역) 상 또는 내부에 배치될 수 있다. 또한, 도 2e에 도시된 바와 같이, 이미지캡처장치(122, 124, 126)는 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있다. 본 실시예는 특정 수량 및 구성의 이미지캡처장치에 제한되지 않고, 이미지캡처장치는 차량의 내부 및/또는 상의 적절한 모든 위치에 배치될 수 있다.
기재한 실시예들은 차량에 한정되는 것이 아니라 당연히 다른 상황에도 적용될 수 있다. 또한, 기재한 실시예들은 특정 유형의 차량(200)에 한정되는 것이 아니라, 당연히 자동차, 트럭, 트레일러, 및 기타 유형의 차량 등, 모든 유형의 차량에 적용될 수 있다.
제1 이미지캡처장치(122)는 적합한 유형의 이미지캡처장치를 포함할 수 있다. 이미지캡처장치(122)는 광축을 포함할 수 있다. 일례에서, 이미지캡처장치(122)는 글로벌 셔터 방식의 Aptina M9V024 WVGA 센서를 포함할 수 있다. 다른 실시예에서, 이미지캡처장치(122)는 1280x960 픽셀의 해상도를 제공하고 롤링 셔터 방식을 포함할 수 있다. 이미지캡처장치(122)는 다양한 광학 소자를 포함할 수 있다. 일부 실시예에서, 하나 이상의 렌즈를 포함하여 이미지캡처장치가 요구하는 초점거리 및 시야 등을 제공할 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 6mm 렌즈 또는 12mm 렌즈와 결합될 수 있다. 일부 실시예에서, 이미지캡처장치(122)는, 도 2d에 도시된 바와 같이, 필요한 시야(202)를 확보하도록 구성될 수 있다. 예를 들면, 이미지캡처장치(122)는, 46도 시야, 50도 시야, 52도 또는 그 이상의 시야 등과 같은, 40 내지 56도 범위의 일반 시야를 확보하도록 구성될 수 있다. 또는, 이미지캡처장치(122)는, 28도 시야 또는 36도 시야 등과 같은, 23 내지 40도 범위의 좁은 시야를 확보하도록 구성될 수 있다. 또한, 이미지캡처장치(122)는 100 내지 180도 범위의 넓은 시야를 확보하도록 구성될 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 광각 범퍼 카메라 또는 180도 시야까지 확보 가능한 카메라를 포함할 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 약 2:1(예, HxV=3800x1900 픽셀)의 종횡비와 약 100도의 수평 시야를 가진 7.2 메가 픽셀 이미지캡처장치일 수 있다. 이러한 이미지캡처장치는 3개의 이미지캡처장치 구성을 대신할 수 있다. 방사상으로 대칭인 렌즈를 사용하는 이러한 이미지캡처장치의 수직 시야는 렌즈 왜곡으로 인하여 50도 이하로 구현될 수 있다. 예를 들어, 방사상으로 비대칭인 렌즈를 사용하여 수평 시야가 100도인 경우에 수직 시야가 50도 이상이 되게 할 수 있다.
제1 이미지캡처장치(122)는 차량(200)과 관련된 장면에 대한 복수의 제1 영상을 획득할 수 있다. 복수의 제1 영상 각각은 롤링 셔터를 사용하여 촬영된 연속 주사선으로 획득될 수 있다. 각 주사선은 복수의 픽셀을 포함할 수 있다.
제1 이미지캡처장치(122)는 제1 연속 주사선 획득 관련 주사율을 가질 수 있다. 주사율이란 영상 센서가 특정 주사선에 포함된 각 픽셀과 관련된 영상 데이터를 획득하는 속도를 의미할 수 있다.
이미지캡처장치(122, 124, 126)는, 예를 들어, CCD 센서 또는 CMOS 센서와 같은, 적합한 유형과 개수의 영상 센서를 포함할 수 있다. 일 실시예에서, 롤링 셔터 방식의 CMOS 영상 센서를 도입하여 한 열의 각 픽셀을 하나씩 읽고, 전체 영상 프레임이 캡처될 때까지 열별로 주사가 진행될 수 있다. 일부 실시예에서, 프레임에 대하여 각 열이 위에서 아래로 순차적으로 캡처될 수 있다.
일부 실시예에서, 여기에 기재된 하나 이상의 이미지캡처장치(122, 124, 126)는 고해상 영상을 구성하고 5메가, 7메가, 10메가 또는 그 이상의 픽셀의 해상도를 가질 수 있다.
롤링 셔터를 사용하면, 서로 다른 열의 픽셀이 서로 다른 시간에 노출되고 촬영될 수 있어서, 촬영된 영상 프레임에 왜곡(skew)과 기타 영상 결함(artifact)이 나타날 수 있다. 반면, 이미지캡처장치(122)가 글로벌 셔터 방식 또는 동기화 셔터(synchronous shutter) 방식으로 작동하도록 구성된 경우, 모든 픽셀은 동일 시간만큼 그리고 일반적인 노출 시간 동안 노출될 수 있다. 그 결과, 글로벌 셔터 방식을 적용한 시스템에서 수집된 프레임의 영상 데이터는 특정 시간의 전체 시야(예, 202)의 스냅샷을 나타낸다. 반면, 롤링 셔터 방식에서는, 서로 다른 시간에 한 프레임의 각 열이 노출되고 데이터가 수집된다. 따라서, 롤링 셔터 방식 이미지캡처장치의 영상 내의 움직이는 물체는 왜곡돼 보일 수 있다. 이 현상에 대해서는 하기에서 더 자세히 설명한다.
제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 적합한 유형의 이미지캡처장치일 수 있다. 제1 이미지캡처장치(122)와 마찬가지로, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 광축을 포함할 수 있다. 일 실시예에서, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 글로벌 셔터 방식의 Aptina M9V024 WVGA 센서를 포함할 수 있다. 또는, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 롤링 셔터 방식을 포함할 수 있다. 제1 이미지캡처장치(122)와 마찬가지로, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 다양한 렌즈와 광학 소자를 포함하도록 구성될 수 있다. 일부 실시예에서, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)와 관련된 렌즈는 제1 촬영 장치(122)와 관련된 시야(예, 122)와 동일하거나 이보다 좁은 시야(204, 206)을 제공할 수 있다. 예를 들어, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)의 시야는 각각 40도, 30도, 26도, 20도, 또는 그 이하일 수 있다.
제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 차량(200)과 관련된 장면에 대한 복수의 제2 및 제3 영상을 획득할 수 있다. 복수의 제2 및 제3 영상 각각은 롤링 셔터를 사용하여 촬영된 제2 및 제3 연속 주사선으로 획득될 수 있다. 각 주사선 또는 열은 복수의 픽셀을 포함할 수 있다. 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 제2 및 제3 연속 주사선 획득 관련 제2 및 제3 주사율을 가질 수 있다.
이미지캡처장치(122, 124, 126)는 각각 차량(200)의 적합한 위치와 자세로 배치될 수 있다. 이미지캡처장치(122, 124, 126)의 상대적 배치는 이미지캡처장치로부터 획득된 정보의 융합이 용이하도록 선택될 수 있다. 예를 들어, 일부 실시예에서, 제2 이미지캡처장치(124)의 시야(예, 204)는 제1 이미지캡처장치(122)의 시야(예, 202) 및 제3 이미지캡처장치(126)의 시야(예, 206)와 부분적으로 또는 완전히 겹칠 수도 있다.
이미지캡처장치(122, 124, 126)는 차량(200)의 적합한 상대 높이에 배치될 수 있다. 일례에서, 이미지캡처장치(122, 124, 126) 사이의 높이에 차이를 두어 입체 분석을 가능하게 하는 시차 정보를 제공할 수 있다. 예를 들면, 도 2a에 도시된 바와 같이, 이미지캡처장치(122)와 이미지캡처장치(124)는 서로 높이가 다르다. 이미지캡처장치(122, 124, 126) 사이에 횡방향 변위도 있어 처리부(110) 등에 의한 입체 분석을 위한 추가 시차 정보도 제공할 수 있다. 도 2c와 도 2d에 도시된 바와 같이, 횡방향 변위의 차이는 dx로 표시될 수 있다. 일부 실시예에서, 이미지캡처장치(122, 124, 126) 사이에 전방 또는 후방 변위(예, 범위 변위)가 있을 수 있다. 예를 들어, 이미지캡처장치(122)는 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 0.5 내지 2미터 후방에 배치될 수 있다. 이런 유형의 변위로 인해, 이미지캡처장치 중 하나가 나머지 이미지캡처장치의 사각 지대를 보완할 수 있다.
이미지캡처장치(122)는 적합한 해상도(예, 영상 센서 관련 픽셀 수)를 가질 수 있고, 이미지캡처장치(122)와 연관된 영상 센서의 해상도는 이미지캡처장치(124, 126)와 연관된 영상 센서의 해상도와 비교하여 높거나, 낮거나, 같을 수 있다. 일부 실시예에서, 이미지캡처장치(122) 및/또는 이미지캡처장치(124, 126)와 연관된 영상 센서의 해상도는 640 x 480, 1024 x 768, 1280 x 960, 또는 기타 적합한 해상도일 수 있다.
프레임 속도(frame rate, 즉, 이미지캡처장치가 다음 영상 프레임의 픽셀 데이터를 획득하기 위해 넘어가기 전에 한 영상 프레임의 픽셀 데이터 집합을 획득하는 속도)는 제어 가능하다. 이미지캡처장치(122)의 프레임 속도는 이미지캡처장치(124, 126)의 프레임 속도보다 높거나, 낮거나, 같을 수 있다. 이미지캡처장치(122, 124, 126)의 프레임 속도는 프레임 속도의 타이밍에 영향을 주는 다양한 요소에 의거할 수 있다. 예를 들면, 하나 이상의 이미지캡처장치(122, 124, 126)는 탑재한 영상 센서의 하나 이상의 픽셀 관련 영상 데이터를 획득하기 전 또는 후에 부과되는 선택적 픽셀 지연 기간(selectable pixel delay period)을 포함할 수 있다. 일반적으로, 각 픽셀에 상응하는 영상 데이터는 해당 장치의 클락 속도(clock rate)에 의거하여(예, 클락 주파수(clock cycle) 당 1 픽셀) 획득된다. 또한, 롤링 셔터 방식을 포함하는 실시예에서, 하나 이상의 이미지캡처장치(122, 124, 126)는 탑재한 영상 센서의 한 열의 픽셀 관련 영상 데이터를 획득하기 전 또는 후에 부과되는 선택적 수평 귀선 기간(selectable horizontal blanking period)을 포함할 수 있다. 나아가, 하나 이상의 이미지캡처장치(122, 124, 126)는 영상 프레임 관련 영상 데이터를 획득하기 전 또는 후에 부과되는 선택적 수직 귀선 기간(selectable vertical blanking period)을 포함할 수 있다
이러한 타이밍 제어로 인해, 이미지캡처장치(122, 124, 126)의 선주사 속도가 서로 다른 경우에도 이미지캡처장치(122, 124, 126)의 프레임 속도의 동기화가 가능하다. 또한, 하기에 더 자세히 설명하겠지만, 여러 요소(예, 영상 센서 해상도, 최고 선주사 속도 등) 중에서 이러한 타이밍 제어로 인해, 이미지캡처장치(122)의 시야가 이미지캡처장치(124, 126)의 시야와 다른 경우에도, 이미지캡처장치(122)의 시야와 이미지캡처장치(124, 126)의 하나 이상의 시야가 겹치는 영역으로부터 촬영된 영상의 동기화가 가능할 수 있다.
이미지캡처장치(122, 124, 126)의 프레임 속도 타이밍은 상응하는 영상 센서의 해상도에 의거할 수 있다. 예를 들어, 두 장치의 선주사 속도가 유사하다고 가정할 때, 한 장치의 영상 센서의 해상도가 640 X 480이고 다른 장치의 영상 센서의 해상도가 1280 X 960일 경우, 높은 해상도를 가진 센서로부터 영상 데이터의 프레임을 획득하는데 더 많은 시간이 걸릴 것이다.
이미지캡처장치(122, 124, 126)의 영상 데이터 획득 타이밍에 영향을 주는 또다른 요소는 최고 선주사 속도(maximum line scan rate)이다. 예를 들면, 이미지캡처장치(122, 124, 126)에 포함된 영상 센서로부터 한 열의 영상 데이터를 획득하려면 최소 시간 이상이 걸릴 수 있다. 픽셀 지연 기간이 추가되지 않았다고 가정할 때, 한 열의 영상 데이터를 획득하기 위한 최저 시간은 특정 장치의 최고 선주사 속도와 관계가 있을 것이다. 최고 선주사 속도가 높은 장치는 최고 선주사 속도가 낮은 장치보다 높은 프레임 속도를 제공할 가능성이 있다. 일부 실시예에서, 하나 이상의 이미지캡처장치(124, 126)의 최고 선주사 속도는 이미지캡처장치(122)의 최고 선주사 속도보다 높을 수 있다. 일부 실시예에서, 이미지캡처장치(124 및/또는 126)의 최고 선주사 속도는 이미지캡처장치(122)의 최고 선주사 속도보다 1.25배, 1.5배, 1.75배, 2배, 또는 그 이상 높을 수 있다.
다른 실시예에서, 이미지캡처장치(122, 124, 126)의 최고 선주사 속도는 모두 동일하지만, 이미지캡처장치(122)는 최고 주사 속도 이하의 주사 속도로 동작할 수 있다. 시스템은 하나 이상의 이미지캡처장치(124, 126)가 이미지캡처장치(122)의 선주사 속도와 동일한 선주사 속도로 동작하도록 구성될 수 있다. 다른 예에서, 시스템은 이미지캡처장치(124 및/또는 126)의 선주사 속도가 이미지캡처장치(122)의 선주사 속도보다 1.25배, 1.5배, 1.75배, 2배, 또는 그 이상 높도록 구성될 수 있다
일부 실시예에서, 이미지캡처장치(122, 124, 126)는 비대칭일 수 있다. 즉, 이미지캡처장치(122, 124, 126)는 시야와 초점거리가 서로 다른 카메라를 포함할 수 있다. 이미지캡처장치(122, 124, 126)의 시야는 차량(200)의 주변 등과 관련된 필요 영역을 포함할 수 있다. 일부 실시예에서, 하나 이상의 이미지캡처장치(122, 124, 126)는 차량(200)의 전방, 후방, 측방, 또는 그 조합의 환경으로부터 영상 데이터를 획득하도록 구성될 수 있다.
또한, 각 장치가 차량(200)에 대한 특정 거리 범위에 있는 물체의 영상을 획득하도록 각 이미지캡처장치(122, 124, 126)의 초점거리가 선택될(예, 적합한 렌즈 적용) 수 있다. 예를 들어, 일부 실시예에서, 이미지캡처장치(122, 124, 126)는 차량으로부터 몇 미터 내에 있는 물체의 클로즈업 영상을 획득할 수 있다. 이미지캡처장치(122, 124, 126)는 차량으로부터 멀리 떨어진 범위(예, 25m, 50m, 100m, 150m, 또는 그 이상)에 있는 물체의 영상을 획득하도록 구성될 수도 있다. 또한, 한 이미지캡처장치(예, 122)는 차량과 상대적으로 가까운(예, 10m 또는 20m 이내) 물체의 영상을 획득하고 나머지 이미지캡처장치(예, 124, 126)는 이보다 멀리 있는(예, 20m, 50m, 100m, 150m 이상) 물체의 영상을 획득하도록 이미지캡처장치(122, 124, 126)의 초점거리가 선택될 수 있다.
일부 실시예에 의하면, 하나 이상의 이미지캡처장치(122, 124, 126)의 시야는 광각일 수 있다. 예를 들면, 차량(200) 주변 영역의 영상을 획득하기 위해 사용되는 이미지캡처장치(122, 124, 126)의 시야는 140도일 경우가 유리할 수 있다. 예를 들어, 이미지캡처장치(122)는 차량(200)의 우측 또는 좌측 영역의 영상을 촬영하기 위해 사용될 수 있고, 이런 환경에서 이미지캡처장치(122)는 넓은 시야(예, 140도 이상)를 가지는 것이 바람직할 수 있다.
이미지캡처장치(122, 124, 126)의 시야는 각 초점거리에 의거할 수 있다. 예를 들어, 초점거리가 증가하면, 이에 상응하는 시야는 감소한다.
이미지캡처장치(122, 124, 126)는 적합한 시야를 가지도록 구성될 수 있다. 일례에서, 이미지캡처장치(122)의 수평 시야는 46도이고, 이미지캡처장치(124)의 수평 시야는 23도이며, 이미지캡처장치(126)의 수평 시야는 23도 내지 46도일 수 있다. 다른 예에서, 이미지캡처장치(122)의 수평 시야는 52도이고, 이미지캡처장치(124)의 수평 시야는 26도이며, 이미지캡처장치(126)의 수평 시야는 26도 내지 52도일 수 있다. 일부 실시예에서, 이미지캡처장치(122)의 시야 대 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 시야 비율은 1.5 내지 2.0일 수 있다. 다른 실시예에서, 이 비율은 1.25 내지 2.25일 수 있다.
시스템(100)은 이미지캡처장치(126)의 일부 또는 전체 시야가 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 시야와 겹치도록 구성될 수 있다. 일부 실시예에서, 시스템(100)은 이미지캡처장치(124, 126)의 시야가 이미지캡처장치(126)의 시야의 중심에 들어가고(예를 들어, 시야가 좁은 경우) 중심이 서로 맞도록 구성될 수 있다. 다른 실시예에서, 이미지캡처장치(122, 124, 126)는 인접하는 시야를 촬영하거나 인접하는 시야와 부분적으로 겹칠 수 있다. 일부 실시예에서, 이미지캡처장치(122, 124, 126)의 시야는 시야가 좁은 이미지캡처장치(124 및/또는 126)의 중심이 시야가 넓은 이미지캡처장치(122)의 시야의 하부에 배치되도록 정렬될 수 있다.
도 2f는 본 발명의 실시예에 따른 자동차 제어 시스템의 일례의 개략도이다. 도 2f에 도시된 바와 같이, 차량(200)은 구동 시스템(220), 제동 시스템(230), 조향 시스템(240)을 포함할 수 있다. 시스템(100)은 하나 이상의 데이터 링크(예, 데이터 송신용 유선 및/또는 무선 링크)를 통하여 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로 입력(예, 제어신호)을 제공할 수 있다. 예를 들어, 이미지캡처장치(122, 124, 126)가 획득한 영사의 분석에 근거하여, 시스템(100)은 차량(200)을 주행(예, 가속, 회전, 차선 변경 등)하기 위한 제어 신호를 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로 제공할 수 있다. 또한, 시스템(100)은 차량(200)의 작동 상황(예, 속도, 제동 및/또는 회전 여부 등)을 나타내는 입력을 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로부터 수신할 수 있다. 이에 대하여는 도 4 내지 7을 참조하여 하기에 자세히 설명한다.
도 3a에 도시된 바와 같이, 차량(200)은 또한 차량(200)의 운전자 또는 탑승자와 상호 작용하기 위한 사용자 인터페이스(170)을 포함한다. 예를 들어, 차량에 적용된 사용자 인터페이스(170)는 터치스크린(320), 다이얼(330), 버튼(340), 마이크(350)를 포함할 수 있다. 차량(200)의 운전자 혹은 탑승자는 또한 손잡이(예, 차량의 조향축 상 또는 주위에 배치된 방향등 손잡이 등), 버튼(예, 차량의 조향 핸들에 배치된 버튼 등) 등을 사용하여 시스템(100)과 상호 작용할 수도 있다. 일부 실시예에서, 마이크(350)는 백미러(310)에 인접하여 배치될 수 있다. 이와 유사하게, 일부 실시예에서, 이미지캡처장치(122)는 백미러(310) 부근에 배치될 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 또한 하나 이상의 스피커(360: 예, 차량 오디오 시스템의 스피커)도 포함할 수 있다. 예를 들어, 시스템(100)은 스피커(360)를 통하여 다양한 안내(예, 경보)를 제공할 수 있다.
도 3b 내지 3D는 본 발명의 실시예에 따른 백미러(예, 310) 뒤의 차량 전면 유리에 위치되도록 구성된 카메라 마운트(370)의 일례이다. 도 3b에 도시된 바와 같이, 카메라 마운트(370)은 이미지캡처장치(122, 124, 126)를 포함할 수 있다. 이미지캡처장치(124, 126)는, 차량 전면 유리에 맞닿아 있고 필름 및/또는 반사 방지 물질의 구조를 포함하는, 눈부심 가림막(380) 후면에 배치될 수 있다. 예를 들어, 눈부심 가림막(380)은 차량 전면 유리에 상응하는 기울기를 가지고 차량 전면 유리에 대해 정렬되도록 배치될 수 있다. 일부 실시예에서, 각 이미지캡처장치(122, 124, 126)는 도 3d에 도시된 바와 같이 눈부심 가림막(380)의 후면에 배치될 수 있다. 여기에 기재된 실시예들은 어느 특정한 구성의 이미지캡처장치(122, 124, 126), 카메라 마운트(370), 눈부심 가림막(380)으로 한정되지 않는다. 도 3c는 도 3b에 도시된 카메라 마운트(370)을 정면에서 바라본 예시이다.
상기 실시예들은 다양한 변형 및/또는 수정이 가능함을 본 발명의 당업자는 이해할 것이다. 예를 들어, 시스템(100)의 동작을 위하여 모든 구성요소가 반드시 필요한 것은 아니다. 또한, 기재된 실시예들의 기능을 제공하면서, 어느 구성요소라도 시스템(100)의 적합한 부분에 배치할 수 있으며, 구성요소들은 다양한 구성으로 재배치할 수 있다. 따라서, 상기 구성들은 예시에 불과하고, 시스템(100)은 상기 구성들과 무관하게 광범위한 기능을 제공하여 차량(200)의 주변환경을 분석하고 이 분석에 대응하여 차량(200)을 주행할 수 있다.
하기의 설명과 본 발명의 다양한 실시예에 따라, 시스템(100)은 자율 주행 및/또는 운전자 보조 기술과 관련된 다양한 특징을 제공할 수 있다. 예를 들면, 시스템(100)은 영상 데이터, 위치 데이터(예, GPS 위치 정보), 지도 데이터, 속도 데이터, 및/또는 차량(200)에 포함된 센서들로부터의 데이터를 분석할 수 있다. 시스템(100)은 분석할 데이터를, 예를 들어, 영상획득부(120), 위치센서(130), 및 기타 센서들로부터 수집할 수 있다. 또한, 시스템(100)은 수집한 데이터를 분석하여 차량(200)이 특정 동작을 수행해야 할지 여부를 판단한 후, 판단한 동작을 인간의 개입 없이 자동으로 수행할지 여부를 판단할 수 있다. 예를 들어, 차량(200)이 인간의 개입 없이 주행하는 경우, 시스템(100)은 차량(200)의 제동, 가속, 및/또는 조향을 자동으로 제어(예, 구동 시스템(220), 제동 시스템(230), 조향 시스템(240)의 하나 이상에 제어신호를 전송)할 수 있다. 또한, 시스템(100)은 수집된 데이터를 분석하고 이 분석 결과에 따라 차량 탑승자들에게 주의 및/또는 경보를 제공할 수 있다. 시스템(100)이 제공하는 다양한 실시예들에 관해서는 하기에 추가로 설명한다.
전방 다중 영상 시스템
상기에 설명한 바와 같이, 시스템(100)은 다중 카메라 시스템을 사용하는 운전 지원 기능을 제공할 수 있다. 다중 카메라 시스템은 차량의 전방을 향하는 하나 이상의 카메라를 사용할 수 있다. 다른 실시예에서, 다중 카메라 시스템은 차량의 측방 또는 후방을 향하는 하나 이상의 카메라를 포함할 수 있다. 예를 들어, 일 실시예에서, 시스템(100)은 이중 카메라 영상 시스템을 사용하여, 제1 카메라와 제2 카메라(예, 이미지캡처장치(122, 124))가 차량(200)의 전방 및/또는 측방에 배치될 수 있다. 제1 카메라의 시야는 제2 카메라의 시야보다 넓거나, 좁거나, 부분적으로 겹칠 수 있다. 뿐만 아니라, 제1 카메라는 제1 영상 프로세서와 연결되어 제1 카메라가 제공한 영상의 단안 영상 분석을 수행하고, 제2 카메라는 제2 영상 프로세서와 연결되어 제2 카메라가 제공한 영상의 단안 영상 분석을 수행할 수 있다. 제1 및 제2 영상 프로세서의 출력(예, 처리된 정보)은 합쳐질 수 있다. 일부 실시예에서, 제2 영상 프로세서는 제1 및 제2 카메라 모두로부터 영상을 수신하여 입체 분석을 수행할 수 있다. 다른 실시예에서, 시스템(100)은 각 카메라의 시야가 서로 다른 3중 카메라 영상 시스템을 사용할 수 있다. 따라서, 이런 시스템은 차량의 전방 및 측방의 다양한 거리에 위치한 물체로부터 얻은 정보에 근거한 판단을 내릴 수 있다. 단안 영상 분석이란 단일 시야로부터 촬영한 영상(예, 단일 카메라에서 촬영한 영상)에 근거하여 영상 분석을 수행하는 경우를 말할 수 있다. 입체 영상 분석이란 하나 이상의 영상 촬영 파라미터로 촬영한 두개 이상의 영상에 근거하여 영상 분석을 수행하는 경우를 말할 수 있다. 예를 들면, 입체 영상 분석에 적합한 촬영 영상은 둘 이상의 위치로부터 촬영한 영상, 서로 다른 시야로부터 촬영한 영상, 서로 다른 초점 거리를 사용하여 촬영한 영상, 시차 정보에 따라 촬영한 영상 등을 포함할 수 있다.
예를 들어, 일 실시예에서, 시스템(100)은 이미지캡처장치(122-126)을 사용하여 3중 카메라 구성을 구현할 수 있다. 이런 구성에서, 이미지캡처장치(122)는 좁은 시야(예, 34도, 또는 약 20 내지 45도 범위에서 선택한 시야)를 제공할 수 있고, 이미지캡처장치(124)는 광시야(예, 150도 또는 약 100 내지 180도 범위에서 선택한 시야)를 제공할 수 있으며, 이미지캡처장치(126)는 중간 시야(예, 46도 또는 약 35 내지 60도 범위에서 선택한 시야)를 제공할 수 있다. 일부 실시예에서, 이미지캡처장치(126)는 주 카메라 역할을 할 수 있다. 이미지캡처장치(122-126)는 백미러(310) 후면에 배치되고 실질적으로 서로 나란히(예, 6cm 간격으로) 배치될 수 있다. 또한, 상기에 설명한 바와 같이, 일부 실시예에서, 하나 이상의 이미지캡처장치(122-126)는 차량(200)의 전면 유리에 맞닿아 있는 눈부심 가림막(380) 뒤에 탑재될 수 있다. 이러한 가림막은 차량 내부로부터의 반사가 이미지캡처장치(122-126)에 끼치는 영향을 최소화할 수 있다.
다른 실시예에서, 상기에 도 3b 내지 3c를 참조하여 설명한 바와 같이, 광시야 카메라(예, 상기 예에서의 이미지캡처장치(124))는 좁은 시야 카메라와 주 시야 카메라(예, 상기 예에서의 이미지캡처장치(122, 126)보다 낮은 위치에 탑재될 수 있다. 이런 구성은 광시야 카메라로부터 탁 트인 시선을 제공할 수 있다. 반사를 줄이기 위하여, 카메라들은 차량(200)의 전면 유리 가까이 탑재될 수 있고, 반사광을 완화하기 위하여 편광판을 포함할 수 있다.
3중 카메라 시스템은 특정 성능을 제공할 수 있다. 예를 들면, 일부 실시예는 한 카메라가 감지한 물체에 대해 다른 카메라의 감지 결과에 근거하여 검증하는 능력을 포함할 수 있다. 상기에 설명한 3중 카메라 구성에서, 처리부(110)는 예를 들어 3개의 처리 장치(예, 3개의 EyeQ 시리즈 프로세서 칩)를 포함하고, 각 처리 장치는 하나 이상의 이미지캡처장치(122-126)가 촬영한 영상을 전용으로 처리할 수 있다.
3중 카메라 시스템에서, 제1 처리 장치는 주 카메라와 좁은 시야 카메라로부터 영상을 수신하고, 좁은 시야 카메라의 영상 처리를 수행하여, 예를 들어, 다른 차량, 보행자, 차선 표시, 교통 표지, 신호등, 기타 도로 상의 물체 등을 감지할 수 있다. 나아가, 제1 처리 장치는 주 카메라와 좁은 시야 카메라 사이의 픽셀 차이를 산출하여 차량(200) 주변 환경의 3차원 재구성을 생성한 후, 3차원 재구성을 3차원 지도 데이터 또는 다른 메라로부터 수신한 정보에 근거하여 계산한 3차원 정보와 조합할 수 있다.
제2 처리 장치는 주 카메라로부터 영상을 수신하고, 영상 처리를 수행하여 다른 차량, 보행자, 차선 표시, 교통 표지, 신호등, 기타 도로 상의 물체 등을 감지할 수 있다. 뿐만 아닐, 제2 처리 장치는 카메라 변위를 계산하고, 계산된 변위에 근거하여 연속된 영상 사이의 픽셀 차이를 계산하여 장면(예, 동작의 구조)의 3차원 재구성을 생성할 수 있다. 제2 처리 장치는 3차원 재구성에 근거한 동작의 구조를 제1 처리 장치에 전송하여 3차원 입체 영상과 조합할 수 있다.
제3 처리 장치는 광시야 카메라로부터 영상을 수신하고 영상을 처리하여 차량, 보행자, 차선 표시, 교통 표지, 기타 도로 상의 물체 등을 감지할 수 있다. 제3 처리 장치는 또한 영상 분석을 위한 추가 처리 명령을 수행하여 차선을 변경하는 차량, 보행자 등과 같은 움직이는 물체를 식별할 수 있다.
일부 실시예에서, 영상 기반 정보의 스트림을 독립적으로 확보하고 처리함으로써, 시스템 상의 중복성을 제공할 수 있다. 여기서, 중복성은, 예를 들면, 제1 이미지캡처장치와 이 장치로부터 처리된 영상을 사용하여 적어도 제2 이미지캡처장치로부터 영상 정보를 확보하고 처리하여 획득된 정보를 검증 및/또는 보완하는 것을 포함할 수 있다.
일부 실시예에서, 시스템(100)은 2개의 이미지캡처장치(예, 122, 124)를 사용하여 차량(200)의 주행 지원을 제공하고 제3 이미지캡처장치(예, 126)을 사용하여 상기 2개의 이미지캡처장치로부터 수신한 데이터의 분석 결과의 중복성 및 검증을 제공할 수 있다. 예를 들면, 이런 구성에서, 이미지캡처장치(122, 124)는 차량(200)의 주행을 위해 시스템(100)에 의한 입체 분석을 위한 영상을 제공하고, 이미지캡처장치(126)는 시스템(100)에 의한 단안 분석을 위한 영상을 제공하여 이미지캡처장치(122 및/또는 126)가 촬영한 영상에 근거하여 확보한 정보의 중복성 및 검증을 제공할 수 있다. 즉, 이미지캡처장치(126)(및 상응하는 처리 장치)는 이미지캡처장치(122, 124)로부터 얻은 분석에 대한 확인을 제공(예, 자동긴급제동(AEB, automatic emergency braking) 제공) 하기 위한 중복 서브시스템을 제공하는 것으로 간주될 수 있다.
상기 카메라의 구성, 배치, 개수, 위치 등은 예시에 불과하다는 것을 당업자는 인식할 수 있을 것이다. 전체적인 시스템과 연관하여 설명하는 이러한 구성요소들과 기타 구성요소들은 기재된 실시예들의 범위를 벗어나지 않고 다양한 구성으로 조합되고 사용될 수 잇다. 운전자 지원 및/또는 자율 주행 기능을 제공하기 위한 다중 카메라 시스템의 사용과 관련된 내용은 하기에 설명한다.
도 4는 본 발명의 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장/프로그램하도록 구성된 메모리(140 및/또는 150)를 예시한 기능 구성도이다. 하기에는 메모리(140)에 관하여 설명하지만, 명령이 메모리(140) 및/또는 메모리(150)에 저장될 수 있음은 당업자에게 당연할 것이다.
도 4에 도시된 바와 같이, 메모리(140)은 단안 영상 분석 모듈(402), 입체 영상 분석 모듈(404), 속도 및 가속 모듈(406), 주행 반응 모듈(408)을 저장할 수 있다. 여기에 기재된 실시예들은 메모리(14)의 어느 특정 구성으로 한정되지 않는다. 또한, 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190)는 메모리(140)에 포함된 모든 모듈(420-408)에 저장된 명령을 실행할 수 있다. 본 발명의 기술분야의 당업자라면 하기의 설명에서 처리부(110)란 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190)를 개별적으로 또는 총괄하여 지칭할 수 있다는 것을 이해할 것이다. 이에 따라, 하기에 설명한 과정의 단계들은 하나 이상의 처리 장치에 의해 수행될 수 있다.
일 실시예에서, 단안 영상 분석 모듈(402)은, 처리부(110)에 의해 실행될 경우 이미지캡처장치(122, 124, 126) 중의 하나가 확보한 영상 모음의 단안 영상 분석을 수행하는, 명령(예, 컴퓨터 시각 소프트웨어)를 저장할 수 있다. 일부 실시예에서, 처리부(110)는 영상 모음의 정보를 추가 감지 정보(예, 레이더로부터 얻은 정보)와 병합하여 단안 영상 분석을 수행할 수 있다. 하기에 도 5a 내지 5d 를 참조하여 설명하겠지만, 단안 영상 분석 모듈(402)은 차선 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 위험 물체, 및 차량의 주변환경과 연관된 기타 특성 등과 같은 특징들을 영상 모음 내에서 감지하기 위한 명령을 포함할 수 있다. 시스템(100)은 이 분석에 근거하여, 예를 들어 처리부(110)를 통하여, 차량(200)의 회전, 차선 변경, 가속 변화 등과 같은 하나 이상의 주행 반응을 야기할 수 있으며, 이에 대해서는 하기에 주행 반응 모듈(408)에서 설명한다.
일 실시예에서, 입체 영상 분석 모듈(404)은, 처리부(110)에 의해 실행될 경우 이미지캡처장치(122, 124, 126) 중에서 선택된 이미지캡처장치의 조합에 의해 확보된 제1 및 제2 영상 모음의 입체 영상 분석을 수행하는, 명령(예, 컴퓨터 시각 소프트웨어)를 저장할 수 있다. 일부 실시예에서, 처리부(110)는 제1 및 제2 영상 모음의 정보를 추가 감지 정보(예, 레이다로부터 얻은 정보)와 병합하여 입체 영상 분석을 수행할 수 있다. 예를 들어, 입체 영상 분석 모듈(404)은 이미지캡처장치(124)가 확보한 제1 영상 모음과 이미지캡처장치(126)이 확보한 제2 영상 모음에 근거하여 입체 영상 분석을 수행하기 위한 명령을 포함할 수 있다. 하기에 도 6을 참조하여 설명하겠지만, 입체 영상 분석 모듈(404)은 차선 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 위험 물체, 및 차량의 주변환경과 연관된 기타 특성 등과 같은 특징들을 제1 및 제2 영상 모음 내에서 감지하기 위한 명령을 포함할 수 있다. 처리부(110)는 이 분석에 근거하여 차량(200)의 회전, 차선 변경, 가속 변화 등과 같은 하나 이상의 주행 반응을 야기할 수 있으며, 이에 대해서는 하기에 주행 반응 모듈(408)에서 설명한다.
일 실시예에서, 속도 및 가속 모듈(406)은 차량(200)의 속도 및/또는 가속 변화를 야기하도록 구성된 차량(200)에 구비된 하나 이상의 컴퓨팅 및 기전 장치로부터 수신한 데이터를 분석하도록 구성된 소프트웨어를 저장할 수 있다. 예를 들어, 처리부(110)는 속도 및 가속 모듈(406)과 연계된 명령을 수행함으로써 단안 영상 분석 모듈(402) 및/또는 입체 영상 분석 모듈(404)를 실행하여 얻은 데이터에 근거하여 차량(200)의 목표 속도를 산출할 수 있다. 상기 데이터는 예를 들어 목표 위치, 속도, 및/또는 가속, 부근의 차량, 보행자 또는 도로 상의 물체에 대한 차량(200)의 위치 및/또는 속도, 도로의 차로 표시에 대한 차량(200)의 위치 정보 등을 포함할 수 있다. 또한, 처리부(110)는 감지 입력(예, 레이더로부터 얻은 정보) 및 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)과 같은 기타 시스템의 입력에 근거하여 차량(200)의 목표 속도를 산출할 수 있다. 산출된 목표 속도에 근거하여, 처리부(110)는 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)으로 전지 신호를 전송하여, 예를 들면, 물리적으로 차량(200)의 브레이크 페달을 누르거나 가속 페달을 감압하여 속도 및/또는 가속의 변화를 일으킬 수 있다.
일 실시예에서, 주행 반응 모듈(408)은 단안 영상 분석 모듈(402) 및/또는 입체 영상 분석 모듈(404)를 실행하여 얻은 데이터에 근거하여 필요한 주행 반응을 판단하기 위하여 처리부(110)에 의해 실행 가능한 소프트웨어를 저장할 수 있다. 상기 데이터는 부근의 차량, 보행자, 및 도로 상의 물체에 대한 위치 및 속도, 차량(200)의 목표 위치 정보 등을 포함할 수 있다. 뿐만 아니라, 일부 실시예에서, 주행 반응은 제도 데이터, 미리 설정한 차량(200)의 위치, 및/또는 단안 영상 분석 모듈(402) 및/또는 입체 영상 분석 모듈(404)를 실행하여 얻은 차량(200)과 하나 이상의 물체 사이의 상대 속도 또는 상대 가속에 부분적으로 또는 전적으로 근거할 수 있다. 주행 반응 모듈(408)은 또한 감지 입력(예, 레이더로부터 얻은 정보) 및 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)과 같은 기타 시스템의 입력에 근거하여 필요한 주행 반응을 판단할 수 있다. 필요한 주행 반응에 근거하여, 처리부(110)는 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)으로 전지 신호를 전송하여, 예를 들면, 차량(200)의 조향 핸들을 회전하여 미리 설정한 각도의 회전을 유도함으로써 필요한 주행 반응을 일으킬 수 있다. 일부 실시예에서, 처리부(110)는 주행 반응 모듈(408)의 출력(예, 필요 주행 반응)을 차량(200)의 속도 변경을 산출하기 위한 속도 및 가속 모듈(406)의 실행을 위한 입력으로 사용할 수 있다.
도 5a는 본 발명의 실시예에 따른 단안 영상 분석에 근거한 하나 이상의 주행 반응을 야기하는 과정(500A)의 일례를 예시한 순서도이다. 단계 510에서, 처리부(110)는 처리부(110)와 영상획득부(120) 사이의 데이터 인터페이스(128)을 통하여 복수의 영상을 수신할 수 있다. 예를 들어, 영상획득부(120)에 포함된 카메라(예, 시야(202)를 가진 이미지캡처장치(122))는 차량(200)의 전방 영역(또는 측박 또는 후방 영역)의 복수의 영상을 촬영하고 이 영상을 데이터 연결(예, 디지털, 유선, USB, 무선, 블루투스 등)을 통하여 처리부(110)로 전송할 수 있다. 처리부(110)는 단계 520에서 단안 영상 분석 모듈(402)을 실행하여 복수의 영상을 분석할 수 있다. 이에 대해서는 도 5b 내지 5d 를 참조하여 상세히 설명한다. 분석을 수행함으로써, 처리부(110)는 영상 모음에서 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등 등의 특징들을 감지할 수 있다.
처리부(110)는 또한 단계 520에서 단안 영상 분석 모듈(402)을 실행하여, 예를 들면, 트럭 타이어 조각, 도로에 떨어진 표지판, 적재 불량 차량, 동물 등의 다양한 도로 상의 위험을 감지할 수 있다. 도로 상의 위험은 그 구조, 모양, 크기, 색 등이 다양하여 이런 위험을 감지하는 것은 더욱 어렵다. 일부 실시예에서, 처리부(110)는 단안 영상 분석 모듈(402)을 실행하여 복수의 영상에 대한 다중 프레임 분석을 수행하여 도로상의 위험을 감지할 수 있다. 예를 들어, 처리부(110)는 연속 프레임 사이의 카메라 움직임을 예측하고 프레임 사이의 픽셀 차이를 계산하여 도로의 3차원 지도를 구축할 수 있다. 이후, 처리부(110)는 3차원 지도를 사용하여 도로면 뿐만 아니라 도로면 상에 존재하는 위험을 감지할 수 있다.
단계 530에서, 처리부(110)는 주행 반응 모듈(408)을 실행하여 단계 520에서 수행한 분석 및 상기에서 도 4를 참조하여 설명한 방법에 근거하여 차량(200)에 하나 이상의 주행 반응을 일으킬 수 있다. 주행 반응은 예를 들어 회전, 차선 변경, 가속 변경 등을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 속도 및 가속 모듈(406)을 실행하여 얻은 데이터를 활용하여 하나 이상의 주행 반응을 야기할 수 있다. 또한, 복수의 주행 반응이 동시에, 순차적으로, 또는 결합된 형태로 일어날 수 있다. 예를 들면, 처리부(110)는 제어 신호를 차량(200)의 조향 시스템(240)과 구동 시스템(220)에 순차적으로 전송하여 차량(200)이 차로를 변경한 후 가속을 하게 할 수 있다. 또는, 처리부(110)는 차량(200)의 제동 시스템(230)과 조향 시스템(240)에 제어 신호를 동시에 전송하여 차량(200)이 제동을 하면서 동시에 차로를 변경하게 할 수 있다.
도 5b는 본 발명의 실시예에 따른 영상 모음에서 하나 이상의 차량 및/또는 보행자를 감지하는 과정(500B)의 일례를 예시한 순서도이다. 처리부(110)는 단안 영상 분석 모듈(402)을 실행하여 이 과정(500B)을 구현할 수 있다. 단계 540에서, 처리부(110)는 차량 및/또는 보행자일 가능성을 나타내는 후보 물체 모음을 판단할 수 있다. 예를 들어, 처리부(110)는 하나 이상의 영상을 스캔하고, 이 영상을 하나 이상의 미리 설정한 패턴과 비교하여, 각 영상 내에서 관심 물체(예, 차량, 보행자 등)가 있을만한 위치를 파악할 수 있다. 미리 설정한 패턴은 높은 비율의 오탐(false hits)과 낮은 비율의 누락(misses)을 달성하도록 설계될 수 있다. 예를 들어, 처리부(110)는 차량 또는 보행자일 가능성이 잇는 후보 물체를 식별하기 위하여 미리 설정한 패턴에 낮은 유사 한계치를 사용할 수 있다. 이 결과, 처리부(110)가 차량 또는 보행자를 나타내는 후보 물체를 놓칠(즉, 식별하지 못할) 확률을 낮출 수 있다.
단계 542에서, 처리부(110)는 분류 기준에 근거하여 후보 물체 모음을 필터링하여 특정 후보(예, 관련이 없거나 적은 물체)를 제외할 수 있다. 여기서, 기준은 데이터베이스(예, 메모리(140)에 저장된 데이터베이스)에 저장된 물체 유형의 다양한 성질로부터 확보할 수 있다. 여기서, 물체 유형의 성질은 물체의 모양, 크기, 질감, 위치(예, 차량(200)에 대한 위치) 등을 포함할 수 있다. 따라서, 처리부(110)는 하나 이상의 기준을 사용하여 후보 물체 모음 중에서 거짓 후보를 제외시킬 수 있다.
단계 544에서, 처리부(110)는 영상의 다중 프레임을 분석하여 후보 물체 모음의 물체가 차량 및/또는 보행자를 나타내는지 여부를 판단할 수 있다. 예를 들면, 처리부(110)는 감지된 후보 물체를 연속 프레임에 걸쳐 추적하여 감지된 물체와 연관된 프레임 별 데이터(예, 차량(200)과 관련된 크기, 위치 등)를 축적할 수 있다. 또한, 처리부(110)는 감지된 물체의 파라미터를 추정하고 물체의 프레임 별 위치 데이터를 예측 위치와 비교할 수 있다.
단계 546에서, 처리부(110)는 감지된 물체의 측정치 모음을 구성할 수 있다. 여기서, 측정치는 예를 들어 감지된 물체와 연계된 위치, 속도, 및 가속값(즉, 차량(200)에 대한)을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 칼만 필터(Kalman filters) 또는 선형 2차 곡선 추정(LQE, linear quadratic estimation) 등과 같은 시간 기준 관찰을 사용한 추정 방법 및/또는 기타 물체 유형(예, 차, 트럭, 보행자, 자전거, 도로 표지 등)에 대한 기존 모델링 데이터에 근거하여 측정치를 구성할 수 있다. 칼만 필터는 물체 크기의 측정치에 근거하고, 크기 측정치는 충돌까지의 시간(예, 차량(200)이 물체에 도달하는 시간)에 비례할 수 있다. 따라서, 단계 540 내지 546을 수행함으로써, 처리부(110)는 촬영된 영상 모음 내에 등장하는 차량과 보행자를 식별하고 이 차량과 보행자와 관련된 정보(예, 위치, 속도, 크기)를 도출할 수 있다. 식별된 내용과 도출한 정보에 근거하여, 처리부(110)는 상기에서 도 5a를 참조하여 설명한 바와 같이, 차량(200)이 하나 이상의 주행 반응을 하도록 할 수 있다.
단계 548에서, 처리부(110)는 하나 이상의 영상에 대한 광류(optical flow) 분석을 수행하여 차량 또는 보행자를 나타내는 후보 물체에 대한 오탐과 누락 확률을 낮출 수 있다. 여기서, 광류 분석이란, 예를 들어, 다른 차량과 보행자와 관련된 하나 이상의 영상에서 차량(200)에 대한, 그리고 도로 표면 움직임과 다른, 동작 패턴을 분석하는 것을 의미할 수 있다. 처리부(110)는 후보 물체의 움직임을 계산하기 위하여 위치값 및 시간값을 수학적 모델의 입력으로 사용할 수 있다. 따라서, 광류 분석은 차량(200)에 근접한 차량과 보행자를 감지하는 또다른 방법을 제공할 수 있다. 처리부(110)는 광류 분석을 단계 540 내지 546과 함께 수행함으로써 차량과 보행자를 탐지하는 중복성을 제공하고 시스템(100)의 신뢰도를 향상시킬 수 있다.
도 5c는 본 발명의 실시예에 따른 영상 모음에서 도로 표지 및/또는 차선 형상 정보를 감지하는 과정(500C)의 일례를 예시한 순서도이다. 처리부(110)는 단안 영상 분석 모듈(402)를 실행하여 본 과정(500C)을 구현할 수 있다. 단계 550에서, 처리부(110)는 하나 이상의 영상을 스캔하여 물체 모음을 감지할 수 있다. 차선 표시의 일부분, 차선 형상 정보, 및 기타 해당 도로 표지를 감지하기 위하여, 처리부(110)는 물체 모음을 필터링하여 관련 없는 것으로 판단된 물체(예, 대수롭지 않은 포트홀, 자갈 등)를 제외시킬 수 있다. 단계 552에서, 처리부(110)는 동일 도로 표지 또는 차선 표시에 해당하는 단계 550에서 감지된 조각들을 함께 묶을 수 있다. 이러한 묶음에 근거하여, 처리부(110)는 감지된 조각들을 나타낼 모델, 예를 들면, 수학적 모델을 생성할 수 있다.
단계 554에서, 처리부(110)는 감지된 조각들에 상응하는 측정치 모음을 구성할 수 있다. 일부 실시예에서, 처리부(110)는 감지된 조각들을 영상면으부터 실세계면으로 투영할 수 있다. 여기서, 투영은 감지된 도로의 위치, 경사, 곡률, 및 곡률 미분 등과 같은 물리적 성질에 상응하는 계수를 가진 3차 다항식을 사용하는 특징이 있을 수 있다. 투영을 생성할 때, 처리부(110)는 도로면의 변화뿐만 아니라 차량(200)의 피치(pitch)와 롤(roll)을 고려할 수 있다. 또한, 처리부(110)는 도로면에 존재하는 위치 및 모션 신호를 분석하여 도로의 높낮이를 추정할 수 있다. 나아가, 처리부(110)는 하나 이상의 영상의 특징점 모음을 추적하여 차량(200)의 피치 및 롤 비율을 추정할 수 있다.
단계 556에서, 처리부(110)는 예를 들어 감지된 조각들을 연속 영상 프레임에 걸쳐 추적하고 감지된 조각과 관련된 프레임 별 데이터를 축적하여 다중 프레임 분석을 수행할 수 있다. 처리부(110)가 다중 프레임 분석을 수행함에 따라, 단계 554에서 구성된 측정치 모음은 더욱 신뢰할 수 있게 되고 더욱 높은 신뢰수준을 갖게 된다. 따라서, 단계 550 내지 556을 수행함으로써, 처리부(110)는 촬영된 영상 모음 내에 등장하는 도로 표지를 식별하고 차선 형상 정보를 도출할 수 있게 된다. 이러한 식별과 도출된 정보에 근거하여, 처리부(110)는, 상기에서 도 5a를 참조하여 설명한 바와 같이, 차량(200)이 주행 반응을 취하게 할 수 있다.
단계 558에서, 처리부(110)는 추가 정보를 고려하여 차량(200) 주변에 관한 안전 모델을 생성할 수 있다. 처리부(110)는 안전 모델을 사용하여 시스템(100)이 차량(200)의 자율 제어를 안전하게 할 수 있는 환경을 정의할 수 있다. 일부 실시예에서, 안전 모델을 생성하기 위하여, 처리부(100)는 다른 차량의 위치와 움직임, 감지된 도로 가장자리 및 장벽, 및/또는 지도 데이터(예, 지도 데이터베이스(160)의 데이터)에서 추출한 일반적인 도로 형상 설명을 고려할 수 있다. 추가 정보를 고려함으로써, 처리부(110)는 도로 표지 및 차선 형상에 대한 중복성을 제공하고 시스템(100)의 신뢰도를 향상시킬 수 있다.
도 5d 는 본 발명의 실시예에 따른 영상 모음에서 신호등을 감지하는 과정(500D)의 일례를 예시한 순서도이다. 처리부(110)는 단안 영상 분석 모듈(402)을 실행하여 본 과정(500D)을 구현할 수 있다. 단계 560에서, 처리부(110)는 영상 모음을 스캔하고 신호등 포함 가능성이 있는 영상의 위치에 나타나는 물체를 식별한다. 예를 들면, 처리부(110)는 식별된 물체를 필터링하여 신호등에 상응할 가능성이 없는 물체들을 제외한 후보 물체 모음을 구성할 수 있다. 필터링은 신호등의 모양, 크기, 질감, 위치(예, 차량(200)에 대한) 등의 다양한 성질에 근거하여 수행될 수 있다. 이러한 성질은 데이터베이스에 저장된 신호등과 교통 제어 신호에 대한 복수의 예에 근거할 수 있다. 일부 실시예에서, 처리부(110)는 신호등 가능성이 있는 후보 물체 모음에 대한 다중 프레임 분석을 수행할 수 있다. 예를 들어, 처리부(110)는 연속 영상 프레임에 걸쳐 후보 물체를 추적하고, 후보 물체의 실세계 위치를 추정하고, 움직이는 물체(즉, 신호등일 가능성이 적은 물체)를 필터링할 수 있다. 일부 실시예에서, 처리부(110)는 후보 물체에 대한 색 분석을 실시하고 신호등 가능성이 있는 물체 내부에서 감지된 색의 상대 위치를 식별할 수 있다.
단계 562에서, 처리부(110)는 교차로의 기하를 분석할 수 있다. 이 분석은 (i) 차량(200) 양 측에 감지된 차선의 수, (ii) 도로 상에 감지된 표시(화살표 등), (iii) 지도 데이터(예, 데이터베이스(160)에 저장된 지도 데이터)에서 추출된 교차로 설명의 조합에 근거하여 수행될 수 있다. 처리부(110)는 단안 분석 모듈(402)을 실행하여 도출한 정보를 이용하여 분석을 수행할 수 있다. 또한, 처리부(110)는 단계 560에서 감지된 신호등이 차량(200) 부근에 보이는 차선과 상응하는지 판단할 수 있다.
차량(200)이 교차로에 접근함에 따라, 단계 564에서, 처리부(110)는 분석된 교차로 기하와 감지된 신호등에 관한 신뢰 수준을 업데이트 할 수 있다. 예를 들어, 교차로에 나타날 것으로 추정된 신호등의 수와 실제로 교차로에 나타난 신호등의 수를 비교하면 신뢰 수준을 파악할 수 있다. 따라서, 이 신뢰 수준에 근거하여, 처리부(110)는 안전 조건을 향상하기 위하여 차량(200)의 제어를 운전자에게 맡길 수 있다. 단계 560 내지 564를 수행함으로써, 처리부(110)는 촬영 영상 모음 내에 나타나는 신호등을 식별하고 교차로 기하 정보를 분석할 수 있다. 이러한 식별과 분석을 근거로, 처리부(110)는 상기에 도 5a를 참조하여 설명한 하나 이상의 주행 반응을 차량(200)이 하도록 할 수 있다
도 5e는 본 발명의 실시예에 따른 차량 경로에 근거한 하나 이상의 주행 반응을 차량(200)에 야기하는 과정(500E)의 일례를 예시한 순서도이다. 단계 570에서, 처리부(110)는 차량(200)의 초기 차량 경로를 구성할 수 있다. 차량 경로는 좌표 (x, z)로 표현되는 점의 모음으로 나타낼 수 있고, 점의 모음의 두 점 간의 간격인 d i 는 1 내지 5 미터의 범위 내에 있을 수 있다. 일 실시예에서, 처리부(110)는 좌측 도로 다항식과 우측 도로 다항식과 같은 두 개의 다항식을 사용하여 초기 차량 경로를 구성할 수 있다. 처리부(110)는 두 개의 다항식 사이의 중간점을 계산하고, 오프셋이 있는 경우(오프셋이 0인 경우는 차선 중앙 주행에 해당함), 차량 경로 결과에 포함된 각 점을 미리 설정한 오프셋(예, 스마트 차선 오프셋)만큼 오프셋 할 수 있다. 오프셋은 차량 경로 내의 두 점 사이의 구간에 수직인 방향일 수 있다. 다른 실시예에서, 처리부(110)는 하나의 다항식과 추정된 차선 폭을 사용하여 차량 경로의 각 점을 추정된 차선 폭에 미리 설정한 오프셋(예, 스마트 차선 오프셋)을 더한 값만큼 오프셋 할 수 있다.
단계 572에서, 처리부(110)는 단계 570에서 구성한 차량 경로를 업데이트 할 수 있다. 처리부(110)는 단계 570에서 구성한 차량 경로를 더 높은 해상도를 사용하여 재구성하여 차량 경로를 나타내는 점의 모음의 두 점 사이이 거리 d k 가 상기에 설명한 거리 d i 보다 작도록 할 수 있다. 예를 들어, d k 는 0.1 내지 0.3 미터의 범위 내에 있을 수 있다. 처리부(110)는 차량 경로의 전체 길이에 해당하는(즉, 차량 경로를 나타내는 점들의 모음에 근거한) 누적 거리 벡터 S를 산출하는 파라볼릭 스플라인 알고리즘(parabolic spline algorithm)을 사용하여 차량 경로를 재구성할 수 있다.
단계 574에서, 처리부(110)는 단계 572에서 구성된 업데이트된 차량 경로에 근거하여 예견점(look-ahead point)(좌표 (x l , z l )로서 표현)을 결정할 수 있다. 처리부(110)는 누적 거리 벡터 S로부터 예견점을 추출할 수 있고, 예견점은 예견 거리 및 예견 시간과 연계될 수 있다. 하한계가 10 내지 20미터일 수 있는 예견 거리는 차량(200)의 속도와 예견 시간을 곱한 값으로 산출될 수 있다. 예를 들어, 차량(200)의 속도가 감소하면, 예견 거리도 감소(예, 하한계에 도달할 때까지)할 수 있다. 범위가 0.5 내지 1.5초일 수 있는 예견 시간은 차량(200)에 주행 반응을 유도하는 것과 관계 있는 하나 이상의 제어 루프(control loop)(예, 방위각 오차 추적 제어 루프)의 게인(gain)에 반비례할 수 있다. 예를 들어, 방위각 오차 추적 제어 루프의 게인은 요 레이트 루프(yaw rate loop)의 대역폭, 조향 액추에이터 루프, 차량 측방향 동역학 등에 따라 다를 수 있다. 따라서, 방위각 오차 추적 제어 루프의 게인이 클수록, 예견 시간은 작아질 수 있다.
단계 576에서, 처리부(110)는 단계 574에서 판단한 예견점에 근거하여 방위각 오차 및 요 레이트 명령을 결정할 수 있다. 처리부(110)는 예견점의 역탄젠트, 예를 들어 arctan (x l / z l )를 산출하여 결정할 수 있다. 처리부(110)는 방위각 오차와 고레벨 제어 게인의 곱을 산출하여 요 레이트 명령을 결정할 수 있다. 고레벨 제어 게인은, 예견 거리가 하한계에 있지 않은 경우, (2 / 예견 시간)과 같을 수 있다. 아니면, 고레벨 제어 게인은 (2 * 차량 속도 / 예견 거리)와 같을 수 있다.
도 5f는 본 발명의 실시예에 따른 선두 차량이 차선 변경을 하는지를 판단하는 과정(500F)의 일례를 예시한 순서도이다. 단계 580에서, 처리부(110)는 선두 차량(예, 차량(200)에 앞서 주행하는 차량)에 대한 주행 정보를 판단할 수 있다. 예를 들면, 처리부(110)는, 선두 차량의 위치, 속도(예, 방향과 속력), 및/또는 가속도를 판단할 수 있다. 처리부(110)는 또한 하 상기의 도 5e를 참조하여 설명한 기술을 사용하여 나 이상의 도로 다항식, 예견점(차량(200)과 관련된 예견점), 및/또는 스네일 트레일(snail trail: 선두 차량의 경로를 묘사하는 점의 모음)을 판단할 수 있다.
단계 582에서 처리부(110)는 단계 580에서 판단한 주행 정보를 분석할 수 있다. 일 실시예에서, 처리부(110)는 스네일 트레일과 도로 다항식(예, 스네일 트레일을 따라가는 다항식) 사이의 거리를 계산할 수 있다. 스네일 트레일을 따라가는 거리의 분산이 미리 설정한 임계치(예, 직선 도로에서 0.1 내지 0.2, 완만한 커브길에서 0.3 내지 0.4, 급커브길에서 0.5 내지 0.6)를 초과하는 경우, 처리부(110)는 선두 차량이 차선 변경 가능성이 있는 것으로 판단할 수 있다. 차량(200)의 앞에 여러 차량이 감지된 경우, 처리부(110)는 각 차량의 스네일 트레일을 비교할 수 있다. 처리부(110)는 비교 결과에 근거하여 다른 차량들의 스네일 트레일과 일치하지 않는 스네일 트레일의 차량이 차선 변경의 가능성이 있는 것으로 판단할 수 있다. 처리부(110)는 추가적으로 선두 차량의 스네일 트레일의 곡률과 선두 차량이 주행하고 있는 도로 구간의 예상 곡률을 비교할 수 있다. 예상 곡률은 지도 데이터(예, 데이터베이스(16)의 데이터), 도로 다항식, 다른 차량의 스네일 트레일, 도로에 대한 사전 지식 등으로부터 추출될 수 있다. 스네일 트레일의 곡률과 도로 구간의 예상 곡률의 차이가 미리 설정된 임계치를 초과하는 경우, 처리부(110)는 선두 차량이 차선 변경을 하고있을 가능성이 있는 것으로 판단할 수 있다.
다른 실시예에서, 처리부(110)는 특정 시간(예, 0.5 내지 1.5초)에 대한 선두 차량의 순간 위치와 예견점(차량(200)의 예견점)을 비교할 수 있다. 특정 시간 동안에 선두 차량의 순간 위치와 예견점 사이의 거리가 변화하고 변화의 누적 합이 미리 설정한 임계치(예, 직선도로 상 0.3 내지 0.4 미터, 완만한 커브길의 0.7 내지 0.8 미터, 급커브길의 1.3 내지 1.8 미터)를 초과할 경우, 처리부(110)는 선두 차량이 차선 변경을 하고있을 가능성이 있는 것으로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 스네일 트레일을 따라 주행한 횡방향 거리와 스네일 트레일의 예상 곡률을 비교하여 스네일 트레일의 기하를 분석할 수 있다. 예상 곡률 반경은 수학식 을 통하여 판단할 수 있다. 여기서, 는 횡방향 주행 거리이고, 는 종방향 주행 거리이다. 횡방향 주행 거리와 예상 곡률 사이의 차이가 미리 설정한 임계치(예, 500 내지 700미터)를 초과하는 경우, 처리부(110)는 선두 차량이 차선 변경을 하고있을 가능성이 있는 것으로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 선두 차량의 위치를 분석할 수 있다. 선두 차량의 위치가 도로 다항식을 안 보이게 하는 경우(예, 선두 차량이 도로 다항식의 상부에 덮어씌워 있는 경우), 처리부(110)는 선두 차량이 차선 변경을 하고있을 가능성이 있는 것으로 판단할 수 있다. 다른 차량이 선두 차량의 앞에 감지되고 선두 차량과 앞 차량의 스네일 트레일이 서로 평행하지 않은 경우, 처리부(110)는 선두 차량(즉, 차량(200)과 가까운 차량)이 차선 변경을 하고있을 가능성이 있는 것으로 판단할 수 있다.
단계 584에서, 처리부(110)는 단계 582에서 수행한 분석에 근거하여 선두 차량의 차선 변경 여부를 판단한다. 예를 들어, 처리부(110)는 단계 582에서 수행한 개별 분석의 가중 평균에 근거하여 판단을 할 수 있다. 이 방법에서, 예를 들면, 특정 유형의 분석에 근거하여 선두 차량이 차선 변경을 하고있을 가능성이 있다는 판단을 처리부(110)가 내릴 경우, "1"의 값을 부여할 수 있다(선두 차량이 차선 변경을 하지 않고 있을 가능성 판단일 경우, "0"의 값 부여). 단계 582에서 수행되는 다른 분석에는 다른 가중치가 부여될 수 있으며, 본 실시예는 특정 조합의 분석 및 가중치에 한정되지 않는다.
도 6은 본 발명의 실시예에 따른 입체 영상 분석에 근거한 하나 이상의 주행 반응을 야기하는 과정(600)의 일례를 예시한 순서도이다. 단계 610에서, 처리부(110)는 복수의 제1 및 제2 명상을 데이터 인터페이스(128)를 통하여 수신할 수 있다. 예를 들면, 영상획득부(120, 시야(202, 204)를 가진 이미지캡처장치(122, 124) 등)에 포함된 카메라가 차량(200) 전면 영역의 복수의 제1 및 제2 영상을 촬영하고 디지털 연결(예, USB, 무선통신, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다. 일부 실시예에서, 처리부(110)는 둘 이상의 데이터 인터페이스를 통해 복수의 제1 및 제2 영상을 수신할 수 있다. 여기에 기재된 실시예들은 특정 데이터 인터페이스 구성 또는 프로토콜에 제한되지 않는다.
단계 620에서, 처리부(110)는 입체 영상 분석 모듈(404)을 실행하여 복수의 제1 및 제2 영상에 대한 입체 영상 분석을 수행하여 차량 전면 도로의 3차원 지도를 생성하고, 영상 내에서 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 도로 상의 위험물 등과 같은 특징을 감지할 수 있다. 입체 영상 분석은 상기에서 도 5a 내지 5d를 참조하여 설명한 단계와 유사한 방법으로 수행될 수 있다. 예를 들어, 처리부(110)는 입체 영상 분석 모듈(404)을 실행하여 복수의 제1 및 제2 영상 내에서 후보 물체(예, 차량, 보행자, 도로 표지, 신호등, 도로 상의 위험물 등)을 감지하고, 다양한 기준에 근거하여 후보 물체의 모음을 필터링하고, 다중 프레임 분석을 수행하고, 측정치를 구성하고, 나머지 후보 물체에 대한 신뢰 수준을 판단할 수 있다. 상기 단계들을 수행함에 있어서, 처리부(110)는 한 집단의 영상보다는 복수의 제1 및 제2 영상 모두의 정보를 고려할 수 있다. 예를 들어, 처리부(110)는 복수의 제1 및 제2 영상 에 모두 등장하는 후보 물체에 대한 픽셀 단계 데이터(또는 두 스트림의 촬영 영상의 기타 데이터)의 차이를 분석할 수 있다. 다른 실시예로서, 처리부(110)는 후보 물체가 복수의 영상 중 하나에 등장하지만 다른 영상에 등장하지 않는다는 것을 관찰하거나, 두 영상이 스트리밍 할 경우 등장하는 물체와 관련하여 존재하는 다른 차이점들을 통하여, 후보 물체(예, 차량(200)에 대한 후보 물체)의 위치 및/또는 속도를 추정할 수 있다. 예를 들어, 차량(200)과 관련된 위치, 속도, 및/또는 가속도는 영상 스트림의 하나 또는 모두에 등장하는 물체와 연관된 특징의 궤적, 위치, 동작 특성 등에 근거하여 판단될 수 있다.
단계 630에서, 처리부(110)는 주행 반응 모듈(408)을 실행하여 단계 620에서 수행한 분석 및 도 4를 참조하여 상기에 설명한 방법에 근거한 하나 이상의 주행 반응이 차량(200)에 발생시킬 수 있다. 주행 반응은, 예를 들어, 회전, 차선 변경, 가속도 변경, 속도 변경, 제동 등을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 속도 및 가속 모듈(406)을 실행하여 도출한 데이터를 사용하여 하나 이상의 주행 반응을 발생시킬 수 있다. 뿐만 아니라, 다중 주행 반응이 동시에, 순차적으로, 또는 이들의 조합으로 발생될 수 있다.
도 7은 본 발명의 실시예에 따른 3개 집합의 영상에 근거한 하나 이상의 주행 반응을 발생시키는 과정(700)의 일례를 예시한 순서도이다. 단계 710에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 복수의 제1, 제2, 제3 영상을 수신할 수 있다. 예를 들어, 영상획득부(120, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126) 등)에 포함된 카메라가 차량(200) 전면 및/또는 측면 영역의 복수의 제1, 제2, 제3 영상을 촬영하고 디지털 연결(예, USB, 무선통신, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다. 일부 실시예에서, 처리부(110)는 셋 이상의 데이터 인터페이스를 통해 복수의 제1, 제2, 제3 영상을 수신할 수 있다. 예를 들어, 이미지캡처장치(122, 124, 126)는 처리부(110)와 데이터를 통신하기 위해 각 장치에 연관된 데이터 인터페이스가 있을 수 있다. 여기에 기재된 실시예들은 특정 데이터 인터페이스 구성 또는 프로토콜에 제한되지 않는다.
단계 720에서, 처리부(110)는 복수의 제1, 제2, 제3 영상을 분석하여 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 도로 상의 위험물등과 같은 특징을 영상 내에서 감지할 수 있다. 본 분석은 상기에서 도 5a 내지 5d 및 도 6을 참조하여 설명한 단계와 유사한 방법으로 수행될 수 있다. 예를 들어, 처리부(110)는 복수의 제1, 제2, 제3 영상 각각에 대한 단안 영상 분석(예, 단안 영상 분석 모듈(402) 실행 및 도 5a 내지 5d 를 참조하여 설명한 상기 단계)을 수행할 수 있다. 또는, 처리부(110)는 복수의 제1 및 제2 영상, 복수의 제2 및 제3 영상, 및/또는 복수의 제1 및 제3 영상에 대한 입체 영상 분석(예, 입체영상 분석 모듈(404) 실행 및 도 6을 참조하여 설명한 상기 단계)을 수행할 수 있다. 복수의 제1, 제2 및/또는 제3 영상에 상응하는 처리 정보는 병합될 수 있다. 일부 실시예에서, 처리부(110)는 단안 영상 분석과 입체 영상 분석을 조합하여 수행할 수 있다. 예를 들면, 처리부(110)는 복수의 제1 영상에 대해 단안 영상 분석(예, 단안 영상 분석 모듈(402) 실행)을 수행하고, 복수의 제2 및 제3 영상에 대해 입체 영상 분석(예, 입체 영상 분석 모듈(404) 실행)을 수행할 수 있다. 상응하는 위치와 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126)의 구성은 복수의 제1, 제2, 제3 영상에 대해 수행되는 분석의 유형에 영향을 줄 수 있다. 여기에 기재된 실시예들은 특정 구성의 이미지캡처장치(122, 124, 126) 또는 복수의 제1, 제2, 제3 영상에 수행되는 분석의 유형에 제한되지 않는다.
일부 실시예에서, 처리부(110)는 단계 710과 720에서 획득하고 분석한 영상에 근거하여 시스템(100)의 검사를 수행할 수 있다. 이러한 검사는 이미지캡처장치(122, 124, 126)의 특정 구성을 위한 시스템(100)의 전체적인 성능에 대한 랜드마크를 제공할 수 있다. 예를 들어, 처리부(110)는 "오탐"(예, 시스템(100)이 차량 또는 보행자가 존재하는 것으로 오판하는 경우) 및 "누락"의 비율을 판단할 수 있다.
단계 730에서, 처리부(110)는 복수의 제1, 제2, 제3 영상 중 둘로부터 도출된 정보에 근거하여 차량(200)의 하나 이상의 주행 반응을 발생시킬 수 있다. 복수의 제1, 제2, 제3 영상 중 둘은, 예를 들어, 복수의 영상 각각에 감지된 물체의 개수, 유형, 크기 등과 같은 다양한 요소에 의거하여 선택될 수 있다. 처리부(110)는 또한 영상의 품질 및 해상도, 영상에 반영된 유효 시야, 촬영된 프레임의 수, 관심 물체가 프레임에 실제로 등장하는 정도(예, 물체가 등장하는 프레임의 퍼센트, 각 프레임에 등장하는 물체가 차지하는 비율 등) 등에 따라 영상을 선택할 수 있다.
일부 실시예에서, 처리부(110)는 한 영상 소스로부터 도출된 정보가 다른 영상 소스로부터 도출된 정보와 어느 정도 일관되는지를 판단하여 복수의 제1, 제2, 제3 영상 중 둘로부터 도출된 정보를 선택할 수 있다. 예를 들어, 처리부(110)는 이미지캡처장치(122, 124, 126) 각각으로부터 도출(단안 분석, 입체 분석, 또는 이들의 조합)된 처리 정보를 병합하고 이미지캡처장치(122, 124, 126) 각각으로부터 촬영된 영상 전반에 걸쳐 일관된 시각적 지시자(예, 차선 표시, 감지된 차량 및 그 위치 및/또는 경로, 감지된 신호등 등)를 판단할 수 있다. 처리부(110)는 또한 촬영된 영상 전반에 걸쳐 일관되지 않은 정보(예, 차선을 변경하는 차량, 차량(200)과 너무 가까운 차량을 나타내는 차선 모델 등)를 제외시킬 수 있다. 따라서, 처리부(110)는 일관된 정보 및 일관되지 않은 정보의 판단에 근거하여 복수의 제1, 제2, 제3 영상 중 둘로부터 도출된 정보를 선택할 수 있다.
주행 반응은, 예를 들면, 회전, 차선 변경, 가속도 변경 등을 포함할 수 있다. 처리부(110)는 단계 720에서 수행된 분석과 도 4를 참조하여 설명한 방법에 근거하여 하나 이상의 주행 반응을 발생시킬 수 있다. 처리부(110)는 또한 속도 및 가속 모듈(406)을 실행하여 도출한 데이터를 사용하여 하나 이상의 주행 반응을 발생시킬 수 있다. 일부 실시예에서, 처리부(110)는 차량(200)과 복수의 제1, 제2, 제3 영상 중 어느 하나 내에서 감지된 물체 사이의 상대적 위치, 상대적 속도, 및/또는 상대적 가속도에 근거하여 하나 이상의 주행 반응을 발생시킬 수 있다. 다중 주행 반응은 동시에, 순차적으로 또는 이들의 조합으로 발생될 수 있다.
자율 주행을 위한 간략 도로 모델
일부 실시예에서, 여기에 기재된 시스템과 방법은 자율 주행을 위한 약도(sparse map)를 사용할 수 있다. 예를 들면, 약도(sparse map)는 많은 양의 데이터를 저장 및/또는 업데이트 하지 않고도 자율주행차를 주행하기 위한 충분한 정보를 제공할 수 있다. 아래에 상세히 설명하겠지만, 자율주행차는 약도(sparse map)를 사용하여, 저장된 하나 이상의 궤적에 근거하여 하나 이상의 도로를 주행할 수 있다.
자율 주행을 위한 약도(sparse map)
일부 실시예에서, 여기에 기재된 시스템과 방법은 자율 주행을 위한 약도(sparse map)를 사용할 수 있다. 예를 들어, 약도(sparse map)는 과도한 데이터 저장 및 데이터 전송 속도를 요구하지 않고도 주행에 필요한 충분한 정보를 제공할 수 있다. 하기에 상세히 설명하겠지만, 차량(예, 자율주행차)은 약도(sparse map)를 사용하여 하나 이상의 도로를 주행할 수 있다. 예를 들어, 일부 실시예에서, 약도(sparse map)는 주행에 필요한 도로와 관련된 데이터와 도로에 구비된 표지들을 포함하되 적은 양의 데이터 흔적(data footprint)을 보일 수 있다. 예를 들면, 하기에 상세히 설명하는 저용량 데이터 지도는 도로를 따라 수집된 영상 데이터와 같은 상세 지도 정보를 포함하는 디지털 지도에 비해 상당히 작은 저장 공간과 데이터 전송 대역폭이 필요할 수 있다. 예를 들어, 저용량 데이터 지도는 도로 구간의 상세한 모습을 저장하기 보다는, 도로 상의 차량 경로를 3차원 다항식 모습으로 저정할 수 있다. 이러한 경로는 매우 작은 데이터 저장 공간이 필요할 수 있다. 또한, 본 저용량 데이터 지도에서, 랜드마크들은 주행에 도움이 되도록 약도(sparse map) 도로 모델에 식별되고 포함될 수 있다. 이런 랜드마크들은 차량 주행에 적합한 정도의 간격으로 배치되되, 일부 경우에는 높은 밀도와 좁은 간격으로 파악되고 포함될 필요가 없다. 대신, 일부 경우에, 적어도 50미터, 100미터, 500미터, 1킬로미터, 또는 2킬로미터의 간격으로 배치된 랜드마크들에 근거하여도 주행이 가능할 수 있다. 본 설명의 다른 부분에서 상세히 설명하겠지만, 약도(sparse map)는 이미지캡처장치, GPS 센서, 동작 센서 등과 같은 다양한 센서 및 장치를 구비한 차량이 도로를 주행하면서 수집하고 측정한 데이터에 근거하여 생성될 수 있다. 일부 경우에, 약도(sparse map)는 하나 이상의 차량이 특정 도로를 여러 번 주행하는 동안에 수집한 데이터에 근거하여 생성될 수 있다.
여기에 기재된 실시예들에 의거하여, 자율주행차 시스템은 주행을 위해 약도(sparse map)를 사용할 수 있다. 약도(sparse map)의 핵심에서, 하나 이상의 3차원 등고선이 자율주행차가 관련 도로 구간을 달리며 횡단하는 미리 설정된 궤적을 나타낼 수 있다. 약도(sparse map)는 또한 하나 이상의 도로 특성을 나타내는 데이터를 포함할 수 있다. 이러한 도로 특성에는 랜드마크, 도로 특징 프로필, 및 차량의 주행에 유용한 기타 도로 관련 특성을 포함할 수 있다. 약도(sparse map)는 약도(sparse map)에 포함된 상대적으로 적은 양의 데이터에 근거하여 차량의 자율 주행을 가능하게 할 수 있다. 예를 들면, 도로 가장자리, 도로 굴곡, 도로 구간과 관련된 영상, 또는 도로 구관과 관련된 기타 물리적 특징을 보여주는 데이터 등과 같은 상세한 도로 표현을 포함하는 대신, 기재된 실시예에 의한 약도(sparse map)는 상대적으로 작은 저장 공간(따라서 약도(sparse map)의 일부를 차량으로 전송할 때 필요한 상대적으로 작은 대역폭)을 요구하되 여전히 자율 주행을 충분히 제공할 수 있다. 일부 실시예에서, 본 약도(sparse map)의 적은 데이터 흔적은 적은 양의 데이터로도 여전히 자율 주행을 가능하게 하는 도로 관련 요소의 표현을 저장함으로써 가능할 수 있다. 예를 들어, 약도(sparse map)는 도로의 다양한 양상을 자세히 표현하여 저장하는 대신에, 차량이 도로를 따라 주행하는 하나 이상의 궤적의 다항식 표현을 저장할 수 있다. 따라서, 도로의 주행을 가능하게 하기 위해 도로의 물리적 성질에 관한 상세한 내용을 저장(또는 전송)하는 대신, 차량은 본 발명의 실시예에 따른 약도(sparse map)를 사용하여 도로의 물리적 양상을 해석할 필요 없이, 그러나 특정 도로 구간의 궤적(예, 다항식 스플라인)에 주행 경로를 정렬함으로써 특정 도로 구간은 주행할 수 있다. 이에 따라, 차량은, 도로 영상, 파라미터, 레이아웃 등의 저장을 하는 접근 방법에 비해 훨씬 작은 저장 공간을 요구하는, 저장된 궤적(예, 다항식 스플라인)에 주로 근거하여 주행할 수 있다.
본 발명의 실시예에 의한 약도(sparse map)는 도로 구간을 따른 궤적의 다항식 표현을 저장하는 것 외에도 도로 특징을 나타내는 작은 데이터 물체들을 포함할 수 있다. 일부 실시예에서, 작은 데이터 물체들은 도로 구간을 따라 주행하는 차량에 탑재된 센서(예, 카메라, 또는 서스펜션 센서 등과 같은 기타 센서)에 의해 획득된 디지털 영상(또는 디지털 신호)로부터 도출된 디지털 특징을 포함할 수 있다. 디지털 특징은 센서에 의해 획득된 신호에 상응하는 작은 사이즈일 수 있다. 일부 실시예에서, 디지털 특징은, 예를 들면 다음 주행 중에 센서에 의해 획득된 신호로부터 도로 특징을 감지하고 식별하도록 구성된 분류자(classifier) 기능과 호환되도록 생성될 수 있다. 일부 실시예에서, 디지털 특징은 흔적은 최소이면서도 다음 시간에 동일 도로 구간을 주행하는 차량에 탑재된 카메라에 의해 촬영된 도로 특징의 영상(또는 저장된 특징이 영상에 근거하지 않고 또는 다른 데이터를 포함하는 경우에는, 센서에 의해 생성된 디지털 신호)에 근거하여 도로 특징과 저장된 특징과의 연관성을 찾거나 매칭하는 능력을 유지하도록 생성될 수 있다. 일부 실시예에서, 데이터 물체의 크기는 도로 특징과 추가로 연관이 있을 수 있다. 예를 들어, 차량에 탑재된 카메라에 의해 감지 가능한 도로 특징에 있어서, 그리고 차량에 탑재된 카메라 시스템이 이 도로 특징에 상응하는 영상 데이터를, 예를 들면 도로 표지와 같은, 특정 유형의 도로 특징과 구분할 수 있는 분류자와 결합돼 있는 경우, 또한 이러한 도로 표지가 해당 지역 특유의 표지인 경우(예, 동일한 또는 동일 유형의 도로 표지가 부근에 없음), 이런 유형의 도로 특징과 그 위치를 저장하기 충분할 수 있다.
하기에 상세히 설명하겠지만, 도로 특징(예, 도로 구간을 따라 형성된 랜드마크)은 작은 데이터 물체로 저장되어 상대적으로 적은 바이트로 도로 특징을 표현함과 동시에 이러한 도로 특징을 인식하고 주행을 위해 사용하기 위한 충분한 정보를 제공할 수 있다. 일례에서, 도로 표지는 차량의 주행에 사용될 수 있는 인지된 랜드마크로 식별될 수 있다. 도로 표지의 표현은, 예를 들면, 고작 몇 바이트의 데이터로 랜드마크(예, 일단 정지 표지)의 유형을 나타내고 고작 몇 바이트의 데이터로 랜드마크의 위치를 나타내도록 저장될 수 있다. 이러한 저용량 데이터를 사용한 랜드마크 표현에 근거한 주행(예, 랜드마크에 근거한 위치인식, 인지, 및 주행에 충분한 표현 사용)을 함으로써, 데이터 소비를 증가하지 않고도 약도(sparse map)의 주행 기능 수준을 충분히 제공할 수 있다. 이렇게 랜드마크(및 기타 도로 특징)를 저용량으로 표현할 수 있는 것은, 특정 도로 특징을 감지, 식별, 및/또는 분류하도록 차량에 탑재된 센서 및 프로세서 때문이다. 예를 들어, 표지 또는 특정 유형의 표지가 해당 지역 특유의 표지인 경우(예, 동일한 또는 동일 유형의 도로 표지가 없음), 약도(sparse map)는 랜드마크의 유형(표지 또는 특정 유형의 표지)를 나타내는 데이터를 사용하고, 주행(예, 자율 주행) 중에 자율주행차에 탑재된 카메라가 표지(또는 특정 유형의 표지)를 포함하는 지역의 영상을 촬영하는 경우, 프로세서는 영상을 처리하고, 표지를 감지하고(영상 내에 표지가 실제로 존재하는 경우), 표지(또는 특정 유형의 표지)로 분류하고, 표지의 위치를 약도(sparse map)에 저장된 표지의 위치와 연관 지을 수 있다.
일부 실시예에서, 자율주행차는 차체 및 약도(sparse map)에 포함된 데이터를 수신하고 약도(sparse map)의 데이터에 근거하여 도로 구간을 따라 차량을 주행하기 위한 주행 명령을 생성하는 프로세서를 포함할 수 있다.
도 8은 자율 주행을 제공하기 위해 차량(200)(예, 자율주행차)이 접근할 수 있는 약도(sparse map, 800)이다. 약도(sparse map, 800)는 약도(sparse map, 800)는 메모리(140 또는 150)와 같은 메모리에 저장될 수 있다. 이러한 메모리 장치는 비일시적(non-transitory) 저장장치 또는 컴퓨터 가독(computer-readable) 매체의 유형을 포함할 수 있다. 예를 들어, 일부 실시예에서, 메모리(140 또는 150)는 하드드라이브, CD, 플래시메모리, 자기 기억장치, 광 기억장치 등을 포함할 수 있다. 일부 실시예에서, 약도(sparse map, 800)는 메모리(140 또는 150) 또는 기타 유형의 저장 장치에 저장될 수 있는 데이터베이스(예, 지도 데이터베이스(160))에 저장될 수 있다.
일부 실시예에서, 약도(sparse map, 800)는 차량(200)에 탑재된, 예를 들면, 주행 시스템에 포함된 저장 장치와 같은, 저장 장치 또는 비일시적 컴퓨터 가독 매체에 저장될 수 있다. 차량(200)에 제공된 프로세서(예, 처리부(110))는 도로 구간을 횡단하는 자율주행차(200)를 안내하기 위한 주행 명령을 생성하기 위하여 차량(200)에 탑재된 저장 장치 또는 컴퓨터 가독 매체에 저장된 약도(sparse map, 800)에 접속할 수 있다.
반면, 약도(sparse map, 800)는 차량 상에 저장될 필요는 없다. 일부 실시예에서, 약도(sparse map, 800)는 차량(200)과 통신하는 원격 서버에 제공된 저장 장치 또는 컴퓨터 가독 매체 또는 차량(200)과 연동된 장치에 저장될 수 있다. 차량(200)에 제공된 프로세서(예, 처리부(110))는 약도(sparse map, 800)에 포함된 데이터를 원격 서버로부터 수신하고 차량(200)의 자율 주행을 안내하기 위해 이 데이터를 실행할 수 있다. 이러한 실시예에서, 약도(sparse map, 800)는 다양한 도로 구간을 횡단하는 복수의 차량(예, 수십, 수백, 수천, 또는 수백만 대의 차량)이 접근 가능하게 할 수 있다. 또한, 약도(sparse map, 800)는 복수의 부분 지도를 포함할 수 있다. 예를 들어, 일부 실시예에서, 약도(sparse map, 800)는 차량의 주행에 사용될 수 있는 수백 개, 수천 개, 수백만 개, 또는 그 이상의 부분 지도를 포함할 수 있다. 이러한 부분 지도는 로컬 지도로 지칭될 수 있으며, 도로를 주행하는 차량은 차량이 주행하고 있는 지역과 관련된 임의 개수의 로컬 지도에 접속할 수 있다. 약도(sparse map, 800)의 로컬 지도 섹션은 약도(sparse map, 800)의 데이터베이스 인덱스로서 GNSS(Global Navigation Satellite System) 키와 함께 저장될 수 있다. 따라서, 현 시스템에서 호스트 차량의 주행을 위한 각도 조향 연산이 호스트 차량, 도로 특징, 또는 랜드마크의 GNSS 위치에 의존하지 않고 수행될 수 있어도, 해당 로컬 지도를 검색하기 위하여 GNSS 정보가 사용될 수 있다.
데이터 수집과 약도(sparse map, 800) 생성에 관하여는 본 명세서의 다른 부분에서 상세히 다룬다. 그러나 일반적으로, 약도(sparse map, 800)는 도로를 주행하는 하나 이상의 차량으로부터 수집된 데이터에 근거하여 생성될 수 있다. 예를 들면, 하나 이상의 차량에 탑재된 센서(예, 카메라, 속도계, GPS, 가속도계 등)를 사용하여, 도로를 주행하는 하나 이상의 차량의 궤적이 기록되고, 나중에 이 도로를 주행하는 차량의 바람직한 궤적을 다항식 표현이 수집된 하나 이상의 차량이 주행한 궤적에 근거하여 결정될 수 있다. 유사하게, 하나 이상의 차량에 의해 수집된 데이터는 특정 도로상의 랜드마크를 식별하는데 도움이 될 수 있다. 횡단 차량으로부터 수집된 데이터는 또한 도로폭 프로필, 노면 상태 프로필, 차선 간격 프로필 등과 같은 도로 프로필 정보를 식별하는데 사용될 수 있다. 수집된 정보를 사용하여, 약도(sparse map, 800)가 생성되고 배포되어(예, 로컬 저장 또는 실시간 데이터 전송) 하나 이상의 자율주행차량에 의해 사용될 수 있다. 반면, 지도 생성은 초기 생성으로 끝나는 것이 아닐 수 있다. 본 명세서의 다른 부분에서 상세히 설명하겠지만, 약도(sparse map, 800)는 약도(sparse map, 800)에 포함된 도로를 주행하는 차량으로부터 수집된 데이터에 근거하여 지속적으로 또는 주기적으로 업데이트 될 수 있다.
약도(sparse map, 800)에 기록된 데이터는 GPS 데이터에 근거한 위치 정보를 포함할 수 있다. 예를 들어, 랜드마크 위치, 도로 프로필 위치 등의 다양한 지도 요소를 위한 로컬 정보가 약도(sparse map, 800)에 포함될 수 있다. 약도(sparse map, 800)에 포함된 지도 요소의 위치는 도로를 주행하는 차량에서 수집된 GPS 데이터를 사용하여 획득할 수 있다. 예를 들면, 식별된 랜드마크를 통과하는 차량은 차량과 연계된 GPS 위치 정보를 사용하여 식별된 랜드마크의 위치를 판단하고 식별된 랜드마크의 차량에 대한 위치를 판단(예, 차량에 탑재된 하니 이상의 카메라에서 수집된 데이터의 영상 분석을 통하여)할 수 있다. 식별된 랜드마크(또는 약도(sparse map, 800)에 포함된 임의의 특징)의 이러한 위치 판단은 다른 차량들이 같은 랜드마크를 통과함에 따라 반복될 수 있다. 추가적인 위치 판단의 모두 또는 일부는 약도(sparse map, 800)에 저장된 식별된 랜드마크에 대한 위치 정보를 더욱 정확하게 할 수 있다. 예를 들어, 일부 실시예에서, 약도(sparse map, 800)에 저장된 특정 특징에 대한 복수의 위치 측정치의 평균을 구할 수 있다. 반면, 지도 요소에 대해 판단된 복수의 위치에 근거하여 지도 요소의 저장된 위치를 더욱 정확하게 하기 위하여 임의의 수학적 연산이 사용될 수 있다.
본 발명의 실시예에 의한 약도(sparse map)는 상대적으로 적은 양의 저장 데이터를 사용하여 차량의 자율 주행을 가능하게 할 수 있다. 일부 실시예에서, 약도(sparse map, 800)의 데이터 밀도(목표 궤적, 랜드마크 및 기타 저장된 도로 특징을 나타내는 데이터 포함)는 도로 1킬로미터 당 2MB 미만 또는 1MB 미만일 수 있다. 일부 실시예에서, 약도(sparse map, 800)의 데이터 밀도는 도로 1킬로미터 당 10kB 미만 또는 심지어 2kB 미만(예, 1킬로미터 당 1.6 kB), 또는 1 킬로미터 당 10kB 이하 또는 20kB이하일 수 있다. 일부 실시예에서, 4GB이하의 데이터를 가진 약도(sparse map)를 사용하여 미국 내 모든 또는 거의 모든 도로를 자율 주행할 수 있다. 이러한 데이터 밀도값은 약도(sparse map, 800) 전체에 대한, 약도(sparse map, 800) 내의 로컬 지도에 대한, 및/또는 약도(sparse map, 800) 내의 특정 도로 구간에 대한 평균을 나타낼 수 있다.
설명한 바와 같이, 약도(sparse map, 800)는 도로 구간을 따라 자율 주행을 안내하기 위한 복수의 목표 궤적(810)을 포함할 수 있다. 이러한 목표 궤적은 3차원 스플라인으로 저장될 수 있다. 약도(sparse map, 800)에 저장된 목표 궤적은 측정 도로 구간을 따라 차량이 이전에 횡단한 하나 이상의 재구성 궤적에 근거하여 결정될 수 있다. 도로 구간은 단일 목표 궤적 또는 다수의 목표 궤적과 관련 있을 수 있다. 예를 들어, 2차선 도로에서, 제1 목표 궤적은 제1방향으로 의도한 도로 주행 경로를 나타내고, 제2 목표 궤적은 다른 방향(예, 제1방향의 반대 방향)으로 의도한 도로 주행 경로를 나타내도록 저장될 수 있다. 특정 도로 구간에 대하여 추가 목표 궤적이 저장될 수 있다. 예를 들면, 다차선 도로에서, 다차선의 하나 이상의 차선을 주행하는 차량의 의도 주행 경로를 나타내는 하나 이상의 목표 궤적이 저장될 수 있다. 일부 실시예에서, 다차선 도로의 각 차선에는 각 목표 궤적이 있을 수 있다. 다른 실시예에서, 다차선 도로의 차선보다 적은 수의 목표 궤적이 있을 수 있다. 이 경우, 다차선 도로를 주행하는 차량은 저장된 목표 궤적 중 어느 하나를 사용하여 저장된 목표 궤적에 해당하는 차선으로부터 차선 오프셋을 고려하여 주행을 안내할 수 있다(예, 차량이 3차선 도로의 1차선을 주행하고 있고, 2차선에 대한 목표 궤적만이 저장돼 있는 경우, 차량은 2차선과 1차선 사이의 차선 오프셋 양을 고려하여 주행 명령을 생성함으로써 2차선의 목표 궤적을 사용하여 주행할 수 있다).
일부 실시예에서, 목표 궤적은 차량이 주행하기에 이상적인 경로를 나타낼 수 있다. 목표 궤적은, 예를 들어, 주행하는 차선의 거의 중앙에 위치할 수 있다. 혹은, 목표 궤적은 도로 구간의 다른 곳에 위치할 수 있다. 예를 들면, 목표 궤적은 도로의 중앙, 도로의 가장자리, 차선의 가장자리 등의 위치와 일치할 수 있다. 이 경우, 목표 궤적에 근거한 주행은 목표 궤적의 위치에 대해 유지돼야 할 오프셋의 양에 대한 판단을 포함할 수 있다. 또한, 일부 실시예에서, 목표 궤적의 위치에 대해 유지돼야 할 것으로 판단되는 오프셋의 양은 차량의 종류에 따라 다를 수 있다(예, 목표 궤적의 적어도 일부분에서는 2축 승용차의 오프셋은 2축 이상 트럭의 오프셋과 다를 수 있다).
약도(sparse map, 800)는 또한 특정 도로 구간, 로컬 지도 등과 연계된 복수의 미리 설정된 랜드마크(820)에 관한 데이터를 포함할 수 있다. 본 명세서의 다른 부분에서 설명하듯이, 이러한 랜드마크는 자율주행차를 주행하는데 사용될 수 있다. 예를 들면, 일부 실시예에서, 랜드마크는 저장된 목표 궤적에 대한 차량의 현위치를 판단하는데 사용될 수 있다. 자율주행차는 이 위치 정보를 이용하여 판단된 위치에서 진행 방향을 목표 궤적의 방향과 일치하도록 조정할 수 있다.
복수의 랜드마크(820)는 적합한 간격으로 약도(sparse map, 800) 내에 식별되고 저장될 수 있다. 일부 실시예에서, 랜드마크는 상대적으로 높은 밀도(예, 몇 미터 간격)로 저장될 수 있다. 예를 들어, 약도(sparse map, 800)에서, 식별(또는 인지)된 랜드마크는 10미터, 20미터, 50미터, 100미터, 1킬로미터, 또는 2킬로미터 간격으로 떨어져 있을 수 있다. 일부 예에서, 식별된 랜드마크는 2킬로미터 이상의 간격으로 배치될 수 있다. 랜드마크 사이, 즉 목표 궤적에 대한 차량 위치의 판단 사이에서, 차량은 센서를 사용하여 자신의 움직임을 판단하고 목표 궤적에 대한 자신의 위치를 추정하는 추측항법(dead reckoning)에 근거하여 주행할 수 있다. 시간이 흐르면서 추측항법에 의한 주행의 오차가 누적될 수 있기 때문에, 목표 궤적에 대한 위치 판단의 정확도는 떨어질 수 있다. 차량은 약도(sparse map, 800)에 나타나는 랜드마크(및 그 위치)를 사용하여 추측항법으로 인한 위치 판단의 오차를 제거할 수 있다. 이에 따라, 약도(sparse map, 800) 내에 식별된 랜드마크는 목표 궤적에 대한 차량의 위치를 정확하게 판단하게 해주는 주행 닻(anchor) 역할을 할 수 있다. 위치 인식에서 어느 정도의 오차는 용납될 수 있으므로, 식별된 랜드마크가 항상 자율주행차에 필요한 것은 아니다. 대신, 상기에 설명한 바와 같이 10미터, 20미터, 50미터, 100미터, 500미터, 1킬로미터, 2킬로미터, 또는 그 이상의 간격의 랜드마크에 근거한 적합한 주행도 가능하다. 일부 실시예에서, 도로 1킬로미터마다 1개의 랜드마크가 있는 밀도로도 1미터 이내의 종방향 위치 판단 정확도를 충분히 유지할 수 있다. 따라서, 도로 구간에 등장하는 모든 랜드마크가 약도(sparse map, 800)에 저장될 필요는 없다.
약도(sparse map, 800)는 목표 궤적과 랜드마크 외에도 기타 다양한 도로 특징에 대한 정보를 포함할 수 있다. 예를 들어, 도 9a는 약도(sparse map, 800)에 저장될 수 있는 특정 도로 구간의 굴곡을 나타낸 것이다. 일부 실시예에서, 도로의 단일 차선은 그 도로의 좌측과 우측에 대한 3차원 다항식 설명으로 모델링 될 수 있다. 단일 차선의 좌측과 우측을 나타내는 이러한 다항식이 도 9a에 도시되어 있다. 차선의 수와 관계없이, 도로는 도 9a에 도시된 바와 유사한 다항식을 사용하여 표현될 수 있다. 예를 들어, 다차선 도로의 좌측과 우측은 도 9a에 도시된 다항식과 유사한 다항식으로 표현될 수 있고, 다차선 도로에 포함된 중간 차선 표시(예, 차선 경계를 나타내는 파선, 중앙선을 나타내는 황색 실선 등)도 도 9a에 도시된 다항식과 유사한 다항식으로 표현될 수 있다.
도 9a에 도시된 바와 같이, 차선(900)은 다항식(예, 1차, 2차, 3차, 또는 그 이상 차수의 적합한 다항식)을 사용하여 표현될 수 있다. 예시를 위하여, 차선(900)은 2차원 차선으로 도시했고, 다항식은 2차원 다항식으로 도시했다. 차선(900)은 좌측(910)과 우측(920)을 포함한다. 일부 실시예에서, 둘 이상의 다항식을 사용하여 도로 또는 차선 경계의 각 측의 위치를 표현할 수 있다. 예를 들어, 좌측(910)과 우측(920)은 적합한 길이를 가진 복수의 다항식에 의해 표현될 수 있다. 일부 예에서, 다항식의 길이는 약 100미터일 수 있으며, 100미터보다 길거나 짧은 길이도 사용될 수 있다. 뿐만 아니라, 호스트 차량이 도로를 주행하면서 차후에 접하게 되는 다항식에 근거한 주행에서 매끄러운 이행을 가능하게 하기 위하여 다항식은 서로 겹칠 수 있다. 예를 들면, 좌측(910)과 우측(920)은 각각 약 100미터 길이(처음에 미리 설정된 범위의 예)의 구간으로 분리된 복수의 3차 다항식에 의해 표현되고 서로 약 50미터가 겹칠 수 있다. 좌측(910)과 우측(920)을 나타내는 다항식은 서로 같은 차수일 수도 있고 다른 차수일 수도 있다. 예를 들어, 일부 실시예에서, 일부 다항식은 2차 다항식이고, 일부 다항식은 3차 다항식이며, 일부 다항식은 4차 다항식일 수 있다.
도 9a에 도시된 예에서, 좌측(910)과 우측(920)은 두 그룹의 3차 다항식으로 표현된다. 제1그룹은 911, 912, 913으로 표시된 다항식 구간을 포함하고, 제2그룹은 914, 915, 916으로 표시된 다항식 구간을 포함한다. 실질적으로 서로 평행한 두 그룹은 도로의 상응하는 측의 위치에 따른다. 다항식 구간(911-916)은 약 100미터이고 인접한 구간과 직렬로 약 50미터 겹친다. 앞서 설명한 바와 같이, 다른 길이를 가지고 다른 정도로 겹치는 다항식도 사용될 수 있다. 예를 들어, 다항식은 500미터, 1킬로미터 또는 그 이상일 수 있고, 0 내지 50미터, 50 내지 100미터, 또는 100미터 이상이 겹칠 수 있다. 또한, 도 9a의 예시가 2차원 공간(예, 종이 표면)에서 연장되는 다항식을 나타내는 반면, 이러한 다항식이 3차원(예, 높이 요소 포함)에서 연장되는 곡선을 표현하여 X-Y 곡률 외에도 도로 구간의 높낮이 변화를 나타낼 수 있음은 당연하다.
다시 약도(sparse map, 800)의 목표 궤적에 관한 내용으로 돌아와서, 도 9b는 특정 도로 구간을 주행하는 차량에 대한 목표 궤적을 나타내는 3차원 다항식의 예시이다. 목표 궤적은 호스트 차량이 특정 도로 구간을 따라 주행해야 하는 X-Y 경로는 물론 호스트 차량이 이 도로 구간을 따라 주행하면서 접하게 될 높낮이 변화를 나타낸다. 따라서, 약도(sparse map, 800) 내의 각 목표 궤적은 도 9b에 도시된 3차원 다항식(950)과 같은 하나 이상의 3차원 다항식에 의해 표현될 수 있다. 약도(sparse map, 800)는 복수의 궤적(예, 전 세계 도로의 다양한 도로 구간을 따라 주행하는 차량의 궤적을 나타내는 수백만 또는 수천만의 궤적)을 포함할 수 있다. 일부 실시예에서, 각 목표 궤적은 3차원 다항식 구간을 연결하는 스플라인에 상응할 수 있다.
약도(sparse map, 800)에 저장된 다항식 곡선의 데이터 흔적에 관하여, 일부 실시예에서, 각 3차 다항식은 각각 4바이트의 데이터를 필요로 하는 4개의 파라미터에 의해 표현될 수 있다. 100미터 마다 약 192바이트의 데이터가 필요한 3차 다항식을 사용하면 적합한 표현이 얻어질 수 있다. 이는 약 시속 100킬로미터로 주행하는 호스트 차량은 대략 시간당 200kB의 데이터 사용/전송을 필요로 한다는 것을 의미한다.
약도(sparse map, 800)는 기하 기술자(geometry descriptor) 및 메타데이터의 조합을 사용하여 차선망(lanes network)을 묘사할 수 있다. 기하는 위에서 설명한 바와 같이 다항식 또는 스플라인에 의해 묘사될 수 있다. 메타데이터는 차선의 개수, 특수한 특성(카풀 차선 등), 및 기타 가능한 희박한 레이블을 묘사할 수 있다. 이러한 지시자의 총 흔적은 무시해도 될 정도일 수 있다.
앞서 설명한 바와 같이, 약도(sparse map, 800)는 도로 구간에 관한 복수의 미리 설정한 랜드마크를 포함할 수 있다. 랜드마크의 실제 영상을 저장하고, 예를 들어, 촬영 영상과 저장 영상에 근거한 영상 인지 분석에 의존하는 대신, 약도(sparse map, 800) 내의 각 랜드마크는 저장된 실제 영상이 요구하는 데이터보다 적은 양의 데이터를 사용하여 표현되고 인식될 수 있다. 랜드마크를 표현하는 데이터는 도로를 따라 형성된 랜드마크를 묘사하거나 식별하기 위한 정보를 포함할 수 있다. 랜드마크의 실제 영상을 저장하기보다는 랜드마크의 특성을 묘사하는 데이터를 저장함으로써, 약도(sparse map, 800)의 크기를 줄일 수 있다.
도 10은 약도(sparse map, 800) 내에 표현될 수 있는 랜드마크의 유형을 예시한 것이다. 랜드마크는 도로를 따라 보일 수 있고 식별될 수 있는 물체들을 포함한다. 랜드마크는 고정되고 그 위치 및/또는 내용이 자주 변경되지 않도록 선택될 수 있다. 약도(sparse map, 800)에 포함된 랜드마크는 차량이 특정 도로 구간을 횡단하면서 목표 궤적에 대한 차량(200)의 위치를 판단하는데 유용할 수 있다. 랜드마크의 예에는 교통표지판, 방향지시판, 일반 표지판(예, 직사각형 표지판), 도로변 시설물(예, 가로등, 반사경 등), 및 기타 적합한 부류를 포함할 수 있다. 일부 실시예에서, 도로상의 차선 표시도 약도(sparse map, 800) 내에 랜드마크로 포함될 수 있다.
도 10에 도시된 랜드마크의 예시에는 교통표지판, 방향지시판, 도로변 시설, 및 일반 표지판이 포함돼 있다. 교통표지판은, 예를 들어, 속도제한표지판(1000), 양보표지판(1005), 도로번호표지판(1010), 교통신호표지판(1015), 일단정지표지판(1020) 등을 포함할 수 있다. 방향지시판은 다른 장소로 가는 하나 이상의 방향을 나타내는 하나 이상의 화살표가 있는 표지판을 포함할 수 있다. 예를 들어, 방향지시판은 다른 도로 또는 장소로 차량을 안내하는 화살표가 있는 고속도로표지판(1025), 차량을 도로 밖으로 안내하는 화살표가 있는 출구표지(1030) 등을 포함할 수 있다.
일반 표지판은 교통과 무관할 수 있다. 예를 들어, 일반 표지판에는 광고판 또는 두 행정구역 사이의 경계에 인접하여 설치된 환영인사 간판 등이 포함될 수 있다. 도 10에는 "조식당"이라는 일반 표지판(1040)이 예시돼 있다. 도 10에 도시된 바와 같이, 일반 표지판은 직사각형 형상일 수 있지만, 정사각형, 원형, 삼각형 등의 다른 형상도 가능하다.
랜드마크는 또한, 도로변 시설물을 포함할 수 있다. 도로변 시설물은 표지판이 아닌, 교통 또는 방향과 무관한 물체일 수 있다. 예를 들어, 도로변 시설물에는 가로등(1035), 전봇대, 신호등 기둥 등이 포함될 수 있다.
랜드마크는 또한, 자율주행시스템에서 사용하기 위해 특별히 설계된 비콘(beacon)을 포함할 수 있다. 예를 들면, 이러한 비콘은 호스트 차량의 주행을 지원하기 위해 미리 정해진 간격으로 배치된 단독구조물을 포함할 수 있다. 이러한 비콘은 또한, 도로 구간을 주행하는 차량이 식별하거나 인지할 수 있도록 기존의 도로표지판에 추가된 시각/그래픽 정보(예, 아이콘, 엠블럼, 바코드 등)를 포함할 수 있다. 이러한 비콘은 전자 소자를 포함할 수 있다. 이러한 실시예에서, 전자 비콘(예, RFID 태그 등)은 호스트 차량에 비시각적 정보를 전송하는데 사용될 수 있다. 이러한 정보는, 예를 들어, 호스트 차량이 목표 궤적을 따라 자신의 위치를 판단하는데 사용될 수 있는 랜드마크 식별자 및/또는 랜드마크 위치 정보를 포함할 수 있다.
일부 실시예에서, 약도(sparse map, 800)에 포함된 랜드마크는 미리 정해진 크기의 데이터 대상물로 표현될 수 있다. 랜드마크를 나타내는 데이터는 특정 데이터를 식별하기에 적합한 파라미터를 포함할 수 있다. 예를 들어, 일부 실시예에서, 약도(sparse map, 800)에 포함된 랜드마크는 랜드마크의 물리적 크기(예, 알려진 크기에 근거하여 랜드마크까지의 거리 추정을 위함), 이전 랜드마크까지의 거리, 횡적 오프셋, 높이, 유형 코드(예, 랜드마크 유형, 즉, 어떤 종류의 방향표지, 교통표지 등인가), GPS 좌표(예, 자기위치인식을 지원하기 위한 좌표) 및 기타 적합한 파라미터를 포함할 수 있다. 각 파라미터는 데이터 크기와 연계될 수 있다. 예를 들면, 랜드마크 크기는 8바이트의 데이터를 사용하여 저장될 수 있다. 이전 랜드마크까지의 거리, 횡적 오프셋, 및 높이는 12바이트의 데이터를 사용하여 명시할 수 있다. 방향표지 또는 교통표지와 같은 랜드마크와 연계된 유형 코드에는 약 2바이트의 데이터가 필요할 수 있다. 일반 표지판의 경우, 영상 특징을 가능하게 하는 식별자는 50바이트의 저장공간에 저장될 수 있다. 랜드마크의 GPS 위치는 16바이트의 데이터 공간과 연계될 수 있다. 여기에 설명한 각 파라미터의 데이터 크기는 예시에 불과하며, 다른 데이터 크기도 가능함은 당연하다.
이러한 방식으로 약도(sparse map, 800) 내에 랜드마크를 나타냄으로써 데이터 효율적으로 데이터베이스 내에서 랜드마크를 나타내는 솔루션을 제공할 수 있다. 일부 실시예에서, 표지판은 의미론적(semantic) 표지판과 비의미론적(non-semantic) 표지판을 의미할 수 있다. 의미론적 표지판은 표준화된 의미를 내포한 표지판(예, 속도제한표지판, 경고표지판, 방향표지판 등)의 부류를 포함할 수 있다. 비의미론적 표지판은 표준화된 의미와 무관한 표지판(예, 일반 광고판, 사업체를 식별하는 표지판 등)을 포함할 수 있다. 예를 들어, 각 의미론적 표지판은 38바이트의 데이터(크기에 8바이트, 이전 랜드마크까지의 거리, 횡적 오프셋, 높이에 12바이트, 유형 코드에 2바이트, 및 GPS 좌표에 16바이트)로 표현될 수 있다. 약도(sparse map, 800)는 태그 시스템을 사용하여 랜드마크 유형을 나타낼 수 있다. 일부 예에서, 교통표지판 또는 방향표지판은 각각 랜드마크 식별자의 일부로서 데이터베이스에 저장되는 해당 태그와 연계될 수 있다. 예를 들어, 데이터베이스는 다양한 교통표지판에 대해 대략 1000여 개의 다른 태그를 포함하고 방향표지판에 대해 대략 1만여 개의 다른 태그를 포함할 수 있다. 물론, 태그의 개수는 다를 수 있으며, 필요에 따라 추가적인 태그가 생성될 수도 있다. 일부 실시예의 일반적이 표지판은 약 100바이트 미만의 데이터(크기에 8바이트, 이전 랜드마크까지의 거리, 횡적 오프셋, 높이에 12바이트, 영상 특징에 50바이트, 및 GPS 좌표에 16바이트를 포함하는 총 86바이트)로 표현될 수 있다.
따라서, 영상 특징이 필요 없는 의미론적 도로표지판에 있어서, 약도(sparse map, 800)에 미치는 데이터 밀도의 영향은, 상대적으로 높은 랜드마크 밀도인 50미터당 하나라고 할지라도, 킬로미터당 대략 760바이트(예, 킬로미터당 20개의 랜드마크 x 랜드마크당 38바이트 = 760바이트)일 수 있다. 영상 특징 요소를 포함하는 일반적인 표지판이라 할지라도, 데이터 밀도의 영향은 킬로미터당 대략 1,72kB(예, 킬로미터당 20개의 랜트마크 x 랜드마크당 86바이트 = 1720바이트)일 수 있다. 의미론적 도로표지에 있어서, 이는 시속 100킬러미터로 달리는 자동차가 1시간에 약 76kB를 사용함을 의미한다.
일부 실시예에서, 직사각형 표지판과 같은 일반적인 직사각형 물체는 약도(sparse map, 800) 내에서 100바이트 이하의 데이터에 의해 표현될 수 있다. 약도(sparse map, 800) 내에서 일반적인 직사각형 물체(예, 일반 표지판(1040))의 표현은 일반적인 직사각형 물체와 관련된 응축된 영상 특징(1045)을 포함할 수 있다. 이러한 응축된 영상 특징은 예를 들어 일반적인 표지판을 인지된 랜드마크로의 식별하는데 사용될 수 있다. 이러한 응축된 영상 특징(예, 물체를 나타내는 실제 영상 데이터로부터 도출된 영상 정보)을 사용하면 랜드마크를 인지하기 위하여 물체의 실제 영상을 저장할 필요 또는 실제 영상의 비교 영상 분석을 수행할 필요가 없을 수 있다.
도 10을 참조하면, 약도(sparse map, 800)는 일반 표지판(1040)과 관련된 응축 영상 특징(1045)을 포함하거나 저장할 수 있다. 예를 들어, 이미지캡처장치(예, 122, 124, 또는 126)가 일반 표지판(1040)의 영상을 촬영한 후, 프로세서(예, 영상 프로세서(190) 또는 호스트 차량에 대하여 탑재되거나 원격으로 위치하여 영상을 처리할 수 있는 기타 프로세서)는 영상 분석을 수행하여 일반 표지판(1040)과 관련된 독특한 형상 또는 패턴을 포함하는 응축 영상 특징(1045)을 추출/생성할 수 있다. 일 실시예에서, 응축 영상 특징(1045)은 일반 표지판(1040)을 묘사하기 위하여 일반 표지판(1040)의 영상으로부터 추출될 수 있는 형체, 색 패턴, 밝기 패턴, 또는 기타 특징을 포함할 수 있다. 예를 들어, 도 10에서, 응축 영상 특징(1045)에 도시된 원형, 삼각형, 별표는 다른 색을 가진 영역을 나타낼 수 있다. 원형, 삼각형, 및 별표로 나타낸 패턴은, 예를 들어, 영상 특징을 포함하도록 지정된 50바이트 이내에서 약도(sparse map, 800) 내에 저장될 수 있다. 물론, 상기 원형, 삼각형, 별표는 이런 형상이 영상 특징의 일부로 저장됨을 의미하는 것은 아니다. 오히려, 이런 형상들은 일반적인 표지와 관련된 식별 가능한 색상 차이, 질감 영역, 그래픽 형상, 또는 기타 특성 차이 등을 개념적으로 나타내기 위한 것이다. 이러한 응축 영상 특징은 랜드마크를 일반 표지판의 형식으로 식별하는데 사용될 수 있다. 예를 들어, 응축 영상 특징은 저장된 응축 영상 특징과 자율주행차에 탑재된 카메라를 사용하여 촬영한 영상 데이터의 비교에 근거한 동일 여부 분석의 수행에 사용될 수 있다.
호스트 차량이 특정 도로 구간을 주행하기 위해 사용할 수 있는 목표 궤적에 대한 설명으로 돌아가서, 도 11a는 약도(sparse map, 800)를 구축하거나 유지하는 과정에서 촬영하는 궤적의 다항식 표현을 도시한 것이다. 약도(sparse map, 800)에 포함된 목표 궤적의 다항식 표현은 이전에 차량들이 동일한 도로 구간을 횡단한 둘 이상의 재구성 궤적에 근거하여 결정될 수 있단. 일부 실시예에서, 약도(sparse map, 800)에 포함된 목표 궤적의 다항식 표현은 이전에 차량들이 동일한 도로 구간을 횡단한 둘 이상의 재구성 궤적의 합일 수 있다. 일부 실시예에서, 약도(sparse map, 800)에 포함된 목표 궤적의 다항식 표현은 이전에 차량들이 동일한 도로 구간을 횡단한 둘 이상의 재구성 궤적의 평균일 수 있다. 도로 구간을 따라 횡단하는 차량으로부터 수집된 재구성 궤적에 근거하여 도로 경로의 목표 궤적을 구성하기 위하여 다른 수학적 연산이 사용될 수도 있다.
도 11a에 도시된 바와 같이, 도로 구간(1100)에는 여러 차량(200)이 서로 다른 시간에 주행할 수 있다. 각 차량(200)은 도로 구간을 따라 운행하는 경로와 관련된 데이터를 수집할 수 있다. 특정 차량에 의해 운행된 경로는 여러 가능한 소스 중에서 카메라 데이터, 가속도계 정보, 속력 센서 정보, 및/또는 GPS 정보에 근거하여 결정될 수 있다. 이러한 데이터는 도로 구간을 운행하는 차량의 궤적을 재구성하는데 사용될 수 있고, 이러한 재구성 궤적에 근거하여 특정 도로 구간에 대한 목표 궤적(또는 복수의 목표 궤적)이 결정될 수 있다. 이러한 목표 궤적은 호스트 차량이 도로 구간을 운행하는 바람직한 경로(예, 자율주행 시스템이 안내하는 경로)를 나타낼 수 있다.
도 11a의 예시에서, 제1 재구성 궤적(1101)은 제1시간 구간(예, 첫째 날)에 도로 구간(1100)을 횡단한 제1차량으로부터 수신한 데이터에 근거하여 결정될 수 있고, 제2 재구성 궤적(1102)은 제2시간 구간(예, 둘째 날)에 도로 구간(1100)을 횡단한 제2차량으로부터 획득할 수 있으며, 제3 재구성 궤적(1103)은 제3시간 구간(예, 셋째 날)에 도로 구간(1100)을 횡단한 제3차량으로부터 획득할 수 있다. 각 궤적(1101, 1102, 1103)은 3차 다항식과 같은 다항식으로 표현될 수 있다. 한편, 일부 실시예에서는 재구성 궤적이 도로 구간(1100)을 횡단하는 차량 자체에서 구성될 수 있다.
추가적으로, 또는 대안적으로, 이러한 재구성 궤적은 도로 구간(1100)을 횡단하는 차량으로부터 수신한 정보에 근거하여 서버 측에서 결정할 수 있다. 예를 들어, 일부 실시예에서, 차량(200)은 도로 구간(1100)을 따라 차량의 동작(예, 조향 각도, 방위각, 시간, 위치, 속도, 감지된 도로 기하, 및/또는 감지된 랜드마크 등)에 관한 데이터를 하나 이상의 서버로 전송할 수 있다. 서버는 수신한 데이터에 근거하여 차량(200)에 대한 궤적을 재구성할 수 있다. 서버는 또한 제1, 제2, 제3 궤적(1101, 1102, 1103)에 근거하여 나중에 동일 도로 구간(1100)을 따라 운행할 자유주행차의 주행을 안내하기 위한 목표 궤적을 생성할 수 있다. 목표 궤적은 도로 구간의 단일 이전 운행에 관한 것일 수 있지만, 일부 실시예에서는, 약도(sparse map, 800)에 포함된 각 목표 궤적은 동일 도로 구간은 운행한 차량의 둘 이상의 재구성 궤적에 근거하여 결정될 수 있다. 도 11a에서, 목표 궤적은 참조번호 1110으로 표시돼 있다. 일부 실시예에서, 목표 궤적(1110)은 제1, 제2, 제3 궤적(1101, 1102, 1103)의 평균에 근거하여 생성될 수 있다. 일부 실시예에서, 약도(sparse map, 800)에 포함된 목표 궤적(1110)은 둘 이상의 재구성 궤적의 합(예, 가중치를 부가한 조합)일 수 있다.
도 11b와 11c는 지리적 구역(1111) 내에 존재하는 도로 구간과 관련된 목표 궤적의 개념을 예시한 것이다. 도 11b에 도시된 바와 같이, 지리적 구역(1111) 내의 제1도로 구간(1120)은 다차선 도로를 포함할 수 있으며, 이 다차선 도로는 제1방향으로 이동하는 차량에 지정된 두 차선(1122)과 제1방향과 반대 방향인 제2방향으로 이동하는 차량에 지정된 추가적인 두 차선(1124)을 포함할 수 있다. 차선(1122)과 차선(1124)은 이중 황색선(1123)으로 분리될 수 있다. 지리적 구역(1111)은 또한, 도로 구간(1120)과 교차하는 지선 도로 구간(1130)을 포함할 수 있다. 도로 구간(1130)은 2차선 도로를 포함할 수 있으며, 각 차선은 다른 이동 방향으로 지정될 수 있다. 지리적 구역(1111)은 또한 정지선(1132), 일시정지표지판(1134), 속도제한표지판(1136), 및 위험표지판(1138) 등의 기타 도로 특징을 포함할 수 있다.
도 11c에 도시된 바와 같이, 약도(sparse map, 800)는 지리적 구역(1111) 내에서 차량의 자율 주행을 지원하기 위한 도로 모델을 포함하는 로컬 지도(1140)를 포함할 수 있다. 예를 들어, 로컬 지도(1140)는 지리적 구역(1111) 내의 도로 구간(1120 및/또는 1130)과 관련된 하나 이상의 차선의 목표 궤적을 포함할 수 있다. 예를 들어, 로컬 지도(1140)는 자율주행차가 차선(1122)을 운행할 때 접속하거나 의존할 목표 궤적(1141 및/또는 1142)을 포함할 수 있다. 마찬가지로, 로컬 지도(1140)는 차선(1124)을 운행할 때 접속하거나 의존할 목표 궤적(1143 및/또는 1144)을 포함할 수 있다. 나아가, 로컬 지도(1140)는 차선(1130)을 운행할 때 접속하거나 의존할 목표 궤적(1145 및/또는 1146)을 포함할 수 있다 목표 궤적(1147)은 자율주행차가 차선(1120)으로부터(특히, 차선(1120)의 최우측 차선과 관련된 목표 궤적(1141)에 대하여) 도로 구간(1130)으로(특히, 도로 구간(1130)의 제1측과 관련된 목표 궤적(1145)에 대하여) 이동할 때 운행해야 할 바람직한 경로를 나타낸다. 마찬가지로, 목표 궤적(1148)은 자율주행차가 도로 구간(1130)으로부터(특히, 목표 궤적(1146)에 대하여) 도로 구간(1124)의 일부분으로(특히, 도시된 바와 같이, 차선(1124)의 좌측 차선과 연계된 목표 궤적(1143)에 대하여) 이동할 때 운행해야 할 바람직한 경로를 나타낸다.
약도(sparse map, 800)는 또한 지리적 구역(1111)과 관련된 기타 도로 관련 특징의 표현을 포함할 수 있다. 예를 들면, 약도(sparse map, 800)는 또한 지리적 구역(1111)에서 식별된 하나 이상의 랜드마크의 표현을 포함할 수 있다. 이러한 랜드마크는 정지선(1132)과 관련된 제1 랜드마크(1150), 일시정지표지판(1134)과 관련된 제2 랜드마크(1152), 속도제한표지판(1154)과 관련된 제3 랜드마크, 및 위험표지판(1138)과 관련된 제4 랜드마크(1156)를 포함할 수 있다. 이러한 랜드마크는, 예를 들어, 자율주행차가 도시된 목표 궤적의 어느 하나에 대한 현재 위치를 판단하는 데에 도움을 주어 판단된 위치에서 진행 방향을 목표 궤적에 일치시키도록 하기 위해 사용될 수 있다.
일부 실시예에서, 약도(sparse map, 800)는 또한 도로 특징 프로필을 포함할 수 있다. 이러한 도로 특징 프로필은 도로와 관련된 적어도 하나의 파라미터의 식별/측정 가능한 변화에 관한 것일 수 있다. 예를 들어, 일부 예에서, 이러한 프로필은 특정 도로 구간의 노면 거칠기의 변화, 특정 도로 구간의 도로 폭의 변화, 특정 도로 구간에 그려진 파선 사이의 거리의 변화, 특정 도로 구간의 도로 곡률의 변화 등에 관한 것일 수 있다. 도 11d는 도로 특징 프로필(1160)의 일례를 예시한 것이다. 여기서, 프로필(1160)이 상기 파라미터의 어느 하나를 나타낼 수 있지만, 일례에서, 프로필(1160)은, 예를 들어, 차량이 특정 도로 구간을 주행하면서 서스펜션 변위의 양을 나타내는 출력을 제공하는 하나 이상의 센서를 모니터하여 획득한 노면 거칠기의 측정치를 나타낼 수 있다. 또는, 프로필(1160)은 특정 도로 구간을 주행하는 차량에 탑재된 카메라를 통해서 획득한 영상 데이터에 근거하여 판단된 도로 폭의 변화를 나타낼 수 있다. 이러한 프로필은 예를 들어 특정 목표 궤적에 대한 자율주행차의 특정 위치를 판단하는데 유용할 수 있다. 즉, 자율주행차가 도로 구간을 운행하면서 도로 구간의 하나 이상의 파라미터와 관련된 프로필을 측정할 수 있다. 측정된 프로필이 도로 구간의 위치에 대한 파라미터 변화를 구성하는 미리 설정된 프로필과 상응/일치할 수 있으면, 측정된 프로필과 미리 설정된 프로필을 도로 구간 상의 현 위치, 따라서 도로 구간의 목표 궤적에 대한 현 위치를 판단하기 위해 사용(예, 측정된 프로필과 미리 설정된 프로필의 상응하는 부분을 오버레이)할 수 있다.
일부 실시예에서, 약도(sparse map, 800)는 자율주행차의 사용자, 주변환경조건, 및/또는 운행에 관한 기타 파라미터와 관련된 다른 특성들에 근거한 다른 궤적을 포함할 수 있다. 예를 들면, 일부 실시예에서, 다른 사용자 선호도 및/또는 프로필에 근거하여 다른 궤적이 생성될 수 있다. 이러한 다른 궤적을 포함하는 약도(sparse map, 800)는 다른 사용자의 다른 자율주행차에 제공될 수 있다. 예를 들어, 일부 사용자는 유료도로를 선호하지 않을 수 있지만, 다른 사용자는 유료 여부와 상관없이 가장 짧거나 빠른 경로를 선호할 수 있다. 여기에 기재된 시스템은 이러한 다른 사용자 선호도 또는 프로필에 근거하여 다른 궤적을 가진 다른 약도(sparse map)를 생성할 수 있다. 다른 예에서, 일부 사용자는 빠른 차선으로 주행하는 것을 선호하는 반면, 다른 사용자는 항상 중앙 차선 주행만 유지하는 것을 선호할 수 있다.
다른 궤적은 주간, 야간, 강설, 강우, 안개 등의 다른 주변환경조건에 근거하여 생성되고 약도(sparse map, 800)에 포함될 수 있다. 다른 환경조건하에서 운행하는 자율주행차에게는 이러한 다른 환경조건에 근거하여 생성된 약도(sparse map, 800)가 제공될 수 있다. 일부 실시예에서, 자율주행차에 제공된 카메라가 주변환경조건을 감지하여 오히려 이러한 정보를 약도(sparse map)를 생성하고 제공하는 서버로 제공할 수 있다. 예를 들면, 서버는 감지된 환경조건하에서 자유주행에 더 적합하거나 안전할 수 있는 궤적을 포함하도록 약도(sparse map, 800)를 생성하거나 이미 생성된 약도(sparse map, 800)를 업데이트 할 수 있다. 환경조건에 근거한 약도(sparse map, 800)의 업데이트는 자율주행차가 도로를 이동하면서 동적으로 수행될 수 있다.
다른 자율주행차에 다른 약도(sparse map)를 생성하고 제공하는 근거로 운전에 관한 다른 파라미터가 사용될 수 있다. 예를 들어, 자율주행차가 고속으로 주행하면, 급회전을 해야 할 수도 있다. 약도(sparse map, 800)에는 도로보다는 특정 차선에 관한 궤적이 포함되어 자율주행차가 특정 궤적을 따라 특정 차선 내에서 유지되게 할 수 있다. 자율주행차에 탑재된 카메라가 촬영한 영상이 차선을 이탈(예, 차선표시를 횡단)한 것으로 나타날 경우, 특정 궤적에 따라 지정된 차선으로 차량이 다시 들어오도록 하는 조치가 취해질 수 있다.
자율 주행을 위한 도로 모델 구성
일부 실시예에서, 여기에 기재된 시스템과 방법은 자율 주행을 위한 도로 모델을 구성할 수 있다. 예를 들어, 도로 모델은 크라우드 소스 데이터(crowd sourced data)를 포함할 수 있다. 여기에 기재된 시스템과 방법은 관찰된 로컬 조건에 근거하여 크라우드 소스 데이터를 정제할 수 있다. 나아가, 기재된 시스템과 방법은 자율주행차를 위한 정제된 궤적을 센서 정보에 근거하여 결정할 수 있다. 더 나아가, 기재된 시스템과 방법은 도로 모델에 사용할 랜드마크를 식별하고 도로 모델 내의 랜드마크 위치를 정제할 수 있다. 이러한 시스템과 방법은 하기에 더욱 상세히 설명한다.
자율 주행을 위한 데이터의 크라우드 소싱
일부 실시예에서, 기재된 시스템과 방법은 자율 주행을 위한 도로 모델을 구성할 수 있다. 예를 들어, 기재된 시스템과 방법은 하나 이상의 자율주행차가 도로망을 주행하기 위하여 사용할 수 있는 자율주행차 도로 모델의 생성을 위하여 크라우드 소스 데이터를 사용할 수 있다. 여기서, 크라우드 소싱이란 서로 다른 시간에 도로 구간을 주행하는 다양한 차량(예, 자율주행차)으로부터 데이터를 수신하고 이러한 데이터가 도로 모델의 생성 및/또는 업데이트에 사용된다는 것을 의미한다. 이 모델은 나중에 이 도로 구간을 주행하는 차량 또는 다른 차량에 전송되어 자율 주행을 지원하게 된다. 도로 모델은 자율주행차가 도로 구간 운행시 따라야 할 바람직한 궤적을 나타내는 복수의 목표 궤적을 포함할 수 있다. 목표 궤적은 도로 구간을 운행하는 차량으로부터 수집되어 차량으로부터 서버로 전송될 수 있는 재구성 실제 궤적과 동일할 수 있다. 일부 실시예에서, 하나 이상의 차량이 이전에 도로 구간을 운행한 실제 궤적과 다를 수 있다. 목표 궤적은 실제 궤적에 근거하여(예, 평균 연산 또는 기타 적합한 연산을 통하여) 생성될 수 있다.
차량이 서버로 업로드하는 차량 궤적 데이터는 차량의 실제 재구성 궤적에 상응하거나, 차량의 실제 재구성 궤적에 근거하거나 관련되지만 실제 재구성 궤적과 다를 수 있는 추천 궤적에 상응할 수 있다. 예를 들어, 차량은 실제 재구성 궤적을 수정하고 수정한 실제 궤적을 서버로 제출(예, 추천)할 수 있다. 도로 모델은 추천된 수정 궤적을 다른 차량의 자율 주행을 위한 목표 궤적으로 사용할 수 있다.
궤적 정보 이외에, 약도(sparse map, 800)를 구성하기 위하여 사용될 수 있는 기타 정보에는 랜드마크 가능 조건과 관련된 정보가 포함될 수 있다. 예를 들어, 정보의 크라우드 소싱을 통하여, 기재된 시스템과 방법은 주변환경의 잠재 랜드마크를 식별하고 랜드마크 위치를 정제할 수 있다. 랜드마크는 목표 궤적 내의 차량 위치를 판단 및/또는 조정하기 위하여 자율주행차의 주행 시스템에 의해 사용될 수 있다.
차량이 도로를 운행하면서 생성하는 재구성 궤적은 적합한 방법에 의해 획득될 수 있다. 일부 실시예에서, 재구성 궤적은 예를 들어 자신의 움직임 추정(예, 카메라, 즉 차체의 3차원 평행이동 및 회전)을 사용하여 차량의 부분적 움직임을 엮어서 만들어질 수 있다. 회전 및 평행이동 추정은 하나 이상의 이미지캡처장치가 촬영한 영상의 분석과 관성 센서 및 속력 센서 등과 같은 기타 센서나 장치로부터 얻은 정보에 근거하여 이루어질 수 있다. 예를 들어, 관성 센서는 가속도계 또는 차체의 평행이동 및/또는 회전의 변화를 측정하도록 구성된 기타 센서를 포함할 수 있다. 차량은 차량의 속도를 측정하는 속력 센서를 포함할 수 있다.
일부 실시예에서, 카메라 자신(즉, 차체)의 움직임은 촬영된 영상의 광류 분석에 근거하여 추정될 수 있다. 순차적 영상의 광류 분석은 이 순차적 영상으로부터 픽셀의 움직임을 식별하고, 식별된 움직임에 근거하여 차량의 움직임을 판단한다. 자신의 움직임은 시간과 도로 구간을 따라 통합되어 차량이 운행한 도로 구간의 궤적을 재구성할 수 있다.
도로 구간을 따라 서로 다른 시간에 복수로 운행한 복수의 차량에 의해 수집된 데이터(예, 재구성 궤적)는 약도(sparse map, 800)에 포함된 도로 모델(예, 목표 궤적 등을 포함하는 도로 모델)을 구성하는데 사용될 수 있다. 또한, 도로 구간을 따라 서로 다른 시간에 복수로 운행한 복수의 차량에 의해 수집된 데이터의 평균을 구하여 모델의 정확성을 향상시킬 수 있다. 일부 실시예에서, 도로 기하 및/또는 랜드마크에 관한 데이터는 서로 다른 시간에 공통 도로 구간을 운행한 복수의 차량으로부터 수신될 수 있다. 다른 차량으로부터 수신된 이러한 데이터는 도로 모델을 생성 및/또는 업데이트 하기 위해 병합될 수 있다.
기재된 시스템과 방법은 고가의 측량 장비의 도움 없이도 자율주행차 단독으로 수집할 수 있는 적은 흔적 모델(low footprint model)의 자율 주행(예, 조향 제어)을 가능하게 할 수 있다. 자율 주행(예, 조향 애플리케이션)을 지원하기 위하여, 도로 모델은 도로 모델에 포함된 궤적 내의 차량 위치 판단에 사용될 수 있는 도로의 기하, 도로의 차선 구조, 및 랜드마크를 포함할 수 있다. 도로 모델 생성은 도로를 운행하는 차량과 통신하고 차량으로부터 데이터를 수신하는 원격 서버에 의해 수행될 수 있다. 데이터는 감지된 데이터, 감지된 데이터에 근거하여 재구성된 궤적, 및/또는 수정된 재구성 궤적을 나타내는 추천 궤적을 포함할 수 있다. 서버는 도로 모델을 차량 또는 나중에 동일 도로를 운행하는 기타 차량에 전송하여 자율 주행을 지원할 수 있다.
도로 구간을 따라가는 재구성 궤적(및 목표 궤적)의 기하는 3차원 다항식을 연결하는 스플라인인 3차원 공간의 곡선으로 표현될 수 있다. 재구성 궤적 곡선은 차량에 설치된 카메라가 촬영한 동영상 스트림 또는 복수의 영상의 분석으로부터 판단될 수 있다. 일부 실시예에서, 차량의 현 위치에서 몇 미터 앞에 있는 각 프레임 또는 영상에서 위치가 식별된다. 이 위치는 미리 설정된 시간 동안에 차량이 운행할 것으로 예상되는 곳이다. 이 동작은 프레임마다 반복되고, 동시에, 차량은 카메라의 자체 움직임(회전 및 평행이동)을 연산할 수 있다. 각 프레임 또는 영상에서, 요구 경로의 단거리 모델이 카메라에 속한 기준 프레임에 있는 차량에 의해 생성된다. 단거리 모델을 서로 병합하여 임의의 또는 미리 설정된 좌표 프레임인 일부 좌표 프레임 내 도로의 3차원 모델을 획득할 수 있다. 이후, 도로의 3차원 모델은 적합한 차수의 하나 이상의 다항식을 포함하거나 연결하는 스플라인에 의해 맞춰질 수 있다.
각 프레임에서 단거리 도로 모델을 마치기 위하여, 하나 이상의 감지 모듈이 사용될 수 있다. 예를 들어, 상향식(bottom-up) 차선 감지 모듈이 사용될 수 있다. 상향식 차선 감지 모듈은 차선 표시가 도로상에 그려져 있을 때 유용할 수 있다. 이 모듈은 영상 내에서 가장자리들을 검색해서 이 가장자리들을 서로 조합하여 차선 표시를 완성한다. 상향식 차선 감지 모듈과 함께 제2 모듈이 사용될 수도 있다. 제2 모듈은 입력 영상으로부터 정확한 단거리 경로를 예측하도록 학습될 수 있는 단대단 심층 신경망(end-to-end deep neural network)이다. 두 모듈 모두, 도로 모델을 영상 좌표 프레임에서 감지하고 카메라에 사실상 연결돼 있는 3차원 공간으로 변형시킬 수 있다.
재구성 궤적 모델링 방법은 장기간에 걸쳐 자신의 움직임의 집적으로 인해 노이즈 요소 등을 포함하는 오차의 누적이 일어날 수 있지만, 이러한 오차는 생성된 모델이 로컬 범위의 주행에 충분한 정확도를 제공할 수 있기 때문에 큰 문제가 되지 않을 수 있다. 뿐만 아니라, 위성 영상이나 측지 측정치 등과 같은 외부 정보를 사용함으로써 이러한 집적 오차를 상쇄시킬 수 있다. 예를 들어, 기재된 시스템과 방법은 GNSS 수신기를 사용하여 누적된 오차를 상쇄할 수 있다. 그러나 GMS 위치 신호는 항상 제공되거나 정확하지 않을 수 있다. 기재된 시스템과 방법은 GNSS 위치의 제공과 정확도에 약하게 의존하는 조향 애플리케이션을 가능하게 할 수 있다. 이러한 시스템에서, GNSS 신호는 제한적으로 사용될 수 있다. 예를 들어, 일부 실시예에서, 기재된 시스템은 GNSS 신호를 데이터베이스 색인 목적으로만 사용할 수 있다.
일부 실시예에서, 자율 주행 조향 애플리케이션과 관련이 있는 범위 규모(예, 로컬 규모)는 대략 50미터, 100미터, 200미터, 300미터 등일 수 있다. 이러한 거리는, 기하학적 도로 모델과 마찬가지로, 전방 궤적의 계획과 도로 모델 상에서의 차량 위치 인식의 두 가지 목적으로 사용될 수 있다. 일부 실시예에서, 계획 작업은, 제어 알고리즘이 1.3초 앞(또는 1.5초 앞, 1.7초 앞, 2초 앞 등 다른 시간)에 위치한 목표점에 의거하여 차량을 조향하는 동안, 전형적인 전방 40미터 범위(또는 20미터, 30미터, 50미터 등과 같은 다른 적합한 전방 거리)에 걸쳐 도로 모델을 사용할 수 있다. 위치 인식 작업은, 본 명세서의 다른 부분에서 상세히 설명할 "후미 정렬(tail alignment)"이라고 불리는 방법에 의거하여, 전형적인 후방 60미터 범위(또는 50미터, 100미터, 150미터 등과 같은 다른 적절한 거리)에 걸쳐 도로 모델을 사용할 수 있다. 기재된 시스템과 방법은 100미터와 같은 특정 범위에 걸쳐 충분한 정확도를 가진 기하학적 모델을 생성하여 계획된 궤적이 차로의 중앙에서 예를 들어 30cm 이상 벗어나지 않도록 할 수 있다.
앞서 설명한 바와 같이, 단거리 구간을 감지하고 서로 조합함으로써 3차원 도로 모델을 구성할 수 있다. 단거리 구간의 조합은 카메라가 촬영한 동영상 및/또는 영상, 차량의 움직임을 반영하는 관성 센서로부터 얻은 데이터, 및 호스트 차량 속도 신호를 사용하여 6단계 자체 움직임 모델(six degree ego motion model)을 연산하여 가능할 수 있다. 누적 오차는 일부 로컬 범위 규모에 걸쳐, 예를 들면 대략 100미터의, 아주 적은 정도일 수 있다. 이는 모두 특정 도로 구간의 단일 주행으로 완전해질 수 있다.
일부 실시예에서, 복수의 주행을 사용하여 결과로 얻은 모델의 평균을 구하고 정확도를 더욱 향상시킬 수 있다. 같은 차량이 동일 경로를 여러 번 주행할 수 있고, 또는 복수의 차량이 수집된 모델 데이터를 중앙 서버로 전송할 수 있다. 어느 경우라도, 상응하는 절차를 수행하여, 목표 궤적을 생성하기 위하여 중복 모델을 식별하고 평균을 구할 수 있다. 구성된 모델(예, 목표 궤적을 포함하는 모델)은 수렴 기준이 만족되면 조향을 위해 사용될 수 있다. 차후의 주행은 모델의 추가적 개선과 인프라(infrastructure) 변화의 수용을 위해 사용될 수 있다.
복수의 차량 간의 주행 경험(예, 감지 데이터)의 공유는 이러한 복수의 차량이 중앙 서버로 연결돼 있는 경우에 실현 가능해진다. 각 차량 클라이언트는 현재 위치와 연관이 있을 수 있는 범용 도로 모델의 일부 복사본을 저장할 수 있다. 차량과 서버 간의 양방향 업데이트 절차는 차량과 서버에 의해 수행될 수 있다. 앞서 설명한 작은 흔적 개념으로 인해, 기재된 시스템과 방법은 매우 작은 대역폭을 사용하여 양방향 업데이트를 수행할 수 있다.
잠재적 랜드마크에 관한 정보도 판단되어 중앙 서버로 전달될 수 있다. 예를 들면, 기재된 시스템과 방법은 랜드마크를 포함하는 하나 이상의 영상에 근거하여 잠재적 랜드마크의 하나 이상의 물리적 성질을 판단할 수 있다. 이러한 물리적 성질에는 랜드마크의 물리적 크기(예, 높이, 폭 등), 차량으로부터 랜드마크까지의 거리, 현 랜드마크와 이전 랜드마크 사이의 거리, 랜드마크의 측위(예, 주행 차로에 대한 랜드마크의 위치), 랜드마크의 GPS 좌표, 랜드마크의 유형, 랜드마크 상 텍스트의 식별 등이 포함될 수 있다. 예를 들면, 차량은 카메라가 촬영한 하나 이상의 영상을 분석하여 속도제한표지판과 같은 잠재적 랜드마크를 감지할 수 있다. 차량은 하나 이상의 영상에 대한 분석에 근거하여 차량으로부터 랜드마크까지의 거리를 판단할 수 있다. 일부 실시예에서, 이 거리는 축척 방식(scaling method) 및/또는 광류 방식과 같은 적절한 영상 분석 방법을 사용한 랜드마크 영상의 분석에 근거하여 판단될 수 있다. 일부 실시예에서, 기재된 시스템과 방법은 잠재적 랜드마크의 유형 또는 분류를 판단하도록 구성될 수 있다. 차량이 특정 잠재적 랜드마크가 약도(sparse map)에 저장된 임의의 유형 또는 분류에 상응한다고 판단하는 경우, 차량이 서버로 랜드마크의 유형 또는 분류의 지시를 전송할 수 있다. 서버는 이러한 지시를 저장할 수 있다. 차후에, 다른 차량들이 랜드마크의 영상을 촬영하고, 이 영상을 처리하고(예, 분류자를 활용하여), 영상의 처리 결과를 서버에 저장된 랜드마크의 유형에 대한 지시와 비교할 수 있다. 랜드마크의 유형은 다양할 수 있으며, 다른 유형의 랜드마크는 서버에 업로드하고 저장할 다른 유형의 데이터와 관한 것일 수 있고, 다른 방식으로 차량에서 처리하여 랜드마크를 감지하고 랜드마크에 관한 정보를 서버로 전송할 수 있으며, 차량에 탑재된 시스템은 서버로부터 랜드마크 데이터를 수신하고 자율주행에서 랜드마크를 식별하기 위해 사용할 수 있다.
일부 실시예에서, 도로 구간을 운행하는 여러 대의 자율주행차가 서버와 통신할 수 있다. 차량(또는 클라이언트)은 운행을 묘사하는 곡선(예, 자체 움직임 통합을 통하여)을 임의의 좌표 프레임 내에 생성할 수 있다. 차량은 랜드마크를 감지하고 이 프레임 내에서 자기 위치를 인식할 수 있다. 차량은 이 곡선과 랜드마크를 서버로 업로드할 수 있다. 서버는 여러 번의 운행에 걸쳐 차량으로부터 데이터를 수집하고 통합 도로 모델을 생성할 수 있다. 서버는 이 도로 모델을 클라이언트(예, 차량)에 배포할 수 있다. 서버는 차량으로부터 새로운 데이터를 수신할 때 지속적으로 또는 주기적으로 모델을 업데이트할 수 있다. 예를 들어, 서버는 새로운 데이터를 처리하여 서버에서 데이터를 업데이트하거나 새로운 데이터를 생성하도록 하는 정보가 새로운 데이터에 포함되어 있는지 여부를 평가할 수 있다. 자율 주행을 제공하기 위하여, 서버는 업데이트된 모델 또는 업데이트를 차량에 배포할 수 있다.
서버는 차량으로부터 수신한 새로운 데이터가 모델의 업데이트를 유발하거나 새로운 데이터의 생성을 유발해야 하는지에 대한 판단을 위한 하나 이상의 기준을 사용할 수 있다. 예를 들어, 특정 위치에서 이전에 인지된 랜드마크가 더 이상 존재하지 않거나 다른 랜드마크로 대체된 것으로 새로운 데이터에 나타난 경우, 서버는 새로운 데이터가 모델의 업데이트를 야기해야 하는 것으로 판단할 수 있다. 다른 예에서, 도로 구간이 폐쇄된 것으로 새로운 데이터에 나타나고, 이러한 정보가 다른 차량들로부터 수신한 데이터에 의해서 확증된 경우, 서버는 새로운 데이터가 모델의 업데이트를 야기해야 하는 것으로 판단할 수 있다.
서버는 업데이트된 모델(또는 모델의 업데이트된 부분)을 업데이트와 관련된 도로 구간을 운행하는 하나 이상의 차량으로 배포할 수 있다. 서버는 또한 업데이트된 모델을 업데이트와 관련된 도로 구간을 운행하려고 하는 차량 또는 운행 계획에 이 도로 구간이 포함돼 있는 차량으로 배포할 수 있다. 예를 들면, 자율주행차가 업데이트와 관련된 도로 구간에 도달하기 전에 다른 도로 구간을 운행하는 동안, 서버는 자율주행차가 이 구간에 도달하기 전에 업데이트 또는 업데이트된 모델을 자율주행차에 배포할 수 있다.
일부 실시예에서, 원격 서버는 여러 클라이언트(예, 공통의 도로 구간을 운행하는 차량)로부터 궤적 및 랜드마크를 수집할 수 있다. 서버는 여러 차량으로부터 수집한 궤적에 근거하여 랜드마크를 사용하여 곡선을 일치시키고 평균 도로 모델을 생성할 수 있다. 서버는 또한 도로 구간의 각 노드 또는 접점에서 도로의 그래프 및 가장 확률이 높은 경로를 산출할 수 있다.
서버는 공통 도로 구간을 운행한 여러 차량으로부터 수신한, 여러 차량이 측정한 한 랜드마크와 다른 랜드마크(예, 도로 구간 상의 이전 랜드마크) 사이의 거리와 같은, 랜드마크 성질의 평균을 구하여 아크 길이 파라미터를 판단하고 경로 상의 자기 위치 인식과 각 클라이언트 차량의 속력 교정을 지원할 수 있다. 서버는 공통 도로 구간을 운행하며 동일한 랜드마크를 인지한 여러 차량이 측정한 랜드마크의 물리적 치수의 평균을 구할 수 있다. 평균을 구한 물리적 치수는, 차량으로부터 랜드마크까지의 거리와 같은, 거리 추정을 지원하는데 사용될 수 있다. 서버는 공통 도로 구간을 운행하며 동일한 랜드마크를 인지한 여러 차량이 측정한 랜드마크의 횡적 위치(예, 차량이 주행하는 차선으로부터 랜드마크까지의 위치)의 평균을 구할 수 있다. 평균을 구한 횡적 위치는 차선 배정을 지원하는데 사용될 수 있다. 서버는 공통 도로 구간을 운행하며 동일한 랜드마크를 인지한 여러 차량이 측정한 랜드마크의 GPS 좌표의 평균을 구할 수 있다. 평균을 구한 랜드마크의 GPS 좌표는 도로 모델 내에서 랜드마크의 위치 인식 지원을 위해 사용될 수 있다.
일부 실시예에서, 서버는 차량으로부터 수신한 데이터에 근거하여 공사, 우회로, 새로운 표지판, 표지판 제거 등과 같은 모델 변경을 식별할 수 있다. 서버는 차량으로부터 새로운 데이터를 수신하면 지속적으로, 또는 주기적으로, 또는 즉석에서 모델을 업데이트할 수 있다. 서버는 자율 주행을 제공하기 위하여 모델에 대한 업데이트 또는 업데이트된 모델을 차량으로 배포할 수 있다.
일부 실시예에서, 서버는 자율 주행 동안의 운전자의 개입을 분석할 수 있다. 서버는 개입이 발생한 시간과 장소에서 차량으로부터 수신한 데이터 및/또는 개입이 발생하기 이전에 수신한 데이터를 분석할 수 있다. 서버는 개입의 원인 또는 개입과 밀접한 관계가 있는 데이터의 특정 부분, 예를 들면, 임시 차로 폐쇄를 나타내는 데이터, 도로상의 보행자를 나타내는 데이터 등을 식별할 수 있다. 서버는 식별된 데이터에 근거하여 모델을 업데이트할 수 있다. 예를 들어, 서버는 모델에 저장된 하나 이상의 궤적을 수정할 수 있다.
기재된 실시예에 따라, 시스템은 자율 주행(또는 일반적인 운전자 주도 주행) 동안에 획득한 정보를 차후에 동일 도로를 운행할 때 사용하기 위하여 저장할 수 있다. 시스템은 다른 차량들이 동일 도로를 운행할 경우 이 차량들과 이 정보를 공유할 수 있다. 이후에 각 클라이언트 시스템은 관찰된 로컬 조건에 근거하여 크라우드 소스 데이터를 더욱 정제할 수 있다.
도 12는 자율 주행을 위한 크라우드 소싱 데이터를 사용하는 시스템을 개략적으로 예시한 것이다. 도 12에는 하나 이상의 차선을 포함하는 도로 구간(1200)이 도시되어 있다. 복수의 차량(1205, 1210, 1215, 1220, 1225)이 동일 시간 또는 서로 다른 시간에 도로 구간(1200)을 운행할 수 있다(도 12에는 동일 시간에 도로 구간(1200)을 운행하는 것으로 도시함). 적어도 하나의 차량(1205-1225)은 자율주행차일 수 있다. 본 예시의 이해를 위하여, 모든 차량(1205-1225)은 자율주행차인 것으로 간주한다. 각 차량은 다른 실시예에 기재된 차량(예, 200)과 유사할 수 있고, 다른 실시예에 기재된 차량에 포함되거나 연관된 소자 또는 장치를 포함할 수 있다. 각 차량은 이미지캡처장치 또는 카메라(예, 122)를 구비할 수 있다. 각 차량은 도면에 파선으로 도시한 무선 통신 경로(1235)를 통한 하나 이상의 네트워크(예, 이동통신망 및/또는 인터넷)를 통하여 원격 서버와 통신할 수 있다. 각 차량은 서버(1230)로 데이터를 송신하고 서버(1230)로부터 데이터를 수신할 수 있다. 예를 들면, 서버(1230)는 서로 다른 시간에 도로 구간(1200)을 운행하는 여러 차량으로부터 데이터를 수집하고, 수집된 데이터를 처리하여 자율주행차 도로주행 모델을 생성하거나 업데이트할 수 있다. 서버(1230)는 데이터를 서버로 전송한 차량으로 자율주행차 도로주행 모델 또는 자율주행차 도로주행 모델 업데이트를 전송할 수 있다. 서버(1230)는 차후에 도로 구간(1200)을 운행하는 다른 차량으로 자율주행차 도로주행 모델 또는 자율주행차 도로주행 모델 업데이트를 전송할 수 있다.
차량(1205-1225)이 도로 구간(1200)을 운행함에 따라, 차량(1205-1225)에 의해 수집된 주행 정보는 서버(123)로 전송될 수 있다. 일부 실시예에서, 주행 정보는 공통 도로 구간(1200)에 관한 것일 수 있다. 주행 정보는 각 차량이 도로 구간(1200)을 운행함에 따라 각 차량에 관한 궤적을 포함할 수 있다. 일부 실시예에서, 차량(1205)에 제공된 다양한 센서 및 장치가 감지한 데이터에 근거하여 재구성될 수 있다. 예를 들어, 궤적은 가속도계 데이터, 속력 데이터, 랜드마크 데이터, 도로 기하 또는 프로필 데이터, 차량 위치 데이터, 및 자체 움직임 데이터 중 하나 이상에 근거하여 재구성될 수 있다. 일부 실시예에서, 궤적은 가속도계와 같은 관성 센서로부터의 데이터 및 속력 센서에 의해 감지된 차량(1205)의 속도에 근거하여 재구성될 수 있다. 또한, 일부 실시예에서, 궤적은 카메라에 감지된 3차원 평행이동 및/또는 3차원 회전(또는 회전운동)을 나타내는 자체 움직임에 근거하여 판단(예를 들어, 차량(1205-1225)에 탑재된 프로세서에 의해 판단)될 수 있다. 카메라 자신(즉, 차체)의 움직임은 카메라가 촬영한 하나 이상의 영상의 분석에 근거하여 판단될 수 있다.
일부 실시예에서, 차량(1205)의 궤적은 차량(1205)에 탑재된 프로세서에 의해 판단되고 서버(1230)로 전송될 수 있다. 다른 실시예에서, 서버(1230)는 차량(1205)에 제공된 다양한 센서 및 장치가 감지한 데이터를 수신하고 차량(1205)으로부터 수신한 데이터에 근거하여 궤적을 판단할 수 있다.
일부 실시예에서, 차량(1025-1225)으로부터 서버(1230)로 전송되는 주행 정보에는 도로 기하 또는 프로필에 관한 데이터가 포함될 수 있다. 도로 구간(1200)의 기하는 차선 구조 및/또는 랜드마크를 포함할 수 있다. 차선 구조는 도로 구간(1200)의 전체 차선의 개수, 차선의 종류(예, 일방차선, 쌍방차선, 주행차선, 추월차선 등), 차선의 표시, 차선의 폭 등을 포함할 수 있다. 일부 실시예에서, 주행 정보는 차선 배정, 예를 들면, 복수의 차선 중에서 어느 차선에서 차량이 운행 중인지 등을 포함할 수 있다. 예를 들면, 차선 배정은 차량이 우측 또는 좌측으로부터 3번째 차선에서 운행 중이라는 것을 나타내기 위하여 "3"이라는 값과 연계되어 있을 수 있다. 다른 예를 들면, 차선 배정은 차량이 중앙 차선에서 운행 중이라는 것을 나타내기 위하여 "중앙 차선"이라는 텍스트 값과 연계되어 있을 수 있다.
서버(1230)는 주행 정보를 하드 드라이브, CD, 테이프, 메모리 등과 같은 비일시적 컴퓨터 가독 매체에 저장할 수 있다. 서버(1230)는 복수의 차량(1205-1225)으로부터 수신한 주행 정보에 근거하여 공통 도로 구간(1200)의 자율주행차 도로주행 모델의 적어도 일부를 생성(예, 서버(1230)에 포함된 프로세서를 통해 생성)할 수 있다. 서버(1230)는 서로 다른 시간에 도로 구간의 한 차선을 운행하는 여러 차량(예, 1205-1225)으로부터 수신한 크라우드 소스 데이터(예, 주행 정보)에 근거하여 각 차선에 관한 궤적을 결정할 수 있다. 서버(1230)는 크라우드 소스 주행 데이터에 근거하여 결정된 복수의 궤적에 근거하여 자율주행차 도로주행 모델 또는 이 모델의 일부(예, 업데이트된 부분)를 생성할 수 있다. 서버(1230)는 차량의 주행 시스템에 제공된 기존의 자율주행차 도로주행 모델을 업데이트하기 위하여 자율주행차 도로주행 모델 또는 이 모델의 일부를 도로 구간(1200)을 운행하는 하나 이상의 자율주행차(1205-1225) 또는 차후에 도로 구간을 운행하는 다른 자율주행차로 전송할 수 있다. 자율주행차 도로주행 모델은 자율주행차가 공통 도로 구간(1200)에서 자율 주행을 하기 위하여 사용될 수 있다.
다른 실시예에서, 자율주행차 도로주행 모델은 약도(sparse map)(예, 도 8에 도시된 800)에 포함될 수 있다. 약도(sparse map, 800)는 도로의 도로 기하 및/또는 랜드마크에 관한 데이터의 희소 기록을 포함할 수 있으며, 데이터의 희소 기록을 통하여 자율주행차의 자율 주행을 안내할 충분한 정보를 제공하면서도 과도한 데이터 저장을 요구하지 않을 수 있다. 일부 실시예에서, 자율주행차 도로주행 모델은 약도(sparse map, 800)와 별도로 저장되고, 자율주행차 도로주행 모델이 자율 주행을 위해 수행될 때 약도(sparse map, 800)로부터의 지도 데이터를 사용할 수 있다. 일부 실시예에서, 자율주행차 도로주행 모델은 도로 구간(1200)을 따라 자율주행차(1205-1225)의 자율 주행을 안내하기 위한 또는 차후에 도로 구간(1200)을 운행할 다른 차량들의 자율 주행을 안내하기 위한 목표 궤적을 결정하기 위해 약도(sparse map, 800)에 포함된 지도 데이터를 사용할 수 있다. 예를 들면, 자율주행차 도로주행 모델이 차량(1205)의 주행 시스템에 포함된 프로세서에 의해 실행될 경우, 자율주행차 도로주행 모델은 프로세서로 하여금 차량(1205)으로부터 수신한 주행 정보에 근거하여 결정된 궤적과 약도(sparse map, 800)에 포함된 미리 설정된 궤적을 비교하여 차량(1205)의 현 운행 경로를 검증 및/또는 수정할 수 있다.
자율주행차 도로주행 모델에서, 도로 특징 또는 목표 궤적의 기하는 3차원 공간의 곡선으로 인코딩될 수 있다. 일 실시예에서, 이 곡선은 연결하는 하나 이상의 3차원 다항식을 포함하는 3차원 스플라인일 수 있다. 본 발명의 당업자가 이해하는 바와 같이, 스플라인은 데이터를 맞추기 위해 일련의 다항식에 의해 구간 정의된 수치 함수일 수 있다. 도로의 3차원 기하 데이터를 맞추기 위한 스플라인은 선형 스플라인(1차), 2차 스플라인, 3차 스플라인, 또는 다른 차수 스플라인, 또는 이들의 조합을 포함할 수 있다. 스플라인은 도로의 3차원 기하 데이터의 데이터 포인트를 연결하는(예, 맞추는) 하나 이상의 다른 차수의 3차원 다항식을 포함할 수 있다. 일부 실시예에서, 자율주행차 도로주행 모델은 공통 도로 구간(예, 1200) 또는 도로 구간(1200)의 한 차선을 운행하는 목표 궤적에 상응하는 3차원 스플라인을 포함할 수 있다.
자율주행차 도로주행 모델은 도로 구간(1200) 상의 적어도 하나의 랜드마크의 식별과 같은 기타 정보를 포함할 수 있다. 랜드마크는 각 차량(120501225)에 설치된 카메라(예, 122)의 시야 내에서 보일 수 있다. 일부 실시예에서, 카메라(122)는 랜드마크의 영상을 촬영할 수 있다. 차량에 제공된 프로세서(예, 프로세서(180, 190) 또는 처리부(110))는 랜드마크의 영상을 처리하여 랜드마크의 식별을 추출할 수 있다. 약도(sparse map, 800)에는 랜드마크의 실제 영상이 아닌 랜드마크 식별 정보가 저장될 수 있다. 랜드마크 식별 정보가 필요로 하는 저장 공간은 실제 영상보다 훨씬 작을 수 있다. 기타 센서 및 시스템(예, GPS 시스템)이 랜드마크의 특정 식별 정보(예, 랜드마크의 위치)를 제공할 수도 있다. 랜드마크는 교통표지판, 화살표, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판(예, 화살표로 나타낸 고속도로 출구 표지판, 다른 방향 또는 지역을 화살표로 나타낸 고속도로 표지판 등), 랜드마크 비콘, 가로등 등 중 하나 이상을 포함할 수 있다. 랜드마크 비콘이란 도로 구간을 따라 설치되어 차량에 설치된 수신기로 신호를 전송 또는 반사하는 장치를 말하며, 차량이 이 장치를 지나갈 때 수신한 비콘과 그 위치(예, 비콘의 GPS 위치로부터 판단된 위치)는 자율주행차 도로주행 모델 및/또는 약도(sparse map, 800)에 포함될 랜드마크로 사용될 수 있다.
적어도 하나의 랜드마크의 식별은 이 적어도 하나의 랜드마크의 위치를 포함할 수 있다. 랜드마크의 위치는 복수의 차량(1205-1225)과 연계된 센서 시스템(예, GPS, 관성에 근거한 위치 인식 시스템, 랜드마크 비콘 등)을 사용하여 수행된 위치 측정에 근거하여 판단될 수 있다. 일부 실시예에서, 랜드마크의 위치는 여러 운행에 걸쳐 다른 차량들(1205-1225)의 센서 시스템이 감지, 수집, 또는 수신한 위치 측정의 평균을 구하여 판단될 수 있다. 예를 들면, 차량(1205-1225)은 위치 측정 데이터를 서버(1230)로 전송하고, 서버는 위치 측정치의 평균을 구하여 랜드마크의 위치로 사용할 수 있다. 랜드마크의 위치는 후속 운행 차량으로부터 수신한 측정치에 의해 지속적으로 정제될 수 있다.
랜드마크의 식별은 랜드마크의 크기를 포함할 수 있다. 차량(예, 1205)에 제공된 프로세서는 영상의 분석에 근거하여 랜드마크의 물리적 크기를 추정할 수 있다. 서버(1230)는 서로 다른 운행을 하는 다른 차량들로부터 동일 랜드마크의 물리적 크기에 대한 복수의 추정치를 수신할 수 있다. 서버(1230)는 다른 추정치의 평균을 구하여 랜드마크에 대한 물리적 크기를 도출하고 도로 모델에 저장할 수 있다. 물리적 크기 추정치는 또한 차량으로부터 랜드마크까지의 거리를 판단하고 추정하는데 사용될 수 있다. 랜드마크까지의 거리는 차량의 현재 속력에 근거하여, 그리고 영상 내에 보이는 랜드마크의 위치에 근거한 카메라의 확산점(focus of expansion) 대비 확산 규모(scale of expansion)에 근거하여 추정될 수 있다. 예를 들어, 랜드마크까지의 거리는 Z= V*dt*R/D 의 수학식에 의해 추정될 수 있다. 여기서, V는 차량의 속력이고, R은 시간 t1에 랜드마크로부터 확산점까지의 영상 내 거리이며, D는 t1으로부터 t2까지 영상 내 랜드마크의 거리 변화이다. dt는 (t2-t1)을 의미한다. 예를 들어, 랜드마크까지의 거리는 Z= V*dt*R/D 의 수학식에 의해 추정될 수 있다. 여기서, V는 차량의 속력이고, R은 랜드마크와 확산점 간의 영상 내 거리이며, dt는 시간 간격이고, D는 랜드마크의 공액선(epipolar line) 방향 영상 변위이다. 상기 수학식과 균등한 수학식, 예를 들면, 를 사용하여 랜드마크까지의 거리를 추정할 수도 있다. 여기서, V는 차량의 속력이고, 는 영상 길이(예, 물체 폭)이며, 는 단위 시간 내에서 영상 길이의 변화이다.
랜드마크의 물리적 크기를 알고 있는 경우, 랜드마크까지의 거리는 수학식 에 근거하여 판단될 수 있다. 여기서, W는 랜드마크의 크기(예, 높이 또는 폭)이고, 는 랜드마크가 영상에서 벗어날 때의 픽셀 수이다. 이 수학식으로부터, 거리(Z)의 변화는 를 사용하여 산출될 수 있다. 여기서, 는 평균을 구함으로써 0으로 소멸하고, 는 영상 내 경계 박스 정확도(bounding box accuracy)를 나타내는 픽셀의 수이다. 랜드마크의 물리적 크기를 추정하는 값은 복수의 관찰값의 평균을 구함으로써 서버 측에서 산출될 수 있다. 거리 추정 결과의 오차는 매우 작을 수 있다. 상기 공식을 사용할 경우의 오차에는 두 가지 요인이 있을 수 있으며, 즉, 와 이다. 이 요인들은 에 의해 거리 오차에 기여한다. 그러나, 는 평균을 구함으로써 0으로 소멸하므로, 는 (예, 영상 내의 경계 박스의 부정확도)에 의해 결정된다.
크기를 모르는 랜드마크에 있어서, 랜드마크까지의 거리는 연속 프레임 간의 랜드마크 상 특징점을 추적함으로써 추정할 수 있다. 예를 들어, 속도제한표지판에 보이는 특정 특징들이 둘 이상의 영상 프레임 간에 추적될 수 있다. 이렇게 추적된 특징에 근거하여, 거리 분포가 특징점 별로 생성될 수 있다. 거리 추정은 거리 분포로부터 추출될 수 있다. 예를 들면, 거리 분포에 가장 빈번하게 나타나는 거리를 거리 추정으로 사용할 수 있다. 다른 예에서, 거리 분포의 평균을 거리 추정으로 사용할 수 있다.
도 13은 복수의 3차원 스플라인(1301, 1302, 1303)으로 나타낸 자율주행차 도로주행 모델의 예시를 도시한 것이다. 도 13에 도시된 곡선(1301 내지 1303)은 예시의 목적으로만 도시된 것이다. 각 스플라인은 복수의 데이터 포인트(1310)를 연결하는 하나 이상의 3차원 다항식을 포함할 수 있다. 각 다항식은 1차 다항식, 2차 다항식, 3차 다항식, 또는 기타 다른 차수를 가진 다항식의 조합일 수 있다. 각 데이터 포인트(1310)는 차량(1205-1225)으로부터 수신한 주행 정보에 관한 것일 수 있다. 일부 실시예에서, 각 데이터 포인트(1310)는 랜드마크(예, 랜드마크의 크기, 위치 및 식별 정보) 및/또는 도로 특징 프로필(예, 도로 기하, 노면 상태 프로필, 도로 곡률 프로필, 도로 폭 프로필)에 관한 것일 수 있다. 일부 실시예에서, 일부 데이터 포인트(1310)는 랜드마크에 관한 것이고, 다른 데이터 포인트(1310)는 도로 특징 프로필에 관한 것일 수 있다.
도 14는 서버(1230)의 구성도를 도시한 것이다. 서버(1230)는 하드웨어 요소(예, 통신 제어 회로, 스위치, 안테나)와 소프트웨어 요소(예, 통신 프로토콜, 컴퓨터 코드)를 모두 포함하는 통신부(1405)를 포함할 수 있다. 서버(1230)는 통신부(1405)를 통하여 차량(1205-1225)과 통신할 수 있다. 예를 들어, 서버(1230)는 차량(1205-1225)으로부터 전송된 주행 정보를 통신부(1405)를 통하여 수신할 수 있다. 서버(1230)는 통신부(1405)를 통하여 자율주행차 도로주행 모델을 하나 이상의 자율주행차에 배포할 수 있다.
서버(1230)는 하드 드라이브, CD, 테이프 등의 하나 이상의 저장 장치(1410)를 포함할 수 있다. 저장 장치(1410)는 차량(1205-1225)으로부터 수신한 주행 정보 및/또는 주행 정보에 근거하여 서버(1230)가 생성한 자율주행차 도로주행 모델과 같은 데이터를 저장하도록 구성될 수 있다. 저장 장치(1410)는 약도(sparse map)(예, 도 8을 참조하여 설명한 약도(sparse map, 800))와 같은 기타 정보를 저장하도록 구성될 수 있다.
저장 장치(1410)에 더하여 또는 저장 장치(1410) 대신, 서버(1230)는 메모리(1415)를 포함할 수 있다. 메모리(1415)는 메모리(140 또는 150)와 유사하거나 다를 수 있다. 메모리(1415)는 플래시 메모리, RAM 등과 같은 비일시적 메모리일 수 있다. 메모리(1415)는 프로세서(예, 1420)에 의해 실행 가능한 컴퓨터 코드 또는 지시, 지도 데이터(예, 약도(sparse map, 800)의 데이터), 자율주행차 도로주행 모델, 및/또는 차량(1205-1225)으로부터 수신한 주행 정보와 같은 데이터를 저장하도록 구성될 수 있다.
서버(1230)는 다양한 기능을 수행하기 위하여 메모리(1415)에 저장된 컴퓨터 코드 또는 지시를 실행하도록 구성된 프로세서(1420)를 포함할 수 있다. 예를 들면, 프로세서(1420)는 차량(1205-1225)으로부터 수신한 주행 정보를 분석하고 이 분석에 근거하여 자율주행차 도로주행 모델을 생성할 수 있다. 프로세서(1420)는 통신부(1405)를 제어하여 자율주행차 도로주행 모델을 하나 이상의 자율주행차(예, 하나 이상의 차량(1205-1225) 또는 도로 구간(1200)을 후속 운행하는 차량)에 배포할 수 있다. 프로세서(1420)는 프로세서(180, 190) 또는 처리부(110)와 유사하거나 다를 수 있다.
도 15는 자율 주행에 사용할 차량 주행 정보를 처리하기 위한 하나 이상의 동작을 수행하기 위한 컴퓨터 코드 또는 지시를 저장할 수 있는 메모리(1415)의 구성도를 도시한 것이다. 도 15에 도시된 바와 같이, 메모리(1415)는 차량 주행 정보를 처리하기 위한 동작을 수행하기 위한 하나 이상의 모듈을 저장할 수 있다. 예를 들어, 메모리(1415)는 모델 생성 모듈(1505) 및 모델 배포 모듈(1510)을 포함할 수 있다. 프로세서(1420)는 메모리(1415)에 포함된 모듈(1505, 1510)의 어느 하나 이상에 저장된 지시를 실행할 수 있다.
모델 생성 모듈(1505)은 차량(1205-1225)으로부터 수신한 주행 정보에 근거하여 공통 도로 구간(예, 1200)에 대한 자율주행차 도로주행 모델의 적어도 일부를 생성하도록 프로세서(1420)에 의해 실행되는 지시를 저장할 수 있다. 예를 들면, 자율주행차 도로주행 모델을 생성함에 있어서, 프로세서(1420)는 공통 도로 구간(1200)의 차량 궤적을 다른 클러스터로 클러스터링할 수 있다. 프로세서(1420)는 다른 클러스터 각각에 대해 클러스터링된 차량 궤적에 근거하여 공통 도로 구간(1200)을 따라가는 목표 궤적을 결정할 수 있다. 이러한 동작은 클러스터링된 차량 궤적의 평균(mean 또는 average) 궤적을 각 클러스터 내에서 구하는(예, 클러스터링된 차량 궤적을 나타내는 데이터의 평균을 구하는) 것을 포함할 수 있다. 일부 실시예에서, 목표 궤적은 공통 도로 구간(1200)의 단일 차선에 관한 것일 수 있다. 자율주행차 도로주행 모델은 각각 공통 도로 구간(1200)의 개별 차선에 관한 복수의 목표 궤적을 포함할 수 있다. 일부 실시예에서, 목표 궤적은 공통 도로 구간(1200)의 단일 차선에 관한 것이라기보다는 공통 도로 구간(1200)에 관한 것일 수 있다. 목표 궤적은 3차원 스플라인으로 표현될 수 있다. 일부 실시예에서, 스플라인은 킬로미터 당 10kB 미만, 킬로미터 당 20kB 미만, 킬로미터 당 100kB 미만, 킬로미터 당 1MB 미만, 또는 킬로미터 당 기타 적절한 저장 크기의 데이터에 의해 정의될 수 있다.
도로 모델 및/또는 약도(sparse map)는 도로 구간에 관한 궤적을 저장할 수 있다. 이러한 궤적은 목표 궤적으로 지칭될 수 있으며, 자율 주행을 위해 자율주행차에 제공된다. 목표 궤적은 여러 대의 차량으로부터 수신될 수 있고, 또는 여러 대의 차량으로부터 수신된 실제 궤적 또는 추천 궤적(일부 수정된 실제 궤적)에 근거하여 생성될 수 있다. 도로 모델 또는 약도(sparse map)에 포함된 목표 궤적은 다른 차량으로부터 수신된 새로운 궤적으로 지속적으로 업데이트(예, 평균) 될 수 있다.
도로 구간을 운행하는 차량은 다양한 센서를 통해 데이터를 수집할 수 있다. 이러한 데이터는 랜드마크, 도로 특징 프로필, 차량 움직임(예, 가속도계 데이터, 속력 데이터), 차량 위치(예, GPS 데이터)를 포함할 수 있으며, 실제 궤적 그 자체를 재구성하거나 실제 궤적을 재구성할 서버로 데이터를 전송할 수도 있다. 일부 실시예에서, 차량은 궤적에 관한 데이터(예, 임의의 기준 프레임 내 곡선), 랜드마크 데이터, 및 이동 경로 상의 차선 배정을 서버(1230)로 전송할 수 있다. 여러 번의 운행을 통해 동일 도로 구간을 운행하는 다양한 차량의 궤적은 서로 다를 수 있다. 서버(1230)는 클러스터링 과정을 통해 차량들로부터 수신한 궤적으로부터 각 차선에 관한 경로 또는 궤적을 식별할 수 있다.
도 16은 공통 도로 구간(예, 1200)에 대한 목표 궤적을 결정하기 위해 차량(1205-1225)과 연관된 차량 궤적들을 클러스터링 하는 과정을 예시한 것이다. 클러스터링 과정으로부터 결정된 목표 궤적 또는 복수의 목표 궤적은 자율주행차 도로주행 모델 또는 약도(sparse map, 800)에 포함될 수 있다. 일부 실시예에서, 도로 구간(1200)을 운행하는 차량(1205-1225)은 복수의 궤적(1600)을 서버(1230)로 전송할 수 있다. 일부 실시예에서, 서버(1230)는 랜드마크, 도로 기하, 및 차량(1205-1225)으로부터 수신한 차량 움직임 정보에 기반하여 궤적을 생성할 수 있다. 자율주행차 도로주행 모델을 생성하기 위하여, 서버(1230)는 도 16에 도시된 바와 같이 차량 궤적(1600)을 복수의 클러스터(1605-1630)로 클러스터링할 수 있다.
클러스터링은 여러 기준을 사용하여 수행될 수 있다. 일부 실시예에서, 한 클러스터 내의 모든 운행은 도로 구간(1200)을 따라가는 절대적 진행방향에 있어서 서로 유사할 수 있다. 절대적 진행방향은 차량(1205-1225)이 수신하는 GPS 신호로부터 획득할 수 있다. 일부 실시예에서, 절대적 진행방향은 추측항법을 사용하여 획득할 수 있다. 본 발명의 당업자가 이해하는 바와 같이, 추측항법을 사용하면, 이전에 판단된 위치, 추정된 속도 등을 사용하여 현 위치를 판단할 수 있고, 따라서 차량(1205-1225)의 진행방향을 판단할 수 있다. 절대적 진행방향에 따라 클러스터링된 궤적은 도로를 따라 경로를 식별하는데 유용할 수 있다.
일부 실시예에서, 한 클러스터 내의 모든 운행은 도로 구간(1200) 운행의 차선 배정(예, 교차로 진입 전과 진출 후에 같은 차선)에 있어서 서로 유사할 수 있다. 차선 배정에 따라 클러스터링된 궤적은 도로를 따라 차선을 식별하는데 유용할 수 있다. 일부 실시예에서, 클러스터링을 위해 두 기준(예, 절대적 진행방향 및 차선 배정)을 모두 사용할 수 있다.
각 클러스터(1605-1630)에서, 궤적의 평균을 구하여 특정 클러스터에 관한 목표 궤적을 획득할 수 있다. 예를 들면, 동일 차선 클러스터에 관한 여러 운행의 궤적의 평균을 구할 수 있다. 평균 궤적은 특정 차선에 관한 목표 궤적일 수 있다. 궤적 클러스터의 평균을 구하기 위하여, 서버(1230)는 임의 궤적(C0)을 기준 프레임으로 선택할 수 있다. 서버(1230)는 기타 모든 궤적(C1, ..., Cn)에 대하여 강체 변환(rigid transformation)을 통해 Ci 내지 C0를 매핑할 수 있다. 여기서, i는 1, 2,…, n 이고, n은 클러스터에 포함된 전체 궤적의 수에 상응하는 양의 정수이다. 서버(1230)는 C0 기준 프레임에서 평균 곡선 또는 궤적을 계산할 수 있다.
일부 실시예에서, 랜드마크는 다른 운행 간의 아크 길이 매칭을 정의하여 궤적과 차선의 정렬에 사용할 수 있다. 일부 실시예에서, 궤적과 차선의 정렬을 위하여 교차로 진입 전과 진출 후의 차선 표시를 사용할 수 있다.
차선을 궤적과 맞추기 위하여, 서버(1230)는 임의 차선을 기준 프레임으로 선택할 수 있다. 서버(1230)는 선택된 기준 프레임에 부분적으로 겹치는 차선을 매핑할 수 있다. 서버(1230)는 모든 차선이 동일 기준 프레임에 들어갈 때까지 매핑을 계속할 수 있다. 서로 바로 옆에 있는 차선들은 동일 차선인 것처럼 정렬되고 나중에 횡적으로 이전될 수 있다.
도로 구간에서 인지된 랜드마크는 동일 기준 프레임에 매핑될 수 있으며, 일단은 차선 수준에서 매핑되고 나중엔 교차로 수준에서 매핑될 수 있다. 예를 들어, 동일 랜드마크는 여러 번의 운행에서 여러 차량들에 의해 여러 번 인지될 수 있다. 서로 다른 운행에서 수신된 동일 랜드마크에 관한 데이터는 조금 다를 수 있다. 이런 데이터를 평균을 구하고 C0 기준 프레임과 같은 동일 기준 프레임에 매핑할 수 있다. 추가적으로 또는 대안적으로, 여러 운행에서 수신된 동일 랜드마크의 데이터 분산을 계산할 수 있다.
일부 실시예에서, 도로 구간(1200)의 각 차선은 목표 궤적과 특정 랜드마크와 관련될 수 있다. 목표 궤적 또는 복수의 목표 궤적은 자율주행차 도로주행 모델에 포함되어 차후에 동일 도로 구간(1200)을 운행하는 다른 자율주행차에 의해 사용될 수 있다. 차량(1205-1225)이 도로 구간(1200)을 운행하면서 식별하는 랜드마크는 목표 궤적과 연계되어 기록될 수 있다. 목표 궤적과 랜드마크의 데이터는 차후에 운행하는 다른 차량들로부터 수신한 새로운 데이터로 지속적으로 또는 주기적으로 업데이트될 수 있다.
자율주행차의 위치 인식을 위하여, 기재된 시스템과 방법은 확장 칼만 필터(extended Kalman filter)를 사용할 수 있다. 차량의 위치는 3차원 위치 데이터 및/또는 3차원 자세 데이터, 차량의 자체 움직임의 통합에 의한 현 위치 이후의 위치 예측에 기반하여 판단될 수 있다. 차량의 위치는 랜드마크의 영상 관찰에 의해 수정되거나 조정될 수 있다. 예를 들어, 차량이 카메라에 의해 촬영된 영상 내에 랜드마크를 감지하는 경우, 이 랜드마크를 도로 모델 또는 약도(sparse map, 800)에 저장된 알려진 랜드마크와 비교할 수 있다. 알려진 랜드마크는 도로 모델 및/또는 약도(sparse map, 800)에 저장된 목표 궤적 상의 알려진 위치(예, GPS 데이터)를 가지고 있을 수 있다. 현재 속력과 랜드마크의 영상에 근거하여, 차량으로부터 랜드마크까지의 거리가 추정될 수 있다. 목표 궤적 상의 차량 위치는 랜드마크까지의 거리 및 랜드마크의 알려진 위치(도로 모델 또는 약도(sparse map, 800)에 저장된 위치)에 근거하여 조정될 수 있다. 도로 모델 및/또는 약도(sparse map, 800)에 저장된 랜드마크의 위치 데이터(예, 여러 운행의 평균값)는 정확한 것으로 간주할 수 있다.
일부 실시예에서, 기재된 시스템은 폐쇄 루프(closed loop) 서브 시스템을 형성하여 차량의 6 자유도(six degrees of freedom) 위치(예, 3차원 위치 데이터에 3차원 자세 데이터 추가)의 추정을 사용하여 자율주행차를 주행(예, 조향)하여 원하는 지점(예, 저장된 위치의 1.3초 전방 위치)에 도달하게 할 수 있다. 조향과 실제 주행으로부터 측정된 데이터는 6자유도 위치 추정에 사용될 수 있다.
일부 실시예에서, 도로변의 기둥들, 예를 들면, 가로등, 전봇대 등을 랜드마크로 사용하여 차량의 위치를 인식할 수 있다. 교통표지판, 신호등, 노면 화살표, 정지선, 및 도로 구간 내 물체의 정적인 특징과 같은 기타 랜드마크도 차량의 위치 인식을 위한 랜드마크로 사용될 수 있다. 위치 인식을 위하여 기둥을 사용하는 경우, 기둥의 y 관찰(즉, 기둥까지의 거리)보다는 x 관찰(즉, 차량으로부터의 시야각)을 사용할 수 있다. 이는 기둥의 밑부분이 가려 있거나 도로와 같은 평면상에 있지 않을 수 있기 때문이다.
도 17은 자율 주행에 사용될 수 있는 차량의 주행 시스템을 예시한 것이다. 편의상, 차량은 차량(1205)을 참조하여 예시하였다. 도 17에 도시된 차량은 예를 들어 차량(1210, 1215, 1220, 1225)뿐만 아니라 다른 실시예에서 도시된 차량(200)일 수 있다. 도 12에 도시된 바와 같이, 차량(1205)은 서버(1230)와 통신할 수 있다. 차량(1205)은 카메라(122)와 같은 이미지캡처장치(122)를 포함할 수 있다. 차량(1205)은 차량(1205)이 도로(예, 도로 구간(1200))를 운행할 수 있도록 주행 안내를 제공하도록 구성된 주행 시스템(1700)을 포함할 수 있다. 차량(1205)은 또한 속력 센서(1720) 및 가속도계(1725)와 같은 기타 센서를 포함할 수 있다. 속력 센서(1720)는 차량(1205)의 속력을 감지하도록 구성될 수 있다. 가속도계(1725)는 차량(1205)의 가속 및 감속을 감지하도록 구성될 수 있다. 도 17에 도시된 차량(1205)은 자율주행차일 수 있으며, 주행 시스템(1700)은 자율 주행을 위한 주행 안내를 제공하기 위해 사용될 수 있다. 또는, 차량(1205)은 자율 주행이 아닌 인간이 제어하는 차량일 수 있으며, 주행 시스템(1700)은 여전히 주행 안내를 제공하기 위해 사용될 수 있다.
주행 시스템(1700)은 통신 경로(1235)를 통해 서버(1230)와 통신하도록 구성된 통신부(1705)를 포함할 수 있다. 주행 시스템(1700)은 GPS 신호를 수신하고 처리하도록 구성된 GPS부(1710)를 포함할 수 있다. 주행 시스템(1700)은 GPS 신호, 약도(sparse map, 800)로부터의 지도 데이터(차량(1205)에 탑재된 저장 장치에 저장되거나 서버(1230)로부터 수신), 도로 프로필 센서(1730)에 의해 감지되는 도로 기하, 카메라(122)가 촬영하는 영상, 및/또는 서버(1230)로부터 수신되는 자율주행차 도로주행 모델과 같은 데이터를 처리하도록 구성된 적어도 하나의 프로세서(1715)를 포함할 수 있다. 도로 프로필 센서(1730)는 노면 거칠기, 도로 폭, 도로 높낮이, 도로 곡률 등과 같은 다른 유형의 도로 프로필을 측정하기 위한 다른 유형의 장치를 포함할 수 있다. 예를 들어, 도로 프로필 센서(1730)는 차량(1205)의 서스펜션 움직임을 측정하여 노면 상태 프로필을 유추하는 장치를 포함할 수 있다. 일부 실시예에서, 도로 프로필 센서(1730)는 차량(1205)으로부터 도로변(예, 도로변의 장벽)까지의 거리를 측정하여 도로의 폭을 측정하는 레이더 센서를 포함할 수 있다. 일부 실시예에서, 도로 프로필 센서(1730)는 도로의 높낮이를 측정하도록 구성된 장치를 포함할 수 있다. 일부 실시예에서, 도로 프로필 센서(1730)는 도로의 곡률을 측정하도록 구성된 장치를 포함할 수 있다. 예를 들어, 도로의 곡률이 보이는 도로의 영상을 촬영하기 위해 카메라(예, 카메라(122) 또는 다른 카메라)가 사용될 수 있다. 차량(1205)은 이러한 이미지를 사용하여 도로 곡률을 감지할 수 있다.
적어도 하나의 프로세서(1715)는 차량(1205)에 관한 적어도 하나의 주변환경 영상을 카메라(122)로부터 수신하도록 프로그램될 수 있다. 적어도 하나의 프로세서(1715)는 이 적어도 하나의 주변환경 영상을 분석하여 차량(1205)에 관한 주행 정보를 판단할 수 있다. 주행 정보는 도로 구간(1200)을 따라가는 차량(1205)의 운행에 관한 궤적을 포함할 수 있다. 적어도 하나의 프로세서(1715)는 3차원 평행이동 및 3차원 회전과 같은 카메라(122)의 움직임(즉, 차량의 움직임)에 근거하여 궤적을 결정할 수 있다. 일부 실시예에서, 적어도 하나의 프로세서(1715)는 카메라(122)가 촬영한 복수의 영상의 분석에 근거하여 카메라(122)의 평행이동 및 회전을 판단할 수 있다. 일부 실시예에서, 주행 정보는 차선 배정 정보(예, 도로 구간(1200)을 따라 차량(1205)이 운행하는 차선)를 포함할 수 있다. 서버(1230)는 차량(1205)으로부터 서버(1230)로 전송된 주행 정보를 사용하여 자율주행차 도로주행 모델을 생성 및/또는 업데이트하고, 이 도로주행 모델은 차량(1205)에 자율 주행 안내를 제공하기 위해 서버(1230)로부터 차량(1205)으로 다시 전송될 수 있다.
적어도 하나의 프로세서(1715)는 또한 차량(1205)으로부터 서버(1230)로 주행 정보를 전송하도록 프로그램될 수 있다. 일부 실시예에서, 주행 정보는 도로 정보와 함께 서버(1230)로 전송될 수 있다. 도로 위치 정보는 GPS부(1710)가 수신한 GPS 신호, 랜드마크 정보, 도로 기하, 차선 정보 등 중의 하나 이상을 포함할 수 있다. 적어도 하나의 프로세서(1715)는 서버(1230)로부터 자율주행차 도로주행 모델 또는 그 일부를 수신할 수 있다. 서버(1230)로부터 수신한 자율주행차 도로주행 모델은 차량(1205)으로부터 서버(1230)로 전송된 주행 정보에 근거한 적어도 하나의 업데이트를 포함할 수 있다. 서버(1230)로부터 차량(1205)으로 전송된 자율주행차 도로주행 모델의 일부는 자율주행차 도로주행 모델의 업데이트된 부분을 포함할 수 있다. 적어도 하나의 프로세서(1715)는 수신된 자율주행차 도로주행 모델 또는 자율주행차 도로주행 모델의 업데이트된 부분에 근거하여 차량(1205)에 적어도 하나의 주행 동작(예, 회전과 같은 조향, 제동, 가속, 추월 등)을 발생시킬 수 있다.
적어도 하나의 프로세서(1715)는 차량(1205)에 포함된 통신부(1705), GPS부(1715), 카메라(122), 속력 센서(1720), 가속도계(1725), 도로 프로필 센서(1730)와 같은 다양한 센서 및 구성요소와 통신하도록 구성될 수 있다. 적어도 하나의 프로세서(1715)는 다양한 센서 및 구성요소로부터 정보 또는 데이터를 수집하고 통신부(1705)를 통해 서버(1230)로 전송할 수 있다. 대안적으로 또는 추가적으로, 차량(1205)의 다양한 센서 또는 구성요소는 서버(1230)와 통신하고 센서 또는 구성요소에 의해 수집된 데이터 또는 정보를 서버(1230)로 전송할 수 있다.
일부 실시예에서, 차량(1205-1225)은 서로 통신하고 주행 정보를 공유하여 적어도 하나의 차량(1205-1225)이 다른 차량에 의해 공유된 정보에 기반하여 자율주행차 도로주행 모델을 생성할 수 있도록 할 수 있다. 일부 실시예에서, 차량(1205-1225)은 서로 주행 정보를 공유하고, 각 차량은 각 차량에 제공된 자율주행차 도로주행 모델을 업데이트할 수 있다. 일부 실시예에서, 적어도 하나의 차량(1205-1225), 예를 들어, 차량(1205)은 허브(hub) 차량 역할을 할 수 있다. 허브 차량(예, 1205)의 적어도 하나의 프로세서(1715)는 서버(1230)에 의해 수행되는 모든 기능 또는 일부 기능을 수행할 수 있다. 예를 들면, 허브 차량의 적어도 하나의 프로세서(1715)는 다른 차량들과 통신하고 다른 차량들로부터 주행 정보를 수신할 수 있다. 허브 차량의 적어도 하나의 프로세서(1715)는 다른 차량들로부터 수신한 공유 정보에 근거하여 자율주행차 도로주행 모델 또는 그 업데이트를 생성할 수 있다. 허브 차량의 적어도 하나의 프로세서(1715)는 자율주행 안내를 제공하기 위해 자율주행차 도로주행 모델 또는 그 업데이트를 다른 차량들로 전송할 수 있다.
도 18은 자율 주행에 사용되는 차량 주행 정보를 처리하는 프로세스(1800)의 일례를 예시한 순서도이다. 프로세스(1800)는 서버(1230) 또는 허브 차량에 포함된 프로세서(1715)에 의해 수행될 수 있다. 일부 실시예에서, 프로세스(1800)는 자율주행차 도로주행 모델을 제공하거나 업데이트하기 위한 차량 주행 정보의 수집에 사용될 수 있다. 프로세스(1800)는 복수의 차량으로부터 주행 정보를 수신하는 단계(1805)를 포함할 수 있다. 예를 들어, 서버(1230)는 차량(1205-1225)으로부터 주행 정보를 수신할 수 있다. 주행 정보는 차량(1205-1225)이 운행하는 공통 도로 구간(예, 1200)에 관한 것일 수 있다. 프로세스(1800)는 공통 도로 구간에 관한 주행 정보를 저장하는 단계(1810)를 포함할 수 있다. 예를 들어, 서버(1230)는 주행 정보를 저장 장치(1410) 및/또는 메모리(1415)에 저장할 수 있다. 프로세스(1800)는 주행 정보에 근거하여 자율주행차 도로주행 모델의 적어도 일부를 생성하는 단계(1815)를 포함할 수 있다. 예를 들어, 서버(1230)는 공통 도로 구간(1200)을 운행하는 차량(1205-1225)으로부터 수신한 주행 정보에 근거하여 공통 도로 구간(1200)의 자율주행차 도로주행 모델의 적어도 일부를 생성할 수 있다. 프로세스(1800)는 또한, 하나 이상의 자율주행차로 자율주행차 도로주행 모델을 배포하는 단계(1820)를 포함할 수 있다. 예를 들어, 서버(1230)는 도로 구간(1200)을 따라 차량의 자율 주행에 사용하기 위한 자율주행차 도로주행 모델 또는 그 일부(예, 업데이트)를 차량(1205-1225) 또는 도로 구간(1200)을 운행하는 기타 차량에 배포할 수 있다.
프로세스(1800)는 추가 동작 또는 단계를 포함할 수 있다. 예를 들면, 자율주행차 도로주행 모델을 제공하는 단계는 도로 구간(1200)을 운행하는 차량(1205-1225)으로부터 수신한 차량 궤적을 복수의 클러스터로 클러스터링하는 단계를 포함할 수 있다. 프로세스(1800)는 각 클러스터 내에 클러스터링된 차량 궤적의 평균을 구하여 공통 도로 구간(1200)의 목표 궤적을 결정하는 단계를 포함할 수 있다. 프로세스(1800)는 또한, 목표 궤적을 공통 도로 구간(1200)의 단일 차선과 연계하는 단계를 포함할 수 있다. 프로세스(1800)는 자율주행차 도로주행 모델에서 목표 궤적을 표현하기 위해 3차원 스플라인을 판단하는 단계를 포함할 수 있다.
도 19는 차량의 주행 시스템에 의해 수행되는 프로세스(1900)의 일례를 예시한 순서도이다. 프로세스(1900)는 주행 시스템(1700)에 포함된 프로세서(1715)에 의해 수행될 수 있다. 프로세스(1900)는 차량에 관한 적어도 하나의 주변환경 영상을 카메라로부터 수신하는 단계(1905)를 포함할 수 있다. 예를 들어, 프로세서(1715)는 차량(1205)과 관련 있는 적어도 하나의 주변환경 영상을 카메라(122)로부터 수신할 수 있다. 카메라(122)는 차량(1205)이 도로 구간(1200)을 운행함에 따라 차량(1205) 주변 환경의 하나 이상의 영상을 촬영할 수 있다. 프로세스(1900)는 적어도 하나의 주변환경 영상을 분석하여 차량에 관한 주행 정보를 판단하는 단계(1910)를 포함할 수 있다. 예를 들어, 프로세서(1715)는 카메라(122)로부터 수신한 주변환경 영상을 분석하여 도로 구간(1200)을 따라가는 운행의 궤적과 같은 주행 정보를 판단할 수 있다. 프로세서(1715)는 예를 들어 영상 분석에 의해 감지된 카메라의 자체 움직임(예, 3차원 평행이동 및/또는 3차원 회전 움직임)에 근거하여 차량(1205)의 운행의 궤적을 판단할 수 있다.
프로세스(1900)는 주행 정보를 차량으로부터 서버로 전송하는 단계(1915)를 포함할 수 있다. 일부 실시예에서, 주행 정보는 도로 정보와 함께 차량에서 서버(1230)로 전송될 수 있다. 예를 들면, 프로세서(1715)는 주행 정보를 차선 배정, 도로 기하 등과 같은 도로 정보와 함께 차량(1205)으로부터 서버(1230)로 통신부(1705)를 통하여 전송할 수 있다. 프로세스(1900)는 서버로부터 자율주행차 도로주행 모델 또는 그 일부를 수신하는 단계(1920)를 포함할 수 있다. 예를 들어, 프로세서(1715)는 서버(1230)로부터 자율주행차 도로주행 모델 또는 그 일부를 수신할 수 있다. 자율주행차 도로주행 모델 또는 그 일부는 차량(1205)으로부터 전송된 주행 정보에 근거한 자율주행차 도로주행 모델에 대한 적어도 하나의 업데이트를 포함할 수 있다. 프로세서(1715)는 차량(1205)의 주행 시스템(1700)에 제공된 기존 모델을 업데이트할 수 있다. 프로세스(1900)는 자율주행차 도로주행 모델에 근거하여 차량이 적어도 하나의 주행 동작을 실행하는 단계(1925)를 포함할 수 있다. 예를 들어, 프로세서(1715)는 차량(1205)이 조향, 회전, 차선 변경, 가속, 제동, 정지 등을 하도록 할 수 있다. 프로세서(1715)는 구동 시스템(220), 제동 시스템(230), 및 조향 시스템(240)의 적어도 하나로 신호를 전송하여 차량(1205)이 주행 동작을 수행하도록 할 수 있다.
프로세스(1900)는 프로세서(1715)에 의해 수행되는 기타 동작 또는 단계를 포함할 수 있다. 예를 들면, 주행 정보는 차량이 도로 구간을 운행하는 목표 궤적을 포함할 수 있고, 프로세스(1900)는 프로세서(1715)에 의해 도로 구간을 운행하는 여러 차량에 관한 차량 궤적을 클러스터링하는 단계와 클러스터링된 차량 궤적에 근거하여 목표 궤적을 결정하는 단계를 포함할 수 있다. 차량 궤적을 클러스터링하는 단계는 프로세서(1715)에 의해 도로 구간을 운행하는 차량에 관한 여러 궤적을 차량의 절대적 진행방향과 차량의 차선 배정의 적어도 하나에 근거하여 복수의 클러스터로 클러스터링하는 단계를 포함할 수 있다. 목표 궤적을 생성하는 단계는 클러스터링된 궤적의 평균을 프로세서(1715)에 의해 구하는 단계를 포함할 수 있다. 앞서 설명한 바와 같이, 기타 프로세스 또는 단계도 프로세스(1900)에 포함될 수 있다.
기재된 시스템과 방법은 기타 특징을 포함할 수 있다. 예를 들면, 기재된 시스템은 글로벌 좌표 대신에 로컬 좌표를 사용할 수 있다. 자율 주행을 위해, 일부 시스템은 데이터를 세계 좌표로 제시할 수 있다. 예를 들어, 지표면의 위도 및 경도 좌표를 사용할 수 있다. 조향을 위해 지도를 사용하기 위해, 호스트 차량은 지도에 대한 자신의 위치와 자세를 알아야 한다. 지도상에서 차량의 위치를 찾고 차체 기준 프레임과 세계 지도 기준 프레임 사이의 회전 변환(rotation transformation)을 찾기 위해서(예, 북쪽, 동쪽, 아래 등), 탑재된 GPS 장치를 사용하는 것이 당연할 수 있다. 차체 기준 프레임이 지도 기준 프레임과 정렬되면, 원하는 경로가 차체 기준 프레임으로 표현되고, 조향 명령이 계산되고 생성될 수 있다.
그러나 이 방식의 문제 중의 하나는 현재의 GPS 기술은 차체의 위치와 자세를 정확하게 그리고 항상 제공하지 못한다는 것이다. 이 문제를 극복하는 방법으로, 세계 좌표가 알려진 랜드마크를 사용하는 것이 제안된 바 있다. 즉, 여려 종류의 랜드마크를 포함하는 매우 상세한 지도(고화질 지도 또는 HD 지도)를 제작한다는 것이다. 이는 차량이 자신의 기준 프레임에서 랜드마크를 감지하고 위치를 인식할 수 있는 센서를 구비하고 있다는 가정을 한 것이다. 일단 차량과 랜드마크 사이의 상대 위치가 파악되면, 랜드마크의 세계 좌표를 HD 지도에서 찾아서 차량이 자신의 위치와 자세를 계산할 수 있다는 것이다.
이 방법은 여전히 글로벌 좌표 시스템을 중재자로 사용하여 지도와 차체 기준 프레임 사이의 정렬을 확립한다. 즉, 랜드마크는 차량에 탑재된 GPS 장치의 한계를 보완하기 위하여 사용하는 것이다. 랜드마크는 HD 지도와 함께 글로벌 좌표에서 정확한 차량 자세의 계산을 가능하게 할 수 있으므로, 지도-차체 정렬 문제는 해결된다.
기재된 시스템과 방법에서는, 세계의 글로벌 지도를 사용하는 대신에, 많은 지도 조각 또는 로컬 지도를 사용하여 자율 주행을 할 수 있다. 지도의 각 조각 또는 각 로컬 지도는 자신의 좌표 프레임을 정의할 수 있다. 이러한 좌표 프레임은 임의의 좌표 프레임일 수 있다. 로컬 지도에서의 차량의 좌표는 차량이 지표면의 어디에 위치해 있는지 나타내지 않아도 된다. 또한, 로컬 지도는 축척이 커져도 정확할 필요가 없다. 즉, 글로벌 세계 좌표 시스템에 로컬 지도를 매립할 수 있는 강체 변환이 없을 수 있다.
세계를 표현하는 프로세스에는 지도의 생성에 관한 프로세스와 지도의 사용에 관한 프로세스의 두 개의 주요 프로세스가 있다. 지도 생성에 관하여, 이런 유형의 표현은 크라우드 소싱에 의해 생성되고 유지될 수 있다. HD 지도의 사용은 제한적이고 크라우드 소싱이 실현 가능하기 때문에 정교한 측량 장비를 적용할 필요가 없을 수 있다. 사용에 있어서, 표준 세계 좌표 시스템을 사용하지 않고 로컬 지도를 차체 기준 프레임에 정렬하는 효율적인 방법이 사용될 수 있다. 따라서, 적어도 대부분의 경우와 상황에서, 글로벌 좌표에서 차량 위치와 자세의 정확한 추정을 할 필요가 없을 수 있다. 로컬 지도의 메모리 흔적은 매우 낮게 유지될 수 있다.
지도 생성의 원리는 자체 움직임의 통합이다. 차량은 공간에서의 카메라 움직임(3D 평행이동 및 3D 회전)을 감지한다. 차량 또는 서버는 시간의 흐름에 따라 자체 움직임을 통합함으로써 차량의 궤적을 재구성할 수 있고, 이 통합된 경로는 도로 기하의 모델로 사용될 수 있다. 이 프로세스는 근거리 차선 표시를 감지하는 것과 결합될 수 있고, 재구성된 경로는 차량이 운행한 경로가 아닌 차량이 운행해야 할 경로를 반영하는 것일 수 있다. 다시 말해, 재구성된 경로 또는 궤적은 근거리 차선 표시와 관련하여 감지된 데이터에 근거하여 수정될 수 있고, 수정된 재구성 궤적은 추천 궤적 또는 목표 궤적으로 사용되고 동일 도로 구간을 주행하는 다른 차량들이 사용할 도로 모델 또는 약도(sparse map)에 저장될 수 있다.
일부 실시예에서, 지도 좌표 시스템은 임의의 지도 좌표 시스템일 수 있다. 카메라 기준 프레임은 임의의 시간에 선택되어 원 지도(map origin)로 사용될 수 있다. 카메라의 통합 궤적은 이 선택된 특정 프레임의 좌표 시스템으로 표현될 수 있다. 지도 내의 경로 좌표 값은 지구상의 위치를 직접 나타내는 것이 아닐 수 있다.
통합된 경로에는 오차가 누적될 수 있다. 이는 자체 움직임의 감지는 절대적으로 정확하지 않을 수 있기 때문이다. 누적된 오차의 결과로, 로컬 지도는 차이가 날 수 있고, 로컬 지도는 글로벌 지도의 로컬 버전으로 간주되지 않을 수 있다. 로컬 지도 조각의 크기가 커질수록, 지구의 "참" 기하로부터의 차이가 커질 수 있다.
로컬 지도의 임의성 및 차이는 디자인 원칙이라기보다는 파생 결과일 수 있다. 이러한 특성은 (도로를 운행하는 차량들에 의한) 크라우드 소싱 방식으로 지도를 구성하기 위하여 적용하는 통합 방식의 결과일 수 있다. 그러나, 차량은 조향을 위해 로컬 지도를 아무 문제없이 사용할 수 있다.
여기서 제안된 지도는 장거리에서는 차이가 날 수 있다. 지도는 차량 부근의 궤적을 계획하는데 사용되기 때문에, 이러한 차이의 영향은 허용될 수 있다. 아무 시점에서나, 시스템(예, 서버(1230) 또는 차량(1205))은 정렬 과정을 반복하고 지도를 사용하여 약 1.3초(또는 1.5초, 1.0초, 1.8초 등의 기타 시간) 전방의 도로 위치(카메라 좌표 프레임 내의 위치)를 예측할 수 있다. 이러한 거리에서 누적된 오차가 충분히 작다면, 자율 주행을 위해 제공되는 조향 명령은 사용될 수 있다.
일부 실시예에서, 로컬 지도는 로컬 지역에 집중하고 너무 넓은 지역을 다루지 않을 수 있다. 이는 자율 주행의 조향을 위해 로컬 지도를 사용하는 차량이 어느 시점에는 지도의 끝에 다다르고 지도의 다른 로컬 조각으로 옮겨야 할 수 있음을 의미한다. 다른 지도로 옮기는 것은 로컬 지도가 서로 겹치기 때문에 가능할 수 있다. 일단 차량이 두 지도에 공통적인 지역으로 진입하면, 시스템(예, 서버(1230) 또는 차량(1205))은 제1 로컬 지도(현재 사용중인 지도)에 근거하여 조향 명령을 계속 생성하되 동시에 제1 지도와 겹치는 다른 지도(또는 제2 로컬 지도) 상에서 차량의 위치를 파악할 수 있다. 즉, 시스템은 카메라의 현재 좌표 프레임을 제1 지도의 좌표 프레임과 제2 지도의 좌표 프레임 모두와 동시에 정렬할 수 있다. 새로운 정렬이 이루어지면, 시스템은 다른 지도(제2 지도)로 옮겨서 차량 궤적을 계획할 수 있다.
기재된 시스템은 추가 기능을 포함할 수 있으며, 그 중의 하나는 시스템이 차량의 좌표 프레임과 지도를 정렬하는 방법에 관한 것이다. 앞서 설명한 바와 같이, 차량이 랜드마크에 대한 상대 위치를 측정할 수 있다고 가정할 때, 정렬을 위하여 랜드마크를 사용할 수 있다. 이는 자율 주행에 유용하지만, 많은 수의 랜드마크와 이로 인한 많은 메모리 흔적을 필요로 하는 결과를 낳기도 한다. 이에 따라, 기재된 시스템은 이런 문제를 해결하는 정렬 절차를 사용할 수 있다. 이 정렬 절차에서, 시스템은 희박한 랜드마크와 자체 속력의 통합을 사용하여, 도로상의 차량의 위치에 대한 1D 추정량(1D estimator)을 계산할 수 있다. 시스템은 나중에 설명할 후미 정렬 방식을 사용하여, 궤적 그 자체의 형상을 사용하여 정렬의 회전 부분을 계산할 수 있다. 즉, 차량은, 지도의 후미를 정렬하기 위하여, '후미'를 주행하는 동안에 차량 자신의 궤적을 재구성하고 도로상의 추정 위치를 중심으로 한 회전을 계산한다는 것이다.
기재된 시스템과 방법에서, GPS 장치는 여전히 사용될 수 있다. 글로벌 좌표는 궤적 및/또는 랜드마크를 저장하는 데이터베이스를 색인하기 위하여 사용될 수 있다. 연관 로컬 지도 조각과 차량 부근의 연관 랜드마크는 메모리에 저장되고 글로벌 GPS 좌표를 사용하여 메모리로부터 인출될 수 있다. 그러나, 일부 실시예에서, 글로벌 좌표는 경로 계획에 사용되지 않을 수 있으며 정확하지 않을 수 있다. 일례로, 글로벌 좌표의 사용은 정보의 색인으로 제한될 수 있다.
"후미 정렬"이 제대로 기능하지 못하는 상황에서, 시스템은 더 많은 랜드마크를 사용하여 차량의 자세를 계산할 수 있다. 이런 경우는 흔치 않으며, 따라서 메모리 흔적에 미치는 영향은 경미하다. 도로 교차로가 이런 경우의 예이다.
기재된 시스템과 방법은 의미론적 랜드마크(예, 교통표지판)를 사용할 수 있는데, 이는 의미론적 랜드마크는 장면에서의 감지와 도로 모델 또는 약도(sparse map)에 저장된 랜드마크와의 일치에 신뢰성이 있기 때문이다. 일부 경우에, 기재된 시스템은 비의미론적 랜드마크(예, 일반표지판)도 사용할 수 있으며, 이런 경우, 비의미론적 랜드마크는 앞서 설명한 바와 같이 형상 특징과 연결돼 있을 수 있다. 시스템은 동일 여부(same or not-same) 인식 패러다임을 따르는 특징 생성을 위한 학습 방법을 사용할 수 있다.
예를 들면, 여러 번의 주행과 GPS 좌표를 고려할 때, 기재된 시스템은 기본 도로 구조 교차로와 도로 구간을 생성할 수 있다. 도로는 GPS를 사용하여 서로를 구분할 수 있을 정도로 충분히 떨어져 있는 것으로 가정한다. 상세하지 않은 지도만이 필요하다. 기본 도로 구조 그래프를 생성하기 위하여, 공간은 정해진 해상도(예, 50m x 50m)의 격자로 나누어질 수 있다. 각 주행은 격자 사이트의 순서 리스트로 보일 수 있다. 시스템은 각 주행에 속하는 각 리스트를 색으로 표현하여 합병 주행의 영상을 생성할 수 있다. 색으로 표현된 격자 포인트는 병합된 주행에 대한 노드로 표현될 수 있다. 한 노드에서 다른 노드를 통과하는 주행은 링크로 표현될 수 있다. 시스템은 차선의 구별을 방지하고 GPS 오차를 수정하기 위하여 영상의 작은 구멍들을 채워 넣을 수 있다. 시스템은 적절한 세선화(thinning) 알고리즘(예, "Zhang-Suen" 세선화 알고리즘이라고 불리는 알고리즘)을 사용하여 영상의 골격을 획득할 수 있다. 이 골격은 기본 도로 구조를 나타낼 수 있으며, 교차로는 마스크(예, 적어도 3 포인트와 연결되는 포인트)를 사용하여 찾을 수 있다. 교차로를 찾으면, 구간은 교차로를 연결하는 골격 부분일 수 있다. 주행을 골격에 일치시키기 위하여, 시스템은 은닉 마르코프 모델(Hidden Markov Model)을 사용할 수 있다. 각 GPS 포인트는 거리에 반비례하는 확률을 가진 격자 사이트와 연계될 수 있다. 시스템은 적절한 알고리즘(예, "Viterbi" 알고리즘으로 불리는 알고리즘)을 사용하여 GPS 포인트를 격자 사이트와 일치시키는 반면, 연속된 GPS 포인트가 인접하지 않는 격자 사이트에 일치되지 않도록 할 수 있다.
장치를 지도에 다시 매핑하기 위하여 복수의 방법을 사용할 수 있다. 예를 들면, 제1 방법은 세선화 과정 동안 파악을 유지하고 있는 것이다. 제2 방법은 근접 매칭을 사용하는 것이다. 제3 방법은 은닉 마르코프 모델을 사용하는 것이다. 은닉 마르코프 모델은 모든 관찰에 대해 기본적으로 은닉 상태를 가정하고, 이 상태의 특정 관찰 및 이전 상태에 대한 확률을 배정한다. Viterbi 알고리즘은 관찰 리스트의 가장 확률이 높은 상태를 찾기 위해 사용될 수 있다.
기재된 시스템과 방법은 추가 특징을 포함할 수 있다. 예를 들면, 기재된 시스템과 방법은 고속도로 진입로/출구를 감지할 수 있다. 동일 지역의 여러 번의 주행은 GPS 데이터를 사용하여 동일 좌표 시스템으로 합병될 수 있다. 시스템은 시각적 특징 포인트를 사용하여 매핑과 위치 인식을 할 수 있다.
일부 실시예에서, 한 운행(위치 인식 단계)에서, 이전 운행(매핑 단계)에서 동일 도로 구간을 횡단한 다른 차량들이 생성한 지도에 대하여, 일반적인 시각적 특징은 운행중인 차량의 위치와 자세를 등록하기 위하여 랜드마크로 사용될 수 있다. 이 차량들에는 주변환경을 촬영하도록 조정된 카메라 및 GPS 수신기가 구비돼 있을 수 있다. 이 차량들은 다른 유의미한 기하학적 및 의미론적 정보(예, 차선 구조, 도로표지판의 유형 및 위치, 노면 표시의 유형 및 위치, 물리적 장애물에 의해 묘사된 인근의 주행 가능한 지역의 형상, 운전자가 제어한 이전 주행 경로의 형상 등)에 연결된 시각적 랜드마크를 포함하는 최신 지도를 유지하는 중앙 서버(예, 1230)와 통신할 수 있다. 매핑 단계 및 위치 인식 단계 모두에서 도로의 길이당 중앙 서버와 차량 간 통신의 전체 데이터 양은 매우 작다.
매핑 단계에서, 기재된 시스템(예, 차량 또는 서버)은 특징점(feature point 또는 FP)을 감지하고 감지된 FP의 기술자(descriptor: 예, FAST/BRISK/ORB 검출기 및 기술자 또는 하기의 데이터베이스를 사용하여 학습된 검출기/기술자 쌍)를 산출할 수 있다. 시스템은 추적된 FP를 사용하여 카메라 움직임 및 FP가 감지되고 추적된 물체의 세계 위치를 추정할 수 있다. 시스템은 FP를 차후의 주행에서 감지될 가능성이 있는 것으로 분류할 수 있다(예를 들어, 순간적으로만 움직이는 물체, 주차 차량, 그림자 등에서 감지된 FP는 차후 주행에 재등장할 가능성이 낮음). 이러한 재현성 분류(reproducibility classification 또는 RC)는 감지된 FP를 둘러싸는 영상 피라미드의 구역 내 강도, 영상면 내의 추적된 FP의 모션, 성공적으로 추적/감지된 시야의 정도, 및 상대적 3D 위치 모두의 함수일 수 있다. 일부 실시예에서, 차량은 대표 FP 기술자(일련의 관찰로부터 산출된 기술자), 차량에 대한 추정 3D 위치, 및 순간적인 차량 GPS 좌표를 서버(1230)으로 전송할 수 있다.
매핑 단계에서, 매핑하는 차량과 중앙 서버 간의 통신 대역폭이 제한된 경우, 차량은 지도 내에 FP 또는 기타 의미론적 랜드마크(예, 도로표지판 및 차선 구조)의 존재가 제한적이고 위치 인식의 목적에 충분치 않을 때에는 높은 빈도로 FP를 서버로 전송할 수 있다. 매핑 단계의 차량이 낮은 공간적 빈도로 FP를 전송하여도 FP는 서버에서 서로 합쳐질 수 있다. 서버는 또한 재발생하는 FP를 감지하고 저장할 수 있다. 랜드마크의 시각적 모습은 적어도 일부 경우에는 랜드마크가 촬영된 계절 또는 하루 중 시간에 민감할 수 있다. FP의 재현성 확률을 향상하기 위하여, 랜드마크는 서버에 의해 하루 중 시간 빈(bin) 및 계절 빈으로 분류될 수 있다.
차량은 서버로 인근 FP 좌표 시스템의 기타 의미론적 및 기하학적 정보(차선 형상, 도로면의 구조, 장애물의 3D 위치, 매핑 클립 순간 좌표(mapping clip momentary coordinate) 시스템의 빈 공간, 설정 주행에서 주차 위치까지 운전자가 주행한 경로 등)를 전송할 수 있다.
위치 인식 단계에서, 서버는 FP 위치 형태의 랜드마크와 기술자를 포함하는 지도를 차량으로 전송할 수 있다. FP는 현재의 연속 프레임 내에서 거의 실시간으로 감지되고 추적될 수 있다. 추적된 FP를 사용하여 카메라 움직임과 FP의 세계 위치를 추정할 수 있다. 현재 추적된 FP 기술자를 검색하여 추정 유한 GPS 불확실성 반경 내의 GPS 좌표를 가진 지도 FP 리스트를 순간 GPS 측정값으로부터 일치시킬 수 있다. 지도 FP 리스트의 일치는 기술자 공간 내에서 유클리드(Euclidean) 또는 해밍(Hamming) 거리를 최소화하는 모든 현재 및 매핑 FP의 쌍을 검색함으로써 수행될 수 있다. FP 일치와 현재 및 지도 위치를 사용하면, 차량의 순간 위치와 로컬 지도 좌표 시스템 간의 회전 및 평행 이동의 기록될 수 있다.
기재된 시스템과 방법은 재현성 분류자를 학습시키는 방법을 포함할 수 있다. 학습은 표식(labelling) 비용의 증가순과 분류자 정확도 결과순으로 하기 스키마(scheme)의 하나에서 수행될 수 있다.
1차 스키마에서, 차량 카메라에 의해 기록되고 순간 차량 GPS 위치와 일치하는 많은 클립을 포함하는 데이터베이스가 수집될 수 있다. 이 데이터베이스는 운행의 대표 샘플(하루 중 시간, 계절, 날씨, 도로 유형 등의 다양한 특성에 대한 대표 샘플)을 포함할 수 있다. 유사한 GPS 위치와 진행방향의 다른 운행의 프레임에서 추출된 FP는 GPS 불확실성 반경 내에서 일치될 가능성이 있다. 일치되지 않은 FP는 재현성이 없는 것으로 라벨을 붙이고, 일치되는 FP는 재현성이 있는 것으로 라벨을 붙일 수 있다. 다음으로, 분류자는 영상 피라미드 내의 형상, 차량에 대한 순간 위치, 및 추적이 성공적으로 이루어진 시야 위치의 정도 등을 고려하여 FP의 재현성 라벨을 예측하도록 학습될 수 있다.
2차 스키마에서, 1차 스키마에서 설명한 클립 데이터베이스에서 추출된 FP 쌍은 클립 간의 FP 일치에 대한 주석을 담당하는 사람에 의해 라벨이 붙을 수 있다.
3차 스키마에서, 라이다(Light Detection And Ranging 또는 LIDAR) 측정을 사용한 정확한 영상 픽셀 깊이, 차량 위치, 차량 자세로 1차 스키마의 데이터베이스를 증가시키는 데이터베이스를 사용하여 다른 운행의 세계 위치를 정확하게 일치시킬 수 있다. 다음으로, 다른 시야와 다른 운행 시간의 세계 포인트에 상응하는 영상 영역에서 FP 기술자가 산출될 수 있다. 다음으로, 분류자는 기술자가 위치해 있는 기술자 공간의 평균 거리를 일치된 기술자로부터 예측하도록 학습될 수 있다.
실제 궤적이 아닌 추천 궤적 업로드
기재된 실시예에 따른 시스템은 공통 도로 구간 횡단 차량의 관찰된 궤적(예, 차량으로부터 서버로 전송된 궤적 정보에 상응하는 궤적)에 기반하여 자율주행차 도로주행 모델을 생성할 수 있다. 그러나 관찰된 궤적은 도로 구간을 횡단하는 차량이 운행한 실제 궤적에 상응하지 않을 수 있다. 오히려, 특정 경우에는, 서버로 업로드 된 궤적은 차량에 의해 판단된 실제 재구성 궤적과 관련하여 수정될 수 있다. 예를 들면, 차량 시스템은 실제로 운행한 궤적을 재구성 하면서 센서 정보(예, 카메라가 제공한 영상의 분석)를 사용하여 차량 자신의 궤적이 도로 구간의 바람직한 궤적이 아니라고 판단할 수 있다. 예를 들어, 차량은 탑재된 카메라로부터의 영상에 근거하여 차량이 차선의 중앙으로 운행하고 있지 않거나 일정한 시간 동안 차선을 이탈했다고 판단할 수 있다. 이러한 경우에, 센서 출력에서 도출된 정보에 근거하여 차량의 재구성 궤적(실제 횡단 경로)을 정제할 수 있다. 이후, 실제 궤적이 아닌 정제된 궤적을 서버로 업로드 하여 약도(sparse map, 800)의 생성 또는 업데이트에 사용되도록 할 수 있다.
도 12 내지 도 17을 참조하면, 차량(1205)은 서버(1230)와 통신할 수 있다. 차량(1205)은 자율주행차 또는 사람이 주로 제어하는 기존의 차량일 수 있다. 차량(1205)은 도로 구간(1200)을 운행하면서 도로 구간(1200)에 관한 데이터를 수집(또는 감지, 측정)할 수 있다. 수집된 데이터에는 도로 기하, 인지된 랜드마크(예, 표지판), 노면 표시 등과 같은 주행 정보가 포함될 수 있다. 차량(1205)은 수집된 데이터를 서버(1230)로 전송할 수 있다. 서버(1230)는 차량(1205)으로부터 수신한 데이터에 근거하여 자율주행차 도로주행 모델을 생성 및/또는 업데이트할 수 있다. 자율주행차 도로주행 모델에는 특정 도로 구간의 바람직한 운행 경로를 나타내는 복수의 목표 궤적이 포함될 수 있다.
도 17에 도시된 바와 같이, 차량(1205)은 주행 시스템(1700)을 포함할 수 있다. 주행 시스템은 자율주행차 도로주행 모델 및/또는 지도 데이터(예, 약도(sparse map, 800)의 지도 데이터)를 저장하도록 구성된 저장 장치(예, 하드 드라이브, 메모리)를 포함할 수 있다. 여기서, 저장 장치는 약도(sparse map, 800)로부터 전체 도로 모델의 로컬 사본을 저장할 수 있다. 또는, 저장 장치는 주행중인 차량으로 필요에 따라 제공되는 약도(sparse map)의 일부분(예, 로컬 지도)만을 저장할 수 있다. 이러한 실시예에서, 로컬 지도는 저장 장치에 임시로만 저장되고 하나 이상의 새로운 로컬 지도를 수신하거나 특정 주행 지역을 벗어났다고 판단되면 저장 장치로부터 삭제될 수 있다. 주행 시스템(1700)은 적어도 하나의 프로세서(1715)를 포함할 수 있다.
주행 시스템(1700)은 카메라(122), GPS부(1710), 도로 프로필 센서(1730), 속력 센서(1720), 및 가속도계(1725)와 같은 하나 이상의 센서를 포함할 수 있다. 차량(1205)은 레이더 센서와 같은 기타 센서를 포함할 수 있다. 차량(1205)에 포함된 센서는 차량(1205)이 도로 구간(1200)을 운행함에 따라 도로 구간(1200)에 관한 데이터를 수집할 수 있다.
프로세서(1715)는 하나 이상의 센서로부터 차량(1205)의 움직임을 가리키는 출력을 수신하도록 구성될 수 있다. 예를 들면, 가속도계(1715)는 카메라(122)의 3차원 평행이동 및/또는 3차원 회전 움직임을 가리키는 신호를 출력할 수 있다. 속력 센서는 차량(1205)의 속력을 출력할 수 있다. 도로 프로필 센서(1730)는 차량(1205)의 움직임이나 궤적을 판단하기 위해 사용될 수 있는 노면 거칠기, 도로 폭, 도로 높낮이, 도로 곡률에 관한 신호를 출력할 수 있다.
프로세서(1715)는 하나 이상의 센서로부터의 출력에 근거하여 차량(1205)의 실제 궤적을 판단할 수 있다. 예를 들며, 카메라(122)로부터 출력된 영상의 분석에 근거하여, 프로세서(1715)는 도로 구간(1200) 상의 랜드마크를 식별할 수 있다. 랜드마크는 교통표지판(예, 속도제한표지판), 방향표지판(예, 다른 도로 또는 장소를 안내하는 고속도로 방향표지판), 및 일반표지판(예, 색 패턴과 같은 특징을 가진 직사각형 상업용 표지판)을 포함할 수 있다. 식별된 랜드마크는 약도(sparse map, 800)에 저장된 랜드마크와 비교될 수 있다. 일치하는 랜드마크가 검색된 경우, 약도(sparse map, 800)에 저장된 랜드마크의 위치가 식별된 랜드마크의 위치로 사용될 수 있다. 식별된 랜드마크의 위치는 목표 궤적 상의 차량(1205)의 위치를 판단하는데 사용될 수 있다. 일부 실시예에서, 프로세서(1715)는 GPS부(1710)가 출력한 GPS 신호에 근거하여 차량(1205)의 위치를 판단할 수 있다.
프로세서(1715)는 가속도계(1725), 카메라(122), 및/또는 속력 센서(1720)의 출력에 근거하여 차량의 움직임을 판단할 수 있다. 예를 들어, 속력 센서(1720)는 차량(1205)의 현재 속력을 프로세서(1715)로 출력할 수 있다. 가속도계(1725)는 차량(1205)의 3차원 평행이동 및/또는 회전을 나타내는 신호를 프로세서(1715)로 출력할 수 있다. 카메라(122)는 차량(1205)의 주변환경의 복수의 영상을 프로세서(1715)로 출력할 수 있다. 복수의 센서 및 장치의 출력에 근거하여, 프로세서(1715)는 차량(1205)의 실제 궤적을 판단할 수 있다. 실제 궤적은 차량(1205)이 실제로 운행했거나 운행하고 있는 경로를 반영하며, 예를 들어, 차량(1205)이 운행했거나 운행하고 있는 도로 구간(1200)의 차선 및 차량(1205)이 운행한 다른 도로 구간을 포함할 수 있다.
프로세서(1715)는 카메라(122)로부터 차량(1205)에 관한 적어도 하나의 주변환경 영상을 수신할 수 있다. 예를 들면, 카메라(122)는 차량(1205) 전방 환경의 영상을 촬영할 수 있는 전방 카메라일 수 있다. 카메라(122)는 차량(1205)의 측방 또는 차량(1205)의 후방과 같은 다른 방향을 향할 수 있다. 프로세서(1715)는 적어도 하나의 주변환경 영상을 분석하여 주행에 대한 적어도 하나의 제약과 관련된 정보를 판단할 수 있다. 주행에 대한 제약은 장벽(예, 차선 분리벽), 물체(예, 보행자, 가로등 기둥, 신호등 기둥), 차선 표시(예, 황색 실선), 표지판(예, 교통표지판, 방향표지판, 일반표지판), 다른 차량(예, 선두 차량, 후미 차량, 차량(1205)과 나란히 운행하는 차량) 중의 적어도 하나를 포함할 수 있다.
프로세서(1715)는 또한 서버(1205)로 전송할 목표 궤적을 판단할 수 있다. 목표 궤적은 센서 출력에 근거하여 프로세서(1715)에 의해 판단된 실제 궤적과 동일할 수 있다. 일부 실시예에서, 목표 궤적은 센서 출력에 근거하여 프로세서(1715)에 의해 판단된 실제 궤적과 다를 수 있다. 목표 궤적은 주행에 대한 적어도 하나의 제약과 관련하여 판단된 정보에 근거한 실제 궤적의 하나 이상의 수정을 포함할 수 있다.
예를 들면, 카메라(122)가 촬영한 주변환경 영상은 차량(1205)의 100미터 전방에서 차선을 변경(예, 전방의 사고로 인하여 차선을 임시로 변경)하는 차선 변경 장벽과 같은 장벽을 포함할 수 있다. 프로세서(1715)는 영상에서 임시 차선 변경 장벽을 감지하고, 임시 차선 변경에 따라 도로 모델 또는 약도(sparse map)에 저장된 목표 궤적에 상응하는 차선과 다른 차선으로 이동할 수 있다. 차량의 실제 궤적은 이러한 차선의 변경을 반영할 수 있다. 그러나 차선 변경은 임시적이고 차후 10미터, 15미터 또는 30미터 후에 끝날 수 있다. 따라서 차량(1205)은 차량(1205)이 운행한 실제 궤적을 수정(예, 차로의 변경)하여, 목표 궤적이 차량(1205)이 운행한 실제 궤적과 달라야 한다는 것을 반영할 수 있다. 예를 들어, 시스템은 운행한 경로가 도로 구간의 바람직한 궤적과 다르다는 것을 인지할 수 있다. 따라서, 시스템은 궤적 정보를 서버로 업로드하기 전에 재구성 궤적을 조정할 수 있다. 다른 실시예에서, 실제 재구성 궤적 정보가 업로드 될 수 있고, 하나 이상의 추천 궤적 정제(예, 재구성 궤적의 적어도 일부에 적용될 평행이동의 크기 및 방향)도 업로드 될 수 있다. 일부 실시예에서, 프로세서(1715)는 수정된 실제 궤적을 서버(1230)로 전송할 수 있다. 서버(1230)는 수신한 정보에 근거하여 목표 궤적을 생성 또는 업데이트할 수 있고, 동일 도로 구간을 차후에 운행할 다른 자율주행차에 목표 궤적을 전송할 수 있다.
다른 예에서, 주변환경 영상은 도로 구간(1200)에 돌발적으로 나타나는 보행자와 같은 물체를 포함할 수 있다. 프로세서(1715)는 보행자를 감지하고, 차량(1205)은 보행자와의 충돌을 피하기 위해 차선을 변경할 수 있다. 감지된 데이터에 근거하여 차량(1205)이 재구성한 실제 궤적은 이러한 차선의 변경을 포함할 수 있다. 그러나 보행자는 도로 구간에서 바로 벗어날 수 있다. 따라서, 보행자의 등장은 목표 궤적 판단에 포함되지 말아야 할 임시 상황이므로, 차량(1205)은 실제 궤적을 수정(또는 추천 수정을 판단)하여 목표 궤적이 운행한 실제 궤적과 달라야 한다는 것을 반영할 수 있다. 일부 실시예에서, 실제 궤적이 수정될 경우, 차량은 미리 설정된 궤적으로부터의 임시 편차를 나타내는 데이터를 서버로 전송할 수 있다. 데이터는 편차의 원인을 나타내거나, 서버가 데이터를 분석하여 편차의 원인을 판단할 수 있다. 편차의 원인을 아는 것은 도움이 될 수 있다. 예를 들어, 편차의 원인이 운전자가 최근에 발생한 사고를 인지하고 그에 대한 대응으로 충돌을 피하기 위해 조향을 한 경우, 서버는 편차의 원인에 근거하여 모델에 대해 과하지 않은 조정을 계획하거나 도로 구간에 관한 특정 궤적을 계획할 수 있다. 다른 예에서, 편차의 원인이 도로를 횡단하는 보행자일 경우, 서버는 차후에 궤적을 변경할 필요가 없다는 판단을 내릴 수 있다.
다른 실시예에서, 주변환경 영상은 차량(1205)이(운전자의 제어 하일 수 있음) 차선을 살짝 이탈했다는 것을 나타내는 차선 표시를 포함할 수 있다. 프로세서(1715)는 촬영된 영상에서 차선 표시를 감지하고 차량(1205)의 실제 궤적을 수정하여 차선 이탈을 확인할 수 있다. 예를 들어, 재구성 궤적에 평행이동을 적용하여 궤적이 관찰된 차선의 중앙에 들어오도록 할 수 있다.
도 20은 메모리(2000)의 일례를 예시한 것이다. 메모리(2000)는 프로세서에 의해 실행되면 프로세서가 기재된 방법을 수행하도록 할 수 있는 다양한 모듈을 포함할 수 있다. 예를 들어, 메모리(2000)는 실제 궤적 판단 모듈(2005)을 포함할 수 있다. 실제 궤적 판단 모듈(2005)은 프로세서(예, 1715 또는 기타 프로세서)에 의해 실행되면 프로세서가 차량에 포함된 하나 이상의 센서로부터 출력 또는 수신된 데이터에 근거하여 차량의 실제 궤적을 판단하도록 할 수 있다. 예를 들면, 프로세서는 가속도계(1725), 카메라(122), 및/또는 속력 센서(1720)의 하나 또는 그 이상으로부터 수신한 신호에 근거하여 실제 궤적을 재구성할 수 있다. 일부 실시예에서, 프로세서는 차량의 움직임을 가리키는 센서로부터 수신된 출력에 근거하여 실제 궤적을 판단할 수 있다.
메모리(2000)는 또한 목표 궤적 판단 모듈(2010)을 포함할 수 있다. 목표 궤적 판단 모듈(2010)은 프로세서에 의해 실행되면 프로세서가 실제 궤적에 근거하여 목표 궤적을 판단하도록 할 수 있다. 예를 들면, 센서에서 수신된 데이터에 근거하여, 프로세서는 실제 궤적에 하나 이상의 수정이 필요하다고 판단할 수 있다. 수정된 실제 궤적은 서버(예, 1230)로 전송될 목표 궤적으로 사용될 수 있다. 목표 궤적은 다른 자율주행차가 추후에 동일 도로 구간을 운행할 때 실제 궤적보다 더 나은 궤적을 나타낼 수 있다. 일부 실시예에서, 프로세서는 실제 궤적 및 주행 제약에 관한 정보에 근거한 하나 이상의 수정을 포함하는 목표 궤적을 판단할 수 있다.
메모리(2000)는 또한 영상 분석 모듈(2015)을 포함할 수 있다. 영상 분석 모듈(2015)은 프로세서에 의해 실행되면 프로세서가 카메라(예, 122)가 촬영한 하나 이상의 영상을 다양한 영상 분석 알고리즘을 사용하여 분석하도록 할 수 있다. 예를 들면, 프로세서는 주변환경의 영상을 분석하여 랜드마크, 적어도 하나의 주행 제약을 식별하고 차량으로부터 랜드마크 등까지의 거리를 계산할 수 있다.
도 21은 본 추천 궤적을 서버에 업로드하는 프로세스의 일례를 예시한 순서도이다. 프로세서(2100)는 자율주행차(1205)의 주행 시스템(1700)에 포함된 프로세서(1715)와 같은 차량의 주행 시스템에 포함된 프로세서에 의해 수행될 수 있다. 프로세스(2100)는 차량의 움직임을 나타내는 출력을 하나 이상의 센서로부터 수신하는 단계(2105)를 포함할 수 있다. 예를 들면, 프로세서(1715)는 차량(1205)의 3차원 평행이동 및/또는 3차원 회전 움직임을 나타내는 가속도계(1725)와 같은 관성 센서로부터 출력을 수신할 수 있다. 프로세스(2100)는 하나 이상의 센서로부터 수신한 출력에 근거하여 차량의 실제 궤적을 판단하는 단계(2110)를 포함할 수 있다. 예를 들면, 프로세스(2100)는 카메라(122)로부터 수신한 영상, 속력 센서(1720)로부터 수신한 속력, GPS부(1710)로부터 수신한 위치 정보, 가속도계(1725)로부터 수신한 모션 데이터를 분석하여 실제 궤적을 판단할 수 있다. 프로세스(2100)는 차량에 관한 적어도 하나의 주변환경 영상을 카메라로부터 수신하는 단계(2115)를 포함할 수 있다. 예를 들면, 프로세서(1715)는 차량(1205)과 관련된 적어도 하나의 주변환경 영상을 카메라(122)로부터 수신할 수 있다. 카메라(122)는 차량(1205) 전방의 주변환경 영상을 촬영하는 전방 카메라일 수 있다. 프로세스(2100)는 적어도 하나의 주변환경 영상을 분석하여 적어도 하나의 주행 제약에 관한 정보를 판단하는 단계(2120)를 포함할 수 있다. 예를 들어, 프로세서(1715)는 카메라(122)로부터 수신한 주변환경 영상을 분석하여 영상 내에서 장벽, 물체, 차선 표시, 표지판, 다른 차량 중의 적어도 하나를 감지할 수 있다. 프로세스(2100)는 또한 실제 궤적과 주행 제약에 관해 판단된 정보에 근거한 실제 궤적의 하나 이상의 수정을 포함하는 목표 궤적을 판단하는 단계(2125)를 포함할 수 있다. 예를 들면, 주변환경 영상에서 감지된 장벽, 물체, 차선 표시, 표지판, 다른 차량 중의 적어도 하나에 근거하여, 프로세서(1715)는 실제 궤적을, 예를 들어, 차량(1205)이 운행중인 차선 또는 도로 이외의 차선 또는 도로를 포함하도록, 수정할 수 있다. 수정된 실제 궤적은 목표 궤적으로 사용될 수 있다. 목표 궤적은 차량(1205)이 운행중인 실제 궤적보다 더 안전하고 더 나은 궤적을 반영할 수 있다. 프로세스(2100)는 또한 목표 궤적을 서버로 전송하는 단계(2130)를 포함할 수 있다. 예를 들면, 프로세서(1715)는 목표 궤적을 차량(1205)으로부터 서버(1230)로 전송할 수 있다. 서버(1230)는 차량(1205)으로부터 수신한 목표 궤적을 다른 차량(자율주행차 또는 사람이 작동하는 기존의 차량)으로 전송할 수 있다. 다른 차량은 목표 궤적에 따라 차선 또는 경로를 변경할 수 있다. 일부 실시예에서, 프로세스(2100)는 서버가 제안하는 궤적 수정을 무시하는 단계를 포함할 수 있다. 예를 들면, 차량이 차선 분리 지점에 접근하고, 서버가 현재 차선을 임시로 폐쇄된 차선 또는 다른 차량들을 위해 지정된 차선으로 변경하기로 판단한 경우, 프로세서(1715)는 임시 폐쇄의 감지(예, 차량에 탑재된 카메라가 촬영한 영상으로부터 감지)에 근거하여 이러한 서버의 판단을 무시할 수 있다.
프로세스(2100)는 기타 동작 또는 단계를 포함할 수 있다. 예를 들어, 프로세서(1715)는 서버(1230)로부터 목표 궤적을 수신할 수 있다. 목표 궤적은 차량(1205)보다 앞서 동일 도로 구간을 운행하는 다른 차량들로부터 서버(1230)로 전송될 수 있다. 프로세서(1715)는 주행 시스템(1700)에 제공된 자율주행차 도로주행 모델을 서버(1230)로부터 수신한 목표 궤적을 사용하여 업데이트 하고 차량(1205)이 차선 변경과 같은 주행 동작을 수행하도록 할 수 있다.
랜드마크 식별
기재된 실시예에 따른 시스템은 자율주행차 도로주행 모델에 사용하기 위하여 랜드마크를 식별할 수 있다. 이러한 식별은 랜드마크의 유형, 물리적 크기, 위치 등의 성질에 대한 판단을 포함할 수 있다.
도 22는 자율 주행에 사용되는 랜드마크 식별 시스템을 포함하는 주변환경의 일례를 예시한 것이다. 본 예시에서, 도 22에는 도로 구간(2200)이 도시되어 있다. 차량(2201, 2202)은 도로 구간(2200)을 따라 운행 중일 수 있다. 도로 구간(2200)을 따라, 랜드마크로 식별될 수 있는 하나 이상의 표지판 또는 물체(예, 2205, 2206)가 있을 수 있다. 랜드마크는 자율주행차 도로주행 모델 또는 약도(sparse map)(예, 800)에 저장될 수 있다. 랜드마크의 실제 영상은 이 모델 또는 약도(sparse map)에 저장될 필요가 없다. 오히려, 앞서 설명한 바와 같이, 랜드마크의 유형, 위치, 물리적 크기를 나타내는 적은 양의 데이터 및, 일부의 경우에 한하여, 응축 영상 특징이 이 모델 또는 약도(sparse map)에 저장되어, 모델 또는 약도(sparse map)의 저장 및/또는 약도(sparse map)의 일부 또는 전부를 자율주행차로 전송하는데 필요한 저장 공간을 줄일 수 있다. 뿐만 아니라, 도로 구간에 등장하는 모든 랜드마크가 저장되는 것이 아니다. 모델 또는 약도(sparse map)는 인지된 랜드마크를 도로 구간을 따라 적어도 50미터, 100미터, 500미터, 1킬로미터, 2킬로미터 등의 간격을 두고 희소 기록할 수 있다. 랜드마크를 희소 기록하면 랜드마크에 관한 데이터를 저장하기 위해 필요한 저장 공간을 줄일 수 있다. 모델 및/또는 약도(sparse map)에 저장된 랜드마크는 도로 구간(2200)의 자율 주행에 사용될 수 있다. 예를 들어, 약도(sparse map, 800)에 포함된 인지된 랜드마크는 차량(2201, 2202)의 위치 인식(예, 모델 또는 약도(sparse map)에 저장된 목표 궤적 상의 차량(2201, 2202)의 위치 판단)에 사용될 수 있다.
차량(2201, 2202)은 자율주행차일 수 있고, 다른 실시예에 기재된 차량과 유사할 수 있다. 예를 들면, 차량(2201, 2202)은 차량(200)에 포함된 적어도 하나의 이미지캡처장치(예, 122)와 같은 요소 또는 장치를 포함할 수 있다. 차량(2201, 2202)은 각각 프로세서(180, 190) 또는 처리부(110)와 같은 적어도 하나의 프로세서(2210)를 포함할 수 있다. 차량(2201, 2202)은 각각 하나 이상의 네트워크(예, 이동통신망 및/또는 인터넷 등)를 통하여 서버(2230)와 통신하는 통신부(2215)를 포함할 수 있다.
서버(2230)는 하드웨어 요소(예, 회로, 스위치, 네트워크 카드)와 소프트웨어 요소(예, 통신 프로토콜, 컴퓨터 가독 지시 또는 코드)를 모두 포함할 수 있다. 예를 들면, 서버(2230)는 차량(2201, 2202)의 통신부(2215)와 통신하도록 구성된 통신부(2231)를 포함할 수 있다. 서버(2230)는 자율주행차 도로주행 모델, 약도(sparse map)(예, 800), 및/또는 차량(2201, 2202)으로부터 수신된 주행 정보와 같은 데이터를 처리하도록 구성된 적어도 하나의 프로세서(2232)를 포함할 수 있다. 주행 정보는 차량(2201, 2202)으로부터 수신된 랜드마크의 영상, 랜드마크 식별자, GPS 신호, 자체 움직임 데이터, 속력, 가속도, 도로 기하(예, 도로 구간(2230)의 도로 프로필, 차선 구조, 높낮이) 등과 같은 정보를 포함할 수 있다. 서버(2230)는 하드 드라이브, CD, 메모리, 또는 기타 비일시적 컴퓨터 가독 매체일 수 있는 저장 장치(2233)를 포함할 수 있다.
차량(2201, 2202)은 도로 구간(2200)을 운행하면서 카메라(122)를 통하여 차량의 주변환경의 적어도 하나의 영상을 촬영할 수 있다. 주변환경의 영상은 표지판 또는 랜드마크(2205, 2206)를 포함할 수 있다. 일부 실시예에서, 랜드마크(2205, 2206)에 관한 적어도 하나의 식별자가 카메라(122)에 의해 촬영되고 서버(2230)로 전송된 랜드마크(2205, 2206)의 영상에 근거하여 서버(2230)에 의해 판단될 수 있다.
예를 들면, 호스트 차량(예, 카메라(122)가 탑재된 차량(2201))에 설치된 카메라(122)는 차량(2201)의 주변환경(예, 차량(2201)의 전방)을 나타내는 적어도 하나의 영상을 획득할 수 있다. 차량(2201)에 포함된 프로세서(2215)는 적어도 하나의 영상을 분석하여 호스트 차량 주변환경의 랜드마크(예, 2206)를 식별할 수 있다. 프로세서(2215)는 또한 적어도 하나의 영상을 분석하여 랜드마크와 연관된 적어도 하나의 식별자를 판단할 수 있다.
일부 실시예에서, 프로세서(2215)는 차후에 적어도 하나의 식별자를 서버(2230)로 전송할 수 있다. 서버(2230)는 랜드마크와 연관된 적어도 하나의 식별자를 수신할 수(예, 프로세서(2232) 및 통신부(2231)를 통하여) 있다. 프로세서(2232)는 랜드마크를 상응하는 도로 구간(2200)과 연계할 수 있다. 프로세서(2232)는 상응하는 도로 구간(2200)과 관련된 자율주행차 도로주행 모델이 랜드마크와 연계된 적어도 하나의 식별자를 포함하도록 업데이트 할 수 있다. 프로세서(2232)는 업데이트된 자율주행차 도로주행 모델을 차량(2201, 2202)과 같은 복수의 자율주행차 및 추후에 도로 구간(2200)을 주행하는 다른 차량에 배포할 수 있다.
랜드마크(예, 2205, 2206)와 연계된 적어도 하나의 식별자는 랜드마크의 위치를 포함할 수 있다. 위치는 차량(2201, 2202)에 설치된 각종 센서 및 장치에 의헤 제공된 신호(예, GPS 신호, 차량 모션 신호)에 근거하여 판단될 수 있다. 식별자는 랜드마크의 형상을 포함할 수 있다. 예를 들면, 식별자는 랜드마크(2205)의 직사각형 형상 또는 랜드마크(2206)의 삼각형 형상을 나타내는 데이터를 포함할 수 있다. 식별자는 랜드마크의 크기를 포함할 수 있다. 예를 들면, 식별자는 직사각형 표지판(2205) 및/또는 삼각형 표지판(2206)의 폭 및/또는 높이를 나타내는 데이터를 포함할 수 있다. 식별자는 다른 랜드마크에 대한 랜드마크의 거리를 포함할 수 있다. 예를 들면, 랜드마크(2206)와 연계된 식별자는 랜드마크(2206)로부터 랜드마크(2205) 까지의 거리(d)를 포함할 수 있다. 거리(d)는 랜드마크(2205)와 랜드마크(2206) 간의 도로 구간(2200) 방향 거리로 도시되어 있다. 도로 구간(2200)을 가로지르는 랜드마크(2205)와 랜드마크(2206) 간의 직접 거리와 같은 기타 거리도 사용될 수 있다. 일부 실시예에서, 거리는 인지된 랜드마크(예, 2206)에서 이전에 인지된 랜드마크(예, 도로 구간(2200)를 따라 적어도 50미터, 100미터, 500미터, 1킬로미터, 2킬로미터 이전에 인지된 랜드마크)까지의 거리를 의미할 수도 있다.
일부 실시예에서, 식별자는 복수의 랜드마크 유형의 하나로 식별되는 랜드마크에 근거하여 판단될 수 있다. 즉, 식별자는 랜드마크의 유형일 수 있다. 랜드마크 유형은 교통표지판(예, 속도제한표지판), 기둥(예, 가로등), 방향 지시자(예, 화살표로 방향을 표시한 고속도로 출구 표지판), 상업용 표지판(예, 간판(2205)과 같은 직사각형 표지판), 반사경(예, 안전 목적으로 커브길에 설치한 반사 거울), 거리 표시 등을 포함한다. 각 유형은 작은 데이터 저장 공간(예, 4바이트, 8바이트 등)을 요구하는 고유의 태그(예, 수치, 텍스트값 등)와 연계될 수 있다. 랜드마크가 저장된 특정 유형으로 인지되는 경우, 랜드마크의 유형에 상응하는 태그가 랜드마크의 다른 특징들(예, 크기, 형상, 위치 등)과 함께 저장될 수 있다.
랜드마크는 두 가지 범주로 분류될 수 있는데, 하나는 주행과 직접 연관이 있는 랜드마크이고 다른 하나는 주행과 직접 연관이 없는 랜드마크이다. 주행과 직접 연관이 있는 랜드마크는 교통표지판, 도로상의 화살표, 차선 표시, 신호등, 정지선 등을 포함할 수 있다. 이러한 랜드마크에는 표준 형식이 있을 수 있다. 주행과 직접 연관이 있는 랜드마크는 자율주행차에 의해 특정 유형으로 용이하게 인지될 수 있다. 따라서, 이러한 랜드마크의 유형에 상응하는 태그는 작은 데이터 저장 공간(예, 1바이트, 2바이트, 4바이트, 8바이트 등)을 사용하여 저장될 수 있다. 예를 들어, "55"라는 수치를 가진 태그는 일시정지표지판과 연계될 수 있고, "100"은 속도제한, "108"은 신호등과 연계될 수 있다.
주행과 직접 연관이 없는 랜드마크는, 예를 들어, 가로등, 방향표지판, 상업용 표지판, 또는 광고판을 포함할 수 있다. 이러한 랜드마크에는 표준 형식이 없을 수 있다. 광고판이나 가로등과 같은, 주행과 직접 연관이 없는 랜드마크는 자율주행차가 용이하게 인지하지 못할 수 있다. 광고판과 같은 표지판은 일반표지판으로 지칭될 수 있다. 일반표지판은 응축 특징 표현(또는 응축 특징)을 사용하여 식별될 수 있다. 예를 들어, 일반표지판 랜드마크와 연계된 식별자는 랜드마크의 영상에서 도출된 응축 특징 표현을 포함할 수 있다. 일반표지판 랜드마크는 랜드마크의 실제 영상보다는 응축 특징을 나타내는 데이터를 사용하여 저장될 수 있다. 응축 특징은 작은 데이터 저장 공간을 필요로 한다. 일부 실시예에서, 응축 특징은 겨우 몇 바이트만의 저장 공간을 필요로 하는 하나 이상의 정수로 표현될 수 있다. 응축 특징 표현은 랜드마크의 영상으로부터 추출 또는 도출된 고유한 특징, 패턴, 또는 특성을 포함할 수 있다. 랜드마크의 응축 특징 표현은 랜드마크의 모양을 나타낼 수 있다.
랜드마크의 식별자는 자율주행차에 주행 안내를 제공하기 위해 사용되는 자율주행차 도로주행 모델 또는 약도(sparse map, 800) 내에 저장될 수 있다. 예를 들어, 도로 구간(2200)을 따라 다른 차량이 추후에 주행하는 경우, 인지된 랜드마크의 사전 판단 위치는 도로 구간의 목표 궤적에 대한 차량의 위치를 판단하는데 사용될 수 있다.
도 23은 자율 주행에 사용되는 랜드마크 식별 시스템을 포함하는 환경의 일례를 도시한 것이다. 자율주행차일 수 있는, 차량(2301, 2302)은 도로 구간(2200)을 운행할 수 있다. 차량(2301, 2302)은 다른 실시예에 기재된 차량(예, 200, 2201, 2202)과 유사할 수 있다. 차량(2301)은 카메라(122), 프로세서(2310), 및 통신부(2315)를 포함할 수 있다. 차량(2302)은 카메라(122), 프로세서(2311), 및 통신부(2315)를 포함할 수 있다. 본 실시예에서, 차량(2301, 2302) 중의 하나는 도 22에 도시된 실시예에서 서버(2230)에 의해 수행된 기능을 수행하는 허브 차량(예, 2301)의 기능을 할 수 있다. 예를 들면, 서버(2230)와 유사한 서버가 허브 차량(2301)에 설치되어 서버(2230)에 의해 수행된 기능과 유사한 기능을 수행할 수 있다. 다른 예에서, 차량(2301)에 제공된 프로세서(2310)가 서버(2230)의 모든 또는 일부 기능을 수행할 수 있다.
도 23에 도시된 바와 같이, 차량(2301, 2302)은 통신부(2315, 2316)를 비롯하여 통신 경로(2340)를 통하여 서로 통신할 수 있다. 도 23에 도시되어 있지는 않지만, 다른 자율주행차도 허브 차량(2301)과 통신할 수 있다. 차량(2302)(및 기타 차량)은 차량(2302)의 프로세서(2311)에 의해 확보 또는 처리된 랜드마크 데이터(예, 랜드마크(2206)의 영상)를 허브 차량(2301)의 프로세서(2310)로 전송할 수 있다. 차량(2302)은 또한 기타 주행 정보(예, 도로 기하)를 허브 차량(2302)에 전송할 수 있다. 일부 실시예에서, 허브 차량(2301)의 프로세서(2310)는 차량(2302)으로부터 수신한 랜드마크 데이터를 처리하여 차량(2302)이 감지한 랜드마크와 연계된 식별자를 판단할 수 있다. 일부 실시예에서, 차량(2302)의 프로세서(2311)는 영상을 처리하여 랜드마크와 연계된 식별자를 판단하고 식별자를 차량(2301)으로 전송할 수 있다. 허브 차량(2301)의 프로세서(2310)는 랜드마크를 도로 구간(2200)과 연계하고, 자율주행차 도로주행 모델 및/또는 약도(sparse map, 800)가 랜드마크(2206)와 연계된 식별자를 포함하도록 업데이트 할 수 있다. 허브 차량(2301)의 프로세서(2310)는 업데이트된 자율주행차 도로주행 모델 및/또는 약도(sparse map, 800)를 차량(2302) 또는 도록 구간(2200)을 운행하는 다른 자율주행차와 같은 복수의 자율주행차로 배포할 수 있다. 허브 차량과 관련하여 설명한 기능은 도로 시스템상에서 운행중인 차량에 대해 원격으로 위치한 하나 이상의 서버에 의해 수행될 수 있음은 당연하다. 예를 들어, 서버는 하나 이상의 중앙 시설에 위치하고 배치된 차량과 무선 통신 인터페이스를 통하여 통신할 수 있다.
도 24는 랜드마크의 응축 특징 표현을 판단하는 방법을 예시한 것이다. 응축 특징 표현(또는 응축 특징, 또는 특징)은, 일반표지판과 같은, 주행과 직접 관련이 없는 랜드마크에 대해 판단될 수 있다. 예를 들면, 응축 특징 표현은 표지판 또는 랜드마크(2205)와 같은 사각형 상업용 표지판(광고판)에 대해 판단될 수 있다. 일반표지판의 실제 영상이 아닌 응축 특징은 자율주행차 도로주행 모델 또는 약도(sparse map)에 저장되어 추후에 다른 차량에 의해 도출된 응축 특징과의 비교에 사용될 수 있다. 도 24에 도시된 실시예에서, 랜드마크(2205)의 영상은 32바이트(또는 16바이트, 64바이트 등의 기타 크기)와 같은 미리 설정된 데이터 크기의 수열로 매핑될 수 있다. 매핑은 화살표(2405)로 표시된 매핑 함수를 통하여 수행될 수 있다. 적절한 매핑 함수라면 어느 매핑 함수라도 사용될 수 있다. 일부 실시예에서, 신경망(neural network)을 사용하여 복수의 학습 영상에 근거한 매핑 함수를 학습할 수 있다. 도 24에는 -128부터 127 범위 내의 32개 숫자를 포함하는 예시 어레이(2410)가 도시되어 있다. 이 숫자 어레이(2410)는 랜드마크(2205)의 응축 특징 표현 또는 식별자의 예시일 수 있다.
도 25는 랜드마크의 응축 특징 표현을 판단하는 다른 방법을 예시한 것이다. 예를 들어, 색 패턴이 사각형 상업용 표지판(2205)과 같은 일반표지판의 영상으로부터 추출 또는 도출될 수 있다. 다른 예로서, 밝기 패턴이 일반표지판의 영상으로부터 추출 또는 도출될 수 있다. 응축 특징 표현은 색 패턴 및 밝기 패턴 중 적어도 하나를 포함할 수 있다. 일부 실시예에서, 도 25에 도시된 그리드와 같이, 랜드마크(2205)의 영상은 복수의 픽셀 구역으로 분할될 수 있다. 각 픽셀 구역은 색 패턴 또는 밝기 패턴이 산출되고 픽셀 구역과 연계되어 원, 별, 세모 중의 하나로 표현될 수 있다. 패턴(2500)은 색 패턴(이 경우, 원, 별, 및 세모는 색 값을 나타냄) 또는 밝기 패턴(이 경우, 원, 별, 및 세모는 밝기 값을 나타냄)을 나타내는 것일 수 있다. 패턴(2500)은 랜드마크(2205)의 응축 특징 표현으로 사용될 수 있다.
도 26은 자율 주행에 사용하기 위하여 랜드마크를 식별하는 하나 이상의 동작을 수행하기 위한 컴퓨터 코드 또는 지시를 저장하는 메모리의 구성도를 예시한 것이다. 도 26에 도시된 바와 같이, 메모리(2600)는 자율 주행에 사용하기 위하여 랜드마크를 식별하는 동작을 수행하기 위한 하나 이상의 모듈을 저장할 수 있다.
예를 들면, 메모리(2600)는 모델 업데이트 및 배포 모듈(2605) 및 랜드마크 식별자 판단 모듈(2610)을 포함할 수 있다. 일부 실시예에서, 모델 업데이트 및 배포 모듈(2605) 및 랜드마크 식별자 판단 모듈(2610)은 동일 메모리(2600)에 저장되거나 서로 다른 메모리에 저장될 수 있다. 프로세서는 이 모듈들을 실행하여 그 내부에 포함된 지시 또는 코드에 의해 정의된 다양한 기능을 수행할 수 있다. 예를 들어, 프로세서에 의해 실행될 때, 모델 업데이트 및 배포 모듈(2605)은 프로세서로 하여금 상응하는 도로 구간에 대한 자율주행차 도로주행 모델이 랜드마크와 관련된 적어도 하나의 식별자를 포함하도록 업데이트 할 수 있다. 모델 업데이트 및 배포 모듈(2605)은 또한 프로세서가 자율 주행을 제공하기 위한 업데이트된 자율주행차 도로주행 모델을 복수의 자율주행차로 배포하게 할 수 있다. 랜드마크 식별자 판단 모듈(2610)은, 프로세서에 의해 실행될 경우, 프로세서가 차량의 주변환경을 나타내는 적어도 하나의 영상을 분석하여 영상 내에서 랜드마크를 식별하게 할 수 있다. 랜드마크 식별자 판단 모듈(2610)은 또한 프로세서가 영상을 분석하여 랜드마크와 관련된 적어도 하나의 식별자를 판단하게 할 수 있다. 식별자는 모델 업데이트 및 배포 모듈(2605)의 자율주행차 도로주행 모델을 업데이트 하는데 사용될 수 있다.
일부 실시예에서, 랜드마크 식별자 판단 모듈(2610)은 미리 정해진 특정 감지 우선순위를 가지고 구성될 수 있다. 예를 들면, 랜드마크 식별자 판단 모듈(2610)은 프로세서가 우선 도로표지판을 검색하도록 하고, 이전 랜드마크로부터 특정 거리 이내에 도로표지판이 검색되지 않으면 다른 랜드마크를 사용할 수 있다.
또한, 랜드마크 식별자 판단 모듈(2610)은 하한 랜드마크 밀도/빈도와 상한 랜드마크 밀도/빈도를 포함하여 랜드마크 빈도(예, 미리 정해진 거리에 걸쳐 감지 또는 저장된 랜드마크)를 제한할 수 있다. 일부 실시예에서, 이러한 제한은 랜드마크는 충분히 있지만 너무 많은 랜드마크가 인지 또는 감지되고 저장되지 않도록 할 수 있다.
일부 실시예에서, 랜드마크 밀도/빈도는 저장 용량 또는 대역폭 크기와 관련될 수 있다. 도로표지판이 많아지면, 저장 공간 또는 대역폭이 더 많이 사용될 수 있다. 대안적으로 또는 추가적으로, 다른 설정이 다른 유형의 랜드마크와 연관될 수 있다. 예를 들어, 교통표지판은 높은 랜드마크 밀도/빈도와 연관되는 반면, 일반표지판은 낮은 랜드마크 밀도/빈도와 연관되어, 미리 정해진 거리 내에서 교통표지판이 일반표지판보다 많이 감지되고 저장되도록 할 수 있다.
일부 실시예에서, 메모리(2600)는 서버(2230)에, 예를 들어, 저장 장치(2233)의 일부로서 포함될 수 있다. 서버(2230)에 포함된 프로세서(2232)는 모델 업데이트 및 배포 모듈(2605)을 실행하여 자율주행차 도로주행 모델이 랜드마크와 연계된 적어도 하나의 식별자를 포함하도록 업데이트 하고 업데이트된 자율주행차 도로주행 모델을 복수의 자율주행차에 배포할 수 있다. 일부 실시예에서, 서버(2230)에 포함된 프로세서(2232)는 차량(예, 2201, 2202)으로부터 데이터(랜드마크의 영상, 주행 정보, 도로 정보 등)를 수신하고, 랜드마크 식별자 판단 모듈(2610)을 실행하여 수신한 데이터에 근거하여 랜드마크와 연계된 식별자를 판단할 수 있다.
일부 실시예에서, 메모리(2600)는 서버(2230)의 기능을 수행하는 허브 자율주행차에 제공되는 메모리일 수 있다. 예를 들면, 허브 차량이 차량(2201)인 경우, 프로세서(221)는 모델 업데이트 및 배포 모듈(2605)을 실행하여 자율주행차 도로주행 모델이 랜드마크와 연계된 식별자를 포함하도록 업데이트 할 수 있다. 프로세서(2210)는 또한, 업데이트된 모델을 도로 구간(2200)을 운행하는 복수의 다른 자율주행차로 배포할 수 있다. 일부 실시예에서, 허브 차량(2201)의 프로세서(2210)는 다른 자율주행차(예, 2202)로부터 데이터(예, 랜드마크의 영상, 주행 정보, 도로 정보 등)를 수신할 수 있다. 허브 차량(2201)의 프로세서(2210)는 랜드마크 식별자 판단 모듈(2610)을 실행하여 다른 자율주행차로부터 수신한 데이터에 근거하여 랜드마크의 식별자를 판단할 수 있다. 예를 들면, 허브 차량(2201)의 프로세서(2210)는 다른 차량의 주변환경 영상을 분석하여 랜드마크를 식별하고 이 랜드마크와 연관된 적어도 하나의 식별자를 판단할 수 있다. 식별자는 모델 업데이트 및 배포 모듈(2605)에 의해 사용되어 허브 차량(2201)에 의한 모델 업데이트에 사용될 수 있다.
일부 실시예에서, 모델 업데이트 및 배포 모듈(2605)과 랜드마크 식별자 판단 모듈(2610)은 서로 다른 메모리에 저장될 수 있다. 예를 들어, 모델 업데이트 및 배포 모듈(2605)은 서버(2230)에 포함된 메모리에 저장될 수 있고, 랜드마크 식별자 판단 모듈(2610)은 자율주행차에 제공된 메모리(예, 차량(2201, 2202, 2301, 2302)에 제공된 주행 시스템의 메모리)에 저장될 수 있다. 서버(2230)에 제공된 프로세서(예, 2232)는 모델 업데이트 및 배포 모듈(2605)을 실행하여 자율주행차 도로주행 모델을 업데이트하고 자율주행차로 배포할 수 있다. 자율주행차에 제공된 프로세서(예, 2210, 2310, 또는 2311)는 랜드마크 식별자 판단 모듈(2610)을 실행하여 랜드마크와 연관된 식별자를 판단할 수 있다.
도 27은 랜드마크의 식별자를 판단하는 프로세스(2700)의 일례를 예시한 순서도이다. 프로세스(2700)는 랜드마크 식별자 판단 모듈(2610)이 프로세서, 예를 들면 서버(2230)에 포함된 프로세서(2232) 또는 자율주행차에 제공된 프로세서(2210, 2310, 2311)에 의해 실행될 경우 수행될 수 있다. 프로세스(2700)는 호스트 차량의 주변환경의 적어도 하나의 영상을 획득하는 단계(2710)를 포함할 수 있다. 예를 들면, 호스트 차량(2202)에 제공된 카메라(122)가 차량(2202)을 에워싼 주변환경의 적어도 하나의 영상을 촬영할 수 있다. 차량(2202)에 제공된 프로세서(2210)는 카메라(122)로부터 영상을 수신할 수 있다. 프로세스(2700)는 또한 영상을 분석하여 랜드마크를 식별하는 단계(2720)를 포함할 수 있다. 예를 들어, 차량(2202)에 제공된 프로세서(2210)가 카메라(122)로부터 수신한 영상을 분석하여 차량(2202)을 둘러싼 주변환경에서 랜드마크를 식별할 수 있다. 프로세스(2700)는 또한 영상을 분석하여 랜드마크와 연관된 적어도 하나의 식별자를 판단하는 단계(2730)를 포함할 수 있다. 예를 들어, 차량(2202)에 제공된 프로세서(2210)가 카메라(122)로부터 수신한 영상을 분석하여 랜드마크와 연관된 적어도 하나의 식별자를 판단할 수 있다. 식별자는 앞서 설명한 바와 같이 후보 랜드마크와 연관된 관찰 가능한 특성을 포함할 수 있다. 예를 들면, 이러한 랜드마크의 관찰은 촬영된 영상의 분석에 근거한 시각적 인지 및/또는 하나 이상의 센서(예, 서스펜션 센서)에 의한 감지, 또는 기타 다른 관찰 수단에 의해 이루어질 수 있다.
프로세스(2700)는 기타 동작 또는 단계를 포함할 수 있다. 예를 들면, 주변환경 영상으로부터 랜드마크를 식별하는 단계에서, 프로세서(2210)가 미리 결정한 유형에 근거하여 랜드마크를 식별할 수 있다. 랜드마크와 연계된 식별자를 판단하는 단계에서, 프로세서(2210)는 차량(2202)이 수신한 GPS 신호 또는 위치 판단에 사용되는 기타 센서 신호에 근거하여 랜드마크의 위치를 판단할 수 있다. 프로세서(2210)는 랜드마크의 형상 및 크기 중 적어도 하나를 영상으로부터 판단할 수 있다. 프로세서(2210)는 또한 랜드마크에서 다른 랜드마크까지의 거리를 영상 내에서 또는 현실세계에서 판단할 수 있다. 프로세서(2210)는 랜드마크의 식별자의 일부로서 응축 특징 표현을 추출 또는 도출할 수 있다. 프로세서(2210)는 랜드마크의 영상을 미리 정한 데이터 크기(예, 32바이트, 64바이트 등)의 수열에 매핑하여 응축 특징 표현을 판단할 수 있다. 프로세서(2210)는 색 패턴 및 밝기 패턴 중 적어도 하나를 랜드마크의 응축 특징 패턴으로 판단할 수 있다.
도 28은 식별자에 근거하여 차량 도로 주행 모델을 업데이트하고 배포하는 프로세스의 일례를 예시한 순서도이다. 프로세스(2800)는 모델 업데이트 및 배포 모듈(2602)이 서버(2230)에 포함된 프로세서(2232) 또는 자율주행차에 포함된 프로세서(2210, 2310, 2311)와 같은 프로세서에 의해 실행될 경우 수행될 수 있다. 프로세스(2800)는 랜드마크와 연관된 식별자를 수신하는 단계(2810)를 포함할 수 있다. 예를 들면, 프로세서(2232)가 랜드마크와 연관된 적어도 하나의 식별자를 자율주행차(2201 또는 2202)로부터 수신할 수 있다. 프로세스(2800)는 랜드마크를 상응하는 도로 구간과 연계시키는 단계(2820)를 포함할 수 있다. 예를 들면, 프로세서(2232)가 랜드마크(2206)를 도로 구간(2200)과 연계시킬 수 있다. 프로세스(2800)는 자율주행차 도로주행 모델이 랜드마크와 연계된 식별자를 포함하도록 업데이트하는 단계(2830)를 포함할 수 있다. 예를 들면, 프로세서(2232)는 랜드마크(2205)와 연계된 식별자(위치 정보, 크기, 형상, 패턴 등을 포함하는 식별자)가 자율주행차 도로주행 모델에 포함되도록 자율주행차 도로주행 모델을 업데이트할 수 있다. 일부 실시예에서, 프로세서(2232)는 또한 랜드마크(2205)와 연계된 식별자를 포함하도록 약도(sparse map, 800)를 업데이트할 수 있다. 프로세스(2800)는 업데이트된 모델을 복수의 자율주행차로 배포하는 단계(2840)를 포함할 수 있다. 예를 들면, 프로세서(2232)가 업데이트된 모델을 자율주행차(2201, 2202) 및 추후에 도로 구간을 주행하는 기타 차량에 배포할 수 있다. 업데이트된 자율주행차 도로주행 모델은 업데이트된 주행 안내를 자율주행차에 제공할 수 있다.
프로세스(2800)는 기타 동작 또는 단계를 포함할 수 있다. 예를 들면, 서버(2230)에 포함된 프로세서(2232)는 랜드마크와 연계된 식별자를 판단하는 프로세스(2700)의 일부 또는 전부를 수행할 수 있다. 프로세서(2232)는 랜드마크와 관련된 데이터(예, 주변환경의 영상을 포함하는 데이터)를 차량(2201, 2202)으로부터 수신할 수 있다. 프로세서(2232)는 데이터(예, 영상)를 분석하여 영상 내에서 랜드마크를 식별하고 영상과 관련된 식별자를 판단할 수 있다.
기재된 시스템과 방법은 기타 특징을 포함할 수 있다. 예를 들면, 일부 실시예에서, 도로 구간 상의 차량 위치는 두 랜드마크 사이의 차량 속도를 통합함으로써 차량에 포함된 프로세서 또는 원격 서버에 의해 판단될 수 있다. 따라서, 랜드마크는 1차원(1D) 위치 인식 닻(localization anchor) 역할을 할 수 있다. 자율주행차 도로주행 모델에서, 랜드마크의 위치는 여러 운행을 한 다수의 차량의 위치에 근거하여, 예를 들면, 이러한 위치의 평균값을 구함으로써, 산출될 수 있다.
일반표지판과 같은 특정 랜드마크에 대하여, 기재된 시스템은 랜드마크의 실제 영상보다는 영상 특징(예, 응축 특징)을 저장할 수 있다. 일부 유형의 랜드마크는 비교적 높은 정확도로 감지될 수 있으며, 따라서 용이하게 위치 인식(예, 차량 위치의 판단)을 위해 사용될 수 있다. 예를 들어, "80"이라는 숫자가 적혀있는 원형 속도제한표지판과 같은 교통과 직접 연관이 있는 표지판은 용이하게 특정 유형으로 구분되고 감지될 수 있다. 반면, 운전자를 가까운 식당으로 안내하는 비콘 표지판(예, 직사각형 광고표지판)은 감지 오류 없이 발견하기가 어려울 수 있다. 이는 다양한 부류의 물체에 대한 모델을 학습하기 힘들기 때문이다(즉, 광고표지판이 주지의 부류 또는 유형에 해당하지 않을 수 있음). 쉽게 감지할 수 있는 다른 표지판이 없는 경우, 비록 감지 오류의 위험 부담이 있긴 하지만, 일반표지판도 랜드마크로 사용될 수 있다.
해석이 쉽지 않은 랜드마크에 대해서, 기재된 시스템은 형상 특징(또는 응축 특징, 또는 특징)을 랜드마크와 연계시킬 수 있다. 이 특징은 랜드마크의 위치 정보와 함께 모델(예, 도로 모델 또는 자율주행차 도로주행 모델)에 저장될 수 있다. 차량이 이런 물체를 감지하고 저장된 모델에 일치시키는 경우, 기재된 시스템은 랜드마크의 특징을 일치시킬 수 있다. 특징은 부류 정보(예, 식별된 물체가 표지판인지 나타내는 부류 정보)를 인코딩 하지 않지만, "동일 여부" 정보(예, 식별된 물체가 이전에 식별된 물체와 동일한지 여부 또는 모델에 저장된 물체와 동일한지 여부를 나타내는 정보)를 인코딩 할 수 있다.
시스템(예, 원격 서버, 또는 차량에 제공된 프로세서)는 이전 예로부터 영상 특징을 학습할 수 있다. 한 쌍의 영상은 동일한 특정 물체(특정 위치의 특정 랜드마크)에 속할 경우에만 "동일"("same")이라는 태그가 달릴 수 있다. 일부 실시예에서, 기재된 시스템은 샴 신경망(Siamese neural network)과 같은 신경망을 사용하여 특징을 학습할 수 있다. 랜드마크의 특징에 필요한 저장 공간은 10바이트, 20바이트, 32바이트, 50바이트, 100바이트 등과 같이 작을 수 있다.
랜드마크는 도로를 따라 차량의 종방향 위치 인식에 사용될 수 있다. 랜드마크(예, 제1 랜드마크 및 도로를 따라 특정 거리로 제1 랜드마크로부터 떨어진 제2 랜드마크) 사이의 상대적 거리가 충분한 정확도로 추정되고, 차량이 한 랜드마크를 통과하면, 차량은 식별자 위치 추정을 "재설정"하고 자체 속력의 통합으로 인한 오차를 상쇄할 수 있다.
시스템은 휠센서(wheels sensor: 예, 속력 센서) 또는 GNSS 시스템으로부터 자체 속력을 사용할 수 있다. 휠센서의 경우, 시스템은 차량마다 교정 계수(calibration factor)를 학습하여 차량간 가변성을 상쇄할 수 있다.
카메라의 위치를 인식하기 위하여, 기재된 시스템은 시각적 랜드마크를 식별할 수 있다. 반복적으로 식별되는 현저한 특징을 가진 물체는 시각적 랜드마크의 역할을 할 수 있다. 도로 상황에서, 특히 도로변 표지판과 교통표지판이 흔히 랜드마크 역할을 할 수 있다. 교통표지판은 일반적으로 유형과 연계되어 있다. 예를 들어, "양보" 표지판은 한 국가에서 완전히 또는 거의 같은 형상이다. 기재된 시스템이 유형을 가진 교통표지판(유형 교통표지판)을 식별하는 경우, 시스템은 지도에서 이 유형을 검색하고, 일치를 발견하면 카메라 위치를 인식할 수 있다.
그러나 일부 교통표지판은 동일한 형상이 아니다. 이러한 흔한 예가 운전자에게 어느 차선이 어느 방향으로 진행하는지를 지시하는 "방향" 표지판이다. 식당이나 광고 등을 위한 표지판과 같은 더욱 일반적인 기타 표지판도 사용될 수 있다. 표준 교통표지판은 수십 내지 수백 개의 표지판을 인지하도록 설계된 교통표지판 인지 알고리즘을 사용하여 감지될 수 있다. 이러한 표준 표지판은 식별을 위한 1바이트와 위치 인식(예, 표지판 위치)을 위한 몇 바이트를 사용하여 지도에 저장될 수 있다.
일반 표지판을 저장하는 한 가지 방법은 지도 데이터베이스에 표지판의 영상을 저장하고 이 영상을 검색하는 것이다. 그러나 이 방법은 많은 메모리 흔적을 필요로 한다. 유형 교통표지판에 1자리 정수(예, 4바이트)가 필요할 수 있는 반면, 비유형 교통표지판의 영상 패치에는 32 x 32 픽셀의 저해상도 영상을 저장해도 256바이트 또는 그 이상이 필요할 수 있다. 기재된 시스템과 방법이 제공하는 솔루션은 표지판의 영상 패치를 32바이트(또는 50바이트 등의 다른 바이트)의 고유 수열에 매핑하는 특징 기능을 사용한다. 개념상으로, 이 기능의 출력은 표지판의 영상 패치의 특징이다. 이 특징 기능을 사용하여, 시스템은 표지판을 32바이트(또는 8자리 정수)의 수열일 수 있는 "특징"으로 변환할 수 있다. 이 특징을 사용하여, 시스템은 지도에서 유사한 특징을 가진 표지판의 위치를 검색하거나, 반대로, 영상에서 특징(지도에 의하면, 영상의 영역에서 보임)을 검색할 수 있다.
특징 기능은 유사한 영상 패치에 유사한 특징을 부여하고 상이한 영상 패치에 상이한 특징을 부여하도록 설계될 수 있다. 시스템은 심층 신경망을 사용하여 특징 기능뿐만 아니라 두 특징 사이의 거리 기능도 모두 학습할 수 있다. 신경망에서는 영상 내 표지판의 실제 크기를 알 수 없다. 표지판의 후보가 될 수 있는 다양한 크기의 직사각형이 영상 내에서 감지된다. 각각의 직사각형은 균일 크기, 예를 들어, 32 x 32 픽셀(다른 크기도 가능)로 축척 될 수 있다. 신경망의 학습을 위하여, 동일 표지판의 유사 영상에 "동일"("same")이라는 태그가 붙고, 반면, 동일한 지리적 장소 내에서 촬영된 상이한 특징의 영상에는 "상이"("different")라는 태그가 붙는다. 영상 패치는 모두 균일 크기로 축척 되어 있다. 시스템은 32 x 32 픽셀의 영상 패치를 수신하고 바이너리 비트를 출력하는 샴 신경망을 사용할 수 있다. 바이너리 비트의 0은 영상 패치가 동일하지 않다는 것을 의미하고, 1은 영상 패치가 동일하다는 것을 의미한다. 예를 들어, 도 24에 도시된 예에서, 랜드마크(2205)의 특징(2410)이 지도에 저장될 수 있다. 도 24에 도시된 바와 같이, 이 특징은 정수의 수열(제1 수열)을 포함한다. 차량이 표지판(2205)과 동일한 장소에서 표지판을 통과하는 경우, 차량은 표지판의 영상을 확보하고 매핑 함수를 사용하여 제2 수열을 도출할 수 있다. 예를 들어, 제2 수열은 [44, 4, -2, -34, -58, 5, -17, -106, 26, -23, -8, -4, 7, 57, -16, -9, -11, 1, -26, 34, 18, -21, -19, -52, 17, -6, 4, 33, -6, 9, -7, -6]을 포함할 수 있다. 시스템은 신경망을 사용하여 제2 수열을 제1 수열과 비교하여 비교 점수를 산출할 수 있다. 일부 실시예에서, 음수의 점수는 두 특징이 동일하지 않다는 것을 나타내고 양수의 점수는 두 특징이 동일함을 나타내는 것일 수 있다. 여기서, 시스템은 두 특징이 동일한 것으로 간주되기 위해서 두 특징이 완전히 동일할 것을 요구하지 않을 수 있다. 신경망은 저해상도 입력 영상의 처리가 가능하며, 이에 따라 낮은 계산 비용으로 높은 성능을 달성할 수 있다.
학습이 완료된 후에, 샴 신경망은 두 개의 네트워크로 분리될 수 있다. 하나는, 단일 패치를 수신하고 랜드마크 영상의 "특징"을 출력하는 부분인 특징 네트워크이고, 다른 하나는 두 개의 상이한 특징을 수신하고 스칼라(예, 점수)를 출력하는 부분인 동일 여부(same-not-same 또는 SNS) 네트워크이다.
랜드마크의 특징은 지도상의 랜드마크 장소에 첨부될 수 있다. 랜드마크에 대한 직사각형 후보가 관찰되는 경우, 샴 신경망을 사용하여 특징이 산출될 수 있다. 이후, 두 개의 특징, 즉, 지도상의 특징과 현재 랜드마크의 특징이 동일 여부 네트워크로 제공된다. 동일 여부 네트워크의 출력 점수가 음수인 경우, 촬영된 영상의 랜드마크가 지도에 저장된 랜드마크와 동일하지 않다는 것을 나타내는 것일 수 있다. 동일 여부 네트워크의 출력 점수가 양수인 경우, 촬영된 영상의 랜드마크가 지도에 저장된 랜드마크와 동일하다는 것을 나타내는 것일 수 있다.
특징은 작은 저장 공간을 필요로 할 수 있다. 예를 들어, 특징은 32바이트(10바이트, 20바이트, 50바이트 등의 다른 크기도 가능)를 사용할 수 있다. 이렇게 작은 크기의 특징으로 인해 낮은 대역폭 통신 채널 상의 전송이 가능할 수 있다.
특징은 다른 크기와 연계될 수 있다. 특징의 길이(즉, 크기)와 알고리즘의 판별 능력 사이에는 서로 장단점이 있을 수 있다. 크기가 작을수록 오차율은 커질 수 있는 반면, 크기가 큰 특징은 오차율이 작을 수 있다. 기재된 시스템은 동일한 지리적 장소에서 랜드마크 특징에 대한 판별 요구사항을 제한할 수 있기 때문에, 특징의 크기는 더욱 작을 수 있다.
다음은 차량에 포함된 자율주행 시스템에서 랜드마크를 사용하는 일례에 대한 설명이다. 차량에 제공된 카메라는 랜드마크 후보, 예를 들어, 직사각형 표지판을 감지할 수 있다. 프로세서(차량 또는 원격 서버에 제공된 프로세서)는 직사각형 표지판을 표준 크기(예, 32 x 32 픽셀)로 축척할 수 있다. 프로세서는 특징을 산출(예, 예시 데이터를 학습한 신경망과 같은 시스템을 사용)할 수 있다. 프로세서는 산출된 특징을 지도에 저장된 특징과 비교할 수 있다. 특징들이 일치하면, 프로세서는 지도에서 랜드마크의 크기를 획득할 수 있다. 프로세서는 또한 차량으로부터 랜드마크까지의 거리를 랜드마크 크기 및/또는 차량 움직임 데이터(예, 속력, 평행이동 및/또는 회전 데이터)에 근거하여 추정할 수 있다. 프로세서는 랜드마크로부터의 거리를 사용하여 도로 또는 경로(예, 지도에 저장된 목표 궤적) 상의 차량 위치를 인식할 수 있다.
기재된 시스템 및 방법은 가로등과 같은 전형적인 도로 구조물을 감지할 수 있다. 시스템은 가로등의 지역적 형상과 장면 내의 가로등 배치를 모두 고려할 수 있다. 즉, 가로등은 일반적으로 도로변에(또는 분리선 상에) 있고, 단일 영상에 다른 크기로 한 번 이상 등장하며, 고속도로상의 가로등은 국가 표준에 따른 고정 간격(예, 25미터 내지 50미터 간격)으로 배치된다. 기재된 시스템은 회선 신경망(convolutional neural network) 알고리즘을 사용하여 일정한 조각(예, 136 x 72 픽셀)을 영상에서 분류함으로써 거의 모든 노상 기둥(street pole)을 충분히 포착할 수 있다. 신경망은 아핀 계층(affine layer)을 전혀 포함하지 않고, 합성곱 계층(convolutional layer), 맥스 풀링 수직 계층(Max Pooling vertical layer), 및 ReLu 계층만으로 구성될 수 있다. 신경망의 출력 치수는 조각 폭의 3배일 수 있고, 이 3채널은 조각 내 각 열에 대해 3자유도를 가질 수 있다. 제1 자유도는 이 열에 노상 기둥이 있는지 여부를 나타내고, 제2 자유도는 이 기둥의 상단, 제3 자유도는 이 기둥의 하단을 나타낼 수 있다. 신경망의 출력 결과를 가지고, 시스템은 임계치 이상의 로컬 상한치, 및 기둥의 경계를 한정하는 완성된 직사각형을 취할 수 있다.
시스템은 초기 직사각형을 획득한 이후 2개의 정렬 신경망과 1개의 필터 신경망, 그리고 광류 및 칼만 필러를 포함하는 기둥을 추적할 알고리즘을 사용할 수 있다. 여러 번 감지되고 쉽게 추적된 기둥은 높은 신뢰도가 부여되었다.
본 기재는 도시 상황의 카메라(또는 차량) 위치 인식이라는 맥락 안에서 랜드마크 정의에 관한 사상을 제시한다. 교통표지판과 같은 일부 랜드마크는 매우 흔한 경향이 있으며, 이런 종류의 단일 랜드마크는 GPS 위치 인식이 좋지 않으면 고유하게 식별되지 않을 수 있다. 그러나 일반적인 랜드마크의 연속은 매우 독특할 수 있으며, "빌딩 숲" 안에서와 같이 GPS 신호가 약한 경우에서 위치 인식을 제공할 수 있다. 고층 건물이 많은 도시 지역에서는 위성 신호가 튕겨 나가서 GPS 신호가 약해진다. 반면에, 도시 지역에는 모든 종류와 유형의 랜드마크가 가득하다. 따라서, 카메라는 시각적 랜드마크를 사용하여 스스로 위치 인식을 할 수 있다. 그러나 특정 랜드마크는 경로 또는 궤적을 따라 반복적으로 보여서 지도상에서 확실한 위치 인식을 하기 어려울 수 있다. 예를 들어, "양보" 표지판은 도시라는 상황에서 흔한 표지판이다. 단순히 "양보" 표지판이 보인다고, 시스템이 이를 위치 인식에 사용하지 못할 수 있다. 이는 차량 주변에 "양보" 표지판이 많기 때문이고, 또한 이들 중 어느 표지판이 카메라에 보이는 표지판인지 시스템이 알지 못할 수 있기 때문이다.
기재된 시스템과 방법이 제시하는 몇 가지 솔루션은 다음과 같다. 첫째, 거의 모든 위치 인식 알고리즘이 랜드마크를 사용하지만, 기재된 시스템은 랜드마크의 위치 배치를 사용하여 위치상의 랜드마크(positional-landmark)를 생성할 수 있다. 예를 들면, 동일 영상에 등장하는 복수의 랜드마크 사이의 위치 관계가 차량에 의해 측정될 수 있다. 랜드마크들의 위치 관계의 구성이 위치상의 랜드마크로 간주될 수 있다. 시스템은 단순히 랜드마크를 인지하는 대신에 동일 영상 내에 등장하는 서로 다른 랜드마크들의 거리도 계산할 수 있다. 이러한 거리의 모음은 서로에 대한 랜드마크 위치의 특징을 생성할 수 있다. 예를 들어, 차량에 의해 감지된 연속된 랜드마크는, 제1과 제2 랜드마크 사이에는 11mm, 제2와 제3 랜드마크 사이에는 16mm, 제3과 제4 랜드마크 사이에는 28mm 떨어져 있을 수 있다. 일부 실시예에서, 현재 보이는 랜드마크들의 특정 위치 배치는 지도 내에서 독특할 수 있으며, 따라서 위치 인식의 목적으로 위치상의 랜드마크로서 사용될 수 있다. 위치상의 랜드마크는 고유한 것일 수 있으므로, 위치상의 랜드마크를 쉽게 지도상의 위치와 연계할 수 있다.
둘째, 랜드마크에 근거하여 고유한 랜드마크를 생성하는 다른 방법은 단일 랜드마크보다는 연속된 랜드마크를 사용하는 것이다. 예를 들면, 연속된 랜드마크는 일시정지표지판, 속도제한표지판, 양보표지판을 포함할 수 있다. 양보표지판은 많고 따라서 위치 인식을 위한 가치가 별로 없을 수 있지만, 여러 개의 랜드마크가 연속되면 고유성이 높아질 수 있고 모호하지 않은 위치 인식을 제공할 수 있다.
일부 실시예에서, 상기의 솔루션은 서로 함께 사용될 수 있다. 예를 들면, 경로는 연속된 랜드마크와 그 사이의 거리로 태그 될 수 있다. GPS 신호가 약한 경우, 랜드마크의 위치와 랜드마크 사이의 거리는 주로 주행거리측정에 기반(예, 영상 및/또는 관성 센서, 속도계에 기반)할 수 있다. 여러 차량이 경로를 따라 주행하고 경로를 따라 랜드마크와 그 위치를 확보한다. 랜드마크에 관해 수집된 정보는 차량들로부터 서버로 전송될 수 있다. 서버는 랜드마크 정보를 랜드마크 순서대로 모을 수 있다. 데이터를 수집하는 각 차량이 제공하는 거리는 서로 약간 다를 수 있다. 평균 거리 또는 중앙값과 같은 강한 통계치가 사용될 수 있다. 거리의 분산도 지도에 저장될 수 있다. 연속된 랜드마크는 일부 차량이 기록을 누락한 랜드마크가 있을 가능성을 고려하여 정렬될 수 있다. 특정 랜드마크가 누락된 횟수는 그 랜드마크의 가시성에 대해서 말해준다. 이 위치에서 이 랜드마크의 가시성도 지도에 저장될 수 있다.
클라이언트 차량이 경로를 따라 주행할 때, 클라이언트 차량에 의해 감지된 랜드마크와 거리를 지도에 저장된(또는 서버로부터 수신된) 연속된 랜드마크와 비교할 수 있다. 차량은 양쪽의 연속된 랜드마크에서 랜드마크 유형을 맞추어 보고, 누락된 랜드마크와 거리 오차에 대해 벌을 줄 수 있다. 가시성이 낮거나 거리 분산이 큰 랜드마크는 처벌을 덜 받을 수 있다.
랜드마크를 감지하기 위한 카메라는 레이저 또는 레이더와 같은 증강 거리 측정 장치일 수 있다.
경로를 운행하는 차량들이 두 개의 서로 다른 연속된 랜드마크를 기록하는 것도 가능하다. 예를 들면, 경로를 운행하는 50대의 차량 중에서, 20대는 서로 일정한 간격으로 떨어진 "별(star), 별(star), 정사각형(square), 원(circle), 별(star)"(여기서, "별", "정사각형", "원형"은 각각 특정 유형의 표지판을 가리킴)을 보고하고, 나머지 30대는 서로 일정한 간격으로 떨어진 "별(star), 별(star), 정사각형(square), 정사각형(square), 삼각형(triangle)"을 보고할 수 있다. 여기서, 첫 세 형상인 "별, 별, 정사각형"은 앞의 20대가 보고한 거리와 동일한 거리일 수 있다. 이는 교차로 또는 분기점과 같은 특이한 도로 특징을 가리키는 것일 수 있다.
랜드마크 위치 정제
본 발명의 기재된 실시예에 따른 시스템 내에서의 조향을 위한 모델이 전 세계에 걸쳐 정확할 필요는 없지만, 글로벌 위치 인식은 주행 시스템에 유용할 수 있다. 예를 들어, 글로벌 좌표는 어느 로컬 지도가 특정 도로 구간의 주행에 관련이 있는지 판단하거나 한 랜드마크를 다른 랜드마크(예, 마일표 45 부근에 위치한 속도제한 표지판 대비 마일표 68에 위치한 유사한 속도제한표지판) 와 구분하기 위한 지표로서 유용할 수 있다. 글로벌 좌표는 영상 분석에 근거하여 일단 호스트 차량에 대한 특정 랜드마크의 위치를 판단함으로써 모델 내의 랜드마크에 배정될 수 있다. 이러한 상대 좌표를 호스트 차량의 글로벌 위치에 추가하면 랜드마크의 글로벌 위치를 정의할 수 있다. 그러나 이러한 측정은 차량용 표준 GNSS(Global Navigation Satellite System) 수신기에 기반하여 측정하는 호스트 차량의 위치보다 더 정확하지 않을 수 있다. 따라서, 이러한 위치 판단이 지표 목적으로는 충분할 수 있지만, 하기에 상세히 설명하는 본 발명의 실시예에 따른 내비게이션 기술은 랜드마크에 의존하여 도로 구간의 목표 궤적에 대한 차량의 현재 위치를 판단한다. 이런 목적의 랜드마크 사용은 GPS에 기반한 측정보다 더 정확한 랜드마크의 위치 정보를 요구한다. 예를 들어, GPS 측정의 오차 범위가 +/- 5미터인 경우, 목표 궤적에 대한 위치 판단은 5미터 벗어날 수 있고, 이는 차량이 목표 궤적을 따라가게 하기에는 부적합할 수 있다.
한 가지 솔루션은 도로 구간과 연계된 랜드마크를 측량하고 이런 랜드마크에 대한 매우 정교한 위치를 글로벌 좌표로 정의하는 것이다. 그러나 이러한 방법은 시간과 비용이 많이 들어 실현이 어려울 수 있다. 판단된 랜드마크 위치의 정확도를 정제하는(기재된 자율 주행 방법을 위한 글로벌 위치 인식의 역할을 하기에 충분한 수준까지) 다른 접근은 랜드마크 위치를 여러 번 측정하고, 여러 번 실시한 측정을 판단된 랜드마크 위치를 정제하기 위해 사용하는 것이다. 여러 번의 측정은 GPS 위치에 대한 랜드마크의 위치를 판단할 수 있는 장비를 갖춘 차량에 의해 랜드마크를 통과하면서 획득될 수 있다.
도 22와 도 23은 각각 자율 주행에 사용할 랜드마크 식별 시스템의 일례를 도시한 것이다. 시스템은 또한 랜드마크의 장소 또는 위치를 판단할 수 있다. 도 22에 도시된 실시예에서, 시스템은 도로 구간(2200)을 운행하는 복수의 차량(예, 2201, 2202)과 통신하도록 구성된 서버(2230)를 포함할 수 있다. 도로 구간(2200)을 따라, 하나 또는 그 이상의 랜드마크가 있을 수 있다. 랜드마크는 교통표지판, 화살표, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 랜드마크 비콘, 가로등 등 중 하나 이상을 포함할 수 있다. 예시를 위하여, 도 22에는 두 개의 랜드마크(2205, 2206)가 도시되어 있다.
서버(2230)는 차량(2201, 2202)으로부터 수집된 데이터, 예를 들어, 차량(2201, 2202)에 의해 인지된 랜드마크(2205, 2206)를 포함하는 데이터를 수신할 수 있다. 차량(2201, 2202)이 수집한 랜드마크 관련 데이터는 위치 데이터(예, 랜드마크의 위치), 랜드마크의 물리적 크기, 도로 구간(2200)을 따라 연속적으로 인지된 랜드마크 사이의 거리, 차량(2201, 2202)으로부터 랜드마크(2205, 2206)까지의 거리를 포함할 수 있다. 차량(2201, 2202)은 모두 랜드마크(2206)을 통과하고 랜드마크(2206)의 위치를 측정하여 측정된 위치를 서버(2230)로 전송할 수 있다. 서버(2230)는 차량(2201, 2202)으로부터 수신한 랜드마크의 측정된 위치 데이터에 근거하여 랜드마크의 정제된 위치를 판단할 수 있다. 예를 들면, 정제된 위치는 랜드마크(2206)를 통과한 차량(2201, 2202)으로부터 수신한 측정된 위치 데이터의 평균일 수 있다. 랜드마크(2206)의 정제된 위치는 자율주행차 도로주행 모델 또는 약도(sparse map, 800)에 랜드마크(2206)의 식별자(예, 유형, 크기, 응축 특징)와 함께 저장될 수 있다. 랜드마크(2206)의 목표 위치는 도로 구간(2200)을 추후에 운행하는 다른 차량들에 의해 사용되어 이 차량들이 모델 또는 약도(sparse map)에 저장된 도로 구간(2200)과 연계된 목표 궤적 상의 위치를 판단할 수 있다. 인지된 랜드마크의 정제된 위치(예, 약도(sparse map, 800)에 포함된 정제된 위치)는 서버(2230)가 다른 차량들로부터 인지된 랜드마크에 관한 새로운 측정 위치 데이터를 수신하면 업데이트 되거나 더 정제될 수 있다.
도 23에 도시된 실시예에서, 시스템은 자율주행차 중 하나를 허브 차량으로 활용하여 도 22에 도시된 원격 서버(2230)가 수행한 기능의 일부 또는 전부를 수행할 수 있고, 이에 따라 서버가 포함되지 않을 수 있다. 허브 차량은 다른 자율주행차와 통신할 수 있고 다른 차량들로부터 데이터를 수신할 수 있다. 허브 차량은 도로 모델, 도로 모델에 대한 업데이트, 약도(sparse map), 약도(sparse map)에 대한 업데이트, 목표 궤적 등의 생성과 관련된 기능을 수행할 수 있다. 일부 실시예에서, 허브 차량은 또한 도로 구간(2200)을 운행한 여러 차량에 의해 측정된 여러 위치에 근거하여 모델 또는 약도(sparse map)에 저장된 랜드마크의 정제된 위치를 판단할 수 있다.
예를 들면, 도 23에 도시된 실시예에서, 차량(2201)이 허브 차량일 수 있고 랜드마크(2206)의 측정 위치를 포함하는 다양한 데이터를 차량(2202)으로부터 수신하도록 구성된 적어도 하나의 프로세서(예, 2310)를 포함할 수 있다. 차량(2201)은 차량(2202)으로부터 수신한 측정 위치 데이터와 이전에 랜드마크(2206)을 통과하고 인지한 차량들로부터 이전에 수신한 측정 위치 데이터에 근거하여 랜드마크(2206)의 정제된 위치를 판단할 수 있다. 랜드마크(2206)의 정제된 위치는 도로 모델 또는 약도(sparse map, 800)에 저장될 수 있다. 정제된 위치는 차량(2201)이 동일 랜드마크에 관한 새로운 측정 위치 데이터를 다른 차량들로부터 수신하면 업데이트 되거나 정제될 수 있다.
도 29는 랜드마크의 위치를 판단/처리/저장하는 시스템(2900)의 일례를 예시한 구성도이다. 시스템(2900)은 서버(2230) 또는 허브 차량(예, 2201)에 구현될 수 있다. 시스템(2900)은 메모리(2910)을 포함할 수 있다. 메모리(2910)는 다른 실시예에 기재된 메모리와 유사할 수 있다. 예를 들면, 메모리(2910)는 비일시성 플래시 메모리일 수 있다. 메모리(2910)는 프로세서에 의해 실행될 수 있든 컴퓨터 코드 또는 지시와 같은 데이터를 저장할 수 있다. 시스템(2900)은 저장 장치(2920)를 포함할 수 있다. 저장 장치(2920)는 하드 드라이브, CD, 자기 테이프 등 중의 하나 또는 그 이상을 포함할 수 있다. 저장 장치(2920)는 약도(sparse map, 800), 자율주행차 도로주행 모델, 도로 프로필 데이터, 랜드마크 정보 등과 같은 데이터를 저장하도록 구성될 수 있다. 시스템(2900)은 다양한 코드 또는 지시를 실행하여 하나 이상의 기재된 방법 또는 프로세스를 수행하도록 구성된 적어도 하나의 프로세서(2930)를 포함할 수 있다. 프로세서(2930)는 다른 실시예에 기재된 프로세서와 유사할 수 있다. 프로세서(2930)는 하드웨어 요소(예, 연산 회로)와 소프트웨어 요소(예, 소프트웨어 코드)를 모두 포함할 수 있다. 시스템(2900)은 또한 무선 인터넷, 이동통신망 등과 같은 무선 통신을 통해 자율주행차들과 통신하도록 구성된 통신부(2940)를 포함할 수 있다.
도 30은 시스템(2900)에 포함된 메모리(2910)의 일례를 예시한 구성도이다. 메모리(2910)는 자율 주행에 사용할 랜드마크의 장소 또는 위치를 판단하는 하나 이상의 동작을 수행하기 위한 컴퓨터 코드 또는 지시를 저장할 수 있다. 도 30에 도시된 바와 같이, 메모리(2910)는 랜드마크의 위치 판단 동작을 수행하기 위한 하나 이상의 모듈을 저장할 수 있다.
예를 들면, 메모리(2910)는 랜드마크 식별 모듈(3010)과 랜드마크 위치 판단 모듈(3020)을 포함할 수 있다. 메모리(2910)는 또한 랜드마크 위치 정제 모듈(3030)을 포함할 수 있다. 프로세서(예, 2930)는 이 모듈들을 실행하여 모듈 내부에 포함된 기시 또는 코드로 정의된 다양한 기능을 수행할 수 있다.
예를 들어, 랜드마크 식별 모듈(3010)은, 프로세서에 의해 실행되면, 프로세서가 차량에 제공된 카메라에 의해 촬영된 영상으로부터 랜드마크를 식별하도록 할 수 있다. 일부 실시예에서, 프로세서는 호스트 차량에 관한 적어도 하나의 주변환경 영상을 호스트 차량에 설치된 카메라로부터 획득할 수 있다. 프로세서는 이 적어도 하나의 주변환경 영상을 분석하여 호스트 차량 주변환경의 랜드마크를 식별할 수 있다. 프로세서는 랜드마크의 유형, 물리적 크기, 및/또는 응축 특징을 식별할 수 있다.
랜드마크 위치 판단 모듈(3020)은, 프로세서에 의해 실행되면, 프로세서가 랜드마크의 위치를 판단하게 한단. 일부 실시예에서, 프로세서는 호스트 차량의 위치를 나타내는 GPS 데이터를 수신하고, 주변환경 영상을 분석하여, 인지된 랜드마크의 호스트 차량에 대한 상대적 위치(예, 차량으로부터 랜드마크까지의 거리)를 판단할 수 있다. 프로세서는 또한 적어도 GPS 데이터 및 판단된 상대적 위치에 근거하여 랜드마크의 글로벌 인식 위치를 판단할 수 있다. 글로벌 인식 위치는 랜드마크의 위치로 사용되고 모델 또는 지도에 저장될 수 있다.
랜드마크 위치 정제 모듈(3030)은, 프로세서에 의해 실행되면, 랜드마크 위치 판단 모듈(3020)에 의해 판단된 위치를 정제할 수 있다. 일부 실시예에서, 프로세서는 동일 랜드마크에 관한 복수의 위치를 여러 주행에 걸친 여러 차량으로부터 수신할 수 있다. 복수의 위치는 지도에 이미 저장된 랜드마크의 위치를 정제하는데 사용될 수 있다. 예를 들어, 프로세서는 복수의 위치의 평균 또는 중앙값을 계산하여 지도에 저장된 랜드마크 위치의 업데이트에 사용할 수 있다. 다른 예에서, 동일한 랜드마크를 식별한 새로운 차량이 측정한 새로운 위치를 프로세서가 수신할 때마다 새로운 위치가 지도에 이미 저장된 랜드마크 위치의 업데이트에 사용될 수 있다.
식별된 랜드마크의 차량에 대한 상대적 위치를 차량에 제공된 카메라가 촬영한 하나 이상의 영상의 분석에 근거하여 판단하기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 도 31은 호스트 차량에 대한 랜드마크의 상대적 위치(또는 호스트 차량으로부터 랜드마크까지의 거리)를 하나 이상의 랜드마크 영상의 축척에 근거하여 판단하는 방법을 도시한 것이다. 이 예에서, 차량(2201)에 제공된 카메라(122)는 차량(2201) 전방의 주변환경의 영상(3100)을 촬영할 수 있다. 주변환경은 원과 숫자 "70"으로 나타낸 속도제한표지판인 랜드마크(3130)를 포함할 수 있다. 확산점은 숫자 3120으로 나타내었다. 카메라(122)는 주변환경의 복수의 영상(예, 연속 영상)을 촬영할 수 있다. 속도제한표지판(3130)은 시간 t1으로 표시된 위치의 제1 영상에 등장할 수 있다. 속도제한표지판(3130)은 시간 t2로 표시된 위치의, 제1 영상 이후에 촬영된, 제2 영상에 등장할 수 있다. 제1 위치(시간 t1의 위치)와 확산점(3120) 사이의 거리는 r로 표시되어 있고, 속도제한표지판(3130)의 제1 위치와 제2 위치 사이의 거리는 d로 표시되어 있다. 차량(2201)로부터 랜드마크(3130)까지의 거리는 수학식 Z = V * (t2-t1) * r/d를 사용하여 산출될 수 있다. 여기서, V는 차량(2201)의 속력이고, Z는 차량(2201)으로부터 랜드마크(3130)까지의 거리(또는 랜드마크(3130)로부터 차량(2201)까지의 상대적 위치)이다..
도 32는 시야(3200) 이내의 복수의 주변환경 영상의 광류 분석에 근거하여 호스트 차량에 대한 랜드마크의 상대적 위치(또는 차량으로부터 랜드마크까지의 거리)를 판단하는 방법을 예시한 것이다. 예를 들면, 카메라(122)가 차량(2201) 전방 주변환경의 복수의 영상을 촬영할 수 있다. 주변환경은 랜드마크를 포함할 수 있다. 랜드마크의 제1 영상(작은 직사각형으로 표시)은 참조 번호 3210으로 나타내고, 랜드마크의 제2 영상(큰 직사각형으로 표시)은 참조 번호 3220으로 나타냈다. 광류 분석은 동일 물체의 둘 이상의 영상을 분석하고, 화살표 필드로 표시된 광류 필드(3230)을 도출할 수 있다. 제1 확산점은 참조 번호 3240으로 나타내고, 제2 확산점은 참조 번호 3250으로 나타냈다. 일부 실시예에서, 광류 분석은 영상의 광류로부터 도출된 확산 속도에 근거하여 충돌소요시간(time to collision 또는 TTC)을 판단할 수 있다. 차량으로부터 랜드마크까지의 거리는 충돌소요시간과 차량의 속력에 근거하여 추정될 수 있다.
도 33a는 자율주행차의 주행에 사용되는 랜드마크의 위치를 판단하는 프로세스(3300)의 일례를 예시한 순서도이다. 프로세스(3300)는 원격 서버(예, 2230) 또는 자율주행차(예, 2301)에 포함된 프로세서(2930)에 의해 수행될 수 있다. 프로세스(33)는 랜드마크의 측정 위치를 수신하는 단계(3310)를 포함할 수 있다. 예를 들면, 프로세서(2930)는 차량(2202)으로부터 랜드마크(2206)의 측정 위치를 수신할 수 있다. 차량(2202)는 차량의 위치를 나타내는 GPS 데이터, 랜드마크를 포함하는 하나 이상의 차량(2202) 주변환경 영상의 분석에서 판단된 차량(2202)에 대한 랜드마크의 상대적 위치에 근거하여 랜드마크(2206)의 위치를 측정할 수 있다. 프로세스(3000)는 측정 위치 및 적어도 하나의 이전에 획득한 랜드마크 위치에 근거하여 랜드마크의 정제된 위치를 판단하는 단계(3320)를 포함할 수 있다. 예를 들면, 프로세서(2930)는 측정 위치와, 랜드마크를 식별한 다른 차량들로부터 이전에 수신하여 획득한 하나 이상의 위치와 같은, 적어도 하나의 이전에 획득한 랜드마크 위치의 평균을 구할 수 있다. 일부 실시예에서, 프로세서(2930)는 측정 위치와 이전에 획득한 적어도 하나의 랜드마크 위치에 근거하여 판단되어 지도(예, 약도(sparse map, 800))에 저장된 위치의 평균을 구할 수 있다. 프로세서(2930)는 평균값을 구한 위치를 정제된 위치로 사용할 수 있다. 일부 실시예에서, 프로세서(2930)는 측정 위치와 이전에 획득한 적어도 하나의 위치(예, 이전에 획득한 복수의 위치)의 중앙값을 구하고, 이 중앙값을 정제된 위치로 사용할 수 있다. 측정 위치와 이전에 획득한 복수의 위치로부터 구할 수 있는 기타 통계적 파라미터는 목표 위치로 사용할 수 있다. 프로세스(3000)는 지도에 저장된 랜드마크 위치를 정제된 위치로 업데이트하는 단계(3330)를 포함할 수 있다. 예를 들면, 프로세서(2930)는 지도에 저장된 위치를 정제된 위치로 교체할 수 있다. 새로운 위치 데이터가 수신되는 경우, 프로세서(2930)는 단계 3320과 3330을 반복하여 지도에 저장된 랜드마크 위치를 정제함으로써 랜드마크 위치의 정확도를 향상시킬 수 있다.
도 33b는 랜드마크의 위치를 측정하는 프로세스(3350)의 일례를 예시한 순서도이다. 프로세스(3350)는 서버(2230) 또는 자율주행차(예, 2201, 2202, 2301, 2302)에 제공된 프로세서(2930)에 의해 수행될 수 있다. 지도에 저장된 이전 획득 위치도 프로세스(3350)을 사용하여 확보할 수 있다. 프로세스(3350)는 카메라로부터 주변환경 영상을 획득하는 단계(3351)를 포함할 수 있다. 예를 들면, 차량(2202)에 제공된 카메라(122)가 랜드마크(2206)를 포함하는 하나 이상의 차량(2202) 주변환경 영상을 촬영할 수 있다. 프로세서(2930)는 카메라(122)로부터 영상을 획득할 수 있다. 프로세스(3350)는 주변환경 영상을 분석하여 랜드마크를 식별하는 단계(3351)를 포함할 수 있다. 예를 들면, 차량(2202)에 제공된 프로세서(2930 또는 2210)는 영상을 분석하여 랜드마크(2206)을 식별할 수 있다. 프로세스(3350)는 차량에 제공된 GPS부로부터 GPS 데이터를 수신하는 단계(3353)를 포함할 수 있다. 예를 들면, 프로세서(2930)는 차량(2202)에 제공된 GPS부로부터 GPS 데이터를 수신할 수 있다. GPS 데이터는 차량(2202)(호스트 차량)의 위치를 나타낼 수 있다. 프로세스(3350)는 주변환경 영상을 분석하여 차량에 대한 인지된 랜드마크의 상대적 위치를 판단하는 단계(3354)를 포함할 수 있다. 예를 들면, 프로세서(2930)는 주변환경의 영상을 분석하여 인지된 랜드마크(2206)의 차량(2202)에 대한 상대적 위치를 적절한 방법을 사용하여 판단할 수 있다. 일부 실시예에서, 프로세서(2930)는 영상을 분석하여 상기의 도 31을 참조하여 설명한 축척에 근거하여 상대적 위치를 판단할 수 있다. 일부 실시예에서, 프로세서(2930)는 영상을 분석하여 상기의 도 32를 참조하여 설명한 광류 분석에 근거하여 상대적 위치를 판단할 수 있다. 프로세스(3350)는 또한 GPS 데이터와 차량에 대해 판단된 랜드마크의 상대적 위치에 근거하여 랜드마크의 글로벌 인식 위치를 판단하는 단계(3355)를 포함할 수 있다. 예를 들면, 프로세서(2930)는 GPS 데이터에 의한 차량(2202)의 위치와 상대적 위치(또는 차량(2202)로부터 랜드마크(2206)까지의 거리)를 병합하여 랜드마크의 글로벌 인식 위치를 계산할 수 있다. 랜드마크의 글로벌 인식 위치는 랜드마크의 측정 위치로 사용될 수 있다.
기재된 시스템과 방법은 아래 설명한 기타 기능을 포함할 수 있다. 기재된 시스템은 글로벌 좌표 프레임에 대한 차량의 정확한 위치를 몰라도 목표 궤적을 따라 자율주행차를 조향할 수 있다. GPS 정보는 10미터 이상의 오차가 있을 수 있으므로, GPS 정보는 주로 랜드마크 후보 또는 유관 도로 타일(road tile)을 검색하기 위한 메모리 색인에 사용된다. 글로벌 위치 인식은 시각적 자체 움직임을 사용하여 판단될 수 있다. 표류를 방지하기 위하여, 시스템은 호스트 차량의 GPS 위치와 호스트 차량에 대한 랜드마크의 상대적 위치를 병합하여 랜드마크의 GPS 위치를 추정할 수 있다. 랜드마크의 글로벌 위치는 복수의 차량이 복수의 주행을 통해 확보한 위치 데이터로 정제(예, 평균)될 수 있다. 랜드마크의 측정 위치는 무작위의 차량처럼 동작할 수 있으므로, 정확도를 향상하기 위하여 평균을 구할 수 있다. GPS 신호는 랜드마크를 저장하는 데이터베이스에 대한 키 또는 색인으로 주로 사용되고, 따라서 차량의 위치를 매우 정확하게 판단할 필요가 없다. 랜드마크의 위치 판단에 사용되는 낮은 정확도의 GPS 데이터를 사용하여 차량의 위치를 판단할 수 있다. 낮은 정확도의 GPS 데이터에 발생하는 오차는 누적될 수 있다. 이런 오차는 복수의 주행에서 확보한 랜드마크의 위치 데이터의 평균을 구하여 수정할 수 있다.
일부 실시예에서, 조향의 목적으로, GPS 좌표를 데이터베이스 색인에만 사용할 수 있다. GPS 데이터는 조향각 계산에 고려되지 않을 수 있다. 랜드마크의 위치를 포함하는 모델은 글로벌 좌표 시스템으로 이행될 수 있다. 이행에는 곡선 기하, 경로 상의 위치, 차선 배정, 및 차선 내의 위치를 사용하여, 평균을 구하고, 랜드마크 부근의(글로벌 위치 인식된) 차량의 GPS 위치를 구하고, 랜드마크로부터 떨어진 글로벌 위치 인식을 연장함으로써 랜드마크의 GPS 좌표를 판단하는 것이 포함될 수 있다.
간략 도로 모델을 사용한 자율 주행
일부 실시예에서, 기재된 시스템과 방법은 자율 주행을 위해 간략 도로 모델을 사용할 수 있다. 예를 들면, 기재된 시스템과 방법은 인지된 랜드마크에 기반한 주행을 제공하고, 주행을 위해 차량의 후미를 정렬하고, 차량이 도로 교차로를 주행하게 하고, 차량이 로컬 중첩 지도를 사용하여 주행하게 하고, 차량이 약도(sparse map)를 사용하여 주행하게 하고, 예측 랜드마크 위치에 근거하여 차량을 주행하고, 도로 특징에 근거하여 차량을 자율 주행하고, 후방 카메라에 근거하여 차량을 전방으로 주행하고, 빈 공간 판단에 근거하여 차량을 주행하고, 눈길에서 차량을 주행할 수 있다. 또한, 기재된 실시예는 자율 차량 속력 교정, 인지된 랜드마크 위치에 근거한 차선 배정 판단, 및 수퍼 랜드마크(super landmark)를 주행 보조로 사용하기 위한 시스템 및 방법을 제공한다. 이러한 시스템과 방법은 아래에 상세히 설명한다.
인지된 랜드마크에 기반한 주행
기재된 실시예에 따른 시스템은 랜드마크를 사용하여, 예를 들면, 목표 도로 모델 궤적을 나타내는 경로를 따라 호스트 차량의 위치를 판단(예, 목표 도로 모델 궤적으로 랜드마크에 대한 상대적 방향 벡터의 교차점을 식별)할 수 있다. 일단 이 위치가 판단되면, 판단된 위치에서의 진행 방향을 목표 도로 모델 궤적과 비교함으로써 조향 방향을 판단할 수 있다. 랜드마크는, 예를 들어, 적어도 하나의 도로 구간의 환경에 있는 식별 가능한 고정 물체 또는 도로 구간의 특정 구역에 관한 관찰 가능한 특징을 포함할 수 있다. 일부 경우에, 랜드마크는 교통표지판(예, 속도제한표지판, 위험표지판 등)을 포함할 수 있다. 다른 경우에, 랜드마크는 도로 구간의 특정 구역과 관련된 도로 특징 프로필을 포함할 수 있다. 또 다른 경우에, 랜드마크는 예를 들어 차량의 서스펜션 센서에 의해 감지된 도로 프로필을 포함할 수 있다. 다양한 유형의 랜드마크의 예들은 앞서 설명하였으며, 일부 랜드마크의 예는 도 10을 참조하여 도시하였다.
도 34는 본 발명의 기재된 실시예에 따른 하나 이상의 랜드마크(3402, 3404)를 사용하여 차량(200)을 주행하는 시스템과 방법이 사용되는, 도로 구간(3400)을 운행하는 차량(200)(자율주행차일 수 있음)을 도시한 것이다. 도 34에는 차량(200)이 이미지캡처장치(122, 124, 126)를 구비한 것으로 도시되어 있지만, 더 많거나 적은 수의 이미지캡처장치가 차량(200)에 구비될 수도 있다. 도 34에 도시된 바와 같이, 도로 구간(3400)은 좌측(3406)과 우측(3408)으로 경계를 이룰 수 있다. 미리 정해진 도로 모델 궤적(3410)이 차량(200)이 도로 구간(3400)을 따라 운행하면서 따라갈 도로 구간(3400) 내의 바람직한 경로(예, 목표 도로 모델 궤적)를 정의할 수 있다. 일부 실시예에서, 미리 정해진 도로 모델 궤적(3410)은 좌측(3406)과 우측(3408)으로부터 등거리에 위치할 수 있다. 그러나 미리 정해진 도로 모델 궤적(3410)이 도로 구간(3400)의 좌측(3406)과 우측(3408)의 어느 한 쪽에 더 가깝게 위치하는 것도 가능하다. 또한, 도 34에는 도로 구간(3400)에 하나의 차로만 있는 것으로 도시했지만, 다양한 수의 차로가 도로 구간(3400)에 존재할 수 있다. 또한, 도로 구간(3400)의 어느 한 차로를 따라 운행하는 차량(200)은 기재된 방법과 시스템에 따른 하나 이상의 랜드마크(3402, 3404)를 사용하여 주행될 수 있다.
영상획득부(120)는 차량(200)의 주변환경을 나타내는 영상을 획득하도록 구성될 수 있다. 예를 들어, 영상획득부(120)는 하나 이상의 이미지캡처장치(122, 124, 126)를 사용하여 차량(200) 전방의 광경을 보여주는 영상을 획득할 수 있다. 차량(200)의 처리부(110)는 영상획득부(120)가 획득한 하나 이상의 영상에서 하나 이상의 랜드마크를 감지하도록 구성될 수 있다. 처리부(110)는 앞서 도 22 내지 도 28을 참조하여 설명한 랜드마크 식별을 위한 하나 이상의 프로세스를 사용하여 하나 이상의 랜드마크(3402, 3404)를 감지할 수 있다. 도 34에는 두 개의 랜드마크(3402, 3404)만이 도시되어 있지만, 차량(200)은 영상획득부(120)가 획득한 영상에 근거하여 더 많거나 더 적은 랜드마크를 감지할 수 있다.
처리부(110)는 차량(200)의 현재 위치(3412)에 대한 하나 이상의 랜드마크(3402, 3404) 각각의 위치(3432, 3434)를 판단하도록 구성될 수 있다. 처리부(110)는 또한 차량(200)의 현재 위치(3412)와 하나 이상의 랜드마크(3402, 3404) 사이의 거리를 판단하도록 구성될 수 있다. 또한, 처리부(110)는 차량(200)의 현재 위치(3412)에 대한 하나 이상의 랜드마크(3402, 3404)의 하나 이상의 방향 지시자(3414, 3416)를 판단하도록 구성될 수 있다. 처리부(110)는 방향 지시자(3424, 3416)를 차량(200)의 현재 위치(3412)에서 시작하고, 예를 들어, 랜드마크(3402, 3404)의 각 위치(3432, 3434)를 향하여 연장되는 벡터로 판단하도록 구성될 수 있다.
처리부(110)는 또한 하나 이상의 방향 지시자(3414, 3416)와 미리 정해진 도로 모델 궤적(3410)의 교차점(3418)을 판단하도록 구성될 수 있다. 도 34에 도시된 바와 같은 일 실시예에서, 교차점(3418)은 차량(200)의 현재 위치(3412)와 일치할 수 있다. 이런 현상은, 예를 들어, 차량(200)이 미리 정해진 도로 모델 궤적(3410) 상에 위치할 때 일어난다. 차량(200)은 일반적으로 미리 정해진 도로 모델 궤적(3410) 상에 또는 매우 가까이 위치할 것으로 예상되지만, 차량(200)이 미리 정해진 도로 모델 궤적(3410) 상에 위치하지 않을 수도 있으며, 이에 대해서는 도 35를 참조하여 설명한다.
처리부(110)는 교차점(3418)에서 미리 정해진 도로 모델 궤적(3410)의 방향(3420)을 판단하도록 구성될 수 있다. 처리부(110)는 미리 정해진 도로 모델 궤적(3410)의 탄젠트 방향을 방향(3420)으로 판단할 수 있다. 일 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(3410)을 나타내는 3차원 다항식의 경사도 또는 기울기에 근거하여 방향(3420)을 판단하도록 구성될 수 있다.
처리부(110)는 또한 차량(200)의 진행 방향(3430)을 판단하도록 구성될 수 있다. 도 34에 도시된 바와 같이, 차량(200)의 진행 방향(3430)은 이미지캡처장치(122)가 차량(200)에 관한 로컬 좌표 시스템에 대해 향하는 방향일 수 있다. 처리부(110)는 차량(200)의 진행 방향(3430)이 미리 정해진 도로 모델 궤적(3410)의 방향(3420)과 정렬(즉, 평행)되었는지 판단하도록 구성될 수 있다. 진행 방향(3430)이 교차점(3418)에서 미리 정해진 도로 모델 궤적(3410)의 방향(3420)과 정렬되어 있지 않을 경우, 처리부(110)는 차량(200)의 진행 방향(3430)이 미리 정해진 도로 모델 궤적(3410)의 방향(3420)과 정렬되도록 자율 조향 동작을 결정할 수 있다. 일 실시예에서, 자율 조향 동작은, 예를 들어, 차량(200)의 조향 핸들 또는 전륜을 틀어 차량(200)의 진행 방향(3430)이 미리 정해진 도로 모델 궤적(3410)의 방향(3420)과 정렬되도록 하는 각도의 판단을 포함할 수 있다. 다른 실시예에서, 자율 조향 동작은 또한 차량(200)의 현재 속도를 감속 또는 가속하여 차량(200)의 진행 방향(3430)이 정해진 시간 내에 미리 정해진 도로 모델 궤적(3410)의 방향(3420)과 정렬되도록 하는 것을 포함할 수 있다. 처리부(110)는 주행 반응 모듈(408)에 저장된 지시를 실행하여, 예를 들어, 차량(200)의 조향 핸들을 돌리고 미리 정해진 각도의 회전을 이루어서 원하는 주행 반응을 발생시키도록 구성될 수 있다. 미리 정해진 각도의 회전은 차량(200)의 진행 방향(3430)이 방향(3420)으로 정렬되도록 할 수 있다.
처리부(110)는 자율 조향 동작을 결정할 때 추가적인 고려사항을 포함할 수 있다. 예를 들면, 일부 실시예에서, 처리부(110)는 차량 또는 차량(200)의 사용자에 대해 다양하게 가능한 자율 조향 동작의 효과를 포함하는 차량의 운동학적 및 물리적 모델에 근거하여 자율 조향 동작을 결정할 수 있다. 처리부(110)는 복수의 자율 조향 동작으로부터 적어도 하나의 자율 조향 동작을 선택하기 위한 선택 기준을 시행할 수 있다. 다른 실시예에서, 처리부(110)는 차량(200)의 현재 위치(3418) 전방에 위치한 도로 구간(3400)의 부분을 평가하는 "예견" 동작에 근거하여 자율 조향 동작을 결정할 수 있다. 처리부(110)는 하나 이상의 자율 조향 동작의 결과로 현재 위치(3418) 전방의 위치에서 차량(200)의 동작 또는 차량(200)의 사용자에게 하나 이상의 자율 조향 동작이 미치는 효과에 대해 판단할 수 있다. 또 다른 실시예에서, 처리부(110)는 또한 차량(200) 주변의 하나 이상의 다른 차량의 존재 및 동작과 하나 이상의 자율 조향 동작이 그런 하나 이상의 다른 차량에 미칠 가능성이 있는(추정되는) 효과에 대해 고려할 수 있다. 처리부(110)는 이러한 추가 고려사항을 무시할 수 있다. 따라서, 예를 들어, 처리부(110)가 초기에 결정하는 자율 조향 동작은 차량(200)의 진행 방향(3430)이 현재 위치(3418)에서 미리 정해진 도로 모델 궤적(3410)의 방향(3420)과 정렬되도록 하는 것일 수 있다. 처리부(110)가 결정된 자율 조향 동작이 추가 고려사항에 의해 부과된 하나 이상의 제약을 준수하지 않는다고 판단하는 경우, 처리부(110)는 자율 조향 동작을 수정하여 모든 제약이 만족되도록 할 수 있다.
영상획득부(120)는, 예를 들어, 미리 정해진 시간 이후의 차량(200) 전방의 주변환경 영상을 반복적으로 획득할 수 있다. 처리부(110)는 또한 영상획득부(120)가 획득한 영상 내에서 하나 이상의 랜드마크(3402, 3404)를 반복적으로 감지하고 앞서 설명한 자율 조향 동작을 결정하도록 구성될 수 있다. 따라서, 영상획득부(120)와 처리부(110)는 하나 이상의 랜드마크(3402, 3404)를 사용하여 도로 구간(3400)을 따라 차량(200)을 주행하기 위해 서로 협조할 수 있다.
도 35는 본 발명의 실시예에 의한 하나 이상의 랜드마크(3402, 3404)를 사용하여 차량(200)을 주행하는 시스템 및 방법이 사용되는, 도로 구간(3400)을 운행하는 다른 차량(200)의 예시를 도시한 것이다. 도 34와 달리, 도 35에 도시된 차량(200)은 미리 정해진 도로 모델 궤적(3410) 상에 위치하지 않는다. 그 결과, 도 35에 도시된 바와 같이, 방향 지시자(3416)의 교차점(3418)은 차량(200)의 현재 위치(3412)와 일치하지 않을 수 있다.
앞서 도 34를 참조하여 설명한 바와 같이, 처리부(110)는 교차점(3418)에서 미리 정해진 도로 모델 궤적(3410)의 방향(3420)을 판단하도록 구성될 수 있다. 처리부(110)는 또한 차량(200)의 진행 방향(3430)이 방향(3420)과 정렬(즉, 평행)되는지 판단하도록 구성될 수 있다. 교차점(3418)에서 진행 방향(3430)이 미리 정해진 도로 모델 궤적(3410)의 방향(3420)과 정렬되지 않은 경우, 처리부(110)는 차량(200)의 진행 방향(3430)이 미리 정해진 도로 모델 궤적(3410)의 방향(3420)과 정렬되도록 제1 자율 조향 동작을 결정할 수 있다. 예를 들면, 도 35에 도시된 바와 같이, 처리부(110)는 일정 각도의 회전을 요구하여 차량(200)의 진행 방향(3430)이 방향(3420)과 정렬되도록 하는 제1 자율 조향 동작을 결정할 수 있다.
또한, 차량(200)의 현재 위치(3412)가 미리 정해진 도로 모델 궤적(3410) 상에 위치하지 않는 경우, 처리부(110)는 차량(200)이 현재 위치(3412)에서 미리 정해진 도로 모델 궤적(3410) 상의 교차점(3418)로 이동하도록 하는 제2 자율 조향 동작을 결정할 수 있다. 예를 들어, 도 35에 도시된 바와 같이, 처리부(110)는 차량(200)이 현재 위치(3412)를 평행 이동하여 미리 정해진 도로 모델 궤적(3410) 상의 교차점(3418)과 일치하도록 하기 위한 거리 "d"를 판단할 수 있다. 도 35에 도시되어 있지 않지만, 처리부(110)는 또한 차량(200)이 현재 위치(3412)로부터 미리 정해진 도로 모델 궤적(3410) 상의 교차점(3418)으로 이동하기 위해 필요한 회전을 판단하도록 구성될 수 있다. 처리부(110)는 주행 반응 모듈(408)에 저장된 지시를 실행하여 제1 자율 조향 동작, 제2 자율 조향 동작, 또는 제1 및 제2 자율 조향 동작의 조합에 상응하는 주행 반응을 일으키도록 구성될 수 있다. 일부 실시예에서, 처리부(110)는 지시를 실행하여 제1 자율 주행 동작과 제2 자율 주행 동작에 순차적(또는 역순)으로 상응하는 주행 반응을 일으킬 수 있다.
도 36은 본 발명의 기재된 실시예에 따른 하나 이상의 랜드마크(3402, 3404)를 사용하여 도로 구간(3400)을 따라 차량(200)을 주행하는 프로세스(3600)의 일례를 예시한 순서도이다. 프로세스(3600)의 단계들은 처리부(110) 및 영상획득부(120) 중 하나 또는 그 이상에 의해, 메모리(140 또는 150)에 접속하거나 접속하지 않고, 수행될 수 있다. 프로세스(3600)에서 단계의 순서 또는 배치는 예시의 목적으로만 제공된 것이다. 기재된 프로세스(3600)에 단계를, 예를 들어, 추가, 병합, 삭제, 및/또는 재배열 함으로써 프로세스(3600)를 수정할 수 있음은 당연한 것으로 이해될 수 있을 것이다.
도 36에 도시된 바와 같이, 프로세스(3600)는 차량의 주변환경을 나타내는 영상을 획득하는 단계(3602)를 포함할 수 있다. 일 실시예에서, 영상획득부(120)는 차량(200) 전방(또는 차량의 측방 또는 후방) 영역의 하나 이상의 영상을 획득할 수 있다. 예를 들어, 영상획득부(120)는 시야(2020)를 가진 이미지캡처장치(122)를 사용하여 영상을 획득할 수 있다. 다른 실시예에서, 영상획득부(120)는 각각 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126) 중 하나 이상으로부터 영상을 획득할 수 있다. 영상획득부(120)는 하나 이상의 영상을 데이터 연결(예, 디지털, 유선, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
프로세스(3600)는 또한 하나 이상의 영상에서 하나 이상의 랜드마크(3402, 3404)를 식별하는 단계(3604)를 포함할 수 있다. 처리부(110)는 영상획득부(120)로부터 하나 이상의 영상을 수신할 수 있다. 처리부(110)는 도 5b 내지 5d 를 참조하여 상세히 설명한 바와 같이, 단계 3604에서 단안 영상 분석 모듈(402)을 실행하여 복수의 영상을 분석할 수 있다. 이 분석을 수행함으로써, 처리부(110)는 영상 모음 내에서 하나 이상의 랜드마크(3402, 3404)와 같은 특징 모음을 감지할 수 있다. 랜드마크(3402, 3404)에는 교통표지판, 화살표 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 가로등, 도로의 차선 간격 변경, 상업용 표지판 등 중의 하나 또는 그 이상이 포함될 수 있다.
일부 실시예에서, 처리부(110)는 단안 영상 분석 모듈(402)를 실행하여 랜드마크(3402, 3404)를 감지하기 위하여 복수의 영상에 대한 다중 프레임 분석을 수행할 수 있다. 예를 들어, 처리부(110)는 연속되는 영상 프레임 사이의 카메라 움직임을 추정하고 프레임 사이의 픽셀 불일치를 계산하여 도로의 3D 지도를 그릴 수 있다. 이후, 처리부(110)는 3D 지도를 사용하여 랜드마크(3402, 3404)뿐만 아니라 노면을 감지할 수 있다. 다른 실시예에서, 처리부(110)의 영상 프로세서(190)는 영상획득부(120)로부터 수신된 복수의 영상을 하나 또는 그 이상의 합성영상으로 조합할 수 있다. 처리부(110)는 합성영상을 사용하여 하나 이상의 랜드마크(3402, 3404)를 감지할 수 있다.
일부 실시예에서, 처리부(110)는 랜드마크의 가능성이 있는 물체의 다양한 속성을 인지할 수 있다. 이 정보는 예를 들어 차량으로부터 원격으로 있는 서버로 업로드 될 수 있다. 서버는 수신된 정보를 처리하고, 예를 들어, 약도(sparse map, 800) 내에 새롭게 인지된 랜드마크를 생성할 수 있다. 서버는 또한 약도(sparse map, 800)에 이미 포함된 인지된 랜드마크의 하나 이상의 특성(예, 크기, 위치 등)을 업데이트할 수 있다.
일부 경우에, 처리부(110)는 인지된 랜드마크(예, 이미 식별되고 약도(sparse map, 800)에 표시된 랜드마크)의 위치 확인에 도움이 될 수 있는 정보를 원격 서버로부터 수신할 수 있다. 예를 들어, 차량이 특정 도로 구간을 운행함에 따라, 프로세서(110)가 이 도로 구간에 상응하는 하나 이상의 로컬 지도에 접속할 수 있다. 로컬 지도는 차량에 대하여 원격으로 위치한 서버에 저장된 저용량 지도(800)의 일부일 수 있고, 하나 이상의 로컬 지도가 필요에 따라 무선으로 다운로드 될 수 있다. 일부 경우에, 약도(sparse map, 800)는 차량에 저장될 수 있다. 로컬 지도는 도로 구간에 관한 다양한 특징을 포함할 수 있다. 예를 들어, 로컬 지도는 차량이 도로 구간을 따라 가야할 목표 궤적을 나타내는 다항식 스플라인을 포함할 수 있다. 로컬 지도는 또한 인지된 랜드마크의 표현을 포함할 수 있다. 일부 경우에, 앞서 설명한 바와 같이, 인지된 랜드마크는 랜드마크 유형, 위치, 크기, 다른 랜드마크까지의 거리 등과 같은 정보, 또는 기타 특성을 포함할 수 있다. 예를 들어, 비의미론적 표지판(예, 반드시 도로 주행에 관한 것이 아닌 일반표지판)의 경우, 약도(sparse map, 800)에 저장된 정보는 비의미론적 도로표지판에 관한 응축 영상 특징을 포함할 수 있다.
약도(sparse map, 800)로부터 수신된 이러한 정보는 처리부(110)가 도로 구간을 따라 인지된 랜드마크를 식별하는데 도움이 될 수 있다. 예를 들면, 처리부(110)는 현재 위치(예, 이전에 판단된 위치에 대해 GPS 데이터, 추측항법, 또는 기타 적절한 방법으로 판단된 위치)와 로컬 지도에 포함된 정보(예, 다음 랜드마크의 인식 위치 및/또는 이전 랜드마크로부터 다음 랜드마크까지의 거리를 나타내는 정보)에 근거하여, 인지된 랜드마크가 차량으로부터 약 95미터 전방에 현재 진행 방향의 약 10도 우측에 위치해야 한다고 판단할 수 있다. 처리부(110)는 또한 로컬 지도 내의 정보로부터 인지된 랜드마크가 속도제한표지판에 상응하는 유형이고 약 2피트 넓이와 3피트 높이의 직사각형 형상이라고 판단할 수 있다.
따라서, 처리부(110)가 탑재된 카메라가 촬영한 영상을 수신하는 경우, 인지된 랜드마크의 예상 위치에 있는 물체를 약도(sparse map, 800)로부터 검색하여 이 영상을 분석할 수 있다. 상기 속도제한표지판의 예에서, 처리부(110)는 촬영된 영상을 검토하고 차량의 진행 방향 우측 10도 위치의 직사각형 형상을 영상 내에서 검색할 수 있다. 나아가, 처리부(110)는 95미터의 상대적 거리에 있는 2피트 넓이 3피트 높이의 직사각형이 차지하고 있을만한 영상의 픽셀 수를 차지하고 있는 직사각형 형상을 검색할 수 있다. 영상에서 이러한 물체를 예상한 장소에서 식별할 경우, 처리부(110)는 예상했던 인지된 랜드마크가 식별됐다는 신뢰 수준을 확립할 수 있다. 영상을 분석하여 촬영된 영상의 표지판에 어떤 텍스트 또는 그래픽이 있는지를 판단함으로써 추가적인 확인을 할 수 있다. 텍스트 또는 그래픽 인지 프로세스를 통하여, 처리부(110)는 촬영된 영상 내의 직사각형 형상이 "속도제한 55"라는 텍스트를 포함하고 있다고 판단할 수 있다. 확보된 텍스트를 약도(sparse map, 800)에 저장된 인지된 랜드마크에 관한 유형 코드(예, 다음 랜드마크가 속도제한표지판이라는 것을 나타내는 유형)와 비교함으로써, 이 정보는 촬영된 영상에서 관찰된 물체가 실제로 예상한 인지된 랜드마크라는 것을 더욱 확인해줄 수 있다.
프로세스(3600)는 목표 궤적에 대한 차량(200)의 현재 위치(3412)를 판단하는 단계(3606)를 포함할 수 있다. 처리부(110)는 다양한 방법으로 차량(200)의 현재 위치(3412)를 판단할 수 있다. 예를 들어, 처리부(110)는 GPS 센서와 같은 위치 센서(130)로부터 수신한 신호에 근거하여 현재 위치(3412)를 판단할 수 있다. 다른 실시예에서, 처리부(110)는 차량(200)이 미리 정해진 도로 모델 궤적(3410)을 따라 운행하는 속도를 통합하여 차량(200)의 현재 위치(3412)를 판단할 수 있다. 예를 들어, 처리부(110)는 차량(200)이 미리 정해진 도로 모델 궤적(3410) 상의 두 위치 사이를 운행하는데 필요한 시간 "t"를 판단할 수 있다. 처리부(110)는 시간 t에 걸친 차량(200)의 속도를 통합하여 미리 정해진 도로 모델 궤적(3410) 상의 두 위치에 대한 차량(200)의 현재 위치(3412)를 판단할 수 있다.
일단 인지된 랜드마크가 촬영된 영상 내에서 식별되면, 인지된 랜드마크의 미리 정해진 특성을 사용하여 호스트 차량의 주행을 지원할 수 있다. 예를 들면, 일부 실시예에서, 인지된 랜드마크를 사용하여 호스트 차량의 현재 위치를 판단할 수 있다. 일부 경우에, 호스트 차량의 현재 위치는 간략 데이터 모델(800)의 목표 궤적에 대해 판단될 수 있다. 목표 궤적에 대한 차량의 현재 위치를 알면, 차량이 목표 궤적을 따라 주행하도록 하는 조향 각도를 판단(예, 목표 궤적에 대한 차량의 판단된 현재 위치에서 진행 방향을 목표 궤적의 방향과 비교)하는데 도움이 될 수 있다.
약도(sparse map, 800)의 목표 궤적에 대한 차량의 위치는 다양한 방법으로 판단될 수 있다. 예를 들어, 일부 실시예에서, 6D 칼만 필터링 방법이 사용될 수 있다. 다른 실시예에서, 방향 지시자가 차량과 인지된 랜드마크에 대해 사용될 수 있다. 예를 들면, 프로세스(3600)는 또한 하나 이상의 랜드마크(3402, 3404)와 각각 연계된 하나 이상의 방향 지시자(3414, 3416)를 판단하는 단계(3608)를 포함할 수 있다. 처리부(110)는 차량(200)의 현재 위치(3412) 각각에 대한 하나 이상의 랜드마크(3402, 3404)의 상대적 위치(3432, 3434)에 근거하여 방향 지시자(3414, 3416)를 판단할 수 있다. 예를 들어, 처리부(110)는 메모리(140 또는 150)의 하나 이상의 데이터베이스에 저장된 정보로부터 랜드마크(3402, 3404) 각각에 대한 랜드마크 위치(3432, 3434)를 수신할 수 있다. 처리부(110)는 또한 차량(200)의 현재 위치(3412)와 랜드마크(3402, 3404) 각각에 대한 랜드마크 위치(3432, 3434) 사이의 거리를 판단할 수 있다. 또한, 처리부(110)는 방향 지시자(3414)를 차량(200)의 현재 위치(3412)로부터 연장되고 현재 위치(3412)와 랜드마크 위치(3432)를 통과하는 직선을 따라 연장되는 벡터로 판단할 수 있다. 마찬가지로, 처리부(110)는 방향 지시자(3416)를 차량(200)의 현재 위치(3412)로부터 연장되고 현재 위치(3412)와 랜드마크 위치(3434)를 통과하는 직선을 따라 연장되는 벡터로 판단할 수 있다. 이상 두 랜드마크(3402, 3404)를 참조하여 설명하였지만, 처리부(110)가 더 많거나 더 적은 랜드마크(3402, 3404)에 대하여 랜드마크 위치(3432, 3434), 현재 위치(3412)와 랜드마크 위치(3432, 3434) 사이의 거리, 및 방향 지시자(3414, 3416)를 판단할 수 있음은 당연하다.
프로세스(3600)는 방향 지시자(3416)와 미리 정해진 도로 모델 궤적(3410)의 교차점(3418)을 판단하는 단계(3610)를 포함할 수 있다. 처리부(110)는 미리 정해진 도로 모델 궤적(3410)이 차량(200)의 현재 위치(3412)와 랜드마크 위치(3434) 사이를 잇는 직선과 교차하는 교차점(3418)의 위치를 판단할 수 있다. 처리부(110)는 메모리(140, 150)로부터 미리 정해진 도로 모델 궤적(3410)의 수학적 표현을 확보할 수 있다. 처리부(110)는 또한 차량(200)의 현재 위치(3412)와 랜드마크(3404)의 랜드마크 위치(3434)를 통과하는 직선의 수학적 표현을 생성할 수 있다. 처리부(110)는 미리 정해진 도로 모델 궤적(3410)의 수학적 표현과 차량(200)의 현재 위치(3412)와 랜드마크(3404)의 랜드마크 위치(3434)를 통과하는 직선의 수학적 표현을 사용하여 교차점(3418)의 위치를 판단할 수 있다.
도 34에 도시된 일 실시예에서, 교차점(3418)은 차량(200)의 현재 위치(3412)(예, 차량과 관련하여 임의로 지정될 수 있는 기준점의 위치)와 일치할 수 있다. 이는, 예를 들어, 차량(200)이 미리 정해진 도로 모델 궤적(3410)에 위치할 때 가능하다. 도 35에 도시된 다른 실시예에서, 교차점(3418)은 현재 위치(3412)와 떨어져 있을 수 있다. 처리부(110)는 현재 위치(3412)와 랜드마크 위치(3434) 사이의 제1 거리 "D1"(도 35 참조)과 교차점(3418)과 랜드마크 위치(3434) 사이의 제2 거리 "D2"를 비교하여 차량(200)이 미리 정해진 도로 모델 궤적(3410) 상에 위치하지 않음을 감지할 수 있다.
교차점(3418)이 차량(200)의 현재 위치(3412)에서 떨어져 있는 경우, 처리부(100)는 차량(200)을 현재 위치(3412)로부터 미리 정해진 도로 모델 궤적(3410) 상의 교차점(3418)으로 이동하기 위해 필요한 평행이동 및/또는 회전의 양을 판단할 수 있다. 일부 실시예에서, 처리부(110)는 주행 반응 모듈(408)을 실행하여 단계 520에서 수행한 분석과 도 4를 참조하여 설명한 방법에 기반하여 차량(200)이 하나 이상의 주행 반응을 하도록 할 수 있다. 예를 들어, 처리부(110)는 차량(200)의 현재 위치(3412)가 교차점(3418)과 일치하도록 차량(200)을 이동하기 위한 명령을 조향 시스템(240)으로 전달할 수 있다.
처리부(110)는 교차점(3418)에서 미리 정해진 도로 모델 궤적(3410)의 방향(3420)을 판단하는 단계(3612)를 포함할 수 있다. 일 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(3410)의 수학적 표현(예, 3차원 다항식)을 구할 수 있다. 처리부(110)는 방향(3420)을 교차점(3418)에서 미리 정해진 도로 모델 궤적(3410)의 탄젠트 방향 벡터로 판단할 수 있다. 예를 들어, 처리부(110)는 방향(3420)을 교차점(3418)에서 미리 정해진 도로 모델 궤적(3410)의 수학적 표현의 경사도 방향 벡터로 판단할 수 있다.
프로세스(3600)는 또한 차량(200)에 대한 자율 조향 동작을 판단하는 단계(3614)를 포함할 수 있다. 일 실시예에서, 처리부(110)는 차량(200)의 진행 방향을 판단할 수 있다. 예를 들어, 도 34 및 도 35에 도시된 바와 같이, 처리부(110)는 차량(200)과 연관된 로컬 좌표 시스템에 대한 이미지캡처장치(122)가 향하는 방향을 차량(200)의 진행 방향(3430)으로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 현재 위치(3412)에서 차량(200)이 이동하는 방향을 진행 방향(3430)으로 판단할 수 있다. 처리부(110)는 또한 진행 방향(3430)과 미리 정해진 도로 모델 궤적(3410)의 방향(3420) 사이의 회전각을 판단할 수 있다. 처리부(110)는 주행 반응 모듈(408)에 지시를 실행하여 교차점(3418)에서 차량(200)의 진행 방향(3430)이 미리 정해진 도로 모델 궤적(3410)의 방향(3420)과 정렬(즉, 평행)하도록 하는 자율 조향 동작을 결정할 수 있다. 처리부(110)는 또한 조향 시스템(240)에 제어 신호를 전송하여 차량(200)의 바퀴 회전을 조정하여 교차점(3418)에서 진행 방향(3430)이 미리 정해진 도로 모델 궤적(3410)의 방향(3420)과 정렬되도록 차량(200)을 회전시킬 수 있다. 일 실시예에서, 처리부(110)는 조향 시스템(240)으로 신호를 보내어 차량(200)의 바퀴 회전을 조정하여 교차점(3418)에서 진행 방향(3430)과 미리 정해진 도로 모델 궤적(3410)의 방향(3420) 사이의 차이가 미리 정해진 임계치보다 작도록 차량(200)을 회전시킬 수 있다.
처리부(110) 및/또는 영상획득부(120)는 미리 정해진 시간이 경과한 후에 단계 3602 내지 3614를 반복할 수 있다. 일 실시예에서, 미리 정해진 시간은 0.5초 내지 1.5초일 수 있다. 교차점(3418), 진행 방향(3430), 교차점(3418)에서의 미리 정해진 도로 모델 궤적(3410)의 방향(3420), 및 진행 방향(3430)을 방향(3420)과 정렬시키기 위한 자율 조향 동작을 반복적으로 판단함으로써, 처리부(110) 및/또는 영상획득부(120)는 하나 이상의 랜드마크(3402, 3404)를 사용한 차량(200)의 주행을 지원하여 차량(200)이 도로 구간(3400)을 따라 운행하도록 할 수 있다.
후미 정렬 주행
본 발명의 기재된 실시예에 따른 시스템은 호스트 차량이 운행한 궤적(즉, 후미)을 도로 모델 궤적의 알려진 위치에서 미리 정해진 도로 모델 궤적과 비교하고 정렬함으로써 조향 방향을 결정할 수 있다. 운행한 궤적은 호스트 차량 위치에서 차량 진행 방향을 제공하고, 도로 모델 궤적을 따라 차량의 알려진 위치에서 운행한 궤적과 도로 모델 궤적 사이의 오차를 최소화 또는 감소시키는 변형(예, 회전 및 잠재적 평행 이동)을 결정함으로써 진행 방향에 대한 조향 방향이 확보될 수 있다.
후미 정렬은 차량이 이미 운행한 경로에 관한 정보에 기반하여 자율주행차의 진행방향을 경로의 기존 모델과 정렬하는 방법이다. 후미 정렬은 특정 거리에 걸쳐 자율주행차의 추적된 경로를 사용한다(따라서 "후미"). 추적된 경로는 자율주행차가 현재 위치에 도착하기 위하여 이미 주행한 경로를 나타낸다. 예를 들면, 추적된 경로는 자율주행차가 현재 위치에 도달하기 위하여 운행하여 자율주행차 뒤에 남겨진 미리 정해진 거리의 경로(예, 60미터 또는 다른 거리)를 포함할 수 있다. 추적된 경로는 모델과 비교하여, 예를 들어, 자율주행차의 진행각을 결정할 수 있다.
일부 실시예에서, 후방 카메라를 사용하여 주행한 경로를 판단하거나 판단을 지원할 수 있다. 후방 카메라는 모델링, 진행방향 추정, 및 횡적 오프셋 모두에 유용할 수 있다. 후방 카메라를 추가하면, 열악한 조명 상황(예, 지평선에 낮게 뜬 태양)이 전방 카메라와 후방 카메라에 동시에 영향을 미치는 경우는 드물기 때문에, 시스템의 신뢰도를 향상하는 것이 가능하다.
추적된 경로는 또한 자율주행차의 예측 경로와 선택적으로 결합될 수 있다. 예측된 경로는 자율주행차 전방 주변환경의 영상을 처리하고 차선, 또는 기타 도로 구조, 표시를 감지하여 생성될 수 있다. 이 점에서, 본 발명의 기재된 실시예를 구현함에 있어, 도로 모델이 누적된 오차(자체 움직임의 통합)로 인해 차이가 날 수 있다는 것에 유의해야 한다. 따라서, 예를 들어 자율주행차의 현재 위치 전방의 미리 정해진 거리(예, 40미터)에 걸친 예측 경로를 추적된 경로와 비교함으로써 자율주행차의 진행각을 결정할 수 있다.
도 37은 후미 정렬을 이용하여 차량(200)을 주행하는 본 발명에 기재된 시스템과 방법을 사용하여 도로 구간(3700)을 운행하는 차량(200)(자율주행차)을 도시한 것이다. 여기서, 그리고 본 명세서 전반에 걸쳐, "자율주행차"라는 용어는 운전자의 입력 없이 적어도 하나의 주행 변경을 경로 내에서 구현하는 능력이 있는 차량을 말한다. 자율 주행이 되기 위하여, 차량이 완전 자동(예, 운전자 또는 운전자 입력 없이 완전히 동작)일 필요는 없다. 오히려, 자율주행차는 특정 시간 동안에는 운전자의 제어 하에 동작하고 다른 시간 동안에는 운전자의 제어 없이 동작할 수 있는 차량을 포함한다. 자율주행차는 또한 조향(예, 차량의 진로를 규정 차선 사이에 유지)과 같은 차량 주행의 일부 속성만을 제어하고 다른 속성들(예, 제동)은 운전자에게 맡기는 차량도 포함할 수 있다. 일부 경우에, 자율주행차는 차량의 제동, 속력 제어 및/또는 조향의 일부 또는 전부를 담당할 수 있다.
도 37에는 차량(200)이 이미지캡처장치(122, 124, 126)를 구비하고 있는 것으로 도시되어 있지만, 이보다 많거나 적은 수의 이미지캡처장치가 특정 차량(200)에 쓰일 수 있다. 도 37에 도시된 바와 같이, 도로 구간(3700)은 좌측(3706)과 우측(3708)으로 경계를 이룰 수 있다. 미리 정해진 도로 모델 궤적(3710)이 차량(200)이 도로 구간(3700)을 따라 운행하면서 따라갈 도로 구간(3700) 내의 바람직한 경로(예, 목표 도로 모델 궤적)를 정의할 수 있다. 일부 실시예에서, 미리 정해진 도로 모델 궤적(3710)은 좌측(3706)과 우측(3708)으로부터 등거리에 위치할 수 있다. 그러나 미리 정해진 도로 모델 궤적(3710)이 도로 구간(3700)의 좌측(3706)과 우측(3708)의 어느 한 쪽에 더 가깝게 위치하는 것도 가능하다. 또한, 도 37에는 도로 구간(3700)에 하나의 차로만 있는 것으로 도시했지만, 다양한 수의 차로가 도로 구간(3700)에 존재할 수 있다. 또한, 도로 구간(3700)의 어느 한 차로를 따라 운행하는 차량(200)은 기재된 방법과 시스템에 따른 후미 정렬을 사용하여 주행될 수 있다.
영상획득부(120)는 차량(200)이 도로 구간(3700)을 따라 운행하면서 차량(200)의 주변환경을 나타내는 복수의 영상을 획득하도록 구성될 수 있다. 예를 들어, 영상획득부(120)는 하나 이상의 이미지캡처장치(122, 124, 126)를 사용하여 차량(200) 전방의 광경을 보여주는 복수의 영상을 획득할 수 있다. 차량(200)의 처리부(110)는 복수의 영상 각각에서 차량(200)의 위치를 감지하도록 구성될 수 있다. 차량(200)의 처리부(110)는 또한 운행한 궤적(3720)을 감지된 위치에 근거하여 판단하도록 구성될 수 있다. 여기서, 운행한 궤적(3720)은 차량(200)이 도로 구간(3700)을 운행하면서 실제로 지나간 경로를 나타낸다.
처리부(110)는 복수의 영상에 근거하여 차량(200)의 현재 위치(3712)를 판단하도록 구성될 수 있다. 도 37에 도시된 일 실시예에서, 차량(200)의 현재 위치(3712)는 미리 정해진 도로 모델 궤적(3710) 상의 목표 지점(3714)과 일치할 수 있다. 이런 현상은, 예를 들어, 차량(200)이 미리 정해진 도로 모델 궤적(3710) 상에 위치할 때 일어난다. 차량(200)은 일반적으로 미리 정해진 도로 모델 궤적(3710) 상에 또는 매우 가까이 위치할 것으로 예상되지만, 차량(200)이 미리 정해진 도로 모델 궤적(3710) 상에 위치하지 않을 수도 있으며, 이에 대해서는 도 38을 참조하여 설명한다.
처리부(110)는 현재 위치(3712)에서 차량(200)의 운행한 궤적(3720)과 미리 정해진 도로 모델 궤적(3710)을 비교하여 차량(200)의 자율 조향 동작을 결정하도록 구성될 수 있다. 예를 들면, 처리부(110)는 운행한 궤적(3720)과 미리 정해진 도로 모델 궤적(3710) 사이의 오차가 감소되게 변형(예, 회전 및 잠재적 평행 이동)을 결정하도록 구성될 수 있다.
처리부(110)는 현재 위치(3712)에서 차량(200)의 진행 방향(3730)을 판단하도록 구성될 수 있다. 처리부(110)는 운행한 궤적(320)에 근거하여 진행 방향(3730)을 판단할 수 있다. 예를 들어, 처리부(110)는 현재 위치(3712)에서 차량(200)의 운행한 궤적(3720)의 경사도를 진행 방향(3730)으로 판단할 수 있다. 처리부(110)는 또한 미리 정해진 도로 모델 궤적(3710)의 탄젠트 방향을 조향 방향(340)으로 판단하도록 구성될 수 있다. 일 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(3710)을 나타내는 3차원 다항식의 경사도에 근거하여 조향 방향(3740)을 판단하도록 구성될 수 있다.
처리부(110)는 차량(200)의 진행 방향(3730)이 미리 정해진 도로 모델 궤적(3710)의 조향 방향(3740)과 정렬(평행)되는지 여부를 판단하도록 구성될 수 있다. 차량(200)의 현재 위치(3712)에서 진행 방향(3730)이 미리 정해진 도로 모델 궤적(3710)의 조향 방향(3740)과 정렬되지 않은 경우, 처리부(110)는 차량(200)의 진행 방향(3730)이 미리 정해진 도로 모델 궤적(3710)의 조향 방향(3740)과 정렬되도록 자율 조향 동작을 결정할 수 있다. 처리부(110)는 주행 반응 모듈(408)에 저장된 지시를 실행하여, 예를 들어, 각도 의 회전이 이루어지도록 차량(200)의 조향 핸들을 회전함으로써 원하는 주행 반응을 발생시키도록 구성될 수 있다. 각도 만큼 회전하면 차량(200)의 진행 방향(3730)이 조향 방향(3740)과 정렬되는데 도움이 될 수 있다. 따라서, 예를 들어, 처리부(110)는 자율주행차의 진행 방향(3730)이 조향 방향(3740)과 정렬되도록 차량(200)이 회전할 각도 를 판단함으로써 차량(200)의 후미 정렬을 수행할 수 있다.
영상획득부(120)는, 예를 들어, 미리 정해진 시간 이후의 차량(200) 전방 주변환경의 복수의 영상을 반복적으로 획득할 수 있다. 처리부(110)는 또한 앞서 설명한 변형을 반복적으로 결정하도록 구성될 수 있다. 따라서, 영상획득부(120)와 처리부(110)는 운행한 궤적(3720)(즉, "후미(tail)")를 사용하여 도로 구간(3400)을 따라 차량(200)을 주행하기 위해 서로 협조할 수 있다.
도 38은 후미 정렬을 이용하여 차량(200)을 주행하는 본 발명에 기재된 시스템과 방법을 사용하여 도로 구간(3700)을 운행하는 다른 차량(200)을 도시한 것이다. 도 38과 달리, 도 38에 도시된 차량(200)은 미리 정해진 도로 모델 궤적(3710) 상에 위치하지 않는다. 그 결과, 도 38에 도시된 바와 같이 차량(200)의 목표 지점(3714)은 차량(200)의 현재 위치(3712)와 일치하지 않을 수 있다.
앞서 도 37을 참조하여 설명한 바와 같이, 처리부(110)는 차량(200)의 현재 위치(3712)에서 미리 정해진 도로 모델 궤적(3710)의 조향 방향(3740)을 결정하도록 구성될 수 있다. 처리부(110)는 목표 지점(3714)에서 미리 정해진 도로 모델 궤적(3710)의 경사도의 방향을 조향 방향(3740)으로 결정할 수 있다. 처리부(110)는 또한 차량(200)의 진행 방향(3730)이 조향 방향(3740)과 정렬(즉, 평행)되어 있는지 여부를 판단하도록 구성될 수 있다. 진행 방향(3730)이 조향 방향(3740)과 정렬되어 있지 않은 경우, 처리부(110)는, 예를 들어, 진행 방향(3730)이 조향 방향(3740)과 정렬되도록 하기 위해 필요한 회전 각도를 포함하는 변형을 결정할 수 있다. 또한, 변형은 차량(200)이 현재 위치(3712)로부터 미리 정해진 도로 모델 궤적(3710) 상의 목표 지점(3714)으로 이동하도록 하기 위하여 필요한 평행 이동 "d"를 포함할 수 있다.
처리부(110)는 미리 정해진 도로 모델 궤적(3710)과 차량(200)의 운행한 궤적(3720)을 비교하여 변형을 판단하도록 구성될 수 있다. 일 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(3710)과 운행한 궤적(3720) 사이의 오차를 축소함으로써 변형을 판단할 수 있다. 처리부(110)는 결정된 변형에 근거하여 원하는 주행 반응을 유발하기 위해 주행 반응 모듈(408)에 저장된 지시를 실행하도록 구성될 수 있다.
도 39는 본 발명의 기재된 실시예에 의한 후미 정렬을 이용하여 도로 구간(3700)을 따라 차량(200)을 주행하는 프로세스(3900)의 일례를 예시한 순서도이다. 프로세스(3900)의 단계들은 처리부(110) 및 영상획득부(120) 중 하나 또는 그 이상에 의해, 메모리(140 또는 150)에 접속하거나 접속하지 않고, 수행될 수 있다. 프로세스(3900)에서 단계의 순서 또는 배치는 예시의 목적으로만 제공된 것이다. 기재된 프로세스(3900)에 단계를, 예를 들어, 추가, 병합, 삭제, 및/또는 재배열 함으로써 프로세스(3900)를 수정할 수 있음은 당연한 것으로 이해될 수 있을 것이다.
도 39에 도시된 바와 같이, 프로세스(3900)는 차량의 주변환경을 나타내는 복수의 영상을 획득하는 단계(3902)를 포함할 수 있다. 일 실시예에서, 영상획득부(120)가, 차량이 도로 구간(3700)을 따라 운행함에 따라, 여러 장소에서 차량(200) 전방(또는, 예를 들어, 차량의 측방 또는 후방) 영역의 복수의 영상을 획득할 수 있다. 예를 들어, 영상획득부(120)는 시야(202)를 가진 이미지캡처장치(122)를 사용하여 각 위치(3752-3768, 3712)에서(도 37, 38 참조) 영상을 획득할 수 있다. 다른 실시예에서, 영상획득부(120)가 시야(202, 204, 206)를 각각 가진 하나 이상의 이미지캡처장치(122, 124, 126)로부터 각 위치(3752-3768, 3712)에서 영상을 획득할 수 있다. 영상획득부(120)는 하나 이상의 영상을 데이터 연결(예, 디지털, 유선, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다. 하나 이상의 이미지캡처장치(122, 124, 126)로부터 확보한 영상은 하나 이상의 메모리(140, 150) 및/또는 데이터베이스(160)에 저장될 수 있다.
프로세스(3900)는 또한 운행한 궤적(3720)을 판단하는 단계(3904)를 포함할 수 있다. 처리부(110)는 영상획득부(120)로부터 하나 이상의 영상을 수신할 수 있다. 처리부(110)는 도 34 내지 도 36을 참조하여 설명한 프로세스와 유사한 프로세스를 실행하여 복수의 영상에서 차량(200)의 위치(3752-3768)를 식별할 수 있다. 예를 들면, 처리부(110)는 하나 이상의 랜드마크를 식별하고 랜드마크의 방향 벡터를 이용하여, 도 34 내지 도 36을 참조하여 설명한 시스템과 방법을 사용하여 위치(3752-3768)와 현재 위치(3712)를 판단할 수 있다. 처리부(110)는 차량(200)의 판단된 위치(3752-3768)와 현재 위치(3712)에 근거하여 운행한 궤적(3720)을 판단할 수 있다. 일 실시예에서, 처리부(110)는 3차원 다항식을 차량(200)의 판단된 위치(3752-3768)와 현재 위치(3712)에 곡선 적합(curve-fitting)함으로써 운행한 궤적(3720)을 판단할 수 있다.
일 실시예에서, 처리부(110)는 단안 영상 분석 모듈(402)을 실행하여 복수의 영상에 대한 다중 프레임 부석을 수행할 수 있다. 예를 들면, 처리부(110)는 연속적 영상 프레임 사이의 카메라 움직임을 추정하고 프레임 사이의 픽셀 불일치를 계산하여 도로의 3D 지도를 그릴 수 있다. 이후, 처리부(110)는 3D 지도를 사용하여 노면을 감지하고 차량(200)의 운행한 궤적(3720)을 생성할 수 있다.
프로세스(3900)는 차량(200)의 현재 위치(3712)를 판단하는 단계(3906)를 포함할 수 있다. 처리부(110)는 인지된 랜드마크에 근거한 주행에 관해 도 34 내지 도 36을 참조하여 설명한 프로세스와 유사한 프로세를 수행함으로써 차량(200)의 현재 위치(3712)를 판단할 수 있다. 일부 실시예에서, 처리부(110)는 예를 들면 GPS 센서와 같은 위치 센서(130)로부터의 신호에 근거하여 현재 위치(3712)를 판단할 수 있다. 다른 실시예에서, 처리부(110)는 차량(200)이 운행한 궤적(3720)을 운행함에 따라 차량(200)의 속도를 통합함으로써 차량(200)의 현지 위치(3712)를 판단할 수 있다. 예를 들어, 처리부(110)는 차량(200)이 운행한 궤적(3720) 상의 두 지점(3751, 3712) 사이를 운행하는데 필요한 시간 "t"를 판단할 수 있다. 처리부(110)는 시간 t에 걸친 차량(200)의 속도를 통합하여 지점(3751)에 대한 차량(200)의 현재 위치(3712)를 판단할 수 있다.
프로세스(3900)는 또한 차량(200)의 현재 위치(3712)이 미리 정해진 도로 모델 궤적(3710) 상에 위치하는지 여부를 판단하는 단계(3908)를 포함할 수 있다. 일부 실시예에서, 미리 정해진 도로 모델 궤적(3710)은 도로 구간(3700)을 따라 가는 목표 궤적의 3차원 다항식으로 표현될 수 있다. 처리부(110)는 차량(200)에 포함된 하나 이상의 메모리(140, 150)에 저장된 데이터베이스(160)로부터 미리 정해진 도로 모델 궤적(3710)을 가져올 수 있다. 일부 실시예에서, 처리부(110)는 무선통신 인터페이스를 통하여 원격 장소에 저장된 데이터베이스(160)로부터 미리 정해진 도로 모델 궤적(3710)을 가져올 수 있다.
처리부(110)는 도 34 내지 도 37을 참조하여 설명한 프로세스와 유사한 프로세스를 사용하여, 즉, 예를 들어, 차량(200)과 인지된 랜드마크 사이의 거리를 판단하여, 차량(200)의 현재 위치(3712)가 미리 정해진 도로 모델 궤적(3710) 상에 위치하는지 여부를 판단할 수 있다. 처리부(110)가 차량(200)의 현재 위치가 미리 정해진 도로 모델 궤적(3710) 상에 위치한다고 판단하는 경우(도 37 참조), 처리부(110)는 단계 3912로 진행할 수 있다. 반면, 처리부(110)가 차량(200)의 현재 위치가 미리 정해진 도로 모델 궤적(3710) 상에 위치하지 않다고 판단하는 경우(도 38 참조), 처리부(110)는 단계 3910으로 진행할 수 있다.
단계 3910에서, 처리부(110)는 차량(200)이 현재 위치(3712)로부터 미리 정해진 도로 모델 궤적(3710) 상의 목표 지점(3714)으로 이동하도록 할 수 있는 횡적 오프셋 "d"를 판단할 수 있다. 처리부(110)는 횡적 오프셋 d를 결정할 수 있다. 일 실시예에서, 처리부(110)는 좌측과 우측(3706, 3708)을 판단함으로써 횡적 오프셋 d를 결정할 수 있다. 다른 실시예에서, 처리부(110)는 현재 위치(3712)를 목표 지점(3714)으로 변환하는데 필요한 평행이동 함수를 판단할 수 있다. 다른 실시예에서, 처리부(110)는 현재 위치(3712)와 목표 지점(3714) 사이의 오차를 축소함으로써 평행이동 함수를 판단할 수 있다. 또 다른 실시예에서, 처리부(110)는 도로 구간(3700)의 좌측(3706)과 우측(3708)을 관찰(예, 하나 이상의 카메라와 이 카메라가 확보한 하나 이상의 영상을 사용)함으로써 횡적 오프셋 d를 판단할 수 있다. 횡적 오프셋 d를 판단한 후에, 처리부(110)는 단계 3912를 진행할 수 있다.
프로세스(3900)는 차량(200)의 진행 방향(3730)을 결정하는 단계(3912)를 포함할 수 있고, 단계 3906에서 계산된 현재 위치(3712)에 대한 수정을 판단할 수 있다. 일 실시예에서, 처리부(110)는 현재 위치(3712)에서의 운행한 궤적(3720)을 모델 궤적(3710)과 정렬하여 진행 방향(3730)과 위치(3712)에 대한 수정을 판단할 수 있다. 정렬 절차는 3720과 3712 사이의 거리를 축소하거나 최소화하는 강체 변환을 제공할 수 있다. 일 실시예에서, 처리부(110)는 4자유도로 강체 변환을 계산하여 3D 회전(진행)과 1D 종방향 평행이동을 판단할 수 있다. 다른 실시예에서, 처리부(110)는 1과 6사이 수의 파라미터(자유도)로 강체 변환을 계산할 수 있다. 정렬 후에, 처리부(110)는 차량(200)의 현재 속도와 모델 궤적(3710)의 기하에 근거하여 시간 "t"가 경과한 후의 차량(200)의 예측 지점(3774)(도 37, 38 참조)을 판단할 수 있다.
다른 실시예에서, 단계 3912에서, 처리부(110)는 차량(200)의 진행 방향(3730)을 결정하고, 단계 3906에서 계산된 현재 위치(3712)에 대한 수정을 할 수 있다. 예를 들어, 처리부(110)는 현재 위치(3712)에서의 운행한 궤적(3720)을 모델 궤적(3710)과 정렬함으로써 진행 방향(3730)과 개선된 현재 위치(3712)를 판단할 수 있다. 정렬 절차는 3720과 3712 사이의 거리를 최소화하는 강체 변형을 구할 수 있다. 일 실시예에서, 처리부(110)는 4자유도(four degrees of freedom)로 강체 변환을 계산하여 3D 회전(진행)과 1D 종방향 평행이동을 판단할 수 있다. 다른 실시예에서, 처리부(110)는 1과 6사이 수의 파라미터(자유도)로 강체 변환을 계산할 수 있다. 정렬 후에, 처리부(110)는 차량(200)의 현재 속도와 모델 궤적(3710)의 기하에 근거하여 시간 "t"가 경과한 후의 차량(200)의 예측 지점(3774)(도 37, 38 참조)을 판단할 수 있다.
또 다른 실시예에서, 처리부(110)는 차량(200)의 현재 위치(3712)에서의 운행한 궤적(3720)의 경사도를 진행 방향(3730)과 위치(3712)로 판단할 수 있다. 예를 들어, 처리부(110)는 운행한 궤적(3720)을 나타내는 3차원 다항식의 경사도를 구하여 차량(200)의 진행 방향(3730)을 판단할 수 있다. 다른 실시예에서, 처리부(110)는 현재 위치(3712)로부터 진행할 운행한 궤적(3720)을 추정할 수 있다. 처리부(110)는 차량(200)의 현재 속도에 근거하여 시간 "t"가 경과한 이후의 차량(200)의 예측 지점(3774)(도 37, 38 참조)을 판단할 수 있다.
처리부(110)는 또한 시간 "t"가 경과한 이후의 차량(200)의 예측 지점(3774)을 많은 신호 중의 하나에 근거하여 판단할 수 있다. 예를 들어, 처리부(110)는 도로 구간(3700)의 좌측(3706)을 나타내는 다항식인 좌측 차로 표시 다항식에 근거하여 시간 "t"가 경과한 이후의 차량(200)의 예측 지점(3774)을 판단할 수 있다. 따라서, 예를 들어, 처리부(110)는 차량(200)의 현재 위치(3712)에 상응하는 좌측 차로 표시 다항식 상의 좌측 위치(3770)(도 37, 38 참조)를 판단할 수 있다. 처리부(110)는 좌측 차로 표시 다항식에 근거하여 현재 위치(3712)와 좌측(3706) 간의 거리 "D"를 판단하여 위치(3770)를 판단할 수 있다. 차량(200)이 미리 정해진 도로 모델 궤적(3710) 상에 위치하지 않은 경우(도 38 참조), 처리부(110)는 목표 지점(3714)과 좌측(3706) 간의 거리를 거리 D로 판단할 수 있다. 처리부(110)는 또한 좌측 차로 표시 다항식의 수학적 표현과 차량(200)의 현재 속도를 사용하여 시간 "t"가 경과한 이후의 좌측(3706) 상의 위치(3772)를 판단할 수 있다.처리부(110)는 좌측(3706) 상의 판단된 위치(3772)를 거리 D만큼 횡적 오프셋 함으로써 차량(200)의 예측 지점(3774)을 판단할 수 있다. 다른 실시예에서, 처리부(110)는 도로 구간(3700)의 우측(3708)을 나타내는 다항식인 우측 차로 표시 다항식에 근거하여 시간 "t"가 경과한 이후의 차량(200)의 위치를 판단할 수 있다. 처리부(110)는 앞서 좌측 차로 표시 다항식에 대하여 설명한 프로세스와 유사한 프로세스를 수행하여 우측 차로 표시 다항식에 근거한 차량(200)의 예측 지점(3774)을 판단할 수 있다.
일부 실시예에서, 처리부(110)는 차량(200) 앞에서 운행하는 전방 차량의 궤적에 근거하여 시간 "t"가 경과한 이후의 차량(200)의 위치를 판단할 수 있다. 다른 실시예에서, 처리부(110)는 차량(200) 전방의 빈 공간의 양과 차량(200)의 현재 속도를 판단하여 시간 "t"가 경과한 이후의 차량(200)의 위치를 판단할 수 있다. 일부 실시예에서, 처리부(110)는 가상 차로 또는 가상 차로 제약에 근거하여 시간 "t"가 경과한 이후의 차량(200)의 위치를 판단할 수 있다. 예를 들어, 처리부(110)가 차량(200)의 전방에, 인접한 차로에 한 대씩, 두 대의 차량이 운행하고 있는 것을 감지한 경우, 처리부(110)는 전방의 두 차량 사이의 평균 횡적 거리를 궤적(가상 차로 표시자)으로 사용하여 시간 "t"가 경과한 이후의 차량(200)의 위치를 판단할 수 있다. 다른 실시예에서, 처리부(110)는 좌측(3706)(즉, 좌측 차로 표시 다항식)과 우측(3708)(즉, 우측 차로 표시 다항식)의 수학적 표현을 가상 차로 제약을 정의하는 것으로 사용할 수 있다. 처리부(110)는 가상 차로 제약(즉, 좌측 및 우측 차로 표시 다항식)과 좌, 우측(3706, 3708)으로부터 추정된 차량(200)의 위치에 근거하여 차량(200)의 예측 지점(3774)을 판단할 수 있다.
다른 실시예에서, 처리부(110)는 전체론적 경로 예측(holistic path prediction) 방법을 사용하여 예측된 궤적을 따라가는 것에 근거하여 시간 "t"가 경과한 이후의 차량(200)의 예측 지점(3774)를 판단할 수 있다. 일부 실시예에서, 처리부(110)는 앞서 설명한 신호의 일부 또는 전부에 가중치를 부여함으로써 시간 "t"가 경과한 이후의 차량(200)의 예측 지점(3774)를 판단할 수 있다. 예를 들어, 처리부(110)는 좌측 차로 표시 다항식 모델, 우측 차로 표시 다항식 모델, 전체론적 경로 예측, 전방 차량의 움직임, 자율주행차 전방에 판단된 빈 공간, 및 가상 차로 중의 하나 또는 그 이상에 근거하여 예측된 지점에 가중치를 부여한 조합을 시간 "t"가 경과한 이후의 차량(200)의 위치로 판단할 수 있다. 처리부(110)는 차량(220)의 현재 위치(3712)와 시간 "t"가 경과한 이후의 예측 지점(3774)을 사용하여 차량(200)의 진행 방향(3730)을 판단할 수 있다.
일부 실시예에서, 프로세스(3900)의 단계 3912에서, 처리부(110)는 또한 종적 오프셋을 추정할 수 있다. 예를 들면, 처리부(110)는 모델 궤적과 차량(200)의 후미 사이의 정렬 절차에 의해 진행과 오프셋에 대한 답을 구할 수 있다.
프로세스(3900)는 또한 조향 방향(3740)을 판단하는 단계(3914)를 포함할 수 있다. 일 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(3710)의 수학적 표현(예, 3차원 다항식)을 구할 수 있다. 처리부(110)는 목표 지점(3714)에서의 미리 정해진 도로 모델 궤적(3710)의 탄젠트 방향의 벡터를 조향 방향(3740)으로 판단할 수 있다. 예를 들어, 처리부(110)는 목표 지점(3714)에서의 미리 정해진 도로 모델 궤적(3710)의 수학적 표현의 경사도를 따라 가리키는 벡터를 조향 방향(3740)으로 판단할 수 있다.
프로세스(3900)는 또한, 예를 들어, 단계 3910 내지 3914에서 판단된 변형에 근거하여 차량(200)의 조향 시스템(240)을 조정하는 단계(3916)를 포함할 수 있다. 요구되는 변형에는 횡적 오프셋 d가 포함할 수 있다. 변형에는 또한 차량(200)의 진행 방향(3730)이 조향 방향(3740)과 정렬되도록 하는 각도만큼의 회전이 포함될 수 있다. 도 37과 38에는 진행 방향(3730)과 조향 방향(3740) 사이에 하나의 각도를 판단하는 것으로 도시되어 있으나, 3차원 공간에서는 진행 방향(3730)이 조향 방향(3740)과 정렬되도록 하기 위해서 서로 직교하는 3개의 면에서 3개의 각도를 따라 회전해야 한다는 것은 당연하게 이해될 것이다. 따라서, 본 발명 분야의 당업자라면 단계 3910 내지 3914에서 판단된 변형은 적어도 3개의 회전각과 적어도 하나의 평행이동(즉, 횡적 오프셋)을 포함할 수 있다는 것을 인지할 수 있을 것이다.
처리부(110)는 제어 신호를 조향 시스템(240)으로 전송하여, 차량(200)이 미리 정해진 도로 모델 궤적(3710)에서 벗어나 위치하는 경우, 차량(200)의 진행 방향(3730)이 조향 방향(3740)과 일치하고 차량(200)이 현재 위치(3712)로부터 목표 지점(3714)으로 이동하도록 할 수 있다. 처리부(110) 및/또는 영상획득부(120)는 미리 정해진 시간이 경과한 이후에 단계 3902 내지 3916을 반복할 수 있다. 일 실시예에서, 미리 정해진 시간은 약 0.5초 내지 1.5초일 수 있다. 횡적 오프셋 d와 회전각을 반복적으로 판단함으로써, 처리부(110) 및/또는 영상획득부(120)는 후미 정렬을 사용하여 도로 구간(3700)을 따라 차량(200)을 주행할 수 있다.
본 명세서의 다른 부분에서 설명하는 바와 같이, 도로 구간을 따라 자율주행차의 주행할 때에는 하나 이상의 인지된 랜드마크가 사용될 수 있다. 무엇보다도, 이러한 인지된 랜드마크는 자율주행차가 목표 궤적에 대한 현재 위치를 간략 데이터 모델(800)로부터 판단할 수 있도록 해준다. 하나 이상의 인지된 랜드마크를 사용한 현재 위치 판단은, 예를 들어, GPS 감지를 사용하여 위치를 판단하는 것보다 더 정확할 수 있다.
자율주행차는 추측항법 방식을 사용하여 인지된 랜드마크 사이를 주행할 수 있다. 이 방식은, 차량의 자체 움직임 감지에 근거하여 목표 궤적에 대한 차량의 현재 위치를 주기적으로 추정한다. 이러한 감지된 자체 움직임은 차량이(예, 처리부(110)를 사용하여) 목표 궤적에 대한 차량의 현재 위치를 추정하게 하고 처리부(110)가 차량의 운행한 궤적을 재구성할 수 있게 해준다. 차량의 자체 움직임을 판단하기 위해 사용되는 센서에는, 예를 들어, 차량 탑재 카메라, 속도계, 및/또는 가속도계와 같은 다양한 센서가 포함될 수 있다. 이러한 센서를 사용하여, 처리부(110)는 차량이 운행해온 궤적을 감지하고 운행한 궤적을 재구성할 수 있다. 이렇게 재구성된 운행한 궤적을 앞서 설명한 후미 정렬 방식을 사용하여 목표 궤적과 비교하여, 어떤 주행 변경을 수행하여야 현재 위치에서의 운행한 궤적이 현재 위치에서의 목표 궤적과 정렬될 수 있는지를 판단할 수 있다.
도로 교차로 주행
본 발명의 기재된 실시예에 의한 시스템은 차선 표시가 거의 또는 전혀 없는 구역으로 구성된 도로 교차로를 주행할 수 있다. 교차로 주행은 두 개 이상의 랜드마크에 근거한 3D 위치 인식을 포함할 수 있다. 이에 따라, 예를 들어, 시스템은 두 개 이상의 랜드마크에 의존하여 자율주행차의 현재 위치와 진행 방향을 판단할 수 있다. 나아가, 시스템은 판단된 진행 방향과 차량의 바람직한 경로를 나타내는 미리 정해진 도로 모델 궤적의 방향에 근거하여 조향 동작을 판단할 수 있다.
도 40은 도로 교차로를 주행하기 위한 기재된 시스템과 방법을 사용하여 차량(200)(예, 자율주행차)이 도로 교차로(4000)를 운행하는 일례를 도시한다. 도 40에 도시된 바와 같이, 차량(200)은 도로 구간(4004)과 교차하는 도로 구간(4002)을 따라 운행 중일 수 있다. 도 40에는 도로 구간(4002, 4004)이 직각으로 서로 교차하는 것으로 나타나 있으나, 도로 구간(4002, 4004)이 어느 각도로나 서로 교차할 수 있음은 당연히 이해될 것이다. 나아가, 도로 구간(4002, 4004)에는 각각 2차선이 있는 것으로 도 40에 도시되어 있으나, 도로 구간(4002, 4004)에는 다른 수의 차선이 있을 수 있음은 당연히 이해될 것이다. 또한, 도로 구간(4002, 4004)은 서로 같은 수 또는 다른 수의 차선이 있을 수 있음도 당연히 이해될 것이다.
차량(200)은 도로 구간(4002)의 차로(4006)을 따라 운행할 수 있다. 차량(200)은 세 개의 이미지캡처장치(122, 124, 126)를 구비하고 있을 수 있다. 도 40에는 차량(200)이 이미지캡처장치(122, 124, 126)를 구비하고 있는 것으로 도시되어 있지만, 특정 차량(200)에 구비될 수 있는 이미지캡처장치의 수는 이보다 많을 수도 있고 적을 수도 있다. 도 40에 도시된 바와 같이, 도로 구간(4002)의 차로(4006)는 좌측(4008)과 우측(4010)으로 경계를 이룰 수 있다. 미리 정해진 도로 모델 궤적(4012)이 차량(200)이 교차로(4000)를 통해 도로 구간(4002, 4004)을 따라 운행하면서 따라갈 도로 구간(4002, 4004)의 차로(4006) 내의 바람직한 경로(예, 목표 도로 모델 궤적)를 정의할 수 있다. 일부 실시예에서, 미리 정해진 도로 모델 궤적(4012)은 좌측(4008)과 우측(4010)으로부터 등거리에 위치할 수 있다. 그러나 미리 정해진 도로 모델 궤적(4012)이 도로 구간(4002)의 좌측(4008)과 우측(4008)의 어느 한 쪽에 더 가깝게 위치하는 것이 가능하다는 것도 당연히 이해될 것이다.
일 실시예에서, 미리 정해진 도로 모델 궤적(4012)은 3차원 다항식 함수를 사용하여 수학적으로 정의될 수 있다. 일부 실시예에서, 차량(200)의 처리부(110)는 차량(200)에 포함된 하나 이상의 메모리(140, 150)에 저장된 데이터베이스(예, 160)로부터 미리 정해진 도로 모델 궤적(4012)을 가져오도록 구성될 수 있다. 다른 실시예에서, 차량(200)의 처리부(110)는 차량(200)으로부터 원격으로 저장돼 있는 데이터베이스(예, 160)로부터 무선 통신 인터페이스를 통하여 미리 정해진 도로 모델 궤적(4012)을 가져오도록 구성될 수 있다. 도 40의 실시예에 도시된 바와 같이, 미리 정해진 도로 모델 궤적(4012)은 차량(200)이 도로 구간(4002)의 차로(4006)로부터 좌회전하여 도로 구간(4004)의 차로(4014)로 진행할 수 있게 한다.
영상획득부(120)는 차량(200)의 주변환경을 나타내는 영상을 획득하도록 구성될 수 있다. 예를 들면, 영상획득부(120)는 하나 이상의 이미지캡처장치(122, 124, 126)를 사용하여 차량(200) 전방의 광경을 보여주는 영상을 획득할 수 있다. 차량(200)의 처리부(110)는 영상획득부(120)가 획득한 하나 이상의 영상에서 둘 이상의 랜드마크(4016, 4018)를 감지하도록 구성될 수 있다. 이러한 감지는 앞서 설명한 랜드마크 감지 방식을 사용하여 수행될 수 있다. 처리부(110)앞서 도 22 내지 28을 참조하여 설명한 랜드마크 식별 프로세스를 사용하여 둘 이상의 랜드마크(4016, 4018)를 감지할 수 있다. 도 40에는 두 개의 랜드마크(4016, 4018)가 도시되어 있으나, 차량(200)이 영상획득부(120)가 획득한 영상에 근거하여 둘 이상의 랜드마크(4016, 4018)(예, 세 개의 랜드마크 또는 그 이상)를 감지할 수 있음은 당연히 이해될 것이다. 예를 들어, 도 40에는 처리부(110)에 의해 감지되고 사용될 수 있는 추가 랜드마크(4020, 4022)가 도시되어 있다.
처리부(110)는 랜드마크(4016, 4018)의 각 위치(4024, 4026)를 차량(200)에 대해 판단하도록 구성될 수 있다. 처리부(110)는 또한 랜드마크(4016, 4018)의 하나 이상의 방향 지시자(4030, 4032)를 차량(200)에 대해 판단하도록 구성될 수 있다. 나아가, 처리부(110)는 방향 지시자(4030, 4032)에 근거하여 차량(200)의 현재 위치(4028)를 판단하도록 구성될 수 있다. 도 40에 도시된 일 실시예에서, 처리부(110)는 방향 지시자(4030, 4032)의 교차점을 현재 위치(4028)로 판단할 수 있다.
처리부(110)는 차량(200)의 이전 위치(4304)를 판단하도록 구성될 수 있다. 일 실시예에서, 처리부(110)는 차량(200)이 도로 구간(4002, 4004)을 운행함에 따라 반복적으로 차량(200)의 위치를 판단할 수 있다. 이에 따라, 예를 들어, 차량(200)이 현재 위치(4028)에 도달하기 전에, 차량은 이전 위치(4034)에 위치할 수 있고 이전 위치(4034)로부터 현재 위치(4028)로 이동할 수 있다. 현재 위치(4028)에 도달하기 전에, 차량(200)의 처리부(110)는 랜드마크(4016, 4018)의 각 위치(4024, 4026)를 차량(200)에 대해 판단하도록 구성될 수 있다. 처리부(110)는 또한 랜드마크(4016, 4018)의 방향 지시자(4036, 4038)를 차량(200)에 대해 판단하도록 구성될 수 있다. 처리부(110)는 또한 방향 지시자(4036, 4038)의 교차점에 근거하여 차량(200)의 이전 위치(4034)를 판단하도록 구성될 수 있다. 도 40에 도시된 일 실시예에서, 처리부(110)는 방향 지시자(4036, 4038)의 교차점을 이전 위치(4034)로 판단하도록 구성될 수 있다.
처리부(110)는 차량(200)의 현재 위치(4028)에서의 미리 정해진 도로 모델 궤적(4012)의 방향(4040)을 판단하도록 구성될 수 있다. 처리부(110)는 미리 정해진 도로 모델 궤적(4012)의 탄젠트 방향을 방향(4040)으로 판단할 수 있다. 일 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(4012)을 나타내는 3차원 다항식의 경사도 또는 기울기에 근거하여 방향(4040)을 판단하도록 구성될 수 있다.
처리부(110)는 또한 차량(200)의 진행 방향(4050)을 판단하도록 구성될 수 있다. 처리부(110)는 랜드마크(4016, 4018)에 근거하여 진행 방향(4050)을 판단할 수 있다. 처리부(110)는 차량(200)의 현재 위치(4028)와 이전 위치(4034)에 근거하여 진행 방향(4050)을 판단할 수 있다. 예를 들면, 처리부(110)는 이전 위치(4034)로부터 현재 위치(4028)로 연장되는 벡터를 진행 방향(4050)으로 판단할 수 있다. 일부 실시예에서, 처리부(110)는 이미지캡처장치(122)가 차량(200)과 연관된 로컬 좌표 시스템에 대해 향하는 방향을 진행 방향(4050)으로 판단할 수 있다.
처리부(110)는 차량(200)의 진행 방향(4050)이 미리 정해진 도로 모델 궤적(4012)의 방향(4040)과 정렬(즉, 평행)되어 있는지 여부를 판단하도록 구성될 수 있다. 차량(200)의 현재 위치(4028)에서 진행 방향(4050)이 미리 정해진 도로 모델 궤적(4012)의 방향(4040)과 정렬되어 있지 않은 경우, 처리부(110)는 차량(200)의 진행 방향(4050)과 미리 정해진 도로 모델 궤적(4012)의 방향(4040) 사이의 조향각을 판단할 수 있다. 일 실시예에서, 처리부(110)는 또한, 예를 들어, 차량(200)의 진행 방향(4050)이 정해진 시간 내에 미리 정해진 도로 모델 궤적(4012)의 방향(4040)과 정렬되도록 하기에 필요한 차량(200)의 현재 속도의 감속 또는 가속을 판단할 수 있다. 처리부(110)는 또한 주행 반응 모듈(408)에 저장된 지시를 실행하여, 예를 들어, 차량의 조향 시스템(240)에 조향각을 지정하는 제어 신호를 전송하도록 구성될 수 있다. 이에 따라, 조향 시스템(240)은 차량(200)의 바퀴를 회전하여 차량(200)의 진행 방향(4050)이 미리 정해진 도로 모델 궤적(4012)의 방향(4040)과 정렬되게 하도록 구성될 수 있다.
영상획득부(120)는, 예를 들어, 미리 정해진 시간의 경과 이후에, 차량(200) 전방의 주변환경 영상을 반복적으로 획득할 수 있다. 처리부(110)는 또한 영상획득부(120)가 획득한 영상에서 랜드마크(4016, 4018, 4020, 4022 등)를 반복적으로 감지하고 앞서 설명한 바와 같이 조향각을 판단할 수 있다. 따라서, 영상획득부(120)와 처리부(110)는 둘 이상의 랜드마크(4016, 4018, 4020, 4022)를 사용하여 교차로(4000)를 통해 차량(200)을 주행하기 위해 서로 협조할 수 있다.
도 41은 본 발명의 기재된 실시예에 의한, 둘 이상의 랜드마크(4016, 4018, 4020, 402)를 사용하여 교차로(4000)를 통해 차량(200)을 주행하는 프로세스(4100)의 일례를 예시한 순서도이다. 프로세스(4100)의 단계들은 처리부(110) 및 영상획득부(120) 중 하나 또는 그 이상에 의해, 메모리(140 또는 150)에 접속하거나 접속하지 않고, 수행될 수 있다. 프로세스(4100)에서 단계의 순서 또는 배치는 예시의 목적으로만 제공된 것이다. 기재된 프로세스(4100)에 단계를, 예를 들어, 추가, 병합, 삭제, 및/또는 재배열 함으로써 프로세스(4100)를 수정할 수 있음은 당연한 것으로 이해될 수 있을 것이다.
도 41에 도시된 바와 같이, 프로세스(4100)은 차량의 주변환경을 나타내는 영상을 획득하는 단계(4102)를 포함할 수 있다. 일 실시예에서, 영상획득부(120)는 차량(200) 전방(또는 차량의 측방 또는 후방) 영역의 하나 이상의 영상을 획득할 수 있다. 예를 들어, 영상획득부(120)는 시야(202)를 가진 이미지캡처장치(122)를 사용하여 영상을 획득할 수 있다. 다른 실시예에서, 영상획득부(120)가 시야(202, 204, 206)를 각각 가진 하나 이상의 이미지캡처장치(122, 124, 126)로부터 영상을 획득할 수 있다. 영상획득부(120)는 하나 이상의 영상을 데이터 연결(예, 디지털, 유선, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
프로세스(4100)는 또한 하나 이상의 영상에서 둘 이상의 랜드마크(4016, 4018, 4020, 4022)를 식별하는 단계(4104)를 포함할 수 있다. 처리부(110)는 영상획득부(120)로부터 하나 이상의 영상을 수신할 수 있다. 처리부(110)는 도 5b 내지 5d 를 참조하여 상세히 설명한 바와 같이, 단계 4104에서 단안 영상 분석 모듈(402)을 실행하여 복수의 영상을 분석할 수 있다. 이 분석을 수행함으로써, 처리부(110)는 영상 모음 내에서 하나 이상의 랜드마크(4016, 4018, 4020, 4022)와 같은 특징 모음을 감지할 수 있다. 랜드마크(4016, 4018, 4020, 4022)에는 교통표지판, 화살표 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 가로등, 도로의 차선 간격 변경, 상업용 표지판 등 중의 하나 또는 그 이상이 포함될 수 있다.
일부 실시예에서, 처리부(110)는 단안 영상 분석 모듈(402)를 실행하여 둘 이상의 랜드마크(4016, 4018, 4020, 4022)를 감지하기 위하여 복수의 영상에 대한 다중 프레임 분석을 수행할 수 있다. 예를 들어, 처리부(110)는 연속되는 영상 프레임 사이의 카메라 움직임을 추정하고 프레임 사이의 픽셀 불일치를 계산하여 도로의 3D 지도를 그릴 수 있다. 이후, 처리부(110)는 3D 지도를 사용하여 랜드마크(4016, 4018, 4020, 4022)뿐만 아니라 노면을 감지할 수 있다. 다른 실시예에서, 처리부(110)의 영상 프로세서(190)는 영상획득부(120)로부터 수신된 복수의 영상을 하나 또는 그 이상의 합성영상으로 조합할 수 있다. 처리부(110)는 합성영상을 사용하여 둘 이상의 랜드마크(4016, 4018, 4020, 4022)를 감지할 수 있다. 예를 들어, 처리부(110)는 둘 이상의 이미지캡처장치로부터의 영상의 스테레오 처리(stereo processing)를 수행할 수 있다.
프로세스(4100)는 또한 적어도 두 랜드마크(4106, 4108)와 각각 연관된 방향 지시자(4030, 4032)를 판단하는 단계(4106)를 포함할 수 있다. 처리부(110)는 적어도 두 랜드마크(4016, 4018)의 차량(200)에 대한 각 위치(4024, 4026)에 근거하여 방향 지시자(4030, 4032)를 판단할 수 있다. 예를 들어, 처리부(110)는 메모리(140 또는 150) 내의 하나 이상의 데이터베이스에 저장된 정보로부터 랜드마크(4016, 4018)의 각 랜드마크 위치(4024, 4026)를 수신할 수 있다. 처리부(110)는 차량(200)으로부터 랜드마크 위치(4024)로 연장된 벡터를 방향 지시자(4030)로 판단할 수 있다. 마찬가지로, 처리부(110)는 차량(200)으로부터 랜드마크 위치(4026)로 연장된 벡터를 방향 지시자(4032)로 판단할 수 있다. 여기서 두 랜드마크(4016, 4018)를 참조하여 설명하였지만, 처리부(110)가 둘 이상의 랜드마크(4016, 4018)에 대한(예, 랜드마크(4020, 4022)에 대한) 랜드마크 위치(4024, 4026)와 방향 지시자(4030, 4032)를 판단할 수 있음은 당연히 이해될 것이다.
프로세스(4100)는 차량(200)의 현재 위치(4028)를 판단하는 단계(4108)를 포함할 수 있다. 처리부(110)는 랜드마크(4016, 4018)의 각 방향 지시자(4030, 4032)의 교차점에 근거하여(예, 방향 지시자(4030, 4032)의 교차점에서) 현재 위치(4028)를 판단할 수 있다. 프로세스(4100)는 차량(200)의 이전 위치(4034)를 판단하는 단계(4110)를 포함할 수 있다. 앞서 설명한 바와 같이, 처리부(110)는 둘 이상의 랜드마크(4016, 4018, 4020, 4022)에 근거하여 차량(200)의 이전 위치(4034)를 판단하도록 구성될 수 있다. 일 실시예에서, 처리부(110)는 차량(200)이 도로 구간(4002, 4004)을 운행함에 따라 둘 이상의 랜드마크(4016, 4018, 4020, 4022)를 사용하여 반복적으로 차량(200)의 위치를 판단할 수 있다. 이에 따라, 예를 들어, 차량(200)이 현재 위치(4028)에 도달하기 전에, 차량은 이전 위치(4034)에 위치할 수 있고 이전 위치(4034)로부터 현재 위치(4028)로 이동할 수 있다. 현재 위치(4028)에 도달하기 전에, 차량(200)의 처리부(110)는 랜드마크(4016, 4018)의 각 위치(4024, 4026)를 차량(200)에 대해 판단하도록 구성될 수 있다. 처리부(110)는 단계 4108을 참조하여 설명한 프로세스와 유사한 프로세스를 수행하여 차량(200)의 이전 위치(4034)를 판단할 수 있다. 예를 들어, 처리부(110)는 랜드마크(4016, 4018)의 방향 지시자(4036, 4038)를 차량(200)에 대해 판단하도록 구성될 수 있다. 처리부(110)는 또한 방향 지시자(4036, 4038)의 교차점에 근거하여(예, 방향 지시자(4036, 4038)의 교차점에서) 차량(200)의 이전 위치(4034)를 판단하도록 구성될 수 있다.
프로세스(4100)는 차량(200)의 진행 방향(4050)을 판단하는 단계(4112)를 포함할 수 있다. 앞서 설명한 바와 같이, 처리부(110)는 둘 이상의 랜드마크(4016, 4018, 4020, 4022)를 사용하여 판단될 수 있는 차량(200)의 현재 위치(4028)와 이전 위치(4034)에 근거하여 진행 방향(4050)을 판단할 수 있다. 일 실시예에서, 처리부(110)는 이전 위치(4034)로부터 현재 위치(4028)로 연장되는 벡터를 진행 방향(4050)으로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 이미지캡처장치(122)가 차량(200)과 연관된 로컬 좌표 시스템에 대해 향하는 방향을 진행 방향(4050)으로 판단할 수 있다. 차량(200)의 현재 위치(4028)와 이전 위치(4034)를 판단함에 있어 두 랜드마크(4016, 4018)만을 설명하였으나, 처리부가 둘 이상의 랜드마크(4016, 4018)를 사용하여 차량의 현재 위치(4028)와 이전 위치(4034) 및 진행 방향(4050)을 판단할 수 있음은 당연히 이해될 것이다.
프로세스(4100)는 차량(200)의 현재 위치(4028)에서 미리 정해진 도로 모델 궤적(4012)의 방향(4040)을 판단하는 단계(4114)를 포함할 수 있다. 일 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(4012)의 수학적 표현(예, 3차원 다항식)을 구할 수 있다. 처리부(110)는 차량(200)의 현재 위치(4028)에서의 미리 정해진 도로 모델 궤적(4012)의 탄젠트 방향의 벡터를 방향(4040)으로 판단할 수 있다. 예를 들어, 처리부(110)는 차량(200)의 현재 위치(4028)에서의 미리 정해진 도로 모델 궤적(4012)의 수학적 표현의 경사도를 따라 가리키는 벡터를 방향(4040)으로 판단할 수 있다. 상기 설명은 차량(200)의 현재 위치(4028)와 이전 위치(4034)가 미리 정해진 도로 모델 궤적(4012) 상에 위치하는 것으로 가정하지만, 차량(200)이 미리 정해진 도로 모델 궤적(4012) 상에 위치하지 않은 경우, 처리부(110)는 도 34 내지 39를 참조하여 설명한 프로세스와 유사한 프로세스를 수행할 수 있다. 예를 들어, 처리부(110)는 앞서 설명한 바와 같이 방향(4040)을 판단하기 이전에, 차량(200)을 미리 정해진 도로 모델 궤적(4012)으로 이동하기 위해 필요한 변형을 판단할 수 있다.
처리부(110)는 또한 차량(200)에 대한 조향각을 판단하는 단계(4116)를 포함할 수 있다. 처리부(110)는 또한 차량(200)의 현재 위치(4028)에서의 진행 방향(4050)과 미리 정해진 도로 모델 궤적(4012)의 방향(4040) 사이의 각도를 조향각 으로 판단할 수 있다. 처리부(110)는 주행 반응 모듈(408)에 저장된 지시를 실행하여, 예를 들어, 조향 시스템(240)에 조향각을 지정하는 제어 신호를 전송할 수 있다. 조향 시스템(240)은, 예를 들어, 차량(200)의 조향 핸들이 차량(200)의 바퀴를 회전하여 차량(200)의 진행 방향(4050)이 미리 정해진 도로 모델 궤적(4012)의 방향(4040)과 정렬(즉, 평행)되게 할 수 있다.
처리부(110) 및/또는 영상획득부(120)는 미리 정해진 시간이 경과한 이후에 단계 4102 내지 4116을 반복할 수 있다. 일 실시예에서, 미리 정해진 시간은 약 0.5초 내지 1.5초일 수 있다. 현재 위치(4028), 진행 방향(4050), 미리 정해진 도로 모델 궤적(4012)의 현재 위치(4028)에서의 방향(4040), 및 진행 방향(4050)을 방향(4040)과 정렬하기 위해 필요한 조향각을 반복적으로 판단함으로써, 처리부(110)는 하나 이상의 제어 신호를 구동 시스템(220), 조향 시스템(240), 및 제동 시스템(260)의 하나 또는 그 이상에 전송하여 둘 이상의 랜드마크(4016, 4018, 4020, 4022)를 사용하여 도로 교차로(4000)를 통과하여 차량(200)을 주행할 수 있다.
로컬 중첩 지도를 사용한 주행
본 발명의 기재된 실시예에 의한 시스템은 복수의 로컬 지도를 사용하여 주행할 수 있다. 각 지도는 고유의 임의 좌표 프레임을 가지고 있다. 한 로컬 지도로부터 다른 로컬 지도로의 이행을 수월하게 하기 위하여, 지도들은 중첩 구간을 포함하고, 중첩 구간의 주행은 중첩하는 지도 모두에 근거하여 이루어질 수 있다.
도 43은 제1 및 제2 도로 구간(4204, 4206)과 각각 연계된 제1 및 제2 로컬 지도(4200, 4202)의 예시를 도시한 것이다. 제1 도로 구간(4204)은 제2 도로 구간(4206)과 다를 수 있다. 지도(4200, 4202)는 각각 고유의 임의 좌표 프레임을 가지고 있을 수 있다. 지도(4200, 4202)는 또한 각각 동일 또는 상이한 데이터 밀도를 가진 약도(sparse map)를 구성할 수 있다. 일 실시예에서, 지도(4200, 4202) 각각의 데이터 밀도는 킬로미터 당 10kB 이하일 수 있다. 물론, 로컬 지도(4200, 4202)는 앞서 약도(sparse map, 800)에 대하여 설명한 데이터 밀도와 같은 다른 데이터 밀도값을 포함하고 있을 수 있다. 제1 도로 구간(4204) 및/또는 제2 도로 구간(4206)을 운행하는 차량(200)(예, 자율주행차)은 기재된 시스템과 방법을 사용하여 주행을 할 수 있다. 차량(200)은 자율주행차의 주변환경을 나타내는 하나 이상의 영상을 확보하도록 구성된 적어도 하나의 이미지캡처장치(122)를 포함할 수 있다. 도 42에는 차량(200)이 이미지캡처장치(122, 124, 126)를 구비하고 있는 것으로 도시되어 있지만, 이보다 많거나 적은 수의 이미지캡처장치가 특정 차량(200)에 쓰일 수 있다. 도 42에 도시된 바와 같이, 지도(4200)는 좌측(4208)과 우측(4210)으로 경계를 이루는 도로 구간(4204)을 포함할 수 있다. 미리 정해진 도로 모델 궤적(4212)이 도로 구간(4204) 내의 바람직한 경로(즉, 목표 도로 모델 궤적)를 정의할 수 있다. 미리 정해진 도로 모델 궤적(4212)은 3차원 다항식에 의해 수학적으로 표현될 수 있다. 차량(200)은 도로 구간(4204)를 운행하면서 미리 정해진 도로 모델 궤적(4212)을 따라갈 수 있다. 일부 실시예에서, 미리 정해진 도로 모델 궤적(4212)은 좌측(4208)과 우측(4210)으로부터 등거리에 위치할 수 있다. 그러나 미리 정해진 도로 모델 궤적(4212)이 도로 구간(4204)의 좌측(4208)과 우측(4210)의 어느 한 쪽에 더 가깝게 위치하는 것도 가능하다. 도 42에 도시된 바와 같이, 경계점 A와 B 사이의 도로 구간(4204) 부분은 중첩 구간(4220)을 나타내는 것일 수 있다. 나중에 설명하겠지만, 도로 구간(4204)의 A와 B 사이의 중첩 구간(4220)은 도로 구간(4206)의 일부와 중첩될 수 있다. 또한, 도 42에는 도로 구간(4204)에 하나의 차로만 있는 것으로 도시했지만, 다양한 수의 차로가 도로 구간(4204)에 존재할 수 있다. 또한, 도로 구간(4204)의 어느 한 차로를 따라 운행하는 차량(200)은 기재된 방법과 시스템에 따라 주행될 수 있다. 나아가, 일부 실시예에서, 도로 구간은, 예를 들어, 두 교차로와 같은 두 개의 알려진 지점 사이에 연장될 수 있다.
도 42에 또한 도시된 바와 같이, 지도(4200)는 좌측(4222)과 우측(4224)으로 경계를 이루는 도로 구간(4206)을 포함할 수 있다. 미리 정해진 도로 모델 궤적(4226)이 도로 구간(4206) 내의 바람직한 경로(즉, 목표 도로 모델 궤적)를 정의할 수 있다. 미리 정해진 도로 모델 궤적(4226)은 3차원 다항식에 의해 수학적으로 표현될 수 있다. 차량(200)은 도로 구간(4206)를 운행하면서 미리 정해진 도로 모델 궤적(4226)을 따라갈 수 있다. 일부 실시예에서, 미리 정해진 도로 모델 궤적(4226)은 좌측(4222)과 우측(4224)으로부터 등거리에 위치할 수 있다. 그러나 미리 정해진 도로 모델 궤적(4226)이 도로 구간(4206)의 좌측(4222)과 우측(4224)의 어느 한 쪽에 더 가깝게 위치하는 것도 가능하다. 도 42에 도시된 바와 같이, 경계점 A'와 B' 사이의 도로 구간(4206) 부분은 중첩 구간(4220)을 나타내는 것일 수 있다. 도 42에는 도로 구간(4206)에 하나의 차로만 있는 것으로 도시했지만, 다양한 수의 차로가 도로 구간(4206)에 존재할 수 있다. 또한, 도로 구간(4206)의 어느 한 차로를 따라 운행하는 차량(200)은 기재된 방법과 시스템에 따라 주행될 수 있다.
여기에 사용되는 용어 "중첩"은 중첩 구간(4220)이 차량(200)에 의해 운행될 수 있는 도로의 동일 부분임을 의미한다. 일부 실시예에서, 중첩 구간(4220)은 지도(4200)의 상응 구간(즉, 중첩 구간)으로 나타내어지는 도로 구간 및 연관 도로 특징(예, 랜드마크 등)을 나타내는 지도(4200)의 구간을 포함할 수 있다. 그 결과, 중첩 구간(4220)은 동일 크기(길이, 폭, 높이 등), 형상(자세 및 기울기 등) 등을 포함하는 도로 구간(4204, 4206)의 부분을 포함할 수 있다. 또한, 중첩 구간(4220) 내의 미리 정해진 도로 모델 궤적(4212, 4226)의 형상과 길이는 유사할 수 있다. 그러나, 지도(4200, 4202)는 서로 다른 로컬 좌표 시스템을 가지고 있기 때문에, 미리 정해진 도로 모델 궤적(4212, 4226)의 수학적 표현(예, 3차원 다항식)은 중첩 구간(4220) 내에서 서로 다를 수 있다. 일 실시예에서, 중첩 구간(4220)의 길이는 50미터 내지 150미터 범위일 수 있다.
영상획득부(120)는 차량(200)의 주변환경을 나타내는 형상을 획득하도록 구성될 수 있다. 예를 들어, 영상획득부(120)는 하나 이상의 이미지캡처장치(122, 124, 126)를 사용하여 차량(200) 전방의 광경을 보여주는 영상을 확보할 수 있다. 차량(200)의 처리부(110)는 앞서 도 34 내지 36을 참조하여 설명한 하나 이상의 주행 프로세스를 사용하여 차량(200)의 현재 위치(4214)를 판단하도록 구성될 수 있다. 처리부(110)는 또한 앞서 도 34 내지 36을 참조하여 설명한 하나 이상의 미리 정해진 도로 모델 궤적(4212, 4226)으로 인지된 랜드마크의 방향 벡터의 교차점을 판단하는 하나 이상의 프로세스를 사용하여, 차량(200)의 현재 위치(4214)가 도로 구간(4204 또는 4206) 상에 있는지 여부를 판단하도록 구성될 수 있다. 나아가, 처리부(110)는 앞서 도 34 내지 36을 참조하여 설명한 프로세스와 유사한 프로세스를 사용하여, 차량(200)의 현재 위치(4212)가 도로 구간(4204) 또는 도로 구간(4206) 상에, 또는 중복 구간(4220) 내에 위치하는지 여부를 판단하도록 구성될 수 있다.
차량(200)이 도로 구간(4204) 상에 위치하는 경우, 처리부(110)는 차량(200)의 로컬 좌표 시스템을 도로 구간(4204)과 연계된 로컬 좌표 시스템과 정렬하도록 구성될 수 있다. 두 좌표 시스템을 서로 정렬한 이후에, 처리부(110)는 차량(200)의 현재 위치(4214)에서 미리 정해진 도로 모델 궤적(4212)의 방향(4230)을 판단하도록 구성될 수 있다. 처리부(110)는 미리 정해진 도로 모델 궤적(4212)의 탄젠트 방향을 방향(4230)으로 판단할 수 있다. 일 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(4212)의 3차원 다항식의 경사도 또는 기울기에 근거하여 방향(4230)을 판단하도록 구성될 수 있다.
처리부(110)는 또한 차량(200)의 진행 방향(4240)을 판단하도록 구성될 수 있다. 도 42에 도시된 바와 같이, 차량(200)의 진행 방향(4240)은 이미지캡처장치(122)가 차량(200)에 관한 로컬 좌표 시스템에 대해 향하는 방향일 수 있다. 처리부(110)는 차량(200)의 진행 방향(4240)이 미리 정해진 도로 모델 궤적(4212)의 방향(4230)과 정렬(즉, 평행)되었는지 판단하도록 구성될 수 있다. 진행 방향(4240)이 차량(200)의 현재 위치(4214)에서 미리 정해진 도로 모델 궤적(4212)의 방향(4230)과 정렬되어 있지 않을 경우, 처리부(110)는 차량(200)의 진행 방향(4240)이 미리 정해진 도로 모델 궤적(4212)의 방향(4230)과 정렬되도록 제1 자율 조향 반응(first autonomous navigational response 또는 ANR)을 결정할 수 있다.
일 실시예에서, 제1 ANR은, 예를 들어, 차량(200)의 조향 핸들 또는 전륜을 틀어 차량(200)의 진행 방향(4240)이 미리 정해진 도로 모델 궤적(4212)의 방향(4230)과 정렬되도록 하는 각도의 판단을 포함할 수 있다. 다른 실시예에서, 제1 ANR은 또한 차량(200)의 현재 속도를 감속 또는 가속하여 차량(200)의 진행 방향(4240)이 정해진 시간 내에 미리 정해진 도로 모델 궤적(4212)의 방향(4230)과 정렬되도록 하는 것을 포함할 수 있다. 처리부(110)는 주행 반응 모듈(408)에 저장된 지시를 실행하여, 예를 들어, 차량(200)의 조향 핸들을 돌리고 제1 각도의 회전을 이루어서 제1 ANR을 발생시키도록 구성될 수 있다. 제1 각도의 회전은 차량(200)의 진행 방향(4240)이 방향(4230)과 정렬되도록 할 수 있다.
차량(200)이 도로 구간(4206) 상에 위치하는 경우, 처리부(110)는 차량(200)의 로컬 좌표 시스템을 도로 구간(4206)과 연계된 로컬 좌표 시스템과 정렬하도록 구성될 수 있다. 두 좌표 시스템을 서로 정렬한 이후에, 처리부(110)는 차량(200)의 현재 위치(4214)에서 미리 정해진 도로 모델 궤적(4226)의 방향(4250)을 판단하도록 구성될 수 있다. 처리부(110)는 미리 정해진 도로 모델 궤적(4226)의 탄젠트 방향을 방향(4250)으로 판단할 수 있다. 일 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(4226)의 3차원 다항식의 경사도 또는 기울기에 근거하여 방향(4250)을 판단하도록 구성될 수 있다.
처리부(110)는 또한 차량(200)의 진행 방향(4260)을 판단하도록 구성될 수 있다. 도 42에 도시된 바와 같이, 차량(200)의 진행 방향(4260)은 이미지캡처장치(122)가 차량(200)에 관한 로컬 좌표 시스템에 대해 향하는 방향일 수 있다. 처리부(110)는 차량(200)의 진행 방향(4260)이 미리 정해진 도로 모델 궤적(4226)의 방향(4250)과 정렬(즉, 평행)되었는지 판단하도록 구성될 수 있다. 진행 방향(4260)이 차량(200)의 현재 위치(4214)에서 미리 정해진 도로 모델 궤적(4226)의 방향(4250)과 정렬되어 있지 않을 경우, 처리부(110)는 차량(200)의 진행 방향(4260)이 미리 정해진 도로 모델 궤적(4226)의 방향(4250)과 정렬되도록 제2 ANR을 결정할 수 있다.
일 실시예에서, 제2 ANR은, 예를 들어, 차량(200)의 조향 핸들 또는 전륜을 틀어 차량(200)의 진행 방향(4260)이 미리 정해진 도로 모델 궤적(4226)의 방향(4250)과 정렬되도록 하는 제2 각도의 판단을 포함할 수 있다. 다른 실시예에서, 제2 ANR은 또한 차량(200)의 현재 속도를 감속 또는 가속하여 차량(200)의 진행 방향(4260)이 정해진 시간 내에 미리 정해진 도로 모델 궤적(4226)의 방향(4250)과 정렬되도록 하는 것을 포함할 수 있다. 처리부(110)는 주행 반응 모듈(408)에 저장된 지시를 실행하여, 예를 들어, 차량(200)의 조향 핸들을 돌리고 제2 각도의 회전을 이루어서 제2 ANR을 발생시키도록 구성될 수 있다. 제2 각도의 회전은 차량(200)의 진행 방향(4260)이 방향(4250)과 정렬되도록 할 수 있다.
차량(200)이 도로 구간(4204, 4206)의 중첩 구간(4220) 상에 위치하는 경우, 처리부(110)는 차량(200)의 로컬 좌표 시스템을 도로 구간(4204)와 연계된 로컬 좌표 시스템뿐만 아니라 도로 구간(4206)와 연계된 로컬 좌표 시스템과도 정렬하도록 구성될 수 있다. 이에 따라, 처리부(110)는 지도(4200, 4202)에 근거하여 제3 ANR을 판단하도록 구성될 수 있다. 일 실시예에서, 처리부(110)는 차량(200)의 조향 핸들 또는 전륜을 틀어 차량(200)의 진행 방향(4240)이 미리 정해진 도로 모델 궤적의 진행 방향(4230)과 정렬되고 차량(200)의 진행 방향(4260)이 미리 정해진 도로 모델 궤적(4226)의 방향(4250)과 정렬되도록 하는 제3 각도를 제3 ANR로 판단할 수 있다. 따라서, 예를 들어, 처리부(110)는 제1 각도와 제2 각도의 조합을 각도 3으로 판단할 수 있다.
영상획득부(120)는, 예를 들어, 미리 정해진 시간 이후의 차량(200) 전방의 주변환경 영상을 반복적으로 획득할 수 있다. 처리부(110)는 또한 차량(200)의 현재 위치(4214)가 도로 구간(4204), 도로 구간(4206) 상에 또는 중첩 구간(4220) 내에 있는지 여부를 반복적으로 감지하도록 구성될 수 있다. 처리부(110)는 차량(200)이 도로 구간(4204, 4206) 상의 어디에 위치하는지에 근거하여 제1, 제2, 제3 ANR(제1, 제2, 또는 제3 각도)을 판단할 수 있다. 따라서, 영상획득부(120)와 처리부(110)는 중첩 구간(4220)을 사용하여 도로 구간(4204, 4206)을 따라 차량(200)을 주행하기 위해 서로 협조할 수 있다.
도 43a 내지 43c는 본 발명의 기재된 실시예에 따라 중첩 지도(4200, 4202)를 이용하여 도로 구간(4204, 4206)을 따라 차량(200)을 주행하는 프로세스(4300)의 일례를 예시한 순서도이다. 프로세스(4300)의 단계들은 처리부(110) 및 영상획득부(120) 중 하나 또는 그 이상에 의해, 메모리(140 또는 150)에 접속하거나 접속하지 않고, 수행될 수 있다. 프로세스(4300)에서 단계의 순서 또는 배치는 예시의 목적으로만 제공된 것이다. 기재된 프로세스(4300)에 단계를, 예를 들어, 추가, 병합, 삭제, 및/또는 재배열 함으로써 프로세스(4300)를 수정할 수 있음은 당연한 것으로 이해될 수 있을 것이다.
도 43a에 도시된 바와 같이, 프로세스(4300)는 차량의 주변환경을 나타내는 영상을 획득하는 단계(4302)를 포함할 수 있다. 일 실시예에서, 영상획득부(120)는 차량(200) 전방(또는 차량의 측방 또는 후방) 영역의 하나 이상의 영상을 획득할 수 있다. 예를 들어, 영상획득부(120)는 시야(202)를 가진 이미지캡처장치(122)를 사용하여 영상을 획득할 수 있다. 다른 실시예에서, 영상획득부(120)가 시야(202, 204, 206)를 각각 가진 하나 이상의 이미지캡처장치(122, 124, 126)로부터 영상을 획득할 수 있다. 영상획득부(120)는 하나 이상의 영상을 데이터 연결(예, 디지털, 유선, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
프로세스(4300)는 또한 차량(200)의 현재 위치(4214)를 판단하는 단계(4302)를 포함할 수 있다. 처리부(110)는 영상획득부(120)로부터 하나 이상의 영상을 수신할 수 있다. 처리부(110)는 도 5b 내지 5d 를 참조하여 상세히 설명한 바와 같이, 단계 4302에서 단안 영상 분석 모듈(402)을 실행하여 복수의 영상을 분석할 수 있다. 이 분석을 수행함으로써, 처리부(110)는 영상 모음 내에서 하나 이상의 랜드마크와 같은 특징 모음을 감지할 수 있다. 처리부(110)는 랜드마크를 사용하고, 예를 들어, 도 34 내지 36에서 설명한 프로세스와 유사한 프로세스를 수행하여 차량(200)의 현재 위치(4214)를 판단할 수 있다.
프로세스(4300)는 차량(200)이 제1 도로 구간(4304) 상에 위치하는지 여부를 판단하는 단계(4306)를 포함할 수 있다. 처리부(110)는 다양한 방법으로 차량(200)이 제1 도로 구간(4304) 상에 위치하는지 여부를 판단할 수 있다. 예를 들면, 처리부는 단계 4304에서 판단된 현재 위치(4214)를 미리 정해진 도로 모델 궤적(4212)과 비교하여 현재 위치(4214)가 미리 정해진 도로 모델 궤적(4212) 상에 위치하는지 여부를 판단할 수 있다. 처리부는 현재 위치(4214)가 미리 정해진 도로 모델 궤적(4212) 상에 위치하는 경우 차량(200)이 제1 도로 구간(4304) 상에 위치하는 것으로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 랜드마크와 랜드마크의 방향 지시자를 사용하여 차량(200)의 현재 위치(4214)가 도로 구간(4204) 상에 위치하는지 여부를 판단할 수 있다. 예를 들면, 앞서 도 34 내지 36을 참조하여 설명한 바와 같이, 인지된 랜드마크의 방향 지시자가 미리 정해진 도로 모델 궤적(4212)와 교차하는 경우, 처리부(110)는 차량(200)의 현재 위치(4214)가 도로 구간(4204) 내에 위치하는 것으로 판단할 수 있다. 처리부(110)가 차량(200)이 도로 구간(4204) 내에 위치하는 것으로 판단하는 경우(즉, 단계 4306의 답이 "예"인 경우), 처리부(110)는 단계 4308로 진행할 수 있다. 그러나 처리부(110)가 차량(200)이 도로 구간(4204) 내에 위치하지 않는 것으로 판단하는 경우(즉, 단계 4306의 답이 "아니오"인 경우), 처리부(110)는 프로세스 구간 C를 통하여 단계 4314로 진행할 수 있다.
단계 4308에서, 처리부(110)는 차량(200)이 중첩 구간(422) 내에 위치하는지 여부를 판단할 수 있다. 처리부(110)는 앞서 단계 4306에서 설명한 프로세스와 유사한 프로세스를 사용하여 차량(200)이 중첩 구간(4220) 내에 위치하는지 여부를 판단할 수 있다. 예를 들면, 처리부(110)는 인지된 랜드마크에 상응하는 방향 지시자가 중첩 구간(4220)의 A와 B 사이에 위치한 미리 정해진 도로 모델 궤적(4212)의 부분에서 미리 정해진 도로 모델 궤적(4212)과 교차하는지 여부를 판단할 수 있다. 다른 실시예에서, 처리부(110)는 차량(200)의 현재 위치(4214)와 미리 정해진 도로 모델 궤적(4212)의 수학적 표현을 비교하여 차량(200)이 중첩 구간(4220) 내에 위치하는지 여부를 판단할 수 있다. 또 다른 실시예에서, 처리부(110)는 차량(200)이 제1 도로 구간(4204)에서 미리 정해진 도로 모델 궤적(4212)을 따라 운행한 거리를 판단할 수 있다. 처리부는 앞서 도 37 내지 39를 참조하여 후미 정렬을 사용한 주행에 관해 설명한 프로세스와 유사한 프로세스를 사용하여 운행한 거리를 판단할 수있다. 처리부(110)는 차량(200)이 운행한 거리에 근거하여 차량(200)의 현재 위치(4214)가 중첩 구간(4220) 내에 위치하는지 여부를 판단할 수 있다. 처리부(110)가 차량(200)이 중첩 구간(4220) 내에 위치하는 것으로 판단하는 경우(즉, 단계 4308에서 "예"인 경우), 처리부(110)는 프로세스 구간 D를 통하여 단계 4320으로 진행할 수 있다. 그러나, 처리부(110)가 차량(200)이 중첩 구간(4220) 내에 위치하지 않는 것으로 판단하는 경우(즉, 단계 4308에서 "아니오"인 경우), 처리부(110)는 단계 4310으로 진행할 수 있다.
프로세스(4300)는 제1 ANR을 판단하는 단계(4310)를 포함할 수 있다. 처리부(110)는 차량(200)이 제1 도로 구간(4204)에 위치하지만 중첩 구간(4220)에 위치하지 않는다는 판단에 근거하여 제1 ANR을 판단할 수 있다. 일 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(4212)의 수학적 표현(예, 3차원 다항식)을 구할 수 있다. 처리부(110)는 차량(200)의 현재 위치(4214)에서의 미리 정해진 도로 모델 궤적(4212)의 탄젠트 방향의 벡터를 방향(4230)으로 판단할 수 있다. 예를 들어, 처리부(110)는 현재 위치(4214)에서의 미리 정해진 도로 모델 궤적(4212)의 수학적 표현의 경사도를 따라 가리키는 벡터를 방향(4230)으로 판단할 수 있다. 상기 설명은 차량(200)의 현재 위치(4214)가 미리 정해진 도로 모델 궤적(4212) 상에 위치하는 것으로 가정하지만, 차량(200)이 미리 정해진 도로 모델 궤적(4212) 상에 위치하지 않은 경우, 처리부(110)는 도 34 내지 39를 참조하여 설명한 프로세스와 유사한 프로세스를 수행할 수 있다. 예를 들어, 처리부(110)는 앞서 설명한 바와 같이 방향(4230)을 판단하기 이전에, 차량(200)을 미리 정해진 도로 모델 궤적(4212)으로 이동하기 위해 필요한 변형을 판단할 수 있다.
처리부(110)는 또한 차량(200)의 진행 방향(4240)을 판단할 수 있다. 예를 들어, 도 42에 도시된 바와 같이, 처리부(110)는 차량(200)과 연관된 로컬 좌표 시스템에 대한 이미지캡처장치(122)가 향하는 방향을 차량(200)의 진행 방향(4240)으로 판단할 수 있다. 다른 실시예에서, 처리부(200)는 현재 위치(4214)에서 차량(200)이 이동하는 방향을 진행 방향(4240)으로 판단할 수 있다. 또 다른 실시예에서, 처리부는 앞서 도 37 내지 39를 참조하여 설명한 바와 같이 운행한 궤적에 근거하여 진행 방향(4240)을 판단할 수 있다. 처리부(110)는 진행 방향(4240)과 미리 정해진 도로 모델 궤적(4212)의 방향(4230) 간의 회전각 1을 판단할 수 있다. 일 실시예에서, 제1 ANR은 차량(200)의 진행 방향(4240)이 미리 정해진 도로 모델 궤적(4212)의 방향(4230)과 정렬되도록 할 수 있는 제1 회전각을 포함할 수 있다. 다른 실시예에서, 제1 ANR은 또한 미리 정해진 시간 내에 차량(200)의 진행 방향(4240)이 미리 정해진 도로 모델 궤적(4212)의 방향(4230)과 정렬되도록 하기 위해 필요한 차량(200)의 가속 또는 감속을 포함할 수 있다.
프로세스(4300)는 또한 제1 ANR에 근거하여 조향 시스템(240)을 조정하는 단계(4312)를 포함할 수 있다. 처리부(110)는 주행 반응 모듈(408)에 저장된 지시를 실행하여, 예를 들어, 차량(200)의 조향 핸들을 돌리고 제1 각도의 회전을 이루어서 제1 ANR을 발생시키도록 구성될 수 있다. 처리부(110)는 또한 주행 반응 모듈(408)에 저장된 지시를 실행하여 구동 시스템(220) 및/또는 제동 시스템(230)을 제어하여 미리 정해진 시간 내에 차량(200)의 진행 방향(4240)이 미리 정해진 도로 모델 궤적(4212)의 방향(4230)과 정렬되도록 하기 위해 필요한 차량(200)의 속력을 적절하게 제어할 수 있다.
다시 단계 4306으로 돌아가서, 처리부(110)가 차량(200)이 도로 구간(4204) 내에 위치하지 않는 것으로 판단하는 경우(즉, 단계 4306에서 "아니오"인 경우), 처리부(110)는 프로세스 구간 C를 통하여 단계 4314로 진행할 수 있다. 단계 4314에서, 처리부(110)는 차량(200)이 도로 구간(4206) 내에 위치하는지 여부를 판단할 수 있다. 처리부(110)는 앞서 단계 4306에서 설명한 동작과 유사한 동작을 수행하여 차량(200)이 도로 구간(4206) 내에 위치하는지 여부를 판단할 수 있다. 처리부(110)가 차량(200)이 도로 구간(4206) 내에 위치하지 않는 것으로 판단하는 경우, 프로세스(4300)는 종료할 수 있다. 그러나 처리부(110)가 차량(200)이 도로 구간(4206) 내이 위치하는 것으로 판단하는 경우, 처리부(110)는 제2 ANR을 판단하는 단계 4316으로 진행할 수 있다.
처리부(110)는 앞서 단계 4310에서 설명한 프로세스와 유사한 프로세스를 사용하여 제2 ANR을 판단할 수 있다. 예를 들면, 처리부(110)는 차량(200)의 현재 위치(4214)에서의 미리 정해진 도로 모델 궤적(4226)의 방향(4250), 진행 방향(4260), 및 제2 회전각을 판단하여, 차량(200)의 진행 방향(4260)이 방향(4250)과 정렬되도록 할 수 있다. 나아가, 제1 ANR과 유사하게, 제2 ANR은 또한 미리 정해진 시간 내에 차량(200)의 진행 방향(4260)이 미리 정해진 도로 모델 궤적(4226)의 방향(4250)과 정렬되도록 하기 위해 필요한 차량(200)의 가속 또는 감속을 포함할 수 있다.
프로세스(4300)은 또한 제2 ANR에 근거하여 조향 시스템(240)을 조정하는 단계(4318)를 포함할 수 있다. 처리부(110)는 주행 반응 모듈(408)에 저장된 지시를 실행하여, 예를 들어, 차량(200)의 조향 핸들을 돌리고 제2 각도의 회전을 이루어서 제2 ANR을 발생시키도록 구성될 수 있다. 처리부(110)는 또한 주행 반응 모듈(408)에 저장된 지시를 실행하여 구동 시스템(220) 및/또는 제동 시스템(230)을 제어하여 미리 정해진 시간 내에 차량(200)의 진행 방향(4260)이 미리 정해진 도로 모델 궤적(4226)의 방향(4250)과 정렬되도록 하기 위해 필요한 차량(200)의 속력을 적절하게 제어할 수 있다.
다시 단계 4308로 돌아가서, 처리부(110)가 차량(200)이 중첩 구간(4220)에 위치하고 있는 것으로 판단하는 경우(즉, 단계 4308에서 "예"인 경우), 처리부(110)는 프로세스 구간 D를 통하여 단계 4320으로 진행할 수 있다. 단계 4320에서, 처리부(110)는 제1 ANR을 판단할 수 있다. 처리부(110)는 앞서 단계 4310에서 설명한 동작과 유사한 동작을 사용하여 제1 ANR을 판단할 수 있다. 따라서, 예를 들어, 처리부(110)는 차량(200)의 현재 위치(4214)에서의 미리 정해진 도로 모델 궤적(4212)의 방향(4240), 진행 방향(4230), 및 제1 회전각을 판단하여, 차량(200)의 진행 방향(4240)이 방향(4230)과 정렬되도록 할 수 있다. 나아가, 제1 ANR은 또한 미리 정해진 시간 내에 차량(200)의 진행 방향(4240)이 미리 정해진 도로 모델 궤적(4212)의 방향(4230)과 정렬되도록 하기 위해 필요한 차량(200)의 가속 또는 감속을 포함할 수 있다.
프로세스(4300)는 또한 제2 ANR을 판단하는 단계(4322)를 포함할 수 있다. 처리부(110)는 앞서 단계 4316에서 설명한 동작과 유사한 동작을 사용하여 제2 ANR을 판단할 수 있다. 따라서, 예를 들어, 처리부(110)는 차량(200)의 현재 위치(4214)에서의 미리 정해진 도로 모델 궤적(4226)의 방향(4260), 진행 방향(4250), 및 제2 회전각을 판단하여, 차량(200)의 진행 방향(4260)이 방향(4250)과 정렬되도록 할 수 있다. 나아가, 제2 ANR은 또한 미리 정해진 시간 내에 차량(200)의 진행 방향(4260)이 미리 정해진 도로 모델 궤적(4226)의 방향(4250)과 정렬되도록 하기 위해 필요한 차량(200)의 가속 또는 감속을 포함할 수 있다.
프로세스(4300)는 또한 제1 ANR과 제2 ANR 사이의 오차를 판단하는 단계(4324)를 포함할 수 있다. 일 실시예에서, 처리부(110)는, 예를 들어, 단계 4320과 4322에서 판단된 제1 회전각과 제2 회전각 사이의 오차를 오차로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(4212)의 방향(4230)과 미리 정해진 도로 모델 궤적(4226)의 방향(4250) 사이의 오차를 오차로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 방향(4230)과 방향(4250) 사이의 코사인 거리를 오차로 판단할 수 있다. 본 발명의 당업자는 처리부(110)가 방향(4230)과 방향(4250) 사이의 오차를 판단하기 위하여 다른 수학적 함수를 사용할 수 있음을 인지할 수 있을 것이다.
프로세스(4300)는 또한 오차가 임계 오차보다 작은지 여부를 판단하는 단계(4326)를 포함할 수 있다. 처리부(110)는 차량(200)이 중첩 구간(4220)에 위치하는 경우에만 단계 4324를 수행하기 때문에, 오차는 차량(200)의 좌표 프레임이 도로 구간(4204)와 도로 구간(4206) 모두와 정렬되어 있는지 여부를 나타낼 수 있다. 일부 실시예에서, 차량(200)이 중첩 구간(4220)에 처음 진입할 때, 오차는 임계 오차를 초과할 수 있고, 차량(200)을 주행 지도(4200)와 주행 지도(4202) 모두에 근거하여 주행함으로써 정확도가 향상될 수 있다. 차량(200)이 중첩 구간(4220) 내에서 계속 운행함에 따라, 오차는 줄어들고 궁극적으로는 임계 오차보다 작아질 수 있다. 차량(200)의 좌표 프레임이 도로 구간(4204)와 도로 구간(4206) 모두와 정렬되면, 오차는 임계 오차보다 작아지고, 차량(200)을 주행 지도(4202)만에 근거하여 주행을 시작하기 충분해 질 수 있다.
처리부(110)가 오차가 임계 오차보다 크다고 판단하는 경우(즉, 단계 4326이 "예"인 경우), 처리부(110)는 단계 4328로 진행할 수 있다. 단계 4328에서, 처리부(110)는 지도(4200)과 지도(4202) 모두에 근거하여 차량(200)을 주행할 수 있도록 제1 ANR과 제2 ANR 모두에 근거하여 제3 ANR을 판단할 수 있다. 따라서, 예를 들어, 처리부(110)는 단계 4320과 4322에서 판단된 제1 회전각과 제2 회전각의 조합을 제3 회전각으로 판단할 수 있다. 일부 실시예에서, 이 조합은 제1 회전각과 제2 회전각의 평균, 가중 평균, 또는 기타 수학적 조합일 수 있다. 마찬가지로, 처리부(110)는 단계 4320과 4322에서 판단된 가속 및/또는 감속의 조합에 근거하여 차량(200)의 가속 또는 감속을 판단할 수 있다.
프로세스(4300)은 또한 제3 ANR에 근거하여 조향 시스템(240)을 조정하는 단계(4330)를 포함할 수 있다. 처리부(110)는 주행 반응 모듈(408)에 저장된 지시를 실행하여, 예를 들어, 차량(200)의 조향 핸들을 돌리고 제3 각도의 회전을 이루어서 제3 ANR을 발생시키도록 구성될 수 있다. 처리부(110)는 또한 주행 반응 모듈(408)에 저장된 지시를 실행하여 단계 4330 또는 4332에서 판단된 가속 및/또는 감속에 근거하여 구동 시스템(220) 및/또는 제동 시스템(230)을 제어할 수 있다.
다시 단계 4326으로 돌아가서, 처리부(110)가 오차가 임계 오차보다 작다고 판단하는 경우(즉, 단계 4326에서 "아니오"인 경우), 처리부(110)는 제2 ANR만을 근거하여 제3 ANR을 판단하는 단계(4332)로 진행할 수 있다. 앞서 설명한 바와 같이, 오차가 임계 오차보다 작은 경우, 지도(4202)만을 근거하여 차량(200)을 주행하기에 충분할 수 있다. 따라서, 일 실시예에서, 처리부(110)는 제3 ANR을 제2 ANR과 동일하게 설정할 수 있다. 다른 실시예에서, 처리부(110)는 축척 요소를 사용하여 제2 ANR을 축척(즉, 확대 또는 축소)함으로써 제3 ANR을 설정할 수 있다. 단계 4332을 완료한 이후, 처리부(110)는 제3 ANR에 근거하여 조향 시스템(240)을 조정하는 단계(4330)로 진행할 수 있다.
처리부(110) 및/또는 영상획득부(120)는 미리 정해진 시간이 경과한 이후에 단계 4300을 반복할 수 있다. 일 실시예에서, 미리 정해진 시간은 약 0.5초 내지 1.5초의 범위일 수 있다. 차량(200)의 현재 위치(4214), 현재 위치(4214)가 중첩 구간(4220)에 위치하는지 여부, 차량(200)의 위치에 근거한 제1, 제2, 제3 ANR을 반복적으로 판단함으로써, 처리부(110) 및/또는 영상획득부(120)는 로컬 지도(4200), 4202)의 중첩 구간(4220)을 사용하여 차량(200)을 주행할 수 있다.
약도(sparse map) 자율 주행
일부 실시예에서, 기재된 시스템과 방법은 자율 주행을 위해 약도(sparse map)를 사용할 수 있다. 앞서 도 8 내지 11D를 참조하여 설명한 바와 같이, 약도(sparse map)는 과도한 데이터 저장 또는 데이터 전송 속도를 요구하지 않고 주행을 위한 충분한 정보를 제공할 수 있다. 나아가, 차량(자율주행차일 수 있음)은 약도(sparse map)를 사용하여 하나 이상의 도로를 주행할 수 있다. 예를 들면, 하기에 설명하는 바와 같이, 차량(200)은 약도(sparse map)와 차량(200)의 주변환경을 나타내는 적어도 하나의 영상의 분석에 근거하여 자율 주행 반응을 결정할 수 있다.
일부 실시예에서, 차량(200)은 차량(200)이 운행 중인 도로 및 이 도로를 따라 있는 랜드마크 와 관련된 데이터를 포함하는, 차량의 주행에 충분한 약도(sparse map)에 접속할 수 있다. 앞서 설명한 바와 같이, 차량(200)에 의해 접속된 약도(sparse map)는 도로를 따라 수집된 영상 데이터와 같은 상세한 지도 정보를 포함하는 디지털 지도에 비하여 상당히 작은 저장 공간과 데이터 전송 대역폭을 필요로 할 수 있다. 예를 들면, 차량(200)이 운행 중인 도로 구간의 상세한 표현을 저장하기 보다는, 약도(sparse map)는 도로를 따라 가는 바람직한 차량 경로의 3차원 다항식 표현을 저장할 수 있다. 도로를 따라 가는 바람직한 차량 경로의 다항식 표현은 도로 구간을 따라 가는 목표 궤적의 다항식 표현일 수 있다. 이러한 경로는 매우 작은 데이터 저장 공간을 필요로 할 수 있다.
본 발명의 기재된 실시예에 의하면, 자율주행차 시스템은 주행을 위해 약도(sparse map)를 사용할 수 있다. 앞서 설명한 바와 같이, 약도(sparse map)의 핵심에서, 하나 또는 그 이상의 3차원 등고선이 자율주행차가 관련 도로 구간을 달리며 횡단하는 미리 설정된 궤적을 나타낼 수 있다. 앞서 또한 설명한 바와 같이, 약도(sparse map)는 또한 하나 이상의 인지된 랜드마크, 도로 특징 프로필, 및 차량의 주행에 유용한 기타 도로 관련 특징과 같은 기타 특징들을 포함할 수 있다.
일부 실시예에서, 자율주행차는 차체 및 약도(sparse map)에 포함된 데이터를 수신하고 약도(sparse map)의 데이터에 근거하여 도로 구간을 따라 차량을 주행하기 위한 주행 명령을 생성하는 프로세서를 포함할 수 있다.
앞서 도 8을 참조하여 설명한 바와 같이, 차량(200)(자율주행차일 수 있음)은 약도(sparse map, 800)에 접속하여 주행할 수 있다. 도 8에 도시된 바와 같이, 일부 실시예에서, 약도(sparse map, 800)는 차량(200)에 탑재된 저장 장치 또는 비일시적 컴퓨터 가독 매체(예를 들면, 주행 시스템에 포함된 저장 장치)에 저장될 수 있다. 차량(200)에 제공된 프로세서(예, 처리부(110))는 도로 구간을 횡단하는 자율주행차(200)를 안내하기 위한 주행 명령을 생성하기 위하여 차량(200)에 탑재된 저장 장치 또는 컴퓨터 가독 매체에 저장된 약도(sparse map)(4400)에 접속할 수 있다.
일부 실시예에서, 약도(sparse map, 800)은 원격으로 저장될 수 있다. 도 44는 본 발명의 기재된 실시예에 따른, 원격 서버(4400)로부터 데이터를 수신하는 차량(200)의 일례를 도시한 것이다. 도 44에 도시된 바와 같이, 원격 서버(4400)는 차량(200)과 통신하는 원격 서버(4400)에 제공되는 저장 장치(4405)(예, 컴퓨터 가독 매체)를 포함할 수 있다. 예를 들면, 원격 서버(4400)는 저장 장치(4405)에 약도(sparse map) 데이터베이스(4410)를 저장할 수 있다. 약도(sparse map) 데이터베이스(4410)는 약도(sparse map, 800)를 포함할 수 있다. 일부 실시예에서, 약도(sparse map) 데이터베이스(4410)는 복수의 약도(sparse map)를 포함할 수 있다. 약도(sparse map) 데이터베이스(4410)는 특정 지역에 근거하여(예, 지역 경계, 국가 경계, 주 경계 등에 근거하여) 또는 적합한 파라미터(예, 차량의 유형 또는 크기, 기후 등)에 근거하여 색인될 수 있다. 차량(200)은 무선 통신 경로를 통하여 하나 이상의 네트워크(예, 이동통신망 및/또는 인터넷 등)를 거쳐 원격 서버(440)와 통신할 수 있다. 일부 실시예에서, 차량(200)에 제공된 프로세서(예, 처리부(110))는 원격 서버(4400)로부터 하나 이상의 네트워크를 통하여 약도(sparse map) 데이터베이스(4410)에 포함된 데이터를 수신할 수 있다. 나아가, 차량(200)은 약도(sparse map, 800)를 사용하여 차량(200)을 주행하기 위한 지시를 실행할 수 있으며, 이에 대해서는 하기에 상세히 설명하기로 한다.
앞서 도 8을 참조하여 설명한 바와 같이, 약도(sparse map, 800)는 도로 구간을 따라 자율 주행 또는 주행을 안내하기 위한 복수의 목표 궤적(810)의 표현을 포함할 수 있다. 이러한 목표 궤적은 3차원 스플라인으로 저장될 수 있다. 약도(sparse map, 800)에 저장된 목표 궤적은 특정 도로 구간을 따라 차량들이 이전에 횡단한 둘 이상의 재구성 궤적에 근거하여 판단될 수 있다. 도로 구간은 단일 목표 궤적 또는 복수의 목표 궤적과 연계될 수 있다. 예를 들어, 2차선 도로에서, 제1 목표 궤적은 제1 방향으로 의도한 도로 주행 경로를 나타내고, 제2 목표 궤적은 다른 방향(예, 제1 방향의 반대 방향)으로 의도한 도로 주행 경로를 나타내도록 저장될 수 있다. 특정 도로 구간에 대하여 추가 목표 궤적이 저장될 수 있다.
약도(sparse map, 800)는 또한 특정 도로 구간, 로컬 지도 등과 연계된 복수의 미리 설정된 랜드마크(820)에 관한 데이터를 포함할 수 있다. 본 명세서의 다른 부분에서 설명하듯이, 이러한 랜드마크는 차량(200)을 주행하는데 사용될 수 있다. 예를 들면, 일부 실시예에서, 랜드마크는 저장된 목표 궤적에 대한 차량(200)의 현재 위치를 판단하는데 사용될 수 있다. 차량(200)은 이 위치 정보를 이용하여 판단된 위치에서 진행 방향을 목표 궤적의 방향과 일치하도록 조정할 수 있다.
랜드마크는, 예를 들어, 적어도 하나의 도로 구간의 환경에 있는 식별 가능한 고정 물체 또는 특정 도로 구간의 특정 구역에 관한 관찰 가능한 특징을 포함할 수 있다. 일부 경우에, 랜드마크는 교통표지판(예, 속도제한표지판, 위험표지판 등)을 포함할 수 있다. 다른 경우에, 랜드마크는 도로 구간의 특정 구역과 관련된 도로 특징 프로필을 포함할 수 있다. 다양한 유형의 랜드마크의 예들은 앞서 설명하였으며, 일부 랜드마크의 예는 도 10을 참조하여 도시하고 설명하였다.
도 45는 본 발명의 기재된 실시예에 따른, 다차선 도로를 주행하는 차량(200)을 예시한 것이다. 여기서, 차량(200)은 앞서 도 11b에 도시된 지리적 구역(1111) 내에 있는 도로 구간을 주행할 수 있다. 앞서 도 11b를 참조하여 설명한 바와 같이, 도로 구간(1120)은 차선(1122)과 차선(1124)의 다차선 도로, 이중 황색선(1123), 및 도로 구난(1120)과 교차하는 지선 도로 구간(1130)을 포함할 수 있다. 지리적 구역(1111)은 또한 정지선(1132), 일시정지표지판(1134), 속도제한표지판(1136), 및 위험표지판(1138)과 같은 기타 도로 특징을 포함할 수 있다.
도 46은 본 발명의 기재된 실시예에 따른, 목표 궤적을 이용하여 다차선 도로를 주행하는 차량(200)의 일례를 예시한 것이다. 차량(200)은 앞서 도 11b와 도 45에 도시된 지리적 구역(1111)을 목표 궤적(4600)을 이용하여 주행할 수 있다. 목표 궤적(4600)은 약도(sparse map, 800)의 로컬 지도(예, 도 11c의 로컬 지도(1140))에 포함될 수 있고, 도로 구간과 연계된 하나 이상의 차로에 대한 목표 궤적을 제공할 수 있다. 앞서 설명한 바와 같이, 약도(sparse map, 800)는 지리적 구역(1111)에서 식별된 하나 이상의 랜드마크의 표현과 같은 지리적 구역(1111)과 연계된 도로 관련 특징의 표현을 포함할 수 있다. 이러한 랜드마크에는 속도제한표지판(1138)과 위험표지판(1138)이 포함될 수 있다. 차량(200)은 속도제한표지판(1138)과 위험표지판(1138)을 사용하여 목표 궤적(4600)에 대한 차량(200)의 현재 위치의 판단을 지원할 수 있다. 목표 궤적(4600)에 대해 판단된 차량(200)의 현재 위치에 근거하여, 차량(200)은 진행방향을 조정하여 판단된 지점에서 목표 궤적의 방향과 일치시킬 수 있다.
앞서 설명한 바와 같이, 일부 실시예에서, 약도(sparse map, 800)은 또한 도로 특징 프로필을 포함할 수 있다. 이러한 도로 특징 프로필은 도로와 관련된 적어도 하나의 파라미터의 식별/측정 가능한 변화에 관한 것일 수 있다. 예를 들면, 일부 경우에, 이러한 프로필은 특정 도로 구간의 노면 거칠기의 변화, 특정 도로 구간의 도로 폭의 변화, 특정 도로 구간에 그려진 파선 사이의 거리의 변화, 특정 도로 구간의 도로 곡률의 변화 등에 관한 것일 수 있다.
도 47은 도 45와 46에 도시된 도로상에서 운행하는 차량(200)과 연관된 도로 특징 프로필(1160)의 일례를 도시한 것이다. 여기서, 프로필(1160)이 차량(200)과 관련된 상기 파라미터의 어느 하나를 나타낼 수 있지만, 일례에서, 프로필(1160)은, 예를 들어, 차량(200)이 도 46에 도시된 도로 구간을 주행하면서 서스펜션 변위의 양을 나타내는 출력을 제공하는 하나 이상의 센서를 모니터하여 획득한 노면 거칠기의 측정치를 나타낼 수 있다. 또는, 프로필(1160)은 도 46의 도로 구간을 운행하는 차량(200)에 탑재된 카메라를 통해서 획득한 영상 데이터에 근거하여 판단된 도로 폭의 변화를 나타낼 수 있다. 이러한 프로필은 예를 들어 목표 궤적에 대한 차량(200)의 특정 위치를 판단하는데 유용하고, 차량(200)의 주행을 지원할 수 있다. 즉, 차량(200)이 도 46의 도로 구간을 운행하면서 도로 구간의 하나 이상의 파라미터와 관련된 프로필을 측정할 수 있다. 측정된 프로필이 도로 구간의 위치에 대한 파라미터 변화를 구성하는 미리 설정된 프로필과 상응/일치할 수 있으면, 측정된 프로필과 미리 설정된 프로필을 도로 구간 상의 현 위치, 따라서 도로 구간의 목표 궤적(4600)에 대한 현 위치를 판단하기 위해 사용할 수 있다. 차량(200)에 의한 프로필의 측정은, 도로 구간의 현재 위치와 목표 궤적(4600)에 대한 차량(200)의 현재 위치를 지속적으로 판단하기 위하여, 차량(200)이 도 46의 차로(1124)를 운행하면서 계속될 수 있다. 이에 따라, 차량(200)의 주행이 제공될 수 있다.
도 48은 도 45와 46에 도시된 도로 주변환경(4800)의 일부의 일례를 예시한 것이다. 이 예시에서, 도 48은 도로 구간(1120)을 도시한다. 차량(200)은 도로 구간(1120)을 따라 운행 중일 수 있다. 도로 구간(1120)을 따라, 속도제한표지판(1136)과 위험표지판(1138)과 같은 랜드마크가 있을 수 있다. 속도제한표지판(1136)과 위험표지판(1138)은 약도(sparse map, 800)에 저장된 인지된 랜드마크일 수 있고, 도로 구간(1120)을 따라 자율 주행(예, 차량(200)의 위치 인식 및/또는 차량(200)의 목표 궤적 판단)을 위해 사용될 수 있다. 약도(sparse map, 800) 내의 인지된 랜드마크(1136, 1138)는 특정 비율로 서로 떨어져 있을 수 있다. 예를 들어, 인지된 랜드마크는 약도(sparse map) 내에서 킬로미터 당 0.5 이하의 비율, 킬로미터 당 1 이하의 비율, 또는 100미터 당 1의 비율로 떨어져 있을 수 있다. 랜드마크(1136, 1138)는, 예를 들어, 차량(200)이 목표 궤적(4600)에 대한 현재 위치를 판단하여 판단된 지점에서 목표 궤적의 방향과 일치되도록 진행 방향을 조정하도록 지원할 수 있다.
도 49는 본 발명의 기재된 실시예에 따른 약도(sparse map) 자율 주행을 위한 프로세스(4900)의 일례를 예시한 순서도이다. 처리부(110)는 애플리케이션 프로세서(180)와 영상 프로세서(190)의 하나 또는 모두를 활용하여 프로세스(4900)를 구현할 수 있다. 아래에 상세히 설명하겠지만, 차량(200)은 약도(sparse map)와 차량(200)의 주변환경을 나타내는 적어도 하나의 영상의 분석에 근거하여 자율 주행 반응을 결정할 수 있다.
단계 4902에서, 처리부(110)는 약도(sparse map, 800)과 같은 도로 구간의 약도(sparse map)를 메모리(140 또는 150)로부터 수신할 수 있다. 예를 들면, 약도(sparse map)는 위치 센서(130)에 의해 계산된 차량(200)의 위치에 근거하여 처리부(110)로 전송될 수 있다. 다른 실시예에서, 차량(200)은 원격 서버(4400)로부터 약도(sparse map)를 수신할 수 있다. 약도(sparse map) 데이터는 특정 데이터 밀도를 가질 수 있다. 약도(sparse map)의 데이터 밀도는 단위 거리 당 데이터 단위로 표현될 수 있다. 예를 들면, 약도(sparse map)의 데이터 밀도는 킬로미터 당 1MB 이하일 수 있다. 다른 예에서, 약도(sparse map)의 데이터 밀도는 킬로미터 당 100KB 이하일 수 있다. 다른 예에서, 약도(sparse map)의 데이터 밀도는 킬로미터 당 10KB 이하일 수 있다. 데이터 밀도는 상상 가능한 모든 데이터 단위와 단위 거리로서 표현될 수 있다. 나아가, 약도(sparse map)는 도로 구간을 따라 가는 목표 궤적의 다항식 표현을 포함할 수 있다.
단계 4904에서, 처리부(110)는 차량(200)의 주변환경을 나타내는 적어도 하나의 영상을 수신할 수 있다. 예를 들어, 처리부(110)는 이미지캡처장치(122)를 사용하여 영상획득부(120)로부터 적어도 하나 이상의 영상을 획득할 수 있다. 다른 실시예에서, 처리부(110)가 하나 이상의 이미지캡처장치(122, 124, 126)로부터 하나 이상의 영상을 획득할 수 있다. 영상획득부(120)는 하나 이상의 영상을 데이터 연결(예, 디지털, 유선, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
단계 4906에서, 처리부(110)는 수신한 약도(sparse map) 및 차량(200) 주변환경의 적어도 하나의 영상을 분석할 수 있다. 예를 들어, 처리부(110)는 도 5b 내지 5d 를 참조하여 상세히 설명한 바와 같이, 단안 영상 분석 모듈(402)을 실행하여 하나 또는 그 이상의 영상을 분석할 수 있다. 이 분석을 수행함으로써, 처리부(110)는 영상 모음 내에서 랜드마크(1134, 1136, 1138)와 같은 특징 모음을 감지할 수 있다. 앞서 설명한 바와 같이, 랜드마크에는 교통표지판, 화살표 표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 가로등, 도로의 차선 간격 변경, 상업용 표지판 등 중의 하나 또는 그 이상이 포함될 수 있다. 나아가, 처리부(110)는 약도(sparse map)를 분석하여 하나 이상의 영상 내의 물체가 인지된 랜드마크임을 판단할 수 있다. 예를 들면, 처리부(110)는 물체의 영상을 약도(sparse map)에 저장된 데이터와 비교할 수 있다. 이 비교에 근거하여, 영상 프로세서(190)는 물체가 인지된 랜드마크인지 여부를 판단할 수 있다. 처리부(110)는 촬영된 주변환경 영상 데이터 및/또는 GPS 데이터로부터의 인지된 랜드마크를 사용하여 차량(200)의 위치를 판단할 수 있다. 처리부(110)는 이후에 약도(sparse map)의 목표 궤적에 대한 차량(200)의 위치를 판단할 수 있다.
단계4908에서, 처리부(110)는 단계 4906에서 수행한 약도(sparse map) 및 적어도 하나의 주변환경 영상 분석에만 근거하여 차량(200)에 하나 이상의 주행 반응을 일으킬 수 있다. 예를 들어, 처리부(110)는 약도(sparse map)의 목표 궤적에 대한 차량(200)의 위치에 근거하여 적절한 주행 반응을 선택할 수 있다. 주행 반응은 예를 들어 회전, 차선 변경, 가속 변경 등을 포함할 수 있다. 처리부(110)는 시스템(100)으로 하여금 도 2f에 도시된 구동 시스템(220), 제동 시스템(230), 및 조향 시스템(240) 중 하나 또는 그 이상에 입력(예, 제어 신호)을 제공하여 차량(200)을 주행(예, 가속, 회전, 차선 변경 등)하도록 하기 위한 주행 반응을 제공할 수 있다. 시스템(100)은 하나 또는 그 이상의 데이터 링크(예, 유선 및/또는 무선 링크 또는 데이터 전송용 링크)를 통해 구동 시스템(220), 제동 시스템(230), 및 조향 시스템(240) 중 하나 또는 그 이상에 입력을 제공할 수 있다. 또한, 복수의 주행 반응이 동시에, 순차적으로, 또는 결합된 형태로 일어날 수 있다. 예를 들면, 처리부(110)는 제어 신호를 차량(200)의 조향 시스템(240)과 구동 시스템(220)에 순차적으로 전송하여 차량(200)이 차로를 변경한 후 가속을 하게 할 수 있다. 또는, 처리부(110)는 차량(200)의 제동 시스템(230)과 조향 시스템(240)에 제어 신호를 동시에 전송하여 차량(200)이 제동을 하면서 동시에 차로를 변경하게 할 수 있다.
랜드마크의 예상 위치에 근거한 주행
차량에 탑재된 카메라가 촬영한 하나 이상의 영상에 등장하는 랜드마크는 본 발명의 기재된 실시예에서 도로 모델 궤적을 따라 차량의 위치를 판단하는데 사용될 수 있다. 이러한 랜드마크는, 예를 들어, 약도(sparse map, 800) 내에 표현된 인지된 랜드마크를 포함할 수 있다. 차량(200)의 처리부(110)는 차량(200)에 탑재된 하나 이상의 카메라로부터 확보된 영상을 분석하여 확보된 영상 내의 인지된 랜드마크(약도(sparse map, 800)로부터)의 존재를 검색 및 확인할 수 있다. 본 명세서의 다른 부분에서 상세히 설명한 방식에 의하면, 차량의 주변환경에서 확인된 인지된 랜드마크는 차량을 주행하는데 사용될 수(예, 도로 구간과 연계된 목표 궤적을 따라 차량(200)의 위치 판단을 가능하게 함으로써) 있다.
그러나, 기재된 실시예에서, 처리부(110)는 또한 확보된 영상에 등장하는 랜드마크에 대해서뿐만 아니라 약도(sparse map, 800)에 표현된 인지된 랜드마크의 예상 위치에 근거하여 주행 지시를 생성할 수 있다. 예를 들어, 차량의 제동은 정지선, 신호등, 일시정지표지판, 급커브 등과 같은 인지된 랜드마크로부터 특정 거리에서 이러한 랜드마크가 탑재 카메라를 통해 감지되기 이전에 개시될 수 있다. 랜드마크는, 예를 들어, 적어도 하나의 도로 구간의 환경에 있는 식별 가능한 고정 물체 또는 도로 구간의 특정 구역에 관한 관찰 가능한 특징을 포함할 수 있다. 일부 경우에, 랜드마크는 교통표지판(예, 속도제한표지판, 위험표지판 등)을 포함할 수 있다. 다른 경우에, 랜드마크는 도로 구간의 특정 구역과 관련된 도로 특징 프로필을 포함할 수 있다. 다양한 유형의 랜드마크의 예들은 앞서 설명하였으며, 일부 랜드마크의 예는 도 10을 참조하여 도시하였다.
도 50은 본 발명의 기재된 실시예에 따른 주변환경의 일례를 예시한 것이다. 차량(200)(자율주행차일 수 있음)은 도로(5004) 내의 목표 도로 모델 궤적(5002)을 따라 운행할 수 있다. 차량(200)은 차량 주변환경의 영상을 확보하는 하나 이상의 이미지캡처장치(예, 이미지캡처장치(122, 124, 126) 중의 하나 또는 그 이상)을 구비할 수 있다. 하나 이상의 이미지캡처장치는 가시거리(5006)가 있을 수 있다. 가시거리(5006)는 차량(200)의 이미지캡처장치가 차량(200) 주변의 환경의 정확한 영상을 촬영할 수 있는 범위를 정의할 수 있다. 예를 들면, 가시거리(5006)는 차량(200)의 이미지캡처장치의 시야, 초점거리, 해상도 초점, 선명도, 화질 등이 차량(200)의 주행을 위한 영상을 제공하기에 충분한 거리를 정의할 수 있다. 구역(5008)은 차량(200)의 이미지캡처장치의 가시거리(5006) 밖의 범위를 정의할 수 있다. 구역(5008)에서, 차량(200)의 이미지캡처장치는 차량(200)을 주행하도록 하기에 충분한 차량(200) 주변환경의 영상을 확보할 수 없을 수 있다. 다른 실시예에서, 각 이미지캡처장치의 가시거리는 서로 다를 수 있다.
도 50에 도시된 바와 같이, 인지된 랜드마크(5010)는 가시거리(5006) 이내에 있다. 인지된 랜드마크(5010)가 가시거리(5006) 이내에 있기 때문에, 차량(200)의 이미지캡처장치에 의해 확보되고 식별되며, 차량(200)의 주행에 사용될 수 있다. 인지된 랜드마크(5010)는 앞서 도 34 내지 36을 참조하여 설명한 방식에 의거하여 차량(200)에 의해 식별될 수 있다.
앞서 설명한 바와 같이, 인지된 랜드마크(5012)는 구역(5008) 이내에 있다. 그러나, 구역(5008)은 차량(200)의 이미지캡처장치의 가시거리(5006) 밖의 범위를 정의한다. 이에 따라, 인지된 랜드마크(5012)가 이미지캡처장치의 가시거리 밖에 있기 때문에, 차량(200)이 차량(200)의 이미지캡처장치를 사용하여 인지된 랜드마크(5012)를 식별하지 못할 수 있다.
본 발명의 기재된 실시예에 따라, 차량(200)은 다른 방식을 사용하여 인지된 랜드마크(5012)를 식별할 수 있다. 예를 들면, 차량(200)의 이미지캡처장치는 주변환경의 영상을 가시거리(5006) 이내에서 확보할 수 있다. 차량(200)의 프로세서(예, 처리부(110))는 이 영상을 수신할 수 있다. 이후, 프로세서는 확보된 영상에 근거하여 도로(5004)의 미리 정해진 도로 모델 궤적(50020) 상의 차량(200)의 위치를 판단할 수 있다. 예를 들어, 다른 부분에서 설명한 바와 같이, 프로세서는 촬영된 주변환경 영상으로부터 확보한 인지된 랜드마크(5010)를 나타내는 데이터를 앞서 설명한 약도(sparse map, 800)에 저장된 데이터와 같은 저장 데이터와 비교하여 도로(5004)의 미리 정해진 도로 모델 궤적(5002)을 따라 진행하는 차량(200)의 위치를 판단할 수 있다.
이후, 판단된 차량(200)의 위치에 근거하여, 프로세서는 차량(200) 전방의 가시거리(5006) 밖의 인지된 랜드마크(예, 5012)를 식별할 수 있다. 예를 들면, 약도(sparse map, 800) 또는 약도(sparse map, 800)의 일부(예, 약도(sparse map, 800)의 로컬 지도 수신 부분)에 저장된 정보에 접속함으로써, 차량(200)의 처리부(110)는 차량(200)이 다음에 접하게 될 것으로 예상되는 랜드마크(또는 차량(200)이 접하게 될 다른 랜드마크)를 판단할 수 있다. 프로세서는 또한 약도(sparse map, 800)에서 사용할 수 있는 정보에 근거하여 인지된 랜드마크(5012)의 미리 정해진 위치를 판단할 수 있다. 이후, 처리부(110)는 차량(200)과 예상 인지된 랜드마크(5012) 사이의 현재 거리(5014)를 판단할 수 있다. 차량(200)과 예상 인지된 랜드마크(5012) 사이의 현재 거리(5014)는 차량(200)의 판단된 위치와 인지된 랜드마크(5012)의 미리 정해진 위치를 비교하여 판단될 수 있다. 이후, 현재 거리(5014)에 근거하여, 차량(200)의 프로세서는 차량에 대한 자율 주행 반응을 결정할 수 있다. 예를 들면, 결정 가능한 반응 중에서, 처리부(110)는 차량(200)에 탑재된 이미지캡처장치가 촬영한 영상 내에서 랜드마크(5102)를 감지하기도 전에 랜드마크(5012)보다 앞에서 제동을 개시할 수 있다.
도 51은 본 발명의 기재된 실시예에 따른 자율 주행을 위한 구성(5100)을 예시한 것이다. 앞서 설명한 바와 같이, 처리부(110)는 영상획득부(120)로부터 영상을 수신할 수 있다. 영상획득부는 하나 이상의 이미지캡처장치(예, 122, 124, 126)을 포함할 수 있다. 영상은 차량(200)에 탑재된 이미지캡처장치의 시내 이내의 차량(200)의 주변환경을 묘사하는 것일 수 있다.
목표 궤적을 따라 진행하는 차량(200)의 정확한 위치를 판단하기 위해 GPS 데이터에 의존할 필요는 없으나, 약도(sparse map, 800) 내에서 접속할 연관 로컬 지도를 판단하기 위한 색인으로서 GPS 데이터(예, GPS부(5106)으로부터 수신하는 GPS 데이터)를 사용할 수 있다. 이러한 GPS 데이터는 또한 관찰된 인지된 랜드마크의 확인을 지원하기 위한 일반적인 색인으로서 사용될 수도 있다.
도 52는 본 발명에 따른 주변환경(5200)의 일례를 예시한 것이다. 도 52에 도시된 바와 같이, 차량(200)은 일시정지표지판(5204)과 정지선(5210)이 있는 교차로(5202)에 접근할 수 있다. 일시정지표지판(5204)과 정지선(5210)의 하나 또는 모두는 약도(sparse map, 800)에 있는 인지된 랜드마크에 상응할 수 있다. 일시정지표지판(56204)과 정지선(5210)의 하나 또는 모두는 차량(200)에 탑재된 이미지캡처장치의 초점 거리 밖의 구역(5208) 또는 이미지캡처장치의 가시거리 밖의 구역(5208)에 위치할 수 있다. 일시정지표지판(5204) 및/또는 정지선(5210)에 관해 약도(sparse map, 800)에 저장된 정보에 근거하여, 처리부(110)는, 차량(200)에 탑재된 이미지캡처장치로부터 수신된 영상에서 정지선(5204 또는 5210)이 식별되기 이전이라도, 예상된 정지선(5204) 또는 정지선(5210)까지의 판단된 거리에 근거하여 제동을 개시할 수 있다. 이러한 주행 방식은, 예를 들어, 차량(200)을 서서히 감속하거나 또는 제동을 시작할(예, 일시정지표지판(5204), 정지선(5210), 예상 커브길 등) 거리의 시각적 확인이 없이도 미리 정해진 제동 프로필에 의거하여 감속하는데 도움이 될 수 있다.
도 53은 본 발명에 따른 주변환경(5300)의 다른 예를 예시한 것이다. 도 53에 도시된 바와 같이, 차량(200)은 도로(5304)의 커브(5302)에 접근할 수 있다. 차량(200)은 가시거리(5306)를 제공하는 하나 이상의 이미지캡처장치를 포함하는 영상획득부(예, 120)를 포함할 수 있다. 구역(5308)은 차량(200)의 영상획득부의 가시거리(5306) 밖의 범위를 정의할 수 있다.
차량(200)은 도로(5304)의 커브(5302)를 고려하여 속력을 줄이거나 조향을 구현할 필요가 있을 수 있다. 속력을 줄이거나 조향을 구현할 계획을 하기 위하여, 커브(5302)가 어디에 있는지 미리 아는 것이 유용할 수 있다. 그러나, 커브(5302)는 차량(200)에 탑재된 이미지캡처장치의 초점 거리 밖인 구역(5308) 내에 위치할 수 있다. 이에 따라, 차량(200)은, 예를 들어, 약도(sparse map, 800) 내에 있는 커브(200)의 미리 정해진 위치와 미리 정해진 도로 모델 궤적(5310)을 따라 진행하는 차량(200)의 위치를 사용하여 커브(5302)까지의 거리(5320)를 판단할 수 있다. 이 거리는 탑재 카메라가 촬영한 영상에 커브가 등장하기 전에 차량(200) 감속, 차량(200) 경로 변경 등을 위해 사용될 수 있다.
본　발명의　기재된　실시예에　따라,　커브(5302)까지의　거리(5320)를　판단하기 위해,　차량(200)의　이미지캡처장치는　주변환경의　영상을　촬영할　수　있다. 영상은 인지된　랜드마크(5318)를　포함할　수　있다. 차량(200)의　프로세서(예,　처리부(110))는　이　영상을　수신하고,　촬영된　영상과　인지된　랜드마크(5318)의　위치에　근거하여 미리　정해진　도로　모델　궤적(5310)을　따라　진행하는　차량(200)의　위치를　판단할　수 있다.　이후,　차량(200)의　판단된　위치에　근거하여,　프로세서는　차량(200)　전방의 가시거리(5306)　밖의　커브(5302)를　약도(sparse map, 800)에　포함된　커브(5302)　관련　정보에 근거하여　식별할　수　있다.　약도(sparse map, 800)에　포함된　커브(5302)에　관한　위치　정보는　목표 궤적을　따라　진행하는　차량(200)의　판단된　위치와　비교하여　차량(200)과　커브(5302)　사이의　거리를　판단할　수　있다.　이　거리는　차량(200)에　탑재된　카메라가　촬영한 영상　내에서　커브(5302)를　식별하기　전에　차량(200)에　대한　주행　반응을　생성하는데　사용될　수　있다.
도 54는 본 발명의 기재된 실시예에 따른 차량(200)을 자율 주행하기 위한 프로세스(5400)의 일례를 예시한 순서도이다. 차량(200)의 처리부(예, 110)는 애플리케이션 프로세서(180)와 영상 프로세서(190)의 하나 또는 모두를 사용하여 프로세스(5400)을 구현할 수 있다. 아래에 상세히 설명하는 바와 같이, 차량(200)은 미리 정해진 랜드마크 위치에 근거하여 도로 구간을 자율 주행할 수 있다. 나아가, 미리 정해진 랜드마크 위치는 차량(200)의 가시거리 밖에 있을 수 있다.
단계 5402에서, 차량(200)의 처리부(예, 110)는 차량(200)의 이미지캡처장치(예, 122)로부터 적어도 하나의 영상을 수신할 수 있다. 적어도 하나의 영상은 차량(200)의 주변환경을 나타낼 수 있다. 적어도 하나의 영상은 주변환경 내의 적어도 하나의 랜드마크를 나타내는 데이터를 포함할 수 있다. 예를 들어, 적어도 하나의 영상은 도로 구간의 도로표지판(일지정지표지판, 양보표지판 등), 신호등, 일반표지판, 도로상에 그려진 선, 커브 등과 같은 랜드마크를 나타내는 데이터를 포함할 수 있다. 앞서 설명한 바와 같이, 차량(200)의 처리부는 적어도 하나의 영상에 등장하는 인지된 랜드마크를 확인할 수 있다.
단계 5404에서, 차량(200)의 처리부는 차량(200)의 위치를 판단할 수 있다. 예를 들면, 차량(200)의 처리부는 적어도 하나의 영상과 관련된 정보 또는 적어도 이 정보의 일부에 근거하여 도로 구간에 관한 미리 정해진 도로 모델 궤적을 따라 진행하는 차량(200)의 위치를 판단할 수 있다.
단계 5406에서, 차량(200)의 이미지캡처장치의 초점거리 밖에 있고 차량(200)의 전방에 있는 인지된 랜드마크가 식별될 수 있다. 이 식별은 도로 구간과 연계된 미리 정해진 도로 모델 궤적을 따라 진행하는 차량(200)의 판단된 위치에 근거하여 이루어질 수 있다. 예를 들어, 미리 정해진 도로 모델 궤적을 따라 있는 인지된 랜드마크에 관한 정보는 앞서 설명한 약도(sparse map, 800)와 같은 약도(sparse map)에 사전에 저장될 수 있다. 도로 구간과 연계된 미리 정해진 도로 모델 궤적을 따라 진행하는 차량(200)의 판단된 위치에 근거하여, 차량(200)의 처리부는 하나 이상의 인지된 랜드마크가 미리 정해진 도로 모델 궤적을 따라 차량의 전방에, 그러나 차량의 이미지캡처장치의 가시거리 밖에 위치한다고 판단할 수 있다. 또한, 차량(200)의 처리부는 약도(sparse map, 800)에 접근함으로써 인지된 랜드마크의 미리 정해진 위치에 접근할 수 있다.
단계 5408에서, 차량과 차량(200) 전방에 차량(200)의 이미지캡처장치의 가시거리 밖에 위치한 인지된 랜드마크 사이의 현재 거리가 판단될 수 있다. 이 현재 거리는 도로 구간과 연계된 미리 정해진 도로 모델 궤적을 따라 진행하는 차량(200)의 판단된 위치를 차량(200) 전방의 가시거리 밖의 인지된 랜드마크의 미리 정해진 위치와 비교하여 판단될 수 있다.
단계 5410에서, 차량(200)과 차량(200) 전방에 위치한 인지된 랜드마크 사이의 판단된 현재 거리에 근거하여 차량을 위한 자율 주행 반응이 결정될 수 있다. 처리부(110)는 본 명세서의 다른 부분에서 설명한 바와 같이, 구동 시스템(220), 제동 시스템(230), 및 조향 시스템(240)의 하나 또는 그 이상을 제어하여 특정 주행 반응을 수행할 수 있다. 예를 들면, 자율 주행 반응은 차량(200)과 연계된 브레이크 작동을 제공하기 위해 제동 시스템(230)에 제어 신호를 전송하는 것을 포함할 수 있다. 다른 예에서, 자율 주행 반응은 차량(200)의 조향각을 수정하기 위해 조향 시스템(240)에 제어 신호를 전송하는 것을 포함할 수 있다.
도로 특징에 근거한 자율 주행
기재된 실시예에 따라, 시스템은 랜드마크를 사용하지 않고 미리 정해진 도로 특정에 기반하여 주행을 할 수 있다. 앞서 설명한 바와 같이, 이러한 도로 특징은 도로에 관한 적어도 하나의 파라미터의 식별 가능하거나 측정 가능한 변화와 연관될 수 있다. 예를 들면, 일부 경우에, 도로 특징은 특정 도로 구간의 노면 거칠기의 변화, 특정 도로 구간의 도로 폭의 변화, 특정 도로 구간에 그려진 파선 사이의 거리의 변화, 특정 도로 구간의 도로 곡률의 변화 등과 연관될 수 있다. 도로 특징은 차량이 도로 구간을 횡단하면서 시각적 정보(예, 카메라로부터 확보한 영상)에 근거하여 또는 기타 센서 출력(예, 하나 이상의 서스펜션 센서 출력, 가속도계 등)에 근거하여 식별될 수 있다. 이러한 특징은 미리 정해진 도로 프로필을 따라 진행하는 차량의 위치를 인식하는데 사용되고, 판단된 위치에서의 도로 모델의 방향을 차량의 진행 방향과 비교한 것에 근거하여 차량을 위한 전방 궤적이 판단될 수 있다.
도 55는 본 발명의 기재된 실시예에 따른 차량 제어 시스템의 일례를 예시한 것이다. 도 55에 도시된 바와 같이, 차량(200)(자율주행차일 수 있음)은 앞서 도 1과 2F를 참조하여 설명한 특징과 유사한 특징을 지닌 처리부(110)를 포함할 수 있다. 차량(200)은 또한 앞서 도 1과 2F를 참조하여 설명한 특징과 유사한 특징을 지닌 영상부(220)를 포함할 수 있다. 또한, 차량(200)은 노면에 대한 차량(200)의 서스펜션의 움직임을 감지할 수 있는 하나 이상의 서스펜션 센서(5500)을 포함할 수 있다. 예를 들면, 차량(200)의 각 바퀴에 인접하여 배치된 서스펜션 센서(5500)로부터의 신호는 지역적 형상, 경사, 또는 차량(200)이 위치한 노면의 뱅킹(banking) 등을 판단하는데 사용될 수 있다. 일부 실시예에서, 차량(200)은 추가적으로 또는 대안적으로 가속도계 또는 차량(200)이 노면을 운행하면서 노면의 변화에 관한 정보를 획득할 수 있는 기타 위치 센서를 포함할 수 있다. 도 55에 도시된 시스템(100)이 앞서 도 1과 2F를 참조하여 설명한 구성요소의 일부 또는 전부를 포함할 수 있음은 당연히 이해될 것이다.
도 56은 하나 이상의 도로 특징을 이용하여 차량(200)을 주행하는 기재된 시스템과 방법이 사용되는 도로 구간(5600) 상에서 운행하는 차량(200)을 도시한 것이다. 도로 구간(5600)은 차로(5602, 5604)를 포함할 수 있다. 도 56에 도시된 바와 같이, 차로(5602)는 중앙선(5606)과 우측(5608)으로 경계를 이루고, 차로(5604)는 좌측(5610)과 중앙선(5606)으로 경계를 이룰 수 있다. 차로(5602, 5604)의 폭은 서로 같거나 다를 수 있다. 각 차로(5602, 5604)의 폭이 도로 구간(5600)의 길이를 따라 균일하거나 균일하지 않을 수 있음은 당연히 이해될 것이다. 도 56에는 도로 구간(5600)이 두 차로(5602, 5604) 만을 포함하고 있는 것으로 도시되었으나, 도로 구간(5600)이 다른 수의 차로를 포함할 수 있음은 당연히 이해될 것이다.
도 56에 도시된 일 실시예에서, 차량(200)은 차로(5602)를 따라 운행할 수 있다. 차량(200)은 도로 구간(5600)의 차로(5602) 이내의 바람직한 경로(예, 목표 도로 모델 궤적)를 정의하는 미리 정해진 도로 모델 궤적(5612)을 따라 운행하도록 구성될 수 있다. 일부 실시예에서, 미리 정해진 도로 모델 궤적(5612)은 중앙선(5606)과 우측(5608)으로부터 등거리에 배치될 수 있다. 그러나 미리 정해진 도로 모델 궤적(5612)이 도로 구간(5600)의 중앙선(5606)과 우측(5608)의 어느 한 쪽에 더 가깝게 위치할 수 있다는 것도 당연히 이해될 것이다. 일부 실시예에서, 도로 모델 궤적(5612)은 차도의 중앙, 도로 가장자리, 차로 가장자리 등과 대략 일치하게 배치될 수 있다.
일부 실시예에서, 미리 정해진 도로 모델 궤적(5612)은 차량(200)과 연계된 메모리(140, 150)에 저장될 수 있는 3차원 다항식 함수에 의해 수학적으로 표현될 수 있다. 물론, 도로 모델 궤적(5612)의 3차원 다항식 표현은 차량(200)으로부터 원격으로 위치한 저장 장치에 저장될 수도 있다. 차량(110)의 처리부(110)는 무선통신 인터페이스를 통하여 저장 장치로부터 미리 정해진 도로 모델 궤적(5612)을 가져올 수 있다.
차량(200)은 영상획득부(120)의 이미지캡처장치(122, 124, 126)를 구비할 수 있다. 차량(200)이 도 56에 도시된 이미지캡처장치보다 많거나 적은 수의 이미지캡처장치를 포함할 수 있음은 당연히 이해될 것이다. 이미지캡처장치(122, 124, 126)는 차량(200)이 도로 구간(5600)을 운행함에 따라 차량(200)의 주변환경을 나타내는 복수의 영상을 획득하도록 구성될 수 있다. 예를 들면, 이미지캡처장치(122, 124, 126)의 하나 또는 그 이상은 차량(200) 전방의 광경을 보여주는 복수의 영상을 확보할 수 있다. 차량(200)의 처리부(110)는 이미지캡처장치(122, 124, 126)가 확보한 하나 이상의 영상에 근거하여, 또는 예를 들어, 서스펜션 센서(5500)로부터 수신한 신호에 근거하여, 차량(200)이 도로 구간(5600)을 운행함에 따라 차량(200)의 위치를 감지하도록 구성될 수 있다.
도 56에 도시된 바와 같이, 차량(200)은 지점(5622, 5624, 5626)을 거쳐 현재 위치(5628)로 운행할 수 있다. 도 56에는 3곳의 이전 지점(5622-5626)이 도시되었으나, 다양한 수의 이전 지점이 도로 구간(5600)에 존재할 수 있음은 본 발명의 당업자에게 당연히 이해될 것이다. 처리부(110)는 이미지캡처장치(122, 124, 126)로부터 수신한 하나 이상의 영상을 분석하여, 예를 들어, 지점(5622, 5624, 5626, 5628)에서의 각 도로 폭(Wp1, Wp2, Wp3, Wc)을 판단할 수 있다. 여기서, 아래 첨자 "p"는 이전 지점을 의미하고, 아래 첨자 "c"는 차량(200)의 현재 위치(5628)를 의미한다. 일부 실시예에서, 처리부(110)는 추가적으로 또는 대안적으로, 예를 들어, 지점(5622, 5624, 5626, 5628)에서의 각 차로 폭(Dp1, Dp2, Dp3, Dc)을 판단할 수 있다. 처리부(110)는 도로 구간(5600)의 일부(5614)의 도로 폭 프로필 또는 차로 폭 프로필을 생성할 수 있다. 판단된 도로 폭 프로필 또는 차로 폭 프로필은 현재 위치(5628)에 상응할 수 있다.
도 57은 차량(200)의 처리부(110)에 의해 생성된 프로필(5700)의 일례를 도시한 것이다. 도 57에 도시된 바와 같이, 도로 폭, 차로 폭, 또는 기타 파라미터는 Y 축에 나타내고, 도로 구간(5600)을 따라 차량(200)이 운행한 거리는 X 축에 나타낼 수 있다. 처리부(110)는 앞서 도 34 내지 36을 참조하여 설명한 시스템 및 방법과 유사한 시스템 및 방법을 사용하여 운행한 거리를 판단할 수 있다.
처리부(110)는 차량(200)의 현재 위치(5628)에 상응하는 도로 구간(5600)의 로컬 특징을 판단할 수 있다. 예를 들면, 처리부(110)는 판단된 도로 폭 Wp1, Wp2, Wp3, Wc 및/또는 차로 폭 Dp1, Dp2, Dp3, Dc를 곡선 적합 하여 프로필(예, 도 57에 도시된 프로필)에 대한 수학적 표현을 판단할 수 있다. 일 실시예에서, 처리부(110)는, 예를 들어, 도로 폭 프로필 또는 차로 폭 프로필의 곡선 적합과 연관된 계수(예, a1, a2, ...an)를 판단할 수 있다. 판단된 계수는 현재 위치(5628)에서의 도로 구간(5600)의 로컬 특징을 나타낼 수 있다. 다른 실시예에서, 처리부(110)는 프로필(5700)의 경사도를 로컬 특징으로 판단할 수 있다. 처리부(110)가 차량(200)의 현재 위치에 상응하는 도로 구간(5600)의 로컬 특징을 판단하기 위하여 프로필(5700)에 대해 다른 수학적 연산을 수행할 수 있다는 것은 당연히 이해될 것이다.
처리부(110)는, 예를 들어, 메모리(140, 150)에 저장된 데이터베이스(160)로부터 도로 구간(5600)에 관한 미리 정해진 특징을 가져올 수 있다. 일 실시예에서, 미리 정해진 특징에는 미리 정해진 도로 모델 궤적(5612)의 다양한 지점에 상응하는 도로 폭 프로필 또는 차로 폭 프로필을 나타내는 최적의 또는 바람직한 적합선(fit lines)의 계수가 포함될 수 있다. 예를 들어, 미리 정해진 특징은 지점1에서 계수 b1, b2, ...bn, 지점2에서 계수 c1, c2, ...cn, 지점3에서 계수 d1, d2, ...dn 등을 포함할 수 있다. 처리부(110)는 도로 폭 Wp1, Wp2, Wp3, Wc 및/또는 차로 폭 Dp1, Dp2, Dp3, Dc에 근거하여 판단된 계수(예, a1, a2, ...an)를 계수(예, b1, b2, ...bn; c1, c2, ...cn; d1, d2, ...dn 등)와 비교할 수 있다. 처리부(110)는 계수의 일치에 근거하여 차량(200)의 현재 위치(5628)를 판단할 수 있다. 예를 들어, 계수 a1, a2, ...an이 계수 c1, c2, ...cn과 각각 일치하는 경우, 처리부(110)는 차량(200)의 위치(5628)가 미리 정해진 도로 모델 궤적(5612)의 지점2와 상응하는 것으로 판단할 수 있다.
처리부(110)는 다양한 방법으로 일치를 판단할 수 있다. 일 실시예에서, 처리부(110)는 계수(예, a1, a2, ...an)와 지점1, 2, 3 등에 상응하는 계수(예, b1, b2, ...bn; c1, c2, ...cn; d1, d2, ...dn 등)의 각 모음 간의 거리를 판단할 수 있다. 처리부(110)는 판단된 거리의 적어도 하나가 임계 거리보다 작은 경우, 일치가 있다고 판단할 수 있다. 다른 실시예에서, 처리부(110)는 계수(예, a1, a2, ...an)와 지점1, 2, 3 등에 상응하는 계수(예, b1, b2, ...bn; c1, c2, ...cn; d1, d2, ...dn 등)의 각 모음 간의 오차를 판단할 수 있다. 처리부(110)는 적어도 하나의 오차가 임계 오차보다 작은 경우, 일치가 있다고 판단할 수 있다. 본 발명의 당업자는 처리부(110)가 계수의 두 모음 간의 상관관계 또는 일치를 판단하기 위해 다른 수학적 연산을 사용할 수 있음을 인지할 수 있을 것이다.
일부 실시예에서, 처리부(110)는 도로 폭 W4 및/또는 차로 폭 w4를 로컬 특징으로 사용하여 차량(500)의 현재 위치(5628)를 판단할 수 있다. 예를 들면, 도로 구간(5600)의 미리 정해진 특징은 미리 정해진 도로 모델 궤적(5612)의 지점1, 2, 3, 4, 5, ...n에 상응하는 도로 폭 w1, w2, w3, w4, w5, ...wn을 포함할 수 있다. 추가적으로, 또는 대안적으로, 도로 구간(5600)의 미리 정해진 특징은 미리 정해진 도로 모델 궤적(5612)의 지점1, 2, 3, 4, 5, ...n에 상응하는 차로 폭 d1, d2, d3, d4, d5, ...dn을 포함할 수 있다. 처리부(110)는 도로 폭 Wc 및/또는 차로 폭 Dc를 각각 도로 폭 w1, w2, w3, w4, w5, ...wn 및/또는 차로 폭 d1, d2, d3, d4, d5, ...dn과 비교하여 현재 위치(5628)를 판단할 수 있다. 예를 들면, 도로 폭 Wc가 도로 폭 W5와 일치하는 경우, 처리부(110)는 위치(5628)가 지점5에 상응하는 것으로 판단할 수 있다. 마찬가지로, 차로 폭 Dc가 차로 폭 d3과 일치하는 경우, 처리부(110)는 위치(5628)가 지점3에 상응하는 것으로 판단할 수 있다. 처리부는 상기에 설명한 일치 방식과 유사한 일치 방식을 사용하여 도로 폭 W4 및/또는 차로 폭 D4가 일치하는지 여부를 판단할 수 있다.
처리부(110)는 기타 파라미터를 사용하여 현재 위치(5628)를 판단할 수 있다. 예를 들면, 처리부(110)는 평균 도로 폭 Wavg (예, Wp1, Wp2, Wp3, Wc의 평균), 도로 폭 분산 Wvar (예, Wp1, Wp2, Wp3, Wc의 분산), 평균 차로 폭 Davg (예, Dp1, Dp2, Dp3, Dc의 평균), 차로 폭 분산 Dvar (예, Dp1, Dp2, Dp3, Dc의 분산) 중의 하나 또는 그 이상, 또는 중앙값, 최빈수 등과 같은 기타 파라미터를 판단하여 현재 위치(5628)에 상응하는 로컬 특징을 나타낼 수 있다. 상응하는 미리 정해진 도로 특징은 또한 미리 정해진 도로 모델 궤적(5612) 상의 미리 정해진 지점에서 평균 도로 폭, 도로 폭 분산, 평균 차로 폭, 차로 폭 분산, 도로 폭의 중앙값 또는 최빈수, 차로 폭의 중앙값 또는 최빈수 등으로 나타내어질 수도 있다. 처리부(110)는 앞서 설명한 바와 같이 판단된 로컬 특징과 미리 정해진 도로 특징을 비교하여 차량(200)의 현재 위치(5628)를 판단할 수 있다.
일부 실시예에서, 도로 구간(5600)의 로컬 특징과 미리 정해진 특징은 도로 구간(5600)의 길이, 도로 구간(5600) 사이의 간격, 도로 구간(5600) 상의 표시(예, 노면 표시)에 기반할 수 있다. 도 58은 미리 정해진 도로 특징이 노면 표시에 근거한 도로 구간(5600)을 운행하는 차량(200)의 일례를 도시한 것이다. 예를 들면, 도 58은 중앙선(5606)을 노면 표시 5802 내지 5816으로 나타낸 파선으로 도시하고 있다. 차량(200)이 도로 구간(5600)을 운행함에 따라, 처리부(110)는 하나 이상의 이미지캡처장치(122, 124, 126) 등으로부터 수신한 하나 이상의 영상을 분석하여 노면 표시(5802-5816)를 감지할 수 있다. 처리부(110)는 또한, 예를 들어, 노면 표시 5802-5804, 5804-5806, 5806-5808, 5808-5810 사이의 간격 Sp1, Sp2, Sp3, Sc를 각각 판단할 수 있다. 처리부는 추가적으로 또는 대안적으로 노면 표시 5802, 5804, 5806, 5808의 각 길이 Lp1, Lp2, Lp3, Lc를 판단할 수 있다. 일 실시예에서, 처리부는 앞서 도 56과 57을 참조하여 설명한 프로필과 유사한 방법으로 간격 Sp1, Sp2, Sp3, Sc 또는 길이 Lp1, Lp2, Lp3, Lc에 각각 근거한 파선 간격 프로필 또는 파선 길이 프로필을 생성할 수 있다. 처리부(110)는 또한 앞서 도 56과 57을 참조하여 설명한 바와 같이, 파선 간격 프로필 및/또는 파선 길이 프로필에 대한 곡선 적합의 계수에 근거하여 로컬 특징을 판단할 수 있다. 처리부(110)는 로컬 특징(예, 파선 간격 프로필 또는 파선 길이 프로필을 나타내는 계수)을 도로 구간(5600)의 미리 정해진 특징과 비교할 수 있다. 예를 들면, 처리부(110)는 미리 정해진 도로 모델 궤적 상의 알려진 지점에서 파선 간격 프로필 또는 파선 길이 프로필을 나타내는 계수를 파선 간격/길이 프로필의 미리 정해진 계수와 비교할 수 있다. 처리부(110)는, 앞서 도 56과 57을 참조하여 설명한 바와 같이, 판단된 파선 간격/길이 프로필의 계수와 미리 정해진 계수가 알려진 특정 지점에서 일치하는 경우, 차량(200)의 현재 위치(5628)를 판단할 수 있다.
일부 실시예에서, 처리부(110)는 파선 간격 Sc 및/또는 파선 길이 Lc를 로컬 특징으로 사용하여 차량(200)의 현재 위치(5628)를 판단할 수 있다. 예를 들어, 도로 구간(5600)의 미리 정해진 특징은 미리 정해진 도로 모델 궤적(5612)의 지점 1, 2, 3, 4, 5, ...n에 상응하는 파선 간격 s1, s2, s3, s4, s5, ...sn을 포함할 수 있다. 추가적으로, 또는 대안적으로, 도로 구간(5600)의 미리 정해진 특징은 미리 정해진 도로 모델 궤적(5612)의 지점 1, 2, 3, 4, 5, ...n에 상응하는 파선 길이 l1, l2, l3, l4, l5, ...ln을 포함할 수 있다. 처리부(110)는 파선 간격 Sc 및/또는 파선 길이 Lc를 파선 간격 s1, s2, s3, s4, s5, ...sn 및/또는 파선 길이 l1, l2, l3, l4, l5, ...ln과 각각 비교하여 현재 위치(5628)를 판단할 수 있다. 예를 들어, 파선 간격 Sc가 파선 간격 s5와 일치하는 경우, 처리부(110)는 위치(5628)가 지점5와 상응한다고 판단할 수 있다. 마찬가지로, 파선 길이 Lc가 파선 길이 l3과 일치하는 경우, 처리부(110)는 위치(5628)가 지점3과 상응한다고 판단할 수 있다. 처리부는 상기에 설명한 일치 방식과 유사한 일치 방식을 사용하여 파선 간격 Sc 및/또는 파선 길이 Lc가 미리 정해진 파선 길이 또는 간격과 일치하는지 여부를 판단할 수 있다.
다른 실시예에서, 처리부(110)는 평균 파선 길이 Lavg, 파선 분산 Lvar, 파선 간격 평균 Savg, 또는 파선 간격 분산 Svar를 로컬 파라미터로 판단할 수 있다. 처리부(110)는 미리 정해진 도로 모델 궤적(5612)의 다양한 지점에서 파선 길이 Lavg, 파선 분산 lLvar, 파선 간격 평균 Savg, 또는 파선 간격 분산 Svar를 파선 길이, 파선 분산, 파선 간격 평균, 또는 파선 간격 분산의 미리 정해진 값과 비교할 수 있다. 다양한 지점에서의 파선 길이, 파선 분산, 파선 간격 평균, 또는 파선 간격 분산의 미리 정해진 값은 도로 구간(5600)의 미리 정해진 특징을 구성할 수 있다. 처리부(110)는 파선 길이 Lavg, 파선 분산 Lvar, 파선 간격 평균 Savg, 및 파선 간격 분산 Svar의 적어도 하나가 파선 길이, 파선 분산, 파선 간격 평균, 또는 파선 간격 분산의 미리 정해진 상응하는 값과 일치하는 지점을 차량(200)의 현재 위치(5628)로 판단할 수 있다.
또 다른 실시예에서, 처리부(110)는 복수의 파선을 로컬 특징으로 사용할 수 있다. 예를 들면, 노면 표시(5802-5816)는, 기계에 의해 칠해지는 경우, 일정한 길이와 간격으로 칠해질 수 있다. 이에 따라, 차량(200)이 도로 구간(5600)을 운행하면서 노면 표시의 수에 근거하여 차량(200)의 현재 위치(5628)를 판단하는 것이 가능할 수 있다. 처리부(110)는 차량(200)이 현재 위치(5628)에 도달할 때까지 통과했을 수 있는 파선의 수 "Nc"를 판단할 수 있다. 처리부(110)는 Nc를 미리 정해진 도로 모델 궤적(5612)의 지점 1, 2, 3, ...n까지의 노면 표시 개수에 상응하는 n1, n2, n3, ...nn와 비교할 수 있다. n1, n2, n3, ...nn는 도로 구간(5600)의 미리 정해진 특징에 상응할 수 있다. 일례로, Nc가 n2와 일치하는 경우, 처리부는 현재 위치(5628)가 지점2에 상응한다고 판단할 수 있다.
일부 실시예에서, 도로 구간(5600)의 로컬 특징과 미리 정해진 특징은 미리 정해진 도로 모델 궤적의 곡률 반경과 차량(200)이 실제로 운행한 궤적에 기반할 수 있다. 예를 들면, 도 59에 도시된 바와 같이, 차량(200)은 차로(5902, 5904)를 포함하는 도로 구간(5900)을 운행할 수 있다. 도 59에 도시된 바와 같이, 차로(5902)는 중앙선(5906)과 우측(5908)으로 경계를 이루고, 차로(5904)는 좌측(5910)과 중앙선(5906)으로 경계를 이룰 수 있다. 차량(200)은 차량(200)이 도로 구간(5900)을 운행하며 따라 가는 도로 구간(5900)의 차로(5902) 이내의 바람직한 경로(예, 목표 도로 모델 궤적)를 정의하는 미리 정해진 도로 모델 궤적(5912)을 따라 운행하도록 구성될 수 있다. 도 59에 또한 도시된 바와 같이, 차량(200)은 이전 지점(5922, 5924, 5926, 5928, 5930, 5932)을 거쳐 현재 위치(5934)로 운행할 수 있다. 도 59에는 6개의 이전 지점(5922-5932)이 도시되어 있지만, 다양한 수의 이전 지점이 도로 구간(5900)에 존재할 수 있음은 본 발명의 당업자에게 당연히 이해될 것이다.
처리부(110)는 차량(200)의 운행한 궤적(5914)이 차량(200)의 이전 지점(5922-5932)을 통과하는 것으로 판단할 수 있다. 일 실시예에서, 처리부(110)는 미리 정해진 도로 모델 궤적(5912)을 나타내는 3차원 다항식과 유사한 3차원 다항식인 곡선을 지점(5922-5932)을 거쳐 적합시킬 수 있다. 처리부(110)는 또한 미리 정해진 도로 모델 궤적(5912)의 다양한 구간(부분 또는 구역)의 곡률을 나타내는 제1 파라미터 값을 판단할 수 있다. 나아가, 처리부(110)는 운행한 궤적(5914)의 곡률을 나타내는 제2 파라미터 값을 판단할 수 있다. 처리부(110)는 제1 및 제2 파라미터 값에 근거하여 차량(200)의 현재 위치(5934)를 판단할 수 있다.
예를 들어, R1, R2, R3, ...Rz가 미리 정해진 도로 모델 궤적(5912)의 구간 C1, C2, C3, ...Cz의 곡률 반경을 나타내는 경우, 도 59를 참조하면, 미리 정해진 도로 모델 궤적(5912)의 구간 C1, C2, C3, ...Cz는 미리 정해진 도로 모델 궤적(5912)의 지점 5922-5944, 5922-5946, 5922-5948 등의 사이의 구역을 나타내는 것일 수 있다. 처리부는, 예를 들어, 지점 5922와 5934 사이의 운행한 궤적(5914)의 곡률 반경 Rt를 판단할 수 있다. 처리부(110)는 곡률 반경 Rt를 반경 R1, R2, R3, ...Rz와 비교할 수 있다. 처리부(110)는 곡률 반경 Rt가 지점 5922와 5970 사이에 있는 미리 정해진 도로 모델 궤적 부분의 곡률 반경 Rp와 일치하는 지점(5970)을 차량(200)의 현재 위치(5934)로 판단할 수 있다. 이후, 처리부(110)는 앞서 설명한 일치 방식과 유사한 방식을 사용하여 반경 Rt와 반경 Rp 사이를 일치시킬 수 있다.
도 60은 본 발명의 기재된 실시예에 따라 도로 특징을 사용하여 차량(200)을 도로 구간(5900 또는 5600)에서 주행하는 프로세스(6000)의 일례를 예시한 순서도이다. 프로세스(6000)의 단계들은 처리부(110) 및 영상획득부(120) 중 하나 또는 그 이상에 의해, 메모리(140 또는 150)에 접속하거나 접속하지 않고, 수행될 수 있다. 프로세스(6000)에서 단계의 순서 또는 배치는 예시의 목적으로만 제공된 것이다. 기재된 프로세스(6000)에 단계를, 예를 들어, 추가, 병합, 삭제, 및/또는 재배열 함으로써 프로세스(6000)를 수정할 수 있음은 당연한 것으로 이해될 수 있을 것이다.
도 60에 도시된 바와 같이, 프로세스(6000)는 센서로부터 도로 구간(5900 또는 5600)의 하나 이상의 양상에 관한 정보를 수신하는 단계(6002)를 포함할 수 있다. 일 실시예에서, 센서는 차량의 주변환경을 나타내는 하나 이상의 영상을 획득할 수 있는 이미지캡처장치(122, 124, 126)의 하나 또는 그 이상을 포함할 수 있다. 일 실시예에서, 영상획득부(120)는 차량(200) 전방(또는 차량의 측방 또는 후방) 영역의 하나 이상의 영상을 획득할 수 있다. 예를 들어, 영상획득부(120)는 시야(2020)를 가진 이미지캡처장치(122)를 사용하여 영상을 획득할 수 있다. 다른 실시예에서, 영상획득부(120)는 각각 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126) 중 하나 이상으로부터 영상을 획득할 수 있다. 영상획득부(120)는 하나 이상의 영상을 데이터 연결(예, 디지털, 유선, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
다른 실시예에서, 센서는 차량(200) 상의 하나 이상의 서스펜션 센서(5500)을 포함할 수 있다. 서스펜션 센서(5500)는 도로 구간(5900 또는 5600)의 표면에 대한 차량(200)의 서스펜션 움직임을 나타내는 신호를 생성하도록 구성될 수 있다. 처리부(110)는 차량(200)이 도로 구간(5900 또는 5600)을 이동하면서 차량(200)의 하나 이상의 서스펜션 센서(5500)로부터 신호를 수신할 수 있다. 예를 들면, 처리부(110)는 바퀴에 인접하여 배치된 서스펜션 센서(5500)에 근거하여 차량(200)의 각 바퀴에 인접한 상대적 높이에 관한 정보를 수신할 수 있다. 처리부(110)는 이 정보를 이용하여 차량(200)이 있는 위치의 노면 프로필을 판단할 수 있다. 노면 프로필은, 예를 들어, 중앙선(5906) 또는 우측(5908)에 대한 차로(5902 또는 5602)의 뱅크(bank) 또는 기울기에 관한 정보를 제공할 수 있다. 일부 실시예에서, 노면 프로필은 또한 하나 이상의 서스펜션 센서(5500)로부터 수신한 신호에 근거하여 도로 구간(5900 또는 5600) 내의 범프를 식별할 수 있다.
프로세스(6000)는 또한 센서(예, 영상부(110), 하나 이상의 서스펜션 센서(5500) 등)로부터 수신한 정보에 근거하여 로컬 특징을 판단하는 단계(6004)를 포함할 수 있다. 로컬 특징은 차량(200)의 현재 위치(5628 또는 5932)에서의 도로 구간의 하나 이상의 양상을 나타내는 것일 수 있다. 예를 들면, 로컬 특징은 차량(200)의 현재 위치(5932)에서의 도로 폭, 차로 폭, 및 노면 프로필 중의 적어도 하나를 포함할 수 있다. 일부 실시예에서, 로컬 특징은 차량이 미리 정해진 도로 모델 궤적을 따라 현재 위치(5932)로 운행하면서 처리부(110)에 의해 수집된 데이터에 근거할 수 있다. 특히, 차량이 현재 위치(5932)로 운행하면서 판단된 도로 폭, 차로 폭, 노면 표시(예, 파선)의 길이, 인접한 노면 표시(파선) 사이의 간격 등에 근거하여, 처리부(110)는, 앞서 도 55 내지 58을 참조하여 설명한 바와 같이, 도로 폭 프로필, 차로 폭 프로필, 파선 길이 프로필, 파선 간격 프로필, 운행한 궤적(5914)의 곡률을 나타내는 제2 파라미터 값, 및/또는 기타 파라미터를 판단할 수 있다.
프로세스(6000)는 도로 구간(5900)에 대한 미리 정해진 특징을 수신하는 단계(6006)를 포함할 수 있다. 예를 들어, 처리부(110)는 차량(200)과 연계된 메모리(140, 150)에 저장된 데이터베이스(160) 또는 차량(200)으로 원격으로 위치한 데이터베이스(160)로부터 미리 정해진 특징을 수신할 수 있다. 앞서 도 56 내지 59를 참조하여 설명한 바와 같이, 미리 정해진 특징은 미리 정해진 도로 모델 궤적(5912)의 미리 정해진 지점에서의 도로 폭, 차로 폭, 파선 길이, 파선 간격 등 중의 적어도 하나를 나타내는 하나 이상의 미리 정해진 파라미터 값을 포함할 수 있다. 일부 실시예에서, 미리 정해진 특징은 또한 미리 정해진 도로 모델 궤적(5912)의 다양한 미리 정해진 지점에서의 도로 구간의 적어도 일부의 도로 폭 프로필, 도로 구간의 적어도 일부의 차로 폭 프로필, 도로 구간의 적어도 일부의 파선 간격 프로필, 도로 구간의 적어도 일부의 미리 정해진 수의 노면 표시, 도로 구간의 적어도 일부의 노면 프로필, 및 도로 구간과 연계된 미리 정해진 곡률 중의 하나 또는 그 이상을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 도로 구간(5900)의 적어도 하나의 미리 정해진 특징을 나타내는 파라미터 값의 제1 모음을 가져올 수 있다.
또한, 일부 실시예에서, 미리 정해진 특징은 알려진 지점(예, 교차로)에서 시작할 수 있고, 차선 표시 구간 길이와 간격을 알고 차선 표시 구간을 센 경우, 처리부(110)는 알려진 지점으로부터 도로에 관한 위치를 판단할 수 있다. 일부 실시예에서, 특정 구간(예, 흔히 교차로에 가까운 구간)의 알려진 길이를 일관된 구간 길이 및 간격에 관한 통계와 조합하여 피리 정해진 특징으로 사용할 수 있다. 나아가, 일부 실시예에서, 미리 정해진 특징은 차선 표시 구간과 가로등의 조합과 같은 두 개의 반복된 특징의 조합을 포함할 수 있다. 또 다른 실시예에서, 미리 정해진 특징은 GPS 데이터(예, 근사 위치)와 차선 표시 구간의 조합을 포함할 수 있다.
프로세스(6000)는 또한, 예를 들어, 단계 6004에서 판단된 로컬 특징이, 예를 들어, 단계 6006에서 가져온 적어도 하나의 미리 정해진 특징과 일치하는지 여부를 판단하는 단계(6008)를 포함할 수 있다. 처리부(110)는 앞서 도 57 내지 59를 참조하여 설명한 일치가 있는지 여부를 판단할 수 있다. 처리부(110)가 로컬 특징이 미리 정해진 특징과 일치한다고 판단하는 경우(즉, 단계 6008에서 "예"인 경우), 처리부(110)는 단계 6010으로 진행할 수 있다. 단계 6010에서, 처리부는 차량(200)의 현재 위치(5628, 5932)를 판단할 수 있다. 처리부(110)는 앞서 도 57 내지 59를 참조하여 설명한 바와 같이 현재 위치(5932)를 판단할 수 있다. 그러나, 단계 6008에서 처리부(110)가 로컬 특징이 미리 정해진 특징과 일치하지 않는다고 판단하는 경우(즉, 단계 6008에서 "아니오"인 경우), 처리부(110)는 단계 6006으로 돌아가서 데이터베이스(160)로부터 다른 미리 정해진 특징을 가져올 수 있다.
프로세스(6000)는 현재 위치(5628, 5932)에서의 차량(200)의 진행 방향(5980)을 판단하는 단계(6012)를 포함할 수 있다. 처리부(110)는 앞서 도 37 내지 39를 참조하여 설명한 하나 이상의 동작을 사용하여 진행 방향(5980)을 판단할 수 있다. 예를 들면, 처리부(110)는 차량(200)의 현재 위치(5932)에서의 운행한 궤적의 경사도를 진행 방향(5980)으로 판단할 수 있다. 프로세스(6000)는 또한 미리 정해진 도로 모델 궤적(5912)의 방향(5990)을 판단하는 단계(6014)를 포함할 수 있다. 처리부(110)는 앞서 도 37 내지 43을 참조하여 설명한 하나 이상의 동작을 사용하여 방향(5990)을 판단할 수 있다. 예를 들어, 처리부(110)는 차량(200)의 현재 위치(5932)에서의 미리 정해진 도로 모델 궤적(5912)의 탄젠트 방향 벡터를 방향(5990)으로 판단할 수 있다. 처리부(110)는 현재 위치(5932)에서 미리 정해진 도로 모델 궤적(5912)의 수학적 표현의 경사도를 따라 가리키는 벡터를 탄젠트 방향 벡터로 판단할 수 있다.
프로세스(6000)는 또한 차량(200)의 자율 조향 동작을 결정하는 단계(6016)을 포함할 수 있다. 처리부(110)는 진행 방향(5980)과 미리 정해진 도로 모델 궤적(5912)의 방향(5990) 사이의 회전각 를 판단할 수 있다. 처리부(110)는 주행 모듈(408) 내의 지시를 실행하여 차량(200)의 현재 위치(5932)에서 차량(200)의 진행 방향(5980)이 미리 정해진 도로 모델 궤적(5912)의 방향(5990)과 정렬(즉, 평행)되게 할 수 있는 차량(200)을 위한 자율 조향 동작을 판단할 수 있다. 처리부(110)는 또한 조향 시스템(240)에 제어 신호를 전송하여 차량(200)의 바퀴 회전을 조정하여 현재 위치(5912)에서 진행 방향(5980)이 미리 정해진 도로 모델 궤적(5912)의 방향(5990)과 정렬되도록 차량(200)을 회전시킬 수 있다.
처리부(110) 및/또는 영상획득부(120)는 미리 정해진 시간이 경과한 이후에 단계 6002 내지 6016을 반복할 수 있다. 일 실시예에서, 미리 정해진 시간은 0.5초 내지 1.5초일 수 있다. 도로 특징에 근거한 차량(200)의 현재 위치(5932), 운행한 궤적(5914)에 근거한 진행 방향(5980), 현재 위치(5932)에서의 미리 정해진 도로 모델 궤적(3410)의 방향(5990), 및 진행 방향(5980)을 방향(5990)과 정렬시키기 위한 자율 조향 동작을 반복적으로 판단함으로써, 처리부(110) 및/또는 영상획득부(120)는 도로 특징을 사용한 차량(200)의 주행을 지원하여 차량(200)이 도로 구간(5912)을 따라 운행하도록 할 수 있다.
후방 카메라에 기반한 전방 주행
본 발명의 기재된 실시예에 의하면, 열악한 조명 조건으로 인해 전방 카메라를 사용하여 주행하기 어려운 상황(예, 눈부신 햇빛 방향으로 주행)에서, 후방 카메라로부터 확보한 영상 정보에 근거하여 주행이 이루어질 수 있다.
일 실시예에서, 차량의 자율 주행을 위한 시스템은 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는 후방 카메라로부터 차량 후방 영역을 나타내는 적어도 하나의 영상을 수신하고, 적어도 하나의 후방 영상을 분석하여 영상 내에서 적어도 하나의 랜드마크의 표현을 찾고, 차량에 대한 적어도 하나의 랜드마크 위치 지시자를 판단하고, 적어도 부분적으로는 차량에 대한 랜드마크 위치 지시자에 근거하여 차량의 전방 궤적을 판단하고, 판단된 전방 궤적을 따라 차량이 주행하게 하도록 프로그램 될 수 있다.
이에 관한 실시예에서, 랜드마크 위치 지시자는 차량과 랜드마크 사이의 거리 및/또는 차량과 랜드마크 사이의 상대각을 포함할 수 있다. 랜드마크는 노면 표시, 차선 표시, 반사경, 기둥, 도로상의 차선 패턴 변화, 도로표지판, 또는 도로 구간에 관한 기타 관찰 가능한 특징을 포함할 수 있다. 랜드마크는, 예를 들어, 도로표지판의 뒷면을 포함할 수 있다. 적어도 하나의 프로세서는 랜드마크 위치 지시자에 근거하여 현재 운행중인 차로 내에서 차량의 차선 오프셋 양을 판단하도록 더 프로그램 될 수 있고, 전방 궤적의 판단은 판단된 차선 오프셋 양에 근거할 수 있다. 적어도 하나의 프로세서는 다른 카메라로부터 차량의 다른 영역을 나타내는 적어도 하나의 영상을 수신하도록 더 프로그램 될 수 있고, 전방 궤적의 판단은 다른 카메라로부터 수신한 하나 이상의 영상에 더 근거할 수 있다.
일부 실시예에서, 후방 카메라는 차량에 연결된 물체에 탑재될 수 있다. 물체는 트레일러, 자전거 캐리어, 장착 베이스, 스키/스노보드 캐리어, 또는 루프탑랙(luggage carrier)일 수 있다. 후방 카메라 인터페이스는 탈착식 인터페이스 또는 무선 인터페이스일 수 있다.
도 61a는 본 발명의 기재된 실시예에 따른 차량(6100)의 일례를 개략적으로 예시한 측면도이다. 차량(6100)은 차체에 차량(6100)에 대해 후방을 바라보는 이미지캡처장치(6102)가 포함되어 있다는 점을 제외하고는 도 2a의 차량(200)과 유사할 수 있다. 시스템(6104)는 도 1의 시스템(100)과 유사할 수 있고, 처리부(110)와 유사한 처리부(6106)를 포함할 수 있다. 도 61a에 도시된 바와 같이, 이미지캡처장치(6102)는 차량(6100)의 트렁크 부근에 배치될 수 있다. 이미지캡처장치(6102)는 또한, 예를 들어, 다음과 같은 위치 중의 한 곳에 배치될 수 있다: 차량(6100)의 사이드 미러 상 또는 내부; 차량(6100)의 지붕; 차량(6100)의 측면; 차량(6100)의 창/전면유리 상, 뒤, 또는 앞; 뒤 범퍼 상 또는 내부; 차량(6100) 후면의 등화장치 내부 또는 부근; 또는 이미지캡처장치(6102)가 차량(6100) 후방 영역의 영상을 확보할 수 있는 기타 위치. 일부 실시예에서, 앞서 설명한 바와 같이, 이미지캡처장치(6102)는 차량(6100)의 후면 유리에 맞닿아 있는 눈부심 가림막(380) 뒤에 탑재될 수 있다. 이러한 가림막은 차량(6100) 내부로부터의 반사가 이미지캡처장치(6102)에 끼치는 영향을 최소화할 수 있다.
도 61a에는 차량(6100)의 후방을 바라보는 하나의 이미지캡처장치(6102)가 도시되어 있다. 그러나, 다른 실시예는 다른 위치에 배치돼 있고 차량(6100)의 후방을 바라보는 복수의 이미지캡처장치를 포함할 수 있다. 예를 들면, 제1 이미지캡처장치는 차량(6100)의 트렁크에 배치되어 차량(6100)의 후방, 약간 아래쪽을 바라볼 수 있고, 제2 이미지캡처장치는 차량(6100)의 지붕에 탑재되어 차량(6100)의 후방, 약간 위쪽을 바라볼 수 있다. 다른 예에서, 제1 이미지캡처장치는 차량(6100
일부 실시예에서, 처리부(6106)는 수신한 영상 내에서 발견된 랜드마크의 묘사에 근거하여 차량에 대한 랜드마크의 적어도 하나의 위치 지시자를 판단할 수 있다. 예를 들어, 수신한 영상 내에서 발견된 랜드마크 묘사의 크기와 형상을 사용하여(예, 복수의 영상 프레임에 걸쳐 물체의 축적 변화를 관찰하여) 차량(6100)으로부터의 거리(6212A)를 추정할 수 있다. 다른 예에서, 수신한 영상 내에서 발견된 랜드마크의 묘사가 차지하는 픽셀의 좌표를 사용하여 각도(6212B)를 추정할 수 있다. 처리부(6106)가 랜드마크에 관한 정보를 가져오는 실시예에서, 정보는 수신한 영상 내에서 발견된 랜드마크의 묘사를 모델링하고 수신한 영상 내에서 발견된 랜드마크의 묘사와 비교하기 위하여 사용될 수 있다. 이러한 실시예에서, 정보는 판단된 위치 지시자의 정확도를 향상시킬 수 있다.
선택적 단계 6308에서, 처리부(6106)는 차량에 대한 랜드마크의 위치 지시자에 근거하여 현재 운행 중인 차로 내에서 차량의 차선 오프셋 양을 판단(또는 현재 운행 중인 차로를 판단)할 수 있다. 예를 들면, 이러한 오프셋 판단 또는 차로 판단은 인지된 랜드마크의 위치와 함께 도로 구간의 차로에 대한 인지된 랜드마크의 상대적 위치를 알게 됨으로써 가능할 수 있다. 따라서, 거리와 방향이 인지된 랜드마크에 대하여 판단되면, 현재 운행 중인 차로 및/또는 운행 중인 특정 차로 내의 차선 오프셋을 계산할 수 있다. 차량의 차선 오프셋은 차로 지시자로부터 기준점까지의 수직 거리를 의미할 수 있다. 일부 실시예에서, 기준점은 차량의 가장자리 또는 차량의 중심선 상의 한 점에 상응할 수 있다. 다른 실시예에서, 기준점은 차로 또는 도로의 중앙 지점에 상응할 수 있다. 차로 지시자는, 예를 들어, 차선표시, 도로 가장자리, 차로의 가시성 향상을 위한 반사경, 또는 차로의 경계 상 또는 부근에 있는 기타 물체를 포함할 수 있다. 상기 예에서, 차선 오프셋은 도로 가장자리(6208)로부터 차량(6100)까지의 수직 거리일 수 있다.
단계 6310에서, 처리부(6106)는, 적어도 부분적으로, 차량에 대한 랜드마크의 위치 지시자에 근거하여 차량의 전방 궤적을 판단할 수 있다. 선택적 단계 6308이 수행되는 실시예에서, 처리부(6106)는 판단된 차선 오프셋 양에 더 근거하여 차량의 전방 궤적을 판단할 수 있다. 처리부(6106)가 다른 카메라로부터 차량(6100)의 다른 영역을 나타내는 적어도 하나의 영상을 수신한 실시예에서, 처리부(6106)는 다른 카메라로부터 수신한 적어도 하나의 영상에 더 근거하여 차량의 전방 궤적을 판단할 수 있다. 이러한 궤적 판단은 앞서 설명한 방법(예, 인지된 랜드마크, 후미 정렬 등에 근거한 주행)에 근거할 수 있다.
도 61a에는 차량(6100)의 후방을 바라보는 하나의 이미지캡처장치(6102)가 도시되어 있다. 그러나, 다른 실시예는 다른 위치에 배치돼 있고 차량(6100)의 후방을 바라보는 복수의 이미지캡처장치를 포함할 수 있다. 예를 들면, 제1 이미지캡처장치는 차량(6100)의 트렁크에 배치되어 차량(6100)의 후방, 약간 아래쪽을 바라볼 수 있고, 제2 이미지캡처장치는 차량(6100)의 지붕에 탑재되어 차량(6100)의 후방, 약간 위쪽을 바라볼 수 있다. 다른 예에서, 제1 이미지캡처장치는 차량(6100)의 좌측 사이드 미러에 설치되고, 제2 이미지캡처장치는 차량(6100)의 우측 사이드 미러에 설치될 수 있다. 제1 및 제2 이미지캡처장치는 모두 차량(6100)의 후방을 바라볼 수 있다.
일부 실시예에서, 이미지캡처장치들은 서로의 시야가 완전히 중첩되거나, 부분적으로 중첩되거나, 전혀 중첩되지 않게 상대적 배치가 선택될 수 있다. 나아가, 이미지캡처장치들의 시야는 서로 동일하거나 상이할 수 있고, 초점 거리도 서로 동일하거나 상이할 수 있다.
도 61a에는 차량(6100)에 대하여 후방을 바라보는 이미지캡처장치(6102)가 도시되어 있다. 그러나 본 발명의 당업자라면 차량(6100)이 다양한 방향을 향하는 다양한 수의 이미지캡처장치를 더 포함할 수 있고 처리부(6106)가 이러한 추가 이미지캡처장치를 동작하도록 더 프로그램 될 수 있다는 것을 당연히 이해할 수 있을 것이다. 예를 들면, 차량(6100)은 도 2a의 이미지캡처장치(122, 124)를 더 포함할 수 있고, 처리부(6106)은 시스템(100)의 처리부(110)에 프로그램 된 기능들을 수행하도록 프로그램 될 수 있다. 본 발명의 당업자라면 또한, 하나는 차량(6100)의 후방을 향하고 다른 하나는 차량(6100)의 전방을 향하는, 복수의 이미지캡처장치를 구비하면 열악한 조명 조건으로 인해 하나의 이미지캡처장치를 사용하여 주행하기 어려운 상황(예, 눈부신 햇빛 방향으로 주행)에서 유리할 수 있다는 것도 당연히 이해할 수 있을 것이다. 열악한 조명 조건이 이미지캡처장치 모두에 영향을 미칠 가능성은 매우 낮기 때문에, 시스템(6104)은 이런 상황의 조명 조건에서 불리한 영향을 덜 받는 이미지캡처장치로부터 수신한 영상에 근거하여 주행하도록 구성될 수 있다.
일부 실시예에서, 차량의 전방 궤적은 전방 카메라로부터 수신한 영상과 함께 또는 무관하게 후방 카메라로부터 수신한 영상에 근거하여 판단될 수 있다. 일부 실시예에서, 전방 궤적은, 예를 들어, 하나는 후방 카메라로부터 수신한 영상에 근거하고 다른 하나는 전방 카메라로부터 수신한 영상에 근거한 두 개의 판단된 궤적의 평균을 구하여 판단될 수 있다.
일부 실시예에서, 전방 카메라와 후방 카메라에서 수신된 영상들을 분석하여 어떤 카메라가 현재 더 유용한 영상을 제공하고 있는지를 판단할 수 있다. 이러한 판단에 근거하여, 전방 카메라 또는 후방 카메라의 영상이 차량의 주행을 위해 선택적으로 사용될 수 있다. 예를 들어, 차량(6100)이 밝은 광원(예, 태양)을 향하고 있어서 전방 카메라가 주행 반응을 정확하게 판단하기 위해 필요한 정보가 부족한 영상을 확보하는 상황에서, 동일 광원으로부터 영향을 받지 않는 후방 카메라로부터 수집된 영상이 차량의 주행에 사용될 수 있다. 이러한 사용 가능한 영상 스트림으로부터의 영상 판단 및 선택은 이러한 상황에서 즉시 이루어질 수 있다.
일부 실시예에서, 주행이 후방 카메라로부터 수신한 영상에 근거하는 이유는 하나 이상의 물체(예, 대형 트럭 또는 기타 차량)가 전방 카메라 시야의 일부를 가리고 있기 때문일 수 있다. 다른 상황에서, 전방 카메라로부터 수집된 영상에 대한 보완으로서 후방 카메라로부터 수집된 영상에 근거하여 주행할 수 있다. 예를 들면, 일부 실시예에서, 차량은 전방 카메라의 시야 내에서 인지된 랜드마크를 발견할 수 있다. 인지된 랜드마크가 처음 전방 카메라의 시야 내에 들어온 순간부터 차량이 인지된 랜드마크를 통과한(또는 랜드마크가 전방 카메라의 시야를 벗어난) 때까지, 주행은 인지된 랜드마크의 확보된 영상에 근거하여(예, 앞서 설명한 방법에 의하여) 진행할 수 있다. 그러나 인지된 랜드마크에 근거한 주행은 차량이 랜드마크를 통과할 때 종료될 필요가 없다. 오히려, 차량이 이 랜드마크로부터 멀어지면서 후방 카메라가 이 인지된 랜드마크의 영상을 캡처할 수 있다. 이 영상은, 앞서 설명한 바와 같이, 특정 도로 구간의 목표 궤적에 대한 차량의 위치를 판단하는데 사용될 수 있고, 인지된 랜드마크의 뒷면이 보이거나 후방 카메라에 의해 촬영된 영상에 나타나는 이상 인지된 랜드마크 뒷면의 영상은 사용될 수 있다. 이런 방식을 사용하면, 차량이 인지된 랜드마크를 사용하여 주행할 수 있는 시간을 연장할 수 있고, 차량이 추측항법이나 인지된 랜드마크의 알려진 위치에 입각하지 않은 기타 주행 방식으로 전환해야 하는 시간을 지연시킬 수 있다. 그 결과, 주행 오차를 더욱 줄여서 차량이 목표 궤적을 더욱 근접하게 따라갈 수 있다.
일부 실시예에서, 차량(6100)의 후방에 물체가 있을 수 있고, 이런 물체는 이미지캡처장치(6102)의 시야 내에 있어서 차량(6100) 후방의 영역을 나타내는 영상을 정확하게 촬영할 이미지캡처장치(6102)의 능력을 방해할 수 있다. 물체는, 예를 들어, 트레일러, 장착 베이스, 자전거 캐리어, 스키/스노보드 캐리어, 또는 루프탑랙일 수 있다. 일부 실시예에서, 이미지캡처장치(6102)는 이러한 물체 상에 설치되고 물체 후방 영역을 나타내는 영상을 촬영하도록 배치될 수 있다. 도 61b는 이런 물체를 동반한 차량의 일례를 도시한 것이다.
도 61b는 본 발명의 기재된 실시예에 따른 차량(6150)의 일례를 개략적으로 예시한 측면도이다. 차량(6150)은 트레일러(6108)를 견인하고 있고 이미지캡처장치(6102)가 트레일러(6108) 상에 설치돼 있다는 점을 제외하고는 차량(6100)과 유사하다. 도 61b에 도시된 바와 같이, 이미지캡처장치(6102)는 트레일러(6108)의 후방을 바라보고 있고, 트레일러(6108)의 후방 영역을 나타내는 영상을 촬영하도록 배치돼 있다. 앞서 설명한 바와 같이, 트레일러(6108)의 존재는 차량(6150)의 차체에 설치되어 차량(6150)의 후방을 향하는 이미지캡처장치에 방해가 될 수 있다.
일부 실시예에서, 도 61b의 이미지캡처장치(6102)는 차량(6150)의 차체에 이전에 설치(도 61a의 이미지캡처장치(6102)와 유사하게)됐었고 지금은 트레일러(6108) 상에 배치돼 있는 것일 수 있다. 이러한 실시예에서, 이미지캡처장치(6102)는 탈착식 전기적 인터페이스(6110)를 통해서 시스템(6104)에 전기적으로 연결될 수 있다. "탈착식 전기적 인터페이스"는 운전자 또는 동승자(또는 당업자가 아닐 수도 있는 아무나)에 의해 연결 및 분리될 수 있는 커넥터의 모음의 넓은 의미로 정의될 수 있다. 탈착식 전기적 인터페이스(6110)는 차량(6150)의 운전자 또는 동승자와 같은 당업자가 아닐 수도 있는 사용자가 이미지캡처장치(6102)를, 예를 들어, 트레일러(6108)로부터 차량(6150)으로 재장착할 수 있게 해준다. 이 능력은 차량(6150)이 트레일러(6108)를 달고 하는 운행과 트레일러(6108)를 달지 않고 하는 운행 사이를 빈번하게 전환하는 상황에서 특히 유용할 수 있다. 다른 실시예에서, 후방 카메라(6102)는 처리부(6106)와 무선으로 통신하도록 구성될 수 있다.
도 62는 본 발명의 기재된 실시예에 따른 도로상에서 자율 주행하는 차량의 일례를 개략적으로 예시한 평면도이다. 도 62에는, (시선(6102A)을 가진) 이미지캡처장치(6102)와 차량(6100)의 자율 주행을 위한 시스템(6104)을 포함하는, 도 61a의 차량(6100)이 도시되어 있다. 도 62에는 또한, 특정 도로 구간에 관한 노면 상태 프로필(6208), 차선 표시의 변경(6210), 반사경(6202A~C), 차량(6100)의 반대편을 향하고 있는 도로표지판(6204), 및 기둥(6214)을 포함하는, 여러 개의 잠재적인 인지된 랜드마크가 도시되어 있다.
도 62에는 차량(6100)에 대한 랜드마크의 위치 지시자가 도시되어 있다. 도 62의 위치 지시자는 랜드마크(예, 반사경(6202A))와 차량(6100) 사이의 거리(6212A) 및/또는 상대각(6212B)을 포함한다. "위치 지시자"는 위치에 관한 정보를 의미할 수 있다. 따라서, 랜드마크의 위치 지시자에는 랜드마크의 위치에 관한 어떤 정보도 포함될 수 있다. 도 62의 예에서, 랜드마크의 위치 지시자는 차량(6100)에 대해 판단될 수 있다.
도 62에 도시된 바와 같이, 거리(6212A)는 이미지캡처장치(6102)와 랜드마크 사이의 거리이고, 상대각(6212B)은 이미지캡처장치(6102)의 시선(6102A)과 이미지캡처장치(6102)로부터 랜드마크로 이어지는 가상의 선 사이의 각도이다. 그러나, 일부 실시예에서, 거리(6212A)는 차량(6100) 부근의 기준점과 랜드마크 사이의 거리일 수 있고, 상대각(6212B)은 기준점을 통과하는 기준선과 기준점에서 랜드마크를 잇는 가상선 사이의 각도일 수 있다. 기준점은, 예를 들어, 차량(6100)의 중심일 수 있고, 기준선은, 예를 들어, 차량(6100)의 중심을 통과하는 선일 수 있다.
일부 실시예에서, 하나 또는 그 이상의 랜드마크 및/또는 하나 또는 그 이상의 위치 지시자를 차량(6100)의 자율 주행에 사용할 수 있다. 예를 들어, 위치 지시자는 약도(sparse map, 800)에 저장된 목표 궤적에 대한 차량의 현재 위치를 판단하는데 사용될 수 있다. 차량을 위한 하나 이상의 주행 반응을 판단하는 랜드마크 인지 및 사용에 관해 앞서 설명한 모든 방법은 후방 카메라로부터 수신된 영상에 근거하여 사용될 수 있다.
도 63은 차량을 자율 주행하기 위해 하나 또는 그 이상의 랜드마크 및 하나 또는 그 이상의 위치 지시자를 사용하는 프로세스의 일례를 예시한 순서도이다. 프로세스(6300)는 후방 카메라로부터 수신한 적어도 하나의 영상을 사용하고 적어도 하나의 영상을 분석하여 차량을 전방 궤적을 따라 주행할 수 있다.
단계 6302에서, 처리부(6106)는 후방 카메라로부터 차량(6100)의 후방 영역을 나타내는 적어도 하나의 영상을 수신할 수 있다. 선택적 단계에서, 처리부(6106)는 다른 카메라로부터 차량(6100)의 다른 영역을 나타내는 적어도 하나의 영상을 수신할 수 있다. 일부 실시예에서, 처리부(6106)는 하나 또는 그 이상의 카메라 인터페이스를 통하여 영상을 수신할 수 있다. 예를 들면, 처리부(6106)는 차량의 후방 영역을 나타내는 적어도 하나의 영상을 후방 카메라 인터페이스를 통하여 수신하고 차량의 전방 영역을 나타내는 적어도 하나의 영상을 전방 카메라 인터페이스를 통하여 수신할 수 있다. 일부 실시예에서, 앞서 설명한 바와 같이, 하나 또는 그 이상의 카메라 인터페이스는 탈착식 인터페이스 또는 무선 인터페이스를 포함할 수 있다.
단계 6304에서, 처리부(110)는 적어도 하나의 후방 영상을 분석하여 영상 내에서 적어도 하나의 랜드마크의 묘사를 찾을 수 있다. 앞서 도 62를 참조하여 설명한 바와 같이, 랜드마크는, 예를 들어, 도로 프로필(6208), 차선 표시의 변경(6210), 반사경(6202A~C), 차량(6100)의 반대편을 향하고 있는 도로표지판(6204), 차량(6100)을 향하고 있는 도로표지판(6206), 및 기둥(6214)을 포함할 수 있다. 대안적으로, 또는 추가적으로, 랜드마크는, 예를 들어, 교통표지판, 화살표시, 차선표시, 신호등, 정지선, 방향표지판, 랜드마크 비콘, 가로등, 속도제한표지판, 노면표시, 상업용 표지판, 거리표시, 또는 도로의 차선 간격 변경을 포함할 수 있다.
일부 실시예에서, 수신한 영상에서 랜드마크를 발견하기 이전 또는 이후에, 처리부(6016)는 자율주행차 부근의 인지된 랜드마크에 관한 정보를 가져올 수 있다. 랜드마크에 관한 정보에는, 예를 들어, 랜드마크의 크기 및/또는 형상에 관한 정보가 포함될 수 있다. 랜드마크에 관한 정보는, 예를 들어, 시스템(6104) 내에 위치해 있거나 차량(6100)의 외부에 위치해 있는(예, 이동통신망 또는 기타 무선 플랫폼과 같은 통신 시스템을 통하여 시스템(6104)과 연결돼 있는) 데이터베이스로부터 가져올 수 있다.
단계 6306에서, 처리부(6106)는 차량에 대한 랜드마크의 적어도 하나의 위치 지시자를 판단할 수 있다. 예를 들면, 위치 지시자는 랜드마크와 차량 사이의 거리 및/또는 랜드마크와 차량 사이의 상대각을 포함할 수 있다. 앞서 도 62를 참조하여 설명한 바와 같이, 거리는, 예를 들어, 이미지캡처장치(6102)와 랜드마크 사이의 거리(6212A)일 수 있고, 상대각은 이미지캡처장치(6102)의 시선(6102A)과 이미지캡처장치(6102)로부터 랜드마크로 이어지는 가상의 선 사이의 각도(6212B)일 수 있다.
일부 실시예에서, 처리부(6106)는 수신한 영상 내에서 발견된 랜드마크의 묘사에 근거하여 차량에 대한 랜드마크의 적어도 하나의 위치 지시자를 판단할 수 있다. 예를 들어, 수신한 영상 내에서 발견된 랜드마크 묘사의 크기와 형상을 사용하여(예, 복수의 영상 프레임에 걸쳐 물체의 축적 변화를 관찰하여) 차량(6100)으로부터의 거리(6212A)를 추정할 수 있다. 다른 예에서, 수신한 영상 내에서 발견된 랜드마크의 묘사가 차지하는 픽셀의 좌표를 사용하여 각도(6212B)를 추정할 수 있다. 처리부(6106)가 랜드마크에 관한 정보를 가져오는 실시예에서, 정보는 수신한 영상 내에서 발견된 랜드마크의 묘사를 모델링하고 수신한 영상 내에서 발견된 랜드마크의 묘사와 비교하기 위하여 사용될 수 있다. 이러한 실시예에서, 정보는 판단된 위치 지시자의 정확도를 향상시킬 수 있다.
선택적 단계 6308에서, 처리부(6106)는 차량에 대한 랜드마크의 위치 지시자에 근거하여 현재 운행 중인 차로 내에서 차량의 차선 오프셋 양을 판단(또는 현재 운행 중인 차로를 판단)할 수 있다. 예를 들면, 이러한 오프셋 판단 또는 차로 판단은 인지된 랜드마크의 위치와 함께 도로 구간의 차로에 대한 인지된 랜드마크의 상대적 위치를 알게 됨으로써 가능할 수 있다. 따라서, 거리와 방향이 인지된 랜드마크에 대하여 판단되면, 현재 운행 중인 차로 및/또는 운행 중인 특정 차로 내의 차선 오프셋을 계산할 수 있다. 차량의 차선 오프셋은 차로 지시자로부터 기준점까지의 수직 거리를 의미할 수 있다. 일부 실시예에서, 기준점은 차량의 가장자리 또는 차량의 중심선 상의 한 점에 상응할 수 있다. 다른 실시예에서, 기준점은 차로 또는 도로의 중앙 지점에 상응할 수 있다. 차로 지시자는, 예를 들어, 차선표시, 도로 가장자리, 차로의 가시성 향상을 위한 반사경, 또는 차로의 경계 상 또는 부근에 있는 기타 물체를 포함할 수 있다. 상기 예에서, 차선 오프셋은 도로 가장자리(6208)로부터 차량(6100)까지의 수직 거리일 수 있다.
단계 6310에서, 처리부(6106)는, 적어도 부분적으로, 차량에 대한 랜드마크의 위치 지시자에 근거하여 차량의 전방 궤적을 판단할 수 있다. 선택적 단계 6308이 수행되는 실시예에서, 처리부(6106)는 판단된 차선 오프셋 양에 더 근거하여 차량의 전방 궤적을 판단할 수 있다. 처리부(6106)가 다른 카메라로부터 차량(6100)의 다른 영역을 나타내는 적어도 하나의 영상을 수신한 실시예에서, 처리부(6106)는 다른 카메라로부터 수신한 적어도 하나의 영상에 더 근거하여 차량의 전방 궤적을 판단할 수 있다. 이러한 궤적 판단은 앞서 설명한 방법(예, 인지된 랜드마크, 후미 정렬 등에 근거한 주행)에 근거할 수 있다.
단계 6312에서, 처리부(6106)는 차량(6100)이 판단된 전방 궤적을 따라 주행하도록 할 수 있다. 일부 실시예에서, 처리부(6106)는 차량(6100)에 하나 이상의 주행 반응을 발생시켜서 판단된 전방 궤적을 따라 주행하게 할 수 있다. 주행 반응은, 예를 들어, 회전, 차선 변경, 가속 변경 등을 포함할 수 있다. 또한, 판단된 전방 궤적을 따라 주행하기 위하여 복수의 주행 반응이 동시에, 순차적으로, 또는 결합된 형태로 일어날 수 있다. 예를 들면, 처리부(6100)는 제어 신호를 차량(200)의 조향 시스템(240)과 구동 시스템(220)에 순차적으로 전송하여 차량(200)이 차로를 변경한 후 가속을 하게 할 수 있다. 또는, 처리부(6100)는 차량(200)의 제동 시스템(230)과 조향 시스템(240)에 제어 신호를 동시에 전송하여 차량(200)이 제동을 하면서 동시에 차로를 변경하게 할 수 있다.
빈 공간 판단에 근거한 주행
본 발명의 기재된 실시예에 의하면, 시스템은 주차 차량, 도로 가장자리, 장벽, 보행자, 및 기타 물체를 인지하여 차량이 운행할 수 있는 빈 공간의 경계를 판단할 수 있다.
일부 실시예에서, 빈 공간의 경계는 차량을 주행하기 위해 사용할 수 있다. 이러한 상황에는, 예를 들어, 차선이 아예 없고 및/또는 장애물이 차선 표시를 가리고(예, 주차한 차량 및 강설) 있기 때문에 차선 표시가 보이지 않는 경우가 포함될 수 있다. 또는, 차선 표시에 근거한 주행 방법에 더하여 빈 공간의 경계를 사용하여 시스템의 강건성을 향상시킬 수 있다.
도 64는 본 발명의 기재된 실시예에 따른 차량의 전방 이미지캡처장치가 촬영한 주변환경(6400)의 일례를 개략적으로 예시한 사시도이다. 예시한 차량은, 예를 들어, 앞서 도 2a 내지 2F를 참조하여 설명한 차량(200)일 수 있으며 차량(200)의 처리부(110)와 같은 처리부를 포함할 수 있다. 전방 이미지캡처장치는, 예를 들어, 차량(200)의 이미지캡처장치(122), 이미지캡처장치(124), 또는 이미지캡처장치(126)일 수 있다.
도 64에는 도로 가장자리(6410A)가 있는 비도로 영역(6410), 도로 경계석(6412A)이 있는 보도(6412), 및 도로 지평선(6414)이 도시되어 있다. 도로 장벽(6418)은 도로 가장자리(6410A) 부근에 있을 수 있고, 자동차(6416)가 도로 경계석(6412A) 부근에 주차돼 있을 수 있다. 도 64에는 또한 제1 빈 공간 경계(6404), 제2 빈 공간 경계(6406), 및 전방 빈 공간 경계(6408)가 도시되어 있다. 전방 빈 공간 경계(6408)는 제1 빈 공간 경계(6404)와 제2 빈 공간 경계(6406) 사이를 연장할 수 있다. 차량(도면에는 미도시) 전방의 빈 공간 구역(6402)은 상기 세 경계에 의해 경계를 이룬 구역일 수 있고, 주변환경(6400) 내의 운전 가능한 물리적 구역을 나타낼 수 있다. 제1 및 제2 빈 공간 경계(6404, 6406)는 각각, 예를 들어, 도로 가장자리, 도로 장벽, 주차한 차, 도로 경계석, 차선 분리 구조물, 터널 벽, 및/또는 교량 구조물, 또는 이들의 조합에 상응할 수 있다. 전방 빈 공간(6408)은, 예를 들어, 도로의 끝, 도로 지평선, 도로 장벽, 차량, 또는 이들의 조합에 상응할 수 있다.
도 64의 예에서, 제1 및 제2 빈 공간 경계(6404, 6406)는 각각 복수의 물체에 상응할 수 있다. 예를 들면, 제1 빈 공간 경계(6404)는 도로 가장자리(6410A)와 도로 장벽(6418) 부분에 상응하고, 제2 빈 공간 경계(6406)는 도로 경계석(6412A)과 주차한 차(6414) 부분에 상응할 수 있다. 그러나, 일부 실시예에서, 각 빈 공간 경계는 단일 물체에 상응할 수 있다. 예를 들어, 도 64에서, 전방 빈 공간(6408)은 도로 지평선(6414)에 상응한다.
일부 실시예에서, 하나 또는 그 이상의 장애물이 세 개의 빈 공간 경계(6404, 6406, 6408)로 경계를 이룬 빈 공간 구역(6402)에 존재할 수 있다. 이런 실시예에서, 장애물은 빈 공간 구역(6402)에서 제외될 수 있다. 예를 들면, 도 64에서, 보행자(6420)가 세 개의 빈 공간 경계(6404, 6406, 6408)로 경계를 이룬 빈 공간 구역(6402) 내에 서있다. 따라서, 보행자(6420)는 빈 공간 구역(6402)에서 제외될 수 있다. 또는, 장애물을 에워싸는 구역이 빈 공간 구역(6402)로부터 제외될 수 있다. 예를 들면, 보행자(6420)가 차지하는 구역 대신에 보행자(6420)를 에워싸는 구역(6422)이 빈 공간 구역(6402)로부터 제외될 수 있다. 장애물은, 예를 들어, 보행자, 다른 차량, 및 잔해를 포함할 수 있다.
장애물(예, 보행자(6420))을 에워싸는 구역(예, 6422)의 크기는 주행 중에 차량과 장애물 사이에 존재하는 최소 거리를 결정할 수 있다. 일부 실시예에서, 이 구역의 크기는 장애물의 크기와 실질적으로 동일할 수 있다. 다른 실시예에서, 이 구역의 크기는 장애물의 유형에 따라 결정될 수 있다. 예를 들어, 보행자(6420)을 에워싸는 구역(6422)은 안전상 상대적으로 클 수 있지만, 잔해를 에워싸는 다른 구역은 상대적으로 작을 수 있다. 일부 실시예에서, 구역의 크기는 장애물이 이동하는 속력, 이미지캡처장치의 프레임 속도, 차량의 속력, 또는 이들의 조합에 의거하여 결정될 수 있다. 일부 실시예에서, 장애물을 에워싸는 구역의 형상은 원형, 삼각형, 직사각형, 또는 다각형일 수 있다.
도 64에서, 제1 빈 공간 경계(6404)는 도로 가장자리(6410)와 도로 장벽(6148) 부분에 상응하고, 제2 빈 공간 경계(6406)는 도로 경계석(6412A)과 주차한 차(6414) 부분에 상응한다. 그러나, 일부 실시예에서, 제1 및 제2 빈 공간 경계(6404, 6406)는 도로 가장자리(6410A)와 도로 경계석(6412A)에 각각 상응하고, 도로 장벽(6148)과 주차한 차(6416)는 장애물로 고려될 수 있다.
일부 실시예에서, 장애물 사이의 구역은 빈 공간 구역(6402)으로부터 제외될 수 있다. 예를 들어, 두 장애물 사이의 구역의 폭이 차량의 폭보다 작은 경우, 이 구역은 빈 공간 구역(6402)으로부터 제외될 수 있다.
도 65는 본 발명의 기재된 실시예에 따른 차량의 전방 이미지캡처장치로부터 수신한 영상의 일례를 예시한 것이다. 도 65는 제1 빈 공간 경계(6504)와 제2 빈 공간 경계(6505)가 보여준다. 두 빈 공간 경계는 모두 도로 각 측의 도로 경계석과 주차한 차(예, 6516)에 상응한다. 도 65는 또한 제1 빈 공간 경계(6504), 제2 빈 공간 경계(6505), 및 전방 빈 공간 경계(미도시)에 의해 정의된 빈 공간 구역(6506)을 보여준다. 뿐만 아니라, 도 65는 장애물로 간주될 수 있는 이동중인 차(6520)를 보여준다. 따라서, 이동중인 차(6520)는 빈 공간 구역(6502)에서 제외될 수 있다.
도 66은 본 발명의 기재된 실시예에 따라 차량(200)이 운행할 수 있는 빈 공간 영역(6402)에 근거하여 차량을 주행하는 프로세스(6600)의 일례를 예시한 순서도이다. 프로세스(6300)는 전방 이미지캡처장치로부터의 복수의 영상을 사용하고, 복수의 영상 중 적어도 하나의 영상을 분석하여 빈 공간 경계를 식별하고 식별된 빈 공간 경계에 의해 경계를 이룬 빈 공간 구역을 정의할 수 있다.
단계 6602에서, 처리부(110)는 이미지캡처장치(122)로부터 차량(200)의 주변환경(6400)에 관한 복수의 영상을 수신할 수 있다. 앞서 설명한 바와 같이, 도 65는 이미지캡처장치(122)로부터 수신될 수 있는 영상의 일례이다. 일부 실시예에서, 영상은 이미지캡처장치(122)에 의해서 서로 다른 시간에 확보될 수 있다(예를 들어, 영상은 1초 미만, 1초, 2초 등의 시간차로 확보될 수 있다). 일부 실시예에서, 차량(200)은 복수의 이미지캡처장치(예, 차량(200)의 이미지캡처장치(122, 124))를 포함할 수 있고, 처리부(110)는 각 이미지캡처장치로부터 차량(200)의 주변환경(6400)에 관한 복수의 영상을 수신할 수 있다. 각 이미지캡처장치로부터 수신한 복수의 영상은 서로 다른 시간에 각 이미지캡처장치로부터 획득된 영상일 수 있다.
단계 6604에서, 처리부(110)는, 예를 들어, 이미지캡처장치(122)로부터 수신한 복수의 영상 중 적어도 하나의 영상을 분석할 수 있다. 복수의 이미지캡처장치로부터 수신한 영상에 근거하여 단일 복수의 영상이 생성되는 실시예에서, 처리부(110)는 단일 복수의 영상 중 적어도 하나의 영상을 분석할 수 있다. 또는, 각 이미지캡처장치로부터 수신한 각 영상은 개별적으로 분석될 수 있다.
또한, 처리부(110)는 차량(200)의 운전자 측에 있고 차량(200)의 전방으로 연장되는 제1 빈 공간 경계(6404), 차량(200)의 동승자 측에 있고 차량(200)의 전방으로 연장되는 제2 빈 공간 경계(6406), 및 차량(200)의 전방에 있고 제1 빈 공간 경계(6404)와 제2 빈 공간 경계(6406) 사이를 연장하는 전방 빈 공간 경계(6408)을 식별할 수 있다. 뿐만 아니라, 처리부(110)는 제1 빈 공간 경계(6404), 제2 빈 공간 경계(6406), 및 전방 빈 공간 경계(6408)로 경계를 이룬 구역을 차량 전방의 빈 공간 구역(6402)으로 더 식별할 수 있다. 앞서 설명한 바와 같이, 제1 및 제2 빈 공간 경계(6404, 6406)는 각각, 예를 들어, 도로 가장자리, 도로 장벽, 주차한 차, 도로 경계석, 차선 분리 구조물, 터널 벽, 및/또는 교량 구조물, 또는 이들의 조합에 상응할 수 있다. 나아가, 앞서 설명한 바와 같이, 전방 빈 공간(6408)은, 예를 들어, 도로의 끝, 도로 지평선, 도로 장벽, 차량, 또는 이들의 조합에 상응할 수 있다.
선택적 단계에서, 처리부(110)는 단계 6604의 분석에 근거하여 차량(200) 전방의 장애물(예, 보행자(6420))을 식별하고 식별된 장애물을 차량(200) 전방의 빈 공간 구역(6402)에서 제외할 수 있다. 또는, 처리부(110)는 단계 6640에서 수행한 복수의 영상 중 적어도 하나의 영상의 분석에 근거하여 차량 전방의 장애물(예, 보행자(6420))을 식별하고 식별된 장애물을 에워싸는 구역(예, 6422)을 차량 전방의 빈 공간 구역(6402)에서 제외할 수 있다.
일부 실시예에서, 앞서 설명한 바와 같이, 식별된 장애물을 에워싸는 구역의 크기는 장애물의 크기와 실질적으로 동일할 수 있고, 또는 장애물을 에워싸는 구역의 크기는 장애물의 유형에 따라 결정될 수 있다. 일부 실시예에서, 앞서 설명한 바와 같이, 구역의 크기는 장애물이 이동하는 속력, 이미지캡처장치(122)의 프레임 속도, 차량(200)의 속력, 또는 이들의 조합에 의거하여 결정될 수 있다.
다른 선택적 단계에서, 처리부(110)는 식별된 장애물 사이의 구역 및/또는 식별된 장애물과 빈 공간 경계(6404, 6406) 사이의 구역을 빈 공간 구역(6402)에서 제외할 수 있다. 일부 실시예에서, 앞서 설명한 바와 같이, 처리부(110)는 식별된 장애물 사이의 거리에 근거하여 식별된 장애물 사이의 구역을 제외할지 여부를 판단할 수 있다. 나아가, 처리부(110)는 식별된 장애물과 빈 공간 경계(6404, 6406) 사이의 거리에 근거하여 식별된 장애물과 빈 공간 경계(6404, 6406) 사이의 구역을 제외할지 여부를 판단할 수 있다.
단계 6606에서, 처리부(110)는 빈 공간 구역(6402)을 통과하는 차량(200)의 주행 경로를 판단할 수 있다. 일부 실시예에서, 주행 경로는 빈 공간 구역(6402)의 중앙을 관통하는 경로일 수 있다. 다른 실시예에서, 주행 경로는 제1 및 제2 빈 공간 경계(6404, 6406)의 하나로부터 미리 정해진 거리만큼 떨어져 있는 경로일 수 있다. 미리 정해진 거리는 고정 거리일 수 있고, 또는 미리 정해진 거리는, 예를 들어, 차량(200)의 속력, 빈 공간 구역(6402)의 폭, 및 빈 공간 구역(6402) 내의 장애물의 수 중 하나 또는 그 이상에 근거하여 판단될 수 있다. 또는, 주행 경로는, 예를 들어, 최소의 주행 반응을 사용하는 경로 또는 가장 짧은 경로일 수 있다.
단계 6608에서, 처리부(110)는 차량(200)이 차량(200) 전방의 빈 공간 구역(6402) 이내에서 판단된 주행 경로의 적어도 일부 상에서 운행하도록 유발할 수 있다. 일부 실시예에서, 처리부(110)는 하나 이상의 주행 반응을 차량(200)에 일으켜서 판단된 주행 경로를 따라 주행하게 할 수 있다. 주행 반응은, 예를 들어, 회전, 차선 변경, 가속 변경 등을 포함할 수 있다. 또한, 판단된 전방 궤적을 따라 주행하기 위하여 복수의 주행 반응이 동시에, 순차적으로, 또는 결합된 형태로 일어날 수 있다. 예를 들면, 처리부(110)는 제어 신호를 차량(200)의 조향 시스템(240)과 구동 시스템(220)에 순차적으로 전송하여 차량(200)이 횡적으로 이동한 후 가속을 하게 할 수 있다. 또는, 처리부(110)는 차량(200)의 제동 시스템(230)과 조향 시스템(240)에 제어 신호를 동시에 전송하여 차량(200)이 제동을 하면서 동시에 횡적으로 이동하게 할 수 있다. 나아가, 예를 들어, 빈 공간 경계는 차선 표시가 사용되는 것과 같은 방법으로 위치 인식 보조 기능을 할 수 있다. 일단 빈 공간 경계가 인코딩되면 공간 내에서 3D 곡선을 묘사할 수 있다. 위치 인식 단계에서, 이 3D 곡선을 영상에 투영하면, 그 지점에서 빈 공간 감지와 충돌할 수 있기 때문에, 위치 인식의 단서를 제공할 수 있다.
눈길에서의 주행
본 발명의 기재된 실시예에 따라, 시스템은 도로가 눈에 덮여 있는 경우와 같은 열악한 기후 조건에서 도로의 가장자리를 판단할 수 있다. 예를 들면, 시스템은 빛의 변화, 가로수 대열의 곡선, 및 타이어 자국을 고려하여 도로 가장자리의 개연성이 있는 지점을 판단할 수 있다.
도 67은 본 발명의 기재된 실시예에 따라 적어도 일부 차선 표시 및 도로 가장자리에 눈이 덮인 도로 위를 주행하는 차량의 일례를 개략적으로 예시한 평면도이다. 예시된 차량은, 예를 들어, 앞서 도 2a 내지 2F를 참조하여 설명한 차량(200)일 수 있고, 차량(200)의 처리부(110)와 같은 처리부를 포함할 수 있다. 전방 이미지캡처장치는, 예를 들어, 차량(200)의 이미지캡처장치(122), 이미지캡처장치(124), 또는 이미지캡처장치(126)일 수 있다.
도 67에서, 도로는 운전자측 차선 표시(6702)와 동승자측 차선 표시(6704)를 포함할 수 있다. 도 67에는 또한 비도로 영역(6710)과 도로 가장자리(6706)가 도시돼 있다. 일례에서, 비도로 영역(6710)은 비포장 영역, 보도, 또는 언덕이 시작되는 부분일 수 있다. 다른 예에서, 비도로 영역(6710)은 급하게 수직낙하 하는 영역(예, 절벽)과 같이 바닥이 없는 영역일 수 있다.
도 67에는 눈 덮인 구역(6708)이 도시돼 있다. 특히 구역(6708)은 도로 가장자리(6706)의 일부와 차선 표시(6702, 6704)의 일부를 덮고 있다. 이에 따라, 도로 가장자리(6706) 및/또는 하나 이상의 차선 표시(6702, 63704)가 차량(200)의 주행 동안에 확보된 영상의 분석을 통하여 용이하게 드러나지 않을 수 있다. 이러한 상황에서, 차량(200)은 눈에 덮여 있는 도로의 일부의 경계를 이루는 도로 가장자리의 개연성이 있는 지점을 판단함으로써 확보된 영상의 분석에 근거하여 주행할 수 있다.
일부 실시예에서, 도로 가장자리의 개연성이 있는 지점의 판단은 눈 덮인 구역(6708) 위의 타이어 자국(6712)에 근거할 수 있다. 예를 들면, 타이어 자국(6712)의 존재는 타이어 자국(6712)이 있는 눈 덮인 구역(6708)의 부분이 도로 가장자리 의 경계 이내에 있음을 나타내는 것일 수 있다. 일부 실시예에서, 차량의 처리부는 타이어 자국의 경로를 실행 가능한 주행 경로로 간주하고, 다른 기준을 조건으로(예, 타이어 자국이 도로에 상응할 가능성이 있는 것으로 판단되는 구역 내, 또는 특히 차량의 운행 차로 내에 있는지 여부) 차량이 타이어 자국을 따라가도록 할 수 있다.
다른 실시예에서, 도로 가장자리의 개연성이 있는 지점의 판단은 눈 덮인 구역(6708)의 표면에 걸친 빛의 변화에 근거할 수 있다. 광원은, 예를 들어, 차량(200)의 전조등, 다른 차량들로부터의 빛, 가로등 불빛, 또는 태양을 포함할 수 있다. 눈 덮인 구역(6708)의 표면에 걸친 빛의 변화는 다양한 이유로 발생할 수 있다. 일례로, 비도로 영역(6710)은 자갈 지역이고 도로는 포장 지역인 경우와 같이, 비도로 영역(6710)의 표면 거칠기와 도로의 표면 거칠기는 서로 다를 수 있다. 다른 예에서, 비도로 영역(6710)과 도로가 같은 높이에 있지 않을 수 있다. 비도로 영역(6710)은 흔히 도로보다 높게 형성되는 보도일 수 있다. 또는, 비도로 영역(6710)은 언덕이나 절벽일 수 있다. 이러한 각 상황은 표면에 눈이 다르게 덮이게 되고, 그림자에 의해 더욱 두드러지는 눈 덮인 표면의 특정한 차이(예, 높이 차이, 질감 차이 등)에 근거하여 인지될 수 있다.
다른 실시예에서, 도로 가장자리의 개연성이 있는 지점의 판단은 도로 가장자리를 따라 조성된 복수의 나무(예, 가로수 대열을 형성하는 나무)에 근거할 수 있다. 예를 들어, 도 67에서, 나무들(6714)은 도로 가장자리를 따라 있을 수 있고 눈이 도로 가장자리(6706)에 덮여 있을 때에도 보일 수 있다. 나무들(6714)이 도로 가장자리(6706) 가까이에 있는 상황에서, 나무들(6714)의 위치는 도로 가장자리의 개연성이 있는 지점으로 사용될 수 있다. 그러나, 일부 상황에서, 나무들(6714)는 도로 가장자리로부터 어느 정도 거리를 두고 떨어져 있을 수 있다. 따라서, 일부 실시예에서, 도로 가장자리의 개연성이 있는 지점은 나무들(6714)의 위치로부터 거리를 두고 떨어져 있는 위치로 판단될 수 있다. 이 거리는 고정값일 수 있고, 또는, 예를 들어, 마지막에 보인 도로 가장자리에 근거하여 동력학적으로 판단될 수 있다.
다른 실시예에서, 도로 가장자리의 개연성이 있는 지점의 판단은 눈 표면 곡률의 관찰된 변화에 근거할 수 있다. 눈 표면 곡률의 변화는 다양한 이유로 발생할 수 있다. 예를 들어, 눈 표면 곡률의 변화는 비도로 영역(6710)과 도로가 같은 높이에 있지 않는 경우 발생할 수 있다. 비도로 영역(6710)이, 예를 들어, 흔히 도로보다 높게 조성된 보도인 상황에서, 눈은 도로 가장자리(6706) 가까이에 쌓이고, 따라서 눈의 곡률이 도로 가장자리(6706) 가까이에서 변화할 수 있다. 다른 상황에서, 비도로 영역은 언덕이 시작되는 부분일 수 있고, 눈 표면의 곡률은 도로 가장자리(6706)에서 시작하는 언덕의 곡률을 따를 수 있다. 이러한 실시예에서, 곡률이 변화하기 시작하는 지점이 도로 가장자리의 개연성이 있는 지점으로 판단될 수 있다.
도 68은 본 발명의 기재된 실시예에 따라 적어도 일부 차선 표시 및 도로 가장자리에 눈이 덮인 도로상에서 차량(200)을 주행하기 위한 프로세스(6800)의 일례를 예시한 순서도이다. 프로세스(6800)은 앞서 설명한 바와 같은 도로 가장자리의 개연성이 있는 지점을 사용하여 차량(200)을 주행할 수 있다.
단계 6802에서, 처리부(110)는, 눈이 적어도 일부 차선 표시(예, 6702, 6704)와 도로 가장자리(예, 6706)를 덮고 있는 영역을 포함하는, 차량 전방의 적어도 하나의 주변환경 영상을 이미지캡처장치로부터 수신할 수 있다.
단계 6804에서, 처리부(110)는 적어도 하나의 영상의 분석에 근거하여 눈에 덮인 도로의 적어도 일부와, 눈에 덮인 도로의 적어도 일부의 경계를 이루는, 도로 가장자리의 개연성이 있는 지점을 식별할 수 있다. 앞서 설명한 바와 같이, 적어도 하나의 영상의 분석은 눈에 있는 적어도 하나의 타이어 자국, 눈 표면에 걸친 빛의 변화, 및/또는 도로 가장자리를 따라 조성된 나무들의 식별을 포함할 수 있다. 나아가, 앞서 설명한 바와 같이, 적어도 하나의 영상의 분석은 눈 표면의 곡률 변화에 대한 인지를 포함할 수 있고, 인지된 곡률 변화는 도로 가장자리의 개연성이 있는 지점에 상응하는 것으로 판단된다.
일부 실시예에서, 적어도 하나의 영상의 분석은, 적어도 일부 도로 표시와 도로 가장자리를 덮고 있는 눈의 표면에 관한 특징을 판단하기 위하여, 적어도 제1 픽셀이 적어도 제2 픽셀과 비교되는, 적어도 하나의 영상의 픽셀 분석을 포함할 수 있다. 예를 들면, 영상 내의 각 픽셀은 인접한 모든 픽셀과 비교된다. 일부 실시예에서, 제1 픽셀의 색이 적어도 제2 픽셀의 색과 비교될 수 있다. 대안적으로, 또는 추가적으로, 제1 픽셀의 색상 컴포넌트의 강도를 적어도 제2 픽셀의 색상 컴포넌트의 강도와 비교할 수 있다. 다른 실시예에서, 하기의 픽셀 성질들이 비교될 수 있다.
일부 실시예에서, 픽셀 분석은 타이어 자국(6712)의 가장자리와 도로 가장자리(6706)과 같은 특징을 식별할 수 있다. 이러한 특징을 식별하기 위한 분석에는 픽셀 성질이 변하는 속도가 임계 속도를 초과하는 픽셀 모음의 식별이 포함될 수 있다. 픽셀 성질은, 예를 들어, 픽셀의 색 및/또는 픽셀의 색상 컴포넌트의 강도를 포함할 수 있다.
단계 6806에서, 처리부(110)는 도로의 식별된 부분을 포함하고 도로 가장자리의 개연성이 있는 것으로 판단된 지점 이내에 속하는 주행 경로를 차량이 주행하도록 유발할 수 있다.
식별된 타이어 자국(6712)에 근거하여 도로 가장자리의 개연성이 있는 지점을 판단하는 실시예에서, 처리부(110)는 차량(200)으로 하여금 눈 위의 식별된 타이어 자국(6712)을 적어도 부분적으로는 따라감으로써 주행하도록 할 수 있다. 눈 덮인 구역(6708)의 표면에 걸친 빛의 변화, 도로 가장자리를 따라 조성된 복수의 나무(예, 가로수 대열), 및/또는 눈 표면 곡률의 변화에 근거하여 도로 가장자리(예, 6702, 6704)의 개연성이 있는 지점을 판단하는 실시예에서, 처리부(110)는 차량(200)으로 하여금 판단된 도로 가장자리 사이를 주행하도록 할 수 있다.
나아가, 단계 6802에서 수신한 영상의 픽셀을 분석하여 도로 가장자리를 판단하는 실시예에서, 처리부(110)는 차량(200)으로 하여금 판단된 도로 가장자리 사이를 주행하도록 할 수 있다. 단계 6802에서 수신한 영상의 픽셀을 분석하여 타이어 자국의 가장자리를 판단하는 실시예에서, 처리부(110)는 차량(200)으로 하여금 눈 위 타이어 자국(6712)을 적어도 부분적으로는 따라감으로써 주행하도록 할 수 있다.
일부 실시예에서, 처리부(110)는 차량(200)에 하나 이상의 주행 반응을 유발하여 판단된 주행 경로를 따라 주행하도록 할 수 있다. 주행 반응은, 예를 들어, 회전, 차선 변경, 가속 변경 등을 포함할 수 있다. 또한, 판단된 전방 궤적을 따라 주행하기 위하여 복수의 주행 반응이 동시에, 순차적으로, 또는 결합된 형태로 일어날 수 있다. 예를 들면, 처리부(110)는 제어 신호를 차량(200)의 조향 시스템(240)과 구동 시스템(220)에 순차적으로 전송하여 차량(200)이 횡적으로 이동한 후 가속을 하게 할 수 있다. 또는, 처리부(110)는 차량(200)의 제동 시스템(230)과 조향 시스템(240)에 제어 신호를 동시에 전송하여 차량(200)이 제동을 하면서 동시에 횡적으로 이동하게 할 수 있다.
적어도 부분적으로 눈에 덮인 도로상에서 차량을 주행하기 위하여 처리부(110)에 추가적인 방법이 도입될 수 있다. 예를 들어, 일부 실시예에서, 하나 이상의 신경망이 사용되어 눈 덮인 도로상의 제안된 운행 경로의 판단을 지원할 수 있다. 이러한 방법은 전체론적 경로 예측(holistic path prediction 또는 HPP)이라 불릴 수 있다. 이러한 신경망은, 예를 들어, 사용자의 도로 주행에 따라 영상이 제공되어 학습될 수 있다. 눈 덮이 도로의 주행에서 신경망을 학습시키기 위하여, 눈 덮인 도로의 다양한 시험 상황이 사용될 수 있다. 운전자가 눈 덮인 도로를 따라 차량을 주행하면서 확보된 눈 덮인 도로의 영상(예, 수 천개의 학습 영상, 수백 만개 또는 그 이상의 영상)을 사용하여, 신경망은 눈길을 따라 제안 주행 경로를 생성하도록 학습할 수 있다. 이 프로세스에는 눈 덮인 도로의 관찰된 특징(예, 노면의 속성, 도로 가장자리, 도로 변, 장벽, 도로에 인접한 물체, 도로상의 자동차 등)에 근거하여 제안 주행 경로를 주기적으로 또는 지속적으로 생성하고 제안 주행 경로를 운전자의 실제 행동과 비교하기 위한 신경망의 설정이 포함될 수 있다. 제안 주행 경로가 운전자가 선택하는 실제 경로와 벗어날 경우, 신경망은 추후의 유사 상황에서 다른 반응(예, 운전자의 행동과 더 가까이 일치하는 제안 주행 경로)을 제공하기 위하여, 사용 가능한 영상을 분석하고 처리알고리즘을 조정한다. 일단 신경망이 학습이 되면, 신경망은 눈 덮인 도로를 따라 가는 제안 주행 경로를 제공할 수 있다. 눈 길의 주행은 학습된 단일 신경망의 출력에만 근거할 수 있다.
그러나, 일부 실시예에서, 다른 방식을 사용하여 눈길을 따라 차량을 주행할 수 있다. 일부 실시예에서, 본 명세서에서 설명한 빈 공간 판단 방법을 사용하여 차량 전방 경로의 빈 공간으로 인지되는 구역을 정의할 수 있다. 예를 들면, 확보된 영상 또는 영상 스트림에 근거하여, 처리부(110)는 복수의 영상의 적어도 하나를 분석하여 차량의 운전자 측에 있고 차량의 전방으로 연장되는 제1 빈 공간 경계를 식별할 수 있다. 제2 빈 공간 경계는 차량의 동승자 측에서 차량 전방으로 연장되는 것으로 식별될 수 있다. 전방 빈 공간 경계는 차량의 전방에서 제1 빈 공간 경계와 제2 빈 공간 경계 사이를 연장하는 것으로 식별될 수 있다. 물론, 이러한 경계는 직선일 필요는 없으며, 반면에 때로는 매우 불규칙한 경계 조건(특히 차량의 측면)을 묘사하는 일련의 복잡한 곡선 또는 선 구간으로 표시될 수 있다. 제1 빈 공간 경계, 제2 빈 공간 경계, 및 전방 빈 공간 경계는 함께 차량 전방의 빈 공간 구역을 정의한다. 이후, 처리부(110)는 빈 공간 구역을 관통하는 차량의 제안 주행 경로를 결정할 수 잇다. 차량의 눈길 주행은 빈 공간 판단 방법에만 근거할 수 있다. 빈 공간 판단 방법은 하나 또는 그 이상의 신경망을 사용하여 구현될 수 있다. 일부 실시예에서, 빈 공간 판단 방법을 구현하는 신경망은 HPP 방법을 구현하는 신경망과 다를 수 있다.
일부 실시예에서, 눈길 주행은 하나 이상의 방법의 조합에 근거할 수 있다. 예를 들면, 여기에 기재된 주행 시스템을 함께 사용하여 눈길에서 차량을 주행할 수 있다. 일부 실시예에서, 빈 공간 판단 방법이 HPP 방법과 결합될 수 있다. 즉, 차량의 제1 제안 주행 경로를 확보하기 위하여 복수의 확보 영상을 빈 공간 방법을 구현하는 신경망에 제공할 수 있다. 또한, 차량의 제2 제안 주행 경로를 확보하기 위하여 복수의 확보 영상을 HPP 방법을 구현하는 신경망에도 제공할 수 있다. 처리부가 제1 제안 주행 경로가 제2 제안 주행 경로와 일치하는 것으로 판단하는 경우, 처리부는 두 제안 주행 경로 중 하나(또는 두 제안 주행 경로의 합)의 적어도 일부분 상으로 차량이 주행하도록 할 수 있다. 이러한 맥락에서, 일치란 반드시 두 제안 주행 경로의 완벽한 일치가 아니어도 된다. 오히려, 두 제안 주행 경로의 상관관계(적절한 비교 함수를 사용하여 판단될 수 있음)가 미리 정해진 상관관계의 수준 이상이면 일치로 판단할 수 있다.
제1 제안 주행 경로가 제2 제안 주행 경로와 일치하지 않는 경우, 사용자에게 프롬프트가 제공되어 차량이 적어도 일부 속성에 대한 제어를 맡길 수 있다. 또는, 차량에 대한 적합한 주행 경로를 판단하기 위하여 추가 정보가 고려될 수 있다. 예를 들어, 빈 공간 방법과 HPP 방법 사이에 제안 주행 경로의 불일치가 있는 경우, 처리부(110)는 약도(sparse map, 800)로부터 목표 궤적을 참고(자체 움직임 추정 또는 랜드마크에 근거한 목표 궤적에 대한 현재 위치 판단과 함께)하여 차량의 운행 방향을 결정할 수 있다. 처리부(110)에서 동작하는 기타 모듈의 출력도 참고할 수 있다. 예를 들면, 차량 감지 모듈은 호스트 차량의 주변 환경 내의 기타 차량의 존재 여부를 제공할 수 있다. 이러한 차량은 호스트 차량의 경로 예측을 지원할 수(예, 선두 차량을 따라감으로써, 주차 차량을 회피함으로써, 등) 있다. 위험 감지 모듈을 참고하여 높이가 임계치 이상인 도로의 가장자리 존재 여부를 판단할 수 있다. 커브 감지 모듈을 참고하여 차량 전방의 커브의 위치를 찾아내고 커브를 통과하는 경로를 제시할 수 있다. 처리부(110)에서 동작하는 기타 적합한 감지/분석 모듈도 참고하여 호스트 차량의 전방 유효 경로의 확립을 지원하는 입력을 확보할 수 있다.
상기의 설명과 도면은 눈에 덮인 도로를 예시하지만, 일부 실시예에서, 도로는 눈이 아닌 다른 물체에 덮여 있을 수 있다. 예를 들면, 도로는 눈 대신에 모래 또는 자갈로 덮여 있을 수 있고, 기재된 실시예는 이러한 물체로 덮여 있는 도로에 유사하게 적용될 수 있다.
자율주행차 속력 교정
일부 실시예에서, 차량 주행은 차량의 마지막 알려진 위치, 속력 기록, 및 움직임 기록에 근거하여 차량의 현재 지점을 판단하는 추측항법에 근거(예를 들어, 적어도 짧은 구간에서)할 수 있다. 그러나, 모든 새로운 위치는 어느 정도의 오차가 포함될 수 있는 평행이동과 회전 속도의 측정에 의존하여 판단되기 때문에, 추측항법에는 누적 오차가 있을 수 있다. 마찬가지로, 각 새로운 위치는 이전에 판단된 좌표에 의존하여 판단되지만, 이러한 좌표는 부정확도를 내포하고 있는 측정에 근거한 것일 수 있다. 이러한 부정확도와 오차는, 예를 들어 차량 속력 센서의 출력과 같은, 다양한 소스를 통해 추측항법 위치 판단에 들어갈 수 있다. 속력 감지에서의 작은 부정확도마저도 시간이 흐르면서 쌓일 수 있다. 예를 들어, 일부 경우에, 속력 감지에서의 작은 오차(예, 대략 시속 1km 또는 그 미만)는 킬로미터 당 대략 1미터, 5미터, 또는 그 이상의 위치 판단 오차의 결과를 가져올 수 있다. 반면, 이런 오차는 차량 속력 센서의 교정을 통하여 감소되거나 제거될 수 있다. 기재된 실시예에 따라, 이러한 교정은 알려진 랜드마크 위치에 근거하여 또는 차량이 횡단하는 도로 구간의 기준 거리에 근거하여 자율주행차에 의해 수행될 수 있다.
도 69는 본 발명의 기재된 실시예에 따른 차량의 속력을 교정하기 위한 시스템을 포함하는 차량의 일례를 개략적으로 예시한 평면도이다. 예시된 차량은, 예를 들어, 앞서 도 2a 내지 2F를 참조하여 설명한 차량(200)일 수 있고, 차량(200)의 처리부(110)와 같은 처리부를 포함할 수 있다. 전방 이미지캡처장치는, 예를 들어, 차량(200)의 이미지캡처장치(122), 이미지캡처장치(124), 또는 이미지캡처장치(126)를 포함할 수 있다. 이러한 이미지캡처장치는 차량(200)의 전방, 측방, 및/또는 후방의 주변환경 영상을 확보하도록 구성될 수 있다.
일부 실시예에서, 차량(200)은 다양한 센서를 포함할 수 있다. 이러한 센서에는 속력 센서, GPS 수신기, 가속도계 등이 포함될 수 있다.
일부 실시예에서, 차량의 속력 교정 프로세스에 인지된 랜드마크가 사용될 수 있다. 이러한 인지된 랜드마크는, 예를 들어, 약도(sparse map, 800)에 있는 랜드마크를 포함할 수 있다. 도 69는 차량(200)의 속력을 교정하는데 사용될 수 있는 랜드마크의 예를 보여준다. 예를 들면, 도 69에는 교통표지판(6906), 파선 차선 표시(6902), 신호등(6908), 정지선(6912), 반사경(6910), 및 가로등(6914)와 같은 랜드마크가 도시되어 있다. 기타 랜드마크에는, 예를 들어, 화살표시, 방향표지판, 랜드마크 비콘, 과속 방지턱(6904) 등이 포함될 수 있다.
일부 실시예에서, 차량(200)의 처리부(110)는 하나 이상의 인지된 랜드마크를 식별할 수 있다. 처리부(110)는 앞서 설명한 방법의 어느 하나에 근거하여 하나 이상의 인지된 시각적 랜드마크를 식별할 수 있다. 예를 들면, 처리부(110)는 인지된 랜드마크의 묘사를 포함하는 약도(sparse map, 800)와 연계된 로컬 지도를 수신(또는 약도(sparse map, 800)를 수신 또는 로드)할 수 있다. 이러한 랜드마크는 색인될 수 있기 때문에 및/또는 처리부(110)가 차량(200)의 현재 위치(예, 도로 구간을 따라 가는 목표 궤적에 대한 위치)를 알고 있기 때문에, 처리부(110)는 도로 구간을 횡단하면서 예상되는 다음 인지된 랜드마크의 위치를 예측할 수 있다. 이 방법으로, 처리부(110)는 이미지캡처장치(122)로부터 수신한 영상 내에서 다음 인지된 랜드마크가 등장할 것으로 예상되는 특정 지점을 바라볼 수 도 있다. 일단 인지된 랜드마크의 위치가 확보된 영상 내에서 확인되면, 처리부(110)는 영상 내에 등장하는 랜드마크가 예상된 랜드마크인지 검증할 수 있다. 예를 들어, 확보된 영상 내의 랜드마크와 연관된 다양한 특징을 인지된 랜드마크에 대해 약도(sparse map, 800)에 저장된 정보와 비교할 수 있다. 이러한 특징은 크기, 랜드마크 유형(예, 속도제한표지판, 위험표지판 등), 위치, 이전 랜드마크로부터의 거리 등을 포함할 수 있다. 랜드마크의 관찰된 특징이 인지된 랜드마크와 관련하여 저장된 특징과 일치하는 경우, 처리부(110)는 관찰된 랜드마크가 예상된 인지된 랜드마크라고 단정할 수 있다.
일부 실시예에서, 인지된 랜드마크를 식별한 이후에, 처리부(110)는 인지된 랜드마크에 관한 정보를 가져올 수 있다. 이러한 정보에는, 예를 들어, 인지된 랜드마크의 위치 정보가 포함될 수 있다. 일부 실시예에서, 인지된 랜드마크에 관한 정보는 원격 서버에 저장될 수 있고, 처리부(110)는, 무선 송수신기를 포함할 수 있는, 차량(200)의 무선 시스템이 인지된 랜드마크에 관한 정보를 가져오도록 지시할 수 있다. 다른 경우에, 이러한 정보는 이미 차량(200)에(예, 주행 중에 수신한 약도(sparse map, 800)의 로컬 지도 내에 또는 차량(200)의 메모리에 사전에 로드된 약도(sparse map, 800) 내에) 있을 수 있다. 일부 실시예에서, 이 위치 정보는 자율주행차 속력의 하나 이상의 지시자(예, 차량(200)의 하나 이상의 속력 센서)를 교정하는데 사용될 수 있다.
도 70은 본 발명의 기재된 실시예에 따라 차량(200)의 속력을 교정하는 프로세스(7000)의 일례를 예시한 순서도이다. 단계 7002에서, 처리부(110)는 차량(200)의 주변환경을 나타내는 복수의 영상을 이미지캡처장치(122)로부터 수신할 수 있다. 일부 실시예에서, 영상은 이미지캡처장치(122)에 의해서 서로 다른 시간에 확보될 수 있다(예를 들면, 초당 여러 번). 일부 실시예에서, 차량(200)은 복수의 이미지캡처장치(예, 차량(200)의 이미지캡처장치(122, 124)를 포함할 수 있고, 처리부(110)는 악 이미지캡처장치로부터 차량(200)의 주변환경을 나타내는 복수의 영상을 수신할 수 있다. 각 이미지캡처장치로부터 수신한 복수의 영상은 복수의 이미지캡처장치의 하나 또는 그 이상에 의해 서로 다른 시간에 확보된 영상을 포함할 수 있다.
단계 7004에서, 처리부(110)는 복수의 영상을 분석하여 영상 내에 존재하는 적어도 두 개의 인지된 랜드마크를 식별할 수 있다. 두 개의 인지된 랜드마크는 복수의 영상 중에서 단일 영상에 존재할 필요는 없다. 실제로, 많은 경우에, 복수의 영상에서 식별된 두 개의 인지된 랜드마크는 동일 영상에 등장하지 않는다. 오히려, 제1 인지된 랜드마크는 이미지캡처장치로부터 수신된 제1 영상에서 식별될 수 있다. 나중에, 그리고 여러 영상 프레임 이후에(예, 10초, 100초, 또는 1000초, 또는 그 이상 이후의 영상 프레임), 제2 인지된 랜드마크는 이미지캡처장치로부터 수신된 복수의 영상의 다른 영상에서 식별될 수 있다. 제1 인지된 랜드마크는 시간 T1에 목표 궤적을 따라 운행하는 차량의 제1 위치 S1을 판단하는데 사용될 수 있고, 제2 인지된 랜드마크는 시간 T2에 목표 궤적을 따라 운행하는 차량의 제2 위치 S1을 판단하는데 사용될 수 있다. S1과 S2 사이의 측정 거리와 같은 정보를 사용하고 T1과 T2 사이의 시간차를 알면, 차량의 처리부는 S1과 S2 사이의 거리를 주행한 속력을 판단할 수 있다. 이 속력을 차량의 속력 센서의 출력에 근거하여 확보된 통합 속도와 비교할 수 있다. 일부 실시예에서, 이 비교를 통하여 차량의 속력 센서를 S1과 S2 사이의 속력 계산에 근거하여 판단된 속력에 일치하도록 조정/교정하는데 필요한 수정 계수(correction factor)를 구할 수 있다.
대안적으로, 또는 추가적으로, 처리부는 차량의 속력 센서의 출력을 사용하여 S1과 S2 사이의 센서 기반 거리 측정값을 판단할 수 있다. 차량의 속력 센서를 교정할 적합한 수정 계수를 판단하기 위하여, 이 센서 기반 거리 측정값을 S1과 S2 사이의 계산된 거리와 비교할 수 있다.
처리부(110)는, 본 명세서의 다른 부분에서 설명한 방법의 어느 하나에 의거하여, 확보된 영상 스트림에서 인지된 랜드마크를 식별할 수 있다. 예를 들어, 처리부(110)는 잠재적 랜드마크의 하나 이상의 관찰된 특징을 약도(sparse map, 800)에 저장된 인지된 랜드마크의 특징과 비교할 수 있다. 하나 이상의 관찰된 특징이 저장된 특징과 일치하는 것으로 판명되면, 처리부(800)는 관찰된 잠재적 랜드마크가 실제로 인지된 랜드마크인 것으로 단정할 수 있다. 이러한 특징에는, 예를 들어, 크기, 형상, 위치, 다른 인지된 랜드마크까지의 거리, 랜드마크 유형, 응축 영상 특징 등이 포함될 수 있다.
단계 7006에서, 처리부(110)는 두 개의 인지된 랜드마크의 알려진 위치에 근거하여 이 적어도 두 개의 랜드마크 사이의 거리를 나타내는 값을 판단할 수 있다. 예를 들면, 앞서 설명한 바와 같이, 처리부(110)는 인지된 랜드마크를 식별한 이후에 인지된 랜드마크에 관한 정보를 가져오거나 랜드마크에 관한 정보에 의존할 수 있다. 나아가, 이러한 정보는 인지된 랜드마크의 위치 정보를 포함할 수 있고, 처리부(110)는 두 랜드마크와 연관하여 가져온 위치 정보에 근거하여 두 인지된 랜드마크 사이의 거리를 계산할 수 있다. 위치 정보는, 예를 들어, 두 랜드마크를 포함하는 도로 구간을 따라 이전에 횡단한 복수의 차량의 위치 판단(예, GPS 기반 위치 판단)을 종합한 것에 근거하여 판단된 랜드마크의 각 글로벌 좌표를 포함할 수 있다.
단계 7008에서, 처리부(110)는 자율주행차와 연계된 적어도 하나의 센서의 출력에 근거하여 적어도 두 랜드마크 사이의 측정 거리를 판단할 수 있다. 일부 실시예에서, 처리부(110)는 이미지캡처장치(122)가 확보한 영상, 관성 센서, 및/또는 차량(200)의 속도계에 기반한 주행거리측정 방법을 사용하여 두 인지된 랜드마크 사이의 거리를 측정할 수 있다. 예를 들어, 앞서 설명한 바와 같이, 차량의 제1 위치 S1은 시점으로 사용되고, 차량의 제2 위치 S2는 종점으로 사용될 수 있다. 이 위치들은 본 명세서의 다른 부분에서 설명한 방법을 사용하여 수집된 제1 및 제2 인지된 랜드마크의 영상에 각각 근거하여 판단될 수 있다. 차량 센서(예, 속도계)는 위치 S1과 S2 사이의 거리를 측정하는데 사용될 수 있다. 이 측정 거리는, 예를 들어, 차량의 미리 정해진 목표 궤적을 따라 있는 위치 S1과 S2 사이의 계산된 거리와 비교될 수 있다.
일부 실시예에서, S1과 S2는 인지된 랜드마크와의 특정 관계에 따라 선택될 수 있다. 예를 들면, 제1 및 제2 랜드마크에서 각각 연장된 선이 목표 궤적을 수직으로 교차하는 위치를 S1과 S2로 선택할 수 있다. 물론, 다른 적합한 관계도 사용될 수 있다. S1과 S2가 미리 정해진 관계에 따라 정의된 실시예에서, S1과 S2 사이의 거리는 알려져 있고 약도(sparse map, 800) 내에 나타나(예, 이전 인지된 랜드마크까지의 거리로) 있다. 이에 따라, 이러한 실시예에서는, S1과 S2 사이의 거리를 계산해야 하는 대신에, S1과 S2 사이의 거리는 이미 약도(sparse map, 800)로부터 사용 가능할 수 있다. 앞서 설명한 실시예처럼, S1과 S2 사이의 미리 정해진 거리는 차량 센서를 사용하여 측정된 S1과 S2 사이의 거리와 비교될 수 있다.
예를 들어, 일부 실시예에서, 두 랜드마크 사이의 거리의 측정은 GPS 장치(예, 위치 센서(130))를 통해 이루어질 수 있다. 일례로, 선택된 두 랜드마크는 서로 떨어져 있고(예, 5km), 두 랜드마크사이의 도로는 비교적 직선일 수 있다. 이 도로 구간의 길이는, 예를 들어, 두 랜드마크의 GPS 좌표를 뺄셈하여 측정될 수 있다. 이러한 각 좌표는 몇 미터의 오차(예, GPS 오차)가 있을 수 있지만, 도로 구간이 길기 때문에 이런 오차는 상대적으로 작은 오차일 수 있다.
단계 7010에서, 처리부(110)는 적어도 두 인지된 랜드마크 사이의 거리를 나타내는 값과 적어도 두 랜드마크 사이의 측정 거리의 비교에 근거하여 적어도 하나의 센서에 대한 수정 계수를 판단할 수 있다. 수정 계수는, 예를 들어, 적어도 두 인지된 랜드마크 사이의 거리를 나타내는 값과 적어도 두 랜드마크 사이의 측정 거리의 비율일 수 있다. 일부 실시예에서, 수정 계수는 교정 계수라 불릴 수 있고, 차량의 센서에 기반한 측정 거리를 계산된/미리 정해진 거리 값으로 변환하는데 사용될 수 있는 값을 나타낼 수 있다.
선택적 단계에서, 처리부(110)는 복수의 판단된 수정 계수에 근거하여 종합 수정 계수를 판단할 수 있다. 복수의 판단된 수정 계수의 수정 계수는 서로 다른 랜드마크에 근거하여 판단될 수 있다. 일부 실시예에서, 종합 수정 계수는 복수의 판단된 수정 계수의 평균(average 또는 mean)을 구하여 판단된다.
도 71은 본 발명의 기재된 실시예에 따라 차량의 속력을 교정하기 위한 시스템을 포함하는 차량(200)의 일례를 개략적으로 예시한 평면도이다. 도 71의 예에서, 차량(200)은 제1 도로 구간(7102A) 상에서 운행하고 있다. 도 71에는 또한 제2 도로 구간(7102B)과 차선 표시(7104, 7106)가 도시되어 있다. 도로 구간은 도로의 한 구간을 포함한다.
일부 실시예에서, 처리부(110)는 차량(200)의 하나 이상의 센서를 사용하여 도로 구간(예, 7102A 또는 7102B)을 따라 거리를 판단할 수 있다. 일례로, 처리부(110)는 차량(200)의 하나 이상의 센서를 사용하여 차량(200)이 현재 운행 중인 도로 구간(예, 7102A)과 관련된 도로 특징 프로필을 판단할 수 있다. 이러한 도로 특징 프로필은 도로 구간과 관련된 적어도 하나의 파라미터의 식별/측정 가능한 변화에 관한 것일 수 있다. 예를 들어, 일부 예에서, 이러한 프로필은 특정 도로 구간의 노면 거칠기의 변화, 특정 도로 구간의 도로 폭의 변화, 특정 도로 구간에 그려진 파선 사이의 거리의 변화, 특정 도로 구간의 도로 곡률의 변화 등에 관한 것일 수 있다. 앞서 설명한 바와 같이, 도 11d는 도로 특징 프로필(1160)의 일례를 예시한 것이다. 여기서, 도로 특징 프로필이 상기 파라미터의 어느 하나를 나타낼 수 있지만, 일례에서, 도로 특징 프로필은, 예를 들어, 차량(200)이 제1 도로 구간(7102A)을 운행하면서 서스펜션 변위의 양을 나타내는 출력을 제공하는 하나 이상의 센서를 모니터하여 획득한 노면 거칠기의 측정치를 나타낼 수 있다. 또는, 도로 특징 프로필(1160)은 제1 도로 구간(7102A)을 운행하는 차량(200)에 탑재된 이미지캡처장치(122)를 통해서 획득한 영상 데이터에 근거하여 판단된 도로 폭의 변화를 나타낼 수 있다. 이러한 프로필은 예를 들어 특정 목표 궤적에 대한 자율주행차의 특정 위치를 판단하는데 유용할 수 있다. 즉, 자율주행차가 도로 구간을 횡단하면서 도로 구간의 하나 이상의 파라미터와 관련된 프로필을 측정할 수 있다. 측정된 프로필이 도로 구간의 위치에 대한 파라미터 변화를 구성하는 미리 설정된 프로필과 상응/일치할 수 있으면, 측정된 프로필과 미리 설정된 프로필을 도로 구간 상의 현 위치, 따라서 도로 구간의 목표 궤적에 대한 현 위치를 판단하기 위해 사용(예, 측정된 프로필과 미리 설정된 프로필의 상응하는 부분을 오버레이)할 수 있다. 도로 구간 상의 거리는 도로 구간을 따란 판단되는 복수의 위치에 근거하여 판단될 수 있다.
도 72는 본 발명의 기재된 실시예에 따라 차량(200)의 속력 지시자를 교정하기 위한 프로세스(7200)의 일례를 예시한 순서도이다. 일부 실시예에서, 차량(200)은 도로 구간을 따라 판단된 거리와 무선 송수신기를 통해 수신된 거리값에 근거하여 수정 계수를 계산함으로써 차량(200)의 속력 지시자를 교정할 수 있다. 즉, 랜드마크에 근거하여 위치 S1과 위치 S2를 판단하고 위치 S1과 위치 S2 사이의 거리를 계산하기보다는, 도로 구간의 미리 정해진 부분의 거리값을 약도(sparse map, 800)을 통하여 수신(예, 무선 송수신기를 통하여)할 수 있다.
단계 7204에서, 처리부(110)는 도로 구간에 관한 거리값을 무선 송수신기를 통하여 수신할 수 있다. 일례에서, 무선 송수신기는 3GPP 호환 송수신기 또는 LTE 호환 송수신기일 수 있다. 원격 서버에 저장된 도로 구간 관련 거리값은 복수의 측정 차량에 의한 이전 측정값에 근거하여 판단될 수 있다. 예를 들어, 복수의 차량이 과거에 동일 도로 구간을 운행하고 도로 구간과 관련해서 판단된 거리값(예, 둘 이상의 미리 정해진 기준점, 랜드마크 등의 사이)을 원격 서버에 업로드 했을 수 있다. 원격 서버에 저장된 도로 구간 관련 거리값은 복수의 측정 차량에 의해 판단된 거리값의 평균일 수 있다.
일부 실시예에서, 원격 서버에 저장된 도로 구간 관련 거리값은 적어도 100대의 측정 차량에 의한 이전 측정값에 근거하여 판단될 수 있다. 다른 실시예에서, 원격 서버에 저장된 도로 구간 관련 거리값은 적어도 1000대의 측정 차량에 의한 이전 측정값에 근거하여 판단될 수 있다.
단계 7206에서, 처리부(110)는 도로 구간 상의 판단된 거리와 무선 송수신기를 통해 수신된 거리값에 근거하여 적어도 하나의 속력 센서에 대한 수정 계수를 판단할 수 있다. 수정 계수는, 예를 들어, 센서를 사용하여 판단된 도로 구간 상의 거리와 무선 송수신기를 통해 수신된 거리값의 비율일 수 있다. 또한, 수정 계수는 차량의 센서에 기반한 측정 거리를 수신/미리 설정된 거리값으로 변환하는데 사용될 수 있는 값을 나타낼 수 있다.
선택적 단계에서, 처리부(110)는 복수의 판단된 수정 계수에 근거하여 종합 수정 계수를 판단할 수 있다. 복수의 판단된 수정 계수의 수정 계수는 서로 다른 랜드마크에 근거하여 판단될 수 있다. 일부 실시예에서, 종합 수정 계수는 복수의 판단된 수정 계수의 평균(average 또는 mean)을 구하여 판단된다.
인지된 랜드마크 위치에 기반한 차선 배정 판단
카메라 출력의 분석(예, 차량이 현재 운행중인 차선의 우측 및/또는 좌측의 추가 차선 판단)에 근거한 차선 배정의 결정 외에도, 시스템은 차량에 대해 인지된 랜드마크의 판단된 횡적 위치에 근거하여 차선 배정을 판단 및/또는 검증할 수 있다.
도 73은 본 발명의 기재된 실시예에 따른 도로 구간의 일례의 스트리트뷰(street view)를 예시한 것이다. 도 73에 도시된 바와 같이, 도로 구간(7300)은 도로(7310), 차선 표시(7320), 랜드마크(7330, 7340, 7350) 등을 포함하는 여러 요소를 포함할 수 있다. 본 발명의 당업자라면 당연히 이해하는 바와 같이, 예시된 도로 구간(7300)에 도시된 요소 외에도, 도로 구간은 더 적거나 많은 수의 차선, 랜드마크 등을 포함하는 기타 요소를 포함할 수 있다.
일 실시예에서, 도로 구간(7300)은 하나 또는 그 이상의 차선 표시(7320)에 의해 두 차선 이상으로 나뉘어질 수 있는 도로(7310)를 포함할 수 있다. 도로 구간(7300)은 또한 차량(7360)과 같은 하나 이상의 차량을 포함할 수 있다. 또한, 도로 구간(7300)은 랜드마크(7330, 7340, 7350)와 같은 하나 또는 그 이상의 랜드마크를 포함할 수 있다. 도 73에 도시된 바와 같은 일 실시예에서, 랜드마크는 도로(7310)를 따라 배치될 수 있다. 도로(7310)를 따라 배치되는 랜드마크에는, 예를 들어, 교통표지판(예, 랜드마크(7330, 7340)와 같은 속도제한표지판), 마일 표지판(예, 랜드마크(7350)), 광고판, 출구표지판 등이 포함될 수 있다. 랜드마크에는 또한 일반표지판(예, 사업체 또는 정보 소스 등과 관련된 비의미론적 표지판)이 포함될 수 있다. 또는, 랜드마크는 도로(7310) 상 또는 위에 배치될 수 있다. 도로(7310) 상 또는 위에 배치되는 랜드마크에는, 예를 들어, 차선 표시(예, 7320), 반사경, 출구표지판, 차양 등이 포함될 수 있다. 랜드마크는 또한 본 명세서의 다른 부분에서 설명한 예들을 포함할 수 있다.
도 74는 본 발명의 기재된 실시예에 따른 도로 구간의 일례의 조감도를 예시한 것이다. 도 74에 도시된 바와 같이, 예시된 도로 구간(7400)은 도로(7405), 차선 표시(7410), 차량(7415), 횡단 경로(7420), 진행방향(7425), 예측 경로(7430), 미리 정해진 도로 모델 궤적(7435), 랜드마크(7440, 7455, 7470), 직접 오프셋 거리(7445, 7460, 7475), 및 횡적 오프셋 거리(7450, 7465)를 포함하는 여러 요소를 포함할 수 있다. 본 발명의 당업자라면 당연히 이해하는 바와 같이, 예시된 도로 구간(7300)에 도시된 요소 외에도, 도로 구간은 더 적거나 많은 수의 차선, 랜드마크, 및 차량 등을 포함하는 기타 요소를 포함할 수 있다.
일 실시예에서, 도로 구간(7400)은 하나 또는 그 이상의 차선 표시(7410)에 의해 두 차선 이상으로 나뉘어질 수 있는 도로(7405)를 포함할 수 있다. 도로 구간(7300)은 또한 차량(7415)과 같은 하나 이상의 차량을 포함할 수 있다. 또한, 도로 구간(7400)은 랜드마크(7440, 7455, 7470)와 같은 하나 또는 그 이상의 랜드마크를 포함할 수 있다.
일 실시예에서, 차량(7415)은 도로(7405)의 하나 또는 그 이상의 차선을 따라 경로 내에서 운행할 수 있다. 차량(7415)이 이미 운행한 경로는 도 74에 횡단 경로(7420)로 도시되어 있다. 차량(7415)이 진행하는 방향은 진행방향(7425)으로 도시되어 있다. 차량(7415)의 현재 위치와 진행방향(7425)에 근거하여, 예측 경로(7430)와 같은 차량(7415)이 운행할 것으로 예상되는 경로가 판단될 수 있다. 도 74에는 또한 차량(7415)의 이상적인 경로를 나타내는 미리 정해진 도로 모델 궤적(7435)가 도시되어 있다.
일 실시예에서, 직접 오프셋 거리(7445, 7460, 7475)는 차량(7415)과 랜드마크(7440, 7455, 7470) 사이 각각의 거리를 나타낼 수 있다. 횡적 오프셋 거리(7450, 7465)는 차량(7415)이 랜드마크(7440, 7455)를 나란히 지나갈 때 차량(7415)과 랜드마크(7440, 7455) 사이의 거리를 나타낼 수 있다.
예를 들면, 호스트 차량과 랜드마크 사이의 횡적 거리에 근거하여 차선의 수를 계산하기 위하여 두가지 방법이 사용될 수 있다. 첫번째 예로서, 클러스터링 방법이 사용될 수 있다. 평균점 이동 클러스터링(mean-shift clustering)을 사용하여, 시스템은 차선의 수와 각 주행의 차선 배정을 계산할 수 있다. 다음으로, 관찰의 수를 충분하게 하고 각 차선으로부터의 관찰을 제공하기 위하여, 시스템은 인접한 차선(예, 차선의 DNN 네트워크가 인접한 차선이 있는 것으로 판단한 경우)의 관찰을 추가할 수 있다. 다음으로, 시스템은 도로 폭을 판단하고 산출된 차선 폭에 근거하여 도로를 차선으로 나눌 수 있다. 두번째 예로서, 다른 방법에서, 끝 차선(최좌측 또는 최우측 차선) 또는 그 옆 차선에 있는 것으로 차선의 DNN 네트워크가 판단한 차량의 발견에 근거하여, 시스템은 랜드마크와 최좌측 또는 최우측 차선 표시 사이의 횡적 거리의 모음을 생성할 수 있다. 다음으로, 표결(voting) 또는 최소자승(least square) 메커니즘을 사용하여, 시스템은 랜드마크와 도로 가장자리 사이의 일치된 거리 추정을 판단할 수 있다. 다음으로, 도로 가장자리까지의 거리 추정으로부터, 시스템은 도로 폭을 추출하고, 운행을 통해 관찰된 차선 폭의 중앙값으로 도로 폭을 나눔으로써 차선의 수를 판단할 수 있다. 시스템은 호스트 사이의 관찰된 거리가 어느 빈에 있는가에 근거하여 각 운행의 차선을 배정할 수 있다.
도 75는 본 발명의 기재된 실시예에 따라 차량(예, 자율주행차)의 차선 배정을 판단하는 프로세스(7500)의 일례를 예시한 순서도이다. 예시된 프로세스에 포함된 단계들은 도 1의 구성요소들에 의해 수행될 수 있다. 예를 들어, 프로세스에 포함된 단계들은 도 1에 도시된 시스템(100)의 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190)에 의해 수행될 수 있다.
단계 7510에서, 적어도 하나의 프로세서는 카메라로부터 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신한다. 예를 들면, 영상 프로세서(128)는 차량의 주변환경을 나타내는 하나 이상의 영상을 하나 또는 그 이상의 카메라(122, 124, 128)로부터 수신할 수 있다. 영상 프로세서(128)는 이 하나 이상의 영상을 추가 분석을 위하여 애플리케이션 프로세서(180)로 전송할 수 있다. 차량의 주변환경은 도로 구간과 표지판, 건물, 또는 도로 구간을 따라 보이는 풍경 등과 같은, 차량의 외부를 에워싸는 영역을 포함할 수 있다. 일 실시예에서, 차량의 주변환경은 도로 구간, 여러 차선, 및 적어도 하나의 인지된 랜드마크를 포함할 수 있다.
단계 7520에서, 적어도 하나의 프로세서는 적어도 하나의 영상을 분석하여 적어도 하나의 인지된 랜드마크를 식별할 수 있다. 일 실시예에서, 적어도 하나의 랜드마크에는 교통표지판, 화살표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 가로등 등 중의 하나 또는 그 이상이 포함될 수 있다. 예를 들어, 적어도 하나의 랜드마크는 각각이 교통표지판인 랜드마크(7330, 7340, 7350)를 포함할 수 있다. 특히, 랜드마크(7330, 7340)는 속도제한표지판이고, 랜드마크(7350)는 마일 표지판이다. 다른 실시예에서, 적어도 하나의 인지된 랜드마크는 상업용 표지판을 포함한다. 예를 들어, 적어도 하나의 인지된 랜드마크에는 사업체 광고판 또는 사업체의 위치를 나타낸 표지판이 포함될 수 있다.
단계 7530에서, 적어도 하나의 프로세서는 차량과 적어도 하나의 인지된 랜드마크 사이의 횡적 오프셋 거리의 지시자를 판단한다. 일부 실시예에서, 차량과 적어도 하나의 인지된 랜드마크 사이의 횡적 오프셋 거리의 지시자는 적어도 하나의 인지된 랜드마크의 알려진 위치에 기반하여 판단될 수 있다. 적어도 하나의 인지된 랜드마크의 알려진 위치는, 예를 들어, 메모리(140) 또는 지도 데이터베이스(160)(예, 약도(sparse map, 800)의 일부로서)에 저장될 수 있다.
단계 7540에서, 적어도 하나의 프로세서는 차량과 적어도 하나의 인지된 랜드마크 사이의 횡적 오프셋 거리의 지시자에 근거하여 도로 구간을 따라 운행하는 차량의 차선 배정을 판단한다. 예를 들면, 적어도 하나의 프로세서는 횡적 오프셋 거리의 지시자에 근거하여 차량이 어느 차선을 운행하고 있는지 판단할 수 있다. 예를 들어, 차선 배정은 인지된 랜드마크로부터 인지된 랜드마크와 가장 가까운 도로 가장자리까지, 도로상에 존재하는 차선 가장자리까지, 도로 구간과 연계된 목표 궤적까지, 또는 도로 구간과 연계된 복수의 목표 궤적까지의 횡적 거리에 대해 알고 있는 정보에 근거하여 판단될 수 있다. 인지된 랜드마크와 호스트 차량 사이의 횡적 오프셋 거리의 판단된 지시자는 상기 정량적 정보 중 어느 하나와 비교된 후, 하나 또는 그 이상의 연산 및/또는 삼각함수 계산에 근거한 현재의 차선 배정을 판단하기 위해 사용될 수 있다.
일 실시예에서, 적어도 하나의 인지된 랜드마크는 차량의 제1 측에 있는 제1 인지된 랜드마크와 차량의 제2 측에 있는 제2 인지된 랜드마크를 포함하고, 도로 구간을 따라 운행하는 차량의 차선 배정은 차량과 제1 인지된 랜드마크 사이의 횡적 오프셋 거리의 제1 지시자와 차량과 제2 인지된 랜드마크 사이의 횡적 오프셋 거리의 제2 지시자에 근거하여 판단된다. 차선 배정은 횡적 오프셋 거리의 제1 지시자와 횡적 오프셋 거리의 제2 지시자의 비율에 근거하여 판단될 수 있다. 예를 들면, 차량이 도로의 좌측 가장자리에 서있는 랜드마크로부터 20피트 떨어져 있고 도로의 우측 가장자리에 서있는 랜드마크로부터 60피트 떨어져 있는 경우, 차선 배정은 이 비율에 근거하여, 도로 구간이 차선 수 또는 차선 폭에 대한 정보를 고려하여, 판단될 수 있다. 또는, 차선 배정은 차량과 제1 및 제2 인지된 랜드마크 사이의 횡적 오프셋 거리의 지시자에 근거하여 별도로 계산될 수 있고, 이렇게 별도로 한 계산을 서로 비교하여 판단된 차선 배정이 정확한지 검증할 수 있다.
주행 보조로서의 수퍼 랜드마크
시스템은 도로 모델 궤적을 따라 운행하는 자율주행차의 현재 위치의 판단을 지원하기 위하여 인지된 랜드마크를 사용하여 주행할 수 있다. 그러나, 일부 상황에서, 랜드마크 식별이 명확하지 않을 수 있다(예, 유사한 유형의 랜드마크가 높은 밀도로 있는 곳). 이런 상황에서, 랜드마크의 인지를 수월하게 하기 위하여 랜드마크를 그룹으로 묶을 수 있다. 예를 들어, 한 그룹의 랜드마크 내에서 랜드마크 사이의 거리는 명확한 랜드마크의 식별을 지원하기 위해 수퍼 랜드마크 특징을 생성하는데 사용될 수 있다. 한 그룹의 랜드마크 내에서의 랜드마크의 순서와 같은 기타 특징들도 사용될 수 있다.
도 76은 본 발명의 기재된 실시예에 따른 도로 구간의 일례의 스트리트 뷰를 예시한 것이다. 도 76에 도시된 바와 같이, 도로 구간(7600)은 도로(7610), 차선 표시(7620), 차량(7630), 및 랜드마크(7640, 7650, 7660, 7670, 7680)와 같은 여러 요소를 포함할 수 있다. 본 발명의 당업자라면 당연히 이해하는 바와 같이, 예시된 도로 구간(7600)에 도시된 요소들 외에도, 도로 구간은 더 적거나 많은 수의 차선, 랜드마크, 및 차량 등을 포함하는 기타 요소를 포함할 수 있다.
일 실시예에서, 도로 구간(7600)은 하나 또는 그 이상의 차선 표시(7620)에 의해 두 차선 이상으로 나뉘어질 수 있는 도로(7610)를 포함할 수 있다. 도로 구간(7600)은 또한 차량(7630)과 같은 하나 이상의 차량을 포함할 수 있다. 또한, 도로 구간(7600)은 랜드마크(7640, 7650, 7660, 7670, 7680)와 같은 하나 또는 그 이상의 랜드마크를 포함할 수 있다. 일 실시예에서, 랜드마크는 도로(7610)와 관련된 구조물/물체(예, 랜드마크(7670, 7680))에 배정될 수 있다. 도로(7610)를 따라 배치되는 랜드마크에는, 예를 들어, 교통표지판(예, 랜드마크(7670)와 같은 마일 표지판), 광고판(예, 랜드마크(7680)), 차선 표시(예, 랜드마크(7620)), 반사경, 교통표지판(예, 랜드마크(7640, 7650)와 같은 출구표지판), 차양 등이 포함될 수 있다. 랜드마크에는 또한 일반표지판(예, 사업체 또는 정보 소스 등과 관련된 비의미론적 표지판)이 포함될 수 있다. 약도(sparse map, 800) 내에 식별되거나 묘사된 랜드마크는 인지된 랜드마크로 불릴 수 있다.
일부 지역, 특히 도시 환경의 지역은 인지된 랜드마크의 밀도가 높을 수 있다. 이에 따라, 일부 경우에, 특정 인지된 랜드마크 사이의 구별은 랜드마크의 크기, 형상, 유형, 색인된 위치 등에만 근거한 비교에 근거하여서는 어려울 수 있다. 차량의 주변환경인 것으로 확보된 영상 내에서 하나 이상의 인지된 랜드마크의 식별을 더 지원하기 위하여, 두 개 이상의 랜드마크를 그룹으로 묶어 수퍼 랜드마크로 지정할 수 있다. 이러한 수퍼 랜드마크는 하나 이상의 인지된 랜드마크(예, 랜드마크 그룹의 랜드마크)의 식별 또는 검증을 지원할 수 있는 추가적인 특징을 제공할 수 있다.
예를 들면, 도 76에서, 수퍼 랜드마크는 랜드마크(7640, 7650, 7660, 7670, 7680)로 구성되는 그룹 또는 상기 랜드마크 중 둘 또는 그 이상으로 구성되는 부분집합으로부터 형성될 수 있다. 둘 또는 그 이상의 랜드마크를 함께 묶음으로써 구성 랜드마크를 원거리 시점으로부터 정확하게 식별할 확률이 증가될 수 있다.
수퍼 랜드마크는 구성 랜드마크 사이의 거리, 그룹 내 랜드마크의 수, 배열 순서, 랜드마크 그룹의 구성 랜드마크 사이의 하나 이상의 상대적 공간 관계 등과 같은 하나 이상의 특징과 연관될 수 있다. 또한, 이러한 특징들은 수퍼 랜드마크 특징을 생성하는데 사용될 수 있다. 수퍼 랜드마크 특징은 랜드마크 그룹 또는 심지어 랜드마크 그룹 내의 단일 랜드마크를 식별하는 고유한 형태를 나타낼 수 있다.
도 77a는 본 발명의 기재된 실시예에 따른 도로 구간의 일례의 조감도를 예시한 것이다. 도 77에 도시된 바와 같이, 예시된 도로 구간(7700)은 도로(7705), 차선 표시(7710), 차량(7715), 횡단 경로(7720), 미리 정해진 도로 모델 궤적(7725), 랜드마크(7730, 7735, 7740, 7745, 7750), 횡적 오프셋 벡터(7755), 및 직접 오프셋 벡터(7760)와 같은 여러 요소를 포함할 수 있다. 본 발명의 당업자라면 당연히 이해하는 바와 같이, 예시된 도로 구간(7700)에 도시된 요소들 외에도, 도로 구간은 더 적거나 많은 수의 차선, 랜드마크, 및 차량 등을 포함하는 기타 요소를 포함할 수 있다.
일 실시예에서, 도로 구간(7700)은 하나 또는 그 이상의 차선 표시(7710)에 의해 두 차선 이상으로 나뉘어질 수 있는 도로(7705)를 포함할 수 있다. 도로 구간(7700)은 또한 차량(7715)과 같은 하나 이상의 차량을 포함할 수 있다. 또한, 도로 구간(7700)은 랜드마크(7730, 7735, 7740, 7745, 7750)와 같은 하나 또는 그 이상의 랜드마크를 포함할 수 있다.
일 실시예에서, 차량(7715)은 도로(7705)의 하나 또는 그 이상의 차선을 따라 경로 내에서 운행할 수 있다. 차량(7715)이 이미 운행한 경로는 도 77에 횡단 경로(7720)로 도시되어 있다. 도 77에는 또한 차량(7715)의 목표 경로를 나타내는 미리 정해진 도로 모델 궤적(7725)가 도시되어 있다.
일 실시예에서, 직접 오프셋 벡터는 차량(7715)과 랜드마크를 연결하는 벡터일 수 있다. 예를 들어, 직접 오프셋 벡터(7760)는 차량(7715)과 랜드마크(7730)를 연결하는 벡터일 수 있다. 차량(7715)과 랜드마크 사이의 거리는 차량(7715)과 이 랜드마크를 연결하는 직접 오프셋 벡터의 크기와 동일할 수 있다. 횡적 오프셋 벡터는 차량(7715)과 랜드마크와 같은 선 상에 있는 도로 변의 점을 연결하는 벡터일 수 있다. 랜드마크에 대한 차량의 횡적 오프셋 거리는 횡적 오프셋 벡터의 크기와 동일할 수 있고, 나아가 차량(7715)이 랜드마크를 나란히 지나갈 때 차량(7715)과 랜드마크 사이의 거리와 동일할 수 있다. 차량(7715)과 랜드마크 사이의 횡적 오프셋 거리는 차량과 도로 가장자리 사이의 제1 거리와 도로 가장자리와 랜드마크 사이의 제2 거리의 합을 판단함으로써 산출될 수 있다.
도 77b는 네 개의 인지된 랜드마크, 즉, 속도제한표지판(7790), 일시정지표지판(7791), 및 두 개의 신호등(7792, 7793)으로 구성된 수퍼 랜드마크를 포함하는 도로 구간의 스트리트뷰를 도시한 것이다. 수퍼 랜드마크 그룹에 포함된 인지된 랜드마크 각각은 수퍼 랜드마크 그룹에 포함된 랜드마크 사이의 다양한 관계에 대한 인지에 근거하여 식별될 수 있다. 예를 들면, 호스트 차량으로부터 거리 D1에서 속도제한표지판, 거리 D2에서 일시정지표지판, 거리 D3에서 두 개의 신호등의 약도(sparse map, 800)에 저장된 순서(즉, D3>D2>D1)는 수퍼 랜드마크의 고유하고 인지 가능한 특징을 구성하여 예를 들어 속도제한표지판(7790)이 약도(sparse map, 800)의 인지된 랜드마크임을 검증하는데 도움이 될 수 있다.
수퍼 랜드마크의 구성 랜드마크 사이의 기타 관계도 약도(sparse map, 800)에 저장될 수 있다. 예를 들면, 인지된 랜드마크로부터 그리고 도로 구간 상의 목표 궤적을 따라 특정 미리 정해진 거리에서, 수퍼 랜드마크는 구성 랜드마크의 각 중심점인 A, B, C, D 사이의 다항식(7794)을 형성할 수 있다. A-B, B-C, C-D, D-A의 구간 길이는 수퍼 랜드마크의 위치에 상대적인 하나 이상의 위치에 대해 판단하고 약도(sparse map, 800)에 저장될 수 있다. 뿐만 아니라, 삼각형(7795)이 신호등(7793), 신호등(7792), 일시정지표지판(7791)에 의해 형성될 수 있다. 또한, 삼각형(7795)의 각 변의 길이와 각도는 수퍼 랜드마크의 위치에 상대적인 하나 이상의 위치에 대해 약도(sparse map, 800)에서 참조될 수 있다. A, C, D 사이의 삼각형(7796)과 A, B, C 사이의 삼각형(7797)에 대해서도 유사한 정보가 판단되고 저장될 수 있다. 이러한 각도, 형상, 및 구간 길이는 수퍼 랜드마크에 대한 특정 조망 위치으로부터의 수퍼 랜드마크 인지에 도움이 될 수 있다. 예를 들어, 수퍼 랜드마크의 시각 정보가 약도(sparse map, 800)에 포함된 조망 위치에 차량이 위치하면, 차량의 처리부는 차량에 탑재된 하나 이상의 카메라가 확보한 영상을 분석하여 예상된 형상, 패턴, 각도, 구간 길이 등을 검색하여 한 그룹의 물체가 예상 수퍼 랜드마크를 형성하는지 여부를 판단할 수 있다. 인지된 수퍼 랜드마크가 검증되면, 수퍼 랜드마크 그룹에 포함된 랜드마크에 근거하여 목표 궤적 상의 차량의 위치 판단을 시작할 수 있다.
도 78은 본 발명의 실시예에 따라 차량을 도로 구간을 따라 자율 주행하기 위한 프로세스(7800)의 일례를 예시한 순서도이다. 예시된 프로세스에 포함된 단계들은 도 1의 구성요소들에 의해 수행될 수 있다. 예를 들어, 프로세스에 포함된 단계들은 도 1에 도시된 시스템(100)의 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190)에 의해 수행될 수 있다.
단계 7810에서, 적어도 하나의 프로세서는 카메라로부터 차량의 주변환경을 나타내는 적어도 하나의 영상을 수신할 수 있다. 예를 들면, 영상 프로세서(128)는 차량의 주변환경을 나타내는 하나 이상의 영상을 하나 또는 그 이상의 카메라(122, 124, 128)로부터 수신할 수 있다. 영상 프로세서(128)는 이 하나 이상의 영상을 추가 분석을 위하여 애플리케이션 프로세서(180)로 전송할 수 있다. 차량의 주변환경은 도로 구간과 표지판, 건물, 또는 도로 구간을 따라 보이는 풍경 등과 같은, 차량의 외부를 에워싸는 영역을 포함할 수 있다. 일 실시예에서, 차량의 주변환경은 도로 구간, 여러 차선, 및 적어도 하나의 인지된 랜드마크를 포함할 수 있다.
단계 7820에서, 적어도 하나의 프로세서는 적어도 하나의 영상을 분석하여 수퍼 랜드마크를 식별하고 수퍼 랜드마크에서 적어도 하나의 인지된 랜드마크를 식별할 수 있다. 일 실시예에서, 적어도 하나의 랜드마크에는 교통표지판, 화살표시, 차선 표시, 파선 차선 표시, 신호등, 정지선, 방향표지판, 반사경, 랜드마크 비콘, 가로등 등 중의 하나 또는 그 이상이 포함될 수 있다. 예를 들어, 적어도 하나의 랜드마크는 각각이 교통표지판인 랜드마크(7640, 7650, 7660, 7670)를 포함할 수 있다. 특히, 랜드마크(7640, 7650, 7660)는 출구표지판이고, 랜드마크(7670)는 마일 표지판이다. 다른 실시예에서, 적어도 하나의 인지된 랜드마크는 상업용 표지판을 포함한다. 예를 들어, 적어도 하나의 인지된 랜드마크에는 사업체 광고판(예, 7680) 또는 사업체의 위치를 나타낸 표지판이 포함될 수 있다.
앞서 설명한 바와 같이, 적어도 하나의 랜드마크는 적어도 부분적으로는 랜드마크 그룹에 연계된 하나 이상의 랜드마크 그룹 특징에 근거하여 식별될 수 있다. 일 실시예에서, 하나 이상의 랜드마크 그룹 특징에는 랜드마크 그룹 내의 랜드마크 사이의 상대적 거리가 포함될 수 있다. 예를 들면, 랜드마크 그룹 특징은 랜드마크 그룹 내의 각 랜드마크를 랜드마크 그룹 내의 다른 랜드마크 각각과 분리하는 거리를 특정하는 정보를 포함할 수 있다. 다른 실시예에서, 하나 이상의 랜드마크 그룹 특징은 랜드마크 그룹 내 랜드마크의 순서를 포함할 수 있다. 예를 들어, 랜드마크 그룹은 차량에서 바라보았을 때 좌측에서 우측, 앞에서 뒤 등으로 등장하는 랜드마크의 순서와 연계될 수 있다. 또 다른 실시예에서, 하나 이상의 랜드마크 그룹 특징은 랜드마크 그룹에 포함된 랜드마크의 수를 포함할 수 있다.
도 76을 일례로 참조하면, 랜드마크 그룹(또는 수퍼 랜드마크)은 랜드마크(7640, 7650, 7660, 7670, 7680)로 구성될 수 있다. 이 랜드마크 그룹은 랜드마크 그룹 내의 각 랜드마크와 다른 랜드마크 각각 사이의 상대적 거리, 랜드마크 그룹 내의 랜드마크 순서, 랜드마크의 개수를 포함하는 랜드마크 그룹 특징과 연계될 수 있다. 도 76에 도시된 예에서, 랜드마크 그룹 특징은 랜드마크(7680)와 랜드마크(7640, 7650, 7660, 7670) 각각 사이의 거리, 랜드마크(7640)와 랜드마크(7650, 7660, 7670) 각각 사이의 거리, 랜드마크(7650)와 랜드마크(7660, 7670) 각각 사이의 거리, 및 랜드마크(7660, 76760) 사이의 거리를 특정하는 정보를 포함할 수 있다.
나아가, 본 예에서, 순서는 랜드마크 그룹 내에서 랜드마크가 좌측에서 우측으로(도로를 주행하는 차량(예, 7630)의 시각에서) 7680, 7640, 7650, 7660, 7670의 순서임을 나타내는 것일 수 있다. 대안적으로, 또는 추가적으로, 순서는 랜드마크 그룹 내에서 랜드마크가 앞에서 뒤로(예, 도로상의 경로에서 가장 먼저부터 가장 나중) 7670, 7640, 7650, 7660, 7680의 순서임을 나타내는 것일 수 있다. 또한 랜드마크 그룹 특징은 예시된 랜드마크 그룹에 다섯 개의 랜드마크가 포함됨을 특정하는 것일 수 있다.
일 실시예에서, 적어도 하나의 랜드마크는 적어도 부분적으로는 랜드마크 그룹에 연계된 수퍼 랜드마크 특징에 근거하여 식별될 수 있다. 수퍼 랜드마크 특징은 랜드마크 그룹을 고유하게 식별하기 위한 특징일 수 있다. 일 실시예에서, 수퍼 랜드마크 특징은 앞서 설명한 하나 이상의 랜드마크 그룹 특징(예, 랜드마크의 수, 랜드마크 사이의 상대적 거리, 및 랜드마크의 순서)에 근거할 수 있다.
수퍼 랜드마크 그룹의 식별된 특징에 근거하여 인지된 랜드마크가 식별되면, 인지된 랜드마크의 미리 정해진 특징을 사용하여 호스트 차량의 주행을 지원할 수 있다. 예를 들면, 일부 실시예에서, 인지된 랜드마크를 사용하여 호스트 차량의 현재 위치를 판단할 수 있다. 일부 경우에, 호스트 차량의 현재 위치는 간략 데이터 모델(800)의 목표 궤적에 대하여 판단될 수 있다. 목표 궤적에 대한 현재 위치를 알면 차량이 목표 궤적을 따라 가도록 하기 위한 조향각을 판단하는데 도움이 될 수(예, 목표 궤적에 대한 차량의 판단된 현재 위치에서 진행 방향을 목표 궤적의 방향과 비교함으로써) 있다.
약도(sparse map, 800)의 목표 궤적에 대한 차량의 위치는 다양한 방법으로 판단될 수 있다. 예를 들어, 일부 실시예에서, 6D 칼만 필터링 방법이 사용될 수 있다. 다른 실시예에서, 방향 지시자가 차량과 인지된 랜드마크에 대해 사용될 수 있다. 예를 들면, 단계 7830에서, 적어도 하나의 프로세서는 적어도 하나의 랜드마크와 연계된 방향 지시자를 차량에 대해 판단할 수 있다. 일 실시예에서, 방향 지시자는 차량과 적어도 하나의 랜드마크를 연결하는 선 또는 벡터를 포함할 수 있다. 방향 지시자는 차량이 적어도 하나의 랜드마크에 도달하려면 운행해야 하는 방향을 나타낼 수 있다. 예를 들어, 도 77에 일례로 도시된 실시예에서, 직접 오프셋 벡터(7760) 가 차량(7715)에 대한 랜드마크(7730)와 연계된 방향 지시자일 수 있다.
단계 7840에서, 적어도 하나의 프로세서는 방향 지시자와 도로 구간과 연계된 미리 정해진 도로 모델 궤적의 교차점을 판단할 수 있다. 일 실시예에서, 미리 정해진 도로 모델 궤적은 도로 구간을 따라 가는 목표 궤적의 3차원 다항식 표현을 포함할 수 있다. 목표 궤적은 도로 구간 상의 특정 지점의 차량의 이상적인 궤적을 포함할 수 있다. 일 실시예에서, 적어도 하나의 프로세서는 차량의 속도에 기반하여 미리 정해진 도로 모델 궤적 상의 위치를 판단하도록 더 프로그램 될 수 있다. 예를 들어, 적어도 하나의 프로세서는 특정 시간의 차량의 위치와 속도에 관한 정보에 접근하고, 이 위치 이후의 차량의 속도와 시간에 근거하여 추정 운행 거리를 계산하고, 이전에 관찰된 위치 이후의 추정된 거리에 있는 미리 정해진 도로 모델 궤적 상의 지점을 식별할 수 있다.
단계 7850에서, 적어도 하나의 프로세서는 판단된 교차점에서의 미리 정해진 도로 모델 궤적의 방향에 근거하여 차량의 자율 조향 동작을 결정할 수 있다. 일 실시예에서, 차량을 위한 자율 조향 동작의 결정은 판단된 교차점에서의 차량의 진행 방향을 미리 정해진 도로 모델 궤적과 비교하는 것을 포함할 수 있다. 일 실시예에서, 차량을 위한 자율 조향 동작은 차량의 진행 방향을 변경하는 것을 포함할 수 있다. 다른 실시예에서, 차량을 위한 자율 조향 동닥은 가속 또는 제동을 가하여 이에 상응하는 가속 또는 감속을 함으로써 차량의 속력을 변경하는 것을 포함할 수 있다.
어댑티브 자율 주행
일부 실시예에서, 기재된 시스템과 방법은 어댑티브 자율 주행을 제공하고 약도(sparse map)를 업데이트 할 수 있다. 예를 들면, 기재된 시스템과 방법은 사용자 개입에 기반하여 주행을 적응시키고, 시스템(예, 자각 시스템)에 의한 판단에 기반하여 어댑티브 주행을 제공하고, 도로상에서 관찰된 조건들이 일시적인지 또는 비일시적인지에 근거하여 도로 모델을 적응시키고, 하나 이상의 시스템으로부터 수신한 선택적 피드백에 기반하여 도로 모델을 관리할 수 있다. 이러한 어댑티브 시스템과 방법에 대해서 하기에 상세히 설명한다.
사용자 개입에 기반한 어댑티브 주행
일부 실시예에서, 기재된 시스템과 방법은 사용자 개입에 기반한 어댑티브 주행을 포함할 수 있다. 예를 들면, 앞서 설명한 바와 같이, 기존 차량의 입력에 근거하여 구성된 도로 모델이 서버(예, 1230)로부터 차량들로 배포될 수 있다. 시스템은 자율주행차로부터 수신된 피드백에 근거하여 도로 상황의 변화를 고려하기 위하여 도로 모델에 하나 이상의 업데이트가 필요한지 여부를 판단할 수 있다. 예를 들어, 일부 실시예에서, 사용자는 차량(예, 자율주행차)이 도로 모델에 의거하여 도로를 운행하는 동안에 차량의 조작을 변화시키기 위해 개입할 수 있다. 사용재 개입에 근거하여 변화된 차량의 조작은 도로 모델에 의해 제공된 미리 정해진 차량 궤적 지시를 무시하고 상충될 수 있다. 나아가, 기재된 시스템과 방법은 이러한 무시가 발생한 상황에 관한 주행 상황 정보를 캡처하고 저장하고 및/또는 분석을 위해서 하나 이상의 네트워크(예, 이동통신망 및/또는 인터넷)를 통해서 차량으로부터 서버로 전송할 수 있다. 설명한 바와 같이, 주행 상황 정보는 차량의 위치, 차량으로부터 인지된 랜드마크까지의 거리, 관찰된 조건, 하루 중 시간, 차량의 이미지캡처장치가 확보한 영상 또는 동영상, 및 주행 상황에 관한 기타 적합한 정보 소스 중의 하나 또는 그 이상을 포함할 수 있다.
도 79a는 본 발명의 기재된 실시예에 따른 도로(7900) 상에서 특정 지점의 동절기 빙판 상황(7930)에 접근하는 차량(7902)의 일례를 예시한 평면도이다. 차량(7902)은 사용자 개입에 기반하여 주행을 조정하는 특징을 포함하는 주행 특징을 제공하는 시스템을 포함할 수 있다. 차량(7902)은 앞서 차량(200)에 관하여 설명한 구성요소와 같은 구성요소를 포함할 수 있다. 예를 들어, 도시된 바와 같이, 차량(7902)은 이미지캡처장치(122, 124)를 구비할 수 있고, 더 많거나 적은 수의 이미지캡처장치(예, 카메라)가 사용될 수도 있다.
도시된 바와 같이, 도로(7900)는 차선(7910, 7920)과 같은 차선으로 나뉘어질 수 있다. 여기서, 차선(7910, 7920)은 예시에 불과하며, 도로(7900)에는 도로의 크기와 성격(예, 고속도로)에 따라 차선이 추가로 있을 수 있다. 도 79a의 예에서, 차량(7902)도로 모델로부터 도출된 지시(예, 목표 궤적 상의 진행 방향)에 따라 차선(7910)에서 운행하고 있으며, 특정 차량 위치에서 위치 센서(130), 온도 센서, 및/또는 얼음 센서 등에 의해 식별된 동절기 빙판 상황(7930)에 접근하고 있다. 사용자가 자율적으로 생성된 조향 명령(예, 차량이 목표 궤적의 경로 유지)을 무시하고 차선(7910) 내에서 운행하는 차량(7902)의 경로를 변경(예, 빙판 상황으로 인한 회전)하기 위하여 개입하는 경우, 처리부(110)는 주행 상황 정보를 저장 및/또는 도로 모델 시스템의 서버로 전송하여 업데이트를 위해 사용하게 할 수 있다. 이 예에서, 주행 상황 정보는 위치 센서(130)에 의해 식별되거나 목표 궤적 상의 랜드마크 기반 위치 판단에 근거한 차량의 위치, 차량에 포함된 이미지캡처장치에 의해 확보된 자량의 주변환경을 보여주는 영상, 영상 스트림(예, 동영상), 센서(예, 속도계, 가속도계 등) 출력 데이터를 포함할 수 있다.
일부 실시예에서, 처리부(110)는 무선 데이터 연결을 통해 하나 이상의 네트워크(예, 이동통신망 및/또는 인터넷)를 거쳐 주행 상황 정보를 차량으로부터 서버로 전송할 수 있다. 서버는 수신한 정보를 분석(예, 자동 영상 분석 프로세스 사용)하여 감지된 사용자 개입에 근거하여 간략 데이터 모델(800)에 대한 업데이트가 필요한지 여부를 판단할 수 있다. 이 예에서, 서버는 영상 내에서 동적기 빙판 상황(임시 또는 일시적 상황)의 존재를 인지하고, 이에 따라 도로 모델을 변경하거나 업데이트 하지 않기로 결정할 수 있다.
도 79b는 본 발명의 기재된 실시예에 따른 도로상에서 보행자에 접근하는 차량(7902)의 일례를 예시한 평면도이다. 도 79b에 도시된 예에서, 차량(7902)은 보행자(7922)가 있는 도로(7900)의 차선(7910)에서 운행하고 있다. 도시된 바와 같이, 보행자(7922)는 갑자기 도로(7900) 상에 위치하여 차선(7910 또는 7920)을 가로지를 수 있다. 이 예에서, 사용자가 보행자를 피하고 도로 구간 상의 목표 궤적을 따라 차선(7910) 안에서 운행하는 차량(7902)의 조작을 변경하기 위하여 도로 모델을 무시하도록 개입하는 경우, 주행 상황 정보는 도로 구간의 목표 궤적을 따라 운행하는 차량의 위치(예, 속도제한표지판(7923)과 같은 인지된 랜드마크까지의 거리 d1에 근거하여 판단된 위치), 사용자 개입이 있는 동안의 차량 주변 상황을 포함하는 동영상 또는 영상, 센서 데이터 등을 포함할 수 있다. 도 49B에 도시된 예에서, 횡단하는 보행자의 임시성을 고려하여, 서버는 도로 모델을 변경하거나 업데이트 하지 않기로 결정할 수 있다.
도 79b는 속도제한표지판(7923)을 예시하였지만, 다른 인지된 랜드마크(미도시)가 사용될 수도 있다. 랜드마크는, 예를 들어, 적어도 하나의 도로 구간의 환경 내의 식별 가능한 고정 물체 또는 도로 구간이 특정 구역에 관한 관찰 가능한 특징을 포함할 수 있다. 일부 경우에, 랜드마크는 교통표지판(예, 속도제한표지판, 위허표지판 등)을 포함할 수 있다. 다른 경우에, 랜드마크는 도로 구간의 특정 구역에 관한 도로 특징 프로필을 포함할 수 있다. 다양한 유형의 랜드마크의 더 많은 예는 앞서 설명하였으며, 일부 랜드마크의 예는 도 10에 도시되어 있다.
도 79c는 본 발명의 기재된 실시예에 따른 도로상에서 다른 차량에 매우 근접하게 운행하는 차량의 일례를 예시한 평면도이다. 도 79c의 예에서, 두 대의 차량(7902a, 7902b)이 도로(7900)의 차선(7910)에서 주행하고 있다. 도시된 바와 같이, 차량(7902b)가 도로(7900)의 차선(7910)에서 갑자기 차량(7902a)의 바로 앞으로 들어왔다. 사용자가 도로 모델을 무시하고 차선(7910) 내에서 운행하는 차량(7902a)의 경로를 변경(예, 근접 차량으로 인한 회전)하도록 개입하는 경우, 주행 상황 정보가 캡처되고 메모리(예, 140)에 저장 및/또는 도로 모델의 업데이트를 위해 서버(예, 1230)로 전송될 수 있다. 이 예에서, 주행 상황 정보는 차량(7902a)의 위치를 포함할 수 있다. 주행 상황 정보는 사용자 개입 시점의 차량(7902a)의 주변환경을 보여주는 하나 이상의 영상을 더 포함할 수 있다. 그러나 근접 차량의 임시성을 고려하여, 서버는 도로 모델을 변경하거나 업데이트 하지 않기로 결정할 수 있다.
도 79d는 본 발명의 기재된 실시예에 따른 도로상의 끝나는 차선에서 이동하는 차량의 일례를 예시한 평면도이다. 차량(7902)은 끝나는 차선(7910)을 나타내는 굽은 도로(7900)의 적어도 하나의 주변환경 영상을 이미지캡처장치(122, 124)로부터 수신할 수 있다. 차선(7910)은 d2가 갑자기 짧아지는 결과를 가져오는 차선(7910)의 최근 변화에 근거하여 끝나는 것일 수 있다. 예를 들어, 이 차선이 끝나는 것은 공사구간에 최근에 설치한 콘크리트 장벽으로 인한 것일 수 있다. 이러한 갑작스런 거리 단축의 결과, 사용자는 차선(7910)의 변화를 고려하여 차량(7902)의 경로를 변경하도록 개입할 수 있다. 다른 부분에서 더 상세히 설명하겠지만, 처리부(110)가 끝나는 차선을 인지(예, 차량 전방의 콘크리트 장벽을 캡처한 영상에 근거하여)하고, 자동으로 차량의 경로를 조정하고, 간략 데이터 모델(800)에 대한 업데이트에 사용하기 위하여 주행 상황 정보를 서버로 전송할 수 있다. 사용자 개입의 결과, 시스템은 거리(예, c1, c2)를 측정할 수 있다. 예를 들어, 거리 c1과 거리 c2는 차량(7902)의 측면으로부터 차선(7910)의 가장자리까지의 거리를 나타내는 것일 수 있다. 차선(7910)의 가장자리는 차선 한계(7924) 또는 도로(7900) 중앙ㅇ세어 차선(7910, 7920)을 나누는 파선 중앙선일 수 있다. 다른 실시예에서, 거리는 차선(7920)의 먼 쪽(미도시)에 있는 차선 한계(7924)까지 측정한 것일 수 있다. 앞서 설명한 거리 c1과 거리 c2 외에도, 처리부(110)는 해당 차선의 하나 이상의 차선 한계에 대하여 거리 w1과 거리 w2와 차선(7910)의 중앙점 m을 계산하도록 더 구성될 수 있다. 도 79d에 도시된 바와 같이, 거리 w1과 거리 w2의 합은 측정치 w와 동일하다.
이 예에서, 사용자가 도로 모델을 무시하고 차선(7910) 내에서 운행하는 차량(7902)의 조작을 변경하도록 개입하는 경우, 차선 한계(7924)까지의 거리 c1, c2, d2, w1, 및 w2를 포함하는 주행 상황 정보가 캡처되고 메모리(140)에 저장 및/또는 도로 모델의 업데이트를 위해 서버로 전송될 수 있다. 물론, 기타 주행 상황 정보도 수집되고 리뷰를 위해 서버로 전송될 수 있다. 이런 정보에는 센서 출력, 캡처된 영상/영상 스트림, 차량의 위치 등이 포함될 수 있다. 콘크리트 장벽에 의해 끝나는 차선의 영구성 또는 반영구성을 고려하여, 서버는 도로 모델의 변경 또는 업데이트를 결정할 수 있다. 이에 따라, 차량은 업데이트된 도로 모델을 수신하여, 새로운 차선 한계(7924)에 접근할 때 차량으로 하여금 도로 구간에 대한 새로운 또는 업데이트된 목표 궤적을 따라 가도록 할 수 있다.
도 80은 본 발명의 기재된 실시예에 따른 시스템(100)을 포함하는 차량(7902)의 일례를 개략적으로 예시한 측면도이다. 도시된 바와 같이, 차량(7902)은 태양으로부터의 눈부신 빛(8002) 및/또는 제대로 작동하지 않는 등화장치(8004)에 의해 제약을 받을 수 있다. 차량(7902)에는 또한 센서(8006)가 도시되어 있으며, 시스템(100)은 야간과 주간을 판단할 수 있다. 센서(8006)은, 예를 들어, 적외선 센서 및/또는 가속도계를 포함할 수 있다. 엘르 들어, 사용자가 태양으로부터의 눈부신 빛을 피하기 위해 도로 모델을 무시하고 차량(7002)을 이동하도록 개입하는 경우, 처리부(110)는 하루 중의 시간 및/또는 눈부신 빛의 존재를 반영하는 주행 상황 정보를 확보할 수 있다. 처리부(110)는 주행 상황 정보를 저장 및/또는 서버로 전송하여 저장 및/또는 분석하게 할 수 있다. 눈부신 빛의 임시성을 고려하여, 서버는 도로 모델을 변경하거나 업데이트 하지 않기로 결정할 수 있다.
도 81은 본 발명의 기재된 실시예에 따라 도로 모델을 무시하는 사용자 개입에 근거한 차량의 어댑티브 주행을 위한 방법의 일례를 예시한 순서도이다. 특히, 도 81은 본 발명의 기재된 실시예에 따른 차량의 어댑티브 주행을 위한 프로세스(8100)를 도시하고 있다. 프로세스(8100)의 단계들은 시스템(100)의 처리부(110)에 의해 수행될 수 있다. 프로세스(8100)는 사용자 입력 및 주변환경 영상의 분석에 근거한 주행 조작을 가능하게 할 수 있다. 도로 모델이 지시하는 주행 조작으로부터 벗어나는 사용자 입력이 있는 경우에, 조작은 사용자 입력에 따라 변경되고, 사용자 입력을 둘러싼 상황은 갭처 및 저장 및/또는 서버로 전송되어 도로 모델의 업데이트에 사용되게 할 수 있다.
단계 8110에서, 처리부(110)는 차량(7902) 전방 영역의 적어도 하나의 주변환경 영상을 수신할 수 있다. 예를 들면, 영상에는 하나 또는 그 이상의 인지된 랜드마크가 보일 수 있다. 다른 부분에서 설명한 바와 같이, 인지된 랜드마크는 확보된 영상에서 확인되고 특정 도로 구간의 목표 궤적 상의 차량의 위치를 판단하는데 사용될 수 있다. 처리부(110)는 판단된 위치에 근거하여 하나 이상의 주행 반응을 발생시켜, 예를 들어, 차량이 목표 궤적을 유지하도록 할 수 있다.
단계 8112에서, 처리부(110)는 차량(7902) 전방 영역의 적어도 하나의 주변환경 영상의 분석에 따른 주행 조작을 결정할 수 있다. 예를 들면, 처리부(110)는 목표 궤적 상의 차량의 랜드마크 기반 위치 판단에 근거하여 하나 이상의 주행 반응을 발생시켜 차량이 목표 궤적을 유지하도록 할 수 있다.
단계 8114에서, 처리부(110)는 차량(7902)으로 하여금 주행 조작을 개시하도록 할 수 있다. 예를 들면, 처리부(110)는 차량(7902)과 연계된 하나 이상의 시스템에 명령을 전송하여 주행 조작이 개시되도록 하고 차량(7902)이 도로 (7900) 상의 미리 정해진 궤적에 따라 주행하도록 할 수 있다. 기재된 실시예에서, 개시 명령은 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)으로 전송될 수 있다.
단계 8116에서, 시스템은 약도(sparse map, 800)에 기반하여 처리부(110)가 구현한 주행 조작의 하나 이상의 속성과 다른 사용자 입력을 수신할 수 있다. 예를 들어, 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240) 중의 하나 또는 그 이상으로의 사용자 입력은 개시된 조작과 다를 수 있고 수신된 사용자 입력에 근거하여 조작을 변경하도록 무시하게 할 수 있다.
사용자의 무시 또는 개입 상황의 판단에 근거하여 처리부(110)는 사용자 개입 이전, 도중, 및/또는 이후의 차량과 사용자 입력에 관한 주행 상황 정보를 수집할 수 있다. 예를 들면, 처리부(110)는 사용자 개입에 의해 발생한 차량(7902)의 회전의 정도, 가속의 양, 및 제동의 양 등 중의 적어도 하나를 특정하는 정보를 포함하는 사용자 입력 관련 정보를 수신(단계 8118)할 수 있다.
단계 8118에서, 처리부(110)는 차량 사용자 입력과 관련된 추가적인 주행 상황 정보를 판단할 수 있다. 주행 상황 정보에는, 예를 들어, 차량의 위치, 하나 이상의 인지된 랜드마크까지의 거리, 위치 센서(130)에 의해 판단된 위치, 차량(7902)의 이미지캡처장치에 의해 확보된 하나 이상의 영상, 센서 출력 등이 포함될 수 있다.
단계 8120에서, 처리부(110)는 사용자 입력 관련 정보와 관련하여 주행 상황 정보를 시스템(100)의 메모리(140 또는 150)에 저장할 수 있다. 또는, 다른 실시예에서, 주행 상황 정보는 도로 모델의 업데이트에 사용될 수 있게 하기 위하여 서버(예, 1230)로 전송될 수 있다. 또는, 또 다른 실시예에서, 시스템(100)은 주행 상황 정보가 차량(7902) 앞으로 지나가는 보행자나 동물의 상황과 같이 앞으로 발생하지 않을 상황(예, 특수한 상황 또는 일시적인 상황)에 관한 것이라고 판단되면 주행 상황 정보를 저장하지 않을 수 있다. 시스템(100)은 이러한 상황에 대한 추가적인 분석이 필요하지 않다고 판단하고 이러한 일시적인 상황에 관한 주행 상황 정보를 저장하지 않기로 결정할 수 있다.
어댑티브 주행을 위한 자각 시스템
일부 실시예에서, 기재된 시스템과 방법은 어댑티브 주행을 위한 자각 시스템을 제공할 수 있다. 예를 들면, 서버(예, 1230)는 도로 모델을 차량들로 배포할 수 있다. 자율주행차로부서 수신된 피드백에 근거하여, 시스템은 도로 상황의 변화를 반영하기 위하여 도로 모델에 하나 이상의 업데이트(예, 모델의 수정)가 필요한지 여부를 판단할 수 있다. 예를 들면, 일부 실시예에서, 차량(예, 자율주행차)도로 모델에 기반하여 도로상에서 운행할 수 있고, 차량의 주행 조작을 주행 조정 상황에 근거하여 조정하기 위하여 자각 시스템이 수행한 관찰 내용을 사용할 수 있다. 여기서, 주행 조정 상황은 차량의 주변환경의 관찰 또는 측정 가능한 상황을 포함할 수 있다.
시스템은 적어도 부분적으로는 차량의 움직임과 도로 구간을 나타내는 미리 정해진 모델의 비교에 근거하여 차량의 주행 조작을 판단할 수 있다. 시스템은 차량의 주변환경을 나타내는 적어도 하나의 영상을 카메라로부터 수신한 후, 적어도 하나의 영상의 분석에 근거하여 차량 주변환경 내의 주행 조정 상황의 존재 여부를 판단할 수 있다. 이 분석에 근거하여, 시스템은 주행 조정 상황의 존재에 근거하여 차량으로 하여금 사용자 개입 없이 주행 조작을 조정하도록 할 수 있다. 시스템은, 예를 들어 주행 조정 상황과 관련된 데이터, 영상, 또는 동영상을 포함하는, 주행 조정 상황과 관련된 정보를 저장할 수 있다. 또한, 시스템은 저장된 정보를 하나 이상의 서버 기반 시스템에 전송하여 모델에 대한 업데이트가 필요한지 여부의 분석 및/또는 판단에 활용할 수 있다.
일부 실시예에서, 차량에 탑재되거나 클라우드에 있는 시스템은 주행 조정 상황과 관련 있을 것으로 추정되는 물체 또는 상황을 식별할 수 있다. 시스템은 주행 조정 상황이 임시적인지 여부와 도로 모델이 업데이트 돼야 할지 여부를 판단할 수 있다. 시스템은 또한 동일 영역, 지점, 도로, 지역 등의 추후 운행에서 추가 정보를 수집할지 여부를 판단할 수 있다.
도 82a는 본 발명의 기재된 실시예에 따른 주차 차량이 있는 도로상에서 이동하는 차량의 일례를 예시한 평면도이다. 특히, 도 82a는 제2 차량(7902c)이 정면에 주차돼 있는 도로(7900) 상의 미리 정해진 운행 경로(8200)(예, 목표 궤적)를 나타내는 3차원 스플라인에 따라 이동하는 차량(7902a)을 도시하고 있다. 차량(7902a)은 사용자 입력에 기반한 주행을 가능하게 하는 특징을 포함하는 주행 특징을 제공하는 시스템을 포함할 수 있다. 차량(7902a)은 앞서 차량(200)과 연관하여 설명한 바와 같은 구성요소를 포함할 수 있다. 예를 들면, 도시된 바와 같이, 차량(7902a)은 이미지캡처장치(122, 124)를 구비할 수있으며, 더 많거나 적은 수의 이미지캡처장치(예, 카메라)가 사용될 수도 있다.
도시된 바와 같이, 도로(7900)는 차선(7910, 7920)과 같은 차선으로 나뉘어질 수 있다. 차량(7902a)은 주차 차량(7902c)의 영상을 포함하는 적어도 하나의 주변환경 영상을 하나 이상의 이미지캡처장치(122, 124)로부터 수신할 수 있다. 도 82a의 예에서, 차량(7902a)은 도로 모델에서 도출된 지시(예, 목표 궤적 상의 진행 방향)에 의거하여 차선(7910) 내의 경로(8200)를 따라 이동하고 있고 주차 차량(7902c)에 접근하고 있다. 주행 조정 상황으로 인하여, 예를 들어, 주차 차량(7902c)을 피하기 위하여, 차량(7902a)의 조작을 조정하도록 자율적으로 생성된 조향 지시(예, 차량을 목표 궤적 상의 경로에 유지하도록 하는 지시)를 시스템이 무시하는 경우, 주행 조정 상황 정보가 캡처되고 메모리(예, 140)에 저장 및/또는 도로 모델에 대한 업데이트에 사용하기 위하여 서버(예, 1230)로 전송될 수 있다. 이 예에서, 주행 조정 상황 정보는 자율 주행 변경(예, 자각 시스템에 의한 변경)이 수행됐을 때의 차량(7902c)의 위치를 포함할 수 있다. 차량 위치는 위치 센서(130)에 의해 식별되거나 목표 궤적 상의 위치를 랜드마크 기반으로 판단한 것에 근거하여 식별될 수 있다. 기타 주행 상황 정보는 차량(7902c)에 포함된 이미지캡처장치가 확보한 차량의 주변환경을 보여주는 하나 이상의 영상(예, 주차 차량(7902c)을 포함하는 영상), 영상 스트림(예, 동영상), 및/또는 센서 출력 데이터(예, 속도계, 가속도계 등의 출력 데이터)에 포함될 수 있다.
일부 실시예에서, 처리부(110)는 무선 데이터 연결을 통하여 하나 이상의 네트워크(예, 이동통신망 및/또는 인터넷)을 거쳐 차량으로부터 서버로 주행 상황 정보를 전송할 수 있다. 서버는 수신한 정보를 분석(예, 자동 영상 분석 프로세스 사용)하여 감지된 시스템 개입에 근거하여 간략 데이터 모델(800)에 대한 업데이트가 필요한지 여부를 판단할 수 있다. 이 예에서, 서버는 호스트 차량의 목표 궤적 이내 또는 부근의 주차 차량의 존재를 인지하고 주차 차량을 임시 또는 일시적 상황으로 판단할 수 있다. 따라서 서버는 도로 모델을 변경하거나 업데이트 하지 않기로 결정할 수 있다. 그러나, 일부 실시예에서, 차량(7902a)의 위치에 근거하여, 서버는 주차 차량이 주택가에 위치해있다고 판단하고, 따라서 도로의 갓길을 따라 차량이 주차될 가능성에 따라 도로 모델을 변경 또는 업데이트 할 수 있다. 나아가, 일부 실시예에서, 차량에 탑재된 시스템(100)은 물체 또는 상황을 분류하고 도로 모델을 변경 또는 업데이트 할지 여부를 판단할 수 있다.
도 82b는 본 발명의 기재된 실시예에 따른 도로 구간에 포함된 목표 궤적 상의 도로상에서 운행하는 차량을 예시한 평면도이다. 차량(7902)은 끝나는 차선(7910)을 보여주는 굽은 도로(7900)의 적어도 하나의 영상을 이미지캡처장치(122, 124)로부터 수신할 수 있다. 차선(7910)의 이러한 변화는 최근에 발생한 도로의 수정으로 인한 것일 수 있으며, 따라서 아직 간략 데이터 모델(800)에 반영되지 않을 수 있다.
이 예에서, 차량 시스템은 끝나는 차선을 인지하고 차선(7910)의 경로(8200) 상에서 이동하는 차량(7902)의 조작을 조정하기 위하여 도로 모델에 기반한 주행을 무시할 수 있다. 예를 들면, 처리부(110)는 차량에 탑재된 카메라가 확보한 하나 이상의 영상을 통하여 도로 구간의 목표 궤적 상의 경로가 막힌 것을 인지할 수 있다. 처리부(110)는 차선 한계(7924)를 피하기 위하여 목표 궤적에 의해 지시된 경로를 벗어나도록 차량의 조향을 조정할 수 있다. 시스템 생성 주행 조정의 결과로, 주행 조정 상황 정보(예, 끝나는 차선(7910)의 존재, 거리 c1, c2, d2, r, w1, 및 w2 등을 포함하는)가 메모리(예, 140)에 저장 및/또는 서버(예, 123)로 전송되어 도로 모델의 업데이트에 사용되게 할 수 있다. 일부 실시예에서, 추가적으로 또는 대안적으로, 주행 조정 상황 정보는 위치 센서(130)에 의해 판단된 데이터에 근거한 차량(7902)의 위치 및/또는 하나 이상의 인지된 랜드마크에 대한 차량(7902)의 위치를 포함할 수 있다.
서버는 수신한 정보를 분석(예, 자동 영상 분석 프로세스 사용)하여 감지된 시스템 개입에 근거하여 간략 데이터 모델(800)에 대한 업데이트가 필요한지 여부를 판단할 수 있다. 일부 실시예에서, 서버는 수신한 주행 조정 상황 정보에 근거하여 도로 모델을 업데이트 할 수도 안 할 수도 있다. 예를 들어, 차선 변경을 동반하여 끝나는 차선의 영구성을 감안하여, 서버는 도로 모델을 변경하거나 업데이트하는 것이 필요하다고 판단할 수 있다. 이에 따라, 서버는 차선 한계(7924)에 접근함에 따라 거리 c1, c2, d2, w1, 및 w2에서 조향 또는 회전을 하여 병합하기 위해 도로 모델을 수정할 수 있다. 도로 모델은 또한 차량(7902)이 끝나는 차선을 지나 주행한 재구성 실제 궤적을 수신한 것에 근거하여 업데이트 될 수 있다. 뿐만 아니라, 특정 도로 구간에 대한 차량(7902)의 실제 경로와 간략 데이터 모델(800)에 저장된 다른 궤적들과 종합(예, 차량(7902)의 경로와 간략 데이터 모델(800)에 저장된 다른 궤적의 평균을 구함)하기 보다, 차량(7902)의 경로가 목표 궤적보다 우선 될 수 있다. 즉, 서버가 주행 변경의 원인을 비일시적(또는 반영구적) 상황으로 판단할 수 있으므로, 차량(7902)의 경로가 특정 도로 구간에 대해서 이러한 상황이 존재하기 이전에 수집된 다른 궤적보다 더 정확할 수 있다. 자각 차량 시스템에 의한 제어에 근거한 것이 아니라 사용자 개입(앞서 설명)에 근거한 주행 수정을 수신하는 경우에도 동일한 접근과 분석이 서버에 의해서 채택될 수 있다.
도 82c는 본 발명의 기재된 실시예에 따른 도로상에서 보행자에 접근하는 차량의 일례를 예시한 평면도이다. 도 82c의 예에서, 차량(7902)은 보행자(7926)가 있는 도로(7900)의 차선(7910) 안을 주행하고 있다. 도시된 바와 같이, 보행자(7926)는 도로(7900) 내에 있거나 또는 도로(7900) 변에 위치할 수 있다. 차량(7902)은 도로 모델에 기반하여 도출된 지시(예, 목표 궤적을 따라 가는 진행 방향)에 따라 차선(7910) 내에서 이동하고 보행자(7926)에 접근하고 있을 수 있다. 차량(7902)는 보행자(7926)의 영상을 포함하는 적어도 하나의 주변환경 영상을 이미지캡처장치(122, 124)로부터 수신할 수 있다. 시스템이 보행자(7926)를 피하기 위하여 도로 모델을 무시하고 차선(7910) 내에서 이동하는 차량(7902)의 조작을 조정하도록 개입하는 경우, 예를 들어 일시정지표지판까지의 거리 d1 및/또는 보행자(7926)를 보여주는 캡처 영상을 포함하는 주행 조정 상황 정보가 캡처되고 메모리(예, 140)에 저장 및/또는 서버(예, 1230)로 전송되어 도로 모델의 업데이트에 사용되게 할 수 있다. 서버는 수신한 정보를 분석(예, 자동 영상 분석 프로세스 사용)하여 감지된 시스템 개입에 근거하여 간략 데이터 모델(800)에 대한 업데이트가 필요한지 여부를 판단할 수 있다. 보행자의 임시성을 고려하여, 서버는 도로 모델을 변경하거나 업데이트 하지 않기로 결정할 수 있다.
선택적으로, 일부 실시예에서, 개입의 원인이 시스템에 의해서 신뢰할만큼 확인되지 않거나, 원인의 본질이 불명확하거나 본래 일관되거나 안정적이지 않은 경우, 서버는 경보를 발행하고 및/또는 하나, 둘, 또는 그 이상의 대체 경로 또는 도로 모델을 제공할 수 있다. 이러한 실시예에서, 서버는 차량에 탑재된 시스템으로 하여금 차량이 언제 편차 또는 개입이 발생한 지점 또는 영역에 도달했는지를 포함하는 상황을 조사하도록 할 수 있다. 서버는 의심되는 및/또는 확인된 개입의 원인을 더 제공하여 시스템으로 하여금 이 영역에 집중하도록 할 수 있다. 이와 같이, 시스템은 더 많은 시간과 정보를 가지고 상황을 평가할 수 있다.
도 82d는 본 발명의 기재된 실시예에 따른 도로상에서 공사구간에 접근하는 차량의 일례를 예시한 평면도이다. 도시된 바와 같이, 차량(7902)은 공사구간(8200d)이 차량(7902) 정면에 있는 도로(7900) 상의 도로 구간에 포함된 목표 궤적을(예, 미리 정해진 목표 궤적(8200)을 나타내는 3차원 스플라인에 의거하여) 운행하고 있다. 차량(7902)은 공사구간(8200d)의 영상을 포함하는 적어도 하나의 주변환경 영상을 이미지캡처장치(122, 124)로부터 수신할 수 있다. 시스템이 공사구간(8200d)을 피하기 위하여 도로 모델에 기반하여 생성된 하나 이상의 주행 조작을 무시하도록 개입하는 경우, 주행 조정 상황 정보가 저장될 수 있다. 이러한 정보에는, 예를 들어, 공사구간(8200d)의 존재(예, 하나 이상의 확보된 영상에 보여지는 존재)가 포함될 수 있다. 주행 조정 상황 정보는 또한 서버(예, 130)로 전송되어 간략 데이터 모델(800)에 대한 하나 이상의 업데이트에 사용되게 할 수 있다. 일부 실시예에서, 주행 조정 상황 정보는, 예를 들어, 위치 센서(130) 및/또는 조정 시점에 차량(7902)에 대한 알려진 랜드마크의 위치에 근거한 차량(7902)의 위치를 포함할 수 있다. 서버는 수신한 정보를 분석(예, 자동 영상 분석 프로세스 사용)하여 감지된 시스템 개입에 근거하여 간략 데이터 모델(800)에 대한 업데이트가 필요한지 여부를 판단할 수 있다. 이 예에서, 도로공사의 비일시성을 고려하여(여기서, 비일시성이란, 예를 들어, 몇 시간, 하루, 일주일, 한 달 등의, 미리 설정된 시간보다 오래 존재할 가능성이 있는 상황을 일컬을 수 있음), 서버는 도로 모델을 변경하거나 업데이트 하기로 결정할 수 있다.
도 83은 본 발명의 기재된 실시예에 따른 차량의 자각 주행에 기반한 모델 적응을 위한 방법의 일례를 예시한 순서도이다. 특히, 도 83은 시스템(100)의 처리부(110)에 의해 수행될 수 있는 프로세스(8300)를 도시하고 있다. 아래에 설명하는 바와 같이, 프로세스(8300)는 미리 정해진 차량 궤적(8200)을 정의하는 도로 모델을 사용할 수 있다. 미리 정해진 모델 차량 궤적(8200)에 기반하여 생성된 주행 조작으로부터 조작이 벗어나는 경우, 모델 및 주행 조정 상황에 관한 정보가 캡처 및 저장 및/또는 서버(예, 1230)로 전송되어 도로 모델의 업데이트에 사용되게 할 수 있다.
단계 8310에서, 처리부(110)는 차량 위치와 도로 구간의 미리 정해진 모델의 비교에 근거하여 주행 조작을 판단할 수 있다. 다른 부분에서 상세히 설명한 바와 같이, 인지된 랜드마크는 확보된 영상 내에서 확인되고 특정 도로 구간의 목표 궤적 상의 차량 위치를 판단하는데 사용될 수 있다. 처리부(110)는 판단된 위치에 근거하여 하나 이상의 주행 반응, 예를 들어 목표 궤적에 차량을 유지하는(예, 차량을 조향) 주행 조작을 일으킬 수 있다.
단계 8312에서, 처리부(110)는 차량(7902) 전방 영역의 주변환경 영상을 수신할 수 있다. 예를 들면, 처리부(110)는 주차 차량, 차선이 끝남을 알려주는 정보를 제공하는 도로 곡률 또는 도로 회전 반경이 r인 차선 한계, 보행자, 및/또는 공사구간을 포함하는 차량(7902)의 주변환경 영상을 수신할 수 있다.
단계 8314에서, 처리부(110)는 주행 조정 상황의 존재를 판단할 수 있다. 주행 조정 상황은 차량(7902) 전방 영역의 적어도 하나의 주변환경 영상의 분석을 통하여 판단될 수 있고, 예를 들어, 차량(7902a) 정면의 주차 차량, 차선(7910) 이내에 공사구간이 있음을 알려주는 정보를 제공하는 회전 반경이 r인 도로 곡률을 포함할 수 있다. 물론, 이는 예시에 불과하며, 확보된 영상에는 간략 데이터 모델(800)에 포함된 목표 궤적으로부터 벗어나는 주행 조정을 필요로 하는 차량 주변환경의 다수의 상황이 포함될 수 있다.
단계 8316에서, 처리부(110)는 차량(7902)으로하여금 주행 조정 상황에 근거하여 주행 조작을 조정하도록 할 수 있다. 예를 들면, 처리부(110)는 차량(7902)으로 하여금 주차 차량, 도로 공사구간, 보행자 등을 피하기 위하여 목표 궤적의 방향으로부터 벗어나게 진행방향을 변경하도록 유발할 수 있다. 본 발명의 기재된 실시예에 따라, 간략 데이터 모델(800)에 기반하여 생성된 하나 이상의 주행 조작의 조정을 유발하기 위하여, 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)으로 지시가 전송될 수 있다.
단계 8318에서, 처리부(110)는 주행 조정 환경 정보에 관한 정보를 시스템(100)의 메모리(140 또는 150)에 저장할 수 있다. 이러한 정보에는 간략 데이터 모델(800)의 목표 궤적으로부터 벗어나는 결과를 가져온 주행 조정 당시의 차량의 주변환경을 캡처한 하나 이상의 영상이 포함될 수 있다. 이 정보에는 또한 차량의 위치, 차량과 연계된 하나 이상의 센서의 출력 등도 포함될 수 있다.
단계 8320에서, 처리부(110)는 주행 조정 상황 정보를 도로 모델 관리 시스템(예, 서버(1230))로 전송하여 분석을 비롯하여 도로를 나타내는 미리 정해진 모델의 업데이트에 사용되게 할 수 있다.
어댑티브 도로 모델 관리자
일부 실시예에서, 기재된 시스템과 방법은 어댑티브 도로 모델 관리자를 제공할 수 있다. 어댑티브 도로 모델 관리자는 차량들로부터 데이터를 수신하고 예상된 차량 주행 조작의 조정이 일시적 상황으로 인한 것이 아닌 경우에 도로 모델에 대한 업데이트를 할지 여부를 결정할 수 있다. 차량은 무선 데이터 연결을 통해 하나 이상의 네트워크(예, 이동통신망 및/또는 인터넷)를 거쳐 도로 모델로부터 벗어나는 주행에 대한 데이터를 서버로 전송할 수 있다. 예를 들어, 서버는 판단된 주행 조작에 대한 조정의 발생에 관한 주행 상황 정보를 복수의 자율주행차 각각으로부터 수신할 수 있다. 서버는 주행 상황 정보를 분석하고, 분석 결과에 따라 판단된 주행 조작에 대한 조정이 일시적 상황으로 인한 것인지 여부를 판단할 수 있다. 일부 실시예에서, 서버는 차량이 제공한 미가공 데이터로부터 주행 조작을 감지할 수 있다. 서버는 판단된 주행 조작에 대한 조정이 일시적 상황으로 인한 것이 아닌 경우 적어도 하나의 도로 구간을 나타내는 미리 정해진 모델을 업데이트 할 수 있다. 앞서 설명한 바와 같이, 일시적 상황이란 미리 설정된 시간이 경과한 이후에(예, 몇 시간, 하루, 또는 1주, 또는 그 이상 이내) 변경될 것으로 예상되어 도로 모델에 대한 업데이트가 필요 없거나 요구되지 않는 상황을 말한다. 이러한 일시적 상황은 미리 설정된 시간이 경과한 이후에는 존재하지 않을 것으로 예상되어 서버는 도로 모델을 변경 또는 업데이트 하지 않기로 결정할 수 있다. 반대로, 서버가 조정이 일시적 상황으로 인한 것이라고 판단하는 경우, 서버는 도로 모델을 업데이트 하기로 결정할 수 있다.
일부 실시예에서, 주행 조작이 감지되는 경우, 서버는 도로 모델의 해당 영역을 변경의 의심이 있다고 표시할 수 있다. 이후, 서버는 동일 위치 또는 인근 위치로부터의 추가 업데이트로부터 판단을 할 수 있고(예, 일부 실시에에서, 이러한 업데이트를 동일 위치 또는 인근 위치의 차량들로부터 "끌어옴"으로써), 데이터를 처리하여 변경의 확인을 시도할 수 있다. 변경이 확인되는 경우, 서버는 모델을 업데이트한 후, 해당 지역의 업데이트된 모델을 송신하여 이전 버전을 대체할 수 있다. 서버는 신뢰 수준을 도입하여 신뢰 수준이 특정 수준 이상인 경우에만 업데이트가 일어나도록 할 수 있다. 신뢰도 수준은 조작의 유형, 둘 이상의 조작 사이의 유사성, 조정의 근원의 식별, 일관된 업데이트의 빈도, 일관되지 않는 업데이트 비율의 수, 날씨, 도시 또는 시골 환경 등의 주변환경 조건 등과 관계되는 것일 수 있다. 신뢰도 수준을 판단할 때에는 조작의 원인이 얼마나 심각한 것인지에 대해서도 고려할 수 있다. 조작이 심각한 것(예, 급회전)이고 그 원인이 기후 조건과 연관이 있을 가능성이 있는 경우, 일부 실시예에서, 승인 프로세스는 덜 엄격할 수 있다.
도 84a는 본 발명의 기재된 실시예에 따른 주차 차량이 여러 대 있는 도로상에서 이동하는 차량의 일례를 예시한 평면도이다. 도시된 바와 같이, 차량(7902a)은 차량(7902a)의 정면에 다른 차량(7902c)이 주차되어 있는 도로(7900) 상에서 도로 모델의 목표 궤적(예, 미리 정해진 운행 경로(8400)을 나타내는 3차원 스플라인)에 의거하여 운행하고 있다. 도로(7900)는 차선(7910, 7920)과 같은 차선으로 나뉘어질 수 있다. 시스템 또는 사용자가 주차 차량(7902c)를 피하기 위하여 도로 모델에 기반하여 생성된 주행 조작을 무시하고 차선(7910) 내에서 경로(8400)를 따라 운해하는 차량(7902)의 조작을 조정하도록 개입하는 경우, 예를 들어, 차선(7910) 내의 주차 차량(7902c)의 존재(예, 차량(7902a)의 이미지캡처장치가 확보한 하나 이상의 영상에 보여지는 존재)를 포함하는 주행 상황 정보를 서버(예, 1230)로 전송하여 분석에 사용되게 할 수 있다.
서버는 수신한 정보를 분석(예, 자동 영상 분석 프로세스 사용)하여 조정이 일시적 상황으로 인한 것인지 여부에 근거하여 간략 데이터 모델(800)에 대한 업데이트가 필요한지 여부를 판단할 수 있다. 조정이 일시적인 상황의 존재로 인한 것이 아닌 경우, 도로 모델은 업데이트 될 수 있다. 예를 들어, 경험한 상황이 미리 설정한 임계 시간(예, 몇 시간, 하루, 또는 일주일 또는 그 이상)보다 길게 지속될 것으로 판단되는 경우, 모델에 대한 업데이트가 이루어질 수 있다. 일부 실시예에서, 일시적 상황 여부를 판단하는 임계치는 상황이 발생한 곳을 판단되는 지리적 구역, 상황이 발생한 도로 구간을 지나가는 차량의 평균 수, 또는 기타 모든 적합한 조건에 따라 다를 수 있다. 예를 들어, 적은 수의 차량이 도로 관련 상황과 마주칠 가능성이 있는 시골 지역과 같은 지리적 구역에서는 일시성 여부를 판단하기 위한 임계 시간이 많은 수의 차량이 특정 시간 동안에 도로 관련 상황을 마주칠 가능성이 있는 지리적 구역(예, 도시 환경)보다 길 수 있다. 즉, 도로 구간을 지나가는 차량의 평균 수가 증가할수록, 일시성 여부를 판단하기 위한 임계 시간은 감소할 수 있다. 이러한 접근으로 인하여, 도시 환경에서 운행하는 차량 중에서, 약도(sparse map, 800)에 기반한 주행 반응과 다른 주행 반응을 필요로 하는 도로 상황을 인지하기 위하여 내부 시스템(카메라, 센서, 프로세서 등)에 의존해야 하는 차량의 수를 줄일 수 있다. 동시에, 교통이 뜸한 지역에서는 일시성 판단을 위한 임계 시간이 길기 때문에, 도로 상황에 대한 경험을 고려하여 모델이 변경될 가능성이 낮을 수 있고, 짧은 시간이 경과한 이후에(예, 몇 시간, 하루 등 이내), 예를 들면, 마주친 도로 상황이 더 이상 존재하지 않게 된 이후에, 모델이 다시 원상태로 변경될 필요가 있다.
역으로, 주행 조정이 일시적 상황에 대응하는 것으로 판단되는 경우, 서버는 도로 모델에 대한 업데이트를 하지 않기로 선택할 수 있다. 예를 들면, 시스템 또는 사용자가 갓길에 주차돼 있지만 차선(7910)으로 들어와있는 차량(7902c)을 피하기 위하여 차량(7902a)이 차선(7920) 안으로 주행하도록 개입하는 경우(도 84a), 시스템 또는 사용자가 호스트 차량이 끼어드는 차량(7902d)를 피하도록 주행하는 경우(도 84b), 시스템 또는 사용자가 호스트 차량이 임시 장애물(8402)(예, 도 84c에 도시된 넘어진 나무)을 피하도록 주행하는 경우, 또는 시스템 또는 사용자가 호스트 차량이 임시 도로공사를 나타내는 표시(8200d)를 피하도록 주행하는 경우(도 84d), 시스템 또는 사용자가 호스트 차량이 도로에 생긴 포트홀(pothole)을 피하도록 주행하는 경우(도 85a), 시스템 또는 사용자가 호스트 차량이 보행자(8504) 또는 도로 내의 보행자를 피하도록 주행하는 경우(도 85b), 서버는 각 경우에서 마주친 상황이 일시적 상황이고 간략 데이터 모델(800)에 대한 업데이트를 필요로 하지 않는다고 판단할 수 있다.
일부 경우에서, 앞서 설명한 바와 같이, 특정 도로 상황은 존재 시간(예, 몇 시간, 하루, 1주 등)의 판단에 근거하여 일시적인 것으로 분류될 수 있다. 다른 경우에서, 특정 도로 상황이 일시적 상황인지 여부에 대한 판단은 시간뿐만 아니라 그 이외의 요인 또는 시간 이외의 요인에 근거할 수 있다. 예를 들면, 하나 이상의 영상에 포트홀이 캡처된 경우에, 서버(또는 호스트 차량에 포함된 처리부)는 포트홀의 깊이를 판단할 수 있고, 이러한 판단은 포트홀이 일시적 상황인지 여부와 따라서 간략 데이터 모델(800)가 포트홀로 인하여 업데이트 돼야 할지 여부를 판단하는데 도움이 될 수 있다. 포트홀(8502)의 깊이가 그 위를 지나가면 호스트 차량에 손상을 입힐 가능성이 있는 것으로 판단되는 경우(예, 대략 3cm, 5cm, 10cm, 또는 그 이상), 포트홀은 비일시적인 것으로 분류될 수 있다. 이와 유사하게, 포트홀(8502)이 도로 보수가 더딘 것으로 알려진 지리적 구역(예, 보수에 1일 이상, 1주 이상, 또는 그 이상이 걸리는 지역)에 위치하는 경우, 포트홀은 비일시적인 것으로 분류될 수 있다.
특정 도로 상황이 일시적 상황인지 여부의 판단은 완전 자동화되어 하나 또는 그 이상의 서버 기반 시스템에 의해 수행될 수 있다. 예를 들면, 일부 실시예에서, 하나 또는 그 이상의 서버 기반 시스템은 호스트 차량에 탑재된 카메라가 확보한 하나 이상의 영상에 근거한 자동 영상 분석 방법을 사용할 수 있다. 일부 실시예에서, 영상 분석 방법은 특정 형상, 도로 특징, 및/또는 물체를 인지하도록 학습된 머신러닝(machine learning) 시스템을 포함할 수 있다. 예를 들면, 서버는 영상 또는 영상 스트림에서 콘크리트 장벽(비일시적 공사 또는 차선 분리 상황의 존재를 나타낼 가능성), 노면의 포트홀(크기, 깊이 등에 따라 일시적 또는 비일시적 상황일 가능성), 예상 운행 경로와 교차하는 도로 가장자리(비일시적인 차선 변경 또는 신규 교통 패턴의 가능성), 주차 차량(일시적 상황일 가능성), 도로 내의 동물 형상(일시적 상황일 가능성), 또는 기타 연관 형상, 물체, 또는 도로 특징을 인지하도록 학습될 수 있다.
서버에 의해 사용되는 영상 분석 방법은 또한 텍스트 인지 요소를 포함하여 영상에 존재하는 텍스트와 연관된 의미를 판단할 수 있다. 예를 들면, 호스트 차량의 업로드된 하나 이상의 주변환경 영상에 텍스트가 등장하는 경우, 서버는 영상에 텍스트가 존재하는지 여부를 판단할 수 있다. 텍스트가 존재하는 경우, 서버는 광학 문자 인식(optical character recognition)과 같은 방법을 사용하여 호스트 차량의 시스템 또는 사용자가 약도(sparse map, 800)에 기반하여 예상된 주행 조작과 다른 주행 조작을 유발한 이유와 텍스트가 관련이 있는지 여부의 판단을 지원할 수 있다. 예를 들어, 영상 내에서 표지판이 식별되고, 표지판이 "전방에 새로운 교통 패턴"이라는 텍스트를 포함하는 것으로 판단되는 경우, 이 텍스트는 마주친 상황이 비일시성이라는 것을 서버가 판단하는데 도움이 될 수 있다. 이와 유사하게, "전방에 도로 폐쇄" 또는 "다리 폐쇄"와 같은 표지판도 간략 도로 모델(800)에 대한 업데이트를 정당화하는 비일시적 상황의 존재의 판단에 도움이 될 수 있다.
서버 기반 시스템은 또한 마주친 도로 상황이 일시적인지 여부를 판단할 때 기타 정보를 고려하도록 구성될 수 있다. 예를 들어, 서버는 특정 시간 동안에 도로 구간을 통과하는 차량의 평균 수를 판단할 수 있다. 이러한 정보는 임시 상황이 지속될 것으로 예상되는 시간 동안에 임시 상황이 영향을 주는 차량의 수를 판단하는데 도움이 될 수 있다. 많은 수의 차량이 이 상황에 영향을 받는다면, 간략 데이터 모델(800)가 업데이트 돼야 한다는 판단을 해야함을 의미할 수 있다.
일부 실시예에서, 특정 도로 상황이 일시적 상황인지 여부에 대한 판단에는 적어도 어느 정도의 인간의 도움이 포함될 수 있다. 예를 들면, 앞서 설명한 자동화 특징에 추가하여, 한 대 이상의 차량으로부터 업로드된 정보의 리뷰 및/또는 수신한 정보에 근거한 간략 데이터 모델(800)의 업데이트 여부에 대한 판단에도 인간 운전자가 관여될 수 있다.
도 86은 본 발명의 기재된 실시예에 따른 어댑티브 도로 모델 관리자를 위한 방법의 일례를 예시한 순서도이다. 특히, 도 86은 본 발명의 실시예에 따른 어댑티브 도로 모델 관리자를 위한 프로세스(8600)를 예시한 것이다. 프로세스(8600)의 단계들은 하나 또는 그 이상의 네트워크(예, 이동통신망 및/또는 인터넷)를 통해 복수의 자율주행차로부터 데이터를 수신할 수 있는 서버(예, 1230)에 의해 수행될 수 있다.
단계 8610에서, 서버는 판단된 주행 조작에 대한 조정의 발생과 관련된 주행 상황 정보를 복수의 자율주행차 각각으로부터 수신할 수 있다. 주행 상황 정보는 도로 모델을 무시하는 시스템 또는 사용자 개입의 결과일 수 있다. 주행 상황 정보는 차량(7902)의 주변환경을 나타내는 적어도 하나의 영상 또는 동영상을 포함할 수 있다. 일부 실시예에서, 주행 상황 정보는 차량(7902)의 위치(예, 위치 센서(130)에 의해 판단된 위치 및/또는 차량(7902)으로부터 인지된 랜드마크까지의 거리에 근거한 위치)를 더 포함할 수 있다.
단계 8612에서, 서버는 주행 상황 정보를 분석할 수 있다. 예를 들면, 서버는 수신한 정보를 분석(예, 자동 영상 분석 프로세스 사용)하여 차량(7902)의 주변환경을 나타내는 적어도 하나의 영상 또는 동영상에 보이는 것이 무엇인지 판단할 수 있다. 이 분석은, 예를 들어, 주차 차량, 끼어드는 차량, 차량 정면의 넘어진 나무와 같은 임시 장애물, 도로 공사, 어두운 상황, 눈부신 상황, 포트홀, 동물, 또는 보행자의 존재를 식별하는 것을 포함할 수 있다.
단계 8614에서, 서버는 판단된 조작에 대한 조정이 일시적 상황에 기인한 것이었는지 여부를 주행 상황 정보의 분석에 근거하여 판단할 수 있다. 예를 들면, 일시적 상황은 제2 차량이 차량 정면에 주차해있는 경우, 차량이 정면에 끼어드는 경우, 차량 정면에 넘어진 나무와 같은 장애물, 어두운 상황, 눈부신 상황, 포트홀(예, 깊지 않은 포트홀), 동물, 또는 보행자를 포함할 수 있다.
단계 8616에서, 서버는, 판단된 주행 조작에 대한 조정이 일시적 상황에 기인한 것이 아닌 경우, 적어도 하나의 도로 구간을 나타내는 미리 정해진모델을 업데이트 할 수 있다. 예를 들면, 비일시적 상황은 상당한 포트홀, 장기간 및/또는 광범위 도로공사 등을 포함할 수 있다. 이 업데이트는 적어도 하나의 도로 구간을 따라 가는 미리 정해진 운행 경고를 나타내는 3차원 스플라인을 업데이트 하는 것을 포함할 수 있다.
선택적 피드백에 기반한 도로 모델 관리
일부 실시예에서, 기재된 시스템과 방법은 하나 또는 그 이상의 차량으로부터 수신한 선택적 피드백에 기반하여 도로 모델을 관리할 수 있다. 앞서 설명한 바와 같이, 도로 모델은 목표 궤적(예, 도로 구간을 따라 가는 미리 정해진 운행 경로를 나타내는 3차원 스플라인)을 포함할 수 있다. 기재된 실시예에 따라, 서버(예, 1230)는 도로 모델을 업데이트하기 위하여 자율주행차로부터 도로환경 정보를 선택적으로 수신할 수 있다. 여기서, 도로환경 정보는 도로 또는 도로 구간과 관련된 관찰 또는 측정 가능한 상황에 관한 모든 정보를 포함할 수 있다. 서브는 다양한 기준에 근거하여 도로환경 정보를 선택적으로 수신할 수 있다. 기재된 실시예에서, 정보를 선택적으로 수신한다는 것은 하나 이상의 자율주행차로부터 서버로의 데이터 전송을 제한할 수 있는 서버 기반 시스템의 능력을 말할 수 있다. 하나 이상의 자율주행차로부터의 데이터 전송에 대한 제한은 적합한 조건에 근거하여 이루어질 수 있다.
예를 들어, 일부 실시예에서, 서버는 특정 차량으로부터, 특정 그룹의 차량들로부터, 및/또는 특정 지리적 구역을 운행중인 차량들로부터 서버로 도로환경 정보를 업로드하는 빈도를 제한할 수 있다. 이러한 제한은 특정 지리적 구역과 연계된 판단된 모델 신뢰도 수준에 근거하여 가해질 수 있다. 일부 실시예에서, 서버는 자율주행차로부터 도로 모델의 적어도 한 속성에 대한 차이의 가능성을 제시하는 정보를 포함하는 데이터 전송을 제한할 수 있다(이러한 정보는, 예를 들어, 모델에 하나 이상의 업데이트를 유도하는 것으로 판단될 수 있음). 서버는 자율주행차로부터 선택적으로 수신한 도로환경 정보에 근거하여 도로 모델에 대한 하나 이상의 업데이트가 필요한지 여부를 판단하고, 도로 모델을 업데이트하여 하나 이상의 업데이트를 포함하도록 할 수 있다. 서버가 자율주행차로부터 선택적으로 도로환경 정보를 수신하는 예는 아래에 설명한다.
도 87a는 본 발명의 기재된 실시예에 따른 고속도로 상에서 이동하는차량의 일례를 예시한 평면도이다. 도시된 바와 같이, 차량(7902)은 고속도로(&900)과 연관된 미래 정해진 이동경로(8700)(예, 도로 모델에 따른 목표 궤적)을 따라 이동하고 있다. 도시된 바와 같이, 도로(7900)는 차선(7910, 7920)과 같은 차선으로 나뉘어져 있을 수 있다. 서버는 차량(7902)이 도로(7900)와 같은 도로 환경을 따라 주행한 것에 근거한 도로환경 정보를 선택적을 수신할 수 있다. 예를 들어, 도로환경 정보는 차량(7902)의 이미지캡처장치가 확보한 하나 이상의 영상, 위치센서(130)를 사용 및/또는 인지된 랜드마크에 대한 차량(7902)의 위치에 근거하여 판단된 차량(7902)의 위치를 나타내는 위치정보, 차량(79020)에 포함된 하나 이상의 센서로부터의 출력 등을 포함할 수 있다. 서버는 도로환경 정보에 근거하여 도로 모델에 대한 업데이트가 필요한지 여부를 판단할 수 있다.
도 87a에 도시된 예에서, 특정 단일 차량(7902)은 고속도로(7900) 상에서 운행하고 목표 궤적(8700)을 따라 가는 것으로 도시돼 있다. 도 87b는 시내도로(7900) 상에서 이동하고 도로(7900)의 차선(7910, 7920)과 연계될 수 있는 목표 궤적(8700a, 8700b)을 따라 가는 한 무리의 차량(7902e, 7902f, 7902g, 7902h)의 평면도를 예시한 것이다. 도 87c는 시골(8722)의 도로(7900) 상에서 이동하는 차량(7902i)의 평면도를 예시한 것이다. 도 87d는 새롭게 변경된 교통 패턴이 있는 도로(7900) 상에서 이동하는 차량(7902)을 예시한 것이다. 예를 들면, 이전에는 차선(7910)이 차량(7902) 전방으로 연장돼 있었지만, 이제는 차선(7910)이 차량(7902) 전방에서 끝나는 새로운 교통 패턴이 존재할 수 있다.
이러한 상황에서의 차량(7902)의 주행에 관한 정보는 수집되어 약도(sparse map, 800)을 관리하는 하나 이상의 서버 기반 시스템으로 업로드될 수 있다. 서버는 수신된 정보에 근거하여 약도(sparse map, 800)에 하나 이상의 업데이트가 필요한지 여부를 분석하고, 업데이트가 필요한 것으로 판단되면 약도(sparse map, 800)를 업데이트할 수 있다. 일부 실시예에서, 분석과 업데이트는 차량(7910)에 탑재된 카메라가 확보한 영상의 자동 영상 분석, 센서 및 위치 정보의 자동 리뷰, 복수의 자율주행차로부터 수신한 정보의 자동 상호상관 등을 통하여 서버에 의해서 자동으로 수행될 수 있다. 일부 실시예에서, 서버 기반 시스템과 연계된 연산자가 자율주행차로부터 수신된 정보의 리뷰와 간략 데이터 모델(800)에 대한 업데이트가 필요한지 여부의 수신된 정보에 근거한 판단을 지원할 수 있다.
일부 실시예에서, 서버는 모든 사용 가능한 자율주행차로부터 주행 정보를 수신하도록 구성될 수 있다. 나아가, 이 정보는 미리 설정된 프로토콜에 기반하여 서버로 업로드될 수 있다. 예를 들어, 이 정보는 스트리밍 데이터 피드를 거쳐 업로드될 수 있다. 추가적으로 또는 대안적으로, 이 정보는 미리 설정된 주기(예, 초당 몇 번, 초당 1번, 분당 1번, 몇 분당 1번, 1시간당 1번, 또는 기타 적절한 시간 간격)로 서버로 업로드될 수 있다. 이 정보는 또한 차량의 주행 양상에 근거하여 서버로 업로드될 수 있다. 예를 들면, 차량이 한 도로 구간으로부터 다른 도로 구간으로 이동함에 따라, 또는 차량이 약도(sparse map, 800)와 연계된 한 로컬 지도로부터 다른 로컬 지도로 이동함에 따라, 주행 정보가 차량으로부터 서버로 업로드될 수 있다.
일부 실시에에서, 서버는 하나 이상의 자율주행차로부터의 주행 정보 수신을 선택적으로 제어하도록 구성될 수 있다. 즉, 서버는 모든 자율주행차로부터의 모든 주행 정보를 수신하기보다는 하나 이상의 자율주행차로부터 수신한느 정보의 양을 제한할 수 있다. 이를 통하여, 서버는 모든 자율주행차와 통신하기 위해 필요한 대역폭의 양을 줄일 수 있다. 자율주행차와 서버로부터의 정보 흐름을 선택적으로 제어하면 자율주행차로부터 입력되는 통신을 프로세스하기 위해 필요한 프로세싱 리소스의 양도 줄일 수 있다.
자율주행차와 서버 사이의 정보 흐름의 선택적 제어는 적합한 조건에 근거하여 이루어질 수 있다. 일부 실시예에서, 선택성은 차량이 횡단하고 있는 도로의 유형에 근거할 수 있다. 도 87a에 도시된 예를 참조하면, 차량(7902)은 이동이 잦은 도로인 고속도로를 횡단하고 있다. 이런 상황에서, 서버는 도로를 비롯하여 도로의 다양한 차선, 도로와 연관된 랜드마크 등에 관한 상당한 양의 주행 정보를 누적했을 수 있다. 이런 상황에서, 고속도로를 따라 운행하는 모든 차량으로부터 모든 정보 업로드를 지속적으로 수신한다고 하여 약도(sparse map, 800)에 나와있는 도로 모델의 중대한 또는 추가적인 개선에 기여하지 않을 수 있다. 따라서, 서버는, 또는 특정 도로 유형 또는 특정 도로 구간을 운행하는 자율주행차는 서버로 업로드되는 정보의 양 또는 유형을 제한할 수 있다.
일부 실시예에서, 서버는 특정 고속도로, 이동이 잦은 도시 도로, 또는 간략 데이터 모델(800)이 추가 정제를 필요로 하지 않는 것으로 판단된 기타 도로를 운행하는 차량으로부터 아예 자동 정보 업로드를 받지 않기로 할 수 있다. 대신, 일부 실시예에서, 서버는 이러한 도로를 운행하는 차량들로부터, 간략 데이터 모델(800)이 이러한 도로상에서 유효하다는 것을 주기적으로 확인하는 수단으로서, 데이터를 선택적으로 확보할 수 있다. 예를 들면, 서버는 고속도로, 이동이 잦은 도로 구간 등을 운행하는 것으로 판단된 하나 이상의 차량을 질의하여 질의된 차량으로부터 주행 정보를 수집할 수 있다. 이 정보에는 도로를 따라 운행하는 차량의 재구성 궤적에 관한 정보, 도로상의 차량 위치, 차량으로부터의 센서 정보, 차량에 탑재된 카메라로부터 확보된 영상 등이 포함될 수 있다. 서버는 이 방법을 사용하여, 도로의 상태를 주기적으로 모니터하고, 약도(sparse map, 800)에 업데이트가 필요한지 여부를 데이터 전송 및/또는 데이터 프로세싱 리소스의 불필요한 사용 없이 판단할 수 있다.
일부 실시예에서, 서버는 또한 도로를 따라 운행하는 한 무리의 차량의 수에 근거하여 자율주행차로부터의 데이터 흐름을 선택적으로 제어할 수 있다. 예를 들면, 한 무리의 자율주행차(예, 2대 또는 그 이상)가 서로 특정 인접 거리 이내에서(예, 100미터, 1킬로미터, 또는 기타 적합한 인접 거리 이내) 운행중인 것으로 판단되는 경우, 이 무리의 특정 차량으로부터의 정보 업로드가 제한될 수 있다. 예를 들면, 서버는 정보 전송을 이 무리의 한 차량, 이 무리의 부분 집합, 도로의 각 차선별 한 차량 등으로만 제한할 수 있다.
일부 실시예에서, 서버는 또한 지역적 구역에 근거하여 자율주행차로부터의 데이터 흐름을 선택적으로 제어할 수 있다. 예를 들면, 일부 지역적 구역은 간략 데이터 모델(800)이 이미 정제된 목표 궤적, 랜드마크 묘사, 랜드마크 위치 등을 이미 포함하고 있는 도로 구간을 포함하고 있을 수 있다. 예를 들어, 특정 지리적 구역(예, 도시 환경, 이동이 잦은 도로 등)에서, 간략 데이터 모델(800)은 데이터 수집 모드의 차량들이 다양한 도로 구간을 복수로 운행한 것에 근거하여 생성될 수 있다. 각 운행의 결과로 지리적 구역의 도로 구간에 관한 추가 데이터가 생성되고, 이 추가 데이터로부터 간략 데이터 모델(800)이 정제될 수 있다. 일부 경우에, 특정 지리적 구역에 대한 간략 데이터 지도(800)는 다양한 구간의 100번, 1000번, 10000번 또는 그 이상의 이전 운행에 근거할 수 있다. 이러한 구역에서, 하나 이상의 자율주행차로부터 수신한 추가 정보는 간략 데이터 모델의 추가 및 유의미한 정제의 근거가 되지 않을 수 있다. 따라서, 서버는 특정 지리적 구역을 운행하는 차량으로부터의 업로드를 제한할 수 있다. 예를 들어, 일부 경우에, 서버는 특정 지리적 구역을 운행하는 차량으로부터의 도로 데이터의 자동 전송을 방지할 수 있다. 다른 경우에, 서버는 특정 지리적 구역을 운행하는 차량의 일부(예, 2대 중 1대, 5대 중 1대, 100대 중 1대 등)만으로부터의 데이터 전송을 허용할 수 있다. 다른 경우에, 서버는 업데이트된 도로 정보를 식별하고 질의하는 지리적 지점에 있는 차량들만으로부터 전송을 수신할 수 있다. 서버는 특정 지리적 구역의 차량의 적어도 일부로부터 수신한 정보를 사용하여 간략 데이터 모델(800)의 모든 양상을 검증 및/또는 업데이트할 수 있다.
일부 실시예에서, 서버는 또한 특정 로컬 지도, 도로 구간, 지리적 구역 등에 할당된 신뢰도 수준에 근거하여 자율주행차로부터의 데이터 흐름을 선택적으로 제어할 수 있다. 예를 들면, 지리적 구역의 예와 유사하게, 특정 도로 구간, 로컬 지도, 및/또는 지리적 구역은 예를 들어 이런 지역에서의 약도(sparse map, 800)의 정제 수준을 나타내는 신뢰도 수준과 연계될 수 있다. 서버는 미리 설정된 임계치 이상의 신뢰도 수준과 연계된 모든 도로, 로컬 지도 지역, 또는 지리적 구역을 운행하는 차량으로부터의 도로 정보의 전송을 제한할 수 있다. 예를 들면, 일부 경우에서, 서버는 신뢰도 수준이 미리 설정된 임계치 이상인 지역을 운행하는 차량으로부터의 도로 데이터의 모든 자동 전송을 방지할 수 있다. 다른 경우에서, 서버는 이러한 지역을 운행하는 차량의 일부(예, 2대 중 1대, 5대 중 1대, 100대 중 1대 등)로부터만 데이터의 전송을 허용할 수 있다. 다른 경우에서, 서버는 업데이트된 도로 정보를 식별하고 질의하는 고신뢰도 지역(미리 설정된 임계치 이상의 신뢰도 수준을 포함하는 지역)의 차량들로부터만 데이터를 수신할 수 있다. 서버는 고신뢰도 수준 지역의 차량의 적어도 일부로부터 수신한 정보를 사용하여 간략 데이터 모델(800)의 모든 양상을 검증 및/또는 업데이트할 수 있다.
일부 실시예에서, 서버는 또한 특정 자율주행차에 의해 업로드될 주행 정보 내에 포함된 정보의 유형에 근거하여 자율주행차로부터의 데이터 흐름을 선택적으로 제어할 수 있다. 예를 들면, 많은 경우에서, 다양한 호스트 차량으로부터 서버로 업로드된 도로 정보는 간략 데이터 모델(800)에 중대한 영향을 미치지 않을 수 있다. 예를 들어, 고신뢰도 수준 지리적 구역 또는 도로 구간 등에서, 운행하는 차량들로부터의 추가 도로 정보는 간략 데이터 모델(800)의 지속적 정확도를 확인하기 위해 유용할 수 있지만, 이러한 정보는 간략 데이터 모델(800)에 대한 추가적인 중요 개선을 위한 가능성을 제공하지 않을 수 있다. 따라서, 간략 데이터 모델(800)을 검증하지만 간략 데이터 모델(800)에 대한 중대한 추가 개선의 가능성을 제공하지 않는 정보의 지속적 전송은 의미있는 혜택의 가능성은 없이 데이터 전송과 프로세싱 리소스를 소모할 수 있다.
이러한 경우에, 서버가 차량으로부터의 데이터 전송을 제한하는 것이 바람직할 수 있다. 모든(또는 일부) 가능한 차량들로부터 자동으로 데이터 전송을 수신하는 대신, 서버는 차량들로부터의 데이터 전송을 간략 도로 모델(800)에 영향을 줄 수 있는 상황을 맞은 차량들로만 제한할 수 있다. 예를 들면, 도로 구간을 횡단하는 차량이 간략 데이터 모델(800)에 의해 예상된 주행 반응을 이탈하는 주행 반응을 요구하는 상황을 경험하는 경우(예, 차량이 도로 구간의 목표 궤적과 다른 경로를 운행해야 하는 경우), 처리부(110)는 이러한 이탈이 발생했음을 판단하고 이러한 정보를 서버로 전달할 수 있다. 이에 대응하여, 서버는 간략 데이터 모델(800)에 대한 업데이트가 필요한지 여부를 판단할 수 있도록 주행 이탈과 관련된 정보를 차량에 질의할 수 있다. 즉, 서버는 이러한 정보가 간략 데이터 모델(800)의 변경이 필요함을 제시하는 경우에만 차량으로부터의 도로 정보를 수신하도록 선택할 수 있다.
도 88은 본 발명의 기재된 실시예에 따른 선택적 피드백에 근거한 도로 모델 관리 방법의 일례를 예시한 순서도이다. 프로세스(8800)의 단계들은 서버(예, 1230)에 의해 수행될 수 있다. 하기에 설명하는 바와 같이, 프로세스(8800)는 피드백을 선택적으로 수신하여 자율주행차로부터의 도로환경 정보에 근거하여 도로 모델을 업데이트하는 것을 포함할 수 있다.
단계 8810에서, 서버는 복수의 자율주행차가 각 도로환경을 통한 주행에 근거하여 도로환경 정보를 선택적으로 수신할 수 있다. 예를 들면, 서버는 특정 차량, 한 무리의 차량, 특정 지리적 구역 이내를 운행하는 차량, 또는 특정 지리적 구역과 연계되어 판단된 모델 신뢰도 수준에 근거한 차량으로부터 수신되는 정보 전송의 빈도에 제한을 선택적으로 적용할 수 있다. 나아가, 일부 실시예에서, 서버는 차량으로부터의 데이터 전송을 미리 정해진 도로 모델의 적어도 한 양상에 대한 잠재적 차이를 반영하는 데이터 전송으로만 선택적으로 제한할 수 있다.
단계 8812에서, 서버는 도로환경 정보에 근거하여 도로 모델에 하나 이상의 업데이트가 요구되는지 여부를 판단할 수 있다. 서버가 하나 또는 그 이상의 자율주행차로부터 선택적으로 수신한 정보에 근거하여 도로 모델에 대한 업데이트가 정당하다고 판단하는 경우, 단계 8814에서 업데이트가 수행될 수 있다.
상기의 설명은 예시의 목적으로 제시되었다. 이 설명은 모든 것을 망라한 것이 아니며 기재된 그대로의 형태 또는 실시예로 제한되는 것이 아니다. 수정 및 적응은 본 명세서를 고려하고 기재된 실시예를 실시함으로써 당업자에게 당연할 것이다. 또한, 기재된 실시예의 양상들이 메모리에 저장되는 것으로 설명되었지만, 당업자라면 이러한 양상들이, 예를 들어, 하드 디스크 또는 CD ROM, 또는 다른 유형의 RAM 또는 ROM, USB 매체, DVD, 블루레이, 4K UHD 블루레이, 또는 기타 광드라이브 매체 등의 2차저장장치와 같은 다른 유형의 컴퓨터 가독 매체에 저장될 수도 있음을 이해할 것이다.
기재된 설명과 방법에 기반한 컴퓨터 프로그램은 당업자에게는 당연한 기술이다. 다양한 프로그램 또는 프로그램 모듈이 당업자에게 공지인 기술을 사용하여 생성되거나 기존의 소프트웨어와 관련되어 설계될 수 있다. 예를 들어, 프로그램 섹션 또는 프로그램 모듈은 .Net Framework, .Net Compact Framework (및 Visual Basic, C 등과 같은 관련 언어), Java, C++, Objective-C, HTML, HTML/AJAX 조합, XML, 또는 자바 애플릿(Java applet)을 포함하는 HTML로 설계될 수 있다.
또한, 예시된 실시예들을 여기에 설명하였지만, 모든 실시예의 범위는 균등한 구성요소, 수정, 누락, 조합(예, 다양한 실시예에 걸친 양상의 조합), 적응, 및/또는 변경을 가짐은 본 발명의 당업자에게 당연하다. 청구항의 한정은 청구항에 사용된 언어에 근거하여 넓게 해석되어야 하며 본 명세서에서 또는 본 발명의 출원동안에 설명된 예시에 한정되지 않는다. 예시들은 배타적이지 않은 것으로 이해되어야 한다. 나아가, 기재된 방법의 단계들은 단계들의 순서를 재배열 및/또는 단계를 삽입 또는 삭제하는 등의 다양한 방법으로 수정될 수 있다. 따라서, 본 명세서와 예시들은 예시의 목적으로만 고려되고, 진정한 범위와 기술적 사상은 하기의 청구항과 그 균등한 범위에 의해 정의된다.

Claims (29)

  1. 자율 주행에 활용하기 위해 수집된 항법 정보를 처리하는 방법에 있어서:
    매핑 서버(mapping server)가 복수의 차량에 결합된 센서에 의해 확보된 상기 복수의 차량으로부터 수집된 항법 정보를 처리하는 단계자율 주행에 활용하기 여기서, 상기 항법 정보는 도로 구간의 차로를 기술함;
    상기 복수의 차량으로부터 제공되는 데이터인, 랜드마크의 위치에 관한 데이터를 수집하는 단계 - 여기서, 상기 랜드마크는 상기 도로 구간에 근접하여 식별되고, 상기 랜드마크는 교통 표지를 포함함;
    상기 복수의 차량으로부터 수집된 항법정보의 데이터를 클러스터링 하여 상기 매핑 서버가 상기 도로 구간에 대한 자율주행차 지도를 생성하는 단계 - 여기서, 상기 자율주행차 지도는 상기 도로 구간의 차로에서의 하나의 이동 경로에 상응하는 스플라인(spline)을 포함하고, 상기 스플라인은 상기 도로 구간에 근접한 상기 랜드마크의 상기 위치에 관련하여 결정되는 복수의 데이터 점들을 연결하며, 상기 복수의 차량으로부터의 상기 수집된 항법정보의 상기 데이터를 클러스터링 하여 상기 차로로부터의 상기 랜드마크의 상기 위치 및 상기 복수의 차량으로부터의 상기 랜드마크의 상기 위치에 대한 상기 데이터의 차이를 해결함; 및
    상기 도로 구간에서 자율 주행에 활용하기 위하여 상기 매핑 서버가 상기 자율주행차 지도를 자율주행차로 배포하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 항법 정보는 도로 기하 데이터를 포함하는 것을 특징으로 하는, 방법.
  3. 제1항에 있어서,
    상기 복수의 차량은 자율주행차를 포함하는 것을 특징으로 하는, 방법.
  4. 제1항에 있어서,
    상기 센서에 의해 확보된 센서 데이터는 도로 기하 데이터를 포함하는 것을 특징으로 하는, 방법.
  5. 수집된 항법 정보를 자율 주행에 활용하기 위해 처리하기 위한 명령을 포함하는 기계 판독 가능(machine-readable) 매체에 있어서,
    상기 명령은 매핑 서버에 의해 실행되는 경우에 상기 매핑 서버가 동작을 수행하도록 유발하고,
    상기 동작은:
    복수의 차량에 결합된 센서에 의해 확보된 상기 복수의 차량으로부터 수집된 항법 정보를 처리 - 여기서, 상기 항법 정보는 도로 구간의 차로를 기술함;
    상기 복수의 차량으로부터 제공되는 데이터인, 랜드마크의 위치에 관한 데이터를 수집하는 단계 - 여기서, 상기 랜드마크는 상기 도로 구간에 근접하여 식별되고, 상기 랜드마크는 교통 표지를 포함함;
    상기 복수의 차량으로부터 수집된 항법정보의 데이터를 클러스터링 하여 상기 도로 구간에 대한 자율주행차 지도를 생성하는 단계 - 여기서, 상기 자율주행차 지도는 상기 도로 구간의 차로에서의 하나의 이동 경로에 상응하는 스플라인(spline)을 포함하고, 상기 스플라인은 상기 도로 구간에 근접한 상기 랜드마크의 상기 위치에 관련하여 결정되는 복수의 데이터 점들을 연결하며, 상기 복수의 차량으로부터의 상기 수집된 항법정보의 상기 데이터를 클러스터링 하여 상기 차로로부터의 상기 랜드마크의 상기 위치 및 상기 복수의 차량으로부터의 상기 랜드마크의 상기 위치에 대한 상기 데이터의 차이를 해결함; 및
    상기 도로 구간에서 자율 주행에 활용하기 위하여 상기 자율주행차 지도를 자율주행차로 배포;
    하는 것을 포함하는 것을 특징으로 하는, 기계 판독 가능 매체.
  6. 제5항에 있어서,
    상기 항법 정보는 도로 기하 데이터를 포함하는 것을 특징으로 하는, 기계 판독 가능 매체.
  7. 제5항에 있어서,
    상기 복수의 차량은 자율주행차를 포함하는 것을 특징으로 하는, 기계 판독 가능 매체.
  8. 제5항에 있어서,
    상기 센서에 의해 확보된 센서 데이터는 도로 기하 데이터를 포함하는 것을 특징으로 하는, 기계 판독 가능 매체.
  9. 자율 주행에 활용하기 위해 수집된 항법 정보를 처리하기 위한 매핑 서버에 있어서,
    상기 매핑 서버는:
    프로세서; 및
    명령을 포함하는 메모리 장치를 포함하고,
    상기 명령은 상기 프로세서에 의해 실행되는 경우에 상기 프로세서로 하여금:
    복수의 차량에 결합된 센서에 의해 확보된 상기 복수의 차량으로부터 수집된 항법 정보를 처리 - 여기서, 상기 항법 정보는 도로 구간의 차로를 기술함;
    상기 복수의 차량으로부터 제공되는 데이터인, 랜드마크의 위치에 관한 데이터를 수집 - 여기서, 상기 랜드마크는 상기 도로 구간에 근접하여 식별되고, 상기 랜드마크는 교통 표지를 포함함;
    상기 복수의 차량으로부터 수집된 항법정보의 데이터를 클러스터링 하여 상기 도로 구간에 대한 자율주행차 지도를 생성하는 단계 - 여기서, 상기 자율주행차 지도는 상기 도로 구간의 차로에서의 하나의 이동 경로에 상응하는 스플라인(spline)을 포함하고, 상기 스플라인은 상기 도로 구간에 근접한 상기 랜드마크의 상기 위치에 관련하여 결정되는 복수의 데이터 점들을 연결하며, 상기 복수의 차량으로부터의 상기 수집된 항법정보의 상기 데이터를 클러스터링 하여 상기 차로로부터의 상기 랜드마크의 상기 위치 및 상기 복수의 차량으로부터의 상기 랜드마크의 상기 위치에 대한 상기 데이터의 차이를 해결함; 및
    상기 도로 구간에서 자율 주행에 활용하기 위하여 상기 자율주행차 지도를 자율주행차로 배포;
    하도록 유발하는 것을 특징으로 하는, 매핑 서버.
  10. 제9항에 있어서,
    상기 항법 정보는 도로 기하 데이터를 포함하는 것을 특징으로 하는, 매핑 서버.
  11. 제9항에 있어서,
    상기 복수의 차량은 자율주행차를 포함하는 것을 특징으로 하는, 매핑 서버.
  12. 제9항에 있어서,
    상기 센서에 의해 확보된 센서 데이터는 도로 기하 데이터를 포함하는 것을 특징으로 하는, 매핑 서버.
  13. 수집된 항법 정보를 활용하여 자율 주행을 지원하기 위한 차량 시스템에 있어서, 상기 차량 시스템은:
    프로세서; 및
    명령을 포함하는 메모리 장치를 포함하고,
    상기 명령은 상기 프로세서에 의해 실행되는 경우에 상기 프로세서로 하여금:
    상기 차량 시스템에서 항법 정보에 접속 - 여기서, 상기 항법 정보는 상기 차량 시스템에 결합된 복수의 센서에 의해 확보된 센서 데이터로부터 도출됨;
    상기 항법 정보를 매핑 서버로 제공 - 여기서, 상기 항법 정보는 복수의 차량에 결합된 센서에 의해 확보되고 상기 복수의 차량으로부터 크라우드소싱 된 (crowdsourced) 항법 정보로서 상기 매핑 서버에 의해 처리되고, 상기 항법 정보는 도로 구간에서 복수의 차량으로부터의 차량 궤적을 기술함; 및
    자율주행차 지도를 수신 - 여기서, 상기 자율주행차 지도는 상기 도로 구간에서 이동 경로에 상응하는 스플라인 및 상기 도로 구간에 근접하여 식별된 하나의 랜드마크를 포함함; 하도록 유발하고,
    상기 스플라인은 상기 도로 구간에 근접한 상기 랜드마크에 관하여 식별되는 복수의 데이터 점들을 연결하고,
    상기 복수의 데이터 점들은 상기 도로 구간의 자율 주행을 위해 상기 차량 시스템에 의해 활용되고,
    상기 매핑 서버는 상기 항법 정보의 데이터를 클러스터링 하여 상기 자율주행차 지도를 생성하고, 및
    상기 클러스터링은 상기 차로로부터의 상기 랜드마크의 위치 및 상기 복수의 차량으로부터의 상기 랜드마크의 상기 위치에 대한 상기 데이터의 차이를 해결하는 것을 특징으로 하는, 차량 시스템.
  14. 제13항에 있어서,
    상기 항법 정보는 도로 기하 데이터를 포함하는 것을 특징으로 하는, 차량 시스템.
  15. 제13항에 있어서,
    상기 복수의 차량은 자율주행차를 포함하는 것을 특징으로 하는, 차량 시스템.
  16. 제13항에 있어서,
    상기 센서에 의해 확보된 센서 데이터는 도로 기하 데이터를 포함하는 것을 특징으로 하는, 차량 시스템.
  17. 수집된 항법 정보를 활용하여 자율 주행을 지원하기 위한 명령을 포함하는 기계 판독 가능 장치에 있어서,
    상기 명령은 차량 시스템에 의해 실행되는 경우에 상기 차량 시스템이 동작을 수행하도록 유발하고,
    상기 동작은:
    상기 차량 시스템에서 항법 정보에 접속 - 여기서, 상기 항법 정보는 상기 차량 시스템에 결합된 복수의 센서에 의해 확보된 센서 데이터로부터 도출됨;
    상기 항법 정보를 매핑 서버로 제공 - 여기서, 상기 항법 정보는 복수의 차량에 결합된 센서에 의해 확보되고 상기 복수의 차량으로부터 수집된 항법 정보로서 상기 매핑 서버에 의해 처리되고, 상기 항법 정보는 도로 구간에서 복수의 차량으로부터의 차량 궤적을 기술함; 및
    자율주행차 지도를 수신 - 여기서, 상기 자율주행차 지도는 상기 도로 구간에서 이동 경로에 상응하는 스플라인 및 상기 도로 구간에 근접하여 식별된 하나의 랜드마크를 포함함; 하는 동작을 포함하고,
    상기 스플라인은 상기 도로 구간에 근접한 상기 랜드마크에 관하여 식별되는 복수의 데이터 점들을 연결하고,
    상기 복수의 데이터 점들은 상기 도로 구간의 자율 주행을 위해 상기 차량 시스템에 의해 활용되고,
    상기 매핑 서버는 상기 항법 정보의 데이터를 클러스터링 하여 상기 자율주행차 지도를 생성하고, 및
    상기 클러스터링은 상기 차로로부터의 상기 랜드마크의 위치 및 상기 복수의 차량으로부터의 상기 랜드마크의 상기 위치에 대한 상기 데이터의 차이를 해결하는 것을 특징으로 하는, 기계 판독 가능 장치.
  18. 제17항에 있어서,
    상기 항법 정보는 도로 기하 데이터를 포함하는 것을 특징으로 하는, 기계 판독 가능 장치.
  19. 제17항에 있어서,
    상기 복수의 차량은 자율주행차를 포함하는 것을 특징으로 하는, 기계 판독 가능 장치.
  20. 제17항에 있어서,
    상기 센서에 의해 확보된 센서 데이터는 도로 기하 데이터를 포함하는 것을 특징으로 하는, 기계 판독 가능 장치.
  21. 자율 주행을 지원하고 차량에 설치하기 위한 차량 시스템에 있어서,
    상기 차량 시스템은:
    프로세서; 및
    명령을 포함하는 메모리를 포함하고,
    상기 명령은 상기 프로세서에 의해 실행되는 경우에 상기 프로세서로 하여금:
    매핑 서버에 의해 생성된 수집 데이터로 생성된 스파스 맵(collected-data-generated sparse map)에 접속 - 여기서, 상기 수집 데이터로 생성된 스파스 맵은 하나의 도로 구간에서 차로에서의 이동 경로의 스플라인 표현 및 상기 도로구간에 근접하여 식별된 랜드마크를 기술하는 메타데이터를 포함하고, 상기 수집 데이터로 생성된 스파스 맵은 복수의 차량으로부터 확보된 데이터에 의해 생성되고, 상기 매핑 서버는 데이터를 클러스터링 하여 상기 수집 데이터로 생성된 스파스 맵을 생성하고, 상기 클러스터링은 상기 차로로부터의 상기 랜드마크의 위치 및 상기 복수의 차량으로부터의 상기 랜드마크의 상기 위치에 대한 상기 데이터의 차이를 해결함;
    이미지에 상응하는 이미지 데이터를 카메라로부터 확보 - 여기서, 상기 이미지는 상기 차량의 외부의 주변상황에 상응하고, 상기 이미지는 도로 구간에 근접한 랜드마크를 포함함; 및
    상기 수집 데이터로 생성된 스파스 맵 및 상기 이미지 데이터를 분석하여 상기 차량의 자율주행 반응을 결정 - 여기서, 상기 스플라인 표현은 상기 수집 데이터로 생성된 스파스 맵에서 복수의 데이터 점들을 연결하고, 상기 복수의 데이터 점들은 도로 구간에 근접한 랜드마크의 위치에 관하여 결정됨;
    하도록 유발하는 것을 특징으로 하는, 차량 시스템.
  22. 제21항에 있어서,
    상기 복수의 차량은 자율주행차를 포함하는 것을 특징으로 하는, 차량 시스템.
  23. 차량의 자율 주행을 지원하기 위한 명령을 포함하는 기계 판독 가능 매체에 있어서,
    상기 명령은 기계에 의해 실행되는 경우에 상기 기계로 하여금 동작을 수행하도록 유발하고,
    상기 동작은:
    매핑 서버에 의해 생성된 수집 데이터로 생성된 스파스 맵(collected-data-generated sparse map)에 접속 - 여기서, 상기 수집 데이터로 생성된 스파스 맵은 도로 구간에서의 차로에서 하나의 이동경로의 스플라인 표현 및 상기 도로 구간에 근접하여 식별된 랜드마크를 기술하는 메타데이터를 포함하고, 상기 수집 데이터로 생성된 스파스 맵은 복수의 다른 차량으로부터 확보된 데이터에 의해 생성되고, 상기 매핑 서버는 상기 복수의 다른 차량으로부터 확보된 상기 데이터를 클러스터링 하여 상기 수집 데이터로 생성된 스파스 맵을 생성하고, 상기 클러스터링은 상기 차로로부터의 상기 랜드마크의 위치 및 상기 복수의 다른 차량으로부터의 상기 랜드마크의 상기 위치에 대한 상기 데이터의 차이를 해결함;
    이미지에 상응하는 이미지 데이터를 카메라로부터 확보 - 여기서, 상기 이미 지는 상기 차량의 외부의 주변상황에 상응하고, 상기 이미지는 도로 구간에 근접한 랜드마크를 포함함; 및
    상기 수집 데이터로 생성된 스파스 맵 및 상기 이미지 데이터를 분석하여 상기 차량의 자율주행 반응을 결정 - 여기서, 상기 스플라인 표현은 상기 수집 데이터로 생성된 스파스 맵에서 복수의 데이터 점들을 연결하고, 상기 복수의 데이터 점들은 도로 구간에 근접한 랜드마크의 위치에 관하여 결정됨;
    하는 것을 포함하는 것을 특징으로 하는, 기계 판독 가능 매체.
  24. 제23항에 있어서,
    상기 복수의 다른 차량은 자율주행차를 포함하는 것을 특징으로 하는, 기계 판독 가능 매체.
  25. 차체;
    상기 차체에 탑재된 카메라; 및
    처리부를 포함하는 자율주행차에 있어서,
    상기 처리부는:
    매핑 서버에 의해 생성된 수집 데이터로 생성된 스파스 맵(collected-data-generated sparse map)에 접속 - 여기서, 상기 수집 데이터로 생성된 스파스 맵은 도로 구간에서의 차로에서 하나의 이동경로의 스플라인 표현 및 상기 도로 구간에 근접하여 식별된 랜드마크를 기술하는 메타데이터를 포함하고, 상기 수집 데이터로 생성된 스파스 맵은 복수의 다른 차량으로부터 확보된 데이터에 의해 생성되고, 상기 매핑 서버는 상기 복수의 다른 차량으로부터 확보된 상기 데이터를 클러스터링 하여 상기 수집 데이터로 생성된 스파스 맵을 생성하고, 상기 클러스터링은 상기 차로로부터의 상기 랜드마크의 위치 및 상기 복수의 다른 차량으로부터의 상기 랜드마크의 상기 위치에 대한 상기 데이터의 차이를 해결함;
    이미지에 상응하는 이미지 데이터를 카메라로부터 확보 - 여기서, 상기 이미 지는 상기 자율주행차 외부의 주변상황에 상응하고, 상기 이미지는 상기 도로 구간에 근접한 상기 랜드마크를 포함함; 및
    상기 수집 데이터로 생성된 스파스 맵 및 상기 이미지 데이터를 분석하여 상기 자율주행차의 자율주행 반응을 결정 - 여기서, 상기 스플라인 표현은 상기 수집 데이터로 생성된 스파스 맵에서 복수의 데이터 점들을 연결하고, 상기 복수의 데이터 점들은 상기 도로 구간에 근접한 상기 랜드마크의 위치에 관하여 결정됨;
    하는 것을 특징으로 하는, 자율주행차.
  26. 제25항에 있어서,
    구동 시스템을 더 포함하는, 자율주행차.
  27. 제25항에 있어서,
    제동 시스템을 더 포함하는, 자율주행차.
  28. 제25항에 있어서,
    조향 시스템을 더 포함하는, 자율주행차.
  29. 제25항에 있어서,
    상기 복수의 다른 차량은 자율주행차를 포함하는 것을 특징으로 하는, 자율주행차.

KR1020207002073A 2015-02-10 2016-02-10 자율 주행을 위한 약도 KR102603648B1 (ko)

Applications Claiming Priority (42)

Application Number Priority Date Filing Date Title
US201562114091P 2015-02-10 2015-02-10
US62/114,091 2015-02-10
US201562164055P 2015-05-20 2015-05-20
US62/164,055 2015-05-20
US201562170728P 2015-06-04 2015-06-04
US62/170,728 2015-06-04
US201562181784P 2015-06-19 2015-06-19
US62/181,784 2015-06-19
US201562192576P 2015-07-15 2015-07-15
US62/192,576 2015-07-15
US201562215764P 2015-09-09 2015-09-09
US62/215,764 2015-09-09
US201562219733P 2015-09-17 2015-09-17
US62/219,733 2015-09-17
US201562261578P 2015-12-01 2015-12-01
US201562261598P 2015-12-01 2015-12-01
US62/261,598 2015-12-01
US62/261,578 2015-12-01
US201562267643P 2015-12-15 2015-12-15
US62/267,643 2015-12-15
US201562269818P 2015-12-18 2015-12-18
US62/269,818 2015-12-18
US201562270418P 2015-12-21 2015-12-21
US201562270408P 2015-12-21 2015-12-21
US201562270431P 2015-12-21 2015-12-21
US62/270,418 2015-12-21
US62/270,431 2015-12-21
US62/270,408 2015-12-21
US201562271103P 2015-12-22 2015-12-22
US62/271,103 2015-12-22
US201662275046P 2016-01-05 2016-01-05
US201662274968P 2016-01-05 2016-01-05
US201662274883P 2016-01-05 2016-01-05
US201662275007P 2016-01-05 2016-01-05
US62/275,007 2016-01-05
US62/274,968 2016-01-05
US62/275,046 2016-01-05
US62/274,883 2016-01-05
US201662277068P 2016-01-11 2016-01-11
US62/277,068 2016-01-11
PCT/US2016/017411 WO2016130719A2 (en) 2015-02-10 2016-02-10 Sparse map for autonomous vehicle navigation
KR1020177025392A KR102622571B1 (ko) 2015-02-10 2016-02-10 자율 주행을 위한 약도

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177025392A Division KR102622571B1 (ko) 2015-02-10 2016-02-10 자율 주행을 위한 약도

Publications (2)

Publication Number Publication Date
KR20200011566A KR20200011566A (ko) 2020-02-03
KR102603648B1 true KR102603648B1 (ko) 2023-11-21

Family

ID=55485323

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020207027874A KR102623680B1 (ko) 2015-02-10 2016-02-10 자율 주행을 위한 약도
KR1020207002285A KR102624434B1 (ko) 2015-02-10 2016-02-10 자율 주행을 위한 약도
KR1020207002405A KR102534792B1 (ko) 2015-02-10 2016-02-10 자율 주행을 위한 약도
KR1020177025392A KR102622571B1 (ko) 2015-02-10 2016-02-10 자율 주행을 위한 약도
KR1020207002073A KR102603648B1 (ko) 2015-02-10 2016-02-10 자율 주행을 위한 약도

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020207027874A KR102623680B1 (ko) 2015-02-10 2016-02-10 자율 주행을 위한 약도
KR1020207002285A KR102624434B1 (ko) 2015-02-10 2016-02-10 자율 주행을 위한 약도
KR1020207002405A KR102534792B1 (ko) 2015-02-10 2016-02-10 자율 주행을 위한 약도
KR1020177025392A KR102622571B1 (ko) 2015-02-10 2016-02-10 자율 주행을 위한 약도

Country Status (9)

Country Link
US (33) US9817399B2 (ko)
EP (10) EP3845426A1 (ko)
JP (14) JP2018510373A (ko)
KR (5) KR102623680B1 (ko)
CN (11) CN111351495A (ko)
AU (4) AU2016219343B2 (ko)
BR (1) BR112017017121A2 (ko)
CA (3) CA3067160A1 (ko)
WO (1) WO2016130719A2 (ko)

Families Citing this family (1059)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10488860B1 (en) * 2006-02-21 2019-11-26 Automodality, Inc. Geocoding data for an automated vehicle
EP2208354A4 (en) 2007-10-10 2010-12-22 Gerard Dirk Smits IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING
US11237556B2 (en) 2012-06-22 2022-02-01 Knowm, Inc. Autonomous vehicle
US9739619B2 (en) * 2014-04-23 2017-08-22 Here Global B.V. Dynamic traffic rendering
US9495877B2 (en) * 2014-05-27 2016-11-15 The Boeing Company Airspace deconfliction system and method
GB201410612D0 (en) * 2014-06-13 2014-07-30 Tomtom Int Bv Methods and systems for generating route data
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US9336448B2 (en) * 2014-08-11 2016-05-10 Here Global B.V. Variable speed sign value prediction and confidence modeling
WO2016025502A1 (en) 2014-08-11 2016-02-18 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
JP6441616B2 (ja) * 2014-08-29 2018-12-19 株式会社ゼンリン 位置特定装置、運転支援装置および制御プログラム
WO2016065375A1 (en) * 2014-10-27 2016-05-06 Fts Computertechnik Gmbh Computer vision monitoring for a computer vision system
JP6354542B2 (ja) 2014-11-26 2018-07-11 株式会社デンソー 車両自動運転システム
JP6115576B2 (ja) * 2015-01-07 2017-04-19 トヨタ自動車株式会社 車両走行制御装置
US10175054B2 (en) * 2015-01-11 2019-01-08 Microsoft Technology Licensing, Llc Predicting and utilizing variability of travel times in mapping services
JP6104484B2 (ja) * 2015-01-30 2017-03-29 三菱電機株式会社 評価情報収集システム
KR102623680B1 (ko) * 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US10115024B2 (en) * 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
US10733853B2 (en) * 2015-04-20 2020-08-04 Nec Corporation Crowd guiding device, crowd guiding system, crowd guiding method, and storage medium
US9858284B2 (en) 2015-04-21 2018-01-02 International Business Machines Corporation Crowd sourced data sampling at the crowd
DE102015208590A1 (de) * 2015-05-08 2016-11-10 Conti Temic Microelectronic Gmbh Vorrichtung zur bestimmung eines für ein fahrzeug befahrbaren raums, entsprechendes verfahren und fahrzeug
US9898671B2 (en) 2015-05-11 2018-02-20 Magna Electronics Inc. Vehicle vision system with structure and motion estimation
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
JP6235528B2 (ja) * 2015-05-15 2017-11-22 トヨタ自動車株式会社 車両制御装置
EP3104189B1 (en) * 2015-06-11 2020-09-30 Veoneer Sweden AB Misalignment estimation for a vehicle radar system
ES2874055T3 (es) 2015-07-10 2021-11-04 Whether or Knot LLC Sistema y procedimiento para la distribución de datos electrónicos
JP6184447B2 (ja) * 2015-07-13 2017-08-23 株式会社豊田中央研究所 推定装置及び推定プログラム
US10282997B2 (en) * 2015-07-20 2019-05-07 Dura Operating, Llc System and method for generating and communicating lane information from a host vehicle to a vehicle-to-vehicle network
JP6365780B2 (ja) * 2015-07-24 2018-08-01 日産自動車株式会社 自己位置推定装置及び自己位置推定方法
JP6298021B2 (ja) * 2015-07-30 2018-03-20 トヨタ自動車株式会社 攻撃検知システムおよび攻撃検知方法
US10691958B1 (en) * 2015-07-30 2020-06-23 Ambarella International Lp Per-lane traffic data collection and/or navigation
DE102015215699A1 (de) * 2015-08-18 2017-02-23 Robert Bosch Gmbh Verfahren zum Lokalisieren eines automatisierten Kraftfahrzeugs
US10086870B2 (en) * 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
US11250335B2 (en) * 2015-10-26 2022-02-15 NetraDyne, Inc. Joint processing for embedded data inference
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US11283877B2 (en) 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US10334050B2 (en) 2015-11-04 2019-06-25 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US10248119B2 (en) 2015-11-04 2019-04-02 Zoox, Inc. Interactive autonomous vehicle command controller
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
GB201519510D0 (en) * 2015-11-05 2015-12-23 Mach To Machine Solutions Ltd Method and system for handling data
KR102149295B1 (ko) * 2015-11-10 2020-08-28 현대자동차주식회사 추월 차선에서의 차량 제어 장치 및 방법
EP3168711A1 (en) * 2015-11-11 2017-05-17 ams AG Method, optical sensor arrangement and computer program product for passive optical motion detection
US10144419B2 (en) * 2015-11-23 2018-12-04 Magna Electronics Inc. Vehicle dynamic control system for emergency handling
DE102015224338B4 (de) * 2015-12-04 2021-10-28 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung in einem Kraftfahrzeug zum automatisierten Fahren
US10712160B2 (en) 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
US9840256B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9753126B2 (en) 2015-12-18 2017-09-05 Gerard Dirk Smits Real time position sensing of objects
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
US9889859B2 (en) * 2015-12-21 2018-02-13 Intel Corporation Dynamic sensor range in advanced driver assistance systems
US11455838B2 (en) 2016-01-13 2022-09-27 Parkhub, Inc. System for monitoring arrival of a vehicle at a given location and associated methods
US11386780B2 (en) 2016-01-13 2022-07-12 Parkhub, Inc. System for monitoring arrival of a vehicle at a given location and associated methods
WO2017130419A1 (ja) * 2016-01-29 2017-08-03 株式会社小松製作所 作業機械の管理システム、作業機械、作業機械の管理方法
US9904867B2 (en) * 2016-01-29 2018-02-27 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
US9990548B2 (en) 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
EP3217374A1 (en) * 2016-03-10 2017-09-13 Volvo Car Corporation Method and system for estimating a boundary of a road technical field
US10124730B2 (en) * 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
US10223380B2 (en) * 2016-03-23 2019-03-05 Here Global B.V. Map updates from a connected vehicle fleet
US20170284816A1 (en) * 2016-03-30 2017-10-05 Ca, Inc. Establishing convergence points and determining time to convergence of related objects in motion
GB2568158B (en) * 2016-04-04 2021-12-01 Walmart Apollo Llc Systems and methods for estimating a geographical location of an unmapped object within a defined environment
US10783382B2 (en) * 2016-04-06 2020-09-22 Semiconductor Components Industries, Llc Systems and methods for buffer-free lane detection
JP6327283B2 (ja) * 2016-04-06 2018-05-23 トヨタ自動車株式会社 車両用情報提供装置
DE102016205868A1 (de) * 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs mittels speziell ausgewählter und von einem Backend-Server übertragener Landmarken
US10618673B2 (en) * 2016-04-15 2020-04-14 Massachusetts Institute Of Technology Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory
JP6607139B2 (ja) * 2016-04-26 2019-11-20 トヨタ自動車株式会社 情報収集システム
TWI581207B (zh) * 2016-04-28 2017-05-01 國立清華大學 共乘路徑的計算方法及使用此方法的計算裝置與記錄媒體
US10126141B2 (en) * 2016-05-02 2018-11-13 Google Llc Systems and methods for using real-time imagery in navigation
JP6418407B2 (ja) * 2016-05-06 2018-11-07 トヨタ自動車株式会社 車両のブレーキ制御装置
US10366290B2 (en) * 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
WO2017199750A1 (ja) * 2016-05-16 2017-11-23 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
TWI589839B (zh) * 2016-05-17 2017-07-01 Mitac Int Corp 辨別車輛當前位於高架道路或平面道路的方法
US10303166B2 (en) * 2016-05-23 2019-05-28 nuTonomy Inc. Supervisory control of vehicles
US10810883B1 (en) * 2016-06-03 2020-10-20 Uber Technologies, Inc. Travel time estimation
US20170350718A1 (en) * 2016-06-03 2017-12-07 Toyota Motor Sales, U.S.A., Inc. Information-attainment system based on monitoring an occupant
US11947354B2 (en) * 2016-06-07 2024-04-02 FarmX Inc. Geocoding data for an automated vehicle
JP6723079B2 (ja) * 2016-06-08 2020-07-15 日立オートモティブシステムズ株式会社 物体距離検出装置
US10176389B2 (en) * 2016-06-09 2019-01-08 International Business Machines Corporation Methods and systems for moving traffic obstacle detection
US9880561B2 (en) * 2016-06-09 2018-01-30 X Development Llc Sensor trajectory planning for a vehicle
JP6810996B2 (ja) * 2016-06-14 2021-01-13 大学共同利用機関法人自然科学研究機構 質感評価システム
DE102016210745A1 (de) * 2016-06-16 2017-12-21 Robert Bosch Gmbh Aktualisierung von Navigationsdaten
DE102016007567A1 (de) * 2016-06-21 2017-12-21 Audi Ag Verfahren zum Betreiben eines zum Ermitteln einer zu befahrenden Trajektorie und/oder zum Durchführen von Fahreingriffen ausgebildeten Fahrzeugsystems, Verfahren zum Betreiben eines Steuerungssystems und Kraftfahrzeug
US9898005B2 (en) * 2016-06-24 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Driving path determination for autonomous vehicles
US10540689B2 (en) * 2016-06-27 2020-01-21 International Business Machines Corporation System, method, and recording medium for fuel deal advertisements
US9953535B1 (en) 2016-06-27 2018-04-24 Amazon Technologies, Inc. Annotated virtual track to inform autonomous vehicle control
US9661604B1 (en) 2016-06-30 2017-05-23 HawkEye 360, Inc. Determining emitter locations
US9916760B1 (en) * 2016-06-30 2018-03-13 Amazon Technologies, Inc. Efficient traffic map rendering
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统
US10474162B2 (en) * 2016-07-01 2019-11-12 Uatc, Llc Autonomous vehicle localization using passive image data
DE102016008175A1 (de) * 2016-07-01 2018-01-04 Audi Ag Aktualisierung einer elektronischen Landkarte
US10331138B2 (en) * 2016-07-05 2019-06-25 Baidu Usa Llc Standard scene-based planning control methods for operating autonomous vehicles
JP6644425B2 (ja) * 2016-07-07 2020-02-12 アルパイン株式会社 移動経路生成装置および移動経路生成方法
JP6616257B2 (ja) * 2016-07-13 2019-12-04 株式会社Ｓｏｋｅｎ 位置推定装置
JP6662227B2 (ja) * 2016-07-19 2020-03-11 株式会社デンソー 制御装置
US11086334B2 (en) 2016-07-21 2021-08-10 Mobileye Vision Technologies Ltd. Crowdsourcing a sparse map for autonomous vehicle navigation
US10248124B2 (en) 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US10162354B2 (en) * 2016-07-21 2018-12-25 Baidu Usa Llc Controlling error corrected planning methods for operating autonomous vehicles
US10209081B2 (en) * 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
DE102016214868A1 (de) * 2016-08-10 2018-02-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erstellen oder Ergänzen einer Karte für ein Kraftfahrzeug
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10127461B2 (en) * 2016-08-12 2018-11-13 Here Global B.V. Visual odometry for low illumination conditions using fixed light sources
US10495480B1 (en) * 2016-08-18 2019-12-03 Apple Inc. Automated travel lane recommendation
US9747793B1 (en) 2016-08-21 2017-08-29 International Business Machines Corporation Transportation vehicle traffic management
US10083606B2 (en) * 2016-08-22 2018-09-25 Allstate Insurance Company Glare detection systems and methods for automated vehicular control
JP6432572B2 (ja) * 2016-08-22 2018-12-05 トヨタ自動車株式会社 表示装置、表示システム
US10438493B2 (en) 2016-08-24 2019-10-08 Uber Technologies, Inc. Hybrid trip planning for autonomous vehicles
WO2018039644A1 (en) * 2016-08-25 2018-03-01 Purdue Research Foundation System and method for controlling a self-guided vehicle
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
US10410328B1 (en) * 2016-08-29 2019-09-10 Perceptin Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10453213B2 (en) 2016-08-29 2019-10-22 Trifo, Inc. Mapping optimization in autonomous and non-autonomous platforms
US11314262B2 (en) 2016-08-29 2022-04-26 Trifo, Inc. Autonomous platform guidance systems with task planning and obstacle avoidance
US10366508B1 (en) * 2016-08-29 2019-07-30 Perceptin Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10043076B1 (en) 2016-08-29 2018-08-07 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10571926B1 (en) 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance
US10571925B1 (en) 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and task planning
US10390003B1 (en) 2016-08-29 2019-08-20 Perceptln Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10402663B1 (en) 2016-08-29 2019-09-03 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous mapping
US10395117B1 (en) 2016-08-29 2019-08-27 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10032276B1 (en) 2016-08-29 2018-07-24 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous device
US20180188031A1 (en) * 2016-08-31 2018-07-05 Faraday&Future Inc. System and method for calibrating vehicle dynamics expectations for autonomous vehicle navigation and localization
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
DE112017002954T5 (de) * 2016-09-06 2019-03-07 Hitachi Automotive Systems, Ltd. Fahrzeugbremskraftsteuereinrichtung
US10640111B1 (en) * 2016-09-07 2020-05-05 Waymo Llc Speed planning for autonomous vehicles
US11067996B2 (en) 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
US10585409B2 (en) 2016-09-08 2020-03-10 Mentor Graphics Corporation Vehicle localization with map-matched sensor measurements
JP6759899B2 (ja) * 2016-09-08 2020-09-23 アイシン精機株式会社 車両用画像処理装置
US10317901B2 (en) 2016-09-08 2019-06-11 Mentor Graphics Development (Deutschland) Gmbh Low-level sensor fusion
US10678240B2 (en) 2016-09-08 2020-06-09 Mentor Graphics Corporation Sensor modification based on an annotated environmental model
JP6677134B2 (ja) * 2016-09-13 2020-04-08 スズキ株式会社 運転支援装置
DE102016217637A1 (de) 2016-09-15 2018-03-15 Volkswagen Aktiengesellschaft Odometrie-Verfahren zum Ermitteln einer Position eines Kraftfahrzeugs, Steuervorrichtung und Kraftfahrzeug
US10093315B2 (en) * 2016-09-19 2018-10-09 Ford Global Technologies, Llc Target vehicle deselection
US10133273B2 (en) * 2016-09-20 2018-11-20 2236008 Ontario Inc. Location specific assistance for autonomous vehicle control system
DE102016218232B4 (de) * 2016-09-22 2024-02-15 Volkswagen Aktiengesellschaft Positionsbestimmungssystem für eine mobile Einheit, Fahrzeug und Verfahren zum Betreiben eines Positionsbestimmungssystems
US11321572B2 (en) * 2016-09-27 2022-05-03 Nissan Motor Co., Ltd. Self-position estimation method and self-position estimation device
US10803423B2 (en) * 2016-09-29 2020-10-13 The Parking Genius, Inc. System for managing parking of autonomous driving vehicles
US11480438B2 (en) 2016-10-07 2022-10-25 Google Llc Identifying and displaying smooth and demarked paths
DE102016219594A1 (de) * 2016-10-10 2018-04-12 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Fahrdynamikregelung für ein Kraftfahrzeug
JP7329298B2 (ja) * 2016-10-11 2023-08-18 モービルアイ ビジョン テクノロジーズ リミテッド 検出された障壁に基づく車両のナビゲーション
CN106406312B (zh) * 2016-10-14 2017-12-26 平安科技（深圳）有限公司 导览机器人及其移动区域标定方法
US10274965B2 (en) * 2016-10-17 2019-04-30 Denso International America, Inc. Sensor system for vehicle
US10452068B2 (en) * 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
JP6731619B2 (ja) * 2016-10-26 2020-07-29 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
CN107990905B (zh) * 2016-10-27 2020-04-10 高德软件有限公司 一种掉头路口的确定方法及装置
US10296001B2 (en) 2016-10-27 2019-05-21 Uber Technologies, Inc. Radar multipath processing
US10496890B2 (en) * 2016-10-28 2019-12-03 International Business Machines Corporation Vehicular collaboration for vehicular blind spot detection
WO2018106360A2 (en) 2016-10-31 2018-06-14 Gerard Dirk Smits Fast scanning lidar with dynamic voxel probing
FR3058214B1 (fr) * 2016-11-02 2020-06-12 Safran Electronics & Defense Procede d'elaboration d'une carte d'autonomie de navigation pour un vehicule
US9989964B2 (en) * 2016-11-03 2018-06-05 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling vehicle using neural network
WO2018089703A1 (en) * 2016-11-09 2018-05-17 The Texas A&M University System Method and system for accurate long term simultaneous localization and mapping with absolute orientation sensing
US20180129219A1 (en) * 2016-11-09 2018-05-10 Aatonomy, Inc. Autonomous vehicle moving system, device and method
CN108072375B (zh) * 2016-11-09 2020-01-10 腾讯科技（深圳）有限公司 一种导航中的信息识别方法及终端
US10372128B2 (en) 2016-11-21 2019-08-06 Ford Global Technologies, Llc Sinkhole detection systems and methods
US9933781B1 (en) * 2016-11-23 2018-04-03 Denso International America, Inc. Data-driven planning for automated driving
US10299122B2 (en) 2016-11-23 2019-05-21 The Parking Genius, Inc. User validation system utilizing symbolic or pictographic representations of validation codes
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CA3045139A1 (en) * 2016-12-01 2018-06-07 Walmart Apollo, Llc Autonomous vehicle with secondary camera system for use with encountered events during travel
US10162360B2 (en) * 2016-12-01 2018-12-25 GM Global Technology Operations LLC Vehicle environment imaging systems and methods
US10943148B2 (en) * 2016-12-02 2021-03-09 Apple Inc. Inspection neural network for assessing neural network reliability
WO2018106752A1 (en) * 2016-12-06 2018-06-14 Nissan North America, Inc. Bandwidth constrained image processing for autonomous vehicles
EP3551967A2 (en) * 2016-12-09 2019-10-16 TomTom Global Content B.V. Method and system for video-based positioning and mapping
JP6609540B2 (ja) * 2016-12-09 2019-11-20 日立オートモティブシステムズ株式会社 道路特定装置及び車両制御システム
US10423156B2 (en) 2016-12-11 2019-09-24 Aatonomy, Inc. Remotely-controlled device control system, device and method
US10488863B2 (en) * 2016-12-13 2019-11-26 Ford Global Technologies, Llc Autonomous vehicle post-fault operation
KR20180068511A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
US10085117B2 (en) * 2016-12-15 2018-09-25 DISH Technologies L.L.C. Methods and apparatus for altitude-based geofencing
US11113545B2 (en) * 2016-12-16 2021-09-07 Hitachi Automotive Systems, Ltd. Road detection using traffic sign information
US10421459B2 (en) * 2016-12-20 2019-09-24 GM Global Technology Operations LLC Contextual-assessment vehicle systems
US9922566B1 (en) * 2016-12-20 2018-03-20 GM Global Technology Operations LLC Passing zone advisory systems and methods
DE102016225592B4 (de) * 2016-12-20 2023-08-31 Siemens Mobility GmbH Verfahren und Anordnung zum Funktionstest mindestens eines Sensors eines Fahrzeugs sowie Fahrzeug, Datenträger und Computerprogramm
US10268200B2 (en) 2016-12-21 2019-04-23 Baidu Usa Llc Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle
US10678237B2 (en) * 2016-12-22 2020-06-09 Panasonic Intellectual Property Corporation Of America Information processing apparatus, operated vehicle, information processing method, and recording medium storing program
JP2020503612A (ja) * 2016-12-22 2020-01-30 ニッサン ノース アメリカ，インク 自律走行車両サービスシステム
DE102016015514A1 (de) * 2016-12-23 2018-06-28 Lucas Automotive Gmbh Fahrassistenz für ein Kraftfahrzeug
WO2018125850A1 (en) 2016-12-27 2018-07-05 Gerard Dirk Smits Systems and methods for machine perception
WO2018123014A1 (ja) * 2016-12-28 2018-07-05 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
EP3346418A1 (en) * 2016-12-28 2018-07-11 Volvo Car Corporation Method and system for vehicle localization from camera image
US10139830B2 (en) * 2016-12-29 2018-11-27 Automotive Research & Testing Center Automatic lane following control system and method for vehicles
US10309778B2 (en) 2016-12-30 2019-06-04 DeepMap Inc. Visual odometry and pairwise alignment for determining a position of an autonomous vehicle
US10401500B2 (en) * 2016-12-30 2019-09-03 DeepMap Inc. Encoding LiDAR scanned data for generating high definition maps for autonomous vehicles
WO2018126215A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. High definition map updates
EP3343172B1 (en) * 2017-01-03 2024-03-13 iOnRoad Technologies Ltd. Creation and use of enhanced maps
US10296812B2 (en) 2017-01-04 2019-05-21 Qualcomm Incorporated Systems and methods for mapping based on multi-journey data
RU2721677C1 (ru) 2017-01-05 2020-05-21 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Формирование и использование карт высокого разрешения
EP4230964A1 (en) * 2017-01-12 2023-08-23 Mobileye Vision Technologies Ltd. Navigation based on vehicle activity
US10696227B2 (en) 2017-01-12 2020-06-30 Mobileye Vision Technologies Ltd. Determining a road surface characteristic
US10037037B1 (en) * 2017-01-18 2018-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for trajectory planning in an autonomous vehicle using different fixed durations for steering and speed parameters
US20180202819A1 (en) * 2017-01-18 2018-07-19 Microsoft Technology Licensing, Llc Automatic routing to event endpoints
DE102017200842B4 (de) 2017-01-19 2020-06-18 Audi Ag Verfahren zum Betrieb einer Verkehrsleitinfrastruktur und Verkehrsleitinfrastruktur
US10209715B2 (en) * 2017-01-19 2019-02-19 Robert Bosch Gmbh System and method of using crowd-sourced driving path data in an autonomous or semi-autonomous driving system
US10229599B2 (en) * 2017-01-19 2019-03-12 Ford Global Technologies, Llc Vehicle lane changing
US10254121B2 (en) 2017-01-23 2019-04-09 Uber Technologies, Inc. Dynamic routing for self-driving vehicles
US10152635B2 (en) 2017-01-24 2018-12-11 Here Global B.V. Unsupervised online learning of overhanging structure detector for map generation
WO2018138584A1 (en) 2017-01-26 2018-08-02 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and lidar information
US10290137B2 (en) * 2017-01-31 2019-05-14 Saudi Arabian Oil Company Auto-generation of map landmarks using sensor readable tags
US10436595B2 (en) * 2017-02-02 2019-10-08 Baidu Usa Llc Method and system for updating localization maps of autonomous driving vehicles
US10929462B2 (en) * 2017-02-02 2021-02-23 Futurewei Technologies, Inc. Object recognition in autonomous vehicles
US20180224284A1 (en) * 2017-02-06 2018-08-09 Robert Bosch Gmbh Distributed autonomous mapping
CA3090627A1 (en) * 2017-02-06 2018-08-09 Vayavision Sensing Ltd. Computer aided driving
WO2018147874A1 (en) 2017-02-10 2018-08-16 Nissan North America, Inc. Autonomous vehicle operational management including operating a partially observable markov decision process model instance
MX2019009395A (es) 2017-02-10 2019-12-05 Nissan North America Inc Monitoreo del bloqueo de la administracion operacional de vehiculos autonomos.
RU2725920C1 (ru) 2017-02-10 2020-07-07 Ниссан Норт Америка, Инк. Управление оперативным управлением автономным транспортным средством
US10137900B2 (en) * 2017-02-15 2018-11-27 Ford Global Technologies, Llc Methods for vehicle speed accuracy compensation
US10279807B2 (en) * 2017-02-17 2019-05-07 GM Global Technology Operations LLC System and method for predicting a possible lane departure when driving a vehicle autonomously or semi-autonomously, and for taking a remedial action to prevent a lane departure
US10607481B2 (en) * 2017-02-27 2020-03-31 International Business Machines Corporation Dynamic road width division for adaptive road-space utilization
US10671076B1 (en) 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
US9988048B1 (en) * 2017-03-03 2018-06-05 GM Global Technology Operations LLC Lane detection systems and methods
CN108537094B (zh) * 2017-03-03 2022-11-22 株式会社理光 图像处理方法、装置和系统
US10281920B2 (en) 2017-03-07 2019-05-07 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10234864B2 (en) 2017-03-07 2019-03-19 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
WO2018165199A1 (en) * 2017-03-07 2018-09-13 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10095234B2 (en) 2017-03-07 2018-10-09 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
KR101934368B1 (ko) * 2017-03-09 2019-01-04 씨드로닉스(주) 앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법
DE102017203983B4 (de) 2017-03-10 2023-10-05 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs bei einem Rangiervorgang
EP3372467A1 (en) * 2017-03-10 2018-09-12 The Hi-Tech Robotic Systemz Ltd Method and system for historical state based advanced driver assistance
EP3373193B1 (en) * 2017-03-10 2023-09-20 The Hi-Tech Robotic Systemz Ltd Method and system for artificial intelligence based advanced driver assistance
EP3372465B1 (en) * 2017-03-10 2022-08-24 The Hi-Tech Robotic Systemz Ltd Method and system for vehicle status based advanced driver assistance
US11151447B1 (en) * 2017-03-13 2021-10-19 Zoox, Inc. Network training process for hardware definition
WO2018170074A1 (en) * 2017-03-14 2018-09-20 Starsky Robotics, Inc. Vehicle sensor system and method of use
DE102017205647A1 (de) 2017-03-14 2018-09-20 Bitmanagement Software GmbH Verfahren zum bestimmen eines pfades entlang eines objekts, system und verfahren zum automatischen inspizieren eines objekts
JP6666289B2 (ja) * 2017-03-15 2020-03-13 株式会社東芝 移動体用空間情報算出装置及び衝突回避システム
US10379538B1 (en) 2017-03-20 2019-08-13 Zoox, Inc. Trajectory generation using motion primitives
US11067995B2 (en) * 2017-03-20 2021-07-20 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
DE102017204839A1 (de) * 2017-03-22 2018-09-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
EP3605013B1 (en) * 2017-03-23 2023-10-18 Hitachi Astemo, Ltd. Vehicle control device
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US11578981B1 (en) * 2017-03-29 2023-02-14 Apple Inc. Constrained registration of map information
US11168993B1 (en) 2017-03-29 2021-11-09 Apple Inc. Constrained registration of map information
US10994729B2 (en) * 2017-03-29 2021-05-04 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling lateral motion of vehicle
JP6438516B2 (ja) * 2017-03-31 2018-12-12 株式会社Ｓｕｂａｒｕ 車両の走行制御装置
JP2018173834A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御装置
JP6450413B2 (ja) * 2017-03-31 2019-01-09 本田技研工業株式会社 車両制御装置
JP6465319B2 (ja) * 2017-03-31 2019-02-06 株式会社Ｓｕｂａｒｕ 車両の走行制御装置
US20210088652A1 (en) * 2017-03-31 2021-03-25 A^3 By Airbus Llc Vehicular monitoring systems and methods for sensing external objects
US10424079B2 (en) 2017-04-05 2019-09-24 Here Global B.V. Unsupervised approach to environment mapping at night using monocular vision
US10296828B2 (en) 2017-04-05 2019-05-21 Here Global B.V. Learning a similarity measure for vision-based localization on a high definition (HD) map
CN115855022A (zh) 2017-04-07 2023-03-28 辉达公司 使用深度神经网络执行自主路径导航
US10705525B2 (en) * 2017-04-07 2020-07-07 Nvidia Corporation Performing autonomous path navigation using deep neural networks
MX2019012074A (es) * 2017-04-12 2019-12-05 Nissan Motor Metodo de control de conduccion y dispositivo de control de conduccion.
CN106997466B (zh) * 2017-04-12 2021-05-04 百度在线网络技术（北京）有限公司 用于检测道路的方法和装置
GB201706129D0 (en) 2017-04-18 2017-05-31 Blue Vision Labs Uk Ltd Distributed device mapping
US10397896B2 (en) * 2017-04-19 2019-08-27 International Business Machines Corporation IP address geo-position detection based on landmark sequencing
US11254329B2 (en) 2017-04-24 2022-02-22 Mobileye Vision Technologies Ltd. Systems and methods for compression of lane data
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
US20180314253A1 (en) 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data
WO2018208591A1 (en) * 2017-05-06 2018-11-15 The Texas A&M University System Method and system for vehicular communication and safety monitoring of driving environment to provide early warnings in real-time
US10942525B2 (en) 2017-05-09 2021-03-09 Uatc, Llc Navigational constraints for autonomous vehicles
US10612199B2 (en) * 2017-05-09 2020-04-07 Toyota Research Institute, Inc. Systems and methods for roadway fingerprinting
US20180328745A1 (en) * 2017-05-09 2018-11-15 Uber Technologies, Inc. Coverage plan generation and implementation
US10571280B2 (en) * 2017-05-09 2020-02-25 Toyota Research Institute, Inc. Systems and methods for localizing a vehicle using a roadway signature
US10473921B2 (en) 2017-05-10 2019-11-12 Gerard Dirk Smits Scan mirror systems and methods
US10740627B2 (en) 2017-05-10 2020-08-11 Fotonation Limited Multi-camera vision system and method of monitoring
US11354616B1 (en) * 2017-05-11 2022-06-07 State Farm Mutual Automobile Insurance Company Vehicle driver safety performance based on relativity
US10493994B1 (en) 2017-05-11 2019-12-03 State Farm Mutual Automobile Insurance Company Vehicle driver performance based on contextual changes and driver response
DE102017208124B4 (de) * 2017-05-15 2019-04-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und System zum Ermitteln einer Straßenbaustelle
US10501091B2 (en) * 2017-05-23 2019-12-10 Uber Technologies, Inc. Software version and mode switching for autonomous vehicles
US10489721B2 (en) * 2017-05-23 2019-11-26 Uatc, Llc Path segment risk regression system for on-demand transportation services
US11282009B2 (en) 2017-05-23 2022-03-22 Uatc, Llc Fleet utilization efficiency for on-demand transportation services
US10753753B2 (en) * 2017-05-26 2020-08-25 Ford Global Technologies, Llc Vehicle route navigation
US20180350086A1 (en) * 2017-05-31 2018-12-06 Qualcomm Incorporated System And Method Of Dynamically Filtering Depth Estimates To Generate A Volumetric Map Of A Three-Dimensional Environment Having An Adjustable Maximum Depth
US10289115B2 (en) * 2017-06-01 2019-05-14 Aptiv Technologies Limited Automated vehicle map localization based on observed geometries of roadways
US11392133B2 (en) * 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
US11573573B2 (en) 2017-06-06 2023-02-07 Plusai, Inc. Method and system for distributed learning and adaptation in autonomous driving vehicles
US11042155B2 (en) * 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
WO2018225446A1 (ja) * 2017-06-09 2018-12-13 株式会社デンソー 地図変化点検出装置
US11126195B2 (en) * 2017-06-12 2021-09-21 Faraday & Future Inc. System and method for detecting occluded objects based on image processing
US10663303B2 (en) * 2017-06-12 2020-05-26 Panasonic Intellectual Property Management Co., Ltd. System and method for dynamically authenticating map data using blockchains
DE102017210070A1 (de) * 2017-06-14 2018-12-20 Robert Bosch Gmbh Verfahren zum Erstellen einer digitalen Karte für ein automatisiertes Fahrzeug
CN110914641B (zh) * 2017-06-14 2024-01-30 御眼视觉技术有限公司 自主导航的导航信息的融合构架和分批对齐
US10444761B2 (en) 2017-06-14 2019-10-15 Trifo, Inc. Monocular modes for autonomous platform guidance systems with auxiliary sensors
US10387732B2 (en) * 2017-06-15 2019-08-20 GM Global Technology Operations LLC Method and apparatus for position error detection
KR20200007879A (ko) * 2017-06-20 2020-01-22 닛산 지도우샤 가부시키가이샤 주행 제어 방법 및 주행 제어 장치
CN109937343B (zh) * 2017-06-22 2023-06-13 百度时代网络技术（北京）有限公司 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
US10870426B2 (en) * 2017-06-22 2020-12-22 Magna Electronics Inc. Driving assistance system with rear collision mitigation
CN109429518B (zh) * 2017-06-22 2022-10-28 百度时代网络技术（北京）有限公司 基于地图图像的自动驾驶交通预测
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US11493348B2 (en) 2017-06-23 2022-11-08 Direct Current Capital LLC Methods for executing autonomous rideshare requests
JP2019008519A (ja) * 2017-06-23 2019-01-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム
US20180374341A1 (en) * 2017-06-27 2018-12-27 GM Global Technology Operations LLC Systems and methods for predicting traffic patterns in an autonomous vehicle
DE102017210961A1 (de) * 2017-06-28 2019-01-03 Audi Ag Verfahren zum zumindest teilautomatisierten Betrieb eines Kraftfahrzeugs
CN107339996A (zh) * 2017-06-30 2017-11-10 百度在线网络技术（北京）有限公司 车辆自定位方法、装置、设备及存储介质
DE102017213247A1 (de) * 2017-06-30 2019-01-03 Conti Temic Microelectronic Gmbh Wissenstransfer zwischen verschiedenen Deep-Learning Architekturen
WO2019000417A1 (en) 2017-06-30 2019-01-03 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS OF GENERATING CARDS
EP3646647B1 (en) 2017-06-30 2022-10-05 Hawkeye 360, Inc. Detecting radio signal emitter locations
DE102017114605A1 (de) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug mit Bestimmung einer Trajektorie anhand eines Umgebungsszenarios, Fahrerassistenzsystem sowie Kraftfahrzeug
US10379545B2 (en) * 2017-07-03 2019-08-13 Skydio, Inc. Detecting optical discrepancies in captured images
US11653090B1 (en) * 2017-07-04 2023-05-16 Ramin Farjadrad Intelligent distributed systems and methods for live traffic monitoring and optimization
WO2019008581A1 (en) * 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
US10496104B1 (en) 2017-07-05 2019-12-03 Perceptin Shenzhen Limited Positional awareness with quadocular sensor in autonomous platforms
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
CN109144052B (zh) * 2017-07-07 2021-12-28 奥特埃克斯股份有限公司 用于自动驾驶车辆的导航系统及其方法
DE102017211629A1 (de) * 2017-07-07 2019-01-10 Robert Bosch Gmbh Verfahren zum Betreiben eines höher automatisierten Fahrzeugs (HAF), insbe-sondere eines hochautomatisierten Fahrzeugs
US10866313B2 (en) 2017-07-07 2020-12-15 Waymo Llc Vehicle sensor synchronization using an external clock source
CN107316486A (zh) * 2017-07-11 2017-11-03 湖南星云智能科技有限公司 基于双摄像头的无人驾驶汽车视觉识别系统
US10416681B2 (en) * 2017-07-12 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Barcode: global binary patterns for fast visual inference
CN107146473A (zh) * 2017-07-13 2017-09-08 京东方科技集团股份有限公司 一种车辆变道提醒装置、方法及交通工具
US11300958B2 (en) 2017-07-13 2022-04-12 Waymo Llc Sensor adjustment based on vehicle motion
US10921437B2 (en) * 2017-07-13 2021-02-16 Databuoy Corporation Object tracking in an area of distributed sensors
CN108472811B (zh) * 2017-07-14 2021-06-04 达闼机器人有限公司 机器人性格设定方法、装置和机器人
US10471955B2 (en) * 2017-07-18 2019-11-12 lvl5, Inc. Stop sign and traffic light alert
WO2019014861A1 (en) * 2017-07-18 2019-01-24 Hangzhou Taruo Information Technology Co., Ltd. INTELLIGENT FOLLOWING OF OBJECTS
DE102017212221A1 (de) * 2017-07-18 2019-01-24 Audi Ag Fernsteuerungsverfahren für ein Fahrerassistenzsystem, Fahrerassistenzsystem und damit versehenes Kraftfahrzeug
US10331124B2 (en) * 2017-07-20 2019-06-25 Nuro, Inc. Autonomous vehicle repositioning
DE102017212615A1 (de) * 2017-07-21 2019-01-24 Zf Friedrichshafen Ag Vorrichtung und Verfahren zur Kurvenbahnführung eines Fahrzeuges
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US20190005667A1 (en) * 2017-07-24 2019-01-03 Muhammad Zain Khawaja Ground Surface Estimation
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10670725B2 (en) 2017-07-25 2020-06-02 Waymo Llc Determining yaw error from map data, lasers, and cameras
US20190033859A1 (en) * 2017-07-27 2019-01-31 Aptiv Technologies Limited Sensor failure compensation system for an automated vehicle
DE102017212908A1 (de) * 2017-07-27 2019-01-31 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Verbesserung der Quer- und/oder Längsführung eines Fahrzeugs
WO2019023747A1 (en) * 2017-07-31 2019-02-07 Bellator Pty Ltd TERRESTRIAL VEHICLE WITHOUT DRIVER
CN109323709B (zh) * 2017-07-31 2022-04-08 株式会社理光 视觉里程计方法、装置和计算机可读存储介质
DE102017117297A1 (de) * 2017-07-31 2019-01-31 HELLA GmbH & Co. KGaA Kontrollsystem für ein Kraftfahrzeug, Kraftfahrzeug, Verfahren zur Kontrolle eines Kraftfahrzeugs, Computerprogrammprodukt und computerlesbares Medium
US10621448B2 (en) 2017-08-02 2020-04-14 Wing Aviation Llc Systems and methods for determining path confidence for unmanned vehicles
US10395444B1 (en) 2017-08-10 2019-08-27 Zoox, Inc. Vehicle self-diagnostics
JP6838522B2 (ja) * 2017-08-10 2021-03-03 トヨタ自動車株式会社 画像収集システム、画像収集方法、画像収集装置、および記録媒体
US10423934B1 (en) 2017-08-10 2019-09-24 Zoox, Inc. Automated vehicle diagnostics and maintenance
US10229590B2 (en) * 2017-08-14 2019-03-12 GM Global Technology Operations LLC System and method for improved obstable awareness in using a V2X communications system
US11037063B2 (en) 2017-08-18 2021-06-15 Diveplane Corporation Detecting and correcting anomalies in computer-based reasoning systems
CN109426800B (zh) * 2017-08-22 2021-08-13 北京图森未来科技有限公司 一种车道线检测方法和装置
US10373003B2 (en) * 2017-08-22 2019-08-06 TuSimple Deep module and fitting module system and method for motion-based lane detection with multiple sensors
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
JP6821527B2 (ja) * 2017-08-22 2021-01-27 アイシン・エィ・ダブリュ株式会社 運転支援システム、経路案内システム、運転支援方法および運転支援プログラム
US10482769B2 (en) * 2017-08-22 2019-11-19 TuSimple Post-processing module system and method for motioned-based lane detection with multiple sensors
DE102017214731A1 (de) * 2017-08-23 2019-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position und zum Betreiben eines automatisierten Fahrzeugs
CN109427199B (zh) * 2017-08-24 2022-11-18 北京三星通信技术研究有限公司 用于辅助驾驶的增强现实的方法及装置
US11362882B2 (en) * 2017-08-25 2022-06-14 Veniam, Inc. Methods and systems for optimal and adaptive urban scanning using self-organized fleets of autonomous vehicles
JP6780611B2 (ja) * 2017-08-25 2020-11-04 トヨタ自動車株式会社 自動運転装置
JP7043755B2 (ja) * 2017-08-29 2022-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
JP6638178B2 (ja) * 2017-08-29 2020-01-29 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
US10317220B2 (en) * 2017-08-30 2019-06-11 Aptiv Technologies Limited Alignment of multiple digital maps used in an automated vehicle
US11010672B1 (en) 2017-09-01 2021-05-18 Google Llc Evolutionary techniques for computer-based optimization and artificial intelligence systems
CN111052201B (zh) * 2017-09-01 2022-02-01 株式会社村上开明堂 碰撞预测装置、碰撞预测方法以及存储介质
US10712155B2 (en) * 2017-09-06 2020-07-14 Howell Asset Locator, Llc Technologies for tracking and locating underground assets
US10782694B2 (en) * 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10782693B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
WO2019049664A1 (ja) * 2017-09-08 2019-03-14 日本精工株式会社 自走装置、自走装置の走行制御方法及び走行制御プログラム
US10496098B2 (en) * 2017-09-12 2019-12-03 Baidu Usa Llc Road segment-based routing guidance system for autonomous driving vehicles
US10520319B2 (en) * 2017-09-13 2019-12-31 Baidu Usa Llc Data driven map updating system for autonomous driving vehicles
US11560177B1 (en) 2017-09-13 2023-01-24 State Farm Mutual Automobile Insurance Company Real-time vehicle driver feedback based on analytics
US10611371B2 (en) 2017-09-14 2020-04-07 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for vehicle lane change prediction using structural recurrent neural networks
DE102017216238A1 (de) * 2017-09-14 2019-03-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Ermitteln einer Position eines Kraftfahrzeugs in einer Umgebung sowie Steuervorrichtung für ein Kraftfahrzeug und Recheneinrichtung zum Betreiben an einem Datennetzwerk
GB2566523B (en) * 2017-09-18 2020-02-26 Jaguar Land Rover Ltd System and method for vehicle convoys
EP3686832B1 (en) * 2017-09-19 2024-04-24 Omron Corporation Mobile sensor management unit, mobile sensor apparatus, matching apparatus, sensing data distribution system, data provision method, and data provision program
US10446024B2 (en) 2017-09-21 2019-10-15 The Parking Genius, Inc. Parking sensors capable of determining direction and speed of vehicle entering or leaving a parking lot
US10325497B2 (en) 2017-09-21 2019-06-18 The Parking Genius, Inc. Parking sensors capable of determining direction and speed of vehicle entering or leaving a parking lot using magnetic signature recognition
DE112017008071B4 (de) 2017-09-22 2023-07-20 Continental Automotive Technologies GmbH Verfahren und System zur globalen Lokalisierung
CN107703936A (zh) * 2017-09-22 2018-02-16 南京轻力舟智能科技有限公司 基于卷积神经网络的自动导航小车系统及小车定位方法
KR102271913B1 (ko) * 2017-09-22 2021-07-02 현대모비스 주식회사 차량의 측위 장치 및 방법
KR102271912B1 (ko) * 2017-09-22 2021-07-01 현대모비스 주식회사 차량의 측위 장치 및 방법
US10990111B2 (en) * 2017-09-22 2021-04-27 Hyundai Mobis Co., Ltd. Position determination apparatus and method for vehicle
US10545025B2 (en) * 2017-09-22 2020-01-28 Telenav, Inc. Navigation system with a system initiated inquiry and method of operation thereof
KR102014144B1 (ko) * 2017-09-26 2019-08-26 엘지전자 주식회사 차량의 운행 시스템을 제어하는 방법
CN107590479B (zh) * 2017-09-26 2020-04-10 京东方科技集团股份有限公司 一种道路分析处理方法及装置
DE102017217065A1 (de) * 2017-09-26 2019-03-28 Robert Bosch Gmbh Verfahren und System zum Kartieren und Lokalisieren eines Fahrzeugs basierend auf Radarmessungen
DE102017217212A1 (de) * 2017-09-27 2019-03-28 Robert Bosch Gmbh Verfahren zur Lokalisierung eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs, und ein Fahrzeugsystem
US11009884B2 (en) * 2017-09-29 2021-05-18 Direct Current Capital LLC Method for calculating nominal vehicle paths for lanes within a geographic region
CN107590484A (zh) * 2017-09-29 2018-01-16 百度在线网络技术（北京）有限公司 用于呈现信息的方法和装置
CN107883974B (zh) * 2017-09-30 2020-08-28 百度在线网络技术（北京）有限公司 导航路径的规划方法、导航服务器及计算机可读介质
US10882449B2 (en) * 2017-10-03 2021-01-05 Ford Global Technologies, Llc Vehicle light platoon
US10935982B2 (en) * 2017-10-04 2021-03-02 Huawei Technologies Co., Ltd. Method of selection of an action for an object using a neural network
US10713570B1 (en) 2017-10-04 2020-07-14 Diveplane Corporation Evolutionary programming techniques utilizing context indications
JP6969962B2 (ja) * 2017-10-05 2021-11-24 トヨタ自動車株式会社 車両の運転支援及び／又は走行制御のための地図情報提供システム
US10788831B2 (en) * 2017-10-06 2020-09-29 Wipro Limited Method and device for identifying center of a path for navigation of autonomous vehicles
CN109624849A (zh) * 2017-10-09 2019-04-16 通用汽车环球科技运作有限责任公司 生成和显示指南的方法和装置
US20200241549A1 (en) * 2017-10-12 2020-07-30 Sony Corporation Information processing apparatus, moving apparatus, and method, and program
DE102017218192A1 (de) * 2017-10-12 2019-04-18 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verkehrsschilderkennung
EP3470947B1 (en) * 2017-10-12 2021-07-28 Volvo Car Corporation Method and system for guiding an autonomous vehicle
US10703363B2 (en) * 2017-10-13 2020-07-07 Ford Global Technologies, Llc In-vehicle traffic assist
JP7160913B2 (ja) 2017-10-13 2022-10-25 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 交通関与体の配向を推定するためのシステム及び方法
DE102017218405A1 (de) * 2017-10-13 2019-04-18 Robert Bosch Gmbh Verfahren zum Verarbeiten von Bildern
KR102374919B1 (ko) * 2017-10-16 2022-03-16 주식회사 만도모빌리티솔루션즈 자율주행 지원 장치 및 방법
US10591605B2 (en) * 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
CN107909837A (zh) * 2017-10-24 2018-04-13 华为技术有限公司 一种车辆借道通行的方法和控制中心
WO2019083513A1 (en) * 2017-10-24 2019-05-02 Nissan North America, Inc. LOCATION DETERMINATION FOR VEHICLE OPERATION
JP6759175B2 (ja) * 2017-10-27 2020-09-23 株式会社東芝 情報処理装置および情報処理システム
WO2019088977A1 (en) 2017-10-30 2019-05-09 Nissan North America, Inc. Continual planning and metareasoning for controlling an autonomous vehicle
US11702070B2 (en) 2017-10-31 2023-07-18 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
WO2019088989A1 (en) 2017-10-31 2019-05-09 Nissan North America, Inc. Reinforcement and model learning for vehicle operation
US10971017B2 (en) * 2017-10-31 2021-04-06 Cummins Inc. Sensor fusion and information sharing using inter-vehicle communication
GB2568060B (en) * 2017-11-02 2020-02-12 Jaguar Land Rover Ltd Controller for a vehicle
CN108051836B (zh) * 2017-11-02 2022-06-10 中兴通讯股份有限公司 一种定位方法、装置、服务器及系统
US11151883B2 (en) * 2017-11-03 2021-10-19 International Business Machines Corporation Empathic autonomous vehicle
WO2019094564A1 (en) * 2017-11-09 2019-05-16 Westinghouse Air Brake Technologies Corporation Method and process for automatically calibrating a system to determine the heading of a vehicle
US11537868B2 (en) * 2017-11-13 2022-12-27 Lyft, Inc. Generation and update of HD maps using data from heterogeneous sources
JP7006159B2 (ja) * 2017-11-14 2022-01-24 トヨタ自動車株式会社 サーバ装置
US10859384B2 (en) 2017-11-15 2020-12-08 Uatc, Llc Lightweight vehicle localization systems and methods
FR3073482A1 (fr) * 2017-11-16 2019-05-17 Psa Automobiles Sa Procede de fiabilisation de la commande d’un vehicule autonome.
US11640561B2 (en) 2018-12-13 2023-05-02 Diveplane Corporation Dataset quality for synthetic data generation in computer-based reasoning systems
US11941542B2 (en) 2017-11-20 2024-03-26 Diveplane Corporation Computer-based reasoning system for operational situation control of controllable systems
US11676069B2 (en) 2018-12-13 2023-06-13 Diveplane Corporation Synthetic data generation using anonymity preservation in computer-based reasoning systems
JP7142428B2 (ja) * 2017-11-20 2022-09-27 株式会社ニフコ 加熱装置
US11092962B1 (en) * 2017-11-20 2021-08-17 Diveplane Corporation Computer-based reasoning system for operational situation vehicle control
US11669769B2 (en) 2018-12-13 2023-06-06 Diveplane Corporation Conditioned synthetic data generation in computer-based reasoning systems
US10453275B2 (en) * 2017-11-20 2019-10-22 Intel Corporation Sensor management in autonomous vehicles
US11625625B2 (en) 2018-12-13 2023-04-11 Diveplane Corporation Synthetic data generation in computer-based reasoning systems
US11727286B2 (en) 2018-12-13 2023-08-15 Diveplane Corporation Identifier contribution allocation in synthetic data generation in computer-based reasoning systems
GB2568548B (en) * 2017-11-21 2020-07-29 Jaguar Land Rover Ltd Apparatus and method for controling a process
US10967861B2 (en) 2018-11-13 2021-04-06 Waymo Llc Using discomfort for speed planning in responding to tailgating vehicles for autonomous vehicles
US10916132B2 (en) * 2017-11-22 2021-02-09 International Business Machines Corporation Vehicle dash cam sign reading
US10627825B2 (en) 2017-11-22 2020-04-21 Waymo Llc Using discomfort for speed planning in autonomous vehicles
US11673586B2 (en) 2017-11-28 2023-06-13 Elta Systems Ltd. Failure detection in an autonomous vehicle
US10665127B2 (en) * 2017-11-28 2020-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for sharing driver coaching data
DE102017221381A1 (de) * 2017-11-29 2019-05-29 Robert Bosch Gmbh Verfahren, Vorrichtung und Computerprogramm zum Ermitteln eines Abstandes zu einem Objekt
KR102464586B1 (ko) * 2017-11-30 2022-11-07 현대오토에버 주식회사 신호등 위치 저장 장치 및 방법
US11084504B2 (en) 2017-11-30 2021-08-10 Nissan North America, Inc. Autonomous vehicle operational management scenarios
US10435020B2 (en) * 2017-12-01 2019-10-08 Robert Bosch Gmbh Lane keeping support on roads covered by snow
US10699571B2 (en) * 2017-12-04 2020-06-30 Ford Global Technologies, Llc High definition 3D mapping
US11360475B2 (en) * 2017-12-05 2022-06-14 Waymo Llc Real-time lane change selection for autonomous vehicles
US10793161B2 (en) 2017-12-06 2020-10-06 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for selective driver coaching based on driver efficiency
US10921133B2 (en) * 2017-12-07 2021-02-16 International Business Machines Corporation Location calibration based on movement path and map objects
WO2019113531A1 (en) * 2017-12-07 2019-06-13 Ouster, Inc. Installation and use of vehicle light ranging system
CN111448442B (zh) * 2017-12-12 2023-09-12 三菱电机株式会社 地图更新装置、地图更新系统和地图更新方法
DE102017222600B3 (de) 2017-12-13 2018-12-27 Audi Ag Optische Positionsermittlung eines Fahrzeugs mittels eines Convolutional Autoencoders und/oder eines tiefen neuronalen Netzes
DE102017222810A1 (de) * 2017-12-14 2019-06-19 Robert Bosch Gmbh Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug unter Berücksichtigung charakteristischer Strukturen von Objekten
FR3075355B1 (fr) * 2017-12-14 2019-11-08 Safran Electronics & Defense Procede d'estimation de donnees de navigation d'un vehicule terrestre utilisant des parametres de geometrie et d'orientation de route
JP6766798B2 (ja) * 2017-12-15 2020-10-14 株式会社デンソー 道路地図生成システム及び道路地図生成方法
US11130497B2 (en) * 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US11273836B2 (en) 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
DE102017223206A1 (de) * 2017-12-19 2019-06-19 Robert Bosch Gmbh Niederdimensionale Ermittlung von abgegrenzten Bereichen und Bewegungspfaden
US11614621B2 (en) * 2017-12-19 2023-03-28 Datalogic IP Tech, S.r.l. User-wearable systems and methods to collect data and provide information
DE102017011808A1 (de) * 2017-12-20 2019-06-27 Daimler Ag Verfahren zur Regelung der Bewegung eines Fahrzeugs in einem automatisierten Fahrbetrieb und Vorrichtung zur Durchführung des Verfahrens
US11874120B2 (en) 2017-12-22 2024-01-16 Nissan North America, Inc. Shared autonomous vehicle operational management
JP7051424B2 (ja) * 2017-12-22 2022-04-11 株式会社デンソー 異常検出装置
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
KR102589967B1 (ko) * 2017-12-29 2023-10-16 삼성전자주식회사 차선을 검출하는 방법 및 장치
US10713510B2 (en) 2017-12-29 2020-07-14 Waymo Llc Autonomous vehicle system configured to respond to temporary speed limit signs
US11328210B2 (en) 2017-12-29 2022-05-10 Micron Technology, Inc. Self-learning in distributed architecture for enhancing artificial neural network
US10657391B2 (en) * 2018-01-05 2020-05-19 Uatc, Llc Systems and methods for image-based free space detection
US11042163B2 (en) 2018-01-07 2021-06-22 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
US10831636B2 (en) * 2018-01-08 2020-11-10 Waymo Llc Software validation for autonomous vehicles
JP7114165B2 (ja) * 2018-01-10 2022-08-08 三菱電機株式会社 位置計算装置、及び、位置計算プログラム
EP3739550A4 (en) 2018-01-11 2021-09-29 Pioneer Corporation INFORMATION RECORDING DEVICE, INFORMATION RECORDING METHOD, AND INFORMATION RECORDING PROGRAM
US10963706B2 (en) 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
US10916135B2 (en) * 2018-01-13 2021-02-09 Toyota Jidosha Kabushiki Kaisha Similarity learning and association between observations of multiple connected vehicles
KR102221695B1 (ko) * 2018-01-15 2021-03-02 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2019139243A1 (ko) * 2018-01-15 2019-07-18 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
JP7020130B2 (ja) * 2018-01-17 2022-02-16 トヨタ自動車株式会社 車両制御装置、方法、およびプログラム
JP7091670B2 (ja) * 2018-01-18 2022-06-28 株式会社デンソー 交差点内の走行軌道データ生成装置、交差点内の走行軌道データ生成プログラム及び記憶媒体
CN108280902A (zh) * 2018-01-19 2018-07-13 京东方科技集团股份有限公司 车载监控设备的文件处理方法及装置、车载监控设备
US11085786B2 (en) 2018-01-19 2021-08-10 Apple Inc. Navigation using augmented reality
US10635933B2 (en) * 2018-01-23 2020-04-28 Ford Global Technologies, Llc Vision-based methods and systems for determining trailer presence
US10379220B1 (en) 2018-01-29 2019-08-13 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned LIDAR systems
US10861033B2 (en) * 2018-01-29 2020-12-08 Florida Power & Light Company Crowd sourcing of object observations
EP3747752A4 (en) * 2018-01-30 2021-12-22 Neutron Holdings, Inc. PROCESS AND CONTROL DEVICE FOR ELECTRIC BIKES, AND ELECTRIC BIKES
US11145146B2 (en) 2018-01-31 2021-10-12 Mentor Graphics (Deutschland) Gmbh Self-diagnosis of faults in an autonomous driving system
US10553044B2 (en) 2018-01-31 2020-02-04 Mentor Graphics Development (Deutschland) Gmbh Self-diagnosis of faults with a secondary system in an autonomous driving system
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
JP6729611B2 (ja) * 2018-02-01 2020-07-22 株式会社デンソー 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体
WO2019152888A1 (en) 2018-02-02 2019-08-08 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicle
DE102018201889A1 (de) * 2018-02-07 2019-08-08 Bayerische Motoren Werke Aktiengesellschaft Aktualisierung einer geographischen Karte
CN108482246A (zh) * 2018-02-08 2018-09-04 深圳市赛格导航科技股份有限公司 一种车载驾驶辅助方法、装置、设备及存储介质
US11099017B2 (en) * 2018-02-13 2021-08-24 Baidu Usa Llc Determining driving paths for autonomous driving vehicles based on offset points
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
RU2691679C1 (ru) * 2018-02-15 2019-06-17 Андрей Владимирович ВАВИЛИН Способ создания трека пути движения для автономного движения подвижного объекта и способ осуществления автономного движения подвижного объекта по треку пути движения
FR3078045B1 (fr) * 2018-02-22 2021-03-05 Renault Sas Dispositif et procede d'aide a la conduite d'un vehicule automobile
WO2019165381A1 (en) 2018-02-23 2019-08-29 Nauto, Inc. Distributed computing resource management
JP6963158B2 (ja) 2018-02-26 2021-11-05 ニッサン ノース アメリカ，インク 集中型共有自律走行車動作管理
US11636375B2 (en) * 2018-02-27 2023-04-25 Toyota Research Institute, Inc. Adversarial learning of driving behavior
US10997433B2 (en) 2018-02-27 2021-05-04 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
KR102054926B1 (ko) * 2018-02-27 2019-12-12 주식회사 만도 Free Space 신호 기반 근거리 컷인 차량 검출 시스템 및 방법
WO2019166141A1 (en) * 2018-03-01 2019-09-06 Jaguar Land Rover Limited Vehicle control method and apparatus
EP3759562B1 (en) 2018-03-02 2022-12-28 DeepMap Inc. Camera based localization for autonomous vehicles
AU2019231196B2 (en) * 2018-03-05 2023-11-23 Mobileye Vision Technologies Ltd. Systems and methods for anonymizing navigation information
KR102565482B1 (ko) * 2018-03-06 2023-08-11 현대모비스 주식회사 차량의 측위 장치 및 그 방법
JP7102800B2 (ja) * 2018-03-13 2022-07-20 富士通株式会社 評価プログラム、評価方法および評価装置
CN108415051A (zh) * 2018-03-15 2018-08-17 斑马网络技术有限公司 车辆位置信息的纠偏方法、装置和存储介质
DE112019000048T5 (de) 2018-03-15 2020-01-16 Nvidia Corporation Bestimmung eines befahrbaren freiraums für autonome fahrzeuge
US10684132B2 (en) * 2018-03-19 2020-06-16 Here Global B.V. Generation and update of a lane network graph model
EP3640105A1 (en) 2018-03-20 2020-04-22 Mobileye Vision Technologies Ltd. Modified responsibility sensitivity safety model
US11080590B2 (en) 2018-03-21 2021-08-03 Nvidia Corporation Stereo depth estimation using deep neural networks
US11501572B2 (en) 2018-03-26 2022-11-15 Nvidia Corporation Object behavior anomaly detection using neural networks
WO2019191306A1 (en) 2018-03-27 2019-10-03 Nvidia Corporation Training, testing, and verifying autonomous machines using simulated environments
US10762363B2 (en) * 2018-03-30 2020-09-01 Toyota Jidosha Kabushiki Kaisha Road sign recognition for connected vehicles
CN111936820A (zh) * 2018-03-30 2020-11-13 丰田自动车欧洲公司 用于调整车辆外部位置信息的系统和方法
WO2019195404A1 (en) * 2018-04-03 2019-10-10 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
JP7125214B2 (ja) 2018-04-03 2022-08-24 モービルアイ ビジョン テクノロジーズ リミテッド プログラムおよびコンピューティングデバイス
US11378956B2 (en) * 2018-04-03 2022-07-05 Baidu Usa Llc Perception and planning collaboration framework for autonomous driving
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US11385633B2 (en) 2018-04-09 2022-07-12 Diveplane Corporation Model reduction and training efficiency in computer-based reasoning and artificial intelligence systems
US11454939B2 (en) 2018-04-09 2022-09-27 Diveplane Corporation Entropy-based techniques for creation of well-balanced computer based reasoning systems
DE102018205322A1 (de) * 2018-04-10 2019-10-10 Audi Ag Verfahren und Steuervorrichtung zum Erkennen einer Fehlfunktion zumindest eines Umfeldsensors eines Kraftfahrzeugs
US11585672B1 (en) * 2018-04-11 2023-02-21 Palantir Technologies Inc. Three-dimensional representations of routes
US11520335B2 (en) * 2018-04-12 2022-12-06 Baidu Usa Llc Determining driving paths for autonomous driving vehicles based on map data
US10816992B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
JP7039727B2 (ja) * 2018-04-18 2022-03-22 モービルアイ ヴィジョン テクノロジーズ リミテッド カメラを用いた車両環境モデリング
US10990101B2 (en) * 2018-04-18 2021-04-27 Baidu Usa Llc Method for drifting correction for planning a path for autonomous driving vehicles
US10522038B2 (en) 2018-04-19 2019-12-31 Micron Technology, Inc. Systems and methods for automatically warning nearby vehicles of potential hazards
CN111989631A (zh) * 2018-04-20 2020-11-24 本田技研工业株式会社 自身位置推定方法
FR3080346B1 (fr) * 2018-04-23 2020-05-15 Renault S.A.S. Procede de selection par un vehicule automobile d’une voie de circulation preferee pour traverser une aire de peage
WO2019205020A1 (zh) * 2018-04-25 2019-10-31 深圳市锐明技术股份有限公司 一种路况识别方法、装置及设备
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
US11480971B2 (en) 2018-05-01 2022-10-25 Honda Motor Co., Ltd. Systems and methods for generating instructions for navigating intersections with autonomous vehicles
CN108646675B (zh) * 2018-05-04 2021-03-16 上海罗湖斯自动化技术有限公司 存储介质、工厂控制系统、人机界面显示操作方法及其组态系统
JP6985207B2 (ja) * 2018-05-09 2021-12-22 トヨタ自動車株式会社 自動運転システム
EP3865822A1 (en) * 2018-05-15 2021-08-18 Mobileye Vision Technologies Ltd. Systems and methods for autonomous vehicle navigation
US11126873B2 (en) 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
JP6766843B2 (ja) * 2018-05-17 2020-10-14 株式会社Ｓｏｋｅｎ 自己位置推定装置
US10671070B2 (en) * 2018-05-23 2020-06-02 Baidu Usa Llc PID embedded LQR for autonomous driving vehicles (ADVS)
KR102420476B1 (ko) * 2018-05-25 2022-07-13 에스케이텔레콤 주식회사 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
US10565714B2 (en) 2018-05-25 2020-02-18 Denso Corporation Feature tracking for visual odometry
DE102018208526A1 (de) * 2018-05-29 2019-12-05 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bestimmung von Fahrzeugparametern
CN108694848A (zh) * 2018-05-30 2018-10-23 深圳众厉电力科技有限公司 一种车辆通信和导航系统
CN108646743A (zh) * 2018-06-01 2018-10-12 浙江亚特电器有限公司 用于移动载具的路径跟踪方法
CN110554953A (zh) * 2018-06-04 2019-12-10 百度在线网络技术（北京）有限公司 电子地图室内仿真导航方法、装置、电子设备和存储介质
US11880775B1 (en) 2018-06-05 2024-01-23 Diveplane Corporation Entropy-based techniques for improved automated selection in computer-based reasoning systems
US11650059B2 (en) * 2018-06-06 2023-05-16 Toyota Research Institute, Inc. Systems and methods for localizing a vehicle using an accuracy specification
CN108803608B (zh) * 2018-06-08 2021-11-30 广州市远能物流自动化设备科技有限公司 停车agv与汽车的对接定位方法及停车agv
US10745007B2 (en) * 2018-06-08 2020-08-18 Denso International America, Inc. Collision avoidance systems and methods
CN113642633B (zh) * 2018-06-11 2023-06-20 百度在线网络技术（北京）有限公司 用于对驾驶场景数据进行分类的方法、装置、设备和介质
US11287816B2 (en) 2018-06-11 2022-03-29 Uatc, Llc Navigational constraints for autonomous vehicles
EP3809399A4 (en) * 2018-06-12 2021-04-21 Mitsubishi Electric Corporation CARD GENERATION DEVICE AND SYSTEM FOR CARD GENERATION
US11181619B2 (en) 2018-06-14 2021-11-23 Waymo Llc Camera ring structure for autonomous vehicles
DE102018209607A1 (de) * 2018-06-14 2019-12-19 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen einer Position eines Kraftfahrzeugs
US10852138B2 (en) * 2018-06-14 2020-12-01 Dell Products, L.P. Scalabale simultaneous localization and mapping (SLAM) in virtual, augmented, and mixed reality (xR) applications
US11427211B2 (en) * 2018-06-18 2022-08-30 Baidu Usa Llc Methods for handling sensor failures in autonomous driving vehicles
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
CN108833833B (zh) * 2018-06-20 2021-02-02 长安大学 面向智能网联汽车场景图像数据感知与协同处理系统
JP2020527761A (ja) 2018-06-22 2020-09-10 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 高度自動運転マップを更新するためのシステムおよび方法
US10699141B2 (en) 2018-06-26 2020-06-30 Waymo Llc Phrase recognition model for autonomous vehicles
JP2020003348A (ja) 2018-06-28 2020-01-09 株式会社Ｓｏｋｅｎ 位置推定装置、位置推定システム
JP7082535B2 (ja) * 2018-06-29 2022-06-08 三菱重工業株式会社 データ生成装置、画像識別装置、データ生成方法及びプログラム
CN109063736B (zh) * 2018-06-29 2020-09-25 考拉征信服务有限公司 数据分类方法、装置、电子设备及计算机可读存储介质
USD968240S1 (en) * 2018-06-29 2022-11-01 Mitsubishi Electric Corporation Mobile mapping device for vehicle
US11120688B2 (en) 2018-06-29 2021-09-14 Nissan North America, Inc. Orientation-adjust actions for autonomous vehicle operational management
JP7149121B2 (ja) * 2018-07-10 2022-10-06 日立Astemo株式会社 車両制御装置、車両制御方法及び車両制御システム
US11015940B2 (en) * 2018-07-13 2021-05-25 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for longitudinal position correction of a vehicle using mapped landmarks
WO2020016621A1 (ja) * 2018-07-16 2020-01-23 日産自動車株式会社 走行支援方法及び走行支援装置
DE102018117290A1 (de) * 2018-07-17 2020-01-23 Daimler Ag Verfahren zur Kalibrierung und/oder Justierung mindestens einer Sensoreinheit eines Fahrzeugs
CN109101980B (zh) * 2018-07-18 2021-06-18 上海理工大学 一种基于机器学习的汽车失重检测与控制方法
US10901416B2 (en) * 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
DE102018212133A1 (de) * 2018-07-20 2020-01-23 Continental Automotive Gmbh Verfahren und Vorrichtung zur Genauigkeitssteigerung einer Ortsbestimmung
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11042157B2 (en) * 2018-07-23 2021-06-22 Baidu Usa Llc Lane/object detection and tracking perception system for autonomous vehicles
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
CN110780665B (zh) * 2018-07-26 2022-02-08 比亚迪股份有限公司 车辆无人驾驶控制方法及装置
US10875535B2 (en) * 2018-07-27 2020-12-29 Toyota Research Institute, Inc. Tactile detection to determine lane localization
US10845818B2 (en) 2018-07-30 2020-11-24 Toyota Research Institute, Inc. System and method for 3D scene reconstruction of agent operation sequences using low-level/high-level reasoning and parametric models
US11802779B2 (en) * 2018-07-30 2023-10-31 Chiba Institute Of Technology Map generation system and mobile object
FR3084631B1 (fr) * 2018-07-31 2021-01-08 Valeo Schalter & Sensoren Gmbh Assistance a la conduite pour le controle longitudinal et/ou lateral d'un vehicule automobile
DE102018212916A1 (de) * 2018-08-02 2020-02-06 Bayerische Motoren Werke Aktiengesellschaft Bestimmung eines Verlaufs einer Fahrspur
JP7157018B2 (ja) 2018-08-03 2022-10-19 株式会社Soken 移動空間情報処理システム、移動空間情報処理方法および通信装置
US10663963B2 (en) * 2018-08-03 2020-05-26 Here Global B.V. Method and apparatus for visualizing future events for passengers of autonomous vehicles
US11138418B2 (en) * 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
US10964033B2 (en) 2018-08-07 2021-03-30 Qualcomm Incorporated Decoupled motion models for object tracking
JP7031748B2 (ja) * 2018-08-08 2022-03-08 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
US10953545B2 (en) * 2018-08-13 2021-03-23 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for autonomous navigation using visual sparse map
WO2020035728A2 (en) 2018-08-14 2020-02-20 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
US10981564B2 (en) * 2018-08-17 2021-04-20 Ford Global Technologies, Llc Vehicle path planning
US10479356B1 (en) * 2018-08-17 2019-11-19 Lyft, Inc. Road segment similarity determination
US10942030B2 (en) 2018-08-17 2021-03-09 Lyft, Inc. Road segment similarity determination
KR102485353B1 (ko) * 2018-08-20 2023-01-05 현대자동차주식회사 노면 탐지 장치 및 방법
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
CN109141444B (zh) * 2018-08-28 2019-12-06 北京三快在线科技有限公司 定位方法、装置、存储介质及移动设备
CN109256028B (zh) * 2018-08-28 2020-08-11 江苏久高电子科技有限公司 一种用于无人驾驶的高精度路网自动生成的方法
JP7132037B2 (ja) * 2018-08-29 2022-09-06 フォルシアクラリオン・エレクトロニクス株式会社 車載処理装置
CN109116846B (zh) * 2018-08-29 2022-04-05 五邑大学 一种自动驾驶方法、装置、计算机设备和存储介质
DE102018214694A1 (de) * 2018-08-30 2020-03-05 Continental Automotive Gmbh Lokalisierungsvorrichtung zur visuellen Lokalisierung eines Fahrzeugs
CN109271892A (zh) 2018-08-30 2019-01-25 百度在线网络技术（北京）有限公司 一种物体识别方法、装置、设备、车辆和介质
WO2020045323A1 (ja) * 2018-08-31 2020-03-05 株式会社デンソー 地図生成システム、サーバ、車両側装置、方法、および記憶媒体
JP2020034472A (ja) 2018-08-31 2020-03-05 株式会社デンソー 自律的ナビゲーションのための地図システム、方法および記憶媒体
JP7147712B2 (ja) 2018-08-31 2022-10-05 株式会社デンソー 車両側装置、方法および記憶媒体
JP7251394B2 (ja) 2018-08-31 2023-04-04 株式会社デンソー 車両側装置、方法および記憶媒体
JP7156206B2 (ja) 2018-08-31 2022-10-19 株式会社デンソー 地図システム、車両側装置、およびプログラム
CN109212572B (zh) * 2018-08-31 2021-05-04 百度在线网络技术（北京）有限公司 定位漂移检测方法、装置、设备及计算机可读存储介质
JP7167876B2 (ja) 2018-08-31 2022-11-09 株式会社デンソー 地図生成システム、サーバ、方法
JP7067536B2 (ja) 2018-08-31 2022-05-16 株式会社デンソー 車両制御装置、方法および記憶媒体
JP7088136B2 (ja) 2018-08-31 2022-06-21 株式会社デンソー 標示物認識システム及び標示物認識方法
WO2020045318A1 (ja) * 2018-08-31 2020-03-05 株式会社デンソー 車両側装置、サーバ、方法および記憶媒体
JP6731020B2 (ja) * 2018-09-03 2020-07-29 株式会社Ｓｕｂａｒｕ 車外環境認識装置および車外環境認識方法
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
JP7014106B2 (ja) * 2018-09-04 2022-02-01 トヨタ自動車株式会社 車両制御システム
US10839230B2 (en) 2018-09-06 2020-11-17 Ford Global Technologies, Llc Multi-tier network for task-oriented deep neural network
CN109143207B (zh) * 2018-09-06 2020-11-10 百度在线网络技术（北京）有限公司 激光雷达内参精度验证方法、装置、设备及介质
US11155259B2 (en) * 2018-09-13 2021-10-26 Honda Motor Co., Ltd. System and method for egocentric-vision based future vehicle localization
US11181383B2 (en) 2018-09-15 2021-11-23 Toyota Research Institute, Inc. Systems and methods for vehicular navigation and localization
RU2743895C2 (ru) 2018-09-17 2021-03-01 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия объектов
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
JP2022517052A (ja) * 2018-09-24 2022-03-04 パナソニックＩｐマネジメント株式会社 個人体験旅程
US10809732B2 (en) * 2018-09-25 2020-10-20 Mitsubishi Electric Research Laboratories, Inc. Deterministic path planning for controlling vehicle movement
EP3844672A1 (en) * 2018-09-26 2021-07-07 Five AI Limited Structure annotation
US11040714B2 (en) * 2018-09-28 2021-06-22 Intel Corporation Vehicle controller and method for controlling a vehicle
WO2020062034A1 (en) 2018-09-28 2020-04-02 Baidu.Com Times Technology (Beijing) Co., Ltd. A tunnel-based planning system for autonomous driving vehicles
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
KR102233260B1 (ko) * 2018-10-02 2021-03-29 에스케이텔레콤 주식회사 정밀 지도 업데이트 장치 및 방법
US11656090B2 (en) 2018-10-08 2023-05-23 Here Global B.V. Method and system for generating navigation data for a geographical location
US11543824B2 (en) * 2018-10-09 2023-01-03 Waymo Llc Queueing into pickup and drop-off locations
CN115512173A (zh) 2018-10-11 2022-12-23 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
KR102521657B1 (ko) * 2018-10-15 2023-04-14 삼성전자주식회사 차량을 제어하는 방법 및 장치
KR102627453B1 (ko) * 2018-10-17 2024-01-19 삼성전자주식회사 위치 추정 장치 및 방법
US11126870B2 (en) * 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
DE102018217840A1 (de) 2018-10-18 2020-04-23 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen eines Umfeldmodells für ein Fahrzeug
US11143513B2 (en) * 2018-10-19 2021-10-12 Baidu Usa Llc Labeling scheme for labeling and generating high-definition map based on trajectories driven by vehicles
US20200124430A1 (en) * 2018-10-19 2020-04-23 Neutron Holdings, Inc. Detecting types of travel corridors on which personal mobility vehicles travel
CN112005082A (zh) * 2018-10-22 2020-11-27 谷歌有限责任公司 为导航和地理编码寻找局部突出的语义特征
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US10928826B2 (en) * 2018-10-26 2021-02-23 Lyft, Inc. Sensor fusion by operations-control vehicle for commanding and controlling autonomous vehicles
US11904863B2 (en) 2018-10-26 2024-02-20 AutoBrains Technologies Ltd. Passing a curve
US11700356B2 (en) * 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
WO2020090388A1 (ja) * 2018-10-29 2020-05-07 三菱電機株式会社 地図生成システム、地図生成方法及び地図生成プログラム
US10976747B2 (en) * 2018-10-29 2021-04-13 Here Global B.V. Method and apparatus for generating a representation of an environment
DK180774B1 (en) 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
US11827241B2 (en) * 2018-10-29 2023-11-28 Motional Ad Llc Adjusting lateral clearance for a vehicle using a multi-dimensional envelope
US11194331B2 (en) * 2018-10-30 2021-12-07 The Regents Of The University Of Michigan Unsupervised classification of encountering scenarios using connected vehicle datasets
EP3861487A1 (en) 2018-10-30 2021-08-11 Diveplane Corporation Clustering, explainability, and automated decisions in computer-based reasoning systems
DE102018127104A1 (de) * 2018-10-30 2020-04-30 Bayerische Motoren Werke Aktiengesellschaft Positionsbestimmung eines Fahrzeugs
US11494669B2 (en) 2018-10-30 2022-11-08 Diveplane Corporation Clustering, explainability, and automated decisions in computer-based reasoning systems
CN111123904B (zh) * 2018-10-31 2023-07-18 深圳市优必选科技有限公司 路径跟踪方法及终端设备
US11428781B2 (en) * 2018-11-01 2022-08-30 Robert Bosch Gmbh System and method for radar-based localization in sparse environment
DE102018127342B4 (de) * 2018-11-01 2022-09-29 Mercedes-Benz Group AG Verfahren und Vorrichtung zum Betrieb eines Assistenzsystems eines Fahrzeuges
US11801726B2 (en) * 2018-11-01 2023-10-31 ClearMotion, Inc. Vehicle control based on localization and road data
WO2020091119A1 (ko) * 2018-11-02 2020-05-07 엘지전자 주식회사 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
EP3647728B1 (en) 2018-11-05 2023-06-21 Toyota Jidosha Kabushiki Kaisha Map information system
JP7151387B2 (ja) 2018-11-06 2022-10-12 株式会社デンソー 自車挙動推定装置、自車挙動推定プログラム、記憶媒体および自車挙動推定装置の制御方法
CN109241373B (zh) * 2018-11-09 2020-06-02 百度在线网络技术（北京）有限公司 用于采集数据的方法和装置
US20200149896A1 (en) * 2018-11-09 2020-05-14 GM Global Technology Operations LLC System to derive an autonomous vehicle enabling drivable map
US11138879B2 (en) * 2018-11-09 2021-10-05 Toyota Research Institute, Inc. Temporal based road rule changes
US11176465B2 (en) 2018-11-13 2021-11-16 Diveplane Corporation Explainable and automated decisions in computer-based reasoning systems
US11209820B2 (en) * 2018-11-14 2021-12-28 Honda Motor Co., Ltd. System and method for providing autonomous vehicular navigation within a crowded environment
TWI674984B (zh) * 2018-11-15 2019-10-21 財團法人車輛研究測試中心 自動駕駛車輛之行駛軌跡規劃系統及方法
US11011063B2 (en) * 2018-11-16 2021-05-18 Toyota Motor North America, Inc. Distributed data collection and processing among vehicle convoy members
CN113039563B (zh) 2018-11-16 2024-03-12 辉达公司 学习生成用于训练神经网络的合成数据集
US11061145B2 (en) * 2018-11-19 2021-07-13 The Boeing Company Systems and methods of adjusting position information
US11037382B2 (en) * 2018-11-20 2021-06-15 Ford Global Technologies, Llc System and method for evaluating operation of environmental sensing systems of vehicles
EP3657460A1 (en) * 2018-11-23 2020-05-27 Bayerische Motoren Werke Aktiengesellschaft Method, computer program product, and driver assistance system for determining one or more lanes of a road in an environment of a vehicle
KR102219561B1 (ko) * 2018-11-23 2021-02-23 연세대학교 산학협력단 대응점 일관성에 기반한 비지도 학습 방식의 스테레오 매칭 장치 및 방법
EP3887762A2 (en) * 2018-11-26 2021-10-06 Mobileye Vision Technologies Ltd. Lane mapping and navigation
JP7115251B2 (ja) * 2018-11-27 2022-08-09 トヨタ自動車株式会社 車両の制御装置
CN111238497B (zh) 2018-11-29 2022-05-06 华为技术有限公司 一种高精度地图的构建方法及装置
US11074812B2 (en) 2018-11-29 2021-07-27 Here Global B.V. Method, apparatus, and computer program product for reducing redundant data uploads
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11460848B1 (en) * 2018-12-06 2022-10-04 Waymo Llc Biased trajectory progress metric
US11200438B2 (en) 2018-12-07 2021-12-14 Dus Operating Inc. Sequential training method for heterogeneous convolutional neural network
DK180555B1 (en) * 2018-12-10 2021-06-17 Motional Ad Llc Systems and methods for validating and calibrating sensors
JP6685619B1 (ja) * 2018-12-10 2020-04-22 三菱電機株式会社 物体認識装置および物体認識方法
US10852746B2 (en) 2018-12-12 2020-12-01 Waymo Llc Detecting general road weather conditions
US10940851B2 (en) 2018-12-12 2021-03-09 Waymo Llc Determining wheel slippage on self driving vehicle
US10976164B2 (en) 2018-12-12 2021-04-13 Here Global B.V. Methods and systems for route generation through an area
US11262209B2 (en) 2018-12-12 2022-03-01 Here Global B.V. Methods and systems for road work extension identification
US11010617B2 (en) 2018-12-12 2021-05-18 Here Global B.V. Methods and systems for determining roadwork zone extension based on lane marking data
US11244177B2 (en) * 2018-12-12 2022-02-08 Here Global B.V. Methods and systems for roadwork zone identification
US11340094B2 (en) * 2018-12-12 2022-05-24 Baidu Usa Llc Updating map data for autonomous driving vehicles based on sensor data
US11030898B2 (en) * 2018-12-13 2021-06-08 Here Global B.V. Methods and systems for map database update based on road sign presence
CN113165174A (zh) * 2018-12-13 2021-07-23 西门子股份公司 包括可到达性分析的自动化系统
CA3120498C (en) 2018-12-14 2023-09-26 Thales Canada Inc. Vehicle odometry and motion direction determination
US10928828B2 (en) * 2018-12-14 2021-02-23 Waymo Llc Detecting unfamiliar signs
JP7082940B2 (ja) * 2018-12-17 2022-06-09 本田技研工業株式会社 走行軌道決定処理及び自動運転装置
CN109788030B (zh) * 2018-12-17 2021-08-03 北京百度网讯科技有限公司 无人车数据处理方法、装置、系统及存储介质
CN111415520A (zh) * 2018-12-18 2020-07-14 北京航迹科技有限公司 处理交通目标的系统和方法
CN111413958B (zh) * 2018-12-18 2021-09-24 北京航迹科技有限公司 用于确定自动驾驶中的驾驶路径的系统和方法
KR20200081526A (ko) * 2018-12-18 2020-07-08 현대자동차주식회사 자율 주행 차량 및 그를 이용한 차량의 주행 제어 방법
US10916134B2 (en) * 2018-12-20 2021-02-09 Denso International America, Inc. Systems and methods for responding to a vehicle parked on shoulder of the road
KR102635265B1 (ko) * 2018-12-20 2024-02-13 주식회사 에이치엘클레무브 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법
KR20200084934A (ko) * 2018-12-20 2020-07-14 삼성전자주식회사 차량의 주행을 제어하는 장치 및 차량의 주행을 제어하는 장치가 캘리브레이션을 수행하는 방법
US11193789B2 (en) * 2018-12-21 2021-12-07 Here Global B.V. Method, apparatus, and computer program product for identifying at-risk road infrastructure
IL270540A (en) 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11798293B2 (en) 2018-12-28 2023-10-24 Sony Group Corporation Optical vehicle positioning
US11214268B2 (en) * 2018-12-28 2022-01-04 Intel Corporation Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles
US11200429B1 (en) * 2018-12-28 2021-12-14 Zoox, Inc. Tracking objects using sensor data segmentations and/or representations
US11308338B2 (en) 2018-12-28 2022-04-19 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
WO2020140049A1 (en) 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
US11774983B1 (en) 2019-01-02 2023-10-03 Trifo, Inc. Autonomous platform guidance systems with unknown environment mapping
CN109883435A (zh) * 2019-01-03 2019-06-14 北京百度网讯科技有限公司 地图数据采集的控制方法、装置、设备和存储介质
US11505181B2 (en) * 2019-01-04 2022-11-22 Toyota Motor Engineering & Manufacturing North America, Inc. System, method, and computer-readable storage medium for vehicle collision avoidance on the highway
EP3680876A1 (en) * 2019-01-08 2020-07-15 Visteon Global Technologies, Inc. Method for planning trajectory of vehicle
US20220114845A1 (en) * 2019-01-09 2022-04-14 Hyundai Motor Company Method and system for collecting and managing vehicle generated data
KR20200086632A (ko) * 2019-01-09 2020-07-17 현대자동차주식회사 차량 생성 데이터를 수집 및 관리하는 방법 및 시스템
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
DE102019200347A1 (de) * 2019-01-14 2020-07-16 Continental Automotive Gmbh Entfernen von Objekten aus einer digitalen Straßenkarte
US11155268B2 (en) * 2019-01-15 2021-10-26 Motional Ad Llc Utilizing passenger attention data captured in vehicles for localization and location-based services
US11127292B2 (en) * 2019-01-18 2021-09-21 GM Global Technology Operations LLC Methods and apparatus for detetermining lane-level static and dynamic information
US11016489B2 (en) * 2019-01-18 2021-05-25 Baidu Usa Llc Method to dynamically determine vehicle effective sensor coverage for autonomous driving application
KR20200090527A (ko) * 2019-01-21 2020-07-29 현대자동차주식회사 차선 인식 장치 및 그 방법
US10325179B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
US10311578B1 (en) * 2019-01-23 2019-06-04 StradVision, Inc. Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
US11151376B2 (en) * 2019-01-23 2021-10-19 Uber Technologies, Inc. Rider-driver localization for determining placement of AR content for passenger
US20230048235A1 (en) * 2019-01-23 2023-02-16 Uber Technologies, Inc. Generating augmented reality images for display on a mobile device based on ground truth image rendering
US11231283B2 (en) 2019-01-25 2022-01-25 Robert Bosch Gmbh Localization with neural network based image registration of sensor data and map data
WO2020153985A1 (en) * 2019-01-27 2020-07-30 Navioptronix, Llc Infrastructure, methods, and systems for high accuracy global positioning and self-driving vehicles
KR102034316B1 (ko) * 2019-01-29 2019-11-08 주식회사 만도 차량 위치 보정 시스템 및 방법, 그리고 카메라
US11117589B2 (en) * 2019-01-29 2021-09-14 GM Global Technology Operations LLC System and method for determining roadway bank angle
US10803333B2 (en) * 2019-01-30 2020-10-13 StradVision, Inc. Method and device for ego-vehicle localization to update HD map by using V2X information fusion
US10748032B1 (en) * 2019-01-31 2020-08-18 StradVision, Inc. Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through V2V communication and device using the same
US11288521B2 (en) * 2019-01-31 2022-03-29 Uatc, Llc Automated road edge boundary detection
US11285844B2 (en) 2019-01-31 2022-03-29 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
US11410475B2 (en) 2019-01-31 2022-08-09 Micron Technology, Inc. Autonomous vehicle data recorders
US11391586B2 (en) * 2019-01-31 2022-07-19 Here Global B.V. Method and apparatus for discovery of semantic nodes for map-based dynamic location sampling
US11373466B2 (en) 2019-01-31 2022-06-28 Micron Technology, Inc. Data recorders of autonomous vehicles
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11142196B2 (en) * 2019-02-03 2021-10-12 Denso International America, Inc. Lane detection method and system for a vehicle
US11068069B2 (en) * 2019-02-04 2021-07-20 Dus Operating Inc. Vehicle control with facial and gesture recognition using a convolutional neural network
US11188766B2 (en) * 2019-02-05 2021-11-30 Honda Motor Co., Ltd. System and method for providing context aware road-user importance estimation
US11520345B2 (en) 2019-02-05 2022-12-06 Nvidia Corporation Path perception diversity and redundancy in autonomous machine applications
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
EP3696507B1 (en) 2019-02-12 2022-04-20 Veoneer Sweden AB Representing an environment by cylindrical and planar structures
CN115143987A (zh) * 2019-02-14 2022-10-04 御眼视觉技术有限公司 用于收集与道路路段相关联的状况信息的系统和方法
US11118916B2 (en) 2019-02-14 2021-09-14 Here Global B.V. Method, apparatus, and system for providing a campaign management platform to discover map data
US11475763B2 (en) * 2019-02-15 2022-10-18 Autonomous Solutions, Inc. Semantic information sharing in autonomous vehicles
US11237277B2 (en) 2019-02-15 2022-02-01 Horizon Technologies Consultants, Ltd. Techniques for determining geolocations
WO2020168464A1 (en) * 2019-02-19 2020-08-27 SZ DJI Technology Co., Ltd. Local sensing based autonomous navigation, and associated systems and methods
CN109703568B (zh) * 2019-02-19 2020-08-18 百度在线网络技术（北京）有限公司 自动驾驶车辆行驶策略实时学习的方法、装置和服务器
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN109668742B (zh) * 2019-02-20 2020-04-28 苏州风图智能科技有限公司 基于激光雷达的无人车辆的测试方法及装置
US11556126B2 (en) 2019-02-20 2023-01-17 Toyota Research Institute, Inc. Online agent predictions using semantic maps
CN109813328B (zh) * 2019-02-22 2021-04-30 百度在线网络技术（北京）有限公司 一种驾驶路径规划方法、装置及车辆
US11292486B2 (en) * 2019-02-27 2022-04-05 Denso International America, Inc. System and apparatus for a connected vehicle
CN109993058A (zh) * 2019-02-27 2019-07-09 北京大学 基于多标签分类的道路交通标志的识别方法
US11016492B2 (en) * 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
CN109977784B (zh) * 2019-02-28 2021-03-23 北京百度网讯科技有限公司 用于获取信息的方法及装置
US10867402B2 (en) * 2019-03-01 2020-12-15 Here Global B.V. System and method for determining distance to object on road
US11422265B2 (en) 2019-03-04 2022-08-23 Ouster, Inc. Driver visualization and semantic monitoring of a vehicle using LiDAR data
US11953333B2 (en) * 2019-03-06 2024-04-09 Lyft, Inc. Systems and methods for autonomous vehicle performance evaluation
US11137766B2 (en) * 2019-03-07 2021-10-05 Zoox, Inc. State machine for traversing junctions
WO2020178639A1 (en) * 2019-03-07 2020-09-10 Mobileye Vision Technologies Ltd. Aligning road information for navigation
US11168990B2 (en) * 2019-03-11 2021-11-09 Toyota Research Institute, Inc. Crowdsourcing annotations of roadway information
CN113811886B (zh) 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
TWI705011B (zh) * 2019-03-12 2020-09-21 緯創資通股份有限公司 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統
KR20200109118A (ko) * 2019-03-12 2020-09-22 현대자동차주식회사 차량의 추락 방지 장치 및 그 방법
KR20200109595A (ko) * 2019-03-13 2020-09-23 한화디펜스 주식회사 경로 제공 장치 및 경로 제공 방법
US11287267B2 (en) 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11287266B2 (en) * 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11402220B2 (en) 2019-03-13 2022-08-02 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11096026B2 (en) * 2019-03-13 2021-08-17 Here Global B.V. Road network change detection and local propagation of detected change
EP3940422A4 (en) * 2019-03-13 2022-10-26 Chiba Institute of Technology INFORMATION PROCESSING DEVICE AND MOBILE ROBOT
US11255680B2 (en) 2019-03-13 2022-02-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11280622B2 (en) 2019-03-13 2022-03-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
CN111717192B (zh) * 2019-03-18 2022-01-28 毫末智行科技有限公司 一种自动驾驶车辆的控制方法及系统
EP3942382A4 (en) * 2019-03-19 2022-12-28 Clearmotion, Inc. VEHICLE LOCATION SYSTEMS, METHODS AND CONTROLS
US11370330B2 (en) * 2019-03-22 2022-06-28 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
JP2020160617A (ja) * 2019-03-25 2020-10-01 本田技研工業株式会社 走行路リンク作成装置および走行路リンク作成方法
US11300960B2 (en) * 2019-03-27 2022-04-12 Wipro Limited Method and device for navigating an autonomous vehicle
CN111830949B (zh) * 2019-03-27 2024-01-16 广州汽车集团股份有限公司 自动驾驶车辆控制方法、装置、计算机设备和存储介质
US11752901B2 (en) 2019-03-28 2023-09-12 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with tilting seat portion
US11148676B2 (en) * 2019-03-29 2021-10-19 Intel Corporation Detection of an anomalous image associated with image data from one or more cameras of a computer-aided or autonomous driving vehicle
CN111750881B (zh) * 2019-03-29 2022-05-13 北京魔门塔科技有限公司 一种基于路灯杆的车辆位姿的修正方法和装置
DE102019208892A1 (de) * 2019-03-29 2020-10-01 Robert Bosch Gmbh Verfahren zum Betrieb eines fahrerlosen Transportsystems
US11227489B2 (en) * 2019-03-30 2022-01-18 Intel Corporation Technologies for managing interoperable high definition maps for autonomous vehicles
CN109947108B (zh) * 2019-04-01 2021-11-26 深圳市祺丰智能机器人科技有限公司 移动机器人前方路况预测方法
US11205112B2 (en) * 2019-04-01 2021-12-21 Honeywell International Inc. Deep neural network-based inertial measurement unit (IMU) sensor compensation method
KR20200117261A (ko) 2019-04-03 2020-10-14 현대자동차주식회사 엣지 컴퓨팅을 이용한 자율 주행 셔틀 운행 방법 및 장치
JP7120130B2 (ja) 2019-04-04 2022-08-17 株式会社デンソー 車両位置決定装置および車両位置決定方法
EP3947088B1 (en) * 2019-04-05 2024-03-13 Volvo Truck Corporation A method and a control unit for determining a parameter indicative of a road capability of a road segment supporting a vehicle
US11085783B2 (en) 2019-04-09 2021-08-10 International Business Machines Corporation Supplementing learning data to determine most probable path
US10991155B2 (en) * 2019-04-16 2021-04-27 Nvidia Corporation Landmark location reconstruction in autonomous machine applications
JP7063303B2 (ja) 2019-04-23 2022-05-09 株式会社デンソー 車両用装置、車両用プログラムおよび記憶媒体
DE112020002126T5 (de) * 2019-04-26 2022-02-24 Nvidia Corporation Erkennung von kreuzungsposen in autonomen maschinenanwendungen
US11262763B2 (en) 2019-05-01 2022-03-01 Smartdrive Systems, Inc. Systems and methods for using risk profiles for creating and deploying new vehicle event definitions to a fleet of vehicles
US20200349528A1 (en) * 2019-05-01 2020-11-05 Stoa USA, Inc System and method for determining a property remodeling plan using machine vision
US11609579B2 (en) 2019-05-01 2023-03-21 Smartdrive Systems, Inc. Systems and methods for using risk profiles based on previously detected vehicle events to quantify performance of vehicle operators
US11300977B2 (en) * 2019-05-01 2022-04-12 Smartdrive Systems, Inc. Systems and methods for creating and using risk profiles for fleet management of a fleet of vehicles
EP3734390B1 (en) * 2019-05-03 2022-03-23 Ningbo Geely Automobile Research & Development Co. Ltd. Automatic onboarding for service ramp
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
DE102019003238B4 (de) * 2019-05-08 2023-04-20 Mercedes-Benz Group AG Fahrzeugortung durch Kartenabgleich unter Berücksichtigung eines Straßenprofils
IT201900006648A1 (it) * 2019-05-08 2020-11-08 Sinelec S P A Metodo e sistema di determinazione dell'impronta digitale di veicoli in transito
US11879743B2 (en) * 2019-05-13 2024-01-23 Verizon Patent And Licensing Inc. Method and device for identifying a shift in a point of interest
US20200363800A1 (en) * 2019-05-13 2020-11-19 Great Wall Motor Company Limited Decision Making Methods and Systems for Automated Vehicle
US11162798B2 (en) * 2019-05-13 2021-11-02 GM Cruise Holdings, LLC Map updates based on data captured by an autonomous vehicle
US11110917B2 (en) * 2019-05-13 2021-09-07 Great Wall Motor Company Limited Method and apparatus for interaction aware traffic scene prediction
US11247695B2 (en) 2019-05-14 2022-02-15 Kyndryl, Inc. Autonomous vehicle detection
DE102019003430B3 (de) * 2019-05-15 2020-06-04 Daimler Ag Verfahren zur Durchführung eines automatisierten oder autonomen Fahrbetriebs eines Fahrzeugs
US11467591B2 (en) * 2019-05-15 2022-10-11 Baidu Usa Llc Online agent using reinforcement learning to plan an open space trajectory for autonomous vehicles
US11409284B2 (en) * 2019-05-15 2022-08-09 Baidu Usa Llc Relaxation optimization model to plan an open space trajectory for autonomous vehicles
US11493926B2 (en) 2019-05-15 2022-11-08 Baidu Usa Llc Offline agent using reinforcement learning to speedup trajectory planning for autonomous vehicles
KR102061750B1 (ko) * 2019-05-15 2020-01-03 주식회사 라이드플럭스 사전 정보를 이용하여 차량의 주행을 제어하는 방법 및 장치
JP7333195B2 (ja) * 2019-05-15 2023-08-24 株式会社Subaru 自動運転支援システム
US11763176B1 (en) 2019-05-16 2023-09-19 Diveplane Corporation Search and query in computer-based reasoning systems
KR20200133919A (ko) * 2019-05-21 2020-12-01 현대자동차주식회사 자율주행차량의 경로 보상 장치 및 그 방법
KR102307861B1 (ko) * 2019-05-21 2021-10-01 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
US11003945B2 (en) * 2019-05-22 2021-05-11 Zoox, Inc. Localization using semantically segmented images
US11295161B2 (en) 2019-05-22 2022-04-05 Zoox, Inc. Localization using semantically segmented images
CN111986502A (zh) * 2019-05-24 2020-11-24 上海擎感智能科技有限公司 行车提醒方法、车载终端、计算机可读存储介质及车辆
DE112020002175T5 (de) * 2019-05-28 2022-06-30 Mobileye Vision Technologies Ltd. Systeme und verfahren zur fahrzeugnavigation
WO2020241766A1 (ja) * 2019-05-29 2020-12-03 株式会社デンソー 地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバ
JP6988859B2 (ja) * 2019-06-07 2022-01-05 トヨタ自動車株式会社 自己位置共有システム、車両及び端末
CN110287828B (zh) * 2019-06-11 2022-04-01 北京三快在线科技有限公司 信号灯的检测方法、装置及电子设备
US11928557B2 (en) 2019-06-13 2024-03-12 Lyft, Inc. Systems and methods for routing vehicles to capture and evaluate targeted scenarios
WO2020257366A1 (en) * 2019-06-17 2020-12-24 DeepMap Inc. Updating high definition maps based on lane closure and lane opening
US11340884B2 (en) 2019-06-20 2022-05-24 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for distributing updates
WO2020262716A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 자율주행 차량의 주행 방법
KR102176376B1 (ko) * 2019-06-24 2020-11-10 현대오트론 주식회사 물체 거리 측정 장치 및 방법
US11072338B2 (en) * 2019-06-24 2021-07-27 Here Global B.V. Method, apparatus, and system for providing road curvature data
USD930023S1 (en) * 2019-06-26 2021-09-07 Hyundai Mobis Co., Ltd. Cluster display screen or portion thereof with a graphical user interface
DE102019209226A1 (de) * 2019-06-26 2020-12-31 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Verarbeitung von durch ein Kraftfahrzeug erfassten Daten
DE102019209398A1 (de) * 2019-06-27 2020-12-31 Robert Bosch Gmbh Angleichen von Koordinatensystemen mehrerer Karten basierend auf Trajektorien
CN112149659B (zh) * 2019-06-27 2021-11-09 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
US11157007B2 (en) 2019-06-28 2021-10-26 Lyft, Inc. Approaches for encoding environmental information
US11294385B2 (en) 2019-06-28 2022-04-05 Robert Bosch Gmbh System and method for generating a representation of an environment
US11480962B1 (en) 2019-06-28 2022-10-25 Zoox, Inc. Dynamic lane expansion
US20200406894A1 (en) * 2019-06-28 2020-12-31 Zoox, Inc. System and method for determining a target vehicle speed
US11449475B2 (en) 2019-06-28 2022-09-20 Lyft, Inc. Approaches for encoding environmental information
JP7211513B2 (ja) 2019-07-03 2023-01-24 株式会社デンソー 地図データ生成装置
WO2021007152A1 (en) * 2019-07-09 2021-01-14 Refraction Ai, Inc. Method and system for autonomous vehicle control
US11619511B2 (en) 2019-07-30 2023-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for local storage based mapping
KR102081854B1 (ko) * 2019-08-01 2020-02-26 전자부품연구원 3d edm을 이용한 수어 또는 제스처 인식 방법 및 장치
TWI715137B (zh) * 2019-08-05 2021-01-01 宏碁股份有限公司 車輛控制方法與車輛控制系統
WO2021029444A1 (ko) * 2019-08-09 2021-02-18 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
US11482015B2 (en) * 2019-08-09 2022-10-25 Otobrite Electronics Inc. Method for recognizing parking space for vehicle and parking assistance system using the method
WO2021029445A1 (ko) * 2019-08-09 2021-02-18 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
US11755884B2 (en) 2019-08-20 2023-09-12 Micron Technology, Inc. Distributed machine learning with privacy protection
US11392796B2 (en) 2019-08-20 2022-07-19 Micron Technology, Inc. Feature dictionary for bandwidth enhancement
US11281227B2 (en) * 2019-08-20 2022-03-22 Volkswagen Ag Method of pedestrian activity recognition using limited data and meta-learning
US11636334B2 (en) 2019-08-20 2023-04-25 Micron Technology, Inc. Machine learning with feature obfuscation
WO2021033812A1 (ko) * 2019-08-22 2021-02-25 (주)캠시스 이종 스테레오 카메라 시스템 및 카메라 보정 방법
SE544208C2 (en) * 2019-08-23 2022-03-01 Scania Cv Ab Method and control arrangement for vehicle motion planning and control algorithms
US11945440B2 (en) * 2019-08-23 2024-04-02 Motional Ad Llc Data driven rule books
US11262201B2 (en) 2019-08-28 2022-03-01 Ford Global Technologies, Llc Location-based vehicle operation
DE112020004139T5 (de) 2019-08-31 2022-05-12 Nvidia Corporation Erstellung von karten und lokalisierung für anwendungen im bereich des autonomen fahrens
DE102019213318A1 (de) * 2019-09-03 2021-03-04 Robert Bosch Gmbh Verfahren zum Erstellen einer Karte sowie Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE112020004203T5 (de) 2019-09-05 2022-06-09 Denso Corporation Fahrzeugpositionsbestimmungsvorrichtung und Fahrzeugpositionsbestimmungsverfahren
US11263809B2 (en) * 2019-09-06 2022-03-01 Shandong University TBM-mounted virtual reconstruction system and method for surrounding rock structure of tunnel
CN111523360B (zh) * 2019-09-09 2023-06-13 毫末智行科技有限公司 用于识别路面标记的方法、装置及单目摄像头
US10609148B1 (en) * 2019-09-17 2020-03-31 Ha Q Tran Smart vehicle
WO2021053390A1 (en) * 2019-09-17 2021-03-25 Mobileye Vision Technologies Ltd. Systems and methods for predicting blind spot incursions
WO2021053620A1 (en) 2019-09-18 2021-03-25 Thales Canada Inc. Method and system for high-integrity vehicle localization and speed determination
US11087147B2 (en) 2019-09-19 2021-08-10 Ford Global Technologies, Llc Vehicle lane mapping
CN110674723B (zh) * 2019-09-19 2022-07-15 北京三快在线科技有限公司 一种确定无人驾驶车辆行驶轨迹的方法及装置
CN110794826B (zh) * 2019-09-24 2023-10-20 北京旷视机器人技术有限公司 混合导航方法及装置、通信方法及装置、设备、存储介质
US11607999B2 (en) * 2019-09-24 2023-03-21 GM Global Technology Operations LLC Method and apparatus for invisible vehicle underbody view
US11279349B2 (en) * 2019-09-26 2022-03-22 Intel Corporation Safety module, automated driving system, and methods thereof
US11037000B2 (en) 2019-09-27 2021-06-15 Gm Cruise Holdings Llc Intent-based dynamic change of resolution and region of interest of vehicle perception system
US11070721B2 (en) * 2019-09-27 2021-07-20 Gm Cruise Holdings Llc Intent-based dynamic change of compute resources of vehicle perception system
US11788846B2 (en) 2019-09-30 2023-10-17 Lyft, Inc. Mapping and determining scenarios for geographic regions
US11144769B2 (en) * 2019-09-30 2021-10-12 Pony Ai Inc. Variable resolution sensors
US11386670B2 (en) * 2019-10-03 2022-07-12 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for tracking non-connected vehicles
US20210101616A1 (en) * 2019-10-08 2021-04-08 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
EP3806065A1 (en) 2019-10-11 2021-04-14 Aptiv Technologies Limited Method and system for determining an attribute of an object at a pre-determined time point
CN110700131B (zh) * 2019-10-12 2023-03-14 山东科技大学 基于视觉特征的长隧道距离信息标识装置与使用方法
US11867519B2 (en) 2019-10-15 2024-01-09 Google Llc Weather and road surface type-based navigation directions
EP3816758B1 (en) * 2019-10-17 2024-01-17 Nokia Solutions and Networks Oy Grid-based movement control
US11816900B2 (en) 2019-10-23 2023-11-14 Lyft, Inc. Approaches for encoding environmental information
US11891073B2 (en) * 2019-10-25 2024-02-06 GM Global Technology Operations LLC Systems and methods for detecting and compensating camera yaw angle offset for autonomous vehicles
US11300967B2 (en) 2019-10-25 2022-04-12 Toyota Research Institute, Inc. System and method for collection of performance data by a vehicle
DE102019216732A1 (de) * 2019-10-30 2021-05-06 Zf Friedrichshafen Ag Verfahren sowie System zum Plausibilisieren von Kartendaten
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
US11427191B2 (en) 2019-10-31 2022-08-30 Zoox, Inc. Obstacle avoidance action
US11532167B2 (en) 2019-10-31 2022-12-20 Zoox, Inc. State machine for obstacle avoidance
US11577757B2 (en) * 2019-11-01 2023-02-14 Honda Motor Co., Ltd. System and method for future forecasting using action priors
JP2022553805A (ja) * 2019-11-04 2022-12-26 クリアモーション，インコーポレイテッド 複車線道路の特徴付け及び追跡アルゴリズム
US11693415B2 (en) * 2019-11-06 2023-07-04 Waymo Llc Predicting cut-in probabilities of surrounding agents
US20210142225A1 (en) * 2019-11-07 2021-05-13 Cortica Ltd. Ensemble of narrow ai agents
US11874118B2 (en) * 2019-11-12 2024-01-16 Gm Cruise Holdings Llc Crowdsourcing map maintenance
KR20190134554A (ko) * 2019-11-15 2019-12-04 엘지전자 주식회사 동적 장애물을 식별하는 방법 및 이를 구현한 로봇
CN112818727A (zh) * 2019-11-18 2021-05-18 华为技术有限公司 一种道路约束确定方法及装置
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
US11900820B2 (en) 2019-11-20 2024-02-13 Wing Aviation Llc Map including data for routing aerial vehicles during GNSS failure
US10816993B1 (en) * 2019-11-23 2020-10-27 Ha Q Tran Smart vehicle
US10928830B1 (en) * 2019-11-23 2021-02-23 Ha Q Tran Smart vehicle
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
JP7344776B2 (ja) * 2019-11-26 2023-09-14 日産自動車株式会社 信号機認識方法及び信号機認識装置
KR20210067199A (ko) * 2019-11-29 2021-06-08 현대모비스 주식회사 주변 차량을 활용한 곡률 정보 보정 시스템 및 방법
TWI723657B (zh) * 2019-12-02 2021-04-01 宏碁股份有限公司 車輛控制方法與車用控制系統
US11680804B2 (en) * 2019-12-02 2023-06-20 Toyota Motor North America, Inc. System and method for verifying roads
US10999719B1 (en) * 2019-12-03 2021-05-04 Gm Cruise Holdings Llc Peer-to-peer autonomous vehicle communication
FR3103891A1 (fr) 2019-12-03 2021-06-04 Psa Automobiles Sa Dispositif d’aide à la navigation à détermination de voie la plus probable pour un véhicule, et procédé d’assistance à la conduite associé
EP4070130A4 (en) * 2019-12-04 2023-12-27 Waymo LLC EFFICIENT ALGORITHM FOR PROJECTING WORLD POINTS ONTO A ROLLER SHUTTER IMAGE
KR20210076289A (ko) * 2019-12-13 2021-06-24 현대자동차주식회사 전자제어현가장치 제어 방법 및 장치
EP3836085A1 (en) 2019-12-13 2021-06-16 Sony Corporation Multi-view three-dimensional positioning
GB2594111B (en) * 2019-12-18 2023-06-07 Motional Ad Llc Camera-to-LiDAR calibration and validation
US11226207B2 (en) * 2019-12-18 2022-01-18 GM Cruise Holdings, LLC Semantic map with live updates
EP3839805A1 (en) * 2019-12-20 2021-06-23 Aptiv Technologies Limited Method for determining continuous information on an expected trajectory of an object
EP3839434A1 (en) * 2019-12-20 2021-06-23 Zenuity AB Method and system for generating and updating digital maps
CN113091757B (zh) * 2019-12-23 2022-09-27 百度在线网络技术（北京）有限公司 地图生成方法和装置
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
US11628837B2 (en) * 2019-12-27 2023-04-18 Westinghouse Air Brake Technologies Corporation Vehicle speed management systems and methods
US11335100B2 (en) * 2019-12-27 2022-05-17 Industrial Technology Research Institute Traffic light recognition system and method thereof
KR102543567B1 (ko) * 2019-12-27 2023-06-13 모셔널 에이디 엘엘씨 자율 주행 차량 운행을 지원하는 대상체 추적
RU2751734C2 (ru) 2019-12-30 2021-07-16 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и процессоры для управления рулением беспилотным автомобилем
CN116539052A (zh) * 2020-01-03 2023-08-04 御眼视觉技术有限公司 用于车辆导航的系统、方法和装置
JP2023509468A (ja) * 2020-01-03 2023-03-08 モービルアイ ビジョン テクノロジーズ リミテッド 車両ナビゲーション用のシステムおよび方法
JP7358990B2 (ja) 2020-01-06 2023-10-11 トヨタ自動車株式会社 自動運転車管理システム、管理装置、管理方法、自動運転車、及びプログラム
FR3105960B1 (fr) 2020-01-06 2021-11-26 Psa Automobiles Sa Méthodes et systèmes d’observation d’une fonction de régulation de la vitesse
DE102020200183A1 (de) * 2020-01-09 2021-07-15 Continental Automotive Gmbh Verfahren zum Erstellen einer probabilistischen Freiraumkarte mit statischen und dynamischen Objekten
US11686836B2 (en) * 2020-01-13 2023-06-27 Pony Ai Inc. Real-time and dynamic localization using active doppler sensing systems for vehicles
DE102020101445A1 (de) * 2020-01-22 2021-07-22 Bayerische Motoren Werke Aktiengesellschaft Bestimmen einer Route auf einer Karte
JP7136138B2 (ja) * 2020-01-29 2022-09-13 トヨタ自動車株式会社 地図生成用データ収集装置及び地図生成用データ収集方法ならびに車両
DE102020102278A1 (de) 2020-01-30 2021-08-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Navigationsunterstützung in einem Kraftfahrzeug auf Grundlage von Informationen aus mehreren erfassenden Kraftfahrzeugen
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
CN113212352B (zh) 2020-02-06 2023-05-05 佛吉亚歌乐电子有限公司 图像处理装置以及图像处理方法
CN111221340B (zh) * 2020-02-10 2023-04-07 电子科技大学 一种基于粗粒度特征的可迁移视觉导航设计方法
US11416959B1 (en) * 2020-02-10 2022-08-16 Zoox, Inc. Vision architecture
US11945447B2 (en) 2020-02-13 2024-04-02 Toyota Motor North America, Inc. Transport boundary expansion
US11772672B2 (en) 2020-02-13 2023-10-03 Toyota Motor North America, Inc. Unsafe transport operation
US20210256849A1 (en) * 2020-02-19 2021-08-19 GM Global Technology Operations LLC Process and system for local traffic approximation through analysis of cloud data
CN111301410B (zh) * 2020-02-24 2022-01-28 新石器慧通（北京）科技有限公司 自动驾驶车辆及其车速调节方法
EP3872692A1 (en) * 2020-02-25 2021-09-01 Zenuity AB Compensation for vertical road curvature in road geometry estimation
TWI726630B (zh) 2020-02-25 2021-05-01 宏碁股份有限公司 地圖建構系統以及地圖建構方法
EP3872710A1 (en) 2020-02-27 2021-09-01 Aptiv Technologies Limited Method and system for determining information on an expected trajectory of an object
US11195033B2 (en) * 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
US11501489B2 (en) * 2020-02-27 2022-11-15 Magic Leap, Inc. Cross reality system for large scale environment reconstruction
US11372320B2 (en) 2020-02-27 2022-06-28 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array
US11244178B2 (en) * 2020-02-28 2022-02-08 Here Global B.V. Method and system to classify signs
DE102020105313A1 (de) 2020-02-28 2021-09-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Recheneinrichtung und System zum Kartographieren von Landmarken eines Straßennetzes in einer Straßenkarte
US11300708B2 (en) 2020-03-02 2022-04-12 International Business Machines Corporation Tuning weather forecasts through hyper-localization
CN113433566B (zh) * 2020-03-04 2023-07-25 宏碁股份有限公司 地图建构系统以及地图建构方法
DK3875909T3 (en) * 2020-03-05 2022-05-02 Sick Ag Fremstilling af et nyt hybridkort til navigation
EP4118507A4 (en) * 2020-03-10 2024-02-21 Seegrid Corp SYSTEM AND METHOD FOR PATH ADJUSTMENT FOR SELF-PROPELLED VEHICLE
US11520342B2 (en) * 2020-03-12 2022-12-06 Pony Ai Inc. System and method for determining realistic trajectories
DE102020107108A1 (de) * 2020-03-16 2021-09-16 Kopernikus Automotive GmbH Verfahren und System zum autonomen Fahren eines Fahrzeugs
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
JP7363621B2 (ja) * 2020-03-17 2023-10-18 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7342753B2 (ja) * 2020-03-18 2023-09-12 株式会社デンソー 車両用位置特定装置及び車両用位置特定方法
JP7318576B2 (ja) * 2020-03-18 2023-08-01 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム、及び車両
US11210794B2 (en) * 2020-03-20 2021-12-28 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company Moving object detection system
US10809080B2 (en) 2020-03-23 2020-10-20 Alipay Labs (singapore) Pte. Ltd. System and method for determining routing by learned selective optimization
US11722705B2 (en) * 2020-03-26 2023-08-08 Toyota Motor Engineering & Manufacturing North America, Inc. Camera support by a vehicular micro cloud for remote driving
US11692830B2 (en) 2020-03-26 2023-07-04 Intel Corporation Real-time localization error correction of autonomous vehicle
KR20220153643A (ko) 2020-03-27 2022-11-18 트랜스파인더 코포레이션 주행 시나리오에 기초하여 주행 루트를 자동으로 용이하게 하는 것
US11614514B2 (en) * 2020-03-27 2023-03-28 Intel Corporation Apparatus, system and method of generating radar perception data
CN111127651A (zh) * 2020-03-31 2020-05-08 江苏广宇科技产业发展有限公司 基于高精度可视化技术的自动驾驶测试开发方法及装置
CN111680817B (zh) * 2020-04-23 2024-03-19 平安国际智慧城市科技股份有限公司 基于路线生成的跨障车辆调用方法、装置和计算机设备
CN111523471B (zh) * 2020-04-23 2023-08-04 阿波罗智联(北京)科技有限公司 车辆所在车道的确定方法、装置、设备以及存储介质
US11527161B2 (en) 2020-04-27 2022-12-13 Here Global B.V. Methods and systems for detecting a speed funnel in a region
US20210335130A1 (en) * 2020-04-28 2021-10-28 Moj.Io, Inc. Vehicle system with a safety mechanism and method of operation thereof
US11305786B2 (en) 2020-05-01 2022-04-19 Autoguide, LLC. Maintaining consistent sensor output
DE102020112958A1 (de) 2020-05-13 2021-11-18 Valeo Schalter Und Sensoren Gmbh Fahrspurbegrenzungsvorhersage
CN113672688A (zh) * 2020-05-14 2021-11-19 阿波罗智联(北京)科技有限公司 路网数据更新方法、装置和电子设备
US11847919B2 (en) 2020-05-19 2023-12-19 Toyota Motor North America, Inc. Control of transport en route
CN111611709B (zh) * 2020-05-20 2023-09-15 阿波罗智能技术(北京)有限公司 用于控制仿真车辆的方法、装置、电子设备和存储介质
US20210370933A1 (en) * 2020-05-29 2021-12-02 Here Global B.V. Methods and systems for validating path data
CN111652912B (zh) * 2020-06-10 2021-02-26 北京嘀嘀无限科技发展有限公司 车辆计数方法和系统、数据处理设备及智能拍摄设备
JP7428085B2 (ja) 2020-06-10 2024-02-06 株式会社デンソー 噴射制御装置
CN111581324B (zh) * 2020-06-10 2021-06-25 拉扎斯网络科技（上海）有限公司 导航数据的生成方法、装置及设备
JP7287353B2 (ja) * 2020-06-11 2023-06-06 トヨタ自動車株式会社 位置推定装置及び位置推定用コンピュータプログラム
CN111860155B (zh) * 2020-06-12 2022-04-29 华为技术有限公司 一种车道线的检测方法及相关设备
DE102020115718A1 (de) 2020-06-15 2021-12-16 Man Truck & Bus Se Verfahren zur Bestimmung einer Nutzungsart eines Landmarkenmusters für eine Eigenlokalisierung eines Fahrzeugs, sowie elektronisches Eigenlokalisierungssystem für ein Fahrzeug
CN111703422B (zh) * 2020-06-24 2021-06-29 北京经纬恒润科技股份有限公司 智能驾驶车辆的目标跟踪路径选择方法及装置
DE112021002680T5 (de) * 2020-06-24 2023-06-01 Mobileye Vision Technologies Ltd. Systeme und verfahren zum erkennen einer offenen tür
CN111762237B (zh) * 2020-06-29 2022-07-19 交控科技股份有限公司 轨道交通列车定位方法、装置及系统
US20210404841A1 (en) * 2020-06-30 2021-12-30 Lyft, Inc. Systems and methods for inferring information about stationary elements based on semantic relationships
CN111881235B (zh) * 2020-07-01 2022-02-01 广州小鹏自动驾驶科技有限公司 一种语义地图更新方法及装置、车辆、存储介质
US11644330B2 (en) * 2020-07-08 2023-05-09 Rivian Ip Holdings, Llc Setting destinations in vehicle navigation systems based on image metadata from portable electronic devices and from captured images using zero click navigation
CN113942524B (zh) * 2020-07-15 2023-08-08 广州汽车集团股份有限公司 一种车辆行驶控制方法、系统及计算机可读存储介质
US11816992B2 (en) 2020-07-22 2023-11-14 Waymo Llc Real time fleet management for autonomous vehicles using puddle mapping
US11691648B2 (en) * 2020-07-24 2023-07-04 SafeAI, Inc. Drivable surface identification techniques
EP3971780A1 (en) * 2020-07-24 2022-03-23 Tata Consultancy Services Limited Method and system for dynamically predicting vehicle arrival time using a temporal difference learning technique
US20220034669A1 (en) * 2020-07-28 2022-02-03 Bae Systems Information And Electronic Systems Integration Inc. Navigation architecture for contested environments
US11468688B2 (en) * 2020-07-31 2022-10-11 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle sensor data sharing
US11643082B2 (en) 2020-08-05 2023-05-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining real-time lane level snow accumulation
US11663830B2 (en) * 2020-08-21 2023-05-30 Ubicquia Iq Llc Node-based near-miss detection
CN115812227A (zh) * 2020-08-25 2023-03-17 华为技术有限公司 一种动态信息的获取方法及其相关设备
CN112084275B (zh) * 2020-08-26 2022-08-23 腾讯科技（深圳）有限公司 一种作业目标数据确定方法、装置、存储介质及设备
DE102020122266A1 (de) 2020-08-26 2022-03-03 Audi Aktiengesellschaft Verfahren zum Anpassen einer digitalen Ladestationskarte, Vorrichtung für ein Fahrzeug zum Anpassen einer digitalen Ladestationskarte sowie Kraftfahrzeug
US20220067768A1 (en) * 2020-08-28 2022-03-03 Telenav, Inc. Navigation system with high definition mapping mechanism and method of operation thereof
CN112099493B (zh) * 2020-08-31 2021-11-19 西安交通大学 一种自主移动机器人轨迹规划方法、系统及设备
US11508080B2 (en) 2020-09-15 2022-11-22 Toyota Research Institute, Inc. Systems and methods for generic visual odometry using learned features via neural camera models
US11615544B2 (en) 2020-09-15 2023-03-28 Toyota Research Institute, Inc. Systems and methods for end-to-end map building from a video sequence using neural camera models
US11494927B2 (en) 2020-09-15 2022-11-08 Toyota Research Institute, Inc. Systems and methods for self-supervised depth estimation
US11321862B2 (en) 2020-09-15 2022-05-03 Toyota Research Institute, Inc. Systems and methods for multi-camera modeling with neural camera networks
CN112092827B (zh) * 2020-09-23 2022-04-22 北京百度网讯科技有限公司 自动驾驶功能控制方法、装置、电子设备及存储介质
CN112249008B (zh) * 2020-09-30 2021-10-26 南京航空航天大学 针对复杂动态环境的无人驾驶汽车预警方法
DE102020212771A1 (de) 2020-10-09 2022-05-05 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Computerprogramm zur Trajektorienplanung für ein automatisiertes System und Rechensystem eingebettet in ein automatisiertes System zur Trajektorienplanung und/oder Regelung und/oder Steuerung
CN112389434A (zh) * 2020-10-13 2021-02-23 厦门蓝斯通信股份有限公司 一种车辆安全驾驶控制方法及系统
CN112212872B (zh) * 2020-10-19 2022-03-11 合肥工业大学 基于激光雷达和导航地图的端到端自动驾驶方法及系统
CN112258842A (zh) * 2020-10-26 2021-01-22 北京百度网讯科技有限公司 交通监测方法、装置、设备及存储介质
WO2022089743A1 (en) * 2020-10-29 2022-05-05 Huawei Technologies Co., Ltd. Apparatuses and methods for positioning a device
AU2021236537A1 (en) 2020-11-11 2022-05-26 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company Object tracking system including stereo camera assembly and methods of use
CN117774959A (zh) * 2020-11-19 2024-03-29 御眼视觉技术有限公司 轻量的交通工具中的危急场景提取系统
KR102256541B1 (ko) 2020-11-30 2021-05-25 에스케이증권 주식회사 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템
CN112683284B (zh) * 2020-12-01 2024-01-02 北京罗克维尔斯科技有限公司 更新高精地图的方法及装置
US11897447B2 (en) 2020-12-01 2024-02-13 Ford Global Technologies, Llc Iterative sequential velocity and state of charge setpoint selection for autonomous vehicles
US11807266B2 (en) * 2020-12-04 2023-11-07 Mitsubishi Electric Corporation Driving system for distribution of planning and control functionality between vehicle device and cloud computing device, vehicle computing device, and cloud computing device
US11733054B2 (en) 2020-12-11 2023-08-22 Motional Ad Llc Systems and methods for implementing occlusion representations over road features
US11827243B2 (en) * 2020-12-13 2023-11-28 Pony Ai Inc. Automated vehicle safety response methods and corresponding vehicle safety systems with serial-parallel computing architectures
US11603116B2 (en) * 2020-12-16 2023-03-14 Zoox, Inc. Determining safety area based on bounding box
US11579627B2 (en) 2020-12-17 2023-02-14 Tusimple, Inc. Systems and methods for updating navigational maps
FR3118194A1 (fr) * 2020-12-19 2022-06-24 3D Aerospace Outil de géolocalisation et de cartographie
US20220194381A1 (en) * 2020-12-23 2022-06-23 Robert Bosch Gmbh Lane Boundary Detection Using Radar Signature Trace Data
WO2022140660A1 (en) * 2020-12-23 2022-06-30 ClearMotion, Inc. Systems and methods for terrain-based insights for advanced driver assistance systems
CN112731456B (zh) * 2020-12-30 2021-08-31 上海同陆云交通科技有限公司 一种根据gnss坐标精准反算公路桩号的方法
US11951992B2 (en) * 2021-01-05 2024-04-09 Guangzhou Automobile Group Co., Ltd. Vehicle positioning method and apparatus, storage medium, and electronic device
CN112785704A (zh) * 2021-01-13 2021-05-11 北京小马慧行科技有限公司 语义地图的构建方法、计算机可读存储介质和处理器
US11436843B2 (en) * 2021-01-21 2022-09-06 Qualcomm Incorporated Lane mapping and localization using periodically-updated anchor frames
DE102021101718A1 (de) 2021-01-27 2022-07-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Vorhersagen eines Versagens einer automatisierten Fahrzeugführung, Assistenzsystem und Kraftfahrzeug
US20220244142A1 (en) * 2021-01-29 2022-08-04 Horiba Instruments Incorporated Apparatus and method for testing automated vehicles
US20220242442A1 (en) * 2021-02-03 2022-08-04 John S. McNeely Drive trajectory system and device
US20220250618A1 (en) * 2021-02-05 2022-08-11 Bendix Commercial Vehicle Systems Llc Suppression of LDW/LKA Prior to Tight Cornering of a Commercial Vehicle
DE102021102818B3 (de) 2021-02-08 2022-06-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur dreidimensionalen Rekonstruktion einer Szene in einem Vorfeld eines Fahrzeugs
JP7415975B2 (ja) * 2021-02-12 2024-01-17 トヨタ自動車株式会社 車両の走行支援システム、及び、車両の走行支援方法
CN112927353B (zh) * 2021-02-25 2023-05-19 电子科技大学 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
US20220280010A1 (en) * 2021-03-02 2022-09-08 Yujin Robot Co., Ltd. Moving path planning apparatus and method for robot
CN112988931B (zh) * 2021-03-03 2023-02-03 广州小鹏自动驾驶科技有限公司 一种行驶轨迹的对齐方法、装置、设备和存储介质
DE102021202144A1 (de) * 2021-03-05 2022-09-08 Robert Bosch Gesellschaft mit beschränkter Haftung Geschwindigkeitsregelsystem für Kraftfahrzeuge
DE102021105795A1 (de) 2021-03-10 2022-09-15 Carl Zeiss Microscopy Gmbh Verfahren und vorrichtung zur stereoskopie
WO2022190314A1 (ja) * 2021-03-11 2022-09-15 日本電気株式会社 画像解析装置、画像解析方法及びプログラムが格納されたコンピュータ可読媒体
CN112964491B (zh) * 2021-03-12 2021-12-24 中国科学院力学研究所 一种基于地磁储能释能的多自由度投送地面系统与方法
DE102021203809B4 (de) * 2021-03-16 2023-05-04 Continental Autonomous Mobility Germany GmbH Fahrverlaufsschätzung in einem Umfeldmodel
JP2022142826A (ja) * 2021-03-17 2022-10-03 本田技研工業株式会社 自車位置推定装置
TWI819289B (zh) * 2021-03-30 2023-10-21 財團法人工業技術研究院 分散式協作運算方法及系統
CN112988939B (zh) * 2021-04-01 2023-06-23 中国空空导弹研究院 一种基于航向索引的区域识别快速搜索方法
US20220340160A1 (en) * 2021-04-21 2022-10-27 Argo AI, LLC Systems and methods for simulation supported map quality assurance in an autonomous vehicle context
CN113110466B (zh) * 2021-04-22 2021-12-21 深圳市井智高科机器人有限公司 一种用于agv机器人的高灵敏度避障系统及方法
CN113223312B (zh) * 2021-04-29 2022-10-11 重庆长安汽车股份有限公司 一种基于地图的摄像头致盲预测方法、装置及存储介质
DE102021204723A1 (de) * 2021-05-10 2022-11-10 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen einer zukünftig abfahrbaren Trajektorie für ein zumindest teilweise assistiert betriebenes Kraftfahrzeug sowie Assistenzsystem
JP2022178701A (ja) * 2021-05-20 2022-12-02 フォルシアクラリオン・エレクトロニクス株式会社 ナビゲーション装置
WO2022248012A1 (en) * 2021-05-25 2022-12-01 Volvo Truck Corporation An adaptive path following algorithm for heavy-duty vehicles
KR102454599B1 (ko) * 2021-05-26 2022-10-17 포티투닷 주식회사 차로 맵 상에 객체의 위치를 결정하기 위한 방법 및 장치
US11948310B2 (en) * 2021-06-02 2024-04-02 Toyota Research Institute, Inc. Systems and methods for jointly training a machine-learning-based monocular optical flow, depth, and scene flow estimator
US20220388507A1 (en) * 2021-06-04 2022-12-08 Telenav, Inc. Vehicle system with mechanism for determining clear path and method of operation thereof
DE102021115539A1 (de) 2021-06-16 2022-12-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen eines Verlaufs einer Fahrspur auf einer Fahrbahn anhand eines darüber angeordneten Positionspfeils, Computerprogrammprodukt sowie elektronisches Fahrspurverlaufsbestimmungssystem
US20230001576A1 (en) * 2021-06-30 2023-01-05 Delta Electronics Int'l (Singapore) Pte Ltd Adaptive mobile manipulation apparatus and method
US11891060B2 (en) 2021-07-13 2024-02-06 Canoo Technologies Inc. System and method in lane departure warning with full nonlinear kinematics and curvature
US11891059B2 (en) 2021-07-13 2024-02-06 Canoo Technologies Inc. System and methods of integrating vehicle kinematics and dynamics for lateral control feature at autonomous driving
US11908200B2 (en) * 2021-07-13 2024-02-20 Canoo Technologies Inc. System and method in the prediction of target vehicle behavior based on image frame and normalization
US11840147B2 (en) 2021-07-13 2023-12-12 Canoo Technologies Inc. System and method in data-driven vehicle dynamic modeling for path-planning and control
US11845428B2 (en) 2021-07-13 2023-12-19 Canoo Technologies Inc. System and method for lane departure warning with ego motion and vision
US11875548B2 (en) * 2021-07-22 2024-01-16 GM Global Technology Operations LLC System and method for region of interest window generation for attention based perception
US11908164B2 (en) * 2021-07-23 2024-02-20 Embark Trucks Inc. Automatic extrinsic calibration using sensed data as a target
CN113485356B (zh) * 2021-07-27 2022-06-21 西北工业大学 一种机器人快速运动规划方法
CN113645280B (zh) * 2021-07-28 2023-04-07 三一专用汽车有限责任公司 车辆位置数据上传方法、装置、电子设备及存储介质
USD985607S1 (en) 2021-08-23 2023-05-09 Waymo Llc Display screen or portion thereof with graphical user interface
US20230063809A1 (en) * 2021-08-25 2023-03-02 GM Global Technology Operations LLC Method for improving road topology through sequence estimation and anchor point detetection
CN113450457B (zh) * 2021-08-31 2021-12-14 腾讯科技（深圳）有限公司 道路重建方法、装置、计算机设备和存储介质
KR102394465B1 (ko) * 2021-09-07 2022-05-06 주식회사 라이드플럭스 자율주행 차량에 대한 핸들 각도 제어명령 검증방법, 서버 및 컴퓨터프로그램
US20230076410A1 (en) * 2021-09-08 2023-03-09 Motorola Solutions, Inc. Camera system for a motor vehicle
DE102021123503A1 (de) * 2021-09-10 2023-03-16 Cariad Se Ermittlung einer absoluten Initialposition eines Fahrzeugs
CN113753082B (zh) * 2021-09-17 2023-03-10 京东鲲鹏(江苏)科技有限公司 无人车轨迹更新方法及装置、控制方法及电子设备
CN113836251A (zh) * 2021-09-17 2021-12-24 中国第一汽车股份有限公司 一种认知地图构建方法、装置、设备及介质
WO2023059222A1 (ru) * 2021-10-04 2023-04-13 Общество с ограниченной ответственностью "ЭвоКарго" Способ картографирования местности для автономных транспортных средств
DE102021126288A1 (de) * 2021-10-11 2023-04-13 Cariad Se Verfahren und Vorrichtung zum Bestimmen einer Eigenposition eines Fahrzeugs
CN113643170B (zh) * 2021-10-14 2022-01-18 枫树谷(成都)科技有限责任公司 一种大数据驱动的公共场所聚集人群疏散方法及装置
US20230121416A1 (en) * 2021-10-19 2023-04-20 Deere & Company Methods, apparatus, and articles of manufacture to select track paths for one or more vehicles in a field
US11897379B2 (en) 2021-10-20 2024-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Seat with shape memory material member actuation
DE102021127657A1 (de) 2021-10-25 2023-04-27 Bayerische Motoren Werke Aktiengesellschaft Steuerung eines Fahrzeugs
US11858504B2 (en) 2021-10-28 2024-01-02 Mobileye Vision Technologies Ltd. Stereo-assist network for determining an object's location
US11872994B2 (en) * 2021-10-30 2024-01-16 Zoox, Inc. Estimating vehicle velocity
JP7267383B1 (ja) 2021-11-05 2023-05-01 三菱電機株式会社 車両制御装置及び車両制御方法
US20230160713A1 (en) * 2021-11-19 2023-05-25 Here Global B.V. Method, apparatus and computer program product for identifying work zones within a map
EP4187343A1 (de) * 2021-11-29 2023-05-31 Pepperl+Fuchs SE Ortungsmarke, insbesondere für autonome fahrzeuge
WO2023107002A2 (en) * 2021-12-09 2023-06-15 Grabtaxi Holdings Pte. Ltd. System and method for adaptively predicting a road segment attribute based on a graph indicative of relationship between a road segment and a detection
US20230194304A1 (en) * 2021-12-21 2023-06-22 Micron Technology, Inc. Map update using images
CN114323060A (zh) * 2021-12-24 2022-04-12 阿波罗智联(北京)科技有限公司 距离确定方法及装置
TWI803165B (zh) * 2022-01-24 2023-05-21 台灣松下電器股份有限公司 遠端監控的顯示方法
US20230274554A1 (en) * 2022-02-28 2023-08-31 Continental Autonomous Mobility US, LLC System and method for vehicle image correction
CN114252082B (zh) * 2022-03-01 2022-05-17 苏州挚途科技有限公司 车辆定位方法、装置和电子设备
US11622249B1 (en) * 2022-03-12 2023-04-04 Scott C Harris Vehicle system for sharing information among smart vehicles
US11807193B2 (en) 2022-03-16 2023-11-07 Honda Motor Co., Ltd. Vehicle mounted module support system
DE102022106744B4 (de) * 2022-03-23 2023-11-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Validierung einer Entfernungsmessung
DE102022108677B3 (de) 2022-04-11 2023-06-01 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur Ermittlung von objektiven Kenngrößen für die Prädiktion einer subjektiven Bewertung eines Fahrassistenzsystems und/oder einer automatisierten Fahrassistenzfunktion
CN114689074B (zh) * 2022-04-28 2022-11-29 阿波罗智联(北京)科技有限公司 信息处理方法和导航方法
EP4336144A1 (en) * 2022-09-06 2024-03-13 Aptiv Technologies Limited Method and system for determining a path of a vehicle and method for updating information contained in a digital map
CN115423965B (zh) * 2022-11-04 2023-02-28 安徽蔚来智驾科技有限公司 地图构建方法、设备、车辆和存储介质
CN116110012B (zh) * 2023-04-14 2023-07-04 中国石油大学(华东) 用于智慧工地的危险违规动作识别方法及系统
CN116972870B (zh) * 2023-09-21 2023-12-15 南京遇简信息科技有限公司 基于计算机图像识别的道路导航增强方法、系统及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002243469A (ja) * 2001-02-19 2002-08-28 Alpine Electronics Inc ナビゲーション装置および地図データベース更新システム
JP2008076593A (ja) * 2006-09-20 2008-04-03 Hirotsu Sokichi 略地図生成装置および略地図生成方法

Family Cites Families (389)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07119617B2 (ja) * 1988-07-05 1995-12-20 マツダ株式会社 車両用ナビゲーシヨン装置
JP2669031B2 (ja) * 1989-02-28 1997-10-27 日産自動車株式会社 自律走行車両
JP2785472B2 (ja) * 1990-10-25 1998-08-13 トヨタ自動車株式会社 自動駐車装置
US5307419A (en) * 1990-11-30 1994-04-26 Honda Giken Kogyo Kabushiki Kaisha Control device of an autonomously moving body and evaluation method for data thereof
JP2742192B2 (ja) * 1993-02-04 1998-04-22 日本電信電話株式会社 経路算出装置
US5333969A (en) * 1993-03-19 1994-08-02 Blaha James R Automated pavement repair vehicle
US5544087A (en) * 1993-06-04 1996-08-06 Sumitomo Electric Industries, Ltd. Navigation system
JP3079841B2 (ja) * 1993-07-14 2000-08-21 日産自動車株式会社 道路形状及び自車両位置の計測装置
GB9417600D0 (en) * 1994-09-01 1994-10-19 British Telecomm Navigation information system
US5854987A (en) * 1995-02-22 1998-12-29 Honda Giken Kogyo Kabushiki Kaisha Vehicle steering control system using navigation system
US7418346B2 (en) * 1997-10-22 2008-08-26 Intelligent Technologies International, Inc. Collision avoidance methods and systems
US6768944B2 (en) * 2002-04-09 2004-07-27 Intelligent Technologies International, Inc. Method and system for controlling a vehicle
US6526352B1 (en) * 2001-07-19 2003-02-25 Intelligent Technologies International, Inc. Method and arrangement for mapping a road
US7426437B2 (en) * 1997-10-22 2008-09-16 Intelligent Technologies International, Inc. Accident avoidance systems and methods
US7610146B2 (en) * 1997-10-22 2009-10-27 Intelligent Technologies International, Inc. Vehicle position determining system and method
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
US6720920B2 (en) * 1997-10-22 2004-04-13 Intelligent Technologies International Inc. Method and arrangement for communicating between vehicles
JPH0995194A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
JPH1031799A (ja) * 1996-07-15 1998-02-03 Toyota Motor Corp 自動走行制御装置
KR100278972B1 (ko) * 1996-08-21 2001-01-15 모리 하루오 네비게이션장치
US5987378A (en) * 1996-10-24 1999-11-16 Trimble Navigation Limited Vehicle tracker mileage-time monitor and calibrator
JPH1186182A (ja) * 1997-09-01 1999-03-30 Honda Motor Co Ltd 自動運転制御システム
JPH11144185A (ja) * 1997-09-03 1999-05-28 Honda Motor Co Ltd 自動運転制御誘導システム
US6047234A (en) * 1997-10-16 2000-04-04 Navigation Technologies Corporation System and method for updating, enhancing or refining a geographic database using feedback
US8983771B2 (en) * 1997-10-22 2015-03-17 Intelligent Technologies International, Inc. Inter-vehicle information conveyance system and method
US8255144B2 (en) * 1997-10-22 2012-08-28 Intelligent Technologies International, Inc. Intra-vehicle information conveyance system and method
US6029173A (en) * 1997-11-26 2000-02-22 Navigation Technologies Corporation Method and system for representation and use of shape information in geographic databases
JPH11351895A (ja) * 1998-06-09 1999-12-24 Harness Syst Tech Res Ltd カーナビゲーションシステム
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP3183284B2 (ja) * 1999-01-19 2001-07-09 株式会社豊田自動織機製作所 車両の後退時の操舵支援装置
US8630795B2 (en) * 1999-03-11 2014-01-14 American Vehicular Sciences Llc Vehicle speed control method and arrangement
JP3494075B2 (ja) * 1999-05-25 2004-02-03 三菱電機株式会社 移動体の自己位置標定装置
US6385539B1 (en) 1999-08-13 2002-05-07 Daimlerchrysler Ag Method and system for autonomously developing or augmenting geographical databases by mining uncoordinated probe data
US6411204B1 (en) * 1999-11-15 2002-06-25 Donnelly Corporation Deceleration based anti-collision safety light control for vehicle
JP2001264087A (ja) * 2000-03-17 2001-09-26 Datatron:Kk 車載の位置管理情報表示装置
JP3421768B2 (ja) * 2000-03-30 2003-06-30 学校法人金沢工業大学 自律移動車の進路誘導方法ならびに自律移動車の進路誘導装置および進路誘導装置を備えた自律移動車
JP2002013939A (ja) * 2000-06-30 2002-01-18 Alpine Electronics Inc ナビゲーション装置
JP2002116689A (ja) * 2000-07-06 2002-04-19 Pioneer Electronic Corp 地図情報提供システムにおける道路情報の更新方法ならびにその更新サーバ、およびサーバプログラム、同プログラムを記録した記録媒体
US6744442B1 (en) * 2000-08-29 2004-06-01 Harris Corporation Texture mapping system used for creating three-dimensional urban models
JP2004508627A (ja) * 2000-09-08 2004-03-18 レイセオン・カンパニー 経路予測システムおよび方法
US6728629B2 (en) * 2000-11-24 2004-04-27 National Institute For Land And Infrastructure Management, Ministry Of Land, Infrastructure And Transport On-road reference point positional data delivery device
DE10065593A1 (de) * 2000-12-28 2002-07-04 Bosch Gmbh Robert Verfahren und Vorrichtung zum Erzeugen von Straßenabschnittdaten für eine digitale Landkarte
JP3483855B2 (ja) * 2001-01-16 2004-01-06 川崎重工業株式会社 車両系の走行制御方法及び装置
US6449215B1 (en) * 2001-10-09 2002-09-10 The United States Of America As Represented By The Secretary Of The Navy Three-dimensional imaging system for sonar system
JP3960851B2 (ja) * 2001-12-04 2007-08-15 パイオニア株式会社 ナビゲーション装置
JP2003227725A (ja) 2002-02-04 2003-08-15 Clarion Co Ltd 車載ナビゲーションシステム及びナビゲーション方法並びにナビゲーション用プログラム
JP2003344093A (ja) * 2002-05-31 2003-12-03 Equos Research Co Ltd 歩行者用経路案内データ配信装置、歩行者用経路案内データ配信システム及び歩行者用経路案内データ配信プログラム
US7243134B2 (en) * 2002-06-25 2007-07-10 Motorola, Inc. Server-based navigation system having dynamic transmittal of route information
JP2004045051A (ja) * 2002-07-08 2004-02-12 Matsushita Electric Ind Co Ltd 情報処理装置および情報処理システム
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
US7102496B1 (en) * 2002-07-30 2006-09-05 Yazaki North America, Inc. Multi-sensor integration for a vehicle
KR100529015B1 (ko) * 2002-10-16 2005-11-15 에스케이 텔레콤주식회사 텔레매틱스 네비게이션 시스템을 이용한 도로정보 수집시스템 및 방법
EP1555511A4 (en) * 2002-10-22 2011-12-21 Hitachi Ltd METHOD FOR DELIVERING MAP DATA FOR NAVIGATION AND COMMUNICATION SYSTEM
JP4077400B2 (ja) 2002-12-26 2008-04-16 株式会社東芝 案内情報提供装置、サーバー装置、案内情報提供方法、及びコンピュータに案内情報提供を実行させるためのプログラム
US7292723B2 (en) * 2003-02-26 2007-11-06 Walker Digital, Llc System for image analysis in a network that is structured with multiple layers and differentially weighted neurons
JP2004286641A (ja) * 2003-03-24 2004-10-14 Calsonic Kansei Corp 車両用地図処理システム
JP4170128B2 (ja) * 2003-04-03 2008-10-22 三菱電機株式会社 経路案内学習装置
US7421334B2 (en) * 2003-04-07 2008-09-02 Zoom Information Systems Centralized facility and intelligent on-board vehicle platform for collecting, analyzing and distributing information relating to transportation infrastructure and conditions
KR100946935B1 (ko) * 2003-06-02 2010-03-09 삼성전자주식회사 이동체의 위치검출장치
JP4286593B2 (ja) * 2003-06-11 2009-07-01 パナソニック株式会社 ベクトルデータの圧縮方法と装置
JP4292887B2 (ja) 2003-06-24 2009-07-08 アイシン・エィ・ダブリュ株式会社 ナビゲーションシステム及びプログラム
JP2005018218A (ja) * 2003-06-24 2005-01-20 Hitachi Systems & Services Ltd 知識情報展開装置およびその方法
JP2005070982A (ja) * 2003-08-21 2005-03-17 Fuji Heavy Ind Ltd 車両の走行制御装置
KR100540194B1 (ko) * 2003-09-23 2006-01-10 한국전자통신연구원 차량을 이용한 알에프아이디 태그 설치 시스템 및 그 방법
WO2005038402A1 (ja) 2003-10-21 2005-04-28 Waro Iwane ナビゲーション装置
JP4211594B2 (ja) * 2003-12-18 2009-01-21 日産自動車株式会社 ３次元路面走行環境モデルおよび同モデルを備えた車両挙動制御システムの評価装置
JP2005289213A (ja) 2004-03-31 2005-10-20 Shimadzu Corp 走行車両用速度制限システム
JP2005315644A (ja) 2004-04-27 2005-11-10 Mitsubishi Electric Corp 地図補正システム、事故報知システム、車両制御システム、車両誘導システム及びマンナビシステム
US20050267658A1 (en) * 2004-05-13 2005-12-01 Yong Yuan Intelligent and efficient system and/or method for automatic notification and/or enforcement of legal traffic speed limits and spots
JP3931891B2 (ja) * 2004-07-05 2007-06-20 日産自動車株式会社 車載用画像処理装置
JP4437714B2 (ja) * 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置
JP2006038558A (ja) * 2004-07-26 2006-02-09 Denso Corp カーナビゲーションシステム
JP4696248B2 (ja) * 2004-09-28 2011-06-08 国立大学法人 熊本大学 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP4128991B2 (ja) * 2004-09-30 2008-07-30 三菱電機株式会社 車線認識画像処理装置および車線認識画像処理方法
US7447592B2 (en) * 2004-10-18 2008-11-04 Ford Global Technologies Llc Path estimation and confidence level determination system for a vehicle
US8078338B2 (en) * 2004-10-22 2011-12-13 Irobot Corporation System and method for behavior based control of an autonomous vehicle
JP4433977B2 (ja) * 2004-10-26 2010-03-17 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及び地図データ更新方法
JP4604683B2 (ja) 2004-11-25 2011-01-05 日産自動車株式会社 危険状況警報装置
JP4479484B2 (ja) * 2004-11-29 2010-06-09 株式会社デンソー 車載ナビゲーション装置
JP4760715B2 (ja) * 2004-12-28 2011-08-31 株式会社豊田中央研究所 車両運動制御装置
DE602005001841T2 (de) * 2005-01-14 2008-04-17 Alcatel Lucent Navigationsdienst
US7451041B2 (en) * 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
ES2404164T3 (es) * 2005-06-06 2013-05-24 Tomtom International B.V. Dispositivo de navegación con cámara de información
US8423292B2 (en) * 2008-08-19 2013-04-16 Tomtom International B.V. Navigation device with camera-info
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
US8838374B2 (en) * 2005-07-05 2014-09-16 Mi-Jack Products, Inc. Automatic correction of past position errors for location and inventory tracking
DE102005036049A1 (de) * 2005-08-01 2007-02-08 Robert Bosch Gmbh Verfahren zur Erkennung eines Abbiegevorgangs und Fahrerassistenzsystem für Kraftfahrzeuge
JP4820712B2 (ja) * 2005-08-05 2011-11-24 アイシン・エィ・ダブリュ株式会社 路面標示認識システム
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
JP4513740B2 (ja) * 2005-12-28 2010-07-28 アイシン・エィ・ダブリュ株式会社 経路案内システム及び経路案内方法
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
EP1990788B1 (en) * 2006-03-01 2012-09-05 Toyota Jidosha Kabushiki Kaisha Vehicle path determining method and vehicle course determining device
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP4598120B2 (ja) * 2006-03-14 2010-12-15 パイオニア株式会社 位置登録装置、経路探索装置、位置登録方法、位置登録プログラムおよび記録媒体
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US20140277900A1 (en) * 2006-03-17 2014-09-18 Raj V. Abhyanker Mapping search engine offering sidewalk maps
US9373149B2 (en) * 2006-03-17 2016-06-21 Fatdoor, Inc. Autonomous neighborhood vehicle commerce network and community
US9070101B2 (en) * 2007-01-12 2015-06-30 Fatdoor, Inc. Peer-to-peer neighborhood delivery multi-copter and method
JP5130638B2 (ja) * 2006-03-22 2013-01-30 日産自動車株式会社 回避操作算出装置、回避制御装置、各装置を備える車両、回避操作算出方法および回避制御方法
JP4935145B2 (ja) * 2006-03-29 2012-05-23 株式会社デンソー カーナビゲーション装置
JP2007278765A (ja) * 2006-04-04 2007-10-25 Xanavi Informatics Corp ナビゲーション装置、および地図データ更新方法
US8108119B2 (en) * 2006-04-21 2012-01-31 Sri International Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
JP2007303842A (ja) * 2006-05-08 2007-11-22 Toyota Central Res & Dev Lab Inc 車両位置推定装置及び地図情報作成装置
US7477988B2 (en) * 2006-05-16 2009-01-13 Navteq North America, Llc Dual road geometry representation for position and curvature-heading
JP4724043B2 (ja) * 2006-05-17 2011-07-13 トヨタ自動車株式会社 対象物認識装置
US8688375B2 (en) * 2006-05-31 2014-04-01 Trx Systems, Inc. Method and system for locating and monitoring first responders
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4600357B2 (ja) * 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
US7659847B2 (en) * 2006-06-29 2010-02-09 Stolar, Inc. Radar mining guidance control system
JP4899671B2 (ja) * 2006-07-07 2012-03-21 トヨタ自動車株式会社 走行軌跡推定装置
JP4851874B2 (ja) * 2006-07-11 2012-01-11 富士通株式会社 自己位置推定プログラム、自己位置推定方法および自己位置推定装置
JP4882575B2 (ja) * 2006-07-27 2012-02-22 トヨタ自動車株式会社 自己位置推定装置
JP4718396B2 (ja) * 2006-08-24 2011-07-06 日立オートモティブシステムズ株式会社 ランドマーク認識システム
US8626727B2 (en) * 2006-08-29 2014-01-07 International Business Machines Corporation Systems and methods for providing a map of an enterprise system
US7277809B1 (en) * 2006-09-12 2007-10-02 International Business Machines Corporation Radio frequency identification tag based speedometer calibration
US7996060B2 (en) * 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
US20080114530A1 (en) * 2006-10-27 2008-05-15 Petrisor Gregory C Thin client intelligent transportation system and method for use therein
JP4703544B2 (ja) 2006-11-21 2011-06-15 トヨタ自動車株式会社 運転支援装置
US8566028B2 (en) * 2006-11-27 2013-10-22 International Business Machines Corporation Apparatus, system, and method for autonomously determining a set of destinations
EP1930863B1 (en) * 2006-12-06 2011-08-03 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080243378A1 (en) * 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
JP4437556B2 (ja) * 2007-03-30 2010-03-24 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP5064870B2 (ja) * 2007-04-17 2012-10-31 株式会社日立製作所 デジタル道路地図の生成方法及び地図生成システム
JP4358878B2 (ja) 2007-05-21 2009-11-04 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 音響経路情報を有するナビゲーションシステム
JP4886597B2 (ja) * 2007-05-25 2012-02-29 アイシン・エィ・ダブリュ株式会社 レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
KR20150038622A (ko) * 2007-08-29 2015-04-08 콘티넨탈 테베스 아게 운트 코. 오하게 특성 포인트에 의한 차량 위치의 보정
JP4981601B2 (ja) * 2007-09-21 2012-07-25 クラリオン株式会社 自車位置演算装置、自車位置演算方法、および、自車位置演算プログラム
WO2009064172A1 (en) * 2007-11-16 2009-05-22 Tele Atlas B.V. Method of and apparatus for producing lane information
KR20090051357A (ko) 2007-11-19 2009-05-22 주식회사 현대오토넷 차량용 크루즈 컨트롤 시스템 제어 장치 및 방법
US7961080B2 (en) * 2007-11-29 2011-06-14 International Business Machines Corporation System and method for automotive image capture and retrieval
US20090140887A1 (en) * 2007-11-29 2009-06-04 Breed David S Mapping Techniques Using Probe Vehicles
US9103671B1 (en) * 2007-11-29 2015-08-11 American Vehicular Sciences, LLC Mapping techniques using probe vehicles
JP4831434B2 (ja) 2007-12-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
CN101910792A (zh) * 2007-12-28 2010-12-08 三菱电机株式会社 导航装置
JP5227065B2 (ja) * 2008-01-25 2013-07-03 株式会社岩根研究所 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置
RU2010136929A (ru) * 2008-02-04 2012-03-20 Теле Атлас Норт Америка Инк. (Us) Способ для согласования карты с обнаруженными датчиком объектами
US8300058B2 (en) * 2008-03-10 2012-10-30 Navon Mois P ELUT: enhanced look-up table signal processing
JP2009216566A (ja) * 2008-03-11 2009-09-24 Aisin Aw Co Ltd 走行案内装置、走行案内方法及びコンピュータプログラム
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
NO20082337L (no) * 2008-05-22 2009-11-23 Modulprodukter As Fremgangsmate til fremstilling av veikart og bruk av samme, samt system for veikart
JP5051003B2 (ja) * 2008-05-30 2012-10-17 アイシン・エィ・ダブリュ株式会社 報知区間特定システムおよびプログラム
US20150170256A1 (en) * 2008-06-05 2015-06-18 Aisle411, Inc. Systems and Methods for Presenting Information Associated With a Three-Dimensional Location on a Two-Dimensional Display
JP5446136B2 (ja) * 2008-06-05 2014-03-19 日本電気株式会社 走行支援システムおよび走行路曲線生成方法
US8363104B2 (en) * 2008-09-25 2013-01-29 Clarion Co., Ltd. Lane determining device and navigation system
US8762046B2 (en) * 2008-10-01 2014-06-24 Navteq B.V. Creating geometry for advanced driver assistance systems
EP3975138A1 (en) * 2008-10-06 2022-03-30 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
JP5013214B2 (ja) * 2008-10-30 2012-08-29 アイシン・エィ・ダブリュ株式会社 レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置
US20100110412A1 (en) * 2008-10-31 2010-05-06 Honeywell International Inc. Systems and methods for localization and mapping using landmarks detected by a measurement device
US8422825B1 (en) * 2008-11-05 2013-04-16 Hover Inc. Method and system for geometry extraction, 3D visualization and analysis using arbitrary oblique imagery
US8103404B2 (en) * 2008-11-13 2012-01-24 Ezurio Limited System and method for odometer calibration
KR20100055254A (ko) * 2008-11-17 2010-05-26 엘지전자 주식회사 이동 단말기의 ｐｏｉ 정보 제공 방법 및 그 장치
US8078373B2 (en) * 2008-11-21 2011-12-13 GM Global Technology Operations LLC Vehicle dynamics prediction with lane/path information using a preview-correction-prediction approach
JP5239788B2 (ja) * 2008-11-28 2013-07-17 トヨタ自動車株式会社 走行環境データベース管理装置
US7868821B2 (en) * 2009-01-15 2011-01-11 Alpine Electronics, Inc Method and apparatus to estimate vehicle position and recognized landmark positions using GPS and camera
JP2010181265A (ja) * 2009-02-05 2010-08-19 Aisin Aw Co Ltd ナビゲーション装置及びナビゲーション用プログラム
US8963702B2 (en) * 2009-02-13 2015-02-24 Inthinc Technology Solutions, Inc. System and method for viewing and correcting data in a street mapping database
JP2010191661A (ja) 2009-02-18 2010-09-02 Nissan Motor Co Ltd 走行路認識装置、自動車及び走行路認識方法
US9075938B2 (en) * 2009-02-27 2015-07-07 Sri International Method and apparatus for mapping of multiple-floor structures
KR101194603B1 (ko) * 2009-03-12 2012-10-25 한국전자통신연구원 무인 운송 장치 및 그 방법
US8626444B2 (en) * 2009-03-16 2014-01-07 The Hong Kong University Of Science And Technology Safety based road map navigation
JP2010223901A (ja) * 2009-03-25 2010-10-07 Zenrin Co Ltd 地図データ誤り検査システム、地図データ誤り検査用端末装置、地図データ誤り検査方法
US8060302B2 (en) * 2009-03-31 2011-11-15 Microsoft Corporation Visual assessment of landmarks
US8912978B2 (en) * 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US8352111B2 (en) * 2009-04-06 2013-01-08 GM Global Technology Operations LLC Platoon vehicle management
US8977489B2 (en) * 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
JP2011000935A (ja) 2009-06-17 2011-01-06 Denso Corp 車両用速度制御装置
US20100321399A1 (en) * 2009-06-18 2010-12-23 Patrik Ellren Maps from Sparse Geospatial Data Tiles
US8301374B2 (en) * 2009-08-25 2012-10-30 Southwest Research Institute Position estimation for ground vehicle navigation based on landmark identification/yaw rate and perception of landmarks
US20140379254A1 (en) * 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system
JP5286214B2 (ja) * 2009-09-30 2013-09-11 日立オートモティブシステムズ株式会社 車両制御装置
EP3660813A1 (en) * 2009-10-07 2020-06-03 iOnRoad Technologies Ltd. Automatic content analysis method and system
US20110098922A1 (en) * 2009-10-27 2011-04-28 Visteon Global Technologies, Inc. Path Predictive System And Method For Vehicles
KR101265110B1 (ko) * 2009-11-03 2013-05-20 한국전자통신연구원 랜드마크를 이용한 조향 제어 장치 및 방법
JP5868586B2 (ja) 2009-11-04 2016-02-24 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置
GB2475486B (en) * 2009-11-18 2012-01-25 Vodafone Plc Method for identifying a candidate part of a map to be updated
US9848114B2 (en) * 2009-12-07 2017-12-19 Cobra Electronics Corporation Vehicle camera system
US8224516B2 (en) * 2009-12-17 2012-07-17 Deere & Company System and method for area coverage using sector decomposition
JP2011145756A (ja) 2010-01-12 2011-07-28 Renesas Electronics Corp 走行支援システム及び方法
US20110190972A1 (en) * 2010-02-02 2011-08-04 Gm Global Technology Operations, Inc. Grid unlock
KR20110092944A (ko) * 2010-02-11 2011-08-18 에스케이씨앤씨 주식회사 경로 안내 서비스 장치 및 방법, 이를 위한 클라이언트 단말
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
US9261376B2 (en) * 2010-02-24 2016-02-16 Microsoft Technology Licensing, Llc Route computation based on route-oriented vehicle trajectories
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
JP5505723B2 (ja) * 2010-03-31 2014-05-28 アイシン・エィ・ダブリュ株式会社 画像処理システム及び位置測位システム
JP5099460B2 (ja) * 2010-04-28 2012-12-19 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP5368369B2 (ja) * 2010-04-28 2013-12-18 株式会社デンソー 車載用撮像装置及び車載用画像処理装置
JP2011253241A (ja) 2010-05-31 2011-12-15 Toyota Motor Corp 物体検出装置
US9177212B2 (en) * 2010-06-15 2015-11-03 Conti Temic Microelectronic Gmbh Method for combining a road sign recognition system and a lane detection system of a motor vehicle
WO2011158304A1 (ja) * 2010-06-18 2011-12-22 三菱電機株式会社 運転支援装置、運転支援システム、および運転支援カメラユニット
US8843340B2 (en) * 2010-06-23 2014-09-23 Aisin Aw Co., Ltd. Track information generating device, track information generating method, and computer-readable storage medium
JP5472026B2 (ja) * 2010-06-29 2014-04-16 トヨタ自動車株式会社 駐車支援装置
DE102010033729B4 (de) * 2010-08-07 2014-05-08 Audi Ag Verfahren und Vorrichtung zum Bestimmen der Position eines Fahrzeugs auf einer Fahrbahn sowie Kraftwagen mit einer solchen Vorrichtung
FR2963827B1 (fr) * 2010-08-13 2012-08-17 Continental Automotive France Procede et dispositif d'aide a la conduite et a l'anticipation d'une trajectoire de route
JP5277223B2 (ja) * 2010-09-17 2013-08-28 日立オートモティブシステムズ株式会社 経路探索装置
US9118816B2 (en) * 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US8467956B2 (en) * 2010-10-18 2013-06-18 Telenav, Inc. Navigation system with lane-level mechanism and method of operation thereof
JP5545181B2 (ja) 2010-11-12 2014-07-09 株式会社デンソー 走行支援装置
DE102010062633A1 (de) * 2010-12-08 2012-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen in der Umgebung eines Fahrzeuges und Abgleich mit Verkehrszeicheninformationen aus einer digitalen Karte
KR20120064276A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 이동통신 단말의 경로 관리장치, 경로 결정장치, 경로 검증장치, 내비게이션 서비스 제공시스템 및 경로 관리방법
US8452535B2 (en) * 2010-12-13 2013-05-28 GM Global Technology Operations LLC Systems and methods for precise sub-lane vehicle positioning
DE102010063133A1 (de) * 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
BR112013016893A2 (pt) * 2010-12-29 2016-10-25 Siemens Sas sistema e método para auxiliar na mudança de pista ativo para um veículo motorizado
WO2012089281A1 (en) 2010-12-31 2012-07-05 Tomtom Belgium Nv Systems and methods for obtaining and using traffic flow information
JP5508551B2 (ja) * 2011-01-27 2014-06-04 京セラ株式会社 車両の走行支援装置
JP5263312B2 (ja) 2011-02-03 2013-08-14 トヨタ自動車株式会社 渋滞判定装置、及び車両制御装置
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
US8686873B2 (en) * 2011-02-28 2014-04-01 Toyota Motor Engineering & Manufacturing North America, Inc. Two-way video and 3D transmission between vehicles and system placed on roadside
KR101451765B1 (ko) * 2011-03-02 2014-10-20 팅크웨어(주) 전자 기기 및 전자 기기의 제어 방법
US20120233102A1 (en) * 2011-03-11 2012-09-13 Toyota Motor Engin. & Manufact. N.A.(TEMA) Apparatus and algorithmic process for an adaptive navigation policy in partially observable environments
JP5541217B2 (ja) * 2011-03-31 2014-07-09 株式会社エクォス・リサーチ 車両および車両制御プログラム
TWI437210B (zh) * 2011-04-14 2014-05-11 Inst Information Industry 藉由即時交通規則判斷資訊進行導航之電子裝置、方法以及儲存其之電腦可讀取記錄媒體
CN103562745B (zh) * 2011-04-21 2017-06-30 科尼全球公司 用于定位车辆的技术
US9233659B2 (en) * 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR20120123899A (ko) * 2011-05-02 2012-11-12 현대모비스 주식회사 차량의 주변 상황 인지 장치 및 방법
US8670903B2 (en) * 2011-05-05 2014-03-11 GM Global Technology Operations LLC Lane centering fail-safe control using differential braking
US20120303263A1 (en) * 2011-05-23 2012-11-29 Microsoft Corporation Optimization of navigation tools using spatial sorting
DE112011105204T5 (de) * 2011-05-31 2014-07-03 Hitachi, Ltd. Autonomes Bewegungssystem
US9140792B2 (en) * 2011-06-01 2015-09-22 GM Global Technology Operations LLC System and method for sensor based environmental model construction
US9562778B2 (en) * 2011-06-03 2017-02-07 Robert Bosch Gmbh Combined radar and GPS localization system
US8594923B2 (en) * 2011-06-14 2013-11-26 Crown Equipment Limited Method and apparatus for sharing map data associated with automated industrial vehicles
EP2537727B1 (en) * 2011-06-22 2015-03-11 Volvo Car Corporation Method for estimating a speed profile for a vehicle
CN103020623B (zh) 2011-09-23 2016-04-06 株式会社理光 交通标志检测方法和交通标志检测设备
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
EP2581703B1 (en) * 2011-10-12 2017-05-17 Mapquest, Inc. Systems and methods for ranking points of interest
DE102011084993A1 (de) * 2011-10-21 2013-04-25 Robert Bosch Gmbh Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem
CN102390370B (zh) * 2011-10-25 2013-07-03 河海大学 一种基于立体视觉的车辆行驶应急处理装置及方法
US10377379B2 (en) * 2011-10-29 2019-08-13 Robotic Research, Llc Method and system for utilizing the energy storage provided by a vehicle's mass in the form of potential and kinetic energy to optimize fuel consumption
JP2013117515A (ja) * 2011-11-02 2013-06-13 Aisin Aw Co Ltd レーン案内表示システム、方法およびプログラム
US9264673B2 (en) * 2011-11-20 2016-02-16 Magna Electronics, Inc. Vehicle vision system with enhanced functionality
US9026263B2 (en) * 2011-11-30 2015-05-05 Alpine Electronics, Inc. Automotive navigation system and method to utilize internal geometry of sensor position with respect to rear wheel axis
US8781170B2 (en) * 2011-12-06 2014-07-15 GM Global Technology Operations LLC Vehicle ghosting on full windshield display
KR101360424B1 (ko) * 2011-12-09 2014-02-10 현대자동차주식회사 차량용 주차궤적 도출방법
KR101703177B1 (ko) * 2011-12-14 2017-02-07 한국전자통신연구원 차량 위치 인식 장치 및 방법
US9518830B1 (en) * 2011-12-28 2016-12-13 Intelligent Technologies International, Inc. Vehicular navigation system updating based on object presence
JP5938901B2 (ja) * 2011-12-28 2016-06-22 株式会社ジェイテクト モータ制御装置および電動ポンプユニット
US8855847B2 (en) * 2012-01-20 2014-10-07 Toyota Motor Engineering & Manufacturing North America, Inc. Intelligent navigation system
DE102012201896A1 (de) * 2012-02-09 2013-08-14 Robert Bosch Gmbh Fahrerassistenzverfahren und Fahrerassistenzsystem für verschneite Straßen
US20150170386A1 (en) * 2012-02-10 2015-06-18 Google Inc. Managing updates to map tiles
US8688377B1 (en) * 2012-02-17 2014-04-01 Google Inc. System and method of using automatically-identified prominent establishments in driving directions
US9180890B2 (en) * 2012-02-27 2015-11-10 Ford Global Technologies Smart adaptive cruise control
US9384609B2 (en) * 2012-03-14 2016-07-05 Autoconnect Holdings Llc Vehicle to vehicle safety and traffic communications
US8880272B1 (en) * 2012-03-16 2014-11-04 Google Inc. Approach for estimating the geometry of roads and lanes by using vehicle trajectories
JP6197291B2 (ja) * 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
US8755967B1 (en) * 2012-03-23 2014-06-17 Google Inc. Estimating road lane geometry using lane marker observations
JP5795278B2 (ja) * 2012-03-26 2015-10-14 株式会社ゼンリンデータコム ナビゲーション装置、自律航法支援方法および自律航法支援プログラム
US8744771B2 (en) * 2012-03-26 2014-06-03 Navteq B.V. Reverse natural guidance
US8543254B1 (en) * 2012-03-28 2013-09-24 Gentex Corporation Vehicular imaging system and method for determining roadway width
US8874345B2 (en) * 2012-04-04 2014-10-28 General Electric Company Method and system for identifying an erroneous speed of a vehicle
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
US8527199B1 (en) * 2012-05-17 2013-09-03 Google Inc. Automatic collection of quality control statistics for maps used in autonomous driving
US9207094B2 (en) * 2012-06-10 2015-12-08 Apple Inc. Road height generation for a road network
US20150141043A1 (en) * 2013-08-23 2015-05-21 Cellepathy Ltd. Corrective navigation instructions
US20150168174A1 (en) * 2012-06-21 2015-06-18 Cellepathy Ltd. Navigation instructions
WO2015027248A2 (en) * 2013-08-23 2015-02-26 Cellepathy Ltd. Mobile device context aware determinations
WO2016033252A2 (en) * 2014-08-26 2016-03-03 Cellepathy Ltd. Transportation-related mobile device context inferences
US9638537B2 (en) * 2012-06-21 2017-05-02 Cellepathy Inc. Interface selection in navigation guidance systems
JP6000693B2 (ja) * 2012-07-03 2016-10-05 日立オートモティブシステムズ株式会社 駐車支援装置
US8706417B2 (en) * 2012-07-30 2014-04-22 GM Global Technology Operations LLC Anchor lane selection method using navigation input in road change scenarios
US9516582B2 (en) * 2012-07-30 2016-12-06 Qualcomm Incorporated Adaptive access point database management
JP2014035559A (ja) 2012-08-07 2014-02-24 Nissan Motor Co Ltd 車両用発進支援装置及び車間用発進支援方法
DE102012015922A1 (de) * 2012-08-10 2014-02-13 Daimler Ag Verfahren zum Durchführen eines Parkvorgangs eines Fahrzeugs mittels eines Fahrerassistenzsystems
EP2885684B1 (en) * 2012-08-14 2018-05-09 Husqvarna AB Mower with object detection system
JP5880360B2 (ja) * 2012-08-31 2016-03-09 トヨタ自動車株式会社 運転支援システムおよび運転支援方法
DE102012215562B4 (de) * 2012-09-03 2024-03-07 Robert Bosch Gmbh Verfahren zum Bestimmen einer Ausweichtrajektorie für ein Kraftfahrzeug sowie Sicherheitseinrichtung oder Sicherheitssystem
GB201216788D0 (en) * 2012-09-20 2012-11-07 Tom Tom Dev Germany Gmbh Method and system for determining a deviation in the course of a navigable stretch
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
US8949016B1 (en) * 2012-09-28 2015-02-03 Google Inc. Systems and methods for determining whether a driving environment has changed
DE102012109310A1 (de) * 2012-10-01 2014-04-03 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Unterstützen des Zurückführens eines Fahrzeugs nach dem Verlassen einer Fahrbahn
JP5527382B2 (ja) * 2012-10-12 2014-06-18 トヨタ自動車株式会社 走行支援システム及び制御装置
US20140111357A1 (en) * 2012-10-22 2014-04-24 Ford Global Technologies, Llc Method and Apparatus for Alarm Control
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
WO2014070448A1 (en) * 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
US9569984B2 (en) * 2012-12-11 2017-02-14 Abalta Technologies, Inc. Recording, monitoring, and analyzing driver behavior
WO2014097347A1 (ja) * 2012-12-18 2014-06-26 三菱電機株式会社 視認性推定装置、視認性推定方法、及び安全運転支援システム
US8825371B2 (en) * 2012-12-19 2014-09-02 Toyota Motor Engineering & Manufacturing North America, Inc. Navigation of on-road vehicle based on vertical elements
DE102012112724A1 (de) * 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
JP6033689B2 (ja) * 2013-01-09 2016-11-30 三菱電機株式会社 クルーズコントロール装置及びその方法、並びに車両特定装置
US9096267B2 (en) * 2013-01-21 2015-08-04 GM Global Technology Operations LLC Efficient data flow algorithms for autonomous lane changing, passing and overtaking behaviors
JP6020224B2 (ja) * 2013-02-07 2016-11-02 トヨタ自動車株式会社 目標走行軌跡生成装置
US9688246B2 (en) * 2013-02-25 2017-06-27 Ford Global Technologies, Llc Method and apparatus for in-vehicle alarm activation and response handling
JP2014163814A (ja) 2013-02-26 2014-09-08 Aisin Aw Co Ltd 走行案内システム、走行案内方法及びコンピュータプログラム
US9045041B2 (en) * 2013-02-27 2015-06-02 Here Global B.V. Driver behavior from probe data for augmenting a data model
US9097551B2 (en) * 2013-02-28 2015-08-04 Here Global B.V. Method and apparatus for processing location-based imaging and trace data
US20140257686A1 (en) * 2013-03-05 2014-09-11 GM Global Technology Operations LLC Vehicle lane determination
US9081651B2 (en) * 2013-03-13 2015-07-14 Ford Global Technologies, Llc Route navigation with optimal speed profile
US20140267703A1 (en) * 2013-03-15 2014-09-18 Robert M. Taylor Method and Apparatus of Mapping Landmark Position and Orientation
US9816823B2 (en) * 2013-03-15 2017-11-14 Hewlett Packard Enterprise Development Lp Updating road maps
US20140362195A1 (en) * 2013-03-15 2014-12-11 Honda Motor, Co., Ltd. Enhanced 3-dimensional (3-d) navigation
CN105074793A (zh) * 2013-03-15 2015-11-18 凯利普公司 用于车辆路径规划和交通管理的车道级车辆导航
JP6194610B2 (ja) * 2013-03-28 2017-09-13 富士通株式会社 移動距離推定装置、移動距離推定方法、及びプログラム
US9025140B2 (en) * 2013-05-07 2015-05-05 Google Inc. Methods and systems for detecting weather conditions including sunlight using vehicle onboard sensors
JP5783204B2 (ja) * 2013-05-01 2015-09-24 トヨタ自動車株式会社 運転支援装置および運転支援方法
US9254846B2 (en) * 2013-05-03 2016-02-09 Google Inc. Predictive reasoning for controlling speed of a vehicle
US9607401B2 (en) * 2013-05-08 2017-03-28 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
US9045144B2 (en) * 2013-05-09 2015-06-02 Robert Bosch Gmbh Third-order polynomial-based course prediction for driver assistance functions
KR20140133686A (ko) * 2013-05-09 2014-11-20 현대모비스 주식회사 차량 급제동 경고 장치 및 방법
US9435654B2 (en) * 2013-06-01 2016-09-06 Savari, Inc. System and method for creating, storing, and updating local dynamic MAP database with safety attribute
JP6484228B2 (ja) * 2013-06-13 2019-03-13 モービルアイ ビジョン テクノロジーズ リミテッド 視覚強化ナビゲーション
JP6197393B2 (ja) * 2013-06-20 2017-09-20 株式会社豊田中央研究所 レーン地図生成装置及びプログラム
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
EP2821307B1 (en) * 2013-07-03 2016-09-28 Volvo Car Corporation A vehicle system, a vehicle and a method for autonomous road irregularity avoidance
JP6201473B2 (ja) 2013-07-17 2017-09-27 日産自動車株式会社 車両用走行制御装置
CN103398717B (zh) * 2013-08-22 2016-04-20 成都理想境界科技有限公司 全景地图数据库采集系统及基于视觉的定位、导航方法
US20170279957A1 (en) * 2013-08-23 2017-09-28 Cellepathy Inc. Transportation-related mobile device context inferences
US9435653B2 (en) * 2013-09-17 2016-09-06 GM Global Technology Operations LLC Sensor-aided vehicle positioning system
US20150153184A1 (en) * 2013-12-04 2015-06-04 GM Global Technology Operations LLC System and method for dynamically focusing vehicle sensors
EP3808634A1 (en) * 2013-12-04 2021-04-21 Mobileye Vision Technologies Ltd. Navigating a vehicle to pass another vehicle
JP6325806B2 (ja) * 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
US9165477B2 (en) * 2013-12-06 2015-10-20 Vehicle Data Science Corporation Systems and methods for building road models, driver models, and vehicle models and making predictions therefrom
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US9340207B2 (en) * 2014-01-16 2016-05-17 Toyota Motor Engineering & Manufacturing North America, Inc. Lateral maneuver planner for automated driving system
CN111199218A (zh) * 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制系统、和图像分析系统
US9342888B2 (en) * 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images
CN103954275B (zh) * 2014-04-01 2017-02-08 西安交通大学 基于车道线检测和gis地图信息开发的视觉导航方法
WO2015159341A1 (ja) * 2014-04-14 2015-10-22 三菱電機株式会社 運転支援装置および運転支援方法
US9346167B2 (en) * 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US20150316386A1 (en) 2014-04-30 2015-11-05 Toyota Motor Engineering & Manufacturing North America, Inc. Detailed map format for autonomous driving
US9604609B2 (en) * 2014-05-12 2017-03-28 Ford Global Technologies, Llc Emergency in-lane steering assist with braking
CN106663193B (zh) * 2014-05-14 2020-12-25 御眼视觉技术有限公司 用于路缘检测和行人危险评估的系统和方法
JP6303810B2 (ja) * 2014-05-23 2018-04-04 日産自動車株式会社 車両位置推定装置、及び車両位置推定方法
US9457807B2 (en) * 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
US9428187B2 (en) * 2014-06-05 2016-08-30 GM Global Technology Operations LLC Lane change path planning algorithm for autonomous driving vehicle
US9440604B2 (en) * 2014-06-09 2016-09-13 Atieva, Inc. Time and day sensitive learning interface
CN104019825A (zh) * 2014-06-23 2014-09-03 中国北方车辆研究所 一种路径规划的确定方法
CN104050818B (zh) * 2014-06-30 2016-03-16 武汉烽火众智数字技术有限责任公司 基于目标跟踪和特征点匹配的运动车辆测速方法
KR20160002178A (ko) * 2014-06-30 2016-01-07 현대자동차주식회사 자차 위치 인식 장치 및 방법
US9575184B2 (en) * 2014-07-03 2017-02-21 Continental Advanced Lidar Solutions Us, Inc. LADAR sensor for a dense environment
US9283967B2 (en) * 2014-07-16 2016-03-15 GM Global Technology Operations LLC Accurate curvature estimation algorithm for path planning of autonomous driving vehicle
US9798324B2 (en) * 2014-07-18 2017-10-24 Helico Aerospace Industries Sia Autonomous vehicle operation
US20160027303A1 (en) * 2014-07-22 2016-01-28 Advanced Technology & Research Corp. Active detection system for low ground clearance vehicles
US10538250B2 (en) * 2014-07-23 2020-01-21 Here Global B.V. Road geometry generation from sparse data
US9628565B2 (en) 2014-07-23 2017-04-18 Here Global B.V. Highly assisted driving platform
US9470536B2 (en) 2014-08-08 2016-10-18 Here Global B.V. Apparatus and associated methods for navigation of road intersections
JP6278565B2 (ja) * 2014-08-11 2018-02-14 本田技研工業株式会社 自動運転車両制御装置
CN113158820A (zh) * 2014-08-18 2021-07-23 无比视视觉技术有限公司 在导航中对车道限制和施工区域的识别和预测
JP6591737B2 (ja) * 2014-08-25 2019-10-16 クラリオン株式会社 自動運転制御装置
CN104267721A (zh) * 2014-08-29 2015-01-07 陈业军 一种智能汽车的无人驾驶系统
KR101610502B1 (ko) * 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
US9157757B1 (en) * 2014-09-03 2015-10-13 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation
US9625912B2 (en) * 2014-09-03 2017-04-18 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation
US10484697B2 (en) * 2014-09-09 2019-11-19 Qualcomm Incorporated Simultaneous localization and mapping for video coding
US9227635B1 (en) * 2014-09-25 2016-01-05 Nissan North America, Inc. Method and system of assisting a driver of a vehicle
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9460355B2 (en) * 2014-10-14 2016-10-04 Here Global B.V. Lateral sign placement determination
US9499197B2 (en) * 2014-10-15 2016-11-22 Hua-Chuang Automobile Information Technical Center Co., Ltd. System and method for vehicle steering control
KR101583998B1 (ko) * 2014-10-17 2016-01-19 현대자동차주식회사 주차지원장치 및 방법
US9470537B2 (en) * 2014-10-22 2016-10-18 Volkswagen Ag Accurate position determination near exit lanes
EP3018027B1 (en) * 2014-11-10 2017-06-07 Volvo Car Corporation Control arrangement arranged to control an autonomous vehicle, autonomous drive arrangement, vehicle and method
US9672433B2 (en) * 2014-11-14 2017-06-06 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-directional vehicle maneuvering assistance
US10054450B2 (en) * 2014-11-21 2018-08-21 Here Global B.V. Method and apparatus for determining trajectory paths on a transportation structure
EP3032221B1 (en) * 2014-12-09 2022-03-30 Volvo Car Corporation Method and system for improving accuracy of digital map data utilized by a vehicle
US9459626B2 (en) * 2014-12-11 2016-10-04 Here Global B.V. Learning signs from vehicle probes
US9361797B1 (en) * 2014-12-11 2016-06-07 Here Global B.V. Detecting road condition changes from probe data
US10449957B2 (en) * 2014-12-29 2019-10-22 Robert Bosch Gmbh Systems and methods for operating autonomous vehicles using personalized driving profiles
US9448559B2 (en) * 2015-01-15 2016-09-20 Nissan North America, Inc. Autonomous vehicle routing and navigation using passenger docking locations
KR102623680B1 (ko) * 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US10060749B2 (en) * 2015-02-19 2018-08-28 Here Global B.V. Method and apparatus for creating a clothoid road geometry
JP6154839B2 (ja) * 2015-03-18 2017-06-28 本田技研工業株式会社 道路標識判断装置及び道路標識判断方法
US9555807B2 (en) * 2015-05-01 2017-01-31 Delphi Technologies, Inc. Automated vehicle parameter modification based on operator override
EP4220537A3 (en) * 2015-05-10 2023-08-16 Mobileye Vision Technologies Ltd. Road profile along a predicted path
JP6235528B2 (ja) * 2015-05-15 2017-11-22 トヨタ自動車株式会社 車両制御装置
US10444020B2 (en) * 2015-06-03 2019-10-15 Here Global B.V. Method and apparatus for defining road geometry from probe data
US9978284B2 (en) * 2015-06-05 2018-05-22 Here Global B.V. Method and apparatus for generating vehicle maneuver plans
US9285805B1 (en) * 2015-07-02 2016-03-15 Geodigital International Inc. Attributed roadway trajectories for self-driving vehicles
TWI591594B (zh) * 2015-07-22 2017-07-11 Chunghwa Telecom Co Ltd Method and system for detecting the location and status of traffic signs
JP6055525B1 (ja) * 2015-09-02 2016-12-27 富士重工業株式会社 車両の走行制御装置
US9507346B1 (en) * 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9836660B2 (en) * 2015-12-03 2017-12-05 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire tracks
US9494438B1 (en) * 2015-12-15 2016-11-15 Honda Motor Co., Ltd. System and method for verifying map data for a vehicle
DE102016202973B4 (de) * 2016-02-25 2018-05-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erkennen einer Straßenbaustelle
US9898005B2 (en) * 2016-06-24 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Driving path determination for autonomous vehicles
US11043124B2 (en) * 2018-01-31 2021-06-22 Peter Yeung Roadway information detection system consists of sensors on the autonomous vehicles and devices for the road
US20180307245A1 (en) * 2017-05-31 2018-10-25 Muhammad Zain Khawaja Autonomous Vehicle Corridor
US20190137287A1 (en) * 2017-06-27 2019-05-09 drive.ai Inc. Method for detecting and managing changes along road surfaces for autonomous vehicles
US10203698B1 (en) * 2017-08-10 2019-02-12 GM Global Technology Operations LLC System and method for providing a map to autonomous vehicles via a cloud-based system
US11150667B2 (en) * 2017-09-27 2021-10-19 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Nonreputable authenticated traffic signs
JP6969962B2 (ja) * 2017-10-05 2021-11-24 トヨタ自動車株式会社 車両の運転支援及び／又は走行制御のための地図情報提供システム
EP3676754A4 (en) * 2018-03-12 2021-09-01 Ratti, Jayant ARTIFICIAL INTELLIGENCE AND ROAD MANAGEMENT SYSTEM ON DEMAND
US10969237B1 (en) * 2018-03-23 2021-04-06 Apple Inc. Distributed collection and verification of map information
JP6921031B2 (ja) * 2018-04-27 2021-08-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置及び撮影方法
US10531075B1 (en) * 2018-09-27 2020-01-07 Honda Motor Co., Ltd. Synchronization controller unit for sensor node
US11433883B2 (en) * 2019-03-31 2022-09-06 Gm Cruise Holdings Llc Autonomous vehicle maneuvering based upon risk associated with occluded regions
US11346682B2 (en) * 2019-06-28 2022-05-31 GM Cruise Holdings, LLC Augmented 3D map
US11610119B2 (en) * 2020-02-21 2023-03-21 Ai4 International Oy Method and system for processing spatial data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002243469A (ja) * 2001-02-19 2002-08-28 Alpine Electronics Inc ナビゲーション装置および地図データベース更新システム
JP2008076593A (ja) * 2006-09-20 2008-04-03 Hirotsu Sokichi 略地図生成装置および略地図生成方法

Also Published As

Publication number Publication date
US20170336792A1 (en) 2017-11-23
KR20200011612A (ko) 2020-02-03
EP3845426A1 (en) 2021-07-07
US10082798B2 (en) 2018-09-25
JP2020115348A (ja) 2020-07-30
US20170336794A1 (en) 2017-11-23
US20200073388A1 (en) 2020-03-05
KR102624434B1 (ko) 2024-01-15
KR20200011566A (ko) 2020-02-03
US20170010107A1 (en) 2017-01-12
CN112945249A (zh) 2021-06-11
US9760090B2 (en) 2017-09-12
JP7298977B2 (ja) 2023-06-27
WO2016130719A2 (en) 2016-08-18
US20170010108A1 (en) 2017-01-12
AU2019283834A1 (en) 2020-01-16
CA3067177A1 (en) 2016-08-18
CN111351495A (zh) 2020-06-30
AU2021269330B2 (en) 2023-01-05
US20170010104A1 (en) 2017-01-12
JP2021105607A (ja) 2021-07-26
US20170010120A1 (en) 2017-01-12
JP2021103525A (ja) 2021-07-15
KR102622571B1 (ko) 2024-01-09
EP3845427A1 (en) 2021-07-07
US20190384295A1 (en) 2019-12-19
US20170010124A1 (en) 2017-01-12
US10613532B2 (en) 2020-04-07
CN112923936A (zh) 2021-06-08
US11378958B2 (en) 2022-07-05
US9631936B2 (en) 2017-04-25
AU2016219343B2 (en) 2021-09-02
CN112945250A (zh) 2021-06-11
US9631943B2 (en) 2017-04-25
US20190384296A1 (en) 2019-12-19
US20170010121A1 (en) 2017-01-12
US10860017B2 (en) 2020-12-08
US10908606B2 (en) 2021-02-02
US20170008521A1 (en) 2017-01-12
WO2016130719A3 (en) 2016-09-15
JP7009716B2 (ja) 2022-01-26
US20170010109A1 (en) 2017-01-12
BR112017017121A2 (pt) 2018-04-03
US20190384294A1 (en) 2019-12-19
CN111351494A (zh) 2020-06-30
CN112923936B (zh) 2023-04-18
JP2020194571A (ja) 2020-12-03
JP7077517B2 (ja) 2022-05-31
US11397433B2 (en) 2022-07-26
US11681291B2 (en) 2023-06-20
JP2021119072A (ja) 2021-08-12
KR20200011593A (ko) 2020-02-03
JP2020115136A (ja) 2020-07-30
US20170010614A1 (en) 2017-01-12
JP7070974B2 (ja) 2022-05-18
JP2021101184A (ja) 2021-07-08
US20170010616A1 (en) 2017-01-12
US20170364082A1 (en) 2017-12-21
CN112945251B (zh) 2022-06-28
US10162355B2 (en) 2018-12-25
CN112902975A (zh) 2021-06-04
CN112857387B (zh) 2022-06-28
CN112146669A (zh) 2020-12-29
US11599113B2 (en) 2023-03-07
JP2021105996A (ja) 2021-07-26
US10198001B2 (en) 2019-02-05
JP2018510373A (ja) 2018-04-12
JP2021012708A (ja) 2021-02-04
CN112945249B (zh) 2022-03-29
US9690293B2 (en) 2017-06-27
US11054827B2 (en) 2021-07-06
KR20170126909A (ko) 2017-11-20
US9696719B2 (en) 2017-07-04
JP2021104805A (ja) 2021-07-26
JP7176811B2 (ja) 2022-11-22
EP3845425A1 (en) 2021-07-07
CN112857387A (zh) 2021-05-28
US20170248960A1 (en) 2017-08-31
CA2976344A1 (en) 2016-08-18
EP3256816A2 (en) 2017-12-20
AU2019283833A1 (en) 2020-01-16
US9946260B2 (en) 2018-04-17
CN112923937B (zh) 2022-03-15
KR20200127218A (ko) 2020-11-10
JP7467365B2 (ja) 2024-04-15
KR102623680B1 (ko) 2024-01-12
EP3843000A1 (en) 2021-06-30
JP2020115349A (ja) 2020-07-30
US20170010618A1 (en) 2017-01-12
EP4180768A1 (en) 2023-05-17
US20170010105A1 (en) 2017-01-12
US20200201330A1 (en) 2020-06-25
JP7045628B2 (ja) 2022-04-01
US11774251B2 (en) 2023-10-03
US10133274B2 (en) 2018-11-20
US20170031359A1 (en) 2017-02-02
US9623905B2 (en) 2017-04-18
KR102534792B1 (ko) 2023-05-19
US9939813B2 (en) 2018-04-10
CA3067160A1 (en) 2016-08-18
US20200064843A1 (en) 2020-02-27
US20200064844A1 (en) 2020-02-27
US9709986B2 (en) 2017-07-18
US10635110B2 (en) 2020-04-28
JP2023126882A (ja) 2023-09-12
EP3885217A1 (en) 2021-09-29
EP3761226A1 (en) 2021-01-06
JP7077520B2 (ja) 2022-05-31
US10101744B2 (en) 2018-10-16
US20170010115A1 (en) 2017-01-12
EP3734504A1 (en) 2020-11-04
EP3842747A1 (en) 2021-06-30
US9665100B2 (en) 2017-05-30
AU2016219343A1 (en) 2017-08-31
US11781870B2 (en) 2023-10-10
US9817399B2 (en) 2017-11-14
JP7280465B2 (ja) 2023-05-24
US20200326707A1 (en) 2020-10-15
US20170336793A1 (en) 2017-11-23
CN111380545A (zh) 2020-07-07
CN112945251A (zh) 2021-06-11
AU2021269330A1 (en) 2021-12-09
JP2020193984A (ja) 2020-12-03
US11392123B2 (en) 2022-07-19
US20180217600A1 (en) 2018-08-02
US20170008562A1 (en) 2017-01-12
CN107438754A (zh) 2017-12-05
US20170336801A1 (en) 2017-11-23
CN112923937A (zh) 2021-06-08
US20170010106A1 (en) 2017-01-12
US11422554B2 (en) 2022-08-23
US20170010617A1 (en) 2017-01-12
US10317903B2 (en) 2019-06-11
US20220221860A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
KR102603648B1 (ko) 자율 주행을 위한 약도

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
X091 Application refused [patent]
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant