KR20210042387A - 안전 거리로 항법하기 위한 시스템 및 방법 - Google Patents

안전 거리로 항법하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20210042387A
KR20210042387A KR1020217007561A KR20217007561A KR20210042387A KR 20210042387 A KR20210042387 A KR 20210042387A KR 1020217007561 A KR1020217007561 A KR 1020217007561A KR 20217007561 A KR20217007561 A KR 20217007561A KR 20210042387 A KR20210042387 A KR 20210042387A
Authority
KR
South Korea
Prior art keywords
host vehicle
vehicle
target vehicle
distance
navigation
Prior art date
Application number
KR1020217007561A
Other languages
English (en)
Inventor
샤이 샤레브-슈워츠
샤키드 샴마흐
암논 샤슈아
바라크 코헨
지브 아델만
Original Assignee
모빌아이 비젼 테크놀로지스 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모빌아이 비젼 테크놀로지스 엘티디. filed Critical 모빌아이 비젼 테크놀로지스 엘티디.
Publication of KR20210042387A publication Critical patent/KR20210042387A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/247—
    • G05D1/249—
    • G05D1/617—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/12—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/12—Lateral speed
    • B60W2520/125—Lateral acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/201—Dimensions of vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/45—Pedestrian sidewalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4043—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/806—Relative heading
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects
    • B60W2754/20—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects
    • B60W2754/30—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B60Y2300/095—Predicting travel path or likelihood of collision
    • B60Y2300/0952—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B60Y2300/095—Predicting travel path or likelihood of collision
    • B60Y2300/0954—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18091—Preparing for stopping
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

호스트 차량의 항법을 위한 시스템 및 방법이 개시된다. 일 실시예에서, 적어도 하나의 처리 장치는 호스트 차량의 주변상황을 나타내는 이미지를 수신하고, 호스트 차량의 예정 항법 동작을 결정하고, 이미지를 분석하여 진행 방향이 호스트 차량을 향하는 타깃 차량을 식별하고, 예정 항법 동작을 취하는 경우의 결과일 수 있는 호스트 차량과 타깃 차량 사이의 다음 상태 거리를 판단하도록 프로그램 될 수 있다. 적어도 하나의 처리 장치는 또한 호스트 차량의 제동률, 최대 가속 능력, 및 현재 속도에 의거하여 호스트 차량의 정지 거리를 판단하고, 타깃 차량의 제동률, 최대 가속 능력, 및 현재 속도에 의거하여 타깃 차량의 정지 거리를 판단하고, 판단된 다음 상태 거리가 호스트 차량과 타깃 차량의 정지 거리의 합보다 큰 경우에 예정 항법 동작을 이행할 수 있다.

Description

안전 거리로 항법하기 위한 시스템 및 방법
본 발명은 자율 주행에 관한 것이다. 또한, 본 발명은 잠재적 사고 책임의 제약에 따른 항법을 위한 시스템 및 방법에 관한 것이다.
기술 발전과 함께, 도로 상에서 항법이 가능한 완전 자율 자동차의 구현이 목전에 있다. 자율주행차는 의도한 목적지에 안전하고 정확하게 도착하기 위해 다양한 요인을 고려하고 그런 요인에 근거한 적절한 판단을 해야 할 수 있다. 예를 들어, 자율주행차는 시각 정보(예를 들면, 카메라로부터 캡처 된 정보) 및 레이더 또는 라이더(lidar)로부터의 정보를 처리하고 해석해야 할 수 있고, 또한 기타 출처(예를 들면, GPS 장치, 속력 센서, 가속도계, 서스펜션 센서 등)로부터 획득한 정보를 이용할 수도 있다. 동시에, 자율주행차는, 목적지로 주행하기 위하여, 특정 도로 내의 위치(예를 들면, 다차선 도로 상의 특정 차로)를 식별하고, 다른 차량과 나란히 주행하고, 장애물과 보행자를 회피하고, 신호등과 도로표지판을 관찰하고, 적절한 교차로나 분기점에서 한 도로에서 다른 도로로 이동하고, 차량의 조작 중에 발생하는 기타 다른 상황에 대응할 필요가 있을 수도 있다. 또한, 항법시스템은 특정 제약을 따를 필요가 있을 수 있다. 일부 경우에서, 이러한 제약은 호스트 차량과 다른 차량, 보행자 등과 같은 하나 이상의 다른 물체 사이의 상호작용에 관한 것일 수 있다. 다른 경우에서, 이러한 제약은 호스트 차량에 대한 하나 이상의 항법 동작을 이행함에 있어서 따라야 할 책임 규칙에 관한 것일 수 있다.
자율주행 분야에서, 자율 차량 시스템의 성공적인 구현을 위해 두 가지 중요한 사항이 고려돼야 한다. 첫째는 안전 보증의 표준화인데, 여기에는 안전을 보장하기 위해 모든 자율주행차가 충족시켜야 하는 요구사항과 이러한 요구사항을 검증하는 방법이 포함된다. 둘째는 확장성인데, 이는 막대한 비용이 들어가는 엔지니어링 솔루션이 수백만 대의 차량으로 확장될 수 없을 것이고 자율주행차의 광범위한 채택을 또는 광범위하지 않은 채택마저도 가로막을 수 있기 때문이다. 따라서, 안전 보장에 대한 해석 가능한 수학적 모델 및 수백만 대의 차량에 확장 가능하면서 안전 보장 요구를 따르는 시스템의 설계에 대한 요구가 있다.
본 개시는 자율 주행에 관한 것이다. 또한, 본 개시는 잠재적 사고 책임의 제약에 따른 항법을 위한 시스템 및 방법에 관한 것이다.
본 개시의 실시예들은 자율 주행을 위한 시스템과 방법을 제공한다. 개시된 실시예는 카메라를 사용하여 자율 주행 특징을 제공할 수 있다. 예를 들면, 개시된 실시예에 따라, 개시된 시스템은 차량의 주변상황을 모니터하는 하나, 둘, 또는 그 이상의 카메라를 포함할 수 있다. 개시된 시스템은, 예를 들어, 하나 또는 그 이상의 카메라에 의해 캡처 된 이미지의 분석에 의거하여 항법 반응을 제공할 수 있다. 항법 반응은 또한, 예를 들어, GPS 데이터, 센서 데이터(예, 가속도계, 속력 센서, 서스펜션 센서 등으로부터의 데이터), 및/또는 기타 지도 데이터를 포함하는 기타 데이터를 고려할 수 있다.
일 실시예에서, 호스트 차량의 항법을 위한 시스템이 개시된다. 시스템은, 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하고; 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하고; 적어도 하나의 이미지를 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별하고―여기서, 타깃 차량의 이동 방향은 호스트 차량을 향함; 예정 항법 동작을 취할 경우의 결과일 수 있는 호스트 차량과 타깃 차량 사이의 다음 상태 거리를 판단하고; 호스트 차량 제동률(braking rate), 호스트 차량 최대 가속 능력, 및 호스트 차량의 현재 속도를 판단하고; 호스트 차량 제동률, 호스트 차량 최대 가속 능력, 및 호스트 차량의 현재 속도에 의거하여 호스트 차량의 정지 거리를 판단하고; 타깃 차량의 현재 속도, 타깃 차량 최대 가속 능력, 및 타깃 차량 제동률을 판단하고; 타깃 차량 제동률, 타깃 차량 최대 가속 능력, 및 타깃 차량의 현재 속도에 의거하여 타깃 차량의 정지 거리를 판단하고; 판단된 다음 상태 거리가 호스트 차량의 정지 거리와 타깃 차량의 정지 거리의 합보다 큰 경우에 예정 항법 동작을 이행하도록 프로그램 된, 적어도 하나의 처리 장치를 포함할 수 있다.
일 실시예에서, 호스트 차량의 항법을 위한 방법이 개시된다. 방법은 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하는 단계; 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하는 단계; 적어도 하나의 이미지를 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별하는 단계―여기서, 타깃 차량의 이동 방향은 호스트 차량을 향함; 예정 항법 동작을 취할 경우의 결과일 수 있는 호스트 차량과 타깃 차량 사이의 다음 상태 거리를 판단하는 단계; 호스트 차량 제동률, 호스트 차량 최대 가속 능력, 및 호스트 차량의 현재 속도를 판단하는 단계; 호스트 차량 제동률, 호스트 차량 최대 가속 능력, 및 호스트 차량의 현재 속도에 의거하여 호스트 차량의 정지 거리를 판단하는 단계; 타깃 차량의 현재 속도, 타깃 차량 최대 가속 능력, 및 타깃 차량 제동률을 판단하는 단계; 타깃 차량 제동률, 타깃 차량 최대 가속 능력, 및 타깃 차량의 현재 속도에 의거하여 타깃 차량의 정지 거리를 판단하는 단계; 및 판단된 다음 상태 거리가 호스트 차량의 정지 거리와 타깃 차량의 정지 거리의 합보다 큰 경우에 예정 항법 동작을 이행하는 단계를 포함할 수 있다.
일 실시예에서, 호스트 차량의 항법을 위한 시스템이 개시된다. 시스템은, 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하고; 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하고; 적어도 하나의 이미지를 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별하고; 예정 항법 동작을 취할 경우의 결과일 수 있는 호스트 차량과 타깃 차량 사이의 다음 상태 횡방향 거리를 판단하고; 호스트 차량의 최대 요 레이트(yaw rate) 능력, 호스트 차량의 회전 반경 능력의 최대 변화, 및 호스트 차량의 현재 횡방향 속도를 판단하고; 호스트 차량의 최대 요 레이트 능력, 호스트 차량의 회전 반경 능력의 최대 변화, 및 호스트 차량의 현재 횡방향 속도에 의거하여 호스트 차량의 횡방향 제동 거리를 판단하고; 타깃 차량의 현재 횡방향 속도, 타깃 차량의 최대 요 레이트 능력, 및 타깃 차량의 회전 반경 능력의 최대 변화를 판단하고; 타깃 차량의 현재 횡방향 속도, 타깃 차량의 최대 요 레이트 능력, 및 타깃 차량의 회전 반경 능력의 최대 변화에 의거하여 타깃 차량의 횡방향 제동 거리를 판단하고; 판단된 다음 상태 횡방향 거리가 호스트 차량의 횡방향 제동 거리와 타깃 차량의 횡방향 제동 거리의 합보다 큰 경우에 예정 항법 동작을 이행하도록 프로그램 된, 적어도 하나의 처리 장치를 포함할 수 있다.
일 실시예에서, 호스트 차량의 항법을 위한 방법이 개시된다. 방법은 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하는 단계; 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하는 단계; 적어도 하나의 이미지를 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별하는 단계; 예정 항법 동작을 취할 경우의 결과일 수 있는 호스트 차량과 타깃 차량 사이의 다음 상태 횡방향 거리를 판단하는 단계; 호스트 차량의 최대 요 레이트(yaw rate) 능력, 호스트 차량의 회전 반경 능력의 최대 변화, 및 호스트 차량의 현재 횡방향 속도를 판단하는 단계; 호스트 차량의 최대 요 레이트 능력, 호스트 차량의 회전 반경 능력의 최대 변화, 및 호스트 차량의 현재 횡방향 속도에 의거하여 호스트 차량의 횡방향 제동 거리를 판단하는 단계; 타깃 차량의 현재 횡방향 속도, 타깃 차량의 최대 요 레이트 능력, 및 타깃 차량의 회전 반경 능력의 최대 변화를 판단하는 단계; 타깃 차량의 현재 횡방향 속도, 타깃 차량의 최대 요 레이트 능력, 및 타깃 차량의 회전 반경 능력의 최대 변화에 의거하여 타깃 차량의 횡방향 제동 거리를 판단하는 단계; 및 판단된 다음 상태 횡방향 거리가 호스트 차량의 횡방향 제동 거리와 타깃 차량의 횡방향 제동 거리의 합보다 큰 경우에 예정 항법 동작을 이행하는 단계를 포함할 수 있다.
일 실시예에서, 횡단보도에 근접한 호스트 차량의 항법을 위한 시스템이 개시된다. 시스템은, 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하고; 적어도 하나의 이미지의 분석에 의거하여 적어도 하나의 이미지에서 횡단보도의 묘사를 검출하고; 적어도 하나의 이미지의 분석에 의거하여 보행자의 묘사가 적어도 하나의 이미지에 등장하는지 여부를 판단하고; 호스트 차량의 주변상황에서 신호등의 존재를 검출하고; 검출된 신호등이 호스트 차량 및 횡단보도에 관련된 것인지 여부를 판단하고; 검출된 신호등의 상태를 판단하고; 보행자의 묘사가 적어도 하나의 이미지에 등장하는 경우에, 검출된 횡단보도에 대한 보행자의 근접성을 판단하고; 검출된 횡단보도에 대한 호스트 차량의 항법을 유발하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하고―여기서, 예정 항법 동작의 결정은 검출된 신호등의 판단된 상태 및 검출된 횡단보도에 대한 보행자의 판단된 근접성에 더 의거함; 호스트 차량의 하나 이상의 액추에이터가 예정 항법 동작을 이행하도록 유발하도록 프로그램 된, 적어도 하나의 처리 장치를 포함할 수 있다.
일 실시예에서, 횡단보도에 근접한 호스트 차량의 항법을 위한 방법이 개시된다. 방법은 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하는 단계; 적어도 하나의 이미지의 분석에 의거하여 적어도 하나의 이미지에서 횡단보도의 묘사를 검출하는 단계; 적어도 하나의 이미지의 분석에 의거하여 보행자의 묘사가 적어도 하나의 이미지에 등장하는지 여부를 판단하는 단계; 호스트 차량의 주변상황에서 신호등의 존재를 검출하는 단계; 검출된 신호등이 호스트 차량 및 횡단보도에 관련된 것인지 여부를 판단하는 단계; 검출된 신호등의 상태를 판단하는 단계; 보행자의 묘사가 적어도 하나의 이미지에 등장하는 경우에, 검출된 횡단보도에 대한 보행자의 근접성을 판단하는 단계; 검출된 횡단보도에 대한 호스트 차량의 항법을 유발하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하는 단계―여기서, 예정 항법 동작의 결정은 검출된 신호등의 판단된 상태 및 검출된 횡단보도에 대한 보행자의 판단된 근접성에 더 의거함; 및 호스트 차량의 하나 이상의 액추에이터가 예정 항법 동작을 이행하도록 유발하는 단계를 포함할 수 있다.
일 실시예에서, 횡단보도에 근접한 호스트 차량의 항법을 위한 방법이 개시된다. 방법은 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하는 단계; 횡단보도의 시작 위치와 종료 위치를 검출하는 단계; 적어도 하나의 이미지의 분석에 의거하여 보행자가 횡단보도의 근처에 존재하는지 여부를 판단하는 단계; 호스트 차량의 주변상황에서 신호등의 존재를 검출하는 단계; 신호등이 호스트 차량 및 횡단보도에 관련된 것인지 여부를 판단하는 단계; 검출된 신호등의 상태를 판단하는 단계; 신호등의 관련성, 신호등의 판단된 상태, 횡단보도의 근처에 보행자의 존재, 보행자와 횡단보도의 시작 위치 및 종료 위치 중의 하나 사이에 선택된 최단 거리, 및 보행자의 모션 벡터에 의거하여, 검출된 횡단보도 부근에서의 호스트 차량의 항법 동작을 결정하는 단계; 및 호스트 차량의 하나 이상의 액추에이터가 항법 동작을 이행하도록 유발하는 단계를 포함할 수 있다.
다른 개시된 실시예에 따라, 비일시적 컴퓨터 가독 저장 매체는 적어도 하나의 처리 장치에 의해 실행 가능하고 여기에 기재된 단계 및/또는 방법 중의 어느 하나 이상을 수행하는 프로그램 명령을 저장할 수 있다.
상기의 일반적인 설명과 하기의 상세한 설명은 예시일 뿐이며 본 발명의 청구범위를 제한하지 않는다.
본 명세서에 포함되고 본 명세서의 일부를 구성하는 첨부 도면은 기재된 다양한 실시예를 도시한다.
도 1은 기재된 실시예에 따른 예시적인 시스템의 개략도이다.
도 2a는 기재된 실시예에 따른 시스템을 포함하는 예시적인 자동차의 측면도이다.
도 2b는 기재된 실시예에 따른 도 2a의 자동차와 시스템의 평면도이다.
도 2c는 기재된 실시예에 따른 시스템을 포함하는 자동차의 다른 실시예의 평면도이다.
도 2d는 기재된 실시예에 따른 시스템을 포함하는 자동차의 또 다른 실시예의 평면도이다.
도 2e는 기재된 실시예에 따른 시스템을 포함하는 자동차의 또 다른 실시예의 평면도이다.
도 2f는 기재된 실시예에 따른 예시적인 자동차 제어 시스템의 개략도이다.
도 3a는 기재된 실시예에 따른 차량 이미징 시스템을 위한 백미러(rear view mirror)와 사용자 인터페이스를 포함하는 차량의 실내를 개략적으로 예시한 것이다.
도 3b는 기재된 실시예에 따른 백미러 뒤의 차량 전면 유리에 위치되도록 구성된 카메라 마운트의 일례이다.
도 3c는 기재된 실시예에 따른 도 3b의 카메라 마운트를 다른 시각에서 예시를 도시한 것이다.
도 3d는 기재된 실시예에 따른 백미러 뒤의 차량 전면 유리에 위치되도록 구성된 카메라 마운트의 일례이다.
도 4는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장하도록 구성된 메모리의 예시적인 구성도이다.
도 5a는 기재된 실시예에 따른 단안 이미지 분석에 근거한 하나 이상의 항법반응(navigational response)을 야기하는 프로세스의 일례를 예시한 순서도이다.
도 5b는 기재된 실시예에 따른 일련의 영상에서 하나 이상의 차량 및/또는 보행자를 검출하는 예시적인 프로세스를 도시한 순서도이다.
도 5c는 기재된 실시예에 따른 일련의 영상에서 도로 표시 및/또는 차선 형상 정보를 검출하는 예시적인 프로세스를 도시한 순서도이다.
도 5d는 기재된 실시예에 따른 일련의 영상에서 신호등을 검출하는 예시적인 프로세스를 도시한 순서도이다.
도 5e는 기재된 실시예에 따른 차량 경로에 근거한 하나 이상의 항법 반응(navigational response)을 야기하는 예시적인 프로세스를 도시한 순서도이다.
도 5f는 기재된 실시예에 따른 선두 차량이 차선 변경을 하는지를 판단하는 예시적인 프로세스를 도시한 순서도이다.
도 6은 기재된 실시예에 따른 입체 영상 분석에 근거한 하나 이상의 항법 반응을 야기하는 예시적인 프로세스를 도시한 순서도이다.
도 7은 기재된 실시예에 따른 3개 집합의 영상에 근거한 하나 이상의 항법 반응(navigational response)을 야기하는 예시적인 프로세스를 도시한 순서도이다.
도 8은 기재된 실시예에 따른 자율주행차에 대한 항법 시스템의 특정하게 프로그램된 하나 이상의 처리 장치에 의해 이행될 수 있는 모듈을 나타낸 구성도이다.
도 9는 기재된 실시예에 따른 항법(navigation) 옵션 그래프이다.
도 10은 기재된 실시예에 따른 항법 옵션 그래프이다.
도 11a, 도 11b, 도 11c는 기재된 실시예에 따른 병합 구역 내 호스트 차량의 항법 옵션을 도시한 것이다.
도 11d는 기재된 실시예에 따른 이중 병합 상황을 도시한 것이다.
도 11e는 기재된 실시예에 따른 이중 병합 상황에 활용 가능성이 있는 옵션 그래프를 도시한 것이다.
도 12는 기재된 실시예에 따른 잠재적 항법 제약과 함께 호스트 차량의 주변상황이 캡처된 이미지를 도시한 것이다.
도 13은 기재된 실시예에 따른 차량의 항법을 위한 알고리즘 순서도를 도시한 것이다.
도 14는 기재된 실시예에 따른 차량의 항법을 위한 알고리즘 순서도를 도시한 것이다.
도 15는 기재된 실시예에 따른 차량의 항법을 위한 알고리즘 순서도를 도시한 것이다.
도 16은 기재된 실시예에 따른 차량의 항법을 위한 알고리즘 순서도를 도시한 것이다.
도 17a와 도 17b는 기재된 실시예에 따른 호스트 차량의 로터리 내 항법을 도시한 것이다.
도 18은 기재된 실시예에 따른 차량의 항법을 위한 알고리즘 순서도를 도시한 것이다.
도 19는 기재된 실시예에 따른 다차로 고속도로상에서 이동하는 호스트 차량의 일례를 도시한 것이다.
도 20a와 도 20b는 기재된 실시예에 따른 차량이 다른 차량 앞으로 끼어드는 일례를 도시한 것이다.
도 21은 기재된 실시예에 따른 다른 차량을 따라가는 차량의 일례를 도시한 것이다.
도 22는 기재된 실시예에 따른 주차장을 나와서 번잡한 도로로 병합하는 차량의 일례를 도시한 것이다.
도 23은 기재된 실시예에 따른 도로 상에서 이동하는 차량을 도시한 것이다.
도 24의 (a) 내지 (d)는 기재된 실시예에 따른 4가지 예시적인 상황을 도시한 것이다.
도 25는 기재된 실시예에 따른 예시적인 상황을 도시한 것이다.
도 26은 기재된 실시예에 따른 예시적인 상황을 도시한 것이다.
도 27은 기재된 실시예에 따른 예시적인 상황을 도시한 것이다.
도 28a와 도 28b는 기재된 실시예에 따른 차량이 다른 차량을 따라가는 상황의 일례를 도시한 것이다.
도 29a와 도 29b는 기재된 실시예에 따른 끼어들기 상황에서의 예시적인 과실을 도시한 것이다.
도 30a와 도 30b는 기재된 실시예에 따른 끼어들기 상황에서의 예시적인 과실을 도시한 것이다.
도 31a 내지 도 31d는 기재된 실시예에 따른 미끄러지는 상황에서의 예시적인 과실을 도시한 것이다.
도 32a와 도 32b는 기재된 실시예에 따른 양방향 통행 상황에서의 예시적인 과실을 도시한 것이다.
도 33a와 도 33b는 기재된 실시예에 따른 양방향 통행 상황에서의 예시적인 과실을 도시한 것이다.
도 34a와 도 34b는 기재된 실시예에 따른 경로 우선권 상황에서의 예시적인 과실을 도시한 것이다.
도 35a와 도 35b는 기재된 실시예에 따른 경로 우선권 상황에서의 예시적인 과실을 도시한 것이다.
도 36a와 도 36b는 기재된 실시예에 따른 경로 우선권 상황에서의 예시적인 과실을 도시한 것이다.
도 37a와 도 37b는 기재된 실시예에 따른 경로 우선권 상황에서의 예시적인 과실을 도시한 것이다.
도 38a와 도 38b는 기재된 실시예에 따른 경로 우선권 상황에서의 예시적인 과실을 도시한 것이다.
도 39a와 도 39b는 기재된 실시예에 따른 경로 우선권 상황에서의 예시적인 과실을 도시한 것이다.
도 40a와 도 40b는 기재된 실시예에 따른 신호등 상황에서의 예시적인 과실을 도시한 것이다.
도 41a와 도 41b는 기재된 실시예에 따른 신호등 상황에서의 예시적인 과실을 도시한 것이다.
도 42a와 도 42b는 기재된 실시예에 따른 신호등 상황에서의 예시적인 과실을 도시한 것이다.
도 43a 내지 도 43c는 기재된 실시예에 따른 예시적인 교통 약자(vulnerable road users 또는 VRUs) 상황을 도시한 것이다.
도 44a 내지 도 44c는 기재된 실시예에 따른 예시적인 교통 약자 상황을 도시한 것이다.
도 45a 내지 도 45c는 기재된 실시예에 따른 예시적인 교통 약자 상황을 도시한 것이다.
도 46a 내지 도 46d는 기재된 실시예에 따른 예시적인 교통 약자 상황을 도시한 것이다.
도 47a는 개시된 실시예에 따른 과실 시간 및 적절한 대응을 도시한 것이다.
도 47b는 개시된 실시예에 따른 상이한 기하의 경로에 대한 경로 우선주행권을 도시한 것이다.
도 47c는 개시된 실시예에 따른 상이한 기하의 경로 상의 종방향 배치를 도시한 것이다.
도 47d는 개시된 실시예에 따른 차량 사이의 안전 종방향 거리를 도시한 것이다.
도 47e는 개시된 실시예에 따른 차량이 다른 차량의 경로를 예측할 수 없는 상황을 도시한 것이다.
도 47f는 개시된 실시예에 따른 신호등에서의 경로 우선주행권을 도시한 것이다.
도 47g는 개시된 실시예에 따른 예시적인 체계가 없는 경로를 도시한 것이다.
도 47h는 개시된 실시예에 따른 체계가 없는 상황에서의 예시적인 횡방향 행동을 도시한 것이다.
도 47i는 개시된 실시예에 따른 가려진 영역에서의 노출 시간 및 과실 시간을 도시한 것이다.
도 48a는 개시된 실시예에 따른 두 대의 차량이 서로 반대 방향으로 진행하는 예시적인 상황을 도시한 것이다.
도 48b는 개시된 실시예에 따른 타깃 차량이 호스트 차량을 향해 진행하는 일례를 도시한 것이다.
도 49는 개시된 실시예에 따른 호스트 차량이 안전 종방향 거리를 유지하는 일례를 도시한 것이다.
도 50a와 도 50b는 개시된 실시예에 따른 안전 종방향 거리를 유지하기 위한 예시적인 프로세스를 도시한 순서도이다.
도 51a는 개시된 실시예에 따른 두 대의 차량이 서로로부터 횡방향으로 이격되어 있는 예시적인 상황을 도시한 것이다.
도 51b는 개시된 실시예에 따른 호스트 차량이 안전 횡방향 거리를 유지하는 일례를 도시한 것이다.
도 52a는 개시된 실시예에 따른 호스트 차량이 예정 항법 동작을 수행하는 일례를 도시한 것이다.
도 52b는 호스트 차량이 항법 동작을 수행할지 여부를 판단하는 일례를 도시한 것이다.
도 53a와 도 53b는 개시된 실시예에 따른 안전 횡방향 거리를 유지하기 위한 예시적인 프로세스를 도시한 순서도이다.
도 54는 개시된 실시예에 따른 횡단보도를 포함하는 도로를 도해적으로 도시한 것이다.
도 55a와 도 55b는 개시된 실시예에 따른 도로를 따라 이동하는 차량에 의해 실행될 수 있는 항법 동작을 도해적으로 도시한 것이다.
도 55c와 도 55d는 개시된 실시예에 따른 보행자로부터 횡단보도까지의 거리를 추정하는 예를 도시한 것이다.
도 56은 개시된 실시예에 따른 횡단보도 근처의 차량 항법 프로세스를 기재한 순서도이다.
하기의 상세한 설명은 첨부한 도면에 관한 것이다. 가능한 모든 경우에, 도면과 설명에서 동일 또는 유사한 구성요소에 동일한 참조 번호를 사용한다. 여러 예시적인 실시예를 설명하였지만, 다양한 수정, 응용, 구현 등이 가능하다. 예를 들어, 도면에 예시된 구성요소를 치환, 또는 추가, 수정할 수 있고, 설명에 포함된 방법은 단계를 치환하거나 순서를 바꾸거나 추가하여 수정할 수 있다. 따라서, 하기의 상세한 설명은 기재한 실시예와 예시에 국한되지 않고, 본 발명의 청구 범위는 첨부한 청구항에 의해 정의된다.
자율주행차의 개요
본 기재에서 사용된 "자율주행차"라는 용어는 운전자의 입력 없이 적어도 하나의 주행 변경을 구현할 수 있는 차량을 의미한다. "주행 변경"이란 차량의 조향, 제동, 가속/감속의 하나 이상을 변경하는 것을 의미한다. 차량이 자율이기 위해서는 완전 자동(예, 운전자나 운전자의 입력 없이 완전히 동작)일 필요는 없다. 반면, 자율주행차는 특정 시간 동안은 운전자의 제어 하에 작동할 수 있고 다른 시간 동안은 운전자의 제어 없이 작동할 수 있는 차량을 포함한다. 자율주행차는 조향(예, 차량 진로의 차선 사이 유지) 또는 특정 상황 하(모든 상황 하에서가 아님)에서의 일부 조향 동작과 같은 일부 주행 양상만을 제어하고 나머지 양상(예, 제동 또는 특정 상황 하에서의 제동)는 운전자에게 맡기는 차량도 포함할 수 있다. 일부 경우에, 자율주행차는 차량의 제동 및/또는 속도 제어, 조향의 일부 또는 모든 양상을 처리할 수 있다.
운전자들은 차량을 제어하기 위해 흔히 시각적 신호와 관찰에 의존하므로, 교통 인프라는 이에 따라 구축되어, 차로 표시, 교통 표지, 신호등이 운전자들에게 시각적 정보를 제공하도록 설계되었다. 교통 인프라의 이러한 설계 특징을 고려하여, 자율주행차는 카메라 및 차량의 주변으로부터 확보한 시각적 정보를 분석하는 처리부를 포함할 수 있다. 시각적 정보는, 예를 들어, 운전자가 눈으로 확인할 수 있는 교통 인프라의 구성요소(예, 차로 표시, 교통 표지, 신호등 등) 및 기타 장애물(예, 다른 차량, 보행자, 잔해 등)을 나타내는 이미지를 포함할 수 있다. 또한, 자율주행차는 주행 시에 차량 주변상황의 모델을 제공하는 정보와 같은 저장 정보도 사용할 수 있다. 예를 들어, 차량은 이동 중의 차량 주변상황과 관련된 정보를 제공하기 위하여 GPS 데이터 및/또는 센서 데이터(예, 가속도계, 속력 센서, 서스펜션 센서 등으로부터의 데이터), 기타 지도 데이터를 활용할 수 있고, 차량(다른 차량도 함께)은 이런 정보를 이용하여 차량의 위치를 모델 상에서 알아낼 수 있다. 일부 차량들은 또한, 서로 통신이 가능하여, 정보를 교환하고, 차량 주변의 위험 또는 변화에 대해 상대 차량의 수정 등을 가능하게 한다.
시스템 개요
도 1은 본 발명 예시적으로 기재된 실시예에 따른 시스템(100)의 구성도이다. 시스템(100)은 특정이행의 요구 조건에 따라 다양한 구성 요소를 포함할 수 있다. 일부 실시예에서, 시스템(100)은 처리부(110), 이미지획득부(120), 위치센서(120), 하나 이상의 메모리부(140, 150), 지도 데이터베이스(160), 사용자 인터페이스(170), 무선 송수신기(172)를 포함할 수 있다. 처리부(110)는 하나 이상의 처리 장치를 포함할 수 있다. 일부 실시예에서, 처리부(110)는 애플리케이션 프로세서(180), 이미지 프로세서(190), 또는 기타 적합한 처리 장치를 포함할 수 있다. 이와 마찬가지로, 이미지획득부(120)는 특정 애플리케이션의 요구 조건에 따라 여러 개의 이미지 획득 장치 및 소자를 포함할 수 있다. 일부 실시예에서, 이미지획득부(120)는 이미지캡처장치(122, 124, 126)와 같은 하나 이상의 이미지캡처장치(예, 카메라, CCD, 또는 기타 유형의 이미지센서)를 포함할 수 있다. 시스템(100)은 또한 처리부(110)와 이미지획득부(120)를 서로 통신하도록 연결하는 데이터 인터페이스(128)를 포함할 수 있다. 예를 들어, 데이터 인터페이스(128)는 이미지획득부(120)가 획득한 이미지 데이터를 처리부(110)로 전송하기 위한 단수 또는 복수의 유선 및/또는 무선 링크를 포함할 수 있다.
무선 송수신기(172)는 무선주파수, 또는 적외선주파수, 자기장, 전기장을 사용하여 무선 인터페이스를 통하여 전파를 하나 이상의 네트워크(예, 이동통신, 인터넷 등)와 주고받도록 구성된 하나 이상의 장치를 포함할 수 있다. 무선 송수신기(172)는 공지의 표준(예, Wi- Fi, Bluetooth®, Bluetooth Smart, 802.15.4, ZigBee 등)을 사용하여 데이터를 송신 및/또는 수신할 수 있다. 이러한 송신은 호스트 차량으로부터 하나 이상의 원격 서버로의 통신을 포함할 수 있다. 이러한 송신은 또한, 호스트 차량과 호스트 차량의 주변환경에 있는 한 대 이상의 타깃 차량 사이의 (일방 또는 쌍방) 통신(예, 호스트 차량의 주변환경에 있는 타깃 차량을 고려한/또는 타깃 차량과 함께 호스트 차량의 주행을 조정하기 위함) 또는 전송 차량의 주변에 있는 불특정 수신자에게 보내는 방송도 포함할 수 있다.
애플리케이션 프로세서(180)와 이미지 프로세서(190)는 모두 다양한 종류의 하드웨어 기반 처리 장치를 포함할 수 있다. 예를 들어, 애플리케이션 프로세서(180)와 이미지 프로세서(190) 중 하나 또는 모두는 마이크로프로세서, 전처리 장치(예, 이미지 전처리 장치), 그래픽 프로세서, 중앙 처리 장치(CPU), 보조 회로, 디지털 신호 처리 장치, 집적 회로, 메모리, 또는 애플리케이션을 실행하고 이미지를 처리 및 분석하기에 적합한 기타 모든 유형의 장치를 포함할 수 있다. 일부 실시예에서, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)는 단일 또는 멀티 코어 프로세서, 모바일 장치 마이크로컨트롤러, 중앙 처리 장치의 한 종류를 포함할 수 있다. Intel®, AMD® 등과 같은 업체가 제공하는 프로세서들을 포함하는 다양한 처리 장치들이 사용될 수 있으며, 다양한 아키텍처(예, x86 프로세서, ARM® 등)가 포함될 수 있다.
일부 실시예에서, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)는 Mobileye®가 제공하는 EyeQ 시리즈의 프로세서 칩을 포함할 수 있다. 이러한 프로세서 설계는 로컬 메모리와 명령 집합을 가진 다중 처리 장치를 포함한다. 이러한 프로세서는 복수의 이미지 센서로부터 이미지 데이터를 수신하는 비디오 인풋을 포함할 수 있고 비디오 아웃풋 기능도 포함할 수 있다. 일례로, EyeQ2®는 332Mhz로 작동하는 90nm-마이크론 기술을 사용한다. EyeQ2® 아키텍처는 두 개의 부동 소수점(floating point) 하이퍼 스레드(hyper-thread) 32비트 RISC CPU(MIPS32® 34K® cores), 다섯 개의 Vision Computing Engines (VCE), 세 개의 Vector Microcode Processors(VMP®), Denali 64비트 Mobile DDR Controller, 128비트 내부 Sonics Interconnect, 듀얼 16비트 비디오 인풋 및 18비트 비디오 아웃풋 제어 장치, 16 채널 DMA 및 여러 주변 장치로 구성된다. MIPS34K CPU는 다섯 개의 VCE와 세 개의 VMP??, DMA, 두 번째 MIPS34K CPU, 다중 채널 DMA, 및 기타 주변 장치를 관리한다. 다섯 개의 VCE, 세 개의 VMP® 및 MIPS34K CPU는 다기능 묶음 애플리케이션이 요구하는 집중 시각 연산(intensive vision computations)을 수행할 수 있다. 다른 일례에서, EyeQ2®보다 6배 강력한 3세대 프로세서인 EyeQ3®가 실시예에 사용될 수 있다. 다른 일례에서, EyeQ4® 및/또는 EyeQ5®가 기재된 실시예에 사용될 수 있다. 물론, 신형 또는 미래의 EyeQ 처리 장치도 기재된 실시예와 함께 사용될 수 있다.
여기에 기재된 처리 장치는 각각 특정한 기능을 수행하도록 구성될 수 있다. 특정한 기능을 수행하도록 상기의 EyeQ 프로세서 또는 기타 제어 장치 또는 마이크로프로세서와 같은 처리 장치를 구성하는 것은 컴퓨터 실행 명령을 프로그램하고 이러한 명령을 처리 장치가 작동하는 동안에 처리 장치에 제공하여 실행하도록 하는 것을 포함할 수 있다. 일부 실시예에서, 처리 장치를 구성하는 것은 구조적 명령으로 처리 장치를 직접 프로그램하는 것을 포함할 수 있다. 다른 실시예에서, 처리 장치를 구성하는 것은 작동 중에 처리 장치에 접속 가능한 메모리에 실행을 위한 명령을 저장하는 것을 포함할 수 있다. 예를 들어, 처리 장치는 작동 중에 메모리에 접속하여 저장된 명령을 획득하고 실행할 수 있다. 어느 경우이든, 여기에 기재된 검출, 이미지 분석, 및/또는 주행 기능을 수행하도록 구성된 처리 장치는 호스트 차량의 복수의 하드웨어 기반 구성요소를 제어하는 특화된 하드웨어 기반 시스템을 나타낸다.
도 1에는 두 개의 처리 장치가 처리부(110)에 포함된 것을 예시하였지만, 이보다 많거나 적은 처리 장치가 사용될 수 있다. 예를 들면, 일부 실시예에서, 애플리케이션 프로세서(180)와 이미지 프로세서(190)의 작업을 수행하기 위하여 단일 처리 장치를 사용할 수 있다. 다른 실시예에서, 이러한 작업은 2개 이상의 처리 장치를 사용하여 수행될 수 있다. 또한, 일부 실시예에서, 시스템(100)은 하나 이상의 처리부(110)를 포함하되 이미지획득부(120) 등과 같은 다른 구성요소를 포함하지 않을 수도 있다.
처리부(110)는 다양한 유형의 장치를 포함할 수 있다. 예를 들어, 처리부(110)는 제어 장치, 이미지 전처리 장치, 중앙 처리 장치(CPU), 보조 회로, 디지털 신호 처리 장치, 집적 회로, 메모리, 또는 이미지의 처리 및 분석을 위한 기타 유형의 장치 등과 같은 다양한 장치를 포함할 수 있다. 이미지 전처리 장치는 이미지 센서로부터 이미지를 캡처, 디지털화, 처리하기 위한 이미지 프로세서를 포함할 수 있다. CPU는 단수 또는 복수의 마이크로컨트롤러 또는 마이크로프로세서를 포함할 수 있다. 보조 회로는 캐시, 전원, 클락, 입/출력 회로 등과 같이 본 발명의 분야에서 일반적으로 공지된 단수 또는 복수의 회로를 포함할 수 있다. 메모리는 처리 장치에 의해 실행될 때 시스템의 동작을 제어하는 소프트웨어를 저장할 수 있다. 메모리는 단수 또는 복수의 RAM(random access memory), ROM(read only memory), 플래시 메모리, 디스크 드라이브, 광 저장 장치, 테이프 저장 장치, 탈착형 저장 장치, 및 기타 유형의 저장 장치를 포함할 수 있다. 일례에서, 메모리는 처리부(110)와 분리되어 있을 수 있다. 다른 예에서, 메모리는 처리부(110)와 일체로 구성될 수 있다.
메모리(140, 150) 각각은 처리 장치(예, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190))에 의해 실행될 때 시스템(100)의 다양한 측면의 동작을 제어할 수 있는 소프트웨어 명령을 포함할 수 있다. 이러한 메모리 장치는 다양한 데이터베이스 및 이미지 처리 소프트웨어뿐만 아니라, 예를 들어, 신경망(neural network), 심층 신경망(deep neural network)과 같은 학습 시스템(trained system)을 포함할 수 있다. 이러한 메모리 장치는 RAM, ROM, 플래시 메모리, 디스크 드라이브, 광 저장 장치, 테이프 저장 장치, 탈착형 저장 장치 및/또는 기타 유형의 저장 장치를 포함할 수 있다. 일부 실시예에서, 메모리 장치(140, 150)는 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)와 분리되어 있을 수 있다. 다른 실시예에서, 이러한 메모리 장치는 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)와 일체로 구성될 수 있다.
위치센서(130)는 시스템(100)의 적어도 한 구성요소와 연관된 위치를 판단하기에 적합한 유형의 장치를 포함할 수 있다. 일부 실시예에서, 위치센서(130)는 GPS 수신기를 포함할 수 있다. 이러한 수신기는 GPS 위성이 송신하는 신호를 처리하여 사용자의 위치와 속도를 판단할 수 있다. 위치센서(130)로부터의 위치 정보는 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)로 제공될 수 있다.
일부 실시예에서, 시스템(100)은 차량(200)의 속도를 측정하기 위한 속력 센서(예, 속도계)를 포함할 수 있다. 시스템(100)은 또한 하나 이상의 축을 따라 차량(200)의 가속을 측정하기 위한 하나 이상의 가속도계(단축 또는 다축)를 포함할 수 있다.
메모리(10, 150)는 알려진 랜드마크의 위치를 나타내는 데이터베이스 또는 다른 형태로 구성된 데이터를 포함할 수 있다. 차량 주변상황의 감지 정보(예, 이미지, 레이더 신호, 라이더로부터 또는 둘 이상의 이미지의 입체 처리로부터의 깊이 정보)는 GPS 좌표, 차량의 자체 움직임 등과 같은 위치 정보와 함께 처리되어, 알려진 랜드마크에 대한 차량의 상대적 현재 위치를 판단하고, 차량의 위치의 정확도를 개선할 수 있다. 이러한 기술의 특정 측면은 본 출원의 양수인이 판매하고 있는 REMTM으로 알려진 위치 인식 기술에 포함된다.
사용자 인터페이스(170)는 시스템(100)의 하나 이상의 사용자에게 정보를 제공하고 사용자로부터 입력을 수신하기 적합한 장치를 포함할 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 예를 들어 터치스크린, 마이크, 키보드, 포인터 장치, 트랙휠, 카메라, 노브, 버튼 등의 사용자 입력 장치를 포함할 수 있다. 이러한 입력 장치는 사용자로 하여금 명령 또는 정보를 타이핑하거나, 음성 명령을 제공하거나, 버튼, 포인터, 또는 눈동자 추적 기능을 사용하여 화면 상의 메뉴를 선택하거나, 시스템(100)과 정보를 교환하기 위한 기타 적합한 기술을 통하여 시스템(100)에 정보 입력 또는 명령을 제공할 수 있게 해준다.
사용자 인터페이스(170)는 사용자에게 정보를 제공하고 사용자로부터 정보를 수신하며 이러한 정보를 예를 들어 애플리케이션 프로세서(180)가 사용하게 처리하도록 구성된 하나 이상의 처리 장치를 구비할 수 있다. 일부 실시예에서, 이러한 처리 장치는 눈동자의 움직임을 인식 및 추적하고, 음성 명령을 수신 및 해석하고, 터치스크린 상의 터치 및/또는 제스처를 인식 및 해석하고, 키보드 입력 또는 메뉴 선택에 응답하는 등을 위한 지시를 수행할 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 디스플레이, 스피커, 촉감 장치, 및/또는 사용자에게 출력 정보를 제공하는 기타 장치를 포함할 수 있다.
지도 데이터베이스(160)는 시스템(100)에서 사용 가능한 지도 데이터를 저장하기 위한 모든 유형의 데이터베이스를 포함할 수 있다. 일부 실시예에서, 지도 데이터베이스(160)는 도로, 하천 지형, 지리적 지형, 사업체, 관심 지점, 식당, 주유소 등의 다양한 항목의 기준 좌표계 상 위치와 관련된 데이터를 포함할 수 있다. 지도 데이터베이스(160)는 이런 항목의 위치뿐만 아니라, 예를 들면, 저장된 지점 관련 명칭 등을 포함하는 설명을 저장할 수 있다. 일부 실시예에서, 지도 데이터베이스(160)는 시스템(100)의 다른 구성요소와 함께 물리적으로 배치될 수 있다. 대안적으로, 또는 추가적으로, 지도 데이터베이스(160) 또는 지도 데이터베이스(160)의 일부는 시스템(100)의 다른 구성요소(예, 처리부(110))에 대하여 원격으로 배치될 수 있다. 이 경우, 지도 데이터베이스(160)로부터의 정보는 네트워크와의 유선 또는 무선 데이터 연결(예, 이동통신망 및/또는 인터넷 등)을 통하여 다운로드 될 수 있다. 일부의 경우, 지도 데이터베이스(160)는 특정 도로 특징(예, 차로 표시) 또는 호스트 차량의 목표 궤적의 다항식 표현을 포함하는 스파스 데이터 모델을 저장할 수 있다. 지도 데이터베이스(160)는 또한 목표 궤적에 대한 호스트 차량의 알려진 위치를 판단 또는 업데이트하기 위해 사용될 수 있는 다양한 인지된 랜드마크의 저장된 표현을 포함할 수 있다. 랜드마크 표현은 랜드마크 식별자, 랜드마크 위치, 기타 잠재적 식별자와 같은 데이터 필드를 포함할 수 있다.
이미지캡처장치(122, 124, 126)는 각각 주변 환경으로부터 적어도 하나의 이미지를 캡처하기에 적합한 유형의 장치를 포함할 수 있다. 또한, 이미지 프로세서로의 입력에 필요한 이미지를 캡처하기 위하여 여러 개의 이미지캡처장치를 사용할 수 있다. 일부 실시예는 단일 이미지캡처장치를 포함할 수 있는 반면, 다른 실시예는 두 개, 세 개, 또는 4개 이상의 이미지캡처장치를 포함할 수 있다. 이미지캡처장치(122, 124, 126)는 도 2b 내지 도 2e를 참조하여 하기에 추가로 설명한다.
하나 이상의 카메라(예, 이미지캡처장치(122, 124, 126))는 차량에 포함된 감지 블록(sensing block)의 일부일 수 있다. 다양한 기타 센서들이 감지 블록에 포함될 수 있으며, 센서들의 일부 또는 모두에 의존하여 차량의 항법 상태에 대해 파악을 구축할 수 있다. 카메라(전방, 측방, 후방 등) 외에도 레이더, 라이더, 음향 센서와 같은 기타 센서들이 감지 블록에 포함될 수 있다. 추가적으로, 감지 블록은 차량의 주변환경에 관한 정보를 통신 및 송수신하도록 구성된 하나 이상의 구성요소를 포함할 수 있다. 예를 들면, 이러한 구성요소는 호스트 차량에 관한 센서 기반 정보 또는 기타 유형의 정보를 호스트 차량에 대해 원격으로 위치한 소스로부터 수신할 수 있는 무선 송수신기(RF 등)를 포함할 수 있다. 이러한 정보는 호스트 차량이 아닌 다른 차량으로부터 수신한 센서 출력 정보 또는 관련 정보를 포함할 수 있다. 일부 실시예에서, 이러한 정보는 원격 컴퓨팅 장치, 중앙 서버 등으로부터 수신된 정보를 포함할 수 있다. 나아가, 카메라는 단일 카메라 장치, 복수의 카메라, 카메라 클러스터, 망원 시야, 근거리 시야, 광각, 어안 등, 다양한 구성을 가질 수 있다.
시스템(100), 혹은 시스템(100)의 다양한 구성요소는 다양한 플랫폼에 구현될 수 있다. 일부 실시예에서, 시스템(100)은, 도 2A에 예시된 바와 같이, 차량(200)에 포함될 수 있다. 예를 들면, 차량(200)에는 도 1에 설명한 처리부(110) 및 시스템(100)의 기타 구성요소가 구비될 수 있다. 일부 실시예의 차량(200)에는 단일 이미지캡처장치(예, 카메라)만 구비될 수 있는 반면, 다른 실시예의 차량에는, 도 2b 내지 2e에 예시된 바와 같이, 여러 개의 이미지캡처장치가 사용될 수 있다. 예를 들어, 도 2a에 예시된 차량(200)의 이미지캡처장치(122, 124)는 첨단 운전자 지원 시스템(Advanced Driver Assistance Systems; ADAS) 이미징 세트의 일부일 수 있다.
이미지획득부(120)의 일부로서 차량(200)에 포함된 이미지캡처장치는 적합한 장소에 위치될 수 있다. 일부 실시예에서, 도 2a 내지 2e, 3a 내지 3c에 도시된 바와 같이, 이미지캡처장치(122)는 백미러 주위에 배치될 수 있다. 이 위치는 차량(200)의 운전자와 유사한 시선을 제공할 수 있으며, 이에 따라 운전자에게 보이는 것과 보이지 않는 것을 판단하는데 도움이 될 수 있다. 이미지캡처장치(122)는 백미러 주변의 임의의 위치에 배치될 수 있지만, 백미러의 운전자 측에 이미지캡처장치(122)를 배치하면 운전자의 시야 및/또는 시선을 나타내는 이미지를 획득하는데 더욱 도움이 될 수 있다.
이미지획득부(120)의 이미지캡처장치는 다른 위치에 배치될 수도 있다. 예를 들면, 이미지캡처장치(124)는 차량(200)의 범퍼 내부 또는 범퍼 상에 배치될 수 있다. 이런 위치는 광시야를 가진 이미지캡처장치에 특히 적합할 수 있다. 범퍼에 위치한 이미지캡처장치의 시선은 운전자의 시선과 다를 수 있기 때문에 범퍼에 위치한 이미지캡처장치와 운전자는 항상 같은 대상을 보는 것이 아닐 수 있다. 이미지캡처장치(예, 122, 124, 126)는 또한, 다른 위치에 배치될 수 있다. 예를 들어, 이미지캡처장치는 차량(200)의 일측 또는 양측의 사이드 미러 상 또는 내부에, 차량(200)의 지붕 상에, 차량(200)의 보닛 상에, 차량(200)의 측면에, 차량(200)의 윈도우 상, 후면 또는 전면에, 차량(200)의 전면 및/또는 후면 등화장치 상에 또는 주변 등의 위치에 배치될 수 있다.
차량(200)은 이미지캡처장치 외에도 시스템(100)의 다양한 기타 구성요소를 포함할 수 있다. 예를 들면, 처리부(110)는 차량(200)의 엔진제어장치(engine control unit, ECU)와 일체 또는 분리된 형태로 차량(200)에 포함될 수 있다. 차량(200)은 또한 GPS 수신기 등과 같은 위치센서(130), 지도 데이터베이스(160), 메모리부(140, 150)도 포함할 수 있다.
앞서 설명한 바와 같이, 무선 송수신기(172)는 하나 이상의 네트워크(예, 이동통신망, 인터넷 등)를 통하여 데이터를 송신 및/또는 수신할 수 있다. 예를 들어, 무선 송수신기(172)는 시스템(100)이 수집한 데이터를 하나 이상의 서버로 업로드하고 하나 이상의 서버로부터 데이터를 다운로드할 수 있다. 시스템(100)은 무선 송수신기(172)를 통하여, 예를 들어, 지도 데이터베이스(160) 및/또는 메모리(140, 150)에 저장된 데이터의 주기적 또는 일시적 업데이트를 수신할 수 있다. 마찬가지로, 무선 송수신기(172)는 시스템(100)으로부터의 데이터(예, 이미지획득부(120)가 캡처한 이미지, 위치센서(130), 기타 센서, 또는 차량 제어 시스템이 수신한 데이터 등) 및/또는 처리부(110)에 의해 처리된 데이터를 하나 이상의 서버에 업로드할 수 있다.
시스템(100)은 개인정보보호 설정에 근거하여 서버(예, 클라우드)로 데이터를 업로드할 수 있다. 예를 들면, 시스템(100)은 개인정보보호 설정을 이행하여 서버로 보내지는 차량과 차량의 운전자/소유자를 개별적으로 확인해주는 데이터(메타데이터 포함)의 유형을 규제 또는 제한할 수 있다. 이런 설정은, 예를 들어 사용자에 의해 무선 송수신기(172)를 통해 설정되거나, 공장설정으로 초기화되거나, 무선 송수신기(172)가 수신한 데이터에 의해 설정될 수 있다.
일부 실시예에서, 시스템(100)은 "높은" 개인정보보호 수준에 의거하여 데이터를 업로드할 수 있으며, 이렇게 설정하면 시스템(100)은 특정 차량 및/또는 운전자/소유자 정보 없이 데이터(예, 경로 관련 위치정보, 캡처 이미지 등)를 전송할 수 있다. 예를 들어, "높은" 개인정보보호 수준에 의거하여 데이터를 업로드할 경우, 시스템(100)은 차대번호 또는 차량 운전자 또는 소유자의 이름을 포함하지 않을 수 있고, 그 대신 캡처 이미지 및/또는 경로와 관련된 제한된 위치 정보 등의 데이터를 전송할 수 있다.
다른 개인정보보호 수준도 가능하다. 예를 들어, 시스템(100)은 "중간" 개인정보보호 수준에 의거하여 서버로 데이터를 전송할 수 있으며, 이 경우, "높은" 개인정보보호 수준 하에서 포함되지 않은 차량의 제조사 및/또는 모델 및/또는 차량 종류(예, 승용차, SUV, 트럭 등) 등의 추가 정보를 포함할 수 있다. 일부 실시예에서, 시스템(100)은 "낮은" 개인정보보호 수준에 의거하여 데이터를 업로드할 수 있다. "낮은" 개인정보보호 수준 하에서, 시스템(100)은 개별 차량, 소유자/운전자, 및/또는 차량이 이동한 전체 또는 일부 경로 등을 특정할 수 있는 정보를 포함하는 데이터를 업로드할 수 있다. 이러한 "낮은" 개인정보보호 수준 데이터는 예를 들어, 차대번호, 운전자/소유자 이름, 차량의 출발점, 차량의 목적지, 차량의 제조사 및/또는 모델, 차량의 종류 등을 포함할 수 있다.
도 2a는 기재된 실시예에 따른 차량 이미징 시스템의 일례의 측면도이다. 도 2b는 도 2a에 도시된 실시예의 평면도이다. 도 2b에 도시된 바와 같이, 본 실시예에 따른 차량(200)은 백미러 주변 및/또는 운전자 가까이 배치된 제1 이미지캡처장치(122), 범퍼 영역(예, 범퍼 영역(210)의 일 영역) 상 또는 내부에 배치된 제2 이미지캡처장치(124), 및 처리부(110)를 구비한 시스템(100)을 차체 내부에 포함한다.
도 2c에 도시된 바와 같이, 이미지캡처장치(122, 124)는 모두 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있다. 또한, 도 2b와 2c에는 이미지캡처장치(122, 124)가 두 개로 예시되었지만, 다른 실시예에서는 세 개 이상의 이미지캡처장치가 포함될 수 있음은 당연할 것이다. 예를 들어, 도 2d와 2e에 도시된 실시예에서는, 제1, 제2, 제3 이미지캡처장치(122, 124, 126)가 차량(200)의 시스템(100)에 포함되어 있다.
도 2d에 도시된 바와 같이, 이미지캡처장치(122)는 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있고, 이미지캡처장치(124, 126)는 차량(200)의 범퍼 영역(예, 범퍼 영역(210)의 일 영역) 상 또는 내부에 배치될 수 있다. 또한, 도 2e에 도시된 바와 같이, 이미지캡처장치(122, 124, 126)는 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있다. 본 실시예는 특정 수량 및 구성의 이미지캡처장치에 제한되지 않고, 이미지캡처장치는 차량의 내부 및/또는 차량 상의 적절한 모든 위치에 배치될 수 있다.
기재된 실시예들은 차량에 한정되는 것이 아니라 당연히 다른 상황에도 적용될 수 있다. 또한, 기재된 실시예들은 특정 유형의 차량(200)에 한정되는 것이 아니라, 당연히 자동차, 트럭, 트레일러, 및 기타 유형의 차량 등, 모든 유형의 차량에 적용될 수 있다.
제1 이미지캡처장치(122)는 적합한 유형의 이미지캡처장치를 포함할 수 있다. 이미지캡처장치(122)는 광축을 포함할 수 있다. 일례에서, 이미지캡처장치(122)는 글로벌 셔터 방식의 Aptina M9V024 WVGA 센서를 포함할 수 있다. 다른 실시예에서, 이미지캡처장치(122)는 1280x960 픽셀의 해상도를 제공하고 롤링 셔터 방식을 포함할 수 있다. 이미지캡처장치(122)는 다양한 광학 소자를 포함할 수 있다. 일부 실시예에서, 하나 이상의 렌즈를 포함하여 이미지캡처장치가 요구하는 초점거리 및 시야 등을 제공할 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 6mm 렌즈 또는 12mm 렌즈와 결합될 수 있다. 일부 실시예에서, 이미지캡처장치(122)는, 도 2d에 도시된 바와 같이, 필요한 시야(202)를 확보하도록 구성될 수 있다. 예를 들면, 이미지캡처장치(122)는, 46도 시야, 50도 시야, 52도 또는 그 이상의 시야 등과 같은, 40 내지 56도 범위의 일반 시야를 확보하도록 구성될 수 있다. 또는, 이미지캡처장치(122)는, 28도 시야 또는 36도 시야 등과 같은, 23 내지 40도 범위의 좁은 시야를 확보하도록 구성될 수 있다. 또한, 이미지캡처장치(122)는 100 내지 180도 범위의 넓은 시야를 확보하도록 구성될 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 광각 범퍼 카메라 또는 180도 시야까지 확보 가능한 카메라를 포함할 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 약 2:1(예, HxV=3800x1900 픽셀)의 종횡비와 약 100도의 수평 시야를 가진 7.2 메가픽셀 이미지캡처장치일 수 있다. 이러한 이미지캡처장치는 3개의 이미지캡처장치 구성을 대신할 수 있다. 방사상으로 대칭인 렌즈를 사용하는 이러한 이미지캡처장치의 수직 시야는 렌즈 왜곡으로 인하여 50도 이하로 구현될 수 있다. 예를 들어, 방사상으로 비대칭인 렌즈를 사용하여 수평 시야가 100도인 경우에 수직 시야가 50도 이상이 되게 할 수 있다.
제1 이미지캡처장치(122)는 차량(200)과 관련된 장면에 대한 복수의 제1 이미지를 획득할 수 있다. 복수의 제1 이미지 각각은 롤링 셔터를 사용하여 캡처 된 연속 주사선으로 획득될 수 있다. 각 주사선은 복수의 픽셀을 포함할 수 있다.
제1 이미지캡처장치(122)는 제1 연속 주사선 획득 관련 주사율을 가질 수 있다. 주사율이란 이미지 센서가 특정 주사선에 포함된 각 픽셀과 관련된 이미지 데이터를 획득하는 속도를 의미할 수 있다.
이미지캡처장치(122, 124, 126)는, 예를 들어, CCD 센서 또는 CMOS 센서와 같은, 적합한 유형과 개수의 이미지 센서를 포함할 수 있다. 일 실시예에서, 롤링 셔터 방식의 CMOS 이미지 센서를 도입하여 한 열의 각 픽셀을 하나씩 읽고, 전체 이미지 프레임이 캡처될 때까지 열별로 주사가 진행될 수 있다. 일부 실시예에서, 프레임에 대하여 각 열이 위에서 아래로 순차적으로 캡처될 수 있다.
일부 실시예에서, 여기에 기재된 하나 이상의 이미지캡처장치(122, 124, 126)는 고해상 이미저(high resolution imager)(imager)를 구성하고 5메가, 7메가, 10메가 또는 그 이상의 픽셀의 해상도를 가질 수 있다.
롤링 셔터를 사용하면, 서로 다른 열의 픽셀이 서로 다른 시간에 노출되고 캡처 될 수 있어서, 캡처 된 이미지 프레임에 왜곡(skew)과 기타 이미지 결함(artifact)이 나타날 수 있다. 반면, 이미지캡처장치(122)가 글로벌 셔터 방식 또는 동기화 셔터(synchronous shutter) 방식으로 작동하도록 구성된 경우, 모든 픽셀은 동일 시간만큼 그리고 일반적인 노출 시간 동안 노출될 수 있다. 그 결과, 글로벌 셔터 방식을 적용한 시스템에서 수집된 프레임의 이미지 데이터는 특정 시간의 전체 시야(예, 202)의 스냅 샷을 나타낸다. 반면, 롤링 셔터 방식에서는, 서로 다른 시간에 한 프레임의 각 열이 노출되고 데이터가 수집된다. 따라서, 롤링 셔터 방식 이미지캡처장치의 이미지 내의 움직이는 물체는 왜곡돼 보일 수 있다. 이 현상에 대해서는 하기에서 더 자세히 설명한다.
제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 적합한 유형의 이미지캡처장치일 수 있다. 제1 이미지캡처장치(122)와 마찬가지로, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 광축을 포함할 수 있다. 일 실시예에서, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 글로벌 셔터 방식의 Aptina M9V024 WVGA 센서를 포함할 수 있다. 또는, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 롤링 셔터 방식을 포함할 수 있다. 제1 이미지캡처장치(122)와 마찬가지로, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 다양한 렌즈와 광학 소자를 포함하도록 구성될 수 있다. 일부 실시예에서, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)와 관련된 렌즈는 제1 이미지캡처장치(122)와 관련된 시야(예, 202)와 동일하거나 이보다 좁은 시야(204, 206)를 제공할 수 있다. 예를 들어, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)의 시야는 각각 40도, 30도, 26도, 20도, 또는 그 이하일 수 있다.
제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 차량(200)과 관련된 장면에 대한 복수의 제2 및 제3 이미지를 획득할 수 있다. 복수의 제2 및 제3 이미지 각각은 롤링 셔터를 사용하여 캡처 된 제2 및 제3 연속 주사선으로 획득될 수 있다. 각 주사선 또는 열은 복수의 픽셀을 포함할 수 있다. 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 제2 및 제3 연속 주사선 획득 관련 제2 및 제3 주사율을 가질 수 있다.
이미지캡처장치(122, 124, 126)는 각각 차량(200)의 적합한 위치와 자세로 배치될 수 있다. 이미지캡처장치(122, 124, 126)의 상대적 배치는 이미지캡처장치로부터 획득된 정보의 융합이 용이하도록 선택될 수 있다. 예를 들어, 일부 실시예에서, 제2 이미지캡처장치(124)의 시야(예, 204)는 제1 이미지캡처장치(122)의 시야(예, 202) 및 제3 이미지캡처장치(126)의 시야(예, 206)와 부분적으로 또는 완전히 겹칠 수도 있다.
이미지캡처장치(122, 124, 126)는 차량(200)의 적합한 상대 높이에 배치될 수 있다. 일례에서, 이미지캡처장치(122, 124, 126) 사이의 높이에 차이를 두어 입체 분석을 가능하게 하는 시차 정보를 제공할 수 있다. 예를 들면, 도 2A에 도시된 바와 같이, 이미지캡처장치(122)와 이미지캡처장치(124)는 서로 높이가 다르다. 이미지캡처장치(122, 124, 126) 사이에 횡방향 변위 차이도 있어 처리부(110) 등에 의한 입체 분석을 위한 추가 시차 정보도 제공할 수 있다. 도 2c와 도 2d에 도시된 바와 같이, 횡방향 변위의 차이는 dx로 표시될 수 있다. 일부 실시예에서, 이미지캡처장치(122, 124, 126) 사이에 전방 또는 후방 변위(예, 범위 변위)가 있을 수 있다. 예를 들어, 이미지캡처장치(122)는 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 0.5 내지 2미터 후방에 배치될 수 있다. 이런 유형의 변위로 인해, 이미지캡처장치 중 하나가 나머지 이미지캡처장치의 사각 지대를 보완할 수 있다.
이미지캡처장치(122)는 적합한 해상도(예, 이미지 센서 관련 픽셀 수)를 가질 수 있고, 이미지캡처장치(122)와 연관된 이미지 센서의 해상도는 이미지캡처장치(124, 126)와 연관된 이미지 센서의 해상도와 비교하여 높거나, 낮거나, 같을 수 있다. 일부 실시예에서, 이미지캡처장치(122) 및/또는 이미지캡처장치(124, 126)와 연관된 이미지 센서의 해상도는 640 x 480, 1024 x 768, 1280 x 960, 또는 기타 적합한 해상도일 수 있다.
프레임 속도(frame rate, 즉, 이미지캡처장치가 다음 이미지 프레임의 픽셀 데이터를 획득하기 위해 넘어가기 전에 한 이미지 프레임의 픽셀 데이터 집합을 획득하는 속도)는 제어 가능하다. 이미지캡처장치(122)의 프레임 속도는 이미지캡처장치(124, 126)의 프레임 속도보다 높거나, 낮거나, 같을 수 있다. 이미지캡처장치(122, 124, 126)의 프레임 속도는 프레임 속도의 타이밍에 영향을 주는 다양한 요인에 의거할 수 있다. 예를 들면, 하나 이상의 이미지캡처장치(122, 124, 126)는 탑재한 이미지 센서의 하나 이상의 픽셀 관련 이미지 데이터를 획득하기 전 또는 후에 부과되는 선택적 픽셀 지연 기간(selectable pixel delay period)을 포함할 수 있다. 일반적으로, 각 픽셀에 상응하는 이미지 데이터는 해당 장치의 클락 속도(clock rate)에 의거하여(예, 클락 주파수(clock cycle)당 1 픽셀) 획득된다. 또한, 롤링 셔터 방식을 포함하는 실시예에서, 하나 이상의 이미지캡처장치(122, 124, 126)는 탑재한 이미지 센서의 한 열의 픽셀 관련 이미지 데이터를 획득하기 전 또는 후에 부과되는 선택적 수평 귀선 기간(selectable horizontal blanking period)을 포함할 수 있다. 나아가, 하나 이상의 이미지캡처장치(122, 124, 126)는 이미지 프레임 관련 이미지 데이터를 획득하기 전 또는 후에 부과되는 선택적 수직 귀선 기간(selectable vertical blanking period)을 포함할 수 있다.
이러한 타이밍 제어로 인해, 이미지캡처장치(122, 124, 126)의 선주사 속도(line scan rate)가 서로 다른 경우에도 이미지캡처장치(122, 124, 126)의 프레임 속도의 동기화가 가능하다. 또한, 하기에 더 자세히 설명하겠지만, 여러 요인(예, 이미지 센서 해상도, 최고 선주사 속도 등) 중에서 이러한 타이밍 제어로 인해, 이미지캡처장치(122)의 시야가 이미지캡처장치(124, 126)의 시야와 다른 경우에도, 이미지캡처장치(122)의 시야와 이미지캡처장치(124, 126)의 하나 이상의 시야가 겹치는 영역으로부터 캡처 된 이미지의 동기화가 가능할 수 있다.
이미지캡처장치(122, 124, 126)의 프레임 속도 타이밍은 상응하는 이미지 센서의 해상도에 의거할 수 있다. 예를 들어, 두 장치의 선주사 속도가 유사하다고 가정할 때, 한 장치의 이미지 센서의 해상도가 640×480이고 다른 장치의 이미지 센서의 해상도가 1280×960일 경우, 높은 해상도를 가진 센서로부터 이미지 데이터의 프레임을 획득하는데 더 많은 시간이 걸릴 것이다.
이미지캡처장치(122, 124, 126)의 이미지 데이터 획득 타이밍에 영향을 주는 또다른 요인은 최고 선주사 속도(maximum line scan rate)이다. 예를 들면, 이미지캡처장치(122, 124, 126)에 포함된 이미지 센서로부터 한 열의 이미지 데이터를 획득하려면 최소 시간 이상이 걸릴 수 있다. 픽셀 지연 기간이 추가되지 않았다고 가정할 때, 한 열의 이미지 데이터를 획득하기 위한 최저 시간은 특정 장치의 최고 선주사 속도와 관계가 있을 것이다. 최고 선주사 속도가 높은 장치는 최고 선주사 속도가 낮은 장치보다 높은 프레임 속도를 제공할 가능성이 있다. 일부 실시예에서, 하나 이상의 이미지캡처장치(124, 126)의 최고 선주사 속도는 이미지캡처장치(122)의 최고 선주사 속도보다 높을 수 있다. 일부 실시예에서, 이미지캡처장치(124 및/또는 126)의 최고 선주사 속도는 이미지캡처장치(122)의 최고 선주사 속도보다 1.25배, 1.5배, 1.75배, 2배, 또는 그 이상 높을 수 있다.
다른 실시예에서, 이미지캡처장치(122, 124, 126)의 최고 선주사 속도는 모두 동일하지만, 이미지캡처장치(122)는 최고 주사 속도 이하의 주사 속도로 동작할 수 있다. 시스템은 하나 이상의 이미지캡처장치(124, 126)가 이미지캡처장치(122)의 선주사 속도와 동일한 선주사 속도로 동작하도록 구성될 수 있다. 다른 예에서, 시스템은 이미지캡처장치(124 및/또는 126)의 선주사 속도가 이미지캡처장치(122)의 선주사 속도보다 1.25배, 1.5배, 1.75배, 2배, 또는 그 이상 높도록 구성될 수 있다.
일부 실시예에서, 이미지캡처장치(122, 124, 126)는 비대칭일 수 있다. 즉, 이미지캡처장치(122, 124, 126)는 시야와 초점거리가 서로 다른 카메라를 포함할 수 있다. 이미지캡처장치(122, 124, 126)의 시야는 차량(200)의 주변상황 등과 관련된 필요 영역을 포함할 수 있다. 일부 실시예에서, 하나 이상의 이미지캡처장치(122, 124, 126)는 차량(200)의 전방, 후방, 측방, 또는 그 조합의 주변상황으로부터 이미지 데이터를 획득하도록 구성될 수 있다.
또한, 각 이미지캡처장치가 차량(200)에 대한 특정 거리 범위에 있는 물체의 이미지를 획득하도록 각 이미지캡처장치(122, 124, 126)의 초점거리가 선택될(예, 적합한 렌즈 적용) 수 있다. 예를 들어, 일부 실시예에서, 이미지캡처장치(122, 124, 126)는 차량으로부터 몇 미터 내에 있는 물체의 클로즈업 이미지를 획득할 수 있다. 이미지캡처장치(122, 124, 126)는 차량으로부터 멀리 떨어진 범위(예, 25m, 50m, 100m, 150m, 또는 그 이상)에 있는 물체의 이미지를 획득하도록 구성될 수도 있다. 또한, 한 이미지캡처장치(예, 122)는 차량과 상대적으로 가까운(예, 10m 또는 20m 이내) 물체의 이미지를 획득하고 나머지 이미지캡처장치(예, 124, 126)는 이보다 멀리 있는(예, 20m, 50m, 100m, 150m 이상) 물체의 이미지를 획득하도록 이미지캡처장치(122, 124, 126)의 초점거리가 선택될 수 있다.
일부 실시예에 의하면, 하나 이상의 이미지캡처장치(122, 124, 126)의 시야는 광각일 수 있다. 예를 들면, 차량(200) 주변 영역의 이미지를 획득하기 위해 사용되는 이미지캡처장치(122, 124, 126)의 시야는 140도일 경우가 유리할 수 있다. 예를 들어, 이미지캡처장치(122)는 차량(200)의 우측 또는 좌측 영역의 이미지를 캡처하기 위해 사용될 수 있고, 이런 실시예에서 이미지캡처장치(122)는 넓은 시야(예, 140도 이상)를 가지는 것이 바람직할 수 있다.
이미지캡처장치(122, 124, 126)의 시야는 각 초점거리에 의거할 수 있다. 예를 들어, 초점거리가 증가하면, 이에 상응하는 시야는 감소한다.
이미지캡처장치(122, 124, 126)는 적합한 시야를 가지도록 구성될 수 있다. 일례에서, 이미지캡처장치(122)의 수평 시야는 46도이고, 이미지캡처장치(124)의 수평 시야는 23도이며, 이미지캡처장치(126)의 수평 시야는 23도 내지 46도일 수 있다. 다른 예에서, 이미지캡처장치(122)의 수평 시야는 52도이고, 이미지캡처장치(124)의 수평 시야는 26도이며, 이미지캡처장치(126)의 수평 시야는 26도 내지 52도일 수 있다. 일부 실시예에서, 이미지캡처장치(122)의 시야 대 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 시야 비율은 1.5 내지 2.0일 수 있다. 다른 실시예에서, 이 비율은 1.25 내지 2.25일 수 있다.
시스템(100)은 이미지캡처장치(126)의 일부 또는 전체 시야가 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 시야와 겹치도록 구성될 수 있다. 일부 실시예에서, 시스템(100)은 이미지캡처장치(124, 126)의 시야가 이미지캡처장치(126)의 시야의 중심에 들어가고(예를 들어, 시야가 좁은 경우) 중심이 서로 맞도록 구성될 수 있다. 다른 실시예에서, 이미지캡처장치(122, 124, 126)는 인접하는 시야를 캡처하거나 인접하는 시야와 부분적으로 겹칠 수 있다. 일부 실시예에서, 이미지캡처장치(122, 124, 126)의 시야는 시야가 좁은 이미지캡처장치(124 및/또는 126)의 중심이 시야가 넓은 이미지캡처장치(122)의 시야의 하부에 배치되도록 정렬될 수 있다.
도 2f는 기재된 실시예에 따른 자동차 제어 시스템의 일례의 개략도이다. 도 2f에 도시된 바와 같이, 차량(200)은 구동 시스템(220), 제동 시스템(230), 조향 시스템(240)을 포함할 수 있다. 시스템(100)은 하나 이상의 데이터 링크(예, 데이터 송신용 유선 및/또는 무선 링크)를 통하여 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로 입력(예, 제어신호)을 제공할 수 있다. 예를 들어, 이미지캡처장치(122, 124, 126)가 획득한 이미지의 분석에 근거하여, 시스템(100)은 차량(200)을 주행(예, 가속, 회전, 차선 변경 등)하기 위한 제어 신호를 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로 제공할 수 있다. 또한, 시스템(100)은 차량(200)의 작동 상황(예, 속도, 제동 및/또는 회전 여부 등)을 나타내는 입력을 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로부터 수신할 수 있다. 이에 대하여는 도 4 내지 7을 참조하여 하기에 자세히 설명한다.
도 3a에 도시된 바와 같이, 차량(200)은 또한 차량(200)의 운전자 또는 탑승자와 상호 작용하기 위한 사용자 인터페이스(170)를 포함한다. 예를 들어, 차량에 적용된 사용자 인터페이스(170)는 터치스크린(320), 다이얼(330), 버튼(340), 마이크(350)를 포함할 수 있다. 차량(200)의 운전자 혹은 탑승자는 또한 손잡이(예, 차량의 조향축 상 또는 주위에 배치된 방향등 손잡이 등), 버튼(예, 차량의 조향 핸들에 배치된 버튼 등) 등을 사용하여 시스템(100)과 상호 작용할 수도 있다. 일부 실시예에서, 마이크(350)는 백미러(310)에 인접하여 배치될 수 있다. 이와 유사하게, 일부 실시예에서, 이미지캡처장치(122)는 백미러(310) 부근에 배치될 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 또한 하나 이상의 스피커(360: 예, 차량 오디오 시스템의 스피커)도 포함할 수 있다. 예를 들어, 시스템(100)은 스피커(360)를 통하여 다양한 안내(예, 경보)를 제공할 수 있다.
도 3b 내지 3d는 기재된 실시예에 따른 백미러(예, 310) 뒤의 차량 전면 유리에 위치되도록 구성된 카메라 마운트(370)의 일례이다. 도 3b에 도시된 바와 같이, 카메라 마운트(370)는 이미지캡처장치(122, 124, 126)를 포함할 수 있다. 이미지캡처장치(124, 126)는, 차량 전면 유리에 맞닿아 있고 필름 및/또는 반사 방지 물질의 구조를 포함하는, 눈부심 가림막(380) 후면에 배치될 수 있다. 예를 들어, 눈부심 가림막(380)은 차량 전면 유리에 상응하는 기울기를 가지고 차량 전면 유리에 대해 정렬되도록 배치될 수 있다. 일부 실시예에서, 각 이미지캡처장치(122, 124, 126)는 도 3d에 도시된 바와 같이 눈부심 가림막(380)의 후면에 배치될 수 있다. 여기에 기재된 실시예들은 어느 특정한 구성의 이미지캡처장치(122, 124, 126), 카메라 마운트(370), 눈부심 가림막(380)으로 한정되지 않는다. 도 3c는 도 3b에 도시된 카메라 마운트(370)를 정면에서 바라본 예시이다.
상기 실시예들은 다양한 변형 및/또는 수정이 가능함을 본 발명의 당업자는 이해할 것이다. 예를 들어, 시스템(100)의 동작을 위하여 모든 구성요소가 반드시 필요한 것은 아니다. 또한, 기재된 실시예들의 기능을 제공하면서, 어느 구성요소라도 시스템(100)의 적합한 부분에 배치될 수 있으며, 구성요소들은 다양한 구성으로 재배치될 수 있다. 따라서, 상기 구성들은 예시에 불과하고, 시스템(100)은 상기 구성들과 무관하게 광범위한 기능을 제공하여 차량(200)의 주변상황을 분석하고 이 분석에 대응하여 차량(200)을 주행할 수 있다.
하기의 설명과 기재된 다양한 실시예에 따라, 시스템(100)은 자율 주행 및/또는 운전자 보조 기술과 관련된 다양한 특징을 제공할 수 있다. 예를 들면, 시스템(100)은 이미지 데이터, 위치 데이터(예, GPS 위치 정보), 지도 데이터, 속도 데이터, 및/또는 차량(200)에 포함된 센서들로부터의 데이터를 분석할 수 있다. 시스템(100)은 분석할 데이터를, 예를 들어, 이미지획득부(120), 위치센서(130), 및 기타 센서들로부터 수집할 수 있다. 또한, 시스템(100)은 수집한 데이터를 분석하여 차량(200)이 특정 동작을 수행해야 할지 여부를 판단한 후, 판단한 동작을 인간의 개입 없이 자동으로 수행할지 여부를 판단할 수 있다. 예를 들어, 차량(200)이 인간의 개입 없이 주행하는 경우, 시스템(100)은 차량(200)의 제동, 가속, 및/또는 조향을 자동으로 제어(예, 구동 시스템(220), 제동 시스템(230), 조향 시스템(240)의 하나 이상에 제어신호를 전송)할 수 있다. 또한, 시스템(100)은 수집된 데이터를 분석하고 이 분석 결과에 따라 차량 탑승자들에게 주의 및/또는 경보를 제공할 수 있다. 시스템(100)이 제공하는 다양한 실시예들에 관해서는 하기에 추가로 설명한다.
전방 다중 이미징 시스템
상기에 설명한 바와 같이, 시스템(100)은 다중 카메라 시스템을 사용하는 운전 지원 기능을 제공할 수 있다. 다중 카메라 시스템은 차량의 전방을 향하는 하나 이상의 카메라를 사용할 수 있다. 다른 실시예에서, 다중 카메라 시스템은 차량의 측방 또는 후방을 향하는 하나 이상의 카메라를 포함할 수 있다. 예를 들어, 일 실시예에서, 시스템(100)은 이중 카메라 이미징 시스템을 사용하여, 제1 카메라와 제2 카메라(예, 이미지캡처장치(122, 124))가 차량(200)의 전방 및/또는 측방에 배치될 수 있다. 기재된 실시예에 따른 다른 카메라 구성도 있으며, 여기에 기재된 구성은 예시일 뿐이다. 예를 들면, 시스템(100)은 다양한 개수의 카메라(예, 1개, 2개, 3개, 4개, 5개, 6개, 7개, 8개 등)의 구성을 포함할 수 있다. 나아가, 시스템(100)은 카메라의 "클러스터"를 포함할 수 있다. 예를 들어, 카메라 클러스터(1개, 4개, 8개 등과 같은 다양한 개수의 카메라를 포함함)는 차량의 전방을 향하거나 다른 방향(예, 후방, 측방, 특정 각도 등)을 향하고 있을 수 있다. 이에 따라, 시스템(100)은 복수의 카메라 클러스터를 포함하고, 각 클러스터는 특정 방향을 향하여 차량 주변의 특정 영역으로부터 이미지를 캡처할 수 있다.
제1 카메라의 시야는 제2 카메라의 시야보다 넓거나, 좁거나, 부분적으로 겹칠 수 있다. 뿐만 아니라, 제1 카메라는 제1 이미지 프로세서와 연결되어 제1 카메라가 제공한 이미지의 단안 이미지 분석을 수행하고, 제2 카메라는 제2 이미지 프로세서와 연결되어 제2 카메라가 제공한 이미지의 단안 이미지 분석을 수행할 수 있다. 제1 및 제2 이미지 프로세서의 출력(예, 처리된 정보)은 합쳐질 수 있다. 일부 실시예에서, 제2 이미지 프로세서는 제1 및 제2 카메라 모두로부터 이미지를 수신하여 입체 분석을 수행할 수 있다. 다른 실시예에서, 시스템(100)은 각 카메라의 시야가 서로 다른 3중 카메라 이미징 시스템을 사용할 수 있다. 따라서, 이런 시스템은 차량의 전방 및 측방의 다양한 거리에 위치한 물체로부터 얻은 정보에 근거한 판단을 내릴 수 있다. 단안 이미지 분석이란 단일 시야로부터 캡처 된 이미지(예, 단일 카메라에서 캡처 된 이미지)에 근거하여 이미지 분석을 수행하는 경우를 말할 수 있다. 입체 이미지 분석이란 하나 이상의 이미지 캡처 파라미터로 캡처 된 두 개 이상의 이미지에 근거하여 이미지 분석을 수행하는 경우를 말할 수 있다. 예를 들면, 입체 이미지 분석에 적합한 캡처 된 이미지는 둘 이상의 위치로부터 캡처 된 이미지, 서로 다른 시야로부터 캡처 된 이미지, 서로 다른 초점거리를 사용하여 캡처 된 이미지, 시차 정보에 따라 캡처 된 이미지 등을 포함할 수 있다.
예를 들어, 일 실시예에서, 시스템(100)은 이미지캡처장치(122 내지 126)를 사용하여 3중 카메라 구성을 구현할 수 있다. 이런 구성에서, 이미지캡처장치(122)는 좁은 시야(예, 34도, 또는 약 20 내지 45도 범위에서 선택한 시야)를 제공할 수 있고, 이미지캡처장치(124)는 광시야(예, 150도 또는 약 100 내지 180도 범위에서 선택한 시야)를 제공할 수 있으며, 이미지캡처장치(126)는 중간 시야(예, 46도 또는 약 35 내지 60도 범위에서 선택한 시야)를 제공할 수 있다. 일부 실시예에서, 이미지캡처장치(126)는 주 카메라 역할을 할 수 있다. 이미지캡처장치(122 내지 126)는 백미러(310) 후면에 배치되고 실질적으로 서로 나란히(예, 6cm 간격으로) 배치될 수 있다. 또한, 상기에 설명한 바와 같이, 일부 실시예에서, 하나 이상의 이미지캡처장치(122 내지 126)는 차량(200)의 전면 유리에 맞닿아 있는 눈부심 가림막(380) 뒤에 탑재될 수 있다. 이러한 가림막은 차량 내부로부터의 반사가 이미지캡처장치(122 내지 126)에 끼치는 영향을 최소화할 수 있다.
다른 실시예에서, 상기에 도 3b 내지 3c를 참조하여 설명한 바와 같이, 광시야 카메라(예, 상기 예에서의 이미지캡처장치(124))는 좁은 시야 카메라와 주 시야 카메라(예, 상기 예에서의 이미지캡처장치(122, 126))보다 낮은 위치에 탑재될 수 있다. 이런 구성은 광시야 카메라로부터 탁 트인 시선을 제공할 수 있다. 반사를 줄이기 위하여, 카메라들은 차량(200)의 전면 유리 가까이 탑재될 수 있고, 반사광을 완화하기 위하여 편광판을 포함할 수 있다.
3중 카메라 시스템은 특정 성능을 제공할 수 있다. 예를 들면, 일부 실시예는 한 카메라가 검출한 물체에 대해 다른 카메라의 검출 결과에 근거하여 검증하는 능력을 포함할 수 있다. 상기에 설명한 3중 카메라 구성에서, 처리부(110)는 예를 들어 3개의 처리 장치(예, 3개의 EyeQ 시리즈 프로세서 칩)를 포함하고, 각 처리 장치는 하나 이상의 이미지캡처장치(122 내지 126)가 캡처한 이미지를 전용으로 처리할 수 있다.
3중 카메라 시스템에서, 제1 처리 장치는 주 카메라와 좁은 시야 카메라로부터 이미지를 수신하고, 좁은 시야 카메라의 시각 처리를 수행하여, 예를 들어, 다른 차량, 보행자, 차로 표시, 교통 표지, 신호등, 기타 도로상의 물체 등을 검출할 수 있다. 나아가, 제1 처리 장치는 주 카메라와 좁은 시야 카메라 사이의 픽셀 차이를 산출하여 차량(200) 주변상황의 3차원 재구성(3d reconstruction)을 생성한 후, 3차원 재구성을 3차원 지도 데이터 또는 다른 카메라로부터 수신한 정보에 근거하여 계산한 3차원 정보와 조합할 수 있다.
제2 처리 장치는 주 카메라로부터 이미지를 수신하고, 시각 처리를 수행하여 다른 차량, 보행자, 차로 표시, 교통 표지, 신호등, 기타 도로상의 물체 등을 검출할 수 있다. 뿐만 아니라, 제2 처리 장치는 카메라 변위를 계산하고, 계산된 변위에 근거하여 연속된 이미지 사이의 픽셀 차이를 계산하여 장면(예, 동작의 구조)의 3차원 재구성을 생성할 수 있다. 제2 처리 장치는 3차원 재구성에 근거한 동작의 구조를 제1 처리 장치에 전송하여 3차원 입체 이미지와 조합할 수 있다.
제3 처리 장치는 광시야 카메라로부터 이미지를 수신하고 이미지를 처리하여 차량, 보행자, 차로 표시, 교통 표지, 기타 도로상의 물체 등을 검출할 수 있다. 제3 처리 장치는 또한 이미지 분석을 위한 추가 처리 명령을 수행하여 차선을 변경하는 차량, 보행자 등과 같은 움직이는 물체를 식별할 수 있다.
일부 실시예에서, 이미지 기반 정보의 스트림을 독립적으로 캡처하고 처리함으로써, 시스템 상의 중복성을 제공할 수 있다. 여기서, 중복성이란, 예를 들면, 제1 이미지캡처장치와 이 장치로부터 처리된 이미지를 사용하여 적어도 제2 이미지캡처장치로부터 이미지 정보를 캡처하고 처리하여 획득된 정보를 검증 및/또는 보완하는 것을 포함할 수 있다.
일부 실시예에서, 시스템(100)은 2개의 이미지캡처장치(예, 122, 124)를 사용하여 차량(200)의 항법 보조를 제공하고 제3 이미지캡처장치(예, 126)을 사용하여 상기 2개의 이미지캡처장치로부터 수신한 데이터의 분석 결과의 중복성 및 검증을 제공할 수 있다. 예를 들면, 이런 구성에서, 이미지캡처장치(122, 124)는 차량(200)의 항법을 위해 시스템(100)에 의한 입체 분석을 위한 이미지를 제공하고, 이미지캡처장치(126)는 시스템(100)에 의한 단안 분석을 위한 이미지를 제공하여 이미지캡처장치(122 및/또는 126)가 캡처한 이미지에 근거하여 캡처한 정보의 중복성 및 검증을 제공할 수 있다. 즉, 이미지캡처장치(126)(및 상응하는 처리 장치)는 이미지캡처장치(122, 124)로부터 얻은 분석에 대한 확인을 제공(예, 자동긴급제동(AEB, automatic emergency braking) 제공) 하기 위한 중복 서브시스템을 제공하는 것으로 간주될 수 있다. 나아가, 일부 실시예에서, 수신된 데이터의 중복성 및 검증은 하나 이상의 센서로부터 수신된 정보(예, 레이더, 라이더, 음향 센서, 차량 외부의 하나 이상의 송수신기로부터 수신된 정보 등)에 기반하여 보완될 수 있다.
상기 카메라의 구성, 배치, 개수, 위치 등은 예시에 불과하다는 것을 당업자는 인식할 수 있을 것이다. 전체적인 시스템과 연관하여 설명하는 이러한 구성요소들과 기타 구성요소들은 기재된 실시예들의 범위를 벗어나지 않고 다양한 구성으로 조합되고 사용될 수 있다. 운전자 지원 및/또는 자율 주행 기능을 제공하기 위한 다중 카메라 시스템의 사용과 관련된 내용은 하기에 설명한다.
도 4는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장/프로그램하도록 구성된 메모리(140 및/또는 150)를 예시한 기능 구성도이다. 하기에는 메모리(140)에 관하여 설명하지만, 명령이 메모리(140) 및/또는 메모리(150)에 저장될 수 있음은 당업자에게 당연할 것이다.
도 4에 도시된 바와 같이, 메모리(140)은 단안 이미지 분석 모듈(402), 입체 이미지 분석 모듈(404), 속도 및 가속 모듈(406), 항법 반응 모듈(408)을 저장할 수 있다. 여기에 기재된 실시예들은 메모리(14)의 어느 특정 구성으로 한정되지 않는다. 또한, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)는 메모리(140)에 포함된 모든 모듈(402-408)에 저장된 명령을 실행할 수 있다. 본 발명의 기술분야의 당업자라면 하기의 설명에서 처리부(110)란 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)를 개별적으로 또는 총괄하여 지칭할 수 있다는 것을 이해할 것이다. 이에 따라, 하기에 설명한 프로세스의 단계들은 하나 이상의 처리 장치에 의해 수행될 수 있다.
일 실시예에서, 단안 이미지 분석 모듈(402)은, 처리부(110)에 의해 실행될 경우 이미지캡처장치(122, 124, 126) 중의 하나가 확보한 이미지 세트의 단안 이미지 분석을 수행하는, 명령(예, 컴퓨터 시각 소프트웨어)을 저장할 수 있다. 일부 실시예에서, 처리부(110)는 이미지 세트의 정보를 추가 감지 정보(예, 레이더로부터 얻은 정보)와 병합하여 단안 이미지 분석을 수행할 수 있다. 하기에 도 5a 내지 5d를 참조하여 설명하겠지만, 단안 이미지 분석 모듈(402)은 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 위험 물체, 및 차량의 주변상황과 연관된 기타 특성 등과 같은 특징들을 이미지 세트 내에서 검출하기 위한 명령을 포함할 수 있다. 시스템(100)은 이 분석에 근거하여, 예를 들어 처리부(110)를 통하여, 차량(200)의 회전, 차선 변경, 가속 변화 등과 같은 하나 이상의 항법 반응(navigational response)을 야기할 수 있으며, 이에 대해서는 하기에 항법 반응 모듈(408)에서 설명한다.
일 실시예에서, 단안 이미지 분석 모듈(402)은, 처리부(110)에 의해 실행될 경우 이미지캡처장치(122, 124, 126) 중의 하나가 확보한 이미지 세트의 단안 이미지 분석을 수행하는, 명령(예, 컴퓨터 시각 소프트웨어)를 저장할 수 있다. 일부 실시예에서, 처리부(110)는 이미지 세트의 정보를 추가 감지 정보(예, 레이더, 라이더 등으로부터 얻은 정보)와 병합하여 단안 이미지 분석을 수행할 수 있다. 하기에 도 5a 내지 5d를 참조하여 설명하겠지만, 단안 이미지 분석 모듈(402)은 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 위험 물체, 및 차량의 주변상황과 연관된 기타 특성 등과 같은 특징들을 이미지 세트 내에서 검출하기 위한 명령을 포함할 수 있다. 시스템(100)은 이 분석에 근거하여, 예를 들어 처리부(110)를 통하여, 차량(200)의 회전, 차선 변경, 가속 변화 등과 같은 하나 이상의 항법 반응을 야기할 수 있으며, 이에 대해서는 하기에 항법 반응의 판단에서 설명한다.
일 실시예에서, 입체 이미지 분석 모듈(404)은, 처리부(110)에 의해 실행될 경우 이미지캡처장치(122, 124, 126) 중에서 선택된 이미지캡처장치의 조합에 의해 확보된 제1 및 제2 이미지 세트의 입체 이미지 분석을 수행하는, 명령(예, 컴퓨터 시각 소프트웨어)을 저장할 수 있다. 일부 실시예에서, 처리부(110)는 제1 및 제2 이미지 세트의 정보를 추가 감지 정보(예, 레이다로부터 얻은 정보)와 병합하여 입체 이미지 분석을 수행할 수 있다. 예를 들어, 입체 이미지 분석 모듈(404)은 이미지캡처장치(124)가 확보한 제1 이미지 세트와 이미지캡처장치(126)가 확보한 제2 이미지 세트에 근거하여 입체 이미지 분석을 수행하기 위한 명령을 포함할 수 있다. 하기에 도 6을 참조하여 설명하겠지만, 입체 이미지 분석 모듈(404)은 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 위험 물체, 및 차량의 주변환경과 연관된 기타 특성 등과 같은 특징들을 제1 및 제2 이미지 세트 내에서 검출하기 위한 명령을 포함할 수 있다. 처리부(110)는 이 분석에 근거하여 차량(200)의 회전, 차선 변경, 가속 변화 등과 같은 하나 이상의 항법 반응을 야기할 수 있으며, 이에 대해서는 하기에 항법 반응 모듈(408)에서 설명한다. 또한, 일부 실시예에서, 입체 이미지 분석 모듈(404)은 학습 시스템(예, 신경망 또는 심층 신경망) 또는 비학습 시스템과 관련된 방법을 구현할 수 있다.
일 실시예에서, 속도 및 가속 모듈(406)은 차량(200)의 속도 및/또는 가속 변화를 야기하도록 구성된 차량(200)에 구비된 하나 이상의 컴퓨팅 및 기전 장치로부터 수신한 데이터를 분석하도록 구성된 소프트웨어를 저장할 수 있다. 예를 들어, 처리부(110)는 속도 및 가속 모듈(406)과 연계된 명령을 수행함으로써 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)를 실행하여 얻은 데이터에 근거하여 차량(200)의 목표 속도를 산출할 수 있다. 상기 데이터는 예를 들어 목표 위치, 속도, 및/또는 가속, 부근의 차량, 보행자 또는 도로상의 물체에 대한 차량(200)의 위치 및/또는 속도, 도로의 차로 표시에 대한 차량(200)의 위치 정보 등을 포함할 수 있다. 또한, 처리부(110)는 감지 입력(예, 레이더로부터 얻은 정보) 및 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)과 같은 기타 시스템의 입력에 근거하여 차량(200)의 목표 속도를 산출할 수 있다. 산출된 목표 속도에 근거하여, 처리부(110)는 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)으로 전자 신호를 전송하여, 예를 들면, 물리적으로 차량(200)의 브레이크 페달을 누르거나 가속 페달을 감압하여 속도 및/또는 가속의 변화를 일으킬 수 있다.
일 실시예에서, 항법 반응 모듈(408)은 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)를 실행하여 얻은 데이터에 근거하여 필요한 항법 반응을 판단하기 위하여 처리부(110)에 의해 실행 가능한 소프트웨어를 저장할 수 있다. 상기 데이터는 부근의 차량, 보행자, 및 도로상의 물체에 대한 위치 및 속도, 차량(200)의 목표 위치 정보 등을 포함할 수 있다. 뿐만 아니라, 일부 실시예에서, 항법 반응은 지도 데이터, 미리 설정한 차량(200)의 위치, 및/또는 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)를 실행하여 얻은 차량(200)과 하나 이상의 물체 사이의 상대 속도 또는 상대 가속에 부분적으로 또는 전적으로 근거할 수 있다. 항법 반응 모듈(408)은 또한 감지 입력(예, 레이더로부터 얻은 정보) 및 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)과 같은 기타 시스템의 입력에 근거하여 필요한 항법 반응을 판단할 수 있다. 필요한 항법 반응에 근거하여, 처리부(110)는 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)으로 전자 신호를 전송하여, 예를 들면, 차량(200)의 조향 핸들을 회전하여 미리 설정한 각도의 회전을 유도함으로써 필요한 항법 반응을 일으킬 수 있다. 일부 실시예에서, 처리부(110)는 항법 반응 모듈(408)의 출력(예, 필요한 항법 반응)을 차량(200)의 속도 변경을 산출하기 위한 속도 및 가속 모듈(406)의 실행을 위한 입력으로 사용할 수 있다.
또한, 여기에 기재된 어느 모듈(예, 402, 404, 406)이라도 학습 시스템(예, 신경망 또는 심층 신경망) 또는 비학습 시스템과 연관된 방법을 구현할 수 있다.　
도 5a는 기재된 실시예에 따른 단안 이미지 분석에 근거한 하나 이상의 항법 반응을 야기하는 프로세스(500A)의 일례를 예시한 순서도이다. 단계 510에서, 처리부(110)는 처리부(110)와 이미지획득부(120) 사이의 데이터 인터페이스(128)를 통하여 복수의 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120)에 포함된 카메라(예, 시야(202)를 가진 이미지캡처장치(122))는 차량(200)의 전방 영역(또는 측방 또는 후방 영역)의 복수의 이미지를 캡처하고 이 이미지를 데이터 연결(예, 디지털, 유선, USB, 무선, 블루투스 등)을 통하여 처리부(110)로 전송할 수 있다. 처리부(110)는 단계 520에서 단안 이미지 분석 모듈(402)을 실행하여 복수의 이미지를 분석할 수 있다. 이에 대해서는 도 5b 내지 5d를 참조하여 상세히 설명한다. 분석을 수행함으로써, 처리부(110)는 이미지 세트에서 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등 등의 특징들을 검출할 수 있다.
처리부(110)는 또한 단계 520에서 단안 이미지 분석 모듈(402)을 실행하여, 예를 들면, 트럭 타이어 조각, 도로에 떨어진 표지판, 적재 불량 차량, 동물 등의 다양한 도로상의 위험을 검출할 수 있다. 도로상의 위험은 그 구조, 모양, 크기, 색 등이 다양하여 이런 위험을 검출하는 것은 더욱 어렵다. 일부 실시예에서, 처리부(110)는 단안 이미지 분석 모듈(402)을 실행하여 복수의 이미지에 대한 다중 프레임 분석을 수행하여 도로상의 위험을 검출할 수 있다. 예를 들어, 처리부(110)는 연속 프레임 사이의 카메라 움직임을 예측하고 프레임 사이의 픽셀 차이를 계산하여 도로의 3차원 지도를 구축할 수 있다. 이후, 처리부(110)는 3차원 지도를 사용하여 도로면 뿐만 아니라 도로면 상에 존재하는 위험을 검출할 수 있다.
단계 530에서, 처리부(110)는 항법 반응 모듈(408)을 실행하여 단계 520에서 수행한 분석 및 상기에서 도 4를 참조하여 설명한 방법에 근거하여 차량(200)에 하나 이상의 항법 반응을 일으킬 수 있다. 항법 반응은 예를 들어 회전, 차선 변경, 가속 변경 등을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 속도 및 가속 모듈(406)을 실행하여 얻은 데이터를 활용하여 하나 이상의 항법 반응을 야기할 수 있다. 또한, 복수의 항법 반응이 동시에, 순차적으로, 또는 결합된 형태로 일어날 수 있다. 예를 들면, 처리부(110)는 제어 신호를 차량(200)의 조향 시스템(240)과 구동 시스템(220)에 순차적으로 전송하여 차량(200)이 차로를 변경한 후 가속을 하게 할 수 있다. 또는, 처리부(110)는 차량(200)의 제동 시스템(230)과 조향 시스템(240)에 제어 신호를 동시에 전송하여 차량(200)이 제동을 하면서 동시에 차로를 변경하게 할 수 있다.
도 5b는 본 발명의 실시예에 따른 이미지 세트에서 하나 이상의 차량 및/또는 보행자를 검출하는 프로세스(500B)의 일례를 예시한 순서도이다. 처리부(110)는 단안 이미지 분석 모듈(402)을 실행하여 이 프로세스(500B)를 구현할 수 있다. 단계 540에서, 처리부(110)는 차량 및/또는 보행자일 가능성을 나타내는 후보 물체 모음을 판단할 수 있다. 예를 들어, 처리부(110)는 하나 이상의 이미지를 스캔하고, 이 이미지를 하나 이상의 미리 설정한 패턴과 비교하여, 각 이미지 내에서 관심 물체(예, 차량, 보행자 등)가 있을 만한 위치를 파악할 수 있다. 미리 설정한 패턴은 높은 비율의 '오탐(false hits)'과 낮은 비율의 '누락(misses)'을 달성하도록 설계될 수 있다. 예를 들어, 처리부(110)는 차량 또는 보행자일 가능성이 있는 후보 물체를 식별하기 위하여 미리 설정한 패턴에 낮은 유사 임계값을 사용할 수 있다. 이 결과, 처리부(110)가 차량 또는 보행자를 나타내는 후보 물체를 놓칠(즉, 식별하지 못할) 확률을 낮출 수 있다.
단계 542에서, 처리부(110)는 분류 기준에 근거하여 후보 물체 모음을 필터링하여 특정 후보(예, 관련이 없거나 적은 물체)를 제외할 수 있다. 여기서, 기준은 데이터베이스(예, 메모리(140)에 저장된 데이터베이스)에 저장된 물체 유형의 다양한 성질로부터 확보할 수 있다. 여기서, 물체 유형의 성질은 물체의 모양, 크기, 질감, 위치(예, 차량(200)에 대한 상대적 위치) 등을 포함할 수 있다. 따라서, 처리부(110)는 하나 이상의 기준을 사용하여 후보 물체 모음 중에서 거짓 후보를 제외시킬 수 있다.
단계 544에서, 처리부(110)는 이미지의 다중 프레임을 분석하여 후보 물체 모음의 물체가 차량 및/또는 보행자를 나타내는지 여부를 판단할 수 있다. 예를 들면, 처리부(110)는 검출된 후보 물체를 연속 프레임에 걸쳐 추적하여 검출된 물체와 연관된 프레임 별 데이터(예, 차량(200)과 관련된 크기, 위치 등)를 축적할 수 있다. 또한, 처리부(110)는 검출된 물체의 파라미터를 추정하고 물체의 프레임 별 위치 데이터를 예측 위치와 비교할 수 있다.
단계 546에서, 처리부(110)는 검출된 물체의 측정치 모음을 구성할 수 있다. 여기서, 측정치는 예를 들어 검출된 물체와 연계된 위치, 속도, 및 가속도의 값(즉, 차량(200)에 대한 상대값)을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 칼만 필터(Kalman filters) 또는 선형 2차 곡선 추정(LQE, linear quadratic estimation) 등과 같은 시간 기준 관찰을 사용한 추정 방법 및/또는 서로 다른 물체 유형(예, 차, 트럭, 보행자, 자전거, 도로 표시판 등)에 대한 기존 모델링 데이터에 근거하여 측정치를 구성할 수 있다. 칼만 필터는 물체의 축척의의 측정치에 근거하고, 축척 측정치는 충돌까지의 시간(예, 차량(200)이 물체에 도달하는 시간)에 비례할 수 있다. 따라서, 단계 540 내지 546을 수행함으로써, 처리부(110)는 캡처 된 이미지 세트 내에 등장하는 차량과 보행자를 식별하고 이 차량과 보행자와 관련된 정보(예, 위치, 속도, 크기)를 도출할 수 있다. 식별된 내용과 도출한 정보에 근거하여, 처리부(110)는 상기에서 도 5a를 참조하여 설명한 바와 같이, 차량(200)이 하나 이상의 항법 반응을 하도록 할 수 있다.
단계 548에서, 처리부(110)는 하나 이상의 이미지에 대한 광류 분석(optical flow analysis)을 수행하여 차량 또는 보행자를 나타내는 후보 물체에 대한 '오탐'과 누락 확률을 낮출 수 있다. 여기서, 광류 분석이란, 예를 들어, 다른 차량과 보행자와 관련된 하나 이상의 이미지에서 차량(200)에 대한, 그리고 도로 표면 움직임과 다른, 동작 패턴을 분석하는 것을 의미할 수 있다. 처리부(110)는 서로 다른 시간에 캡처된 다중 이미지 프레임에 걸친 물체의 서로 다른 위치를 관찰하여 후보 물체의 움직임을 계산할 수 있다. 처리부(110)는 후보 물체의 움직임을 계산하기 위하여 위치값 및 시간값을 수학적 모델의 입력으로 사용할 수 있다. 따라서, 광류 분석은 차량(200)에 근접한 차량과 보행자를 검출하는 또 다른 방법을 제공할 수 있다. 처리부(110)는 광류 분석을 단계 540 내지 546과 함께 수행함으로써 차량과 보행자를 검출하는 중복성을 제공하고 시스템(100)의 신뢰도를 향상시킬 수 있다.
도 5c는 기재된 실시예에 따른 이미지 세트에서 도로 표시 및/또는 차로 형상 정보를 검출하는 프로세스(500C)의 일례를 예시한 순서도이다. 처리부(110)는 단안 이미지 분석 모듈(402)을 실행하여 본 프로세스(500C)를 구현할 수 있다. 단계 550에서, 처리부(110)는 하나 이상의 이미지를 스캔하여 물체 모음을 검출할 수 있다. 차로 표시의 일부분, 차로 형상 정보, 및 기타 해당 도로 표시를 검출하기 위하여, 처리부(110)는 물체 모음을 필터링하여 관련 없는 것으로 판단된 물체(예, 대수롭지 않은 포트홀(pothole), 자갈 등)를 제외시킬 수 있다. 단계 552에서, 처리부(110)는 동일 도로 표시 또는 차로 표시에 속하는, 단계 550에서 검출된, 조각들을 함께 묶을 수 있다. 이러한 묶음에 근거하여, 처리부(110)는 검출된 조각들을 나타낼 모델, 예를 들면, 수학적 모델을 생성할 수 있다.
단계 554에서, 처리부(110)는 검출된 조각들에 상응하는 측정치 모음을 구성할 수 있다. 일부 실시예에서, 처리부(110)는 검출된 조각들을 이미지 플레인(image plane)으로부터 실세계 플레인(real-world plane)으로 투영할 수 있다. 여기서, 투영은 검출된 도로의 위치, 경사, 곡률, 및 곡률 미분계수 등과 같은 물리적 성질에 상응하는 계수를 가진 3차 다항식을 사용하는 특징이 있을 수 있다. 투영을 생성할 때, 처리부(110)는 도로면의 변화뿐만 아니라 차량(200)의 피치(pitch)와 롤(roll)을 고려할 수 있다. 또한, 처리부(110)는 도로면에 존재하는 위치 및 모션 신호를 분석하여 도로의 높낮이를 추정할 수 있다. 나아가, 처리부(110)는 하나 이상의 이미지의 특징점 모음을 추적하여 차량(200)의 피치 및 롤 비율을 추정할 수 있다.
단계 556에서, 처리부(110)는 예를 들어 검출된 조각들을 연속 이미지 프레임에 걸쳐 추적하고 검출된 조각과 관련된 프레임별 데이터를 축적하여 다중 프레임 분석을 수행할 수 있다. 처리부(110)가 다중 프레임 분석을 수행함에 따라, 단계 554에서 구성된 측정치 모음은 더욱 신뢰할 수 있게 되고 더욱 높은 신뢰 수준을 갖게 된다. 따라서, 단계 550 내지 556을 수행함으로써, 처리부(110)는 캡처 된 이미지 세트 내에 등장하는 도로 표시를 식별하고 차로 형상 정보를 도출할 수 있게 된다. 이러한 식별과 도출된 정보에 근거하여, 처리부(110)는, 상기에서 도 5a를 참조하여 설명한 바와 같이, 차량(200)이 항법 반응을 취하게 할 수 있다.
단계 558에서, 처리부(110)는 추가 정보를 고려하여 차량(200) 주변에 관한 안전 모델을 생성할 수 있다. 처리부(110)는 안전 모델을 사용하여 시스템(100)이 차량(200)의 자율 제어를 안전하게 할 수 있는 환경을 정의할 수 있다. 일부 실시예에서, 안전 모델을 생성하기 위하여, 처리부(100)는 다른 차량의 위치와 움직임, 검출된 도로 가장자리 및 배리어(barrier), 및/또는 지도 데이터(예, 지도 데이터베이스(160)의 데이터)에서 추출한 일반적인 도로 형상 설명을 고려할 수 있다. 추가 정보를 고려함으로써, 처리부(110)는 도로 표시 및 차로 형상에 대한 중복성을 제공하고 시스템(100)의 신뢰도를 향상시킬 수 있다.
도 5d는 기재된 실시예에 따른 이미지 세트에서 신호등을 검출하는 프로세스(500D)의 일례를 예시한 순서도이다. 처리부(110)는 단안 이미지 분석 모듈(402)을 실행하여 본 프로세스(500D)를 구현할 수 있다. 단계 560에서, 처리부(110)는 이미지 세트를 스캔하고 신호등 포함 가능성이 있는 이미지의 위치에 나타나는 물체를 식별한다. 예를 들면, 처리부(110)는 식별된 물체를 필터링하여 신호등에 상응할 가능성이 없는 물체들을 제외한 후보 물체 모음을 구성할 수 있다. 필터링은 신호등의 모양, 크기, 질감, 위치(예, 차량(200)에 대한 상대적 위치) 등의 다양한 성질에 근거하여 수행될 수 있다. 이러한 성질은 여러 예의 신호등과 교통 제어 신호에 근거할 수 있고 데이터베이스에 저장될 수 있다. 일부 실시예에서, 처리부(110)는 신호등 가능성이 있는 후보 물체 모음에 대한 다중 프레임 분석을 수행할 수 있다. 예를 들어, 처리부(110)는 연속 이미지 프레임에 걸쳐 후보 물체를 추적하고, 후보 물체의 실세계 위치를 추정하고, 움직이는 물체(즉, 신호등일 가능성이 적은 물체)를 필터링할 수 있다. 일부 실시예에서, 처리부(110)는 후보 물체에 대한 색 분석을 실시하고 신호등 가능성이 있는 물체 내부에서 검출된 색의 상대적 위치를 식별할 수 있다.
단계 562에서, 처리부(110)는 교차로의 기하를 분석할 수 있다. 이 분석은 (i) 차량(200) 양 측에 검출된 차로의 수, (ii) 도로상에 검출된 표시(화살표 등), (iii) 지도 데이터(예, 데이터베이스(160)에 저장된 지도 데이터)에서 추출된 교차로 설명의 조합에 근거하여 수행될 수 있다. 처리부(110)는 단안 분석 모듈(402)을 실행하여 도출한 정보를 활용하여 분석을 수행할 수 있다. 또한, 처리부(110)는 단계 560에서 검출된 신호등이 차량(200) 부근에 보이는 차로와 상응하는지 판단할 수 있다.
차량(200)이 교차로에 접근함에 따라, 단계 564에서, 처리부(110)는 분석된 교차로 기하 구조와 검출된 신호등에 관한 신뢰 수준을 업데이트 할 수 있다. 예를 들어, 교차로에 나타날 것으로 추정된 신호등의 수와 실제로 교차로에 나타난 신호등의 수를 비교하면 신뢰 수준을 파악할 수 있다. 따라서, 이 신뢰 수준에 근거하여, 처리부(110)는 안전 조건을 향상하기 위하여 차량(200)의 제어를 운전자에게 맡길 수 있다. 단계 560 내지 564를 수행함으로써, 처리부(110)는 캡처된 이미지 세트 내에 나타나는 신호등을 식별하고 교차로 기하 정보를 분석할 수 있다. 이러한 식별과 분석을 근거로, 처리부(110)는 상기에 도 5a를 참조하여 설명한 하나 이상의 항법 반응을 차량(200)이 하도록 할 수 있다.
도 5e는 기재된 실시예에 따른 차량 경로에 근거한 하나 이상의 항법 반응을 차량(200)에 야기하는 프로세스(500E)의 일례를 예시한 순서도이다. 단계 570에서, 처리부(110)는 차량(200)의 초기 차량 경로를 구성할 수 있다. 차량 경로는 좌표 (x, z)로 표현되는 한 세트의 점으로 나타낼 수 있고, 한 세트의 점의 두 점 간의 간격인 d i 는 1 내지 5 미터의 범위 내에 있을 수 있다. 일 실시예에서, 처리부(110)는 좌측 도로 다항식과 우측 도로 다항식과 같은 두 개의 다항식을 사용하여 초기 차량 경로를 구성할 수 있다. 처리부(110)는 두 개의 다항식 사이의 중간점을 계산하고, 오프셋이 있는 경우(오프셋이 0인 경우는 차로의 중앙을 주행하는 경우에 해당함), 차량 경로 결과에 포함된 각 점을 미리 설정한 오프셋(예, 스마트 차로 오프셋)만큼 오프셋 할 수 있다. 오프셋은 차량 경로 내의 두 점 사이의 구간에 수직인 방향일 수 있다. 다른 실시예에서, 처리부(110)는 하나의 다항식과 추정된 차로 폭을 사용하여 차량 경로의 각 점을 추정된 차로 폭에 미리 설정한 오프셋(예, 스마트 차선 오프셋)을 더한 값만큼 오프셋 할 수 있다.
단계 572에서, 처리부(110)는 단계 570에서 구성한 차량 경로를 업데이트 할 수 있다. 처리부(110)는 단계 570에서 구성한 차량 경로를 더 높은 해상도를 사용하여 재구성하여 차량 경로를 나타내는 한 세트의 점의 두 점 사이이 거리 dk가 상기에 설명한 거리 d i 보다 작도록 할 수 있다. 예를 들어, dk는 0.1 내지 0.3 미터의 범위 내에 있을 수 있다. 처리부(110)는 차량 경로의 전체 길이에 해당하는(즉, 차량 경로를 나타내는 점들의 세트에 근거한) 누적 거리 벡터 S 를 산출하는 파라볼릭 스플라인 알고리즘(parabolic spline algorithm)을 사용하여 차량 경로를 재구성할 수 있다.
단계 574에서, 처리부(110)는 단계 572에서 구성된 업데이트된 차량 경로에 근거하여 예견점(look-ahead point)(좌표 (x l , z l )로서 표현)을 결정할 수 있다. 처리부(110)는 누적 거리 벡터 S로부터 예견점을 추출할 수 있고, 예견점은 예견 거리 및 예견 시간과 연계될 수 있다. 하한계가 10 내지 20미터일 수 있는 예견 거리는 차량(200)의 속도와 예견 시간을 곱한 값으로 산출될 수 있다. 예를 들어, 차량(200)의 속도가 감소하면, 예견 거리도 감소(예, 하한계에 도달할 때까지)할 수 있다. 범위가 0.5 내지 1.5초일 수 있는 예견 시간은 차량(200)에 항법 반응을 야기하는 것과 관계 있는 하나 이상의 제어 루프(control loop)(예, 방위각 오차 추적 제어 루프)의 게인(gain)에 반비례할 수 있다. 예를 들어, 방위각 오차 추적 제어 루프의 게인은 요 레이트 루프(yaw rate loop)의 대역폭, 조향 액추에이터 루프, 차량 측방향 동역학 등에 따라 다를 수 있다. 따라서, 방위각 오차 추적 제어 루프의 게인이 클수록, 예견 시간은 작아질 수 있다.
단계 576에서, 처리부(110)는 단계 574에서 판단한 예견점에 근거하여 방위각 오차 및 요 레이트 명령을 결정할 수 있다. 처리부(110)는 예견점의 역탄젠트, 예를 들어 arctan (x l / z l )를 산출하여 결정할 수 있다. 처리부(110)는 방위각 오차와 고레벨 제어 게인의 곱을 산출하여 요 레이트 명령을 결정할 수 있다. 고레벨 제어 게인은, 예견 거리가 하한계에 있지 않은 경우, (2/예견 시간)과 같을 수 있다. 아니면, 고레벨 제어 게인은 (2 * 차량(200)의 속도 /예견 거리)와 같을 수 있다.
도 5f는 기재된 실시예에 따른 선두 차량이 차로 변경을 하는지를 판단하는 프로세스(500F)의 일례를 예시한 순서도이다. 단계 580에서, 처리부(110)는 선두 차량(예, 차량(200)에 앞서 주행하는 차량)에 대한 항법 정보를 판단할 수 있다. 예를 들면, 처리부(110)는, 상기의 도 5a와 도 5b를 참조한 설명한 방법을 활용하여 선두 차량의 위치, 속도(예, 방향과 속력), 및/또는 가속도를 판단할 수 있다. 처리부(110)는 또한 상기의 도 5e를 참조하여 설명한 방법을 활용하여 하나 이상의 도로 다항식, 예견점(차량(200)과 관련된 예견점), 및/또는 스네일 트레일(snail trail: 선두 차량의 경로를 묘사하는 한 세트의 점)을 판단할 수 있다.
단계 582에서 처리부(110)는 단계 580에서 판단한 항법 정보를 분석할 수 있다. 일 실시예에서, 처리부(110)는 스네일 트레일과 도로 다항식(예, 스네일 트레일을 따라가는 다항식) 사이의 거리를 계산할 수 있다. 스네일 트레일을 따라가는 거리의 분산이 미리 설정한 임계치(예, 직선 도로에서 0.1 내지 0.2, 완만한 커브길에서 0.3 내지 0.4, 급커브길에서 0.5 내지 0.6)를 초과하는 경우, 처리부(110)는 선두 차량이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다. 차량(200)의 앞에 여러 차량이 검출된 경우, 처리부(110)는 각 차량의 스네일 트레일을 비교할 수 있다. 처리부(110)는 비교 결과에 근거하여 다른 차량들의 스네일 트레일과 일치하지 않는 스네일 트레일의 차량이 차로 변경의 가능성이 있는 것으로 판단할 수 있다. 처리부(110)는 추가적으로 선두 차량의 스네일 트레일의 곡률과 선두 차량이 주행하고 있는 도로 구간의 예상 곡률을 비교할 수 있다. 예상 곡률은 지도 데이터(예, 데이터베이스(160)의 데이터), 도로 다항식, 다른 차량의 스네일 트레일(snail trails), 도로에 대한 사전 지식 등으로부터 추출될 수 있다. 스네일 트레일의 곡률과 도로 구간의 예상 곡률의 차이가 미리 설정된 임계값을 초과하는 경우, 처리부(110)는 선두 차량이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다.
다른 실시예에서, 처리부(110)는 특정 시간(예, 0.5 내지 1.5초)에 대한 선두 차량의 순간 위치와 예견점(차량(200)의 예견점)을 비교할 수 있다. 특정 시간 동안에 선두 차량의 순간 위치와 예견점 사이의 거리가 변화하고 변화의 누적 합이 미리 설정한 임계치(예, 직선도로상 0.3 내지 0.4 미터, 완만한 커브길의 0.7 내지 0.8 미터, 급커브길의 1.3 내지 1.8 미터)를 초과할 경우, 처리부(110)는 선두 차량이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 스네일 트레일을 따라 주행한 횡방향 거리와 스네일 트레일의 예상 곡률을 비교하여 스네일 트레일의 기하를 분석할 수 있다. 예상 곡률 반경은 수학식
Figure pct00001
을 통하여 판단할 수 있다. 여기서,
Figure pct00002
는 횡방향 주행 거리이고,
Figure pct00003
는 종방향 주행 거리이다. 횡방향 주행 거리와 예상 곡률 사이의 차이가 미리 설정한 임계치(예, 500 내지 700미터)를 초과하는 경우, 처리부(110)는 선두 차량이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 선두 차량의 위치를 분석할 수 있다. 선두 차량의 위치가 도로 다항식을 안 보이게 하는 경우(예, 선두 차량이 도로 다항식의 상부에 덮어씌워 있는 경우), 처리부(110)는 선두 차량이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다. 다른 차량이 선두 차량의 앞에 검출되고 선두 차량과 앞 차량의 스네일 트레일이 서로 평행하지 않은 경우, 처리부(110)는 선두 차량(즉, 차량(200)과 가까운 차량)이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다.
단계 584에서, 처리부(110)는 단계 582에서 수행한 분석에 근거하여 선두 차량의 차로 변경 여부를 판단할 수 있다. 예를 들어, 처리부(110)는 단계 582에서 수행한 개별 분석의 가중 평균에 근거하여 판단을 할 수 있다. 이 방법에서, 예를 들면, 특정 유형의 분석에 근거하여 선두 차량이 차로 변경을 하고 있을 가능성이 있다는 판단을 처리부(110)가 내릴 경우, "1"의 값을 부여할 수 있다(선두 차량이 차로 변경을 하지 않고 있을 가능성 판단일 경우, "0"의 값 부여). 단계 582에서 수행되는 다른 분석에는 다른 가중치가 부여될 수 있으며, 본 실시예는 특정 조합의 분석 및 가중치에 한정되지 않는다. 또한, 일부 실시예에서, 예를 들어 현재 위치에서 캡처된 이미지에 기반하여 차량의 현재 위치 전방의 향후 경로를 추정할 수 있는, 학습 시스템(예, 머신러닝 또는 딥러닝 시스템)을 활용하여 분석을 할 수 있다.
도6은 기재된 실시예에 따른 입체 이미지 분석에 근거한 하나 이상의 항법 반응을 야기하는 프로세스(600)의 일례를 예시한 순서도이다. 단계 610에서, 처리부(110)는 복수의 제1 및 제2 이미지를 데이터 인터페이스(128)를 통하여 수신할 수 있다. 예를 들면, 이미지획득부(120, 시야(202, 204)를 가진 이미지캡처장치(122, 124) 등)에 포함된 카메라가 차량(200) 전면 영역의 복수의 제1 및 제2 이미지를 캡처하고 디지털 연결(예, USB, 무선통신, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다. 일부 실시예에서, 처리부(110)는 둘 이상의 데이터 인터페이스를 통해 복수의 제1 및 제2 이미지를 수신할 수 있다. 여기에 기재된 실시예들은 특정 데이터 인터페이스 구성 또는 프로토콜에 제한되지 않는다.
단계 620에서, 처리부(110)는 입체 이미지 분석 모듈(404)을 실행하여 복수의 제1 및 제2 이미지에 대한 입체 이미지 분석을 수행하여 차량 전면 도로의 3차원 지도를 생성하고, 이미지 내에서 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 도로상의 위험물 등과 같은 특징을 검출할 수 있다. 입체 이미지 분석은 상기에서 도 5a 내지 5d를 참조하여 설명한 단계와 유사한 방법으로 수행될 수 있다. 예를 들어, 처리부(110)는 입체 이미지 분석 모듈(404)을 실행하여 복수의 제1 및 제2 이미지 내에서 후보 물체(예, 차량, 보행자, 도로 표시, 신호등, 도로상의 위험물 등)을 검출하고, 다양한 기준에 근거하여 후보 물체의 모음을 필터링하고, 다중 프레임 분석을 수행하고, 측정치를 구성하고, 나머지 후보 물체에 대한 신뢰 수준을 판단할 수 있다. 상기 단계들을 수행함에 있어서, 처리부(110)는 한 세트의 이미지보다는 복수의 제1 및 제2 이미지 모두의 정보를 고려할 수 있다. 예를 들어, 처리부(110)는 복수의 제1 및 제2 이미지에 모두 등장하는 후보 물체에 대한 픽셀 단계 데이터(또는 두 스트림의 캡처된 이미지의 기타 데이터 서브세트)의 차이를 분석할 수 있다. 다른 예로서, 처리부(110)는 후보 물체가 복수의 이미지 중 하나에 등장하지만 다른 이미지에 등장하지 않는다는 것을 관찰하거나, 두 이미지 스트림에 등장하는 물체와 관련하여 존재하는 다른 차이점들을 통하여, 후보 물체(예, 차량(200)에 대한 후보 물체)의 위치 및/또는 속도를 추정할 수 있다. 예를 들어, 차량(200)과 관련된 위치, 속도, 및/또는 가속도는 이미지 스트림의 하나 또는 모두에 등장하는 물체와 연관된 특징의 궤적, 위치, 동작 특성 등에 근거하여 판단될 수 있다.
단계 630에서, 처리부(110)는 항법 반응 모듈(408)을 실행하여 단계 620에서 수행한 분석 및 도 4를 참조하여 상기에 설명한 방법에 근거한 하나 이상의 항법 반응을 차량(200)에 발생시킬 수 있다. 항법 반응은, 예를 들어, 회전, 차로 변경, 가속도 변경, 속도 변경, 제동 등을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 속도 및 가속 모듈(406)을 실행하여 도출한 데이터를 사용하여 하나 이상의 항법 반응을 발생시킬 수 있다. 뿐만 아니라, 다중 항법 반응이 동시에, 순차적으로, 또는 이들의 조합으로 발생될 수 있다.
도 7은 본 발명의 실시예에 따른 3세트의 이미지에 근거한 하나 이상의 항법 반응을 발생시키는 프로세스(700)의 일례를 예시한 순서도이다. 단계 710에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 복수의 제1, 제2, 제3 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126) 등)에 포함된 카메라가 차량(200) 전면 및/또는 측면 영역의 복수의 제1, 제2, 제3 이미지를 캡처하고 디지털 연결(예, USB, 무선통신, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다. 일부 실시예에서, 처리부(110)는 셋 이상의 데이터 인터페이스를 통해 복수의 제1, 제2, 제3 이미지를 수신할 수 있다. 예를 들어, 이미지캡처장치(122, 124, 126)는 처리부(110)와 데이터를 통신하기 위해 각 장치에 연관된 데이터 인터페이스가 있을 수 있다. 기재된 실시예들은 특정 데이터 인터페이스 구성 또는 프로토콜로 제한되지 않는다.
단계 720에서, 처리부(110)는 복수의 제1, 제2, 제3 이미지를 분석하여 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 도로상의 위험물 등과 같은 특징을 이미지 내에서 검출할 수 있다. 본 분석은 상기에서 도 5a 내지 5d 및 도6을 참조하여 설명한 단계와 유사한 방법으로 수행될 수 있다. 예를 들어, 처리부(110)는 복수의 제1, 제2, 제3 이미지 각각에 대한 단안 이미지 분석(예, 단안 이미지 분석 모듈(402) 실행 및 도 5a 내지 5d를 참조하여 설명한 상기 단계)을 수행할 수 있다. 또는, 처리부(110)는 복수의 제1 및 제2 이미지, 복수의 제2 및 제3 이미지, 및/또는 복수의 제1 및 제3 이미지에 대한 입체 이미지 분석(예, 입체 이미지 분석 모듈(404) 실행 및 도6을 참조하여 설명한 상기 단계)을 수행할 수 있다. 복수의 제1, 제2 및/또는 제3 이미지에 상응하는 처리 정보는 병합될 수 있다. 일부 실시예에서, 처리부(110)는 단안 이미지 분석과 입체 이미지 분석을 조합하여 수행할 수 있다. 예를 들면, 처리부(110)는 복수의 제1 이미지에 대해 단안 이미지 분석(예, 단안 이미지 분석 모듈(402) 실행)을 수행하고, 복수의 제2 및 제3 이미지에 대해 입체 이미지 분석(예, 입체 이미지 분석 모듈(404) 실행)을 수행할 수 있다. 상응하는 위치와 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126)의 구성은 복수의 제1, 제2, 제3 이미지에 대해 수행되는 분석의 유형에 영향을 줄 수 있다. 기재된 실시예들은 특정 구성의 이미지캡처장치(122, 124, 126) 또는 복수의 제1, 제2, 제3 이미지에 수행되는 분석의 유형으로 제한되지 않는다.
일부 실시예에서, 처리부(110)는 단계 710과 720에서 획득하고 분석한 이미지에 근거하여 시스템(100)의 검사를 수행할 수 있다. 이러한 검사는 이미지캡처장치(122, 124, 126)의 특정 구성을 위한 시스템(100)의 전체적인 성능에 대한 지시자를 제공할 수 있다. 예를 들어, 처리부(110)는 '오탐'(예, 시스템(100)이 차량 또는 보행자가 존재하는 것으로 오판하는 경우) 및 '누락'의 비율을 판단할 수 있다.
단계 730에서, 처리부(110)는 복수의 제1, 제2, 제3 이미지 중 둘로부터 도출된 정보에 근거하여 차량(200)에 하나 이상의 항법 반응을 발생시킬 수 있다. 복수의 제1, 제2, 제3 이미지 중 둘은, 예를 들어, 복수의 이미지 각각에 검출된 물체의 개수, 유형, 크기 등과 같은 다양한 요인에 의거하여 선택될 수 있다. 처리부(110)는 또한 이미지의 품질 및 해상도, 이미지에 반영된 유효 시야, 캡처 된 프레임의 수, 관심 물체가 프레임에 실제로 등장하는 정도(예, 물체가 등장하는 프레임의 퍼센트, 각 프레임에 등장하는 물체가 차지하는 비율 등) 등에 따라 이미지를 선택할 수 있다.
일부 실시예에서, 처리부(110)는 한 이미지 소스로부터 도출된 정보가 다른 이미지 소스로부터 도출된 정보와 어느 정도 일관되는지를 판단하여 복수의 제1, 제2, 제3 이미지 중 둘로부터 도출된 정보를 선택할 수 있다. 예를 들어, 처리부(110)는 이미지캡처장치(122, 124, 126) 각각으로부터 도출(단안 분석, 입체 분석, 또는 이들의 조합)된 처리 정보를 병합하고 이미지캡처장치(122, 124, 126) 각각으로부터 캡처 된 이미지 전반에 걸쳐 일관된 시각적 지시자(예, 차로 표시, 검출된 차량 및 그 위치 및/또는 경로, 검출된 신호등 등)를 판단할 수 있다. 처리부(110)는 또한 캡처 된 이미지 전반에 걸쳐 일관되지 않은 정보(예, 차로를 변경하는 차량, 차량(200)과 너무 가까운 차량을 나타내는 차로 모델 등)를 제외시킬 수 있다. 따라서, 처리부(110)는 일관된 정보 및 일관되지 않은 정보의 판단에 근거하여 복수의 제1, 제2, 제3 이미지 중 둘로부터 도출된 정보를 선택할 수 있다.
항법 반응은, 예를 들면, 회전, 차로 변경, 가속도 변경 등을 포함할 수 있다. 처리부(110)는 단계 720에서 수행된 분석과 도 4를 참조하여 설명한 방법에 근거하여 하나 이상의 항법 반응을 발생시킬 수 있다. 처리부(110)는 또한 속도 및 가속 모듈(406)을 실행하여 도출한 데이터를 사용하여 하나 이상의 항법 반응을 발생시킬 수 있다. 일부 실시예에서, 처리부(110)는 차량(200)과 복수의 제1, 제2, 제3 이미지 중 어느 하나 내에서 검출된 물체 사이의 상대적 위치, 상대적 속도, 및/또는 상대적 가속도에 근거하여 하나 이상의 항법 반응을 발생시킬 수 있다. 다중 항법 반응은 동시에, 순차적으로 또는 이들의 조합으로 발생될 수 있다.
강화 학습 및 학습된 항법 시스템
하기의 설명은 자율 주행뿐만 아니라 차량의 자율 제어를 위한 시스템 및 방법에 관한 것으로서, 여기서 제어는 완전 자율(예, 자율주행차)이거나 부분 자율(예, 하나 이상의 운전자 보조 시스템 또는 기능)일 수 있다. 도8에 도시된 바와 같이, 자율 주행 작업은 감지 모듈(801), 주행 방침 모듈(803), 및 제어 모듈(805)를 포함하는 3개의 주요 모듈로 구분될 수 있다. 일부 실시예에서, 모듈들(801, 803, 805)은 시스템(100)의 메모리(140) 및/또는 메모리(150)에 저장될 수 있고, 모듈들(801, 803, 805)은(또는 그 일부는) 시스템(100)으로부터 원격으로 저장(예, 무선 송수신기(172)를 통하여 시스템(100)에 접속 가능한 서버에 저장)될 수 있다. 나아가, 여기에 기재된 모듈들(801, 803, 805)의 하나 또는 그 이상은 학습 시스템(예, 신경망 또는 심층 신경망) 또는 비학습 시스템과 연관된 방법을 실행할 수 있다.
감지 모듈(801)은 처리부(110)를 활용하여 이행될 수 있고 호스트 차량의 주변상황 내의 항법 상태의 감지에 관한 다양한 작업을 처리할 수 있다. 이러한 작업은 호스트 차량과 연관된 다양한 센서 및 센싱 시스템으로부터의 입력에 의존할 수 있다. 이러한 입력에는 하나 이상의 탑재된 카메라로부터의 이미지 또는 이미지 스트림, GPS 위치 정보, 가속도계 출력, 사용자 피드백, 또는 하나 이상의 사용자 인터페이스 장치, 레이더, 라이더 등으로의 사용자 입력이 포함될 수 있다. 감지는 지도 정보와 함께 카메라 및/또는 기타 모든 가능한 센서로부터의 데이터가 포함할 수 있고, 수집되고 분석되어 '감지된 상태'로 만들어져 호스트 차량의 주변상황 내의 장면으로부터 추출된 정보를 묘사할 수 있다. 감지된 상태는 타깃 차량, 차로 표시, 보행자, 신호등, 도로 기하, 차로 형상, 장애물, 다른 사물/차량까지의 거리, 상대 속도, 상대 가속도, 및 기타 잠재적 감지 정보 등에 관한 감지 정보를 포함할 수 있다. 감지 모듈(801)로 제공되는 감지 데이터에 의거한 감지하는 상태 출력을 생성하기 위하여 지도형 머신 러닝(supervised machine learning)이 도입될 수 있다. 감지 모듈의 출력은 호스트 차량의 감지된 항법 '상태'를 나타낼 수 있고 주행 방침 모듈(803)로 전달될 수 있다.
감지된 상태가 호스트 차량과 연관된 하나 이상의 카메라 또는 이미지 센서로부터 수신된 이미지 데이터에 의거하여 만들어질 수 있는 반면, 항법에 사용될 감지된 상태는 적합한 센서 또는 센서들의 조합을 활용하여 만들어질 수 있다. 일부 실시예에서, 감지된 상태는 캡처된 이미지 데이터에 의존하지 않고 만들어질 수 있다. 실제로, 여기에 설명된 모든 항법 원리는 캡처된 이미지 데이터에 의거하여 만들어진 감지된 상태뿐만 아니라 기타 비이미지 기반 센서를 활용하여 만들어진 감지된 상태에도 적용될 수 있다. 감지된 상태는 또한 호스트 차량 외부의 소스를 통해 판단될 수 있다. 예를 들어, 감지된 상태는 호스트 차량으로부터 원격에 있는 소스로부터 수신된 정보에 의거하여(예, 다른 차량, 중앙 서버, 또는 호스트 차량의 항법 상태에 관한 정보의 기타 모든 소스와 공유된 센서 정보, 처리된 상태 정보 등에 의거하여) 모두 또는 일부가 만들어질 수 있다.
주행 방침 모듈(803)은 하기에 더 상세히 설명할 것이며 처리부(110)를 활용하여 이행될 수 있고, 감지된 항법 상태에 대응하여 취할 호스트 차량에 대한 하나 이상의 항법 동작을 결정하기 위하여 원하는 주행 방침을 이행할 수 있다. 호스트 차량의 주변상황 내에 다른 요소(예, 타깃 차량 또는 보행자)가 존재하지 않는 경우, 주행 방침 모듈(803)로 입력되는 감지된 상태는 간단 명료하게 처리될 수 있지만, 이런 경우는 드물다. 감지된 상태가 하나 이상의 기타 요소와의 절충을 요구하는 경우에 이러한 작업은 복잡해진다. 주행 방침 모듈(803)의 출력을 생성하기 위해 활용되는 기술은 강화 학습(reinforcement learning)을 포함할 수 있고, 이에 대하여 하기에 상세히 설명한다. 주행 방침 모듈(803)의 출력은 호스트 차량에 대한 적어도 하나의 항법 동작을 포함할 수 있고, 원하는 가속(호스트 차량에 대한 업데이트된 속력을 의미), 호스트 차량에 대한 원하는 요 레이트(yaw rate), 원하는 궤적, 및 기타 원하는 잠재적 항법 동작 등을 포함할 수 있다.
주행 방침 모듈(803)의 출력에 의거하여, 역시 처리부(110)를 활용하여 이행될 수 있는 제어 모듈(805)이 호스트 차량과 연관된 하나 이상의 액추에이터 또는 제어된 장치에 대한 제어 명령을 생성할 수 있다. 이러한 액추에이터 및 장치는 가속기, 하나 이상의 조향 제어기, 브레이크, 신호 전송기, 디스플레이, 또는 호스트 차량과 연관된 항법 동작의 일부로서 제어될 수 있는 기타 모든 액추에이터 또는 장치를 포함할 수 있다. 제어 모듈(805)의 출력을 생성하기 위하여 제어 이론의 양상이 활용될 수 있다. 제어 모듈(805)은 원하는 항법 목표 또는 주행 방침 모듈(803)의 요구사항을 실현하기 위하여 호스트 차량의 제어가능한 요소로의 명령 생성 및 출력을 담당할 수 있다.
다시 주행 방침 모듈(803)에 대한 설명으로 돌아와서, 일부 실시예에서, 강화 학습을 통하여 학습된 학습 시스템을 활용하여 주행 방침 모듈(803)을 이행할 수 있다. 다른 실시예에서, 주행 방침 모듈(803)은 자율 주행 중에 발생할 수 있는 다양한 상황에 '수동'으로 대응하는 특수 알고리즘을 사용함으로써 머신 러닝 방식을 사용하지 않고 이행될 수 있다. 그러나 이러한 접근은 이행 가능할지는 몰라도 너무 단순한 주행 방침을 채택할 수 있고, 머신 러닝에 의거한 학습 시스템이 갖는 유연성이 부족할 수 있다. 학습 시스템은 복잡한 항법 상태를 처리하기에 더 적합할 수 있고, 예를 들어, 택시가 주차중인지, 아니면 승객의 승하차를 위해 정지한 것인지 여부; 보행자가 호스트 차량 전방의 도로를 횡단하려고 하는지 여부; 다른 운전자의 예기치 않은 행동에 대한 방어적 균형; 타깃 차량 및/또는 보행자가 개입된 혼잡한 교통상황 절충; 일부 항법 규칙을 중단할 시점 또는 다른 규칙을 중시할 시점에 대한 결정; 감지되지 않았지만 예상된 조건(예, 차량 또는 장애물의 뒤에서 보행자가 튀어나올지 여부)에 대한 예상 등을 더 잘 판단할 수 있다.
강화 학습을 활용한 시스템의 학습은 감지된 상태로부터 항법 동작으로 매핑하기 위하여 주행 방침을 학습하는 것을 포함할 수 있다. 주행 방침은
Figure pct00004
의 함수이고, 여기서, S는 상태의 집합이고
Figure pct00005
는 동작 공간(예, 원하는 속력, 가속, 요 명령(yaw command) 등)이다. 상태 공간은
Figure pct00006
이고, 여기서
Figure pct00007
는 감지하는 상태이고,
Figure pct00008
는 주행 방침에 의해 저장된 상태에 관한 추가 정보이다. 이산 시간 간격(discrete time intervals)에서 보자면, 시간 t에, 현재 상태
Figure pct00009
가 관찰될 수 있고, 주행 방침이 적용되어 원하는 동작
Figure pct00010
을 획득할 수 있다.
시스템은 다양한 항법 상태에 대한 노출을 통해 학습될 수 있고, 시스템으로 하여금 주행 방침을 적용하고 보상을 제공할 수(원하는 항법 동작에 보상을 주도록 설계된 보상 함수에 의거하여) 있다. 보상 피드백에 의거하여, 시스템은 주행 방침을 '학습'할 수 있고 원하는 항법 동작의 생성에 학습된다. 예를 들어, 학습 시스템은 현재 상태
Figure pct00011
를 관찰하고 방침
Figure pct00012
에 의거하여 동작
Figure pct00013
를 결정할 수 있다. 결정된 동작(및 이 동작의 실행)에 의거하여, 주변상황은 다음 상태
Figure pct00014
로 이동하여 학습 시스템에 의한 관찰을 할 수 있다. 관찰된 상태에 대응하여 생성된 각 동작에 대해, 학습 시스템으로의 피드백은 보상 신호
Figure pct00015
이다.
강화 학습(RL)의 목표는 방침 π를 구하는 것이다. 일반적으로, 시간 t에, 상태
Figure pct00016
에 있는 것과 동작
Figure pct00017
를 취하는 것의 즉각적인 품질을 측정하는 보상 함수
Figure pct00018
가 있는 것으로 추정한다. 그러나, 시간 t에 동작
Figure pct00019
를 취하는 것은 주변상황에 영향을 주고, 따라서 미래 상태의 값에도 영향을 준다. 이에 따라, 취할 동작을 결정함에 있어, 현재의 보상뿐만 아니라 미래의 보상도 고려해야 한다. 일부 경우에서, 낮은 보상을 지금 선택하면 나중에 더 큰 보상이 실현될 수 있다고 시스템이 판단하는 경우에, 특정 동작이 다른 선택보다 낮은 보상과 연관된다고 하더라도, 시스템은 특정 동작을 취해야 할 수 있다. 이를 공식화하기 위해, 요소가 상태
Figure pct00020
에서 시작하고 이로부터 방침 π를 따르는 경우, 방침 π와 초기 상태 s가
Figure pct00021
에 걸친 분포를 유도함을 관찰한다. 여기서, 벡터
Figure pct00022
의 확률은 보상
Figure pct00023
을 관찰하는 확률이다. 초기 상태의 값은 다음과 같이 정의될 수 있다.
Figure pct00024
시간 지평(time horizon)을 T로 한정하는 대신에, 추후 보상은 일부 고정
Figure pct00025
에 대해 다음과 같이 정의할 수 있다.
Figure pct00026
결국, 최적의 방침은 다음의 해법이다.
Figure pct00027
여기서, 예상은 초기 상태 s 이상이다.
주행 방침 시스템을 학습시키는 방법에는 여러가지가 있다. 예컨대, 시스템이 상태/동작 쌍으로부터 학습하는 모방 방식(예, 행동 복제)이 활용될 수 있는데, 여기서 동작은 관찰된 특정 상태에 대응하여 양호한 요소(예, 사람)에 의해 선택될 수 있는 것들이다. 사람 운전자가 관찰된다고 가정하면, 이러한 관찰을 통하여 많은 예의 형태
Figure pct00028
가 획득되고, 관찰되며, 주행 방침 시스템의 학습을 위한 기반으로 사용될 수 있다. 여기서, St는 상태이고,
Figure pct00029
는 사람 운전자의 동작이다. 예를 들면,
Figure pct00030
가 되도록, 방침 π를 학습하기 위하여 지도형 러닝을 활용할 수 있다. 이 방식에는 여러 잠재적 장점이 있다. 첫째, 보상 함수를 정의할 필요가 없다. 둘째, 학습을 지도할 수 있고, 오프라인 학습이 가능하다(학습 프로세스에 요소를 적용할 필요가 없음). 이 방법의 단점은 서로 다른 사람 운전자(심지어 동일한 사람 운전자)는 방침 선택에 결정적이지 못하다는 것이다. 따라서,
Figure pct00031
이 매우 작은 함수의 학습이 이행 불가능한 경우가 많다. 또한, 작은 오차가 시간과 함께 누적되어 큰 오차를 낼 수 있다.
또 다른 방식으로 방침 기반 학습이 활용될 수 있다. 여기서, 방침은 파라미터 형식으로 표현될 수 있고 적합한 최적화 방식(예, SGD(stochastic gradient descent))을 활용하여 직접 최적화 될 수 있다. 이 방식은
Figure pct00032
에 주어진 문제를 직접 풀기 위한 것이다. 물론, 문제를 푸는 방법은 많다. 이 방식의 한 가지 장점은 문제를 직접 풀 수 있고, 따라서 현실적으로 좋은 결과가 나오는 경우가 많다. 한 가지 잠재적 단점은 'on-policy' 학습을 요구하는 경우가 많은데, 즉, π의 학습은 반복 프로세스이며, 여기서, 반복 j에서 방침 πj는 완벽하지 않고(non-perfect), 다음 방침 πj를 구성하려면 πj에 기반한 동작을 하면서 주변상황과 상호작용을 해야 한다는 것을 의미한다.
시스템은 또한 가치 기반 학습(Q 또는 V 함수 학습)을 통해 학습될 수 있다. 최적값 함수
Figure pct00033
에 대한 상당히 정확한 근사치가 학습될 수 있다고 가정하면, 최적 방침이 구성될 수 있다(예, 벨만 방정식(Bellman equation)에 의존하여). 일부 버전의 가치 기반 학습은 오프라인으로 이행('off-policy' 학습으로 지칭)될 수 있다. 가치 기반 방식의 일부 단점은 마코비안 가정(Markovian assumptions)에 매우 의존해야 한다는 것과 복잡한 함수의 추정이 요구된다는 것이다(가치 함수를 추정하는 것이 방침을 직접 추정하는 것보다 어려울 수 있음).
다른 방식으로 모델 기반 러닝과 플래닝(상태 이행의 확률 학습 및 최적 V 검색의 최적화 문제 해결)이 포함될 수 있다. 또한 이러한 방식의 조합을 활용하여 러닝 시스템을 학습시킬 수 있다. 이 방식에서, 프로세스의 역학, 즉,
Figure pct00034
를 취하여 다음 상태
Figure pct00035
에 걸친 분포를 산출하는 함수가 학습될 수 있다. 이 함수가 학습되면, 최적화 문제가 해결되어 값이 최적인 방침 π를 구할 수 있다. 이를 '플래닝(planning)'이라 부른다. 이 방식의 한 가지 장점은 러닝 부분의 지도가 가능하고 트리플릿
Figure pct00036
을 관찰함으로써 오프라인으로 적용이 가능하다는 것이다. 이 방식의 한 가지 단점은, '모방' 방식과 마찬가지로, 러닝 프로세스의 작은 에러가 누적되어 방침을 부적절하게 수행하게 될 수 있다는 것이다.
주행 방침 모듈(803)의 학습을 위한 다른 방식에는 주행 방침 함수를 의미론적으로 유의미한 요소들로 분해하는 것이 포함될 수 있다. 이로써, 방침의 일부는 수동으로 이행되도록 하여 방침의 안전을 보장할 수 있고, 방침의 다른 부분은 강화 학습 방식을 활용하여 이행되도록 하여 다양한 상황에 대한 적응성, 방어적/공격적 행위 사이의 인간과 같은 균형, 및 다른 운전자와의 인간과 같은 절충 등을 가능하게 할 수 있다. 기술적 측면에서 볼 때, 강화 학습 방식은 몇 가지 방법론을 조합하고 다루기 쉬운 학습 절차를 제공할 수 있고, 학습의 대부분이 기록된 데이터 또는 자체 제작된 시뮬레이터를 활용해 수행될 수 있다.
일부 실시예에서, 주행 방침 모듈(803)의 학습은 '옵션' 메커니즘에 의존할 수 있다. 이를 설명하기 위하여 2차선 고속도로에 대한 주행 방침의 단순한 상황을 가정하면, 직접 RL 방식에서, 방침π는 상태를
Figure pct00037
로 매핑하고, 여기서, π(s)의 제1 컴포넌트는 원하는 가속 명령이고 π(s)의 제2 컴포넌트는 요 레이트(yaw rate)이다. 수정 방식에서, 다음과 같은 방침이 구성될 수 있다.
자동 크루즈 컨트롤(Automatic Cruise Control (ACC)) 방침
Figure pct00038
: 본 방침은 항상 요 레이트로 0을 출력하고 부드럽고 사고 없는 주행을 이행하도록만 속력을 변경한다.
ACC+좌측 방침
Figure pct00039
: 본 방침의 종방향 명령은 ACC 명령과 동일하다. 요 레이트는 차량을 좌측 차로의 중앙으로 조정하면서 안전한 횡방향 이동을 유지하는(예, 좌측에 차량이 있는 경우에 이동을 하지 않는) 단순한 실행이다.
ACC+우측 방침
Figure pct00040
: o L 과 동일하되 차량을 우측 차로의 중앙으로 조정할 수 있다.
이러한 방침들은 '옵션'이라 불릴 수 있다. 이러한 '옵션'에 의존하여, 옵션
Figure pct00041
를 선택하는 방침이 학습될 수 있다. 여기서, O는 사용 가능한 옵션의 집합이다. 한 경우에서,
Figure pct00042
이다. 옵션-선택자 방침 π0는 각 s에 대해
Figure pct00043
를 설정함으로써 실제 방침인
Figure pct00044
를 정의한다.
실질적으로, 방침 함수는 도 9에 도시된 바와 같은 옵션 그래프(901)로 분해될 수 있다. 다른 예시적인 옵션 그래프(1000)가 도 10에 도시되어 있다. 옵션 그래프는 방향성 비순환 그래프(Directed Acyclic Graph (DAG))로서 정리된 결정의 계층적 집합을 나타낸다. 그래프에는 루트 노드(root node)(903)이라고 불리는 특별 노드가 있다. 이 노드에는 들어오는 노드가 없다. 결정 프로세스는 그래프의 루트 노드에서 시작하고 더 이상 다음 결정 라인이 없는 노드를 말하는 리프 노드(leaf node)에 도달할 때까지 이어진다. 도9에 도시된 바와 같이, 리프 노드는 노드(905), 노드(907), 노드(909) 등을 포함할 수 있다. 리프 노드에 도달하면, 주행 방침 모듈(803)은 리프 노드와 연관되어 원하는 항법 동작과 연관된 가속 및 조향 명령을 출력할 수 있다.
노드(911), 노드(913), 노드(915) 등과 같은 내부 노드는 유효한 옵션 중에서 자식(child)을 선택하는 방침을 실행할 수 있다. 내부 노드의 유효한 자식의 집합은 결정 라인을 통해 특정 내부 노드와 연관된 노드를 모두 포함할 수 있다. 예를 들면, 도9에서 '병합'으로 지정된 내부 노드(913)는 결정 라인에 의해 각각 노드(913)과 연결된 3개의 자식 노드(909, 915, 917)('차선 유지', '우측 차로 점유', '좌측 차로 점유')를 포함한다.
의사 결정 시스템의 유연성은 노드가 옵션 그래프의 계층 내의 위치를 조정할 수 있게 함으로써 증가될 수 있다. 예를 들면, 어느 노드라도 스스로를 '중대'하다고 선언하는 것이 허용될 수 있다. 각 노드는 방침 이행의 중대한 섹션에 있는 경우에 '참'을 출력하는 '중대하다' 함수를 이행할 수 있다. 예를 들면, 차로 점유를 담당하는 노드는 동작 중에 스스로를 중대하다고 선언할 수 있다. 이로써 노드 u의 유효한 자식 집합에 제약을 부여할 수 있다. 여기서, 노드 u는 노드 u의 자식인 노드 v의 모두를 포함할 수 있고, 중대한 것으로 지정된 모든 노드를 거쳐서 노드 u로부터 리프 노드까지 이어지는 경로가 있다. 이러한 방식은, 한편으로는 옵션 그래프 상의 원하는 경로를 각 시간 단계에서 선언할 수 있게 하는 반면, 방침의 안정성이, 특히 방침의 중대한 부분이 이행되는 동안에, 보존될 수 있다.
옵션 그래프를 정의함으로써, 주행 방침
Figure pct00045
학습의 문제는 옵션 그래프의 각 노드에 대한 방침 정의의 문제로 분해될 수 있고, 각 내부 노드에서의 방침은 유효 자식 노드 중에서 선택해야 한다. 일부 노드에 대하여, 각 방침이 수동으로 이행(예, 관찰된 상태에 대응한 동작의 세트를 명시하는 if-then 유형의 알고리즘을 통해 이행)될 수 있는 반면에, 다른 노드에 대해서는 강화 학습을 통해 구축된 학습 시스템을 활용하여 방침이 이행될 수 있다. 수동 방식과 학습 방식 사이의 선택은 작업과 연관된 안전 측면과 상대적 단순성에 달려 있다. 옵션 그래프는 일부 노드들이 간단하게 이행되는 반면 다른 노드들은 학습 모델에 의존하도록 구성될 수 있다. 이러한 방식을 통해, 시스템의 안전한 동작이 보장될 수 있다.
이하, 주행 방침 모듈(803) 내에서 도9의 옵션 그래프의 역할에 대해 상세히 설명한다. 앞서 설명한 바와 같이, 주행 방침 모듈로의 입력은, 예를 들면, 사용 가능한 센서로부터 획득된 것과 같은 주변 상황 지도를 요약하는 '감지된 상태'이다. 주행 방침 모듈(803)의 출력은 궤적을 최적화 문제의 해법으로 정의하는 욕구의 집합(선택적으로, 하드 제약(hard constraints)의 집합과 함께)이다.
앞서 설명한 바와 같이, 옵션 그래프는 결정의 계층적 집합을 DAG로 나타낸 것이다. 그래프에는 '루트'로 불리는 특별 노드가 있다. 루트 노드는 그 안으로 들어오는 선(예, 결정 라인)이 없는 유일한 노드이다. 결정 프로세스는 그래프의 루트 노드에서 시작하고 더 이상 나가는 선이 없는 노드를 말하는 리프 노드에 도달할 때까지 이어진다. 각 내부 노드는 유효한 자식들 중에서 자식을 선택하는 방침을 이행해야 한다. 각 리프 노드는 루트로부터 리프까지의 전체 경로에 의거하여 욕구(Desires)의 집합(예, 호스트 차량에 대한 항법 목표의 집합)을 정의하는 방침을 이행해야 한다. 욕구의 집합은 감지된 상태에 직접 의거하여 정의된 하드 제약의 집합과 함께 해법이 차량에 대한 궤적인 최적화 문제를 설정한다. 하드 제약은 시스템의 안전성을 더 향상하기 위해 활용될 수 있고, 욕구는 시스템의 주행 편의와 인간과 같은 운전 행동을 제공하기 위해 활용될 수 있다. 최적화 문제의 해법으로 제공되는 궤적은 결과적으로 궤적을 완수하기 위해 제동, 및/또는 엔진 액추에이터에 제공되어야 하는 명령을 정의한다.
도9를 다시 참조하면, 옵션 그래프(901)는 병합 차로를 포함하는(즉, 제3의 차로가 어느 지점에서 도로의 우측 또는 좌측 차로로 병합해 들어옴) 2차선 도로에 대한 옵션 그래프를 나타낸다. 루트 노드(903)은 우선 호스트 차량이 평범한 도로상황에 있는지 또는 병합 상황에 접근하고 있는지를 결정한다. 이는 감지하는 상태에 의거하여 이행될 수 있는 결정의 예이다. 평범한 도로 노드(911) 는 3개의 자식 노드, 즉, 유지 노드(909), 좌측 점유 노드(917), 및 우측 점유 노드(195)를 포함한다. '유지'란 호스트 차량이 동일한 차로에서 계속 주행하고 싶은 상황을 의미한다. 유지 노드는 리프 노드(뻗어 나가는 선이 없음)이다. 따라서, 유지 노드는 욕구의 집합을 정의한다. 유지 노드가 정의하는 제1 욕구는 횡방향 위치(예, 현재 주행 중인 차로의 중앙에 최대한 가까이)를 포함할 수 있다. 부드러운 항법(예, 미리 정해진 또는 허용된 최대 가속)의 욕구도 있을 수 있다. 유지 노드는 호스트 차량이 다른 차량에 대해 반응하는 방법을 정의할 수도 있다. 예를 들면, 유지 노드는 감지된 타깃 차량을 검토하고 각 의미론적 의미를 지정하여 궤적의 요소로 이행되게 할 수 있다.
다양한 의미론적 의미가 호스트 차량의 주변상황 내에 있는 타깃 차량에 부여될 수 있다. 예를 들면, 일부 실시예에서, 다음과 같이 지정된 의미론적 의미가 포함될 수 있다. 1) 관련 없음: 장면 내의 감지된 차량이 현재 관련이 없음을 나타낸다. 2) 옆 차로: 감지된 차량이 인접 차로에 있고 이 차량에 대해 적절한 오프셋을 유지해야 한다는 것을 나타낸다(정확한 오프셋은 욕구 및 하드 제약을 고려하여 궤적을 구축하는 최적화 문제에서 계산될 수 있고 잠재적으로 차량에 따라 다를 수 있으며, 옵션 그래프의 차선 유지 리프는 타깃 차량의 의미론적 유형을 설정하여 타깃 차량에 대한 상대적 욕구를 정의한다. 3) 양보: 호스트 차량은 예를 들어 감속을 함으로써(특히 타깃 차량이 호스트 차량의 차로로 끼어들어올 것으로 호스트 차량이 판단한 경우) 감지된 차량에 양보를 하려 할 것이다. 4) 선행: 호스트 차량은 예를 들어 가속을 함으로써 선행권(right of way) 점유를 시도할 것이다. 5) 추적: 호스트 차량은 타깃 차량을 따라가며 부드러운 주행을 유지하기를 바란다. 6) 좌/우측 점유: 호스트 차량이 좌측 또는 우측 차로로 차로 변경을 시도하고자 한다. 좌측 점유 노드(917)와 우측 점유 노드(915)는 아직 욕구를 정의하지 않는 내부 노드이다.
옵션 그래프(901)의 다음 노드는 간격 선택 노드(919)이다. 이 노드는 호스트 차량이 진입하고자 하는 특정 타깃 차로의 타깃 차량 두 대 사이의 간격의 선택을 담당할 수 있다. IDj 형태의 노드를 선택함으로써, 특정 j값에 대하여, 호스트 차량은 궤적 최적화 문제에 대한 욕구를 지정하는 리프에 도달한다. 예를 들면, 호스트 차량은 선택된 간격에 도달하도록 조작을 하고자 한다. 이러한 조작은 현재 차로에서 먼저 가속/제동을 한 후에 적절한 시간에 타깃 차로로 진행하여 선택된 간격에 진입하는 것을 포함할 수 있다. 간격 선택 노드(919)가 적절한 간격을 찾을 수 없는 경우에는, 현재 차로의 중앙으로 돌아오고 점유를 취소하고자 하는 욕구를 정의하는 노드인 중단 노드(921)로 이동한다.
병합 모드(913)를 다시 참조하면, 호스트 차량이 병합에 접근하는 경우, 호스트 차량은 특정 상황에 따라 다를 수 있는 몇 가지 옵션이 있다. 예를 들면, 도 11a에 도시된 바와 같이, 호스트 차량(1105)은 검출된 타깃 차량이 없는 2차선 도로를 따라 2차선 도로의 주요 차로 또는 병합 차로(1111)에서 이동하고 있다. 본 상황에서, 주행 방침 모듈(803)은 병합 노드(913)에 도달하면 유지 노드(909)를 선택할 수 있다. 즉, 병합해 들어오는 타깃 차량이 감지되지 않는 상황에서 현재의 차선을 유지하는 것을 원할 수 있다.
도 11b의 상황은 약간 다르다. 여기서, 호스트 차량(1105)은 병합 차로(1111)로부터 주요 도로(1112)로 진입하는 한 대 이상의 타깃 차량(1107)을 감지한다. 이 상황에서, 주행 방침 모듈(803)이 병합 노드(913)를 접하면 병합 상황을 회피하기 위하여 좌측 차로 점유 동작을 취하기로 선택할 수 있다.
도 11c에서, 호스트 차량(1105)은 병합 차로(1111)로부터 주요 도로(1112)로 진입하는 한 대 이상의 타깃 차량(1107)을 마주한다. 호스트 차량(1105)은 또한 호스트 차량의 차로에 인접한 차로에서 이동중인 타깃 차량(1109)을 검출한다. 호스트 차량은 또한 호스트 차량(1105)과 동일한 차로에서 이동중인 한 대 이상의 타깃 차량(1110)을 검출한다. 이러한 상황에서, 주행 방침 모듈(803)은 호스트 차량(1105)의 속력을 조정하여 타깃 차량(1107)에 양보하고 타깃 차량(1115) 앞으로 진행하기로 결정할 수 있다. 이는 예를 들어 간격 선택 노드(919)로 진행함으로써 완수될 수 있는데, 간격 선택 노드(919)는 결과적으로 ID0(차량(1107))과 ID1(차량(1115)) 사이의 간격을 적합한 병합 간격으로 선택할 것이다. 이러한 경우, 병합 상황의 적합한 간격은 궤적 계획 최적화 문제에 대한 목적을 정의한다.
앞서 설명한 바와 같이, 옵션 그래프의 노드들은 스스로를 '중대'하다고 선언할 수 있고, 이로써 선택된 옵션이 중대한 노드들을 거쳐가도록 할 수 있다. 공식적으로, 각 노드는 IsCritical 함수를 이행할 수 있다. 옵션 그래프 상에서 루트로부터 리프까지의 포워드 패스(forward pass)를 수행하고 궤적 계획의 최적화 문제를 해결한 이후, 다시 리프로부터 루트까지의 백워드 패스(backward pass)가 수행될 수 있다. 이러한 백워드 패스를 따라, 모든 노드의 IsCritical 함수가 호출되고, 모든 중대한 노드의 목록이 저장될 수 있다. 다음 시간 프레임에 상응하는 포워드 경로에서, 주행 방침 모듈(803)은 중대한 노드를 모두 거쳐가는 루트 노드로부터 리프까지의 경로를 선택하도록 요구될 수 있다.
도 11a 내지 도 11c는 이 방법의 잠재적 장점을 보여주기 위해 활용될 수 있다. 예를 들면, 점유 동작이 시작되고 주행 방침 모듈(803)이 IDK에 상응하는 리프에 도달하는 상황에서, 호스트 차량이 점유 동작 중에 있는 경우에 예를 들어 유지 노드(909)를 선택하는 것은 바람직하지 않을 것이다. 이러한 불안정(jumpiness)을 피하기 위해, IDj 노드는 스스로를 중대한 노드로 지정할 수 있다. 동작 중에, 궤적 계획의 성공이 모니터링 될 수 있고, IsCritical 함수는 점유 동작이 의도한대로 진행될 경우에 ‘True’ 값을 산출할 것이다. 이 방식은 다음 시간 프레임에서 점유 동작이 계속될 것을(초기에 선택된 동작의 완료 이전에 잠재적으로 일관되지 않은 다른 동작으로 건너뛰지 않고) 보장할 수 있다. 반면에, 동작의 모니터 결과, 선택된 동작이 의도한대로 진행되지 않는 것으로 나타나는 경우, 또는 동작이 필요 없거나 불가능해진 경우, IsCritical 함수는 ‘False’ 값을 산출할 수 있다. 이로써, 간격 선택 노드가 다음 시간 프레임에서 다른 간격을 선택하거나 점유 동작을 아예 중단할 수 있다. 이 방식은 한 편으로는 각 시간 단계에서 옵션 그래프 상의 원하는 경로를 선언할 수 있게 해주는 반면, 다른 한 편으로는 이행의 중대한 부분에 있는 동안에 방침의 안정성을 도모할 수 있다.
하기에 상세히 설명할 하드 제약은 항법 욕구와 구별될 수 있다. 예를 들면, 하드 제약은 예정 항법 동작의 필터링 레이어를 추가함으로써 안전한 운전을 기할 수 있다. 강화 학습에 기반한 학습 시스템의 활용을 통하기 보다는 수동으로 프로그램 및 정의될 수 있는 시사된 하드 제약은 감지된 상태로부터 판단될 수 있다. 그러나, 일부 실시예에서, 학습 시스템은 적용되고 준수할 해당 하드 제약을 학습할 수 있다. 이러한 방법은 추후 수정이 필요할 수 있는 선택된 동작을 감소 또는 제거할 수 있는 해당 하드 제약을 이미 준수하는 선택된 동작에 도달하는 주행 방침 모듈(803)이 해당 하드 제약을 준수하게 도모할 수 있다. 그러나, 다중 안전 조치로서, 주행 방침 모듈(803)이 미리 정해진 하드 제약을 담당하도록 학습된 상황에서마저 주행 방침 모듈(803)의 출력에 하드 제약이 적용될 수 있다.
잠재적 하드 제약에는 많은 예가 있다. 예를 들면, 하드 제약은 도로의 가장자리에 있는 가드레일과 함께 정의될 수 있다. 어느 경우에도 호스트 차량이 가드레일을 통과하도록 해서는 안된다. 이러한 규칙은 호스트 차량의 궤적에 대한 횡방향 하드 제약을 초래한다. 하드 제약의 다른 예에는 도로 턱(예, 속도방지턱)이 포함될 수 있다. 즉, 방지턱 이전과 통과시의 속력에 대한 하드 제약을 초래할 수 있다. 하드 제약은 안전에 결정적인 것으로 간주될 수 있으므로 학습 동안에 제약을 학습하는 학습 시스템에만 의존하기보다는 수동으로 정의될 수 있다.
하드 제약과 대조적으로, 욕구의 목표는 편안한 주행일 수 있다. 앞서 설명한 바와 같이, 욕구의 예에는 호스트 차량 차로의 중앙에 상응하는 차로 내의 횡방향 위치에 호스트 차량을 위치시키고자 하는 목표가 포함될 수 있다. 다른 욕구는 들어갈 간격의 ID를 포함할 수 있다. 여기서, 호스트 차량이 차로의 중앙에 정확하게 있어야 한다는 요건은 없지만, 중앙에 최대한 가까이 있고자 하는 욕구는 호스트 차량이 차로의 중앙으로부터 이탈하는 경우에조차 차로의 중앙으로 이동하려는 경향을 보장할 수 있다. 욕구는 안전에 결정적이지 않을 수 있다. 일부 실시예에서, 욕구는 다른 운전자 및 보행자와의 절충을 요구할 수 있다. 욕구를 구성하기 위한 한 가지 방법은 옵션 그래프에 의존하는 것이며, 옵션 그래프의 적어도 일부 노드에 이행된 방침은 강화 학습에 기반할 수 있다.
러닝에 기반하여 학습된 노드로서 이행된 옵션 그래프(901 또는 1000)의 노드에 대하여, 학습 프로세스는 문제를 지도형 학습 단계와 강화 학습 단계로 분해하는 것을 포함할 수 있다. 지도형 학습 단계에서,
Figure pct00046
이 성립되도록
Figure pct00047
로부터
Figure pct00048
로의 구별 가능한 매핑이 학습될 수 있다. 이는 '모델 기반' 강화 학습과 유사할 수 있다. 그러나, 네트워크의 포워드 루프(forward loop)에서,
Figure pct00049
은
Figure pct00050
의 실제값으로 대체될 수 있고, 따라서 오차 누적의 문제를 제거할 수 있다.
Figure pct00051
의 예측의 역할은 미래로부터의 메시지를 과거의 동작으로 다시 전파하는 것이다. 이러한 차원에서, 알고리즘은 '모델 기반' 강화 학습과 '방침 기반 학습'의 조합일 수 있다.
일부 상황에서 제공될 수 있는 중요한 한 요소는 미래의 손실/보상으로부터 다시 동작에 대한 결정으로의 구별 가능한 경로이다. 옵션 그래프 구조에서 안전 제약이 관여된 옵션의 이행은 보통 구별 가능하지 않다. 이 문제를 극복하기 위하여, 학습된 정책 노드에서 자식의 선택은 추계적(stochastic)일 수 있다. 즉, 노드는 특정 노드의 자식 각각의 선택에 활용되는 확률을 부여하는 확률 벡터 p를 출력할 수 있다. 한 노드에 k만큼의 자식이 있고
Figure pct00052
가 각 자식부터 리프까지의 경로의 동작이라고 가정하면, 결과적으로 예측된 동작은 동작에서 p까지의 구별 가능한 경로가 될 수 있는
Figure pct00053
Figure pct00054
이다. 실제로, 동작
Figure pct00055
는
Figure pct00056
에 대해
Figure pct00057
로 뽑힐 수 있고,
Figure pct00058
와
Figure pct00059
사이의 차이는 상가성 잡음(additive noise)으로 불릴 수 있다.
Figure pct00060
,
Figure pct00061
를 고려한
Figure pct00062
의 학습에서, 지도형 학습을 실제 데이터와 함께 활용할 수 있다. 노드의 방침을 학습시키기 위해, 시뮬레이터가 사용될 수 있다. 추후에, 실제 데이터를 사용하여 방침을 미세 조정할 수 있다. 두 가지 개념을 통해 시뮬레이션이 더욱 현실적이 될 수 있다. 첫째, 모방을 활용하여, '행동 복제(behavior cloning)' 패러다임을 사용하고 큰 실제 데이터 세트를 사용하여 초기 방침이 구성될 수 있다. 일부의 경우, 그 결과의 에이전트(agent)가 적합할 수 있다. 다른 경우, 그 결과의 에이전트는 적어도 도로상의 다른 에이전트에 대한 매우 훌륭한 초기 방침을 형성한다. 둘째, 셀프 플레이(self-play)를 활용하여, 우리 자신의 방침을 사용하여 학습을 증강시킬 수 있다. 예를 들어, 경험될 수 있는 다른 에이전트(차/보행자)의 초기 이행을 고려할 때, 방침은 시뮬레이터에 의거하여 학습될 수 있다. 다른 에이전트의 일부는 새로운 방침으로 대체될 수 있고, 프로세스는 반복될 수 있다. 그 결과, 방침은 다른 차원의 세련도를 가진 더욱 다양한 다른 에이전트에 대응해야 하므로 지속적으로 향상될 수 있다.
나아가, 일부 실시예에서, 시스템은 멀티-에이전트(multi-agent) 방식을 이행할 수 있다. 예를 들면, 시스템은 다양한 소스로부터의 데이터 및/또는 여러 각도에서 캡처하는 이미지를 고려할 수 있다. 또한, 호스트 차량이 직접 관여되지 않지만 호스트 차량에 영향을 미치는 이벤트의 예상이 고려되거나, 심지어 다른 차량이 관여된 예측할 수 없는 상황을 초래할 수 있는 이벤트의 예상이 고려될 수 있으므로(예, 레이더가 호스트 차량에 영향을 미칠 피할 수 없는 또는 매우 가능성이 높은 이벤트와 선두 차량을 '간파'할 수 있음), 일부 기재된 실시예는 에너지의 경제를 제공할 수 있다.
부과된 항법 제약이 있는 학습 시스템
자율 주행의 맥락에서, 한 가지 중요한 관심사는 학습 항법 네트워크의 학습된 방침이 안전할지를 어떻게 보장하느냐는 것이다. 일부 실시예에서, 주행 방침 시스템은 학습 시스템에 의해 선택된 동작이 해당 안전 제약의 이유가 이미 될 수 있도록 제약을 활용하여 학습될 수 있다. 또한, 일부 실시예에서, 학습 시스템의 선택된 동작을 호스트 차량의 주변상황 내의 특정 감지된 장면에 의해 연루된 하나 이상의 하드 제약을 거쳐가게 함으로써 추가적인 안전 레이어가 제공될 수 있다. 이러한 접근을 통해, 호스트 차량에 의해 취해진 동작이 해당 안전 제약을 만족하는 것으로 확인된 동작으로 제한됐음을 확실히 할 수 있다.
그 핵심에서, 항법 시스템은 관찰된 상태를 하나 이상의 원하는 동작으로 매핑하는 방침 함수에 의거한 학습 알고리즘을 포함할 수 있다. 일부 실시예에서, 학습 알고리즘은 심층 학습 알고리즘이다. 원하는 동작은 차량에 대한 기대 보상을 극대화할 것으로 예상되는 적어도 하나의 동작을 포함할 수 있다. 일부의 경우에서는 차량이 취한 실제 동작이 원하는 동작의 하나에 상응할 수 있는 반면, 다른 경우에서는 차량이 취한 실제 동작은 관찰된 상태, 하나 이상의 원하는 동작, 및 학습 항법 엔진에 부과된 학습되지 않은 하드 제약(예, 안전 제약)에 의거하여 판단될 수 있다. 이러한 제약은 다양한 유형의 검출된 물체(예, 타깃 차량, 보행자, 도로변 또는 도로 내의 고정 물체, 도로변 또는 도로 내의 이동 물체, 가드레일 등)를 둘러싼 주행 금지 구역을 포함할 수 있다. 일부의 경우, 주행 금지 구역의 크기는 검출된 물체의 검출된 움직임(예, 속력 및/또는 방향)에 따라 다를 수 있다. 기타 제약에는 보행자의 영향 구역 이내에서 통과하는 경우의 최고 이동 속력, 최고 감속(호스트 차량 후방의 타깃 차량 공간을 고려하기 위함), 감지된 횡단보도 또는 철도 건널목에서의 의무적 정지 등이 포함될 수 있다.
머신 러닝을 통해 학습된 시스템과 함께 활용되는 하드 제약은 학습 시스템의 출력에만 의거하여 가능한 안전 수준을 능가할 수 있는 자율 주행의 안전 수준을 제공할 수 있다. 예컨대, 머신 러닝 시스템은 원하는 제약 세트를 학습 가이드라인으로 활용하여 학습될 수 있고, 따라서 학습 시스템은 해당 항법 제약의 한계의 이유가 되고 해당 항법 제약의 한계를 따르는 감지된 항법 상태에 대응하여 동작을 선택할 수 있다. 그래도, 학습 시스템은 항법 동작을 선택하는데 있어서 약간의 유연성이 있고, 따라서 학습 시스템에 의해 선택된 동작이 관련 항법 제약을 엄격하게 따르지 않을 수 있는 적어도 일부 상황이 있을 수 있다. 따라서, 선택된 동작이 관련 항법 제약을 엄격히 따르도록 하기 위하여, 학습 시스템의 출력은 관련 항법 제약의 엄격한 적용을 보장하는 학습 프레임워크 외부의 비머신러닝 요소(non-machine learning component)를 활용하여 병합, 비교, 여과, 조정, 수정 등이 될 수 있다.
하기의 설명은 학습 시스템과 학습 시스템을 학습 프레임워크 외부의 알고리즘적 요소와 병합함으로써 얻을 수 있는 잠재적 혜택(특히 안전의 관점에서)에 관한 추가적인 내용을 제공한다. 설명한 바와 같이, 방침에 의한 강화 학습 목적은 확률적 경사 상승(stochastic gradient ascent)을 통해 최적화될 수 있다. 목적(예, 예상 보상)은
Figure pct00063
로 정의될 수 있다.
예상을 포함하는 목적이 머신러닝 상황에서 활용될 수 있다. 그러나 항법 제약에 얽매이지 않는 이러한 목적은 상기 제약에 엄격히 얽매이는 동작을 산출하지 않을 수 있다. 예를 들어, 회피할 흔치 않은 '코너' 이벤트(예, 사고)를 나타내는 궤적에 대해
Figure pct00064
이고 나머지 궤적에 대해
Figure pct00065
인 보상 함수를 고려할 때, 학습 시스템의 한 가지 목표는 점유 동작을 수행하도록 학습하는 것일 수 있다. 일반적으로, 사고가 없는 궤적에서
Figure pct00066
는 성공적이고 원활한 점유를 보상하지만 점유를 완료하지 않고 차로에 남아있는 것을 처벌할 것이고, 따라서 [-1, 1] 범위가 될 것이다. 시퀀스
Figure pct00067
가 사고를 나타내는 경우, 보상
Figure pct00068
는 이런 일이 발생되지 않도록 하기 충분한 높은 처벌을 제공해야 한다. 문제는, 무사고 운전을 보장하기 위해서는
Figure pct00069
의 값이 무엇이 되어야 하느냐는 것이다.
Figure pct00070
상의 사고의 영향이 애디티브 텀(additive term)
Figure pct00071
이고, 여기서 p는 사고 이벤트가 있는 궤적의 확률 질량(probability mass)일 때, 이 텀이 무시할 수 있는 경우라면, 즉,
Figure pct00072
라면, 학습 시스템은 방어적이면서 일부 점유 동작을 성공적으로 완료하지 않는 방침보다는 점유 동작을 성공적으로 완료하기 위하여 사고를 수행(또는 일반적으로 난폭 운전 방침을 채택)하는 방침을 더 선호할 수 있다. 다시 말해, 사고의 확률이 최고 p이어야 할 경우,
Figure pct00073
은
Figure pct00074
이 되도록 설정되어야 한다. P는 매우 작은(예, 대략 p = 10-9) 것이 바람직할 수 있다. 따라서,
Figure pct00075
은 커야 한다. 폴리시 그래디언트(policy gradient)에서,
Figure pct00076
의 그래디언트는 추정될 수 있다. 다음의 렘마(lemma)에서 알 수 있듯이, 확률변수
Figure pct00077
의 분산은
Figure pct00078
로 증가하고, 이는
Figure pct00079
에 대해
Figure pct00080
보다 크다. 따라서, 목적의 추정은 어려울 수 있고, 그 그래디언트의 추정은 더욱 어려울 수 있다.
확률 p로
Figure pct00081
이 획득되고 확률 1- p로
Figure pct00082
이 획득되도록 π0이 방침이고 p와 r이 스칼라(scalar)이라고 하면,
Figure pct00083
이다.
여기서, 최종 근사값은
Figure pct00084
의 경우에 대해 유효하다.
본 설명은
Figure pct00085
형태의 이의는 분산 문제를 야기하지 않고 기능 안전성(functional safety)을 보장하지 않을 수도 있음을 보여준다. 문제는 높은 분산의
Figure pct00086
에서 추정이 수치 불안정 문제를 똑같이 안고 있을 똑같이 높은 분산의 베이스라인 상수로 이동할 것이기 때문에 분산 감소에 대한 베이스라인 감산(baseline subtraction) 방법은 문제에 대한 충분한 해결을 제공하지 않을 수도 있다. 또한, 사고의 확률이 p라고 하면, 사고 이벤트를 획득하기 전에 평균적으로 적어도 1/p 시퀀스가 샘플링 되어야 한다. 이는
Figure pct00087
를 최소화 하고자 하는 학습 알고리즘에 대한 시퀀스의 1/p 샘플의 하한(lower bound)을 시사한다. 이 문제에 대한 해법은 수치상 조절 방식을 통하기 보다는 여기에 설명하는 아키텍처 설계에서 찾을 수 있다. 여기에 설명하는 접근법은 하드 제약은 학습 프레임워크 외부에 주입돼야 한다는 개념에 의거한다. 즉, 방침 함수는 학습 가능 부분과 학습 불가능 부분으로 분해될 수 있다. 형식상, 방침 함수는
Figure pct00088
의 구조일 수 있는데, 여기서
Figure pct00089
는 (애그노스틱(agnostic)) 상태 공간을 욕구의 집합(예, 원하는 항법 목표 등)으로 매핑하는 반면,
Figure pct00090
는 욕구를 궤적(차량의 단거리 이동 방법을 판단)으로 매핑한다. 함수
Figure pct00091
는 안락한 주행과, 어느 차를 추월하거나 양보할 것인지 및 차로 내에서 호스트 차량이 원하는 위치가 어디인지 등과 같은, 전략적 결정을 담당한다. 감지된 항법 상태로부터 욕구로의 매핑은 기대 보상을 극대화하여 경험으로부터 학습될 수 있는 방침
Figure pct00092
이다.
Figure pct00093
에 의해 생성된 욕구는 주행 궤적에 걸쳐 비용 함수로 변환될 수 있다. 학습된 함수가 아닌 함수
Figure pct00094
는 기능 안전성에 대한 하드 제약에 구속되는 비용을 최소화하는 궤적을 찾음으로써 이행될 수 있다. 이러한 분해는 기능 안전성을 보장함과 동시에 안락한 주행을 제공할 수 있다.
도 11d에 도시된 바와 같은 이중 병합 항법 상황은 이러한 개념을 더 보여주는 예를 제공한다. 이중 병합에서는, 차량들이 좌우측 모두로부터 병합 구역(1130)에 접근한다. 또한, 각 측으로부터, 차량(1133) 또는 차량(1135)과 같은 차량은 병합 구역(1130)의 타측에 있는 차로로 병합할지 여부를 결정할 수 있다. 붐비는 교통에서 이중 병합을 성공적으로 실행하려면 상당한 절충 기술과 경험이 있어야 할 수 있고, 장면 내의 모든 에이전트가 취할 수 있는 모든 가능한 궤적을 나열하여 휴리스틱(heuristic) 또는 브루트 포스(brute force) 기법으로 실행하기도 어려울 수 있다. 본 이중 병합의 예에서, 이중 병합 동작에 적합한 욕구의 집합
Figure pct00095
가 정의될 수 있다.
Figure pct00096
는 집합
Figure pct00097
의 데카르트 곱(Cartesian product)일 수 있다. 여기서, [0, v max]는 호스트 차량의 원하는 목표 속력이고, L {1, 1.5, 2, 2.5, 3, 3.5, 4}는 정수는 차로 중앙을 나타내고 분수는 차로 경계를 나타내는 차로 단위 내의 원하는 횡방향 위치이고, {g, t, o}는 n대의 다른 차량들 각각에 지정된 분류 라벨이다. 다른 차량들에는, 호스트 차량이 양보해야 할 경우에 "g"가 배정되고, 다른 차량에 대해 점유해야 할 경우에 "t"가 배정되고, 다른 차량에 대한 오프셋 거리를 유지해야 할 경우에 "o"가 배정될 수 있다.
이하, 욕구의 집합
Figure pct00098
를 주행 궤적에 걸쳐 비용 함수로 변환하는 방법에 대해 설명한다. 주행 궤적은
Figure pct00099
로 나타낼 수 있고, 여기서,
Figure pct00100
는 시간
Figure pct00101
에서 호스트 차량의 (횡방향, 종방향) 위치(자아중심적 단위)이다. 일부 실험에서,
Figure pct00102
이고, k = 10이다. 물론, 다른 값도 선택될 수 있음은 당연하다 할 것이다. 궤적에 배정된 비용은 횡방향 위치, 원하는 속력에 배정된 개별 비용, 및 n대의 다른 차량들 각각에 배정된 라벨의 가중합을 포함할 수 있다.
원하는 속력
Figure pct00103
를 고려할 때, 속력과 연관된 궤적의 비용은 다음과 같다.
Figure pct00104
원하는 횡방향 위치
Figure pct00105
을 고려할 때, 원하는 횡방향 위치와 연관된 비용은 다음과 같다.
Figure pct00106
여기서, dist(x, y, l)은 (x , y) 점으로부터 위치 l까지의 거리이다. 다른 차량들로 인한 비용에 관하여,
Figure pct00107
는 호스트 차량의 자아중심적 단위(egocentric units)로 나타낸 다른 차량일 수 있고, i는 (x i , y i )와 (x' j , y' j ) 사이의 거리가 작도록 j가 존재하는 가장 빠른 지점일 수 있다. 이러한 지점이 없는 경우, i는 i = ∞로 설정될 수 있다. 다른 차가 "양보"로 분류되는 경우,
Figure pct00108
가 바람직할 수 있다. 이는 호스트 차량이 궤적 교차 지점으로 다른 차량보다 적어도 0.5초 나중에 도착할 것이라는 것을 의미한다. 상기 제약을 비용으로 변환하기 위해 가능한 한 가지 공식은
Figure pct00109
이다.
마찬가지로, 다른 차가 "점유"로 분류되는 경우,
Figure pct00110
가 바람직할 수 있고, 이는 비용
Figure pct00111
로 변환될 수 있다. 다른 차가 "오프셋"으로 분류되는 경우, i = ∞가 바람직할 수 있고, 이는 호스트 차량의 궤적과 오프셋 차량의 궤적이 교차하지 않음을 의미한다. 이 조건은 궤적 간의 거리에 대하여 처벌함으로써 비용으로 변환될 수 있다.
이러한 비용 각각에 가중치를 부여함으로써 궤적 계획
Figure pct00112
에 대한 단일 목적 함수를 제공할 수 있다. 가급적 부드러운 주행을 하도록 하는 비용이 목적에 추가될 수 있다. 또한, 궤적의 기능 안전성을 보장하기 위하여, 하드 제약이 목적에 추가될 수 있다. 예를 들어, (x i , y i )는 도로 이탈이 금지될 수 있고, (x i , y i )는 |i - j|가 작은 경우에 다른 차량의 궤적 지점 (x' j , y' j )에 대해 (x' j , y' j )에 근접하는 것이 금지될 수 있다.
정리하면, 방침
Figure pct00113
는 애그노스틱 상태로부터 욕구의 집합으로의 매핑과 욕구로부터 실제 궤적으로의 매핑으로 분해될 수 있다. 후자의 매핑은 학습에 기반한 것이 아니며, 그 비용이 욕구에 따라 다르고 그 하드 제약이 방침의 기능 안전성을 보장할 수 있는 최적화 문제를 풀어서 이행될 수 있다.
이하, 애그노스틱 상태로부터 욕구의 집합으로의 매핑에 대해 설명한다. 앞서 설명한 바와 같이, 기능 안전성을 준수하기 위하여, 강화 학습에만 의존하는 시스템은 보상
Figure pct00114
의 분산이 너무 크고 다루기 어려운 문제가 있을 수 있다. 이러한 결과는 문제를 폴리시 그래디언트 반복을 활용한 (애그노스틱) 상태 공간으로부터 욕구의 집합으로의 매핑 후 머신 러닝에 기반하여 학습된 시스템을 개입시키지 않는 실제 궤적으로의 매핑으로 분해하여 회피될 수 있다.
다양한 이유 때문에, 의사 결정은 의미론적으로 의미 있는 요소로 더 분해될 수 있다. 예컨대,
Figure pct00115
의 사이즈는 클 수도 있고, 연속적일 수 있다. 앞서 도 11d를 참조하여 설명한 이중 병합 상황에서,
Figure pct00116
이다. 또한, 그래디언트 추정기(gradient estimator)는 기간
Figure pct00117
를 포함할 수 있다. 이러한 표현에서, 분산은 시간지평(time horizon) T와 함께 증가할 수 있다. 일부의 경우, T의 값은 대략 250일 수 있는데, 이는 상당한 분산을 일으킬 만큼 높은 값일 수 있다. 샘플링 속도가 10Hz 범위이고 병합 구역(1130)이 100미터라고 가정하면, 병합을 위한 준비는 병합 구역의 약 300미터 앞에서 시작할 수 있다. 호스트 차량이 초속 16미터(시속 약 60km)로 이동할 경우, 사건에 대한 T의 값은 대략 250일 수 있다.
다시 옵션 그래프의 개념으로 돌아와서, 도 11d에 도시된 이중 병합 상황을 나타낼 수 있는 옵션 그래프가 도 11e에 도시되어 있다. 앞서 설명한 바와 같이, 옵션 그래프는 DAG로 정리된 결정의 계층적 집합을 나타낸 것일 수 있다. 그래프에는 '루트' 노드(1140)로 불리는 특별 노드가 있을 수 있다. 루트 노드는 그 안으로 들어오는 선(예, 결정 라인)이 없는 유일한 노드일 수 있다. 결정 프로세스는 루트 노드에서 시작하여 더 이상 나가는 선이 없는 노드를 말하는 '리프' 노드에 도달할 때까지 그래프를 횡단할 수 있다. 각 내부 노드는 유효한 자식들 중에서 자식을 선택하는 방침 함수를 이행할 수 있다. 옵션 그래프에 걸친 횡단 집합으로부터 욕구의 집합
Figure pct00118
로의 미리 정의된 매핑이 있을 수 있다. 즉, 옵션 그래프 상의 횡단은 자동으로
Figure pct00119
의 욕구로 변환될 수 있다. 그래프의 노드 v를 고려할 때, 파라미터 벡터 θv는 v의 자식을 선택하는 방침을 명시할 수 있다. θ가 모든 θv ,의 연속이라면,
Figure pct00120
는 그래프의 루트에서 리프까지 횡단함으로써 정의될 수 있고, 각 노드 v에서 θv에 의해 정의된 방침을 활용하여 자식 노드를 선택할 수 있다.
도 11e의 이중 병합 옵션 그래프에서, 루트 노드(1140)는 우선 호스트 차량이 병합 구역(예, 도 11d의 1130) 내에 있는지 또는 호스트 차량이 병합 구역에 접근하고 있고 병합 준비를 해야 하는지 여부를 결정할 수 있다. 양 경우 모두에서, 호스트 차량은 차로를 변경(예, 좌측 또는 우측으로)할 것인지 또는 현재 차로에 남아있을 것인지를 결정할 수 있다. 호스트 차량이 차로를 변경하기로 결정한 경우, 호스트 차량은 이 결정을 진행하고 차로 변경 동작을 수행(예, '진행' 노드(1142)에서)하기 적합한 조건인지 여부를 결정할 필요가 있을 수 있다. 차로 변경이 가능하지 않은 경우, 호스트 차량은 차로 표시를 향함으로써 원하는 차로로 '끼어들기' 시도(예, 노드(1144)에서 원하는 차로 내의 차량과의 절출의 일환으로)를 할 수 있다. 또는, 호스트 차량은 동일 차로에 '유지'하기로(예, 노드(1146)) 할 수 있다. 이러한 프로세스는 자연스러운 방식으로 호스트 차량에 대한 횡방향 위치를 결정할 수 있다.
이에 따라 원하는 횡방향 위치를 자연스러운 방식으로 가능하게 할 수 있다. 예를 들어, 호스트 차량이 2차선에서 3차선으로 차로를 변경하는 경우, '진행' 노드는 원하는 횡방향 위치를 3으로 설정할 수 있고, '유지' 노드는 원하는 횡방향 위치를 2로 설정할 수 있고, '끼어들기' 노드는 원하는 횡방향 노드를 2.5로 설정할 수 있다. 다음으로, 호스트 차량은 '정속'(1148)을 유지할지, '가속'(1150)을 할지, 또는 '감속'(1152)을 할지를 결정할 수 있다. 다음으로, 호스트 차량은 다른 차량들을 검토하고 그 차량들의 의미론적 의미를 {g, t, o} 집합 내의 값으로 설정하는 '사슬 형태' 구조(1154)에 들어갈 수 있다. 이러한 프로세스는 다른 차량들에 대한 상대적인 욕구를 설정할 수 있다. 이러한 사슬 내의 모든 노드의 파라미터는 공유될 수 있다(순환 신경망(Recurrent Neural Networks)과 유사).
옵션의 잠재적 혜택은 결과의 설명 가능성이다. 또 다른 잠재적 혜택은 집합
Figure pct00121
의 분해 가능한 구조를 신뢰할 수 있고, 따라서 각 노드에서의 방침이 적은 수의 가능성에서 선택될 수 있다는 것이다. 또한, 이 구조는 폴리시 그래디언트 추정기의 분산을 감소시킬 수 있다.
앞서 설명한 바와 같이, 이중 병합 상황에서 사건의 길이는 대략 T = 250 단계일 수 있다. 이러한 값(또는 특정 항법 상황에 따른 기타 적합한 값)은 호스트 차량 동작의 결과를 볼 수 있는 충분한 시간을 제공할 수 있다(예, 호스트 차량이 병합에 대한 준비로 차로를 변경하기로 결정한 경우, 호스트 차량은 병합의 성공적 완료 이후에만 그 혜택을 볼 것이다). 반면에, 운전의 역학으로 인해, 호스트 차량은 충분히 빠른 빈도로 결정을 내려야 한다(예, 상기 설명한 경우에는 10Hz).
옵션 그래프는 적어도 두 가지 방법으로 T의 유효값의 감소를 가능하게 할 수 있다. 첫째, 높은 수준의 결정을 고려할 때, 보상은 짧은 사건을 고려하면서 낮은 수준의 결정에 대해 정의될 수 있다. 예를 들면, 호스트 차량이 이미 '차로 변경'과 '진행' 노드를 선택한 경우, 2-3초(T가 250 대신에 20-30이 됨을 의미)의 사건을 바라봄으로써 의미론적 의미의 차량 배정에 대한 방침이 학습될 수 있다. 둘째, 높은 수준의 결정(차로를 변경할 것인지 또는 동일 차로를 유지할 것인지 등)에 대하여, 호스트 차량이 0.1초마다 결정을 내리지 않아도 될 수 있다. 대신에, 호스트 차량은 낮은 빈도(예, 1초마다)로 결정을 내리거나 '옵션 중단' 함수를 이행할 수 있고, 그래디언트는 옵션의 매번 중단 이후에 계산될 수 있다. 두 경우 모두, T의 유효값은 원래 값보다 작은 규모 정도일 수 있다. 대체로, 각 노드에서의 추정기는 즉시 작은 분산으로 바꿀 수 있는 원래의 250 단계보다 작은 정도인 T의 값에 달려있을 수 있다.
앞서 설명한 바와 같이, 하드 제약은 안전 운전 도모에 기여할 수 있으며, 여러 다른 유형의 제약이 있을 수 있다. 예를 들면, 정적 하드 제약은 감지 상태로부터 직접 정의될 수 있다. 여기에는 차량 속력, 진행 방향, 가속, 제동(감속) 등에 대한 하나 이상의 제약을 시사할 수 있는 호스트 차량의 주변상황 내의 속도방지턱, 속도제한표지판, 도로 만곡, 교차로 등이 포함될 수 있다. 정적 하드 제약에는 또한 호스트 차량의 이탈과 물리적 배리어 등에 지나친 근접이 금지되는 의미론적 빈 공간도 포함될 수 있다. 정적 하드 제약은 또한 차량의 운동학적 움직임의 다양한 양상에 따르지 않는 동작을 제한(예, 금지)할 수 있다. 예컨대, 호스트 차량이 뒤집어지거나, 미끄러지거나, 기타 제어력을 잃을 수 있는 동작을 금지하도록 정적 하드 제약을 활용할 수 있다.
하드 제약은 또한 차량과 연관될 수 있다. 예를 들어, 제약은 차량이 다른 차량들과 적어도 1미터의 종방향 거리와 적어도 0.5미터의 횡방향 거리를 유지할 것을 요구하며 적용될 수 있다. 제약은 또한 호스트 차량이 한 대 이상의 다른 차량들과의 충돌 진로를 유지하는 것을 회피하도록 적용될 수 있다. 예를 들면, 시간 τ는 특정 장면에 의거한 시간 척도일 수 있다. 호스트 차량과 한 대 이상의 다른 차량들의 예상 궤적은 현재 시간으로부터 시간 τ까지 고려될 수 있다. 두 궤적이 교차하는 지점에서,
Figure pct00122
는 차량 i의 교차점 도착 시간과 출발 시간을 나타내는 것일 수 있다. 즉, 각 차량은 차량의 첫 부분이 교차점을 통과할 때 교차점에 도달할 것이고, 차량의 끝 부분이 교차점을 통과할 때까지 어느 정도의 시간이 필요할 것이다. 이 시간이 도착 시간과 출발 시간을 분리한다.
Figure pct00123
(즉, 차량 1의 도착 시간이 차량 2의 도착 시간보다 작음)라고 가정하면, 차량 2가 도착하기 전에 차량 1이 교차점을 출발했어야 할 것이다. 그렇지 않으면, 충돌이 일어날 것이다. 따라서, 하드 제약은
Figure pct00124
가 되도록 실행될 수 있다. 또한, 차량 1과 차량 2가 최소의 시간에 의해 서로 비껴가지 않게 하기 위하여, 제약에 버퍼 시간(예, 0.5초 또는 기타 적합한 값)을 추가함으로써 추가 안전 한도가 확보될 수 있다. 두 차량의 예상 교차 궤적에 관한 하드 제약은
Figure pct00125
로 표현될 수 있다.
호스트 차량과 한 대 이상의 다른 차량들의 궤적이 추적되는 시간 τ는 다를 수 있다. 그러나, 속도가 느린 것이 특징인 교차로 상황에서, τ는 더 길 수 있고, 호스트 차량이 τ초보다 짧은 시간에 교차로에 진입 및 진출하도록 τ가 정의될 수 있다.
물론, 차량 궤적에 하드 제약을 적용하려면 이러한 차량들의 궤적이 예측되어야 한다. 호스트 차량은 일반적으로 항상 의도된 궤적을 이미 알고 있고 실제로 그 궤적을 따를 계획이므로, 호스트 차량에 대한 궤적 예측은 상대적으로 간단할 수 있다. 그러나 다른 차량들에 대한 궤적 예측은 그리 간단하지 않을 수 있다. 다른 차량들에 대한 예상 궤적을 판단하기 위한 베이스라인 계산은 호스트 차량에 탑재된 하나 이상의 카메라 및/또는 다른 센서들(레이더, 라이더, 음향 센서 등)에 의해 캡처된 이미지 스트림의 분석 등에 의거하여 판단된 다른 차량들의 현재 속력과 진행 방향에 의존할 수 있다.
그러나, 문제를 단순화 하거나 다른 차량에 대해 예측된 궤적에 적어도 신뢰도를 추가적으로 제공할 수 있는 일부 예외가 있을 수 있다. 예를 들면, 차로 표시가 있고 양보 규칙이 있는 체계적인 도로에 대하여, 다른 차량들의 궤적은 차로에 대한 다른 차량들의 상대적 위치와 적용 가능한 양보 규칙에 적어도 부분적으로 기반할 수 있다. 따라서, 일부의 경우에서, 관찰된 차로 구조가 있는 경우, 옆차로의 차량이 차로 경계를 준수할 것이라고 추정할 수 있다. 즉, 호스트 차량은 옆차로의 차량이 호스트 차량의 차로로 끼어들어 올 것이라는 것을 나타내는 특별히 관찰된 증거(예, 신호등, 빠른 횡방향 이동, 차로 경계를 넘는 이동)가 없는 한, 차선을 유지할 것이라고 추정할 수 있다.
다른 상황들도 다른 차량들의 예상 궤적에 관한 단서를 제공할 수 있다. 예를 들면, 호스트 차량이 선행권이 있는 일시정지표지판, 신호등, 로터리 등에서는, 다른 차량들이 선행권을 준수할 것이라고 추정할 수 있다. 따라서, 규칙 위반의 증거가 관찰되지 않는 한, 다른 차량들이 호스트 차량이 가진 선행권을 준수하는 궤적을 따라 진행할 것이라고 추정할 수 있다.
하드 제약은 또한 호스트 차량의 주변상황 내의 보행자와 관련하여 적용될 수 있다. 예를 들면, 호스트 차량이 관찰된 보행자에 대한 미리 정해진 버퍼 거리보다 가까이 주행하지 못하게 하도록 보행자에 대한 버퍼 거리가 설정될 수 있다. 보행자 버퍼 거리는 적합한 거리이면 아무 거리라도 상관 없다. 일부 실시예에서, 버퍼 거리는 관찰된 보행자에 대해 적어도 1미터일 수 있다.
차량을 포함한 상황과 마찬가지로, 하드 제약은 보행자와 호스트 차량 사이의 상대 운동에 대하여 적용될 수도 있다. 예를 들면, 보행자의 궤적(진행방향과 속력에 의거)은 호스트 차량의 예상 궤적에 대하여 모니터링 될 수 있다. 특정 보행자 궤적을 고려할 때, 궤적 상의 각 지점 p에서 t(p)는 보행자가 지점 p에 도달하기 위해 필요한 시간을 나타내는 것일 수 있다. 보행자로부터 1미터의 요구 버퍼 거리를 유지하기 위하여, t(p)는 호스트 차량이 지점 p에 도달하는 시간보다 크거나(호스트 차량이 보행자 앞에서 적어도 1미터의 거리를 두고 통과하기에 충분한 시간차) 호스트 차량이 지점 p에 도달하는 시간보다 작야야(예, 호스트 차량이 제동을 하여 보행자에게 양보) 한다. 그러나, 후자의 경우에도, 하드 제약은 호스트 차량이 보행자 뒤로 통과하고 적어도 1미터의 필요한 버퍼 거리를 유지할 수 있도록 호스트 차량이 보행자보다 충분히 나중에 지점 p에 도달할 것을 요구할 것이다. 물론, 보행자 하드 제약에 예외가 있을 수 있다. 예컨대, 호스트 차량에 선행권이 있는 경우나 속력이 매우 느린 경우, 그리고 보행자가 호스트 차량에 양보하기를 거부하거나 아니면 호스트 차량을 향해 진행할 것이라는 증거가 관찰되지 않는 한, 보행자 하드 제약은 완화(예, 적어도 0.75미터 또는 0.5미터의 작은 버퍼로 축소)될 수 있다.
일부 예에서, 모든 제약이 준수될 수 없는 상황에서 제약은 완화될 수 있다. 예를 들면, 도로 양 측의 도로 경계석으로부터 또는 도로 경계석과 주차된 차량으로부터 요구 간격(예, 0.5미터)을 남겨두기에 도로가 너무 좁은 상황에서, 하나 이상의 제약은 정상 참작 상황이 있으면 완화될 수 있다. 예를 들면, 인도에 보행자(또는 기타 사물)가 없으면, 도로 경계석으로부터 0.1미터 거리에서 천천히 진행할 수 있다. 일부 실시예에서, 제약을 완화하는 것이 사용자 경험을 향상시킬 수 있다면 제약이 완화될 수 있다. 예를 들어, 포트홀(pothole)을 피하기 위하여, 차량이 평소에 허용되는 것보다 차로 가장자리, 도로 경계석, 또는 보행자에 가까이 주행할 수 있도록 제약이 완화될 수 있다. 또한, 어느 제약을 완화할 것이지 결정하는 경우에, 일부 실시예에서, 완화하기로 선택된 하나 이상의 제약은 안전에 가장 부정적인 영향이 없는 것으로 판단되는 것들이다. 예를 들면, 도로 경계석이나 콘크리트 배리어(barrier)에 얼마나 가까이 붙어서 이동할 수 있는지에 관한 제약은 다른 차량에 얼마나 가까이 붙어서 이동할 수 있는지에 관한 제약을 완화하기 이전에 완화될 수 있다. 일부 실시예에서, 보행자 제약은 최후에 완화되거나 일부의 경우에는 절대 완화되지 않을 수 있다.
도 12는 호스트 차량의 항법 중에 캡처 및 분석될 수 있는 장면의 예를 도시한 것이다. 예를 들면, 호스트 차량은 호스트 차량과 연관된 카메라(예, 이미지캡처장치(122, 124, 126) 중의 적어도 하나)로부터 호스트 차량의 주변상황을 나타내는 복수의 이미지를 수신할 수 있는 앞서 설명한 바와 같은 항법 시스템(예, 시스템(100))을 포함할 수 있다. 도 12에 도시된 장면은 예상 궤적(1212)을 따라 차로(1210)에서 이동하는 호스트 차량의 주변상황으로부터 시간 t에 캡처될 수 있는 이미지의 하나의 예이다. 항법 시스템은 복수의 이미지를 수신하고 분석하여 장면에 대응한 동작을 결정하도록 특별히 프로그램 된 적어도 하나의 처리 장치(예, 앞서 설명한 EyeQ 프로세서 또는 기타 장치)를 포함할 수 있다. 구체적으로, 적어도 하나의 처리 장치는 도8에 도시된 바와 같은 감지 모듈(801), 주행 방침 모듈(803), 및 제어 모듈(805)을 이행할 수 있다. 감지 모듈(801)은 카메라로부터 수집된 이미지 정보의 수집 및 출력하고 이 정보를 식별된 항법 상태의 형태로 지도형 학습, 강화 학습 등과 같은 머신 러닝 기술을 통하여 학습된 학습 항법 시스템을 구성할 수 있는 주행 방침 모듈(803)로 제공하는 역할을 담당할 수 있다. 감지 모듈(801)에 의해 주행 방침 모듈(803)로 제공된 항법 상태 정보에 의거하여, 주행 방침 모듈(803)은 식별된 항법 상태에 대응하여 호스트 차량에 의해 실행될 원하는 항법 동작을 생성할 수 있다.
일부 실시예에서, 적어도 하나의 처리 장치는 예를 들어 제어 모듈(805)을 활용하여 원하는 항법 동작을 항법 명령으로 직접 변환할 수 있다. 그러나, 다른 실시예에서, 주행 방침 모듈(803)에 의해 제공된 원하는 항법 동작을 장면 및 원하는 항법 동작에 의해 연루될 수 있는 다양한 미리 정해진 항법 제약에 비교하여 시험하도록 하드 제약이 적용될 수 있다. 예를 들어, 주행 방침 모듈(803)이 호스트 차량으로 하여금 궤적(1212)을 따라 가도록 하는 항법 동작을 출력하는 경우에, 호스트 차량의 주변상황의 다양한 양상과 연관된 하나 이상의 하드 제약을 상대로 이 항법 동작을 시험할 수 있다. 예를 들면, 캡처된 이미지(1201)은 장면 안에 존재하는 도로 경계석(1213), 보행자(1215), 타깃 차량(1217), 및 고정 물체(예, 뒤집혀 있는 상자)를 보여줄 수 있다. 이들 각각은 하나 이상의 하드 제약과 연관될 수 있다. 예들 들면, 도로 경계석(1213)은 호스트 차량이 도로 경계석 안쪽으로 또는 도로 경계석을 넘어 인도(1214)로 주행하지 못하게 하는 고정 제약(static constraint)과 연관될 수 있다. 도로 경계석(1213)은 또한 도로 경계석으로부터 떨어져서(예, 0.1미터, 0.25미터, 0.5미터, 1미터 등의 간격으로) 도로 경계석을 따라 이어지는 거리(예, 버퍼 구역)를 정의하여 호스트 차량에 대한 주행 금지 구역을 정의하는 도로 배리어 포락선(road barrier envelope)과 연관될 수 있다. 물론, 고정 제약은 다른 유형의 도로변 경계(예, 가드레일, 콘크리트 기둥, 원뿔형 도로표지, 파일론(pylon), 또는 기타 유형의 도로변 배리어)와도 연관될 수 있다.
여기서, 거리와 범위는 적합한 방법에 의해 판단될 수 있다. 예를 들어, 일부 실시예에서, 거리 정보는 탑재된 레이더 및/또는 라이더 시스템에 의해 제공될 수 있다. 대안적으로 또는 추가적으로, 거리 정보는 호스트 차량의 주변상황으로부터 캡처된 하나 이상의 이미지의 분석으로부터 도출될 수 있다. 예를 들면, 이미지에 표현된 인지된 물체의 픽셀 수가 판단되고 이미지캡처장치의 주지의 시야와 초점 거리 기하에 비교되어 비율과 거리를 판단할 수 있다. 속도와 가속도는 예를 들어 주지의 시간 간격에 이미지와 이미지 사이의 물체의 비율 변화를 관찰하여 판단될 수 있다. 이러한 분석은 호스트 차량을 향한 또는 호스트 차량으로부터 멀어지는 이동 방향뿐만 아니라 물체가 호스트 차량으로부터 또는 호스트 차량을 향해 얼마나 빠르게 이동하고 있는지를 나타낼 수 있다. 가로지르는 속력은 주지의 시간 주기에 한 이미지로부터 다른 이미지까지의 물체의 X좌표 위치의 변화를 분석하여 판단될 수 있다.
보행자(1215)는 버퍼 구역(1216)을 정의하는 보행자 포락선(pedestrian envelope)과 연관될 수 있다. 일부의 경우, 부과된 하드 제약은 호스트 차량이 보행자(1215)로부터 1미터 이내의 거리(보행자에 대한 모든 방향)에서 주행하지 못하게 할 수 있다. 보행자(1215)는 또한 보행자 영향 구역(1220)의 위치를 정의할 수 있다. 이러한 영향 구역은 영향 구역 내에서 호스트 차량의 속력을 제한하는 제약과 연관될 수 있다. 영향 구역은 보행자(1215)로부터 5미터, 10미터, 20미터 등만큼 이어질 수 있다. 영향 구역의 각 단계적 차이는 다른 속도 제한과 연관될 수 있다. 예를 들면, 보행자(1215)로부터 1 내지 5미터의 구역 내에서, 호스트 차량은 5 내지 10미터 이어진 보행자 영향 구역의 속도 제한보다 작은 제1 속도(예, 시속 10킬로미터, 시속 30킬로미터 등)로 제한될 수 있다. 영향 구역의 다양한 단계에 대한 모든 가능한 단계적 차이가 활용될 수 있다. 일부 실시예에서, 제1 단계는 1 내지 5미터보다 좁고 1 내지 2미터만 이어질 수 있다. 다른 실시예에서, 영향 구역의 제1 단계는 1미터(보행자 주변의 주행 금지 구역의 경계) 내지 적어도 10미터의 거리까지 이어질 수 있다. 반면, 제2 단계는 10미터 내지 적어도 약 20미터까지 이어질 수 있다. 제2 단계는 보행자 영향 구역의 제1 단계와 연관된 최고 이동 속도보다 큰 호스트 차량의 최고 이동 속도와 연관될 수 있다.
호스트 차량의 주변상황 내에 검출된 장면에 의해 하나 이상의 고정 물체 제약도 연루될 수 있다. 예를 들면, 이미지(1201)에서, 적어도 하나의 처리 장치는 도로에 존재하는 상자(1219)와 같은 고정 물체를 검출할 수 있다. 검출된 고정 물체는 나무, 기둥, 도로 표지판, 및 도로 내의 물체 중의 적어도 하나와 같은 다양한 물체를 포함할 수 있다. 하나 이상의 미리 정해진 항법 제약이 검출된 고정 물체와 연관될 수 있다. 예를 들면, 이러한 제약은 고정 물체 포락선을 포함할 수 있는데, 여기서 고정 물체 포락선은 호스트 차량의 항법이 금지될 수 있는 물체 주변의 버퍼 구역을 정의한다. 버퍼 구역의 적어도 일부는 검출된 고정 물체의 가장자리로부터 미리 정해진 거리만큼 이어질 수 있다. 예를 들어, 이미지(1201)로 표현된 장면에서, 적어도 0.1미터, 0.25미터, 0.5미터 또는 그 이상의 버퍼 구역이 상자(1219)와 연관되어 검출된 고정 물체와의 충돌을 회피하기 위하여 호스트 차량이 적어도 일정 거리(예, 버퍼 구역 거리)를 두고 상자의 우측 또는 좌측으로 지나가도록 할 수 있다.
미리 정해진 하드 제약은 또한 하나 이상의 타깃 차량 제약을 포함할 수 있다. 예를 들면, 타깃 차량(1217)은 이미지(1201) 내에서 검출될 수 있다. 호스트 차량이 타깃 차량(1217)과 충돌하지 않도록 보장하기 위해서, 하나 이상의 하드 제약이 도입될 수 있다. 일부의 경우, 타깃 차량 포락선이 단일 버퍼 구역 거리와 연관될 수 있다. 예를 들어, 버퍼 구역은 타깃 차량의 모든 방향 둘레 1미터 거리로 정의될 수 있다. 버퍼 구역은 호스트 차량의 주행이 금지되는 타깃 차량으로부터 적어도 1미터 이어진 구역을 정의할 수 있다.
그러나, 타깃 차량(1217)을 둘러싼 포락선은 고정된 버퍼 거리에 의해 정의될 필요는 없다. 일부의 경우, 타깃 차량(또는 호스트 차량의 주변상황에서 검출된 기타 모든 이동 물체)과 연관된 미리 정해진 하드 제약은 검출된 타깃 차량에 대한 호스트 차량의 진행방향에 따라 다를 수 있다. 예를 들면, 일부 경우에서, 종방향 버퍼 구역 거리(예, 호스트 차량이 타깃 차량을 향해 주행하는 경우와 같이, 타깃 차량으로부터 호스트 차량의 앞 또는 뒤로 이어지는 버퍼 구역 거리)는 적어도 1미터일 수 있다. 횡방향 버퍼 구역 거리(예, 호스트 차량이 타깃 차량과 동일한 또는 반대의 방향으로 이동하여 호스트 차량의 측면이 타깃 차량의 측면에 인접하여 지나가는 경우와 같이, 타깃 차량으로부터 호스트 차량의 측면으로 이어지는 버퍼 거리 구역)은 적어도 0.5미터일 수 있다.
앞서 설명한 바와 같이, 호스트 차량의 주변상황에서 타깃 차량 또는 보행자를 검출하여 다른 제약도 연루될 수 있다. 예를 들면, 호스트 차량과 타깃 차량(1217)의 예측 궤적이 고려될 수 있고, 두 궤적이 교차하는 곳(예, 교차점(1230))에서 하드 제약은
Figure pct00126
또는
Figure pct00127
를 요구할 수 있다. 여기서, 호스트 차량은 차량 1이고, 타깃 차량(1217)은 차량 2이다. 마찬가지로, 보행자(1215)의 궤적(진행 방향과 속력에 의거)이 호스트 차량의 예상 궤적에 대하여 관찰될 수 있다. 특정 보행자 궤적을 고려할 때, 궤적 상의 각 지점 p에 대하여, t(p)는 보행자가 지점 p(예, 도 12의 지점(1231))에 도달하기 위해 필요한 시간을 나타낸다. 필요한 버퍼 거리인 보행자로부터 적어도 1미터를 유지하기 위하여, t(p)는 호스트 차량이 지점 p에 도달할 시간보다 크거나(호스트 차량이 보행자 앞에서 적어도 1미터의 거리를 두고 통과하기에 충분한 시간차) 호스트 차량이 지점 p에 도달하는 시간보다 작야야(예, 호스트 차량이 제동을 하여 보행자에게 양보) 한다. 그러나, 후자의 경우에도, 하드 제약은 호스트 차량이 보행자 뒤로 통과하고 적어도 1미터의 필요한 버퍼 거리를 유지할 수 있도록 호스트 차량이 보행자보다 충분히 나중에 지점 p에 도달할 것을 요구할 것이다.
다른 하드 제약도 활용될 수 있다. 예를 들어, 적어도 일부의 경우에서 호스트 차량의 최고 감속 속도가 도입될 수 있다. 이러한 최고 감속 속도는 호스트 차량을 따라오는 타깃 차량의 검출된 거리(후방 카메라로부터 수집된 이미지를 활용)에 의거하여 판단될 수 있다. 하드 제약은 감지된 횡단보도 또는 철도 건널목 또는 기타 해당 제약에서의 의무적 정지를 포함할 수 있다.
호스트 차량의 주변상황 내의 장면 분석의 결과, 하나 이상의 미리 정해진 항법 제약이 연루될 수 있는 것으로 나타나는 경우, 이러한 제약은 호스트 차량에 대한 하나 이상의 예정 항법 동작에 대해 부과될 수 있다. 예를 들면, 장면의 분석 결과, 주행 방침 모듈(803)이 원하는 항법 동작을 출력하는 경우, 원하는 항법 동작은 하나 이상의 연루된 제약에 비교하여 시험될 수 있다. 원하는 항법 동작이 연루된 제약의 양상을 위반하는 것으로 판단되는 경우(예, 미리 정해진 하드 제약은 호스트 차량이 보행자(1215)로부터 적어도 1.0미터을 유지할 것을 요구하지만, 원하는 항법 동작이 보행자(1215)로부터 0.7미터 이내에서 호스트 차량을 이동시키는 경우), 하나 이상의 미리 정해진 항법 제약에 의거하여 원하는 항법 동작에 적어도 하나의 수정을 할 수 있다. 이런 방식의 원하는 항법 동작의 조정을 통해 호스트 차량의 주변상황 내에서 검출된 특정 장면에 의해 연루된 제약을 준수하는 실제 항법 동작을 호스트 차량에 대해 제공할 수 있다.
호스트 차량에 대한 실제 항법 동작을 결정한 후에, 호스트 차량에 대해 결정된 실제 항법 동작에 대응하여 호스트 차량의 항법 액추에이터에 적어도 하나의 조정을 유발함으로써 이러한 항법 동작이 실행될 수 있다. 이러한 항법 액추에이터에는 호스트 차량의 조향 메커니즘, 브레이크, 가속장치 중의 적어도 하나가 포함될 수 있다.
우선 제약
앞서 설명한 바와 같이, 다양한 하드 제약을 항법 시스템과 함께 활용하여 호스트 차량의 안전한 작동을 보장할 수 있다. 제약에는 보행자, 타깃 차량, 도로 배리어, 또는 검출된 물체에 대한 최소 안전 운전 거리, 검출된 보행자의 영향 구역 이내에서 통과하는 경우의 최고 이동 속도, 또는 호스트 차량의 최고 감속 속도 등이 포함될 수 있다. 이러한 제약은 머신 러닝(지도형, 강화형, 또는 그 조합) 기반의 학습 시스템으로 부과될 수 있지만, 비학습 시스템(예, 호스트 차량 주변상황의 장면에 등장하는 예상 상황을 직접 처리하는 알고리즘을 활용하는 시스템)으로도 유용할 수 있다.
어느 경우에나, 제약의 계층이 있을 수 있다. 즉, 일부 항법 제약은 다른 제약에 우선할 수 있다. 따라서, 연루된 모든 제약이 충족되는 항법 동작이 없는 상황에서, 항법 시스템은 우선순위가 가장 높은 제약을 먼저 따르는 항법 동작을 결정할 수 있다. 예를 들면, 보행자를 회피하는 항법의 결과로 다른 차량 또는 도로에 검출된 물체와의 충돌이 일어날 수 있는 경우, 시스템은 차량으로 하여금 보행자를 회피하도록 할 수 있다. 다른 예를 들면, 시스템은 보행자를 회피하기 위하여 차량으로 하여금 도로 경계석을 올라가도록 할 수 있다.
도 13은 호스트 차량의 주변상황 내의 장면의 분석에 의거하여 판단된 연루된 제약의 계층을 이행하는 알고리즘을 도시한 순서도이다. 예컨대, 단계 1301에서, 항법 시스템과 연관된 적어도 하나의 처리 장치(예, EyeQ 프로세서 등)는 호스트 차량에 탑재된 카메라로부터 호스트 차량의 주변상황을 나타내는 복수의 이미지를 수신할 수 있다. 단계 1303에서, 호스트 차량 주변상황의 장면을 나타내는 이미지의 분석을 통하여, 호스트 차량과 연관된 항법 상태가 식별될 수 있다. 예를 들어, 항법 상태는 도 12에 도시된 바와 같이 호스트 차량이 2차선 도로에서 이동하고 있다는 속성, 타깃 차량(1217)이 호스트 차량의 앞에서 교차로를 지나가고 있다는 속성, 보행자(1215)가 호스트 차량이 이동 중인 도로를 건너기 위해 기다리고 있다는 속성, 물체(1219)가 호스트 차량 차로에 앞쪽에 있다는 속성, 및 기타 장면의 다양한 속성을 나타낼 수 있다.
단계 1305에서, 호스트 차량의 항법 상태에 의해 연루된 하나 이상의 항법 제약이 결정될 수 있다. 예를 들어, 적어도 하나의 처리 장치는 하나 이상의 캡처된 이미지에 의해 표현된 호스트 차량의 주변상황의 장면을 분석한 후에 캡처된 이미지의 이미지 분석을 통하여 인지된 물체, 차량, 보행자 등에 의해 연루된 하나 이상의 항법 제약을 결정할 수 있다. 일부 실시예에서, 적어도 하나의 처리 장치는 항법 상태에 의해 연루된 적어도 제1 사전 정의된 항법 제약과 제2 사전 정의된 항법 제약을 결정할 수 있고, 제1 사전 정의된 항법 제약은 제2 사전 정의된 항법 제약과 다를 수 있다. 예를 들어, 제1 사전 정의된 항법 제약은 호스트 차량의 주변상황에서 검출된 한 대 이상의 타깃 차량에 관한 것일 수 있고, 제2 사전 정의된 항법 제약은 호스트 차량의 주변상황에서 검출된 보행자에 관한 것일 수 있다.
단계 1307에서, 적어도 하나의 처리 장치는 단계 1305에서 식별된 제약과 연관된 우선순위를 결정할 수 있다. 상기의 예에서, 보행자에 관한 제2 사전 정의된 항법 제약 타깃 차량에 관한 제1 사전 정의된 항법 제약보다 높은 우선순위일 수 있다. 항법 제약과 연관된 우선순위는 다양한 요인에 의거하여 결정되거나 배정될 수 있지만, 일부 실시예에서, 항법 제약의 우선순위는 안전의 관점에서의 상대적 중요도와 관련될 수 있다. 예를 들면, 이행(implement)된 모든 항법 제약이 최대한 많은 상황에서 준수되고 충족되는 것이 중요할 수 있지만, 일부 제약은 다른 제약보다 더 큰 안전상 위험과 연관될 수 있고, 따라서 더 높은 우선순위가 배정될 수 있다. 예컨대, 호스트 차량이 보행자로부터 적어도 1미터의 간격을 유지할 것을 요구하는 항법 제약은 호스트 차량이 타깃 차량으로부터 적어도 1미터의 간격을 유지할 것을 요구하는 제약보다 더 높은 우선순위일 수 있다. 이는 보행자와의 충돌의 결과가 다른 차량과의 충돌의 결과보다 더 심각할 수 있기 때문이다. 마찬가지로, 호스트 차량과 타깃 차량 사이의 간격 유지는 호스트 차량이 도로 위의 상자를 피해가라는 제약, 속도 방지턱을 특정 속도보다 빠르게 넘어가지 말라는 제약, 또는 호스트 차량에 승객이 있을 때 최고 가속 수준을 넘지 말라는 제약보다 높은 우선순위일 수 있다.
주행 방침 모듈(803)은 특정 장면 또는 항법 상태에 의해 연루된 항법 제약을 충족시킴으로써 안전을 극대화하도록 설계되었지만, 일부 상황에서, 연루된 모든 제약을 충족시키는 것은 물리적으로 불가능할 수 있다. 이러한 상황에서, 단계 1309에 도시된 바와 같이, 연루된 각 제약의 우선순위를 활용하여 어느 제약부터 먼저 충족시킬지를 결정할 수 있다. 상기 예에서, 보행자 간격 제약과 타깃 차량 간격 제약을 모두 충족하는 것이 불가능하지만 둘 중의 한 제약을 충족할 수 있는 상황에서, 보행자 간격 제약의 우선순위가 높으므로 타깃 차량과의 간격을 유지하려고 시도하기 전에 이 제약을 먼저 충족시킬 수 있다. 따라서, 정상적인 상황에서, 단계 1311에 도시된 바와 같이, 적어도 하나의 처리 장치는 호스트 차량의 식별된 항법 상태에 의거하여 제1 사전 정의된 항법 제약과 제2 사전 정의된 항법 제약이 모두 충족될 수 있는 경우에 제1 사전 정의된 항법 제약과 제2 사전 정의된 항법 제약을 모두 충족하는 호스트 차량에 대한 제1 항법 동작을 결정할 수 있다. 그러나, 다른 상황에서, 연루된 모든 제약이 충족될 수 없는 경우에, 단계 1313에 도시된 바와 같이, 적어도 하나의 처리 장치는 제1 사전 정의된 항법 제약과 제2 사전 정의된 항법 제약이 함께 충족될 수 없는 경우에, 식별된 항법 상태에 의거하여 제2 사전 정의된 항법 제약(즉, 우선순위가 높은 제약)을 충족하지만 제1 사전 정의된 항법 제약(제2 항법 제약보다 낮은 우선순위)을 충족하지 않는 호스트 차량에 대한 제2 항법 동작을 결정할 수 있다.
다음으로, 단계 1315에서, 호스트 차량에 대해 결정된 항법 동작을 이행(implement)하기 위하여, 적어도 하나의 처리 장치는 호스트 차량에 대해 결정된 제1 항법 동작 또는 제2 항법 동작에 대한 대응으로 호스트 차량의 항법 액추에이터의 적어도 하나의 조정을 유발할 수 있다. 이전의 예와 마찬가지로, 항법 액추에이터에는 조향 메커니즘, 브레이크, 가속장치 중의 적어도 하나가 포함될 수 있다.
제약 완화
앞서 설명한 바와 같이, 항법 제약은 안전상의 목적으로 부과될 수 있다. 제약에는 보행자, 타깃 차량, 도로 배리어, 또는 검출된 물체에 대한 최소 안전 운전 거리, 검출된 보행자의 영향 구역 이내에서 통과하는 경우의 최고 이동 속도, 또는 호스트 차량의 최고 감속 속도 등이 포함될 수 있다. 이러한 제약은 학습 또는 비학습 항법 시스템에서 부과될 수 있다. 특정 상황에서, 이러한 제약은 완화될 수 있다. 예를 들어, 호스트 차량이 보행자 근처에서 속도를 줄이거나 정지한 후에 보행자 옆으로 지나가겠다는 의도를 나타내기 위해 천천히 진행하는 경우에, 확보된 이미지로부터 보행자의 반응이 검출될 수 있다. 보행자의 반응이 가만히 있거나 움직임을 중단하는 것인(및/또는 보행자와 시선이 마주친 것이 감지된) 경우에, 항법 시스템이 보행자 옆으로 지나가고자 하는 의도를 보행자가 인지한 것으로 이해될 수 있다. 이러한 상황에서, 시스템은 하나 이상의 사전 정의된 제약을 완화하고 덜 엄격한 제약(예, 보행자로부터 1미터 경계 이내보다 덜 엄격한 0.5미터 이내로 차량이 주행하게 허용)을 이행(implement)할 수 있다.
도 14는 하나 이상의 항법 제약의 완화에 의거하여 호스트 차량의 제어를 이행(implement)하기 위한 순서도를 도시한 것이다. 단계 1401에서, 적어도 하나의 처리 장치는 호스트 차량과 연관된 카메라로부터 호스트 차량의 주변상황을 나타내는 복수의 이미지를 수신할 수 있다. 단계 1403의 이미지 분석을 통해, 호스트 차량과 연관된 항법 상태를 식별할 수 있다. 단계 1405에서, 적어도 하나의 프로세서는 호스트 차량의 항법 상태와 연관된 항법 제약을 판단할 수 있다. 항법 제약은 항법 상태의 적어도 한 양상에 의해 연루된 제1 사전 정의된 항법 제약을 포함할 수 있다. 단계 1407에서, 복수의 이미지의 분석을 통해 적어도 하나의 항법 제약 완화 요소의 존재를 확인할 수 있다.
항법 제약 완화 요소는 하나 이상의 항법 제약의 적어도 하나의 양상이 중단, 변경, 또는 완화될 수 있는 모든 적합한 지시자를 포함할 수 있다. 일부 실시예에서, 적어도 하나의 항법 제약 완화 요소는 보행자의 눈이 호스트 차량의 방향을 바라보고 있다는 판단(이미지 분석에 의거)을 포함할 수 있다. 이 경우, 보행자가 호스트 차량을 인식하고 있다고 안심하고 추정할 수 있다. 그 결과, 보행자가 호스트 차량의 진로로 이동해 들어오게 하는 예상치 못한 동작을 보행자가 취하지 않을 것이라는 신뢰 수준이 높을 수 있다. 다른 제약 완화 요소도 활용될 수 있다. 예를 들어, 적어도 하나의 항법 제약 완화 요소에는 움직이지 않는 것으로 판단된 보행자(예, 호스트 차량의 진로로 들어올 가능성이 낮은 것으로 추정된 보행자), 또는 움직이는 속도를 늦추는 것으로 판단된 보행자가 포함될 수 있다. 항법 제약 완화 요소에는, 호스트 차량이 정지한 후에 움직이지 않는 것으로 판단되었다가 다시 움직이기 시작한 보행자와 같이, 복잡한 동작도 포함될 수 있다. 이러한 상황에서, 호스트 차량이 선행권이 있다는 것을 보행자가 이해하고 있음이 추정될 수 있고, 보행자가 멈춘다는 것은 보행자가 호스트 차량에게 양보하려는 의도가 있음을 시사할 수 있다. 하나 이상의 제약을 완화하도록 할 수 있는 다른 상황에는 도로 경계석의 유형(예, 도로 경계석이 낮거나 완만한 경사가 있는 경우에는 완화된 거리 제약 가능), 인도 상의 보행자 또는 기타 물체의 부재, 엔진이 꺼져 있는 차량, 또는 보행자가 호스트 차량의 진행 방향과 반대편을 보고 있거나 멀어지고 있는 상황 등이 포함될 수 있다.
항법 제약 완화 요소의 존재가 식별된 경우에(예, 단계 1407), 제약 완화 요소의 검출에 대응하여 제2 항법 제약이 결정되거나 발생될 수 있다. 이 제2 항법 제약은 제1 항법 제약과 다를 수 있고, 제1 항법 제약에 대하여 완화된 적어도 하나의 특성을 포함할 수 있다. 제2 항법 제약은 제1 항법 제약에 의거하여 새롭게 생성된 제약을 포함할 수 있고, 이 경우, 새롭게 생성된 제약은 제1 항법 제약의 적어도 한 양상을 완화하는 적어도 하나의 수정을 포함한다. 대안적으로, 제2 항법 제약은 제1 항법 제약보다 적어도 한 양상에서 덜 엄격한 미리 정해진 제약을 구성할 수 있다. 일부 실시예에서, 이러한 제2 항법 제약은 호스트 차량의 주변상황에서 제약 완화 요소가 식별되는 상황에서만 사용하도록 준비될 수 있다. 제2 항법 제약이 새롭게 생성되거나 완전히 또는 부분적으로 사용 가능한 미리 정해진 제약의 모음 중에서 선택되거나에 상관없이, 더 엄격한 제1 항법 제약(관련 항법 제약 완화 요소가 검출되지 않을 경우에 적용 가능)을 대신한 제2 항법 제약의 적용은 제약 완화로 칭할 수 있고 단계 1409에서 수행될 수 있다.
단계 1407에서 적어도 하나의 제약 완화 요소가 검출되고 단계 1409에서 적어도 하나의 제약이 완화된 경우에, 호스트 차량에 대한 항법 동작이 단계 1411에서 결정될 수 있다. 호스트 차량에 대한 항법 동작은 식별된 항법 상태에 의거할 수 있고, 제2 항법 제약을 충족할 수 있다. 항법 동작은 결정된 항법 동작에 대응하여 호스트 차량의 항법 액추에이터의 적어도 하나의 조정을 유발함으로써 단계 1413에서 이행(implement)될 수 있다.
앞서 설명한 바와 같이, 항법 제약과 완화된 항법 제약은 학습(예, 머신 러닝을 통한 학습) 또는 비학습(예, 특정 항법 상태에 미리 정해진 동작으로 대응하도록 프로그램된 시스템) 항법 시스템과 함께 활용될 수 있다. 학습 항법 시스템이 활용되는 경우에, 특정 항법 상황에 대해 완화된 항법 제약을 이용할 수 있다는 것은 학습 시스템 반응에서 비학습 시스템 반응으로의 모드 전환을 나타내는 것을 수 있다. 예를 들어, 학습 항법 네트워크는 제1 항법 제약에 의거하여 호스트 차량에 대한 원래의 항법 동작을 결정할 수 있다. 그러나 차량이 취한 동작은 제1 항법 제약을 충족하는 항법 동작과 다른 것일 수 있다. 오히려, 차량이 취한 동작은 완화된 제2 항법 제약을 충족할 수 있고 비학습 시스템에 의해 발생된 동작(예, 항법 제약 완화 요소의 존재와 같은, 호스트 차량의 주변상황 내에서의 특정 조건의 검출에 대한 대응)일 수 있다.
호스트 차량의 주변상황 내에서 제약 완화 요소의 검출에 대한 대응으로 완화될 수 있는 항법 제약에는 많은 예가 있다. 예컨대, 사전 정의된 항법 제약이 검출된 보행자와 연관된 버퍼 구역을 포함하고, 버퍼 구역의 적어도 일부가 검출된 보행자로부터 일정한 거리만큼 이어지는 경우에, 완화된 항법 제약(새롭게 발생, 미리 정해진 모음으로부터 메모리에서 호출, 또는 기존 제약의 완화 버전으로 생성)은 다른 또는 수정된 버퍼 구역을 포함할 수 있다. 예를 들면, 다른 또는 수정된 버퍼 구역은 검출된 보행자에 대한 원래의 또는 수정되지 않은 버퍼 구역보다 작은 거리일 수 있다. 그 결과, 완화된 제약으로 인하여, 적절한 제약 완화 요소가 호스트 차량의 주변상황에서 검출되는 경우에 호스트 차량은 검출된 보행자에 가까이 주행하도록 허용될 수 있다.
항법 제약의 완화된 특성에는, 앞서 설명한 바와 같이, 적어도 한 명의 보행자와 연관된 버퍼 구역의 감소된 폭이 포함될 수 있다. 그러나, 완화된 특성에는 또한 타깃 차량, 검출된 물체, 도로변 배리어, 또는 호스트 차량의 주변상황에서 검출된 기타 물체 등과 연관된 버퍼 구역의 감소된 폭도 포함될 수 있다.
적어도 하나의 완화된 특성은 항법 제약 특성의 기타 유형의 수정도 포함할 수 있다. 예를 들면, 완화된 특성은 적어도 하나의 사전 정의된 항법 제약과 연관된 속도의 증가를 포함할 수 있다. 완화된 특성에는 또한 적어도 하나의 사전 정의된 항법 제약과 연관된 최대 허용 감속/가속의 증가도 포함될 수 있다.
앞서 설명한 바와 같이 제약은 특정 상황에서 완화될 수 있는 반면, 다른 상황에서는 항법 제약이 강화될 수 있다. 예를 들면, 일부 상황에서, 항법 시스템은 항법 제약의 일반적인 모음을 증강하는 조건이라고 판단할 수 있다. 이러한 증강에는 사전 정의된 제약 모음에 새로운 제약의 추가 또는 사전 정의된 제약의 하나 이상의 양상의 조정이 포함될 수 있다. 이러한 추가 또는 조정의 결과, 정상 주행 조건 하에서 적용될 수 있는 사전 정의된 제약 모음에 비하여 보수적인 항법을 할 수 있다. 제약 강화를 필요로 할 수 있는 조건에는 센서 불량, 열악한 환경 조건(비, 눈, 안개, 또는 시야 또는 접지력 저하와 관련된 기타 조건) 등이 포함될 수 있다.
도 15는 하나 이상의 항법 제약의 강화에 의거하여 호스트 차량의 제어를 이행(implement)하는 순서도를 도시한 것이다. 단계 1501에서, 적어도 하나의 처리 장치는 호스트 차량과 연관된 카메라로부터 호스트 차량의 주변상황을 나타내는 복수의 이미지를 수신할 수 있다. 단계 1503의 이미지 분석을 통해, 호스트 차량과 연관된 항법 상태를 식별할 수 있다. 단계 1505에서, 적어도 하나의 프로세서는 호스트 차량의 항법 상태와 연관된 항법 제약을 판단할 수 있다. 항법 제약은 항법 상태의 적어도 한 양상에 의해 연루된 제1 사전 정의된 항법 제약을 포함할 수 있다. 단계 1507에서, 복수의 이미지의 분석을 통해 적어도 하나의 항법 제약 강화 요소의 존재를 확인할 수 있다.
연루된 항법 제약은 앞서 설명한(도 12 참조) 항법 제약 또는 기타 적합한 항법 제약을 포함할 수 있다. 항법 제약 강화 요소는 하나 이상의 항법 제약이 적어도 한 양상에서 보완/강화될 수 있다는 지시자를 포함할 수 있다. 항법 제약의 보완 또는 강화는 모음별로 수행(예, 미리 정해진 제약 모음에 새로운 항법 제약 추가)되거나 제약별로 수행(예, 특정 제약을 원래보다 엄격하도록 수정 또는 미리 정해진 제약에 상응하고 적어도 한 양상에서 더욱 엄격한 새로운 제약을 추가)될 수 있다. 추가적으로 또는 대안적으로, 항법 제약의 보완 또는 강화는 계층에 의거한 미리 정해진 제약의 모음에서의 선택을 참조할 수 있다. 예를 들면, 항법 강화 요소가 호스트 차량의 주변환경에서 또는 호스트 차량에 대하여 검출되는지 여부에 따라 강화 제약의 모음에서의 선택이 가능할 수 있다. 강화 요소가 검출되지 않는 정상 조건하에서, 연루된 항법 제약은 정상 조건에 적용 가능한 제약들로부터 가져올 수 있다. 반면에, 하나 이상의 제약 강화 요소가 검출되는 경우에, 연루된 제약은 하나 이상의 강화 요소에 대하여 생성되거나 사전 정의된 강화 제약들로부터 가져올 수 있다. 강화 제약은 이에 상응하는 정상 조건하의 제약보다 적어도 한 양상에서 더욱 엄격할 수 있다.
일부 실시예에서, 적어도 하나의 항법 제약 강화 요소는 호스트 차량의 주변상황의 도로면 상의 얼음, 눈, 또는 물의 존재의 검출(예, 이미지 분석에 의거)을 포함할 수 있다. 이러한 판단은, 예를 들어, 건조한 도로에서 예상되는 것보다 반사가 높은 영역(예, 도로상의 얼음 또는 물)의 검출, 눈의 존재를 나타내는 도로상의 하얀 구역, 종방향 도랑의 존재에 따른 도로상의 그림자(예, 눈길의 타이어 자국), 호스트 차량의 앞유리의 물방울 또는 얼음/눈 입자, 또는 도로면에 물 또는 얼음/눈의 존재를 나타내는 기타 적합한 지시자에 의거할 수 있다.
적어도 하나의 항법 제약 강화 요소는 또한 호스트 차량의 앞유리 외면상의 입자의 검출을 포함할 수 있다. 이러한 입자는 호스트 차량과 연관된 하나 이상의 이미지캡처장치의 이미지의 질을 악화시킬 수 있다. 여기서는 호스트 차량의 앞유리 뒤에 설치된 카메라와 관련 있는 호스트 차량의 앞유리에 관하여 설명하고 있지만, 호스트 차량과 연관된 다른 표면(예, 카메라의 렌즈 또는 렌즈 커버, 전조등 렌즈, 뒷유리, 후미등 렌즈, 또는 이미지캡처장치에 보이는(또는 센서에 의해 검출되는) 호스트 차량의 기타 표면) 상의 입자 검출도 또한 항법 제약 강화 요소의 존재를 나타낼 수 있다.
항법 제약 강화 요소는 또한 하나 이상의 이미지획득장치의 속성으로서 검출될 수 있다. 예를 들면, 호스트 차량과 연관된 이미지캡처장치(예, 카메라)에 의해 캡처된 하나 이상의 이미지의 이미지 품질의 저하가 검출되면 이 또한 항법 제약 강화 요소의 요건이 될 수 있다. 이미지 품질의 저하는 이미지캡처장치 또는 이미지캡처장치와 연관된 어셈블리와 연관된 하드웨어의 고장 또는 부분적 고장과 연관될 수 있다. 이러한 이미지 품질의 저하는 또한 주변상황 조건에 기인한 것일 수 있다. 예를 들어, 호스트 차량 주변 공기에 연기, 안개, 비, 눈 등이 존재하면 이 또한 호스트 차량 주변의 도로, 보행자, 타깃 차량 등에 관한 이미지 품질의 저하의 요건이 될 수 있다.
항법 제약 강화 요소는 또한 호스트 차량의 다른 양상에 관한 것일 수 있다. 예를 들면, 일부 상황에서, 항법 제약 강화 요소에는 호스트 차량과 연관된 시스템 또는 센서의 검출된 고장 도는 부분적 고장이 포함될 수 있다. 이러한 강화 요소에는 예를 들어 속도계, GPS 수신기, 가속도계, 카메라, 레이더, 라이더, 브레이크, 타이어, 또는 호스트 차량이 호스트 차량의 항법 상태와 연관된 항법 제약에 대해 주행하는 능력에 영향을 줄 수 있는 호스트 차량과 연관된 기타 시스템의 고장 또는 부분적 고정의 검출이 포함될 수 있다.
항법 제약 강화 요소가 식별되는 경우(예, 단계 1507), 제약 강화 요소의 검출에 대응하여 제2 항법 제약이 결정 또는 생성될 수 있다. 제2 항법 제약은 제1 항법 제약과 다를 수 있고 제1 항법 제약에 대해 강화된 적어도 하나의 특성을 포함할 수 있다. 호스트 차량의 주변상황에서 또는 호스트 차량과 연관하여 제약 강화 요소가 검출된다는 것은 호스트 차량의 적어도 하나의 항법 능력이 정상 작동 조건보다 저하됨을 의미하는 것일 수 있기 때문에 제2 항법 제약은 제1 항법 제약보다 더 엄격할 수 있다. 이러한 저하된 능력에는 도로 접지력 저하(예, 도로상의 얼음, 눈, 또는 물; 타이어 공기압 저하 등), 저하된 시야(예, 캡처된 이미지 품질을 저하하는 비, 눈, 먼지, 연기, 안개 등), 저하된 검출 능력(예, 센서 고장 또는 부분적 고장, 센서 성능 저하 등), 또는 호스트 차량이 검출된 항법 상태에 대응하여 주행하는 능력의 기타 모든 저하가 포함될 수 있다.
단계 1507에서 적어도 하나의 항법 강화 요소가 검출되고 단계 1509에서적어도 하나의 제약이 강화된 경우, 단계 1511에서 호스트 차량에 대한 항법 동작이 결정될 수 있다. 호스트 차량에 대한 항법 동작은 식별된 항법 상태에 의거할 수 있고 제2 항법 제약(즉, 강화된 제약)을 충족할 수 있다. 단계 1513에서, 항법 동작은 결정된 항법 동작에 대응하여 호스트 차량의 항법 액추에이터에 적어도 하나의 조정을 유발함으로써 이행(implement)될 수 있다.
앞서 설명한 바와 같이, 항법 제약과 강화된 항법 제약은 학습(예, 머신 러닝을 통한 학습) 또는 비학습(예, 특정 항법 상태에 미리 정해진 동작으로 대응하도록 프로그램 된 시스템) 항법 시스템과 함께 활용될 수 있다. 학습 항법 시스템이 활용되는 경우에, 특정 항법 상황에 대해 강화된 항법 제약을 이용할 수 있다는 것은 학습 시스템 반응에서 비학습 시스템 반응으로의 모드 전환을 나타내는 것을 수 있다. 예를 들어, 학습 항법 네트워크는 제1 항법 제약에 의거하여 호스트 차량에 대한 원래의 항법 동작을 결정할 수 있다. 그러나 차량이 취한 동작은 제1 항법 제약을 충족하는 항법 동작과 다른 것일 수 있다. 오히려, 차량이 취한 동작은 강화된 제2 항법 제약을 충족할 수 있고 비학습 시스템에 의해 발생된 동작(예, 항법 제약 강화 요소의 존재와 같은, 호스트 차량의 주변상황 내에서의 특정 조건의 검출에 대한 대응)일 수 있다.
호스트 차량의 주변상황 내에서 제약 강화 요소의 검출에 대한 대응으로 생성, 보완, 또는 강화될 수 있는 항법 제약에는 많은 예가 있다. 예컨대, 사전 정의된 항법 제약이 검출된 보행자, 물체, 차량 등과 연관된 버퍼 구역을 포함하고, 버퍼 구역의 적어도 일부가 검출된 보행자/물체/차량으로부터 일정한 거리만큼 이어지는 경우에, 강화된 항법 제약(새롭게 발생, 미리 정해진 모음으로부터 메모리에서 호출, 또는 기존 제약의 강화 버전으로 생성)은 다른 또는 수정된 버퍼 구역을 포함할 수 있다. 예를 들면, 다른 또는 수정된 버퍼 구역은 검출된 보행자/물체/차량에 대한 원래의 또는 수정되지 않은 버퍼 구역보다 큰 거리일 수 있다. 그 결과, 강화된 제약으로 인하여, 적절한 제약 강화 요소가 호스트 차량의 주변상황에서 또는 호스트 차량에 대하여 검출되는 경우에 호스트 차량은 검출된 보행자/물체/차량에 더 떨어져서 주행하도록 강제될 수 있다.
적어도 하나의 강화된 특성은 항법 제약 특성의 기타 유형의 수정도 포함할 수 있다. 예를 들면, 강화된 특성은 적어도 하나의 사전 정의된 항법 제약과 연관된 속도의 감소를 포함할 수 있다. 강화된 특성에는 또한 적어도 하나의 사전 정의된 항법 제약과 연관된 최대 허용 감속/가속의 감소도 포함될 수 있다.
장기 계획에 의거한 항법
일부 실시예에서, 기재된 항법 시스템은 호스트 차량의 주변상황에서 검출된 항법 상태에 대한 대응 뿐만 아니라 장기 계획에 의거한 하나 이상의 항법 동작의 결정도 할 수 있다. 예를 들어, 시스템은 검출된 항법 상태에 대한 항법을 위한 옵션으로 사용 가능한 하나 이상의 항법 동작의 미래 항법 상태에 대한 잠재적 영향을 고려할 수 있다. 미래 상태에 대한 사용 가능한 동작의 영향을 고려하면 항법 시스템이 현재 검출된 항법 상태뿐만 아니라 장기 계획에 의거하여 항법 동작을 결정할 수 있다. 장기 계획 방식을 활용한 항법은 하나 이상의 보상 함수가 사용 가능한 옵션 중에서 항법 동작을 선택하는 방식으로 항법 시스템에 의해 활용되는 경우에 특히 적용 가능하다. 잠재적 보상은 호스트 차량의 검출된 현재 항법 상태에 대한 대응으로 취할 수 있는 사용 가능한 항법 동작에 대해 분석될 수 있다. 그러나 잠재적 보상은 사용 가능한 동작으로부터 현재 항법 상태의 결과를 가져올 것으로 예상되는 미래 항법 상태에 대응하여 취할 수 있는 동작에 대하여 분석될 수도 있다. 그 결과, 일부 경우에서, 기재된 항법 시스템은 선택된 항법 동작이 현재 항법 상태에 대응하여 취할 수 있는 사용 가능한 동작 중에서 가장 높은 보상을 산출하지 않을 수 있는 경우에도 검출된 항법 상태에 대응하여 항법 상태를 선택할 수 있다. 이는 시스템이 판단하기에 선택된 동작이 선택된 동작보다 또는 일부의 경우에서 현재 항법 상태에 대하여 사용 가능한 모든 동작보다 더 큰 보상을 제공하는 하나 이상의 잠재적 항법 동작을 낳는 미래 항법 상태의 결과를 가져올 수 있는 경우에 특히 그렇다. 원리를 더욱 간단히 표현하자면, 나중의 더 큰 보상을 위하여 지금은 덜 선호하는 동작을 취하는 것이다. 따라서, 장기 계획이 가능한 기재된 항법 시스템은 단기적인 보상의 손실의 결과로 장기적인 보상의 이익을 가져올 수 있다는 장기적 예상이 되는 경우에 최적 이하의 단기적 동작을 선택할 수 있다.
일반적으로, 자율주행 애플리케이션에는 일련의 계획 문제가 있을 수 있고, 항법 시스템은 장기적 목적을 최적화하기 위하여 즉각적인 동작을 결정할 수 있다. 예를 들어, 차량이 로터리에서 병합 상황과 마주칠 경우, 항법 시스템은 로터리로 진입하는 항법을 개시하기 위하여 즉각적인 가속 도는 제동 명령을 결정할 수 있다. 로터리에서의 검출된 항법 상태에 대한 즉각적인 동작은 검출된 상태에 대응한 가속 또는 제동 명령을 포함할 수 있지만, 장기적 목적은 성공적인 병합이고, 선택된 명령의 장기적인 결과는 병합의 성공/실패이다. 계획 문제는 문제를 두 단계로 나눔으로써 접근할 수 있다. 첫째, 지도형 학습을 적용하여 현재에 의거한 가까운 미래를 예측할 수 있다(현재의 표현에 대해 예측자가 구별 가능하다는 전제). 둘째, 순환 신경망을 활용하여 에이전트의 전체 궤적이 모델링 될 수 있고, 여기서, 설명되지 않은 요소들이 (애디티브) 입력 노드로 모델링 된다. 이로써, 장기적 계획 문제에 대한 솔루션이 지도형 학습 방식과 순환 신경망에 걸친 직접 최적화를 활용하여 결정될 수 있다. 이러한 접근은 또한 적대적 요소를 주변상황에 포함시킴으로써 탄탄한 방침(robust policies)의 학습을 가능하게 한다.
자율주행 시스템의 가장 기본적인 요소 두 가지는 감지와 계획이다. 감지는 주변상황의 현재 상태의 축소형 표현을 찾는 것에 해당하는 것이고, 계획은 미래의 목적이 최적화되도록 취할 동작을 결정하는 것에 해당하는 것이다. 지도형 머신 러닝 방식은 감지 문제의 해결에 유용하다. 머신 러닝 알고리즘 프레임워크, 특히 앞서 설명한 바와 같은 강화 학습(RL) 프레임워크는 또한, 계획 부분에 대해서도 유용할 수 있다.
RL은 연속 라운드의 시퀀스로 수행될 수 있다. 라운드 t에서, 계획자(즉, 에이전트 또는 주행 방침 모듈(803))은 에이전트와 주변상황을 나타내는 상태
Figure pct00128
를 관찰할 수 있다. 이후 동작
Figure pct00129
를 결정해야 한다. 동작을 수행한 후에, 에이전트는 즉각적인 보상
Figure pct00130
을 수신하고, 새로운 상태
Figure pct00131
로 이동된다. 일례로, 호스트 차량은 앞서 가는 차량과 적절한 거리를 유지하면서 부드러운 주행을 유지하도록 가속/제동을 자동으로 이행(implement)하는 적응형 순항장치(adaptive cruise control 또는 ACC) 시스템을 포함하고 있을 수 있다. 상태는
Figure pct00132
의 쌍으로 모델링 될 수 있고, 여기서, xt는 앞에 가는 차량과의 거리이고, vt는 앞에 가는 차량의 속도에 대한 호스트 차량의 상대적 속도이다. 동작
Figure pct00133
는 가속 명령(
Figure pct00134
인 경우, 호스트 차량은 감속)이 될 것이다. 보상은
Figure pct00135
(주행의 부드러움을 반영)와 s t (호스트 차량이 앞서 가는 차량과 안전 거리를 유지함을 반영)에 의존하는 함수일 수 있다. 계획자는 누적 보상을 최대화(미래 보상의 시간 지평 또는 할인 합계까지)하는 것을 목표로 한다. 이를 위해, 계획자는 상태를 동작으로 매핑하는
Figure pct00136
방침에 의존할 수 있다.
지도형 학습(Supervised Learning 또는 SL)은 RL의 특별한 경우로 볼 수 있다. 여기서, s t 는 S에서의 일부 배포로부터 샘플링된 것이고, 보상 함수는
Figure pct00137
의 형태일 수 있다. 여기서,
Figure pct00138
은 손실 함수이고, 학습자는 상태 st를 볼 경우에 취할 최적 동작의 (잡음) 값인 yt의 값을 관찰한다. 일반적인 RL 모델과 특정 경우의 SL 사이에 여러 차이가 있을 수 있고, 이러한 차이는 일반적인 RL 문제를 더욱 어렵게 만들 수 있다.
일부 SL 상황에서, 학습자가 취한 동작(또는 예측)은 주변상황에 아무 효과가 없을 수 있다. 즉,
Figure pct00139
과
Figure pct00140
는 별개이다. 이는 두가지 중요한 점을 시사한다. 첫째, SL에서, 샘플
Figure pct00141
는 사전에 수집될 수 있고, 그래야만 샘플에 대해 상대적으로 정확할 수 있는 방침(또는 예측)에 대한 검색을 시작할 수 있다. 이에 반해, RL에서는, 상태
Figure pct00142
는 일반적으로 취해진 동작(또한 이전 상태)에 달려있는데, 결구, 동작을 생성하도록 활용된 방침에 달려있다. 이는 데이터 생성 프로세스를 방침 학습 프로세스와 연결한다. 둘째, 동작은 SL에서 주변상황에 영향이 없기 때문에, π의 성능에 대한
Figure pct00143
의 선택의 기여는 로컬이다. 특히,
Figure pct00144
는 즉각적인 보상의 값에만 영향이 있다. 이에 반해, RL에서는, 라운드 t에서 취한 동작은 미래 라운드의 보상 값에 장기적 영향이 있다.
SL에서, '정확한' 답 yt와 함께 보상
Figure pct00145
의 형상을 알면
Figure pct00146
의 모든 가능한 선택을 알 수 있고,
Figure pct00147
에 대하여 보상의 미분계수를 계산할 수 있다. 이에 반해, RL에서는, 보상의 '1회 한'의 값이 선택된 특정 동작에 대해 관찰될 수 있는 전부일 수 있다. 이를 '밴딧' 피드백("bandit" feedback)으로 칭할 수 있다. 이는, RL 기반의 시스템에서 '밴딧' 피드백만이 사용 가능하면 시스템은 취한 동작이 가장 좋은 동작인지를 항상 알 수 없기 때문에, 장기적 항법 계획의 일부로서 '탐사'가 필요한 가장 중요한 이유 중의 하나이다.
많은 RL 알고리즘은 수학적으로 세련된 마르코프 결정 프로세스(Markov Decision Process 또는 MDP) 모델에 적어도 부분적으로 의존한다. 마코비안 가정에서, st와
Figure pct00148
를 고려할 때
Figure pct00149
의 분포가 완전히 판단된다. 이는 MDP의 상태에 걸친 고정 분포의 차원에서 기정 방침의 누적 보상에 대해 폐쇄 형태 표현을 출력한다. 방침의 고정 분포는 선형 프로그래밍 문제에 대한 솔루션으로 표현될 수 있다. 이는 두 부류의 알고리즘을 출력한다. 즉, 1) 방침 검색으로 불릴 수 있는 원시적 문제에 대한 최적화 및 2) 변수가 가치 함수
Figure pct00150
로 불리는 이중 문제에 대한 최적화이다. MDP가 초기 상태 s로부터 시작하고 여기서부터 π에 따라 동작이 선택되는 경우, 가치 함수는 예상된 누적 보상을 결정한다. 관련된 양은 상태 s로부터 시작하고, 동작 가 즉각적으로 선택되고, 여기서부터 π에 따라 동작이 선택된다는 전제하에 누적 보상을 결정하는 상태-동작 가치 함수
Figure pct00151
이다.
Figure pct00152
함수는 최적 방침(벨만 방정식(Bellman's equation) 활용)의 정의를 유도할 수 있다. 특히,
Figure pct00153
함수는 최적 방침이 S에서 A까지의 결정적 함수임을 보여줄 수 있다(실제로, 최적의
Figure pct00154
함수에 대해 '과욕'의 방침으로 정의될 수 있다).
MDP 모델의 한 가지 잠재적 장점은
Figure pct00155
함수를 활용하여 미래가 현재와 결합되게 할 수 있다는 것이다. 예컨대, 호스트 차량이 현재 상태 s에 있다고 할 때,
Figure pct00156
의 값은 동작 α수행의 미래에 대한 효과를 나타낼 수 있다. 따라서,
Figure pct00157
함수는 동작 α의 품질의 로컬 척도를 제공하여 RL 문제를 SL 상황과 더욱 유사하게 만들 수 있다.
많은 RL 알고리즘은 여러 방법으로 V 함수 또는
Figure pct00158
함수에 근접한다. 가치 반복 알고리즘, 예를 들면,
Figure pct00159
러닝 알고리즘은 최적 방침의 V 함수 및
Figure pct00160
함수가 벨만 방정식으로부터 도출된 일부 작동자(operator)의 고정 지점일 수 있다는 사실에 의존할 수 있다. 배우-비평가(actor-critic) 방침 반복 알고리즘은 반복적인 방법으로 방침을 학습하는 것을 목표로 하고, 여기서, 반복 t에서 '비평가'는
Figure pct00161
를 추정하고, 이 추정에 의거하여 '배우'는 방침을 개선한다.
MDP의 수학적 세련도와
Figure pct00162
함수 표현으로 전환의 편리성에도 불구하고, 이러한 접근 방식에는 여러 한계가 있을 수 있다. 예를 들어, 일부 경우에서는 마코비안 방식으로 행동하는 상태의 대략적인 개념이 검색될 수 있는 모두일 수 있다. 또한, 상태의 전환은 에이전트의 행동 외에도 주변상황의 다른 참가자의 행동에 달려있을 수 있다. 예를 들면, 앞서 언급한 ACC의 예에서, 자율주행차의 역학이 마코비안일 수 있는 반면, 다음 상태는 다른 차량의 운전자의 행동에 달려있을 수 있고, 이는 반드시 마코비안은 아니다. 이 문제에 대한 한 가지 가능한 솔루션은 부분적으로 관찰된 MDP를 활용하는 것이다. 부분적으로 관찰된 MDP에서는, 마코비안 상태가 있지만, 감춰진 상태에 따라 분포된 관찰이 보여질 수 있는 것이라고 추정된다.
더욱 직접적인 접근 방식은 MDP의 게임 이론 일반화(game theoretical generalizations)를 고려하는 것이다(예, 확률 게임(Stochastic Games) 프레임워크). 실제로, MDP에 대한 알고리즘은 멀티-에이전트 게임(예, 미니맥스-Q 러닝(minimax-Q learning) 또는 내쉬-Q 러닝(Nash-Q learning)) 으로 일반화될 수 있다. 다른 접근 방식에는 다른 참가자의 명시적 모델링과 배니싱 리그렛 러닝(vanishing regret learning) 알고리즘이 포함될 수 있다. 멀티-에이전트 설정에서의 학습은 단일 에이전트 설정에서보다 복잡할 수 있다.
Figure pct00163
함수 표현의 두번째 한계는 표 설정을 벗어남으로써 일어날 수 있다. 표 설정은 상태와 동작의 수가 적은 경우이며, 따라서
Figure pct00164
는
Figure pct00165
행과
Figure pct00166
열을 가진 표로 표현될 수 있다. 그러나, S와 A의 자연적 표현이 유클리드 공간(Euclidean space)을 포함하고 상태 및 동작 공간이 불연속되는(discretized) 경우, 상태/동작의 수는 차원적으로 기하급수적일 수 있다. 이러한 경우, 표 설정을 활용하는 것은 현실적으로 적합하지 않을 수 있다. 대신에,
Figure pct00167
함수는 모수적가설(parametric hypothesis) 부류(예, 특정 아키텍처의 신경망)로부터의 일부 함수에 의해 근접될 수 있다. 예를 들어, DQN (deep-Q-network) 러닝 알고리즘이 활용될 수 있다. DQN에서, 상태 공간은 연속적일 수 있지만, 동작 공간은 작은 이산 집합으로 남아있을 수 있다. 연속적인 동작 공간에 관한 접근 방식이 있을 수 있으나,
Figure pct00168
함수의 근사치에 의존할 수 있다. 어쨌든,
Figure pct00169
함수는 복잡하고 잡음에 민감하므로 학습하기에 어려울 수 있다.
다른 접근 방식은 순환 신경망(RNN)을 활용하여 RL 문제에 접근하는 것이다. 일부의 경우, RNN은 멀티-에이전트 게임과 게임 이론의 적대적 환경에 대한 강건성(robustness)의 개념과 병합될 수 있다. 또한, 이 접근 방식은 마코비안 가정에 명시적으로 의존하지 않는 방식일 수 있다.
이하, 예측에 의거한 계획에 의한 항법 방식에 대해 상세히 설명한다. 이 방식에서, 상태 공간 S는
Figure pct00170
의 부분 집합이고, 동작 공간 A는
Figure pct00171
의 부분 집합인 것으로 가정할 수 있다. 이는 많은 애플리케이션에서 자연적 표현일 수 있다. 앞서 설명한 바와 같이, RL과 SL 사이에는 두 가지 중요한 차이가 있다. (1) 과거의 동작이 미래의 보상에 영향을 미치므로, 미래로부터의 정보가 과거로 전파될 필요가 있다. (2) 보상의 '밴딧(bandit)' 성질이 (상태, 동작)과 보상 사이의 의존관계를 모호하게 할 수 있어서 러닝 프로세스를 어렵게 할 수 있다.
접근 방식의 첫 단계로, 보상의 밴딧 성질이 문제가 되지 않는다는 흥미로운 문제가 있다는 점이 관찰될 수 있다. 예를 들어, ACC 애플리케이션에 대한 보상 가치(하기에 상세히 설명)는 현재의 상태 및 동작에 대하여 구별 가능할 수 있다. 실제로, 보상이 '밴딧' 방식으로 주어져도,
Figure pct00172
가 되도록 하는 미분 가능한 함수
Figure pct00173
를 학습하는 문제는 상대적으로 간단한 SL 문제(예, 1차원 회귀 문제)일 수 있다. 따라서, 접근 방식의 첫 단계는 s 및 α에 대하여 미분 가능한 함수
Figure pct00174
를 보상으로 정의하는 것이거나 인스턴스 벡터가
Figure pct00175
이고 타깃 스칼라가
Figure pct00176
인 샘플에서 적어도 일부 회귀 손실을 최소화하는 미분 가능한 함수
Figure pct00177
를 학습하기 위해 회귀 학습 알고리즘을 사용하는 것일 수 있다. 일부 상황에서, 학습 세트를 생성하기 위하여, 탐사의 요소가 활용될 수 있다.
과거와 미래 사이의 연결 문제에 대처하기 위하여, 유사한 아이디어가 활용될 수 있다. 예를 들어,
Figure pct00178
이 되도록 미분 가능 함수
Figure pct00179
가 학습될 수 있다고 가정하면, 이러한 함수를 학습하는 것은 SL 문제로 정의될 수 있을 것이다.
Figure pct00180
은 가까운 미래에 대한 예측변수(predictor)로 볼 수 있다. 다음으로, S에서 A로 매핑하는 방침은 파라미터 함수
Figure pct00181
를 통해 묘사될 수 있다.
Figure pct00182
를 신경망으로 표현하면 수환 신경망(RNN)을 활용하여 T 라운드에 대해 에이전트를 실행하는 에피소드를 표현할 수 있고, 다음 상태는
Figure pct00183
로 정의된다. 여기서,
Figure pct00184
는 주변상황에 의해 정의될 수 있고 가까운 미래의 예측할 수 없는 양상을 표현할 수 있다.
Figure pct00185
가 구별 가능한 방식으로
Figure pct00186
와
Figure pct00187
에 달려있다는 사실로 인해, 미래 보상 가치와 과거 동작 사이의 연결이 가능할 수 있다.
Figure pct00188
로 표현되는 방침 함수의 파라미터 벡터는 결과 RNN에 역전파(back-propagation)함으로써 학습될 수 있다. 여기서, 명시적인 확률론적 추정이
Figure pct00189
에 부과될 필요는 없다. 특히, 마코비안 관계에 대한 요건이 있을 필요가 없다. 대신에, 과거와 미래 사이에 '충분한' 정보를 전파하기 위하여 순환망에 의존될 수 있다. 직감적으로,
Figure pct00190
가 가까운 미래의 예측 가능한 부분을 묘사할 수 있는 반면에,
Figure pct00191
는 주변상황의 다른 참가자의 행동으로 기인하여 발생할 수 있는 예측 불가능한 양상을 표현할 수 있다. 러닝 시스템은 다른 참가자의 행동에 강건할 방침을 학습해야 한다.
Figure pct00192
가 큰 경우, 과거 동작과 미래 보상 가치 사이의 연결은 의미 있는 방침을 학습하기에 너무 잡음이 많을 수 있다. 시스템의 역학을 투명하게 명시적으로 표현하면 과거의 지식을 더욱 손쉽게 활용할 수 있다. 예를 들면, 과거의 지식은
Figure pct00193
을 정의하는 문제를 단순화할 수 있다.
앞서 설명한 바와 같이, 러닝 시스템은 예상 못한 방식으로 행동할 수 있는 여러 명의 다른 운전자를 포함할 수 있는 호스트 차량의 주변상황과 같은 적대적 환경에 대한 강건성으로부터 혜택을 받을 수 있다. 확률론적 추정을
Figure pct00194
에 부과하지 않는 모델에서,
Figure pct00195
가 적대적 방식으로 선택되는 주변상황이 고려될 수 있다. 일부의 경우,
Figure pct00196
에 제한이 부과될 수 있고, 그렇지 않은 경우, 상대방은 계획 문제를 어렵게 하거나 아예 불가능하게 만들 수 있다. 자연적인 제한의 한 가지는
Figure pct00197
가 상수에 의해 얽매이게 하는 것이다.
적대적 환경에 대한 강건성은 자율 주행 애플리케이션에 유용할 수 있다. 적대적인 방법으로
Figure pct00198
를 선택하면 러닝 시스템을 강건한 최적의 방침으로 집중할 수 있기 때문에 러닝 프로세스를 더 빠르게 할 수 있다. 단순한 게임을 사용하여 이 개념을 설명할 수 있다. 상태는
Figure pct00199
이고, 동작은
Figure pct00200
이며, 즉각적인 손실 함수는
Figure pct00201
이며, 여기서,
Figure pct00202
은 ReLU(rectified linear unit) 함수이다. 다음 상태는
Figure pct00203
이고, 여기서,
Figure pct00204
는 적대적인 방식으로 주변상황에 대하여 선택된다. 여기서, 최적의 방침은 ReLU:
Figure pct00205
Figure pct00206
로 두 계층의 네트워크로서 기록될 수 있다.
Figure pct00207
인 경우에, 최적의 동작은 α= 0인 동작보다 즉각적인 손실이 클 수 있다. 따라서, 시스템은 미래에 대해 계획할 수 있고 즉각적인 손실에 전적으로 의존하지 않을 수 있다.
Figure pct00208
에 관한 손실의 미분계수는
Figure pct00209
이고,
Figure pct00210
에 관한 미분계수는
Figure pct00211
이다.
Figure pct00212
인 상황에서,
Figure pct00213
의 적대적 선택은
Figure pct00214
로 설정될 것이므로
Figure pct00215
인 경우마다
Figure pct00216
라운드 상에 비제로(non-zero) 손실이 있을 수 있다. 이러한 경우, 손실의 미분계수는
Figure pct00217
로 바로 역전파할 수 있다. 따라서,
Figure pct00218
의 적대적 선택은
Figure pct00219
의 선택이 최적 이하인 경우에서 항법 시스템이 비제로 역전파 메시지를 획득하게 할 수 있다. 이러한 관계는 항법 시스템이 현재의 동작(최적 이하의 보상 또는 손실마저 가져올 수 있는 동작일지라도) 이 더 높은 보상을 가져오는 더욱 최적의 동작에 대한 기회를 미래에 제공할 것이라는 기대에 의거한 현재의 동작을 선택하는데 도움이 될 수 있다.
이러한 접근은 사실상 일어날 수 있는 모든 항법 상황에 적용될 수 있다. 이하, 일례로 적응형 순항장치(ACC)에 적용되는 접근 방식을 설명한다. ACC 문제에서, 호스트 차량은 앞에 있는 타깃 차량까지 충분한 거리(예, 타깃 차량까지 1.5초)를 유지하려고 시도할 수 있다. 또 한 가지 목표는 원하는 간격을 유지하면서 최대한 부드럽게 주행하는 것일 수 있다. 이 상황을 나타내는 모델은 다음과 같이 정의될 수 있다. 상태 공간은
Figure pct00220
이고, 동작 공간은
Figure pct00221
이다. 상태의 첫번째 좌표는 타깃 차량의 속도이고, 두번째 좌표는 호스트 차량의 속도이고, 마지막 좌표는 호스트 차량과 타깃 차량 사이의 거리(예, 도로 커브를 따라 호스트 차량의 위치에서 타깃 차량의 위치를 뺀 좌표)이다. 호스트 차량이 취할 동작은 가속이고 a t 로 나타낼 수 있다.
Figure pct00222
로 표시되는 양은 연속 라운드 사이의 시간 차를 나타내는 것일 수 있다.
Figure pct00223
는 모든 적합한 양으로 설정될 수 있지만, 일례에서,
Figure pct00224
는 0.1초일 수 있다. 위치인
Figure pct00225
는
Figure pct00226
로 나타낼 수 있고, 타깃 차량의 가속도(알 수 없음)는
Figure pct00227
로 나타낼 수 있다.
시스템의 전체 역학은 다음과 같이 기술될 수 있다.
Figure pct00228
이는 두 벡터의 합으로 기술될 수 있다.
Figure pct00229
첫번째 벡터는 예측 가능한 부분이고, 두번째 벡터는 예측 불가능한 부분이다. t 라운드에 대한 보상은 다음과 같이 정의될 수 있다.
Figure pct00230
첫번째 항의 결과는 비제로 가속에 대한 벌칙이고, 따라서 부드러운 주행을 유도한다. 두번째 항은 타깃 차량까지의 거리 xt와, 1미터의 거리와 1.5초의 제동 거리 사이의 최대로 정의된, 원하는 거리
Figure pct00231
사이의 비율에 의존한다. 일부의 경우, 이 비율은 정확히 1일 수 있지만, 이 비율이 [0.7, 1.3] 이내이면, 방침은 벌칙을 무시하고 어느 정도 느슨한 항법을 호스트 차량에 허용할 수 있다. 이는 부드러운 주행을 달성하기 위해 중요한 특성일 수 있다.
상기에 설명한 접근 방식을 이행함에 있어서, 호스트 차량의 항법 시스템(예, 항법 시스템의 처리부(110) 내의 주행 방침 모듈(803))은 관찰된 상태에 대응하여 동작을 선택할 수 있다. 선택된 동작은 감지된 항법 상태와 관련되어 사용 가능한 대응 동작과 연관된 보상의 분석뿐만 아니라 미래의 상태, 미래의 생태에 대응한 잠재적 동작, 및 잠재적 동작과 연관된 보상의 고려 및 분석에 의거할 수 있다.
도 16은 검출과 장기 계획에 의거한 항법에 대한 알고리즘 접근 방식을 도시한 것이다. 예컨대, 단계 1601에서, 호스트 차량에 대한 항법 시스템의 적어도 하나의 처리 장치(110)는 복수의 이미지를 수신할 수 있다. 이 이미지들은 호스트 차량의 주변상황을 나타내는 장면을 캡처할 수 있고 앞서 설명한 이미지캡처장치(예, 카메라, 센서 등) 중의 하나 이상에 의해 공급될 수 있다. 단계 1603에서, 하나 이상의 이미지의 분석을 통해 적어도 하나의 처리 장치(110)가 앞서 설명한 바와 같이 호스트 차량과 연관된 현재의 항법 상태를 식별할 수 있다.
단계 1605, 1607, 1609에서, 감지된 항법 상태에 대응하는 다양한 잠재적 항법 동작이 결정될 수 있다. 이러한 잠재적 항법 동작(예, 제N 사용 가능한 항법 동작을 통한 제1 항법 동작)은 감지된 상태와 항법 시스템의 장기 목표(예, 병합 완료하기, 앞에 가는 차량을 부드럽게 따라가기, 타깃 차량을 추월하기, 도로상의 물체를 피하기, 일시정지표지판에 대해 감속하기, 끼어드는 타깃 차량을 피하기, 또는 항법 시스템의 항법 목적을 진행시킬 수 있는 기타 모든 항법 동작)에 의거하여 결정될 수 있다.
결정된 각 잠재적 항법 동작에 대해, 시스템은 기대 보상을 판단할 수 있다. 기대 보상은 앞서 설명한 모든 방법에 따라 판단될 수 있고 하나 이상의 보상 함수에 대한 특정 잠재적 동작의 분석을 포함할 수 있다. 기대 보상(1606, 1608, 1610)은 단계 1605, 1607, 1609에서 각각 결정된 잠재적 항법 동작(예, 제1, 제2, 제N)에 대해 판단될 수 있다.
일부 경우에서, 호스트 차량의 항법 시스템은 기대 보상(1606, 1608, 1610)과 연관된 값(또는 기대 보상의 기타 유형의 지시자)에 의거하여 사용 가능한 잠재적 동작 중에서 선택할 수 있다. 예를 들어, 일부의 경우, 가장 높은 기대 보상을 제공하는 동작이 선택될 수 있다.
일부의 경우, 특히 항법 시스템이 장기 계획을 활용하여 호스트 차량에 대한 항법 동작을 결정하는 경우에, 시스템은 가장 높은 기대 보상을 제공하는 잠재적 동작을 선택하지 않을 수도 있다. 오히려, 시스템은 미래를 바라보고 현재의 항법 상태에 대응하여 낮은 보상 동작을 선택할 경우에 나중에 더 높은 보상을 실현할 기회가 있을 수 있는지 여부를 분석할 수 있다. 예를 들면, 단계 1605, 1607, 1609에서 결정된 잠재적 항법 동작의 어느 하나 또는 모두에 대해, 미래의 상태가 판단될 수 있다. 단계 1613, 1615, 1617에서 판단된 각 미래 상태는 각 잠재적 동작(예, 단계 1605, 1607, 1609에서 결정된 잠재적 동작)에 의해 수정된 바와 같은 현재의 항법 상태에 의거한 결과일 것으로 기대되는 미래의 항법 상태를 나타내는 것일 수 있다.
단계 1613, 1615, 1617에서 예측된 미래의 상태 각각에 대하여, 하나 이상의 미래의 동작(판단된 미래의 상태에 대응하여 사용 가능한 항법 옵션으로서)이 결정되고 평가될 수 있다. 예를 들어, 단계 1619, 1621, 1623에서, 하나 이상의 미래의 동작과 연관된 기대 보상의 가치 또는 기타 유형의 지시자가 발생(예, 하나 이상의 보상 함수에 의거하여)될 수 있다. 하나 이상의 미래의 동작과 연관된 기대 보상은 각 미래 동작과 연관된 보상 함수의 가치를 비교하거나 기대 보상과 연관된 기타 지시자를 비교하여 평가될 수 있다.
단계 1625에서, 호스트 차량에 대한 항법 시스템은, 현재의 항법 상태에 대해 식별된(예, 단계 1605, 1607, 1609) 잠재적 동작에만 의거하지 않고 예측된 미래의 상태(예, 단계 1613, 1615, 1617에서 판단)에 대응하여 사용 가능한 잠재적 미래 동작의 결과로서 판단된 기대 보상에도 의거하여, 기대 보상의 비교에 의거하여 호스트 차량에 대한 항법 동작을 선택할 수 있다. 단계 1625에서의 선택은 단계 1619, 1621, 1623에서 수행된 옵션 및 보상 분석에 의거할 수 있다.
단계 1625에서의 항법 동작의 선택은 미래의 동작 옵션과 연관된 기대 보상의 비교에만 의거할 수 있다. 이 경우, 항법 시스템은 동작에서 기인하는 기대 보상과 잠재적 미래 항법 상태의 비교에만 오로지 의거하여 현재 상태에 대한 동작을 선택할 수 있다. 예컨대, 시스템은 단계 1619, 1621, 1623의 분석을 통하여 판단된 가장 높은 미래 보상 가치와 연관된 단계 1605, 1607, 또는 1609에서 식별된 잠재적 동작을 선택할 수 있다.
단계 1625에서의 항법 동작의 선택은 또한 현재 동작 옵션의 비교에만(앞서 설명한 바와 같이) 의거할 수 있다. 이 경우, 항법 시스템은 단계 가장 높은 기대 보상(1606, 1608, 또는 1610)과 연관된 단계 1605, 1607, 또는1609에서 식별된 잠재적 동작을 선택할 수 있다. 이러한 선택은 미래의 항법 상태에 대한 고려가 거의 또는 전혀 없이, 또는 기대 미래 항법 상태에 대응하여 사용가능한 항법 동작에 대한 미래 기대 보상에 대한 고려가 거의 또는 전혀 없이 수행될 수 있다.
반면, 일부 경우에서, 단계 1625에서의 항법 동작의 선택은 미래 동작 옵션과 현재 동작 옵션 모두와 연관된 기대 보상의 비교에 의거할 수 있다. 사실, 이는 장기 계획에 의거한 항법의 원리 중의 하나일 수 있다. 예를 들어, 미래 동작에 대한 기대 보상을 분석하여, 미래 항법 상태에 대응하여 사용 가능할 것으로 기대되는 추후의 항법 동작에 대응한 잠재적으로 더 큰 보상을 달성하기 위하여 현재 항법 상태에 대응하여 작은 보상 동작을 선택할지 여부를 결정할 수 있다. 일례로, 기대 보상(1606)의 가치 또는 기타 지시자는 보상(1606, 1608, 1610) 중에서 가장 높은 기대 보상을 나타낼 수 있다. 반면에, 기대 보상(1608)은 보상(1606, 1608, 1610) 중에서 가장 낮은 기대 보상을 나타낼 수 있다. 단계1605에서 결정된 잠재적 동작(즉, 가장 높은 기대 보상(1606)을 제공하는 동작)을 단순히 선택하기보다, 미래 상태, 잠재적 미래 동작, 및 미래 보상의 분석을 활용하여 단계 1625에서 항법 동작을 선택할 수 있다. 일례로, 단계 1621에서 식별된 보상(단계 1607에서 결정된 제2 잠재적 동작에 의거하여 단계 1615에서 판단된 미래 상태에 대한 적어도 하나의 미래 동작에 대응한 보상)이 기대 보상(1606)보다 높을 수 있다고 판단될 수 있다. 이러한 비교에 의거하여, 기대 보상(1606)이 기대 보상(1608)보다 큼에도 불구하고, 단계 1605에서 결정된 제1 잠재적 동작보다 단계 1607에서 결정된 제2 잠재적 동작이 선택될 수 있다. 일례로, 단계 1605에서 결정된 잠재적 항법 동작은 검출된 타깃 차량 앞으로의 병합을 포함할 수 있는 반면, 단계 1607에서 결정된 잠재적 항법 동작은 검출된 타깃 차량 뒤로의 병합을 포함할 수 있다. 타깃 차량 앞으로의 병합의 기대 보상(1606)이 타깃 차량 뒤로의 병합과 연관된 기대 보상(1608)보다 클 수 있지만, 타깃 차량 뒤로의 병합의 결과로 기대 보상(1606, 1608)보다 큰, 또는 현재의 감지된 항법 상태에 대응하여 사용 가능한 동작에 의거한 다른 보상보다 큰 잠재적 보상을 제공하는 동작 옵션이 있을 수 있는 미래 상태가 될 것이라고 판단할 수 있다.
단계 1625에서의 잠재적 동작 중에서의 선택은 기대 보상의 모든 적절한 비교(또는 한 잠재적 동작이 다른 잠재적 동작보다 나은 장점의 기타 모든 메트릭 또는 지시자)에 의거할 수 있다. 일부의 경우, 앞서 설명한 바와 같이, 제2 잠재적 동작이 제1 잠재적 동작과 연관된 보상보다 큰 기대 보상과 연관된 적어도 하나의 미래 동작을 제공할 것으로 예상되는 경우, 제1 잠재적 동작보다 제2 잠재적 동작이 선택될 수 있다. 즉, 더욱 복잡한 비교가 활용될 수 있다. 예를 들면, 예상되는 미래 상태에 대응한 동작 옵션과 연관된 보상이 결정된 잠재 동작과 연관된 하나 이상의 기대 보상에 비교될 수 있다.
일부 상황에서, 예상되는 미래 상태에 의거한 동작과 기대 보상은, 미래 동작의 적어도 하나가 현재 상태에 대한 잠재적 동작의 결과로 기대되는 어떤 보상(예, 1606, 1608, 1610 등)보다 큰 보상을 제공할 것으로 기대되는 경우, 현재 상태에 대한 잠재적 동작의 선택에 영향이 있을 수 있다. 일부의 경우, 가장 큰 기대 보상(감지된 현재 상태에 대한 잠재적 동작과 연관된 기대 보상 또는 잠재적 미래 항법 상태에 관한 잠재적 미래 동작 옵션과 연관된 기대 보상 중의 하나)을 제공하는 미래 동작 옵션이 현재 항법 상태에 대한 잠재적 동작의 선택을 위한 가이드로 활용될 수 있다. 즉, 가장 큰 기대 보상(또는 미리 정해진 임계값 이상의 보상)을 제공하는 미래 동작 옵션을 식별한 후에, 단계 1625에서, 가장 큰 기대 보상을 제공하는 식별된 미래 동작과 연관된 미래 상태로 이어질 잠재적 행동이 선택될 수 있다.
다른 경우에서, 기대 보상 사이에 판단된 차이에 의거하여 사용 가능한 동작이 선택될 수 있다. 예컨대, 단계 1607에서 결정된 제2 잠재적 동작은 단계 1621에서 판단된 미래 동작과 연관된 기대 보상과 기대 보상(1606) 사이의 차이가 기대 보상(1608)과 기대 보상(1606) 사이의 차이(플러스(+) 부호 차이라는 가정)보다 큰 경우에 선택될 수 있다. 다른 예에서, 단계 1607에서 결정된 제2 잠재적 동작은 단계 1621에서 판단된 미래 동작과 연관된 기대 보상과 단계 1619에서 판단된 미래 동작과 연관된 기대 보상 사이의 차이가 기대 보상(1608)과 기대 보상(1606) 사이의 차이보다 큰 경우에 선택될 수 있다.
현재 항법 상태에 대한 잠재적 동작 중에서의 선택을 위한 몇 가지 예시를 설명하였다. 그러나, 예상되는 미래 상태로 이어지는 동작 및 보상 분석에 의거한 장기 계획을 통한 사용 가능한 동작의 선택을 위해 기타 모든 적합한 비교 방법 또는 기준이 활용될 수 있다. 또한, 도 16에서는 두 계층의 장기 계획 분석(예, 현재 상태에 대한 잠재적 동작에서 기인하는 보상을 고려하는 제1 계층, 및 예상 미래 상태에 대응한 미래 동작 옵션에서 기인하는 보상을 고려하는 제2 계층)을 도시하였지만, 더 많은 계층에 기반한 분석도 가능할 수 있다. 예를 들어, 장기 계획 분석을 하나 또는 두 계층에 의거하기보다, 3, 4, 또는 그 이상의 계층의 분석을 활용하여 현재 항법 상태에 대응한 사용 가능한 잠재적 동작 중에서 선택할 수 있다.
단계 1627에서, 감지된 항법 상태에 대응하여 잠재적 동작 중에서 선택을 한 다음에, 적어도 하나의 프로세서는 선택된 잠재적 항법 동작에 대응하여 호스트 차량의 항법 액추에이터의 적어도 하나의 조정을 유발할 수 있다. 항법 액추에이터에는 호스트 차량의 적어도 한 양상을 제어하기 적합한 장치가 포함될 수 있다. 예를 들면, 항법 액추에이터에는 조향 메커니즘, 브레이크, 및 가속장치 중의 적어도 하나가 포함될 수 있다.
타인의 추론된 공격성에 의거한 항법
획득된 이미지 스트림의 분석을 통하여 타깃 차량을 모니터링 함으로써 난폭 운전의 지시자를 판단할 수 있다. 본 기재에서 난폭이란 정성적 또는 정량적 파라미터이지만, 인지된 집중도(예, 운전자의 잠재적 장애, 산만―휴대폰, 졸음 등)와 같은 다른 특성도 활용될 수 있다. 일부의 경우에서, 타깃 차량이 방어적인 자세인 것으로 여겨질 수 있고, 일부의 경우에서, 타깃 차량이 공격적인 자세인 것으로 판단될 수 있다. 항법 동작은 공격성의 지시자에 의거하여 선택되거나 생성될 수 있다. 예를 들어, 일부 경우에서, 호스트 차량에 대한 상대적 속도, 상대적 가속도, 상대적 가속도의 증가, 추종 거리 등을 추적하여 타깃 차량이 공격적인지 또는 방어적인지 판단할 수 있다. 타깃 차량이 예를 들어 임계값을 초월하는 공격성 수준인 것으로 판단되는 경우, 호스트 차량은 타깃 차량에 양보하는 쪽으로 기울 수 있다. 타깃 차량의 공격성 수준은 또한 타깃 차량의 경로 또는 주변의 하나 이상의 장애물(예, 선두 차량, 도로의 장애물, 신호등 등)에 대해 판단된 타깃 차량의 행동에 의거하여 파악될 수 있다.
본 개념에 대한 입문으로서, 항법 목표가 통과하여 진출하는 것인 로터리로 호스트 차량이 병합하는 것에 대한 예시적인 실험을 설명하기로 한다. 이 상황은 호스트 차량이 로터리의 진입로에 접근하면서 시작하여 호스트 차량이 로터리의 진출로(예, 두번째 진출로)에 도달하면서 종료될 수 있다. 성공은 호스트 차량이 항상 다른 모든 차량으로부터 안전 거리를 유지하는지 여부, 호스트 차량이 최대한 신속히 경로를 완료하는지 여부, 및 호스트 차량이 부드러운 가속 방침을 준수하는지 여부에 의거하여 판단될 수 있다. 본 예시에서, NT타깃 차량이 로터리에 임의로 배치될 수 있다. p의 확률로 적대적 행동과 전형적 행동이 섞인 모델을 형성하기 위하여, 호스트 차량이 타깃 차량 앞으로 병합을 시도하는 경우에 타깃 차량이 가속하도록 타깃 차량이 '공격적' 주행 방침에 의해 모델링 될 수 있다. 1-p의 확률로, 타깃 차량이 감속을 하고 호스트 차량을 병합해 들어오게 하도록 타깃 차량이 '방어적' 주행 방침에 의해 모델링 될 수 있다. 이 실험에서, p = 0.5이고, 호스트 차량의 항법 시스템은 다른 운전자의 유형에 대한 정보를 전혀 제공받지 못할 수도 있다. 다른 운전자의 유형은 에피소드가 시작될 때 임의로 선택될 수 있다.
항법 상태는 호스트 차량(에이전트)의 속도와 위치, 및 타깃 차량의 위치, 속도, 및 가속도로 나타낼 수 있다. 타깃 가속도 관찰을 유지하는 것은 현재 상태에 의거하여 공격적 운전자와 방어적 운전자 사이를 구별하기 위해 중요할 수 있다. 모든 타깃 차량은 로터리 경로를 보여주는 1차원 커브 상에서 이동할 수 있다. 호스트 차량은 병합 지점에서 타깃 차량의 커브와 교차하는 자체적인 1차원 커브 상에서 이동할 수 있고, 이 병합 지점은 두 커브의 원점이다. 합리적인 주행을 모델링하려면, 모든 차량의 가속도의 절대값의 상한은 상수일 수 있다. 후진 주행은 허용되지 않기 때문에, 속도도 ReLU를 거칠 수 있다. 후진 주행을 허용하지 않음으로써, 에이전트는 과거의 동작을 되돌릴 수 없기 때문에, 장기 계획이 필수가 될 수 있다.
앞서 설명한 바와 같이, 다음 상태
Figure pct00232
는 예측 가능한 부분
Figure pct00233
와 예측 불가능한 부분
Figure pct00234
로 분해될 수 있다.
Figure pct00235
라는 표현은 차량 위치와 속도의 역학을 나타내는 것일 수 있고(명확히 구별 가능한 방식),
Figure pct00236
는 타깃 차량의 가속도를 나타내는 것일 수 있다.
Figure pct00237
가 아핀변환(affine transformation) 상의 ReLU 함수의 조합으로 표현될 수 있으므로, s t 와
Figure pct00238
에 대하여 미분 가능하다. 벡터
Figure pct00239
는 미분 불가능한 방식으로 시뮬레이터에 의해 정의될 수 있고, 일부 타깃에 대해서는 공격적 행동, 다른 타깃에 대해서는 방어적 행동을 이행(implement)할 수 있다. 이러한 시뮬레이터로부터의 두 프레임이 도 17a와 도 17b에 도시되어 있다. 본 예시적인 실험에서, 호스트 차량(1701)은 로터리의 입구에 접근하며 속도를 줄이도록 학습했다. 또한, 공격적 차량(예, 1703, 1705)에게 양보하고 방어적 차량(예, 1706, 1708, 1710) 앞으로 병합할 경우에 안전하게 진행하도록 학습했다. 도 17a와 도 17b에 도시된 예시에서, 호스트 차량(1701)의 항법 시스템은 타깃 차량의 유형이 제공되지 않는다. 대신에, 특정 차량이 공격적인지 또는 방어적인지에 대한 판단은 예를 들어 관찰된 타깃 차량의 위치와 가속도에 의거하여 이루어진다. 도 17a에서, 위치, 속도, 및/또는 상대적 가속도에 의거하여, 호스트 차량(1701)은 차량(1703)이 공격적 성향이라고 판단할 수 있고, 따라서 호스트 차량(1701)은 타깃 차량(1703) 앞으로 병합해 들어가기보다는 타깃 차량(1703)이 지나가도록 정지하여 기다릴 수 있다. 그러나 도 17b에서, 호스트 차량(1701)은 차량(1703) 뒤에서 이동하는 타깃 차량(1710)이 방어적 성향임을 인지하고(차량(1710)의 위치, 속도, 및/또는 상대적 가속도의 관찰에 의거), 따라서 타깃 차량(1710) 앞과 타깃 차량(1703) 뒤로 성공적으로 병합을 완수했다.
도 18은 다른 차량의 예상 공격성에 의거한 호스트 차량의 항법을 위한 예시적인 알고리즘을 나타내는 순서도를 도시한 것이다. 도 18의 예에서, 적어도 한 대의 타깃 차량과 연관된 공격성의 수준은 타깃 차량의 주변상황 내의 물체에 대한 타깃 차량의 관찰된 행동에 의거하여 파악될 수 있다. 예를 들면, 단계 1801에서, 호스트 차량 항법 시스템의 적어도 하나의 처리 장치(예, 처리 장치(110))는 호스트 차량의 주변상황을 나타내는 복수의 이미지를 호스트 차량과 연관된 카메라로부터 수신할 수 있다. 단계 1803에서, 수신된 이미지의 하나 이상을 분석하여 적어도 하나의 프로세서는 호스트 차량(1701)의 주변상황 내에서 타깃 차량(예, 1703)을 식별할 수 있다. 단계 1805에서, 수신된 이미지의 하나 이상을 분석하여 적어도 하나의 처리 장치는 호스트 차량의 주변상황 내에서 타깃 차량에 대한 적어도 하나의 장애물을 식별할 수 있다. 장애물은 도로에 있는 잔해, 신호등, 보행자, 다른 차량(예, 타깃 차량 앞에서 이동하는 차량, 주차된 차량 등), 도로에 있는 상자, 도로 배리어, 도로 경계석, 또는 호스트 차량의 주변상황에서 마주칠 수 있는 다른 유형의 물체를 포함할 수 있다. 단계 1807에서, 수신된 이미지의 하나 이상을 분석하여 적어도 하나의 처리 장치는 타깃 차량에 대해 적어도 하나의 식별된 장애물에 대한 타깃 차량의 적어도 하나의 항법 특성을 판단할 수 있다.
타깃 차량에 대한 적절한 항법 반응을 마련하기 위하여, 다양한 항법 특성을 활용하여 검출된 타깃 차량의 공격성 수준을 파악할 수 있다. 예컨대, 이러한 항법 특성은 타깃 차량과 적어도 하나의 식별된 장애물 사이의 상대적 가속도, 장애물로부터 타깃 차량까지의 거리(예, 다른 차량 뒤의 타깃 차량의 추종 거리), 및/또는 타깃 차량과 장애물 사이의 상대적 속도 등이 포함될 수 있다.
일부 실시예에서, 타깃 차량의 항법 특성은 호스트 차량과 연관된 센서(예, 레이더, 속력 센서, GPS 등)로부터의 출력에 의거하여 판단될 수 있다. 그러나, 일부 경우에서, 타깃 차량의 항법 특성은 호스트 차량의 주변상황의 이미지의 분석에 부분적으로 또는 전적으로 의거하여 판단될 수 있다. 예를 들면, 앞서 설명하고 예를 들어 본 발명에 참조를 통해 포함된 미국 특허 번호 9,168,868에 기재된 이미지 분석 방법을 활용하여 호스트 차량의 주변상황 이내의 타깃 차량을 인지할 수 있다. 또한, 캡처된 이미지에서 타깃 차량의 위치를 시간에 걸쳐 모니터링 및/또는 캡처된 이미지에서 타깃 차량과 연관된 하나 이상의 특징(예, 후미등, 전조등, 범퍼, 바퀴 등)의 위치를 모니터링 하면 타깃 차량과 호스트 차량 간 또는 타깃 차량과 호스트 차량의 주변상황 내의 하나 이상의 기타 물체 간의 상대적 거리, 속도, 및/또는 가속도를 판단할 수 있다.
식별된 타깃 차량의 공격성 수준은 타깃 차량에서 관찰된 적절한 항법 특성 또는 관찰된 항법 특성의 조합으로부터 파악될 수 있다. 예를 들면, 공격성은 관찰된 특성과 하나 이상의 미리 정해진 임계값 또는 기타 적절한 정성적 또는 정량적 분석으로부터 판단될 수 있다. 일부 실시예에서, 타깃 차량이 호스트 차량이나 다른 차량을 미리 정해진 공격적 거리 임계값보다 작은 거리에서 쫓아가고 있는 것으로 관찰되는 경우, 타깃 차량은 공격적인 것으로 여겨질 수 있다. 반면에, 호스트 차량이나 다른 차량을 미리 정해진 방어적 거리 임계값보다 큰 거리에서 쫓아가고 있는 것으로 관찰된 타깃 차량은 방어적인 것으로 여겨질 수 있다. 미리 정해진 공격적 거리 임계값은 미리 정해진 방어적 거리 임계값과 같을 필요는 없다. 추가적으로, 미리 정해진 공격적 거리 임계값과 미리 정해진 방어적 거리 임계값 중의 하나 또는 모두는 휘선값(bright line value) 보다는 일정한 범위의 값을 포함할 수 있다. 나아가, 미리 정해진 공격적 거리 임계값과 미리 정해진 방어적 거리 임계값은 모두 고정값이 아니다. 오히려, 이 값들 또는 범위의 값들은 시간에 따라 달라지고, 타깃 차량의 관찰된 특성에 따라 다른 임계값/임계값 범위가 적용될 수 있다. 예를 들어, 적용된 임계값은 타깃 차량의 하나 이상의 다른 특성에 따라 다를 수 있다. 상대적 속도 및/또는 가속도가 높은 것으로 관찰되는 경우, 높은 임계값/범위의 적용이 필요할 수 있다. 반대로, 상대적 속도 및/또는 가속도가 낮거나 0이면, 공격성/방어성 파악에 있어서 낮은 임계값/범위의 적용이 필요할 수 있다.
공격성/방어성 파악은 또한 상대적 속도 및/또는 상대적 가속도 임계값에 의거할 수 있다. 다른 차량에 대한 타깃 차량의 관찰된 상대적 속도 및/또는 상대적 가속도가 미리 정해진 수준 또는 범위를 초과하는 경우, 타깃 차량은 공격적인 것으로 여겨질 수 있다. 다른 차량에 대한 타깃 차량의 관찰된 상대적 속도 및/또는 상대적 가속도가 미리 정해진 수준 또는 범위에 못 미치는 경우, 타깃 차량은 방어적인 것으로 여겨질 수 있다.
관찰된 항법 특성만을 의거하여 공격성/방어성을 판단할 수 있지만, 관찰된 특성의 조합에 의거하여 판단할 수도 있다. 예를 들어, 앞서 설명한 바와 같이, 일부의 경우에서, 타깃 차량이 다른 차량을 특정 임계값 또는 범위 이하의 거리에서 쫓아가고 있다는 관찰에만 의거하여 타깃 차량이 공격적인 것으로 여겨질 수 있다. 그러나, 다른 경우에서, 타깃 차량이 다른 차량을 미리 정해진 값(거리에만 의거한 판단에 적용된 임계값과 같거나 다를 수 있음) 미만에서 쫓아가고 있고 미리 정해진 값 또는 범위보다 큰 상대적 속도 및/또는 상대적 가속도인 경우에 타깃 차량이 공격적인 것으로 여겨질 수 있다. 마찬가지로, 타깃 차량이 다른 차량을 특정 임계값 또는 범위 이상의 거리에서 쫓아가고 있다는 관찰에만 의거하여 타깃 차량이 방어적인 것으로 여겨질 수 있다. 그러나, 다른 경우에서, 타깃 차량이 다른 차량을 미리 정해진 값(거리에만 의거한 판단에 적용된 임계값과 같거나 다를 수 있음) 이상에서 쫓아가고 있고 미리 정해진 값 또는 범위보다 작은 상대적 속도 및/또는 상대적 가속도인 경우에 타깃 차량이 방어적인 것으로 여겨질 수 있다. 시스템(100)은, 예를 들어, 차량의 가속도 또는 감속도가 05G를 초과하는 경우(예, 5m/s3 저크), 차로 변경이나 커브 상황에서 차량의 횡방향 가속도가 0.5G인 경우, 차량이 다른 차량에게 상기 중의 어느 하나를 유발하는 경우, 차량이 차로를 변경하고 다른 차량에게 0.3G 이상의 감속 또는 3m/s3의 저크로 양보를 유발하는 경유, 및/또는 차량이 멈추지 않고 두 차로를 변경하는 경우에 공격성/방어성 파악을 할 수 있다.
여기서, 범위를 초과하는 양에 대한 설명은 그 양이 범위와 연관된 모든 값을 초과하거나 범위 내에 포함됨을 나타낸다는 것으로 이해돼야 한다. 마찬가지로, 범위에 미달하는 양에 대한 설명은 그 양이 범위와 연관된 모든 값에 미달하거나 범위 내에 포함됨을 나타낸다는 것으로 이해돼야 한다. 또한, 공격성/방어성 파악에 대해 설명한 예시들을 거리, 상대적 가속, 및 상대적 속도와 관련하여 설명했지만, 기타 적합한 수량도 활용될 수 있다. 예를 들면, 충돌까지의 시간을 계산하여 활용하거나, 타깃 차량의 거리, 가속도, 및/또는 속도의 간접 지시자를 활용할 수 있다. 상기의 예시들은 다른 차량에 대한 타깃 차량 중심으로 설명하였지만, 다른 유형의 장애물(예, 보행자, 도로 배리어, 신호등, 잔해 등)에 대한 타깃 차량의 항법 특성을 관찰하여 공격성/방어성 파악을 할 수도 있다.
도 17a와 도 17b에 도시된 예시로 돌아와서, 호스트 차량(1701)이 로터리에 접근함에 따라, 적어도 하나의 처리 장치를 포함하는 항법 시스템은 호스트 차량과 연관된 카메라로부터 이미지 스트림을 수신할 수 있다. 수신된 이미지의 하나 이상의 분석에 의거하여, 한 대 이상의 타깃 차량(1703, 1705, 1706, 1708, 1710)이 식별될 수 있다. 또한, 항법 시스템은 식별된 한 대 이상의 타깃 차량의 항법 특성을 분석할 수 있다. 항법 시스템은 타깃 차량(1703)과 타깃 차량(1705) 사이의 틈이 로터리로 병합해 들어갈 수 있는 첫 번째 기회임을 인지할 수 있다. 항법 시스템은 타깃 차량(1703)을 분석하여 타깃 차량(1703)과 연관된 공격성을 판단할 수 있다. 타깃 차량(1703)이 공격적인 것으로 여겨지는 경우, 호스트 차량의 항법 시스템은 타깃 차량(1703) 앞으로 병합하지 않고 타깃 차량(1703)에게 양보하기로 선택할 수 있다. 반면에, 타깃 차량(1703)이 방어적인 것으로 여겨지는 경우, 호스트 차량의 항법 시스템은 타깃 차량(1703) 앞에서 병합 동작의 완수를 시도할 수 있다.
호스트 차량(1701)이 로터리에 접근하면서, 항법 시스템의 적어도 하나의 처리 장치는 캡처된 이미지를 분석하여 타깃 차량(1703)과 연관된 항법 특성을 판단할 수 있다. 예를 들어, 이미지에 의거하여, 호스트 차량(1701)이 안전하게 진입할 수 있는 충분한 틈을 제공하는 거리로 차량(1703)이 차량(1705)을 쫓아가고 있다고 판단될 수 있다. 실제로, 공격적 거리 임계값을 초과하는 거리로 차량(1703)이 차량(1705)을 쫓아가고 있다고 판단될 수 있고, 따라서, 이 정보에 의거하여, 호스트 차량의 항법 시스템은 타깃 차량(1703)을 방어적인 것으로 식별할 가능성이 있다. 그러나 일부 상황에서, 앞서 설명한 바와 같이, 공격성/방어성 판단에 타깃 차량의 하나 이상의 항법 특성이 분석될 수 있다. 분석에 더하여, 호스트 차량의 항법 시스템은 타깃 차량(1703)이 비공격적 거리에서 타깃 차량(1705)을 따라가지만 타깃 차량(1705)에 대한 상대적 속도 및/또는 상대적 가속도는 공격적 행동과 연관된 하나 이상의 임계값을 초과한다고 판단할 수 있다. 실제로, 호스트 차량(1701)은 타깃 차량(1703)이 차량(1705)에 대하여 가속하고 있고 차량(1703)과 차량(1705) 사이에 존재하는 틈을 좁히고 있다고 판단할 수 있다. 상대적 속도, 가속도, 및 거리(또한 차량(1703)과 차량(1705) 사이에 존재하는 틈이 좁아지는 속도)의 추가 분석에 의거하여, 호스트 차량(1701)은 타깃 차량(1703)이 공격적으로 행동하고 있다고 판단할 수 있다. 따라서, 호스트 차량이 안전하게 들어갈 수 있는 틈이 있을 수 있어도, 호스트 차량(1701)은 타깃 차량(1703) 앞으로 병합하면 공격적 항법을 하는 차량이 호스트 차량의 바로 뒤에 있게 되는 결과가 발생할 것으로 예상할 수 있다. 또한, 이미지 분석 또는 기타 센서 출력을 통해 관찰된 행동에 의거하여, 호스트 차량(1701)이 차량(1703) 앞으로 병합하여 들어가면, 타깃 차량(1703)이 호스트 차량(1701)을 향하여 계속 가속하거나 비제로 상대적 속도로 호스트 차량(1701)을 향해 주행할 것이 예상될 수 있다. 이러한 상황은 안전 차원에서 바람직하지 않을 수 있고 호스트 차량의 승객이 불편해 할 수 있다. 이러한 이유로, 호스트 차량(1701)은 도 17b에 도시된 바와 같이, 차량(1703)에 양보하고, 차량(1703)의 뒤와 항법 특성의 하나 이상의 분석에 의거하여 방어적인 것으로 여겨지는 차량(1710)의 앞으로 로터리에 병합할 수 있다.
다시 도 18을 참조하면, 단계 1809에서, 호스트 차량의 항법 시스템의 적어도 하나의 처리 장치는 식별된 장애물에 대한 타깃 차량의 적어도 하나의 식별된 항법 특성에 의거하여 호스트 차량에 대한 항법 동작(예, 차량(1710)의 앞과 차량(1703)의 뒤로 병합)을 결정할 수 있다. 항법 동작을 이행(implement)(단계 1811)하기 위하여, 적어도 하나의 처리 장치는 결정된 항법 동작에 대응하여 호스트 차량의 항법 액추에이터의 적어도 하나의 조정을 유발할 수 있다. 예를 들면, 도 17a의 차량(1703)에 양보하기 위하여 브레이크가 작동될 수 있고, 도 17b에 도시된 바와 같이, 호스트 차량이 차량(1703)의 뒤로 로터리에 진입하게 하기 위하여 호스트 차량의 조향과 함께 가속장치가 작동될 수 있다.
상기 예에서 설명한 바와 같이, 호스트 차량의 항법은 다른 차량 또는 물체에 대한 타깃 차량의 항법 특성에 의거할 수 있다. 또한, 호스트 차량의 항법은 다른 차량 또는 물체와 무관하게 타깃 차량의 항법 특성에만 의거할 수 있다. 예를 들어, 도 18의 단계 1807에서, 호스트 차량의 주변상황으로부터 캡처된 복수의 이미지의 분석을 통하여 타깃 차량과 연관된 공격성 수준을 나타내는 식별된 타깃 차량의 적어도 하나의 항법 특성을 판단할 수 있다. 항법 특성은 공격성/방어성 판단을 하기 위해 다른 차량 또는 타깃 차량에 대하여 참조할 필요 없는 속도, 가속도 등을 포함할 수 있다. 예를 들어, 미리 정해진 임계값을 초과하거나 임계값 범위 이내에 있거나 초과하는 타깃 차량과 연관되어 관찰된 가속도 및/또는 속도는 공격적 행동을 나타내는 것일 수 있다. 반대로, 미리 정해진 임계값에 미달하거나 임계값 범위 이내에 있거나 초과하는 타깃 차량과 연관되어 관찰된 가속도 및/또는 속도는 방어적 행동을 나타내는 것일 수 있다.
물론, 일부의 경우에서, 관찰된 항법 특성(예, 위치, 거리, 가속도 등)는 공격성/방어성 판단을 위해 호스트 차량에 대해 참조될 수 있다. 예를 들면, 타깃 차량과 연관된 공격성 수준을 나타내는 타깃 차량의 관찰된 항법 특성에는 타깃 차량과 호스트 차량 사이의 상대적 가속도의 증가, 호스트 차량의 뒤에서 따라오는 타깃 차량의 거리, 타깃 차량과 호스트 차량 사이의 상대적 속도 등이 포함될 수 있다.
사고 책임 제약에 의거한 항법
앞서 설명한 바와 같이, 특정 규칙을 준수하게 하기 위하여, 예정 항법 동작이 미리 정해진 제약에 대비하여 시험 될 수 있다. 일부 실시예에서, 이 개념은 잠재적 사고 책임의 고려에까지 이어질 수 있다. 하기에 설명하는 바와 같이, 자율 주행의 최우선 목표는 안전이다. 절대적 안전은 불가능할지 몰라도(예, 적어도 자율 제어 하의 특정 호스트 차량이 주변의 다른 차량을 제어할 수 없고 자신의 동작만을 제어할 수 있기 때문), 자율 주행의 고려사항과 계획된 동작에 대한 제약으로 잠재적 사고 책임을 사용하여 특정 자율주행차가 안전하지 않은 것으로 여겨지는 동작(예, 호스트 차량에 잠재적 사고 책임을 지우는 동작)을 취하지 않게 할 수 있다. 호스트 차량이 안전한 동작과 호스트 차량의 과실 또는 책임인 사고를 유발하지 않는 것으로 판단된 동작만을 취할 경우, 원하는 수준의 사고 회피(예, 주행 시간 당 10-9 이하)가 달성될 수 있다.
자율 주행에 대한 현재의 접근 방식에 의해 제기되는 도전은 안전 보증의 부족(또는 적어도 원하는 수준의 안전 제공 불능)을 포함한다. 멀티-에이전트 안전 운전의 보증 문제를 고려하면, 기계에 의해 발생한 도로 사고 사망에 대한 사회적 용납 가능성이 낮으므로, 허용 가능한 안전 수준은 자율주행차의 허용에 가장 중요하다. 목표는 완전 무사고이지만, 일반적으로 복수의 에이전트가 사고에 개입되고 전적으로 다른 에이전트의 책임으로 사고가 발생하는 경우를 생각할 수 있기 때문에 이는 불가능한 목표일 수 있다. 예를 들어, 도 19에 도시된 바와 같이, 호스트 차량(1901)이 다차선 고속도로에서 주행하고, 타깃 차량(1903, 1905, 1907, 1909)에 대한 자신의 동작을 제어할 수 있지만, 주변의 타깃 차량의 동작은 제어할 수 없다. 그 결과, 호스트 차량(1901)은 예를 들어 차량(1905)이 호스트 차량과의 충돌이 불가피하게 호스트 차량의 차로로 갑자기 끼어드는 경우에 타깃 차량 중의 적어도 한 대와의 사고를 피할 수 없을 수 있다. 이 문제에 대처하는 자율주행차 기술자의 일반적인 대응은 통계적 데이터 주도의 접근 방식을 도입하는 것으로서, 마일리지가 증가하며 데이터를 수집하면 안전 검증이 더욱 치밀 해진다.
그러나, 데이터 주도의 접근 방식의 문제적 본질을 제대로 인식하기 위해, (인간) 운전 한 시간당 사고로 인한 치사 확률이 10-6인 것으로 알려져 있다는 점을 고려해야 한다. 인간의 운전 작업을 기계가 대신하는 것을 사회가 받아들이려면 치사율이 3승만큼 감소해야, 즉, 시간당 10-9의 확률로 감소해야 한다고 가정하는 것이 합리적이다. 이 가정은 에어백의 추정 치사율과 항공 표준의 추정 치사율과 유사하다. 예컨대, 10-9는 항공기의 날개가 공중에서 즉흥적으로 떨어져나갈 확률이다. 그러나, 마일리지가 누적되면서 추가적인 신뢰도를 제공하는 데이터 주도의 통계적 접근 방식을 활용하여 안전을 보증하려는 시도는 현실적이지 않다. 운행 시간 당 10-9의 치사 확률을 보증하기 위해 필요한 데이터의 양은 반비례(즉, 109 시간의 데이터)로 대략 300억 마일 정도이다. 또한, 멀티-에이전트 시스템은 주변상황과 상호 작용하고 오프라인으로 검증될 수 없을 가능성이 높다(난폭 운전과 같은 다양하고 복잡한 실제 인간 운전을 모방하는 실제 같은 시뮬레이터가 있는 경우가 아닌 한. 그러나, 시뮬레이터의 검증 문제는 안전한 자율주행차 에이전트를 생성하는 것보다 더 어려울 수 있다). 또한, 소프트웨어에 대한 계획과 제어의 모든 변경에는 동일한 규모의 새로운 데이터 수집이 필요할 것이고, 이는 분명히 어렵고 비현실적이다. 나아가, 데이터를 통한 시스템의 개발에는 취해진 동작이 해석 불가능하고 설명 불가능하다는 문제가 여전히 있다(즉, 자율주행차(autonomous vehicle 또는 AV)가 치사 사고를 내면, 그 이유를 알아야 한다). 결과적으로, 안전에 대한 모델 기반의 접근 방식이 요구되지만, 자동차 업계의 기존 '기능적 안전'과 ASIL 요건은 멀티-에이전트 환경에 맞게 설계되지 않았다.
자율주행차에 대한 안전 운전 모델 생성의 두번째 주요 도전은 확장성에 대한 요구이다. 자율주행차의 기본적 전제는 '더 나은 세상 만들기'를 너머 운전자 없는 이동성이 운전자가 있는 것보다 낮은 비용으로 지속 가능해야 한다는 것이다. 이 전제는, 자율주행차의 양산(수백만대 단위)이라는 차원과 더욱 중요하게는 무시할만한 비용 증가로 신규 도시에서의 주행 가능 지원이라는 차원에서, 여전히 확장성 개념과 연결되어 있다. 따라서, 자율주행차가 양산되어야 한다면, 전산과 감지의 비용은 중요한 사안이 되고, 검증의 비용 및 특정 몇 도시에서만이 아니라 '모든 곳'에서 주행할 수 있는 능력 또한 사업을 지속하기 위한 필수적인 요건이다.
대부분의 현재 접근 방식의 문제는 3축의 '브루트 포스' 심리 상태, 즉, (i) 요구되는 '컴퓨팅 밀도', (ii) 고화질 지도의 정의 및 생성 방법, (iii) 요구되는 센서로부터의 사양이다. 브루트 포스 접근 방식은 확장성에 반대 되고, 중심을 무제한 온보드 컴퓨팅(unlimited on-board computing)이 유비쿼터스한 미래를 향해 이동하며, 고화질 지도의 구축 및 유지 비용은 무시할 정도이고 확장 가능하며, 색다른 초첨단 센서가 무시할 정도의 비용으로 자동차 등급에 맞게 개발 및 상품화될 것이다. 상기 내용의 하나 이상이 결실을 맺을 미래는 실제로 그럴듯해 보이지만 상기 내용의 모두가 구현되는 것은 가능성이 낮다. 따라서, 선진국 어디에서나 주행하는 수백만 대의 차량을 지원한다는 차원에서 사회가 수용할 수 있고 확장 가능한 자율주행차 프로그램으로 안전과 확장성을 설계하는 형식적인 모델을 제공할 필요가 있다.
기재된 실시예는 목표 수준의(또는 안전 목표를 초과하는) 안전을 제공할 수 있고 또한, 수백만 대의(또는 그 이상의) 자율주행차를 포함하는 시스템으로 확장 가능할 수 있는 솔루션을 나타낸다. 안전 차원에서, '사고 과실'의 개념을 공식화하는 RSS(Responsibility Sensitive Safety)라 불리는 모델이 도입되고, 해석 가능하고 설명 가능하며, '책임'감을 로봇 에이전트의 동작에 포함시킨다. RSS의 정의는 이행(implement)되는 방식에 대해 애그노스틱 하며, 이는 설득력 있는 글로벌 안전 모델을 생성하는 목표를 가능하게 하는 핵심 특징이다. RSS는 일반적으로 한 에이전트만이 사고의 책임이 있고 따라서 책임을 져야 하는 사고에서 에이전트는 비대칭 역할을 한다는 관찰(도 19에 도시)이 동기가 된다. RSS 모델은 또한 모든 에이전트가 항상 보이는 게 아닌(예, 폐색 때문) 제한된 감지 조건하에서 '주의 운전'의 공식적인 처리도 포함한다. RSS 모델의 한 가지 주요 목표는 에이전트가 '과실'이 있는 사고를 내지 않도록 하는 것이다. 모델은 RSS를 준수하는 효율적인 방침(예, '감지 상태'를 동작에 매핑하는 기능)이 있을 때만 쓸모가 있다. 예를 들어, 현재 순간에 결백해 보이는 동작이 나중에 파국적인 이벤트가 될 수도 있다('나비 효과'). RSS는 호스트 차량의 동작의 결과로 미래에 사고가 발생하지 않을 것을 보증(또는 적어도 사실상 보증)할 수 있는 단기적 미래에 대한 로컬 제약의 집합을 구성하기 위해 유용할 수 있다.
또 다른 기여는 단위, 치수, 및 동작 공간, 그리고 이들이 자율주행차의 계획, 감지, 및 작동에 포함되는 방식에 관한 사양을 포함하는 '의미론적' 언어의 도입에 관한 것이다. 여기서, 의미론의 이해를 위하여, 운전 교육을 받는 인간이 어떤 식으로 '주행 방침'에 대하여 생각하도록 지시받는지에 대하여 생각해 보기로 하자. 이러한 지시는 기하학적이 아니다. 예를 들면, '13.7미터를 현재 속도로 주행한 후, 0.8 m/s로 가속하라.'라는 식의 지시가 아니다. 대신에, 지시는 의미론적 성질을 가지고 있다. 예를 들면, '전방의 차를 따라가라.' 또는 '좌측의 차 앞으로 들어가라.'라는 등의 지시이다. 인간의 주행 방침의 일반적인 언어는 종방향과 횡방향 목표에 관한 것이지 가속 벡터의 기하학적 단위를 통한 것이 아니다. 형식 의미론적 언어는 시간과 에이전트의 수에 비례하여 기하급수적으로 확장하지 않는 계획의 계산 복잡도, 안전과 안락이 상호 작용하는 방식, 감지의 계산이 정의되는 방식과 센서 양상의 사양과 융합 방법론에서 상호 작용하는 방식과 연결되는 많은 분야에서 유용할 수 있다. 융합 방법론(의미론적 언어에 의거)은 105 시간의 주행 데이터 정도의 데이터세트로 오프라인 검증만을 수행하면서 RSS 모델이 운전 시간당 10-9 치사율 요건을 충족하도록 할 수 있다.
예를 들어, 강화 학습 설정에서, Q 함수(예, 에이전트가
Figure pct00240
상태에 있는
Figure pct00241
동작 수행의 장기적 품질을 평가하는 함수; 이러한 Q 함수에서, 동작의 당연한 선택은 가장 높은 품질
Figure pct00242
을 선택하는 것일 수 있다)는 주어진 시간에 검사될 궤적의 수가 계획에 사용된 시간 지평과 무관하게 104로 한정되는 의미론적 공간에서 정의될 수 있다. 이 공간의 신호 대 잡음비는 높을 수 있어서, 효과적인 머신 러닝 접근 방식이 Q 함수의 모델링을 성공적으로 할 수 있게 한다. 감지의 계산의 경우, 의미론은 안전에 영향을 미치는 실수와 안락한 주행에 영향을 미치는 실수를 구별할 수 있게 해줄 수 있다. Q 함수와 묶여있는 감지에 대한 PAC 모델(Valiant의 PAC-러닝 용어에서 따온 Probably Approximate Correct (PAC))를 정의하여, RSS를 준수하지만 안락한 주행의 최적화를 가능하게 하는 방식으로 측정 실수가 어떻게 계획에 포함되는지를 보여준다. 글로벌 좌표 시스템에 대한 오차와 같은 다른 표준 오차 측정은 PAC 감지 모델을 준수하지 않을 수 있으므로, 의미론의 언어는 이 모델의 특정 양상의 성공을 위해 중요할 수 있다. 또한, 의미론적 언어는 저대역폭 감지 데이터를 활용하여 구축될 수 있어서 크라우드소싱을 통해 구축될 수 있고 확장성을 지원할 수 있는 HD지도의 정의를 가능하게 하기 위해 중요할 수 있다.
요약하면, 기재된 실시예는 자율주행차의 중요한 요소인 감지, 계획, 실행을 다루는 형식적인 모델을 포함할 수 있다. 이 모델은 계획 관점에서부터 자율주행차의 책임이 있는 사고가 없도록 할 수 있다. 또한, PAC 감지 모델을 통하여, 감지 오차가 있어도, 앞서 설명한 융합 방법론은 매우 적당한 규모의 오프라인 데이터 수집만으로 앞서 설명한 안전 모델을 준수할 수 있다. 또한, 이 모델은 의미론적 언어를 통하여 안전과 확장성을 서로 묶음으로써 안전하고 확정성이 있는 자율주행차에 대한 완전한 방법론을 제공할 수 있다. 결국, 업계와 규제 기관이 채택할 안전 모델의 개발이 자율주행차의 성공을 위해 필요한 조건이라는 점이 중요하다 할 것이다.
RSS 모델은 전형적인 감지-계획-실행 로봇 제어 방법론을 일반적으로 따를 수 있다. 감지 시스템은 호스트 차량 주변상황의 현재 상태의 이해를 담당할 수 있다. '주행 방침(driving policy)" '이라 불릴 수 있고 하드 코딩된 지시, 학습 시스템(예, 신경망), 또는 이들의 조합을 통해 이행(implement)될 수 있는 계획 부분은 주행 목표(예, 고속도로에서 빠져나가기 위해 좌측 차로에서 우측 차로로 이동)를 달성하기 위해 사용 가능한 옵션 중에서 최적의 다음 동작의 결정을 담당할 수 있다. 실행 부분은 계획의 이행을 담당할 수 있다(예, 선택된 항법 동작을 이행하기 위하여 차량을 조향, 가속, 및/또는 제동하기 위한 액추에이터 및 하나 이상의 컨트롤러의 시스템). 하기에 기재되는 실시예는 감지 부분과 계획 부분에 대해 주로 설명한다.
사고는 감지 오류 또는 계획 오류에서 기인할 수 있다. 계획은 멀티-에이전트 노력인데, 이는 자율주행차의 동작에 반응하는 다른 사용자(사람 및 기계)가 도로에 있기 때문이다. 기재된 RSS 모델은 무엇보다도 계획 부분에 대한 안전 문제를 처리하도록 설계되었다. 이를 멀티-에이전트 안전이라 부를 수 있다. 통계적 접근 방식에서, 계획 오류의 확률의 추정은 '온라인'으로 이루어질 수 있다. 즉, 소프트웨어 업데이트를 할 때마다, 허용할 만한 수준의 계획 오류의 빈도의 추정을 제공하려면 새로운 버전으로 수십억 마일을 주행해야 한다. 이는 분명히 실행 불가능하다. 그 대안으로, RSS 모델은 계획 모듈이 자율주행차의 과실('과실'의 개념은 형식적으로 정의)이 있는 실수를 하지 않을 것이라는 100% 보증(또는 사실상 100% 보증)을 제공할 수 있다. RSS 모델은 또한 온라인 시험에 의존하지 않는 검증을 위한 효율적인 수단을 제공할 수 있다.
감지는 차량 동작과 별개이기 때문에, 감지 시스템의 오류는 검증이 쉽고, 따라서 '오프라인' 데이터를 활용하여 심각한 감지 에러의 확률을 검증할 수 있다. 그러나, 109시간 이상의 주행의 오프라인 데이터를 수집하는 것 조차도 쉽지 않다. 기재된 감지 시스템의 설명의 일부로서, 훨씬 적은 양의 데이터를 활용하여 검증될 수 있는 융합 접근 방식을 설명하기로 한다.
기재된 RSS 시스템은 또한 수백만 대의 차량으로 확장 가능하다. 예를 들어, 설명한 의미론적 주행 방침과 적용된 안전 제약은 오늘날의 기술에서도 수백만 대의 차량으로 확장할 수 있는 감지 및 매핑 요건에 따른 것일 수 있다.
이러한 시스템의 기초적인 빌딩 블록은 철저한 안전 정의, 즉, 자율주행차 시스템이 준수해야 할 최소의 기준이다. 다음의 기술 렘마에서, 자율주행차 시스템의 검증에 대한 통계적 접근 방식이 실행 불가능함을 보여준다. 이는 '시스템은 시간당 N회의 사고를 낸다'와 같은 단순한 주장의 검증에 대해서도 마찬가지이다. 이는 모델 기반 안전 정의가 자율주행차 시스템의 검증을 위한 유일한 실행 가능한 툴임을 시사한다.
렘마1: X가 확률 공간이고, A가 Pr(A) =
Figure pct00243
인 이벤트일 때, X로부터
Figure pct00244
샘플을 샘플링한다고 가정하고,
Figure pct00245
이면,
Figure pct00246
이다.
증명: 부등식
Figure pct00247
를 활용하여(proven for completeness in Appendix 첨부 A.1에서 완전성에 대해 입증됨)
Figure pct00248
를 얻는다.
귀결1: 자율주행차 시스템 AV 1 이 작지만 충분치 않은 확률 p 1 의 사고를 낸다고 가정하면, 1/p 1 샘플이 주어진 확정적 검증 절차는, 일정한 확률로, AV 1 과 사고를 전혀 내지 않는 다른 자율자동차 시스템인 AV 0 사이의 구별을 하지 않을 것이다.
이러한 확률의 일반적인 값에 대해 이해하기 위해 시간당 사고 확률이 10-9이어야 하고, 특정 자율자동차 시스템이 10-8의 확률을 제공한다고 가정하면, 시스템이 108시간의 주행을 확보한다고 하더라도 시스템이 위험하다고 검증 프로세스가 나타낼 수 없을 것이라는 일정한 확률이 있다.
최종적으로, 이 문제는 특정한 단일의 위험한 자율자동차 시스템의 무효화에 관한 것이라는 점에 주목해야 한다. 완전한 솔루션은 새로운 버전, 버그 수정, 및 업데이트가 필요할 것이기 때문에 단일 시스템으로 볼 수 없다. 아무리 단일 라인의 코드라고 할지라도, 각 변경은 검증자의 시각에서 보면 새로운 시스템을 생성한다. 따라서, 통계적으로 검증되는 솔루션은 새로운 샘플에 대해 작은 수정이나 변경이 있을 때마다 새로운 시스템에 의해 관찰되고 도출된 상태의 분포 변경을 설명하기 위해 온라인으로 검증돼야 한다. 이러한 방대한 수의 샘플을 반복적이고 체계적으로 확보하는 것(확보한다고 하더라도, 일정한 확률로 시스템의 검증에 실패하는 것)은 실행 불가능하다.
나아가, 모든 통계적 주장은 측정되려면 형식화 되어야 한다. 시스템이 내는 사고의 수에 대한 통계적 특성의 주장은 '안전한 방식으로 주행한다'는 주장보다 매우 약하다. 이러한 주장을 하기 위해서는, 안전이 무엇인지에 대해 형식화된 정의를 내려야 한다.
절대적 안전은 불가능하다.
차량 C가 취한 동작 α는 그 동작 이후에 사고가 발생할 수 없으면 절대적으로 안전한 것으로 여겨질 수 있다. 도 19에 도시된 단순한 주행 상황을 일례로 관찰해보면 절대적 안전을 달성하는 것을 불가능하다는 것을 알 수 있다. 차량(1901)의 관점에서, 어떤 동작도 주변의 어떤 차도 차량(1901)과 충돌하지 않을 것이라고 보장해줄 수 없다. 자율주행차가 이러한 상황에 있지 못하게 함으로써 이 문제를 해결하는 것도 불가능하다. 2차선 이상의 모든 고속도로에서는 언젠가 이런 문제가 있을 수 있으므로, 이러한 상황을 막으려면 차고에서 나오지 말아야 한다. 일단, 이런 사실이 실망스러워 보일 수 있다. 절대적으로 안전한 것은 없다. 그러나, 앞서 정의한 바와 같은 절대적 안전에 대한 요건은 너무 엄격할 수 있고, 인간 운전자는 절대적 안전에 대한 요건을 고수하지 않는다는 사실만 봐도 그렇다. 인간은 오히려 책임에 의존하는 안전 개념에 따라 행동한다.
책임감 민감성 안전(RSS)
절대적 안전 개념에서 빠져있는 중요한 양상은 대부분 사고의 비대칭성이다. 즉, 사고의 과실은 주로 한쪽의 운전자에게 있다는 것이다. 도 19의 예에서, 가운데 차량(1901)은 예를 들어 좌측의 차량(1909)이 갑자기 가운데 차량(1901)으로 돌진해 들어오는 경우에 과실이 없다. 책임이 없다는 사실을 형식화하기 위하여, 차선을 유지하고 있는 자율주행차(1901)의 행동은 안전한 것으로 간주될 수 있다. 이를 위해, 안전 주행 접근 방식에 대한 전제가 될 수 있는 '사고 과실'의 형식적 개념이 설명된다.
일례로, 직선 도로를 따라 서로 앞뒤에서 동일한 속도로 주행하는 두 차량 Cf, Cr의 단수한 경우에서, 앞에 있는 차량 Cf가 도로상에 나타난 장애물로 인해 갑자기 제동을 하여 장애물을 간신히 회피한다고 가정하면, Cf로부터 충분한 거리를 유지하지 않던 Cr은 반응 시간이 부족하여 Cf를 추돌한다. 당연히, 앞차와의 안전 거리를 유지하고 급작스럽지만 합리적인 제동을 할 준비가 돼있어야 할 책임은 뒤차에 있으므로, 사고의 과실은 명확하게 Cr에 있다.
다음으로, 차들이 자유롭게 차선을 변경하고, 다른 차의 경로 앞으로 끼어들고, 서로 다른 속도로 주행하는 등의 다차선 도로 주행의 훨씬 광범위한 부류의 상황 중에서, 설명의 편의상 평평한 면의 직선 도로에서 횡방향 축과 종방향 축을 각각 x축과 y축이라고 가정하면, 이는 실제 커브 길과 직선 도로 사이의 준동형(homomorphism)을 정의함으로써 온화한 조건하에서 달성될 수 있다. 또한, 이산 시간 공간(discrete time space)을 고려하면, 정의는 두 직관적으로 상이한 경우, 즉, 중요한 횡방향 동작이 수행되지 않은 단순한 경우와 횡방향 이동이 포함된 복잡한 경우 사이의 구별에 도움이 될 수 있다.
정의1(차량 통로): 차량 c의 통로는
Figure pct00249
이다( 여기서,
Figure pct00250
는 차량 c의 최좌측 코너와 최우측 코너의 위치이다.)
정의2(끼어들기): 차량 c1(도 20a와 도 20b의 차량(2003))이 시간 t-1에 차량 c 0 (도 20a와 도 20b의 차량(2001))의 통로와 교차하지 않은 경우에 시간 t에 차량 c 0 의 통로로 끼어들고 차량 c 0 의 통로와 교차한다.
통로의 앞 부분과 뒷부분 사이가 추가적으로 구별될 수 있다. '끼어드는 방향'이라는 용어는 관련 통로 경계의 방향으로의 이동을 묘사하는 것일 수 있다. 이러한 정의는 횡방향 이동이 있는 경우를 정의할 수 있다. 다른 차를 단순히 따라가는 경우와 같이, 이러한 이동이 발생하지 않는 단순한 경우에 대해, 안전한 종방향 거리가 정의된다.
정의3(안전한 종방향 거리): 차량 c r (2103)과 c r 의 전방 통로에 있는 다른 차량 c f (2105) 사이의 종방향 거리(도 21의 2101)는 제동 명령 α에 대하여 c f 에 의해 수행된
Figure pct00251
인 경우에 반응 시간 p에 대하여 안전하고, c r 이 시간 p로부터 완전 정지까지 최대 제동을 한다면 c f 와 충돌하지 않을 것이다.
하기의 렘마 2는 c r , c f 의 속도, 반응 시간 ρ, 및, 최대 가속도
Figure pct00252
의 함수로서 α를 계산한다. ρ와
Figure pct00253
는 모두 상수이고, 규제상 적합한 값으로 정해져야 한다.
렘마2: c r 이 종방향 축 상에서 c f 의 뒤에 있는 차량이고,
Figure pct00254
,
Figure pct00255
이 각각 최대 제동 명령과 최대 가속 명령이고, ρ가 c r 의 반응 시간이고, v r , v f 가 각 차량의 종방향 속도이고, l f , l r 이 각 차량의 길이라면,
Figure pct00256
이라고 정의하고,
Figure pct00257
그리고
Figure pct00258
라고 정의한다.
Figure pct00259
이라고 하면, c r 에 대한 최대 안전 종방향 거리는
Figure pct00260
이다.
증명: dt가 시간 t에서의 거리라고 하면, 사고를 방지하기 위하여, 모든 t에 대해 dt > L이어야 한다. dmin를 구성하려면, d0에 대한 가장 엄격하게 요구되는 하한값을 찾아야 한다. 분명, d0은 적어도 L이다. T ≥ρ초 이후에 두 차량이 정지하지 않은 한, 앞서 가는 차량의 속도는
Figure pct00261
일 것이고, c r 의 속도의 상한값은
Figure pct00262
일 것이다. 따라서, T초 이후의 차량 사이의 거리의 하한값은
Figure pct00263
일 것이다.
T r 은 c r 이 완전히 정지(0의 속도)할 때까지의 시간이고, T f 는 다른 차량이 완전히 정지할 때까지의 시간이다.
Figure pct00264
이므로, T r ≤T f 인 경우, d0 > L일 것을 요구하기에 충분하다. T r > T f 인 경우,
Figure pct00265
이다. d Tr > L일 것을 요구하고 조건을 재조정하면 입증이 완결된다.
최종적으로, '차이'의 개념과의 비교를 허용하는 비교 연산자가 정의된다. 예컨대, 길이, 속도 등을 비교할 경우, 매우 비슷한 수치를 '동일'한 것으로 수용할 필요가 있다.
정의 4 (μ -비교) a, b 두 수의 μ-비교는 α> b +μ,α인 경우, α＜ μ b이고, α< b -μ인 경우, α< μ b이고, |α - b|≤μ인 경우, α= μ b이다.
하기의 비교(argmin, argmax 등)는 일부 적합한 μ에 대한 μ-비교이다. 차량 c 1과 c 2 간에 사고가 났다고 가정하면, 누구에게 사고의 책임이 있는지 고려하기 위하여, 조사해야 할 관련 순간이 정의된다. 이는 사고 전의 어느 시점이며, 직관적으로 '되돌릴 수 없는 시점'으로서, 이 순간이 지나면 사고를 방지하기 위하여 할 수 있는 것이 아무 것도 없는 순간이다.
정의5 (과실 시간): 사고의 과실 시간(Blame Time)은 다음과 같은 조건을 포함하는 사고 이전의 가장 빠른 시간이다.
ㆍ차량 중의 한대와 다른 차량의 통로 사이에 교차로가 있다.
ㆍ종방향 거리가 안전하지 않았다.
사고의 순간에 두 조건 모두 충족하므로, 이러한 시간이 분명히 있다. 과실 시간은 별개의 두 부류로 분리될 수 있다.
ㆍ끼어들기도 발생하는 부류. 즉, 한 차량과 다른 차량의 통로의 교차가 처음으로 발생하는 순간이고, 안전하지 않은 거리이다.
ㆍ끼어들기가 발생하지 않는 부류. 즉, 통로와의 교차가 이미 있었고, 안전한 종방향 거리였지만, 이 거리가 과실 시간에 안전하지 않은 거리로 변경되었다.
정의6 (횡방향 속도에 의한 μ -패배(Losing): 차량 c 1 , c 2 사이에 끼어들기가 발생한다고 가정하면, 끼어들기의 방향에 대한 c 1 의 횡방향 속도가 c 2 의 횡방향 속도보다 μ만큼 높은 경우, c 1 이 횡방향 속도에 의해 μ패배(Loses)한다고 할 수 있다.
속도의 방향은 중요하다. 예를 들면, 속도가 -1과 1이면(즉, 두 차량이 서로 충돌) 동등하지만, 속도가 1과 1+μ/2이면, 다른 차량을 향한 양수의 방향을 가진 차량에 과실이 있다. 직관적으로, 이 정의로 인해, 횡방향으로 매우 빠르게 다른 차를 향해 주행하는 차량에 과실을 물을 수 있게 해준다.
정의7 (횡방향 위치에 의한 (μ 1 , μ 2)-승리(Winning): 차량 c 1 , c 2 사이에 끼어들기가 발생한다고 가정하면, 끼어들기 차로의 중앙(끼어들기 관련 통로에 가장 가까운 중앙)에 대한 c 1 의 횡방향 위치가 μ 1 (절대값)보다 작고 c 2 의 횡방향 위치보다 μ 2 만큼 작은 경우, c 1(μ 1, μ 2)이 횡방향 위치에 의해 -승리(wins)한다고 할 수 있다.
직관적으로, 차로 중앙(μ 1)에 매우 가까이 있는, 또한 다른 차량에 비해 (μ 2만큼) 더 가까이 있는, 차량에 책임을 묻지 않을 것이다.
정의8 (과실): 차량 c 1 , c 2 사이의 사고에 대한 과실은 책인 시간의 상태의 함수이고, 다음과 같이 정의된다.
ㆍ책임 시간이 끼어들기 시간이 아닌 경우, 책임은 뒤차에 있다.
ㆍ책임 시간이 끼어들기 시간인 경우, 한 차량(일반적으로 c 1 )에 대해 다음의 조건이 사전 정의된 μ에 대해 성립되지 않는 한, 책임은 두 차량 모두에 있다.
ㆍ횡방향 속도에 의해 패배하지 않는다.
ㆍ횡방향 위치에 의해 승리한다.
이 경우, c1은 책임을 모면한다. 즉, 안전하지 않은 끼어들기가 발생한 경우, 두 차량 모두 과실이 있지만, 두 차량 중의 한대가 횡방향으로 (매우) 빠르지 않고 차로 중앙에 (매우) 가까운 경우에는 그렇지 않다. 이로써, 원하는 행동이 캡처된다. 즉, 차량을 뒤따르는 경우, 안전 거리를 유지하고, 자신의 차로에서 단순히 주행하는 차량의 통로로 끼어드는 경우, 안전 거리로만 끼어들기를 한다. 앞서 설명한 안전 가이드라인을 준수하는 자동화된 컨트롤러 기반 시스템은 지나치게 방어적인 주행을 해서는 안되며, 이에 대해서는 하기에 상세히 설명한다.
제한된 감지에 대한 대처
고속도로의 예시에 대한 고려 다음으로, 두 번째 예시는 제한된 감지의 문제에 대해 다룬다. 사람들에게 사고의 책임을 물으면 흔히 하는 대답이 '못 봤다'는 것이다. 많은 경우에, 사실이다. 인간의 감지 능력은 때론 도로의 다른 부분에 집중하고 있는 것을 인지하지 못하기 때문에, 때론 부주의 때문에, 때론 물리적 제한 때문에(예, 주차된 차량 뒤에 가려진 보행자를 볼 수 없음), 제한적이다. 이러한 인간의 한계 중에서, 첨단 자동 감지 시스템에 해당되는 것은 맨 마지막 이유뿐일 것이다. 360° 도로 뷰와 함께 컴퓨터는 부주의하지 않는다는 사실은 첨단 자동 감지 시스템을 인간의 감지 능력보다 우월하게 한다. 다시 '못 봤다'는 예로 돌아가서, 이에 어울리는 대답은 '더 조심했어야지.'일 것이다. 제한된 감지에 대해 무엇을 조심해야 하는지를 형식화하기 위하여, 도 22에 도시된 상황을 보면, 차량(2201, c 0)이 주차장에서 나가려고 붐비는 도로로 병합하지만, 빌딩(2203)에 의해 시야가 가려지기 때문에 도로에 차량들이 있는지를 볼 수 없다. 속도 제한이 30　km/h 인 좁은 도로의 도심 상황이라고 가정하면, 인간 운전자의 행동은 서서히 도로로 병합하여 감지 한계가 사라질 때까지 더 큰 시야를 확보하는 것이다. 시간의 중요한 순간, 즉, 가려졌던 물체가 보이기 시작하는 순간이 정의돼야 한다. 보이기 시작한 이후, 감지할 수 있는 물체와 다름없이 대처하게 된다.
정의9 (노출 시간) 물체의 노출 시간은 물체가 보이기 시작하는 시간이다.
정의 10 (불합리한 속도로 인한 과실) 노출 시간 또는 그 이후에, 차량 c 1 (2205)이 v＞vlimit 의 속도로 주행하고 있었고, c 0 는 그러지 않았다고 가정하면, 책임은 c 1 에만 있다. c 1 은 불합리한 속도로 인해 책임이 있다고 할 수 있다.
이러한 연장은 c0이 안전하게 주차장을 빠져나올 수 있게 해준다. 상기 책임감에 민감한 안전 정의와 동적 vlimit 정의(도로 조건과 속도 제한과 함께 합리적 차이를 활용)를 함께 활용하여, 도면에 도시된 바와 같이, 최악의 경우, c 1이 vlimit을 초과하지 않을 것이라는 가정하에, 끼어들기가 안전한 종방향 거리인지를 확인하기만 하면 된다. 직관적으로, c 0으로 하여금 속도를 줄이고 시야를 가리는 물체로부터 멀어지도록 할 것이고, 서서히 시야를 증가한 후에 도로로 안전하게 병합할 수 있게 할 것이다.
사고 책임 정의를 감지가 제한된 본 기본적 사례로 연장함에 따라, 일군의 연장은 비슷한 사례에 접근할 수 있다. 무엇이 가려질 수 있는지(빠르게 달리는 차는 가까이 주차된 차량 두 대 사이에서 가려질 수 없지만 보행자는 가려질 수 있다), 최악의 동작은 무엇인지(보행자의 vlimit은 차량의 vlimit 보다 훨씬 작다)에 대한 단순한 가정은 주행에 대한 제한을 시사한다. 즉, 최악의 경우에 대비해야 하고 갑자기 노출 시간이 될 경우에 대응할 수 있어야 한다. 도심 상황의 더 자세한 사례로, 주차된 차량에 의해 가려진 보행자의 상황을 들 수 있다. 보행자가 포함된 사고의 과실이 정의될 수 있다.
정의 11 (보행자가 포함된 사고의 과실) 보행자가 포함된 사고의 과실은 항상 차량에 있다. 단, 다음 세 가지의 조건에 부합하면 예외이다.
ㆍ차량의 측면으로 보행자와 충돌하고, 차량의 횡방향 속도는 충돌의 방향에 대하여 μ보다 작다.
ㆍ노출 시간 또는 그 이후의 보행자의 속도가 vlimit 보다 컸다.
ㆍ차량이 완전 정지 상태이다.
비공식적으로, 차량이 보행자를 향해 μ보다 빠르게 달리지 않는 상황에서 보행자가 차량의 측면으로 달려들거나, 차량이 정지해 있거나, 보행자가 반드시 충돌 방향이 아니더라도 특정 방향으로 초인적인 속도로 달린 경우, 차량에는 과실이 없다.
기재된 시스템은 절대적 안전을 보장할 수는 없지만 자율주행차 사이에 사고가 매우 적게 발생하는 상황을 가져올 수는 있다. 예를 들어, 모든 차량(및 기타 도로 사용자)이 각자가 취한 동작의 결과로 인한 사고에 대한 과실이 없을 것이라는 것을 성공적으로 검증할 수 있다면, 사고는 없을 것이다. 정의에 의하면, 모든 사고에는 적어도 한 대의 차량에 책임이 있다. 따라서, 사고에 대한 책임이 있을 만한 동작(상기 설명한 RSS 모델에 의거)을 어떤 차량도 취하지 않는다면, 사고는 절대로 일어나지 않을 것이고, 다루기 어렵고 비현실적인 통계적 방법이 추구하는 유형의 절대적 안전 또는 거의 절대적 안전을 달성할 수 있을 것이다.
모든 도로가 단순한 구조인 것은 아니다. 어떤 도로에는, 교차로와 로터리처럼, 복잡한 상황과 다양한 선행권 규칙이 있다. 모든 가려진 물체가 차량이나 보행자인 것도 아니다. 자전거, 오토바이, 및 기타 정당한 도로 사용자들이 고려돼야 한다. 여기서 소개한 원리는 이러한 추가적인 상황으로도 이어질 수 있다.
책임감에 민감한 안전에 대해 효율적으로 확인된 조건
여기서는 RSS의 이행 양상에 대해 설명하기로 한다. 우선, 지금 수행되는 동작은 예를 들어 10분의 주행 후에 사고와 함께 일련의 사건으로 이어질 나비 효과가 있을 수 있다. 모든 가능한 미래의 결과를 확인하는 '브루트 포스(brute-force)' 접근 방식은 비현실적일뿐더러 불가능할 것이다. 이 문제를 극복하기 위하여, 앞서 설명한 책임감에 민감한 안전 정의와 함께 이를 확인하는 전산 효율적 방법에 대해 설명하기로 한다.
전산적으로 실행 가능한 안전 확인
전산적으로 실행 가능한 확인을 위한 주요 수학적 툴은 '유도(induction)'이다. 한 주장을 유도에 의해 입증하려면, 이 주장을 단순한 사례에 대해 입증하는 것으로 시작한 후, 각 유도 단계에서 이 입증을 사례를 추가하면서 연장한다. 이 유도(induction) 툴이 어떻게 안전 확인에 활용될 수 있는지를 보여주기 위하여, 차량 c r 이 다른 차량 c f 를 뒤따르는 단순한 예시(도 21)를 다시 보기로 한다. 다음의 제약은 c r 의 방침에 적용될 수 있다. 각 시간 단계 t에서, c f 가
Figure pct00266
의 감속을 하더라도 그 결과로 다음 시간 단계에서의 c r 과c f 사이의 거리가 적어도 안전 종방향 거리(정의 3과 렘마 2에 정의)가 되도록, 방침은 가속 명령을 선택할 수 있다. 이러한 동작이 없는 경우, c r 은 감속
Figure pct00267
를 적용해야 한다. 다음의 렘마는 유도를 활용하여 상기 제약을 준수하는 방침은 c f 와 사고를 절대 내지 않을 것이라는 것을 입증한다.
렘마3: 정의 3에 주어진 가정 하에, c r 의 방침이 상기 제약을 준수하는 경우, c f 와의 사고가 절대 일어나지 않을 것이다.
입증: 유도(induction)에 의해 입증된다. 입증의 바탕으로, 두 차량 사이의 거리가 안전한(렘마 2에 의거) 초기 상태로 시작한다. 유도 단계는 다음과 같다. 특정 시간 t에 c r 과 c f 사이의 거리를 고려한다. 결과가 안전 거리인(c f 가 최대 감속을 하여도) 동작이 있는 경우, 아무 문제가 없다. 어떤 동작도 안전 거리를 보장하지 못하는 경우, 최대 감속이 아닌 동작을 취한 최대 시간이 t'＜t가 되게 한다. 유도 가설에 의해, 시간 t' + 1에 안전한 거리였지만, 그 이후엔 최대 감속을 수행했다. 따라서, 안전 거리의 정의에 의해, 시간 t'로부터 현재까지 충돌이 없었고, 이로써 입증이 완료된다.
상기의 예시는 더욱 일반적인 개념을 보여준다. 즉, 극한의 경우에 c r 에 의해 수행되어 다시 '안전 상태'로 이끌 수 있는 비상 동작이 있다는 것이다. 상기에 설명한 방침에 대한 제약은 하나의 미래 시간 단계에 의존하는 것을 알 수 있으므로, 전산적으로 효율적인 방식으로 입증될 수 있다.
RSS의 충분한 로컬 특성의 개념을 일반화하기 위하여, 우선 디폴트 비상 방침(Default Emergency Policy (DEP))을 정의하고 '신중'하다고 부르는 동작 이행의 로컬 특성에 대한 빌딩 블록으로 사용한다. 이후, 신중한 명령만을 취하는 것이 RSS에 충분하다는 것을 알 수 있다.
정의12 (디폴트 비상 방침) DEP는 차로에 대하여 최대 제동력을 가하고 0을 향해 최대 진행방향 변경을 하는 것이다. 최대 제동력과 진행방향 변경은 차량의 물리적 파라미터로부터 도출된다(또한 날씨와 도로 상황으로부터 도출될 수 있다). 정의13 (안전한 상태) 상태 s는 그로부터 DEP를 수행해도 과실이 있는 사고를 유발하지 않게 될 경우 안전한 것이다. 한 차량이 다른 차량을 뒤따르는 단순한 사례에서와 같이, 어떤 명령이 안전한 상태로 이어지는 경우 그 명령을 신중하다고 정의한다.
정의 14 (신중한 명령) 현재, 상태 s 0 에 있다고 가정하면, 다음 상태 s 1 이 다른 차량들이 지금 수행할 수 있는 명령의 집합 A에 대하여 안전할 것인 경우, 명령 α는 신중한 것이다. 상기 정의는 집합 A에서 다른 차량들이 수행할 수 있는 최악의 경우 명령에 의존한다. 집합 A는 최대 제동/가속과 횡방향 움직임에 대한 적당한 상한에 의거하여 구성된다.
다음의 정리는 신중한 명령만 하면 과실이 있는 사고가 일어나지 않을 것이라는 것을 유도에 의해 입증한다.
정리1: 시간 0에 c는 안전한 상태에 있고, 각 시간 단계에 대하여 c는 신중한 명령만 하고, 어느 시간 단계에서 할 수 있는 신중한 명령이 없으면 c는 DEP를 적용한다고 가정하면, c는 c에게 과실이 있는 사고를 내지 않을 것이다.
유도에 의한 입증: 유도의 바탕은 안전한 상태의 정의와 신중한 명령의 정의로부터의 단계에 따른 것이다.
이 접근 방식의 한 가지 장점은 신속하게 안전한 상태로 돌아갈 수 있고 그로부터 안전하게 진행할 수 있으므로 무한의 미래를 확인하지 않아도 된다는 것이다. 또한, t + 1에 다시 계획을 할 것이므로 필요한 경우 DEP를 수행할 수 있을 것이라는 사실에 따라, 시간 t에 하는 명령만을 확인하면 되고 염두에 두고 있을 수 있는 장기적 계획(시간 t + 1에서 변경 가능)은 확인하지 않아도 된다. 이제, 이러한 투명한 모델에 의해 런타임에 확인되는 경우, 시스템에 러닝 요소를 포함시키는 것이 가능해진다. 최종적으로, 이러한 로컬 확인은 원하는 목표인 완전한 미래 RSS를 시사한다. 한 가지 이행상의 어려움은 신중성 정의는 적정 tbrake에 대하여도 방대한 공간인 tbrakee까지 다른 에이전트가 수행할 수 있는 모든 궤적을 포함한다는 것이다. 이 문제의 극복을 위하여, 효율적으로 전산 가능한 방법을 개발하여 확장 가능한 방식으로 신중성 및 RSS를 확인한다.
효율적인 신중성 확인
첫번째 관찰은, DEP를 실행하는 동안 과실이 있는 사고로 이어지는 명령을 집합 A로부터 수행할 수 있는 특정 차량
Figure pct00268
가 있는 경우에만 상태가 안전하지 않다는 것이다. 따라서,
Figure pct00269
로 표시되는 단일 타깃 차량이 있는 장면에서, 그리고 일반적인 사례에서, 절차는 장면 내의 다른 차량 각각에 대하여, 순차적으로 실행될 수 있다.
단일 타깃 차량을 고려할 때, 집합 A에 모두 있는,
Figure pct00270
로 표시되는,
Figure pct00271
에 대한, c의 과실인 사고의 결과를 가져오는, 순차적인 명령이 있는 경우에만 동작 α는 신중하지 않은 것이다. 앞서 입증된 바와 같이, 시간 0에
Figure pct00272
가 c의 전방 통로에 있다는 것이 사실인 경우, α의 신중성을 확인할 수 있는 단순한 방법이 있다. 즉, c가 어떤 시간 단계에 대해 최대 제동을 가한다고 하더라도(또한 α가 수행된다고 하더라도) 그 결과의 종방향 거리는 여전히 안전할 것이라는 것을 확인하기만 하면 된다. 아래의 렘마는 횡방향 동작도 고려되는 더 많은 사례의 신중성에 대한 충분한 조건을 제공한다.
렘마4: 시간 T = 0에,
Figure pct00273
가 c의 전방 통로에 있지 않다고 가정하면,
Figure pct00274
각각에 c의 과실인 안전하지 않은 끼어들기가 없는 경우, α는 신중한 것이다.
입증: α가 신중하지 않은 것으로 가정하면, 즉, c의 과실인 사고로 이어지는
Figure pct00275
가 있는 것으로 가정하면, 사고 전에 끼어들기 시간 T가 분명히 있다. 우선, T＞ 0라고 가정하면, 끼어들기가 안전한 종방향 거리에서 있었다면, DEP가
Figure pct00276
의 선언에 의해 실행되고 안전한 종방향 거리의 정의에 의거하여 실행된다는 사실로 인해(또한 반응 시간 ρ가 단계들의 시간 해상도보다 큰 것으로 추정) 우리 과실의 사고가 있을 수 없다. 끼어들기가 안전하지 않은 것이었다면, 렘마의 가정에 의해, 끼어들기는 c의 과실이 아니었고, 따라서 사고 또한 c의 과실이 아니다.
최종적으로, T < 0인 경우, 렘마의 가정에 의해, 끼어들기의 순간에 c는 c의 후방 통로에 있었다. 유도에 의해, c는 과거에 안전한 끼어들기만 수행했고, 따라서 끼어들기는 안전했거나 c의 과실이었다. 두 경우 모두, 현재의 사고는 c의 과실이 아니다.
렘마4의 관점에서, c의 과실인 안전하지 않은 끼어들기가 있을 수 있는지 여부에 대한 확인 문제는 여전히 있다. 시간 t에 안전하지 않은 끼어들기의 가능성을 확인하기 위한 효율적인 알고리즘이 아래에 제시된다. 전체 궤적을 확인하기 위하여, 시간 간격 [0, t brake]를 이산화(discretize) 하고 모든 시간 간격에 알고리즘을 적용한다(이산화가 피해를 주지 않게 하기 위해 안전 거리의 정의에 약간 증가된 p의 값을 적용). c를 한정하는 최소 사각형의 대각선의 길이를
Figure pct00277
라고 할 때, 각 시간 t∈ [0, t brake]에 대하여, c length(t)는 시간 t에서의 c의 종방향 '폭(span)'이고,
Figure pct00278
라고 할 때, c width[t]는 유사하게 정의되고,
Figure pct00279
이다.
Figure pct00280
다음의 정리는 상기 알고리즘이 맞다는 것을 입증한다.
정리2 알고리즘 1의 결과가 '실행 불가능'으로 나오는 경우, 시간 t에 자기 차량의 과실인 안전하지 않은 끼어들기가 있을 수 없다. 이 정리를 입증하기 위해, 알고리즘1의 두 빌딩 블록이 맞다는 것을 입증하는 하기의 주요 렘마들이 필요하다. 종방향 실행 가능성부터 시작한다.
렘마5 알고리즘 1에 표기된 바에 따라, 상기 check longitudinal feasibility 절차가 '실행 불가능(non-feasible)'이라는 결과로 완료되는 경우, 시간 t에 자기 차량의 과실인 안전하지 않은 끼어들기가 있을 수 없다.
입증 끼어들기 동작의 횡방향 양상은 무시하고, c와 c 사이의 종방향 거리가 안전하지 않을 가능성만을 단순히 검사한다. 위치
Figure pct00281
가 시간 t에
Figure pct00282
에 의해 획득될 수 있는 위치를 한정한다는 것은 분명하다.
Figure pct00283
, 이라는 사실에 따라, ≥L인 획득 가능한 종방향으로 안전하지 않은 거리를 구한다.
Figure pct00284
이라고 가정하고,
Figure pct00285
으로 표기되는 안전하지 않은 종방향 위치와 속도를
Figure pct00286
,
Figure pct00287
로 한정된 가속 명령을 활용하여 획득할 수 있다고 가정하면,
Figure pct00288
의 정의에 의해,
Figure pct00289
이 되고, 따라서 차량 사이의 거리가 증가하게, 즉,
Figure pct00290
이 된다.
Figure pct00291
는
Figure pct00292
에 대하여 종방향으로 안전하므로, 종방향 비안전(longitudinal non-safety)의 정의에 의해, 획득된 속도
Figure pct00293
는
Figure pct00294
보다 작야야 된다. 그러나, 낮은 속도에 도달하려면,
Figure pct00295
는 시간 윈도우 [0, t] 내내
Figure pct00296
보다 낮은 평균 가속도를 사용해야 하는 것이 분명하므로,종방향 비안전이
Figure pct00297
,
Figure pct00298
로 한정된 명령을 활용하여 획득됐다는 사실과 상충된다.
Figure pct00299
사례에 대한 대칭적 주장을 고려함으로써, 이 입증은 완료된다.
다음으로, 횡방향 실행 가능성에 대해 설명한다.
렘마6 알고리즘 1에 표기된 바에 따라, 상기 check lateral feasibility 절차가 '실행 불가능(non-feasible)'이라는 결과로 완료되는 경우, 시간 t에 자기 차량의 과실인 안전하지 않은 끼어들기가 있을 수 없다.
입증 우선, 좌표의 단순한 변경과 상대 속도의 고려에 의해,
Figure pct00300
의 가정과 v x [t]에 관한 가정으로 일반성이 상실되지 않는 것이 분명하다. 또한, 유사한 논리로,
Figure pct00301
인 경우에 사례로 연장하는 것은 어렵지 않다.
본 사례에서 (x[t], x[t] - W)인 끼어들기에 개입된 차량들의 위치는 일부 횡방향 위치에 의한 (μ1, μ2)-승리를 시사하여, 과실에 영향을 미친다. vx[t]에 대한 가정에 의해, c에게 과실이 있다는 가정 하에 시간 t에
Figure pct00302
가 활용할 수 있는 최대 횡방향 속도는 0이다. 이는, 횡방향 속도를 μ-'무승부(tie)'(c가 횡방향 위치에 의한 (μ1, μ2)-승리하지 않는 경우, 이는 c에 과실을 묻기에 충분할 수 있다)하기 위해서 또는 횡방향 속도를 μ-승리(c가 횡방향 위치에 의한 (μ1, μ2)-승리하는 경우, 이는 c에 과실을 묻기 위해 필수적이다)하기 위해서이다. 남은 일은
Figure pct00303
에 의해 한정된 횡방향 가속을 활용하여
Figure pct00304
에서 시작하고
Figure pct00305
에서 종료하는 최종 위치가
Figure pct00306
인 동작이 있는지 여부를 확인하는 것이다. 즉, 원하는 횡방향 속도 0으로 끝나는 끼어들기이다.
상기 알고리즘에서
Figure pct00307
로 정의됨에 따라, t top ＜0이라고 가정하면, 이는 최대 횡방향 가속도, 즉,
Figure pct00308
를 활용하는 경우에 횡방향 속도 0에 도달하기 위해 c에 의해 요구되는 시간은 t보다 작다는 것을 시사한다. 이는 원하는 속도를 시간 내에 도달하기 위해 수행할 수 있는 동작이 없다는 것을 시사하므로, 문제가 되는 동작이 없다. 따라서, 절차가 t top ＜0으로 인해 결과가 '실행 불가능'으로 나오는 경우, 실제로 c의 과실인 안전하지 않은 끼어들기의 실행 가능성은 없다.
t top > 0의 경우를 고려하면, 절차는 xmax <-W로 인해 결과가 '실행 불가능'으로 나왔다.
Figure pct00309
로 표기되고 α에 의해 파라미터로 나타내어진 시간 범위 [0, t]에서
Figure pct00310
에 대한 일군의 횡방향 속도 프로필을 고려하면, 각 α에 대해 상기 알고리즘에 사용된 것과 유사한 방식으로
Figure pct00311
라고 정의한다. 여기서, 모든
Figure pct00312
에 대해 t top(α) > 0이다. 이제, 모든 시간 t' 0 [0, t]에 대해 속도 프로필
Figure pct00313
를 다음과 같이 정의한다.
Figure pct00314
첫째,
Figure pct00315
가 제약
Figure pct00316
를 만족시킴을 알 수 있다. 둘째,
Figure pct00317
를 활용하면서 이동한 거리는 구분적 선형 함수의 적분에 상응하므로 계산이 가능하다. 도착한 위치를
Figure pct00318
로 정의하고, 알고리즘에서 정의된
Figure pct00319
는 정확히
Figure pct00320
이다. 셋째, 이동한 거리는 a와 함께 단조적으로(monotonically) 증가하고 한정되지 않는 것을 알 수 있다. 따라서, 원하는 최종 위치 position
Figure pct00321
에 대해,
Figure pct00322
인 α의 값이 존재한다. 특히, x = x[t] - W에 대해, 이러한 값이 존재하는데, 이를
Figure pct00323
로 표기한다.
상기 알고리즘에서 정의된 x max가 <x[t] - W이므로,
Figure pct00324
이다. 이는 ≥x[t] - W의 위치로 이끌 수 있는 유효한 동작이 없다는 것을 보여주기 위해 충분하지 않고, U그룹의 멤버들에 대해서만 시사된다. U의 밖에서도 x[t] - W의 최종 위치를 획득하는 모든 속도 프로필은 그 과정에서 적어도
Figure pct00325
의 가속도 값을 활용해야 된다는 것을 입증하며, 따라서 무효가 되고, 입증이 완료된다.
일부 속도 프로필 u가 경계 제약
Figure pct00326
를 만족시킨다고 가정하고, 나아가 최종 위치
Figure pct00327
를 획득한다고 가정하면, 다음을 구할 수 있다.
Figure pct00328
모든 τ에 대해
Figure pct00329
t라고 가정하고, 특히
Figure pct00330
라고 가정하면, 평균값의 정리(mean value theorem)로부터, 다음이 성립되도록 하는
Figure pct00331
이 존재한다.
Figure pct00332
Figure pct00333
이는,
Figure pct00334
를 초과하는 가속도(즉, 속도의 미분계수인 u')를 사용하므로 u의 실행 불가능성을 시사한다.
이제, 모든 τ에 대해 반드시
Figure pct00335
는 아니라고 가정하면,
Figure pct00336
라는 사실로 인해,
Figure pct00337
인 지점이 있어야 한다. 이러한 지점
Figure pct00338
이
Figure pct00339
내에 존재하는 경우, 상기와 유사한 방식으로 손쉽게 평균값의 정리를 활용하여, 너무 큰 가속도를 사용하는 경우의
Figure pct00340
를 구할 수 있다. 이러한 지점이
Figure pct00341
내에만 존재하는 경우, 비슷한 논리를 통해
Figure pct00342
보다 작은 가속도 값을 사용하는 지점
Figure pct00343
를 구할 수 있고, 이로써 입증이 완료된다. 상기 렘마를 통해, 정리 2는 바로 입증된다.
안전 확인 - 시야 가림
관찰된 물체에 대한 방식과 유사한 방식으로, 가려진 물체에 대한 조심성에 대한 연장을 정리1과 유사한 정리로 정의하여, 조심성이 우리 과실인 사고가 절대 없다는 것을 시사함을 입증할 수 있다.
정의15 (가려진 물체에 대한 조심성) 시간 t에 주어진 명령은, 물체의 노출 시간이 t+1이고 t+1에 DEP(Default Emergency Policy)를 명령하는 경우, 우리 과실인 사고가 나지 않을 경우에 가려진 물체(Occluded Objects)에 대하여 주의(Cautious)이다.
렘마7 가려진 물체와 가려지지 않은 물체에 대하여 주의 명령만을 내리는 경우, 우리 과실인 사고가 절대 일어나지 않을 것이다.
입증 우리 과실인 사고가 시간 t에 발생했고, 노출 시간이 t'≤t라고 가정하면, 조심성 가정에 의하여, t' - 1에 내린 명령 덕분에 사고의 과실일 염려 없이 t'에 DEP 명령을 내릴 수 있다. 우리 과실의 사고가 있었으므로, t'에 DEP 명령을 내리지 않은 것으로 보인다. 그러나 t' 이후로, 가려지지 않은 물체에 대하여 안전하므로, 우리가 내린 명령은 안전하였고, 우리 과실의 사고가 없었다.
여기서도, 가려짐 물체의 최악의 가정에 대하여 조심성을 확인하는 효율적인 방법을 제공하여, 실행 가능하고 확장 가능한 RSS를 가능하게 한다.
주행 방침
주행 방침은 감지 상태(우리 주변 세상의 묘사)로부터 주행 명령(예, 차량이 지금으로부터 1초 후에 어디에 어떤 속도로 있어야 하는지를 결정하는 다음 1초에 대한 횡방향 및 종방향 가속)으로의 매핑이다. 주행 명령은 실제로 차량을 원하는 위치/속도로 움직이는 것을 목표로 하는 제어 장치로 전달된다.
앞서, 형식화된 안전 모델과 안전을 보장하는 주행 방침에 의해 내려진 명령에 대해 제안된 제약에 관해 설명하였다. 안전에 대한 제약은 극한의 경우에 대해 설계된다. 전형적으로, 이러한 제약이 필요하길 바라지 않고, 안락한 탑승으로 이어지는 주행 방침을 구축하기를 원한다. 여기서는, 효율적인 주행 방침, 특히 수백만 대의 차량으로 확장 가능한 전산 자원을 요구하는 주행 방침을 구축하는 방법에 대해 집중하고자 한다. 일단, 여기서는 감지 상태를 획득하는 방법에 대해 다루지 않고 아무 제한도 없는 우리 주변의 세상을 그대로 나타내는 이상적인 감지 상태를 가정하지 않는다. 주행 방침 상의 감지 상태에서의 부정확의 결과에 대해서는 하기에 논의한다.
주행 방침을 정의하는 문제는 앞서 설명한 바와 같이 강화 학습(RL)의 언어에 들어있다. RL의 각 반복에서, 에이전트는 s t 로 표기되는 세상을 묘사하는 상태를 관찰하고, 상태를 동작으로 매핑하는 방침 함수 ð에 의거하여 a t 로 표기되는 동작을 선택해야 한다. 에이전트의 동작과 에이전트의 통제 밖의 다른 요소(다른 에이전트의 동작 등)의 결과, 세상의 상태는 s t +1로 변경된다. (상태, 동작) 시퀀스는
Figure pct00344
로 표시한다. 모든 방침은 (상태, 동작) 시퀀스에 대해 확률 함수를 유도한다. 이러한 확률 함수는 에이전트가 취한 동작에 영향을 받을 수 있지만, 주변상황(특히, 다른 에이전트의 행동)에도 달려있다. π에 유도된 (상태, 동작) 시퀀스에 대한 확률은 Pπ로 표시한다. 방침의 질은
Figure pct00345
인 것으로 정의되고, 여기서
Figure pct00346
는 시퀀스
Figure pct00347
의 품질을 측정하는 보상 함수이다. 대부분의 경우,
Figure pct00348
는
Figure pct00349
의 형태를 취하고, 여기서 p(s, α)는 상태 s에 있고 동작 α를 수행하는 품질을 즉각적으로 측정하는 순간 보상 함수이다. 설명을 단순화 하기 위하여, 이러한 단순한 경우에 한해 논의하기로 한다.
[468]주행 방침 문제를 상기 RL 언어로 묘사하기 위해, s t 를 통해 도로, 및 본 차량과 다른 도로 사용자의 위치, 속도, 및 가속도를 나타내기로 한다.
Figure pct00350
는 횡방향 및 종방향 가속 명령으로 정한다. 다음 상태
Figure pct00351
은
Figure pct00352
뿐만 아니라 다른 에이전트의 행동에 달려있다. 순간 보상 ρ(
Figure pct00353
,
Figure pct00354
)는 다른 차량들에 대한 상대적 위치/속도/가속도, 우리 속도와 원하는 속도 사이의 차이, 우리가 원하는 경로를 따라가는지 여부, 우리 가속이 편안한지 여부 등에 달려있다.
시간 t에 방침이 어떤 동작을 취해야 하는지를 결정하는데 있어서 한가지의 도전은 이 동작이 보상이 미칠 장기적 결과를 추정해야 한다는 사실에서 비롯된다. 예를 들면, 주행 방침의 맥락에서, 시간 t에 취해진 동작은 현재 훌륭한 동작으로 보이지만(즉, 보상값 ρ(
Figure pct00355
,
Figure pct00356
)가 훌륭하다), 5초 후에는 사고로 이어질 수 있다(즉, 5초 후의 보상값은 재앙적이다). 따라서, 에이전트가 상태 s에 있을 때 동작 α수행의 장기적 품질을 추정해야 한다. 이를 종종 Q-함수라고 부르며, 즉, Q(s, α)는 시간 s에 동작 α수행의 장기적 품질을 반영해야 한다. 이러한 Q-함수를 고려하여, 동작의 당연한 선택은 가장 높은 품질, 즉
Figure pct00357
인 동작을 선택하는 것이다.
즉각적인 질문은 Q를 어떻게 정의하고 어떻게 Q를 효율적으로 평가하느냐는 것이다. 일단, st+1이 (
Figure pct00358
,
Figure pct00359
)의 결정적 함수, 즉, st+1 = f(
Figure pct00360
,
Figure pct00361
)라고 단순하게 (완전히 비현실적으로) 가정하자. 마르코프 결정 프로세스(MDP)에 대해 잘 아는 경우, 이 가정은 MDP의 마르코프 가정보다 강력하다는 것을 알 수 있다(즉, (
Figure pct00362
,
Figure pct00363
)를 고려할 때, st+1 은 과거와 조건부로 별개이다). [5]에서 알 수 있듯이, 마르코프 가정마저도 주행과 같은 멀티-에이전트 상황에 충분하지 않고, 따라서 나중에 가정을 완화할 것이다.
본 단순화 가정 하에서, st를 고려하여, T 단계 (a t , .　.　.　, a t + T )에 대한 모든 시퀀스의 결정에 대해, 미래 상태 (st+1, .　.　.　, st+T+1)뿐만 아니라 시간 t, .　.　.　, T에 대한 보상값을 정확하게 계산할 수 있다.
이러한 모든 보상값을, 예를 들어 보상값의 합
Figure pct00364
을 취하여, 단일 수로 정리하면, Q(s, α)를 다음과 같이 정의할 수 있다.
Figure pct00365
를 만족시키는
Figure pct00366
즉, Q(s, α)는 우리가 현재 상태 s에 있고 동작 α를 즉시 수행하는 경우에 우리가 희망할 수 있는 최상의 미래이다.
어떻게 Q를 계산하는지 살펴보면, 우선, 가능한 동작의 집합 A를 유한의 집합
Figure pct00367
로 이산화 하고, 이산화된 집합 내의 모든 동작 시퀀스를 단순히 횡단한다. 이후, 런타임이 이산 동작 시퀀스의 수
Figure pct00368
에 의해 지배된다.
Figure pct00369
가 10 횡방향 가속과 10 종방향 가속을 나타내는 경우, 100T의 가능성을 얻게 되는데, 이는 작은 값의 T에 대해서도 실행 불가능한 것이다. 검색을 더 빠르게 하는 휴리스틱(heuristics)이 있긴 하지만(예, coarse-to-fine search), 이러한 브루트 포스 접근 방식에는 엄청난 계산력이 요구된다.
파라미터 T는 종종 '계획의 시간 지평'이라고 불리며, 계산 시간과 평가의 질 사이의 자연스런 균형을 제어한다. 즉, T가 클수록, 현재 동작의 평가가 훌륭한 반면(현재 동작의 결과를 미래 안으로 더 깊게 명시적으로 검사하기 때문), T가 클수록, 계산 시간은 기하급수적으로 증가한다. 더 큰 값의 T가 필요한 이유를 이해하기 위해, 나가야 하는 고속도로 출구가 200미터 전방에 있는 상황을 보기로 하자. 시간 지평이 충분히 긴 경우, 누적 보상은 t와 t+T 사이의 어떤 시간 τ에 출구 차로에 도달했는지 여부를 나타낼 것이다. 반면에, 시간 지평이 짧으면, 올바른 동작을 즉각적으로 수행해도, 그 동작이 궁극적으로 출구 차로로 이끌 것인지 알 수 없을 것이다.
다른 접근 방식은
Figure pct00370
로 표기되는
Figure pct00371
의 근사치를 구성하기 위하여 오프라인 계산을 수행한 후, 방침의 온라인 런 동안에 명시적으로 미래를 롤 아웃 하지 않고
Figure pct00372
를
Figure pct00373
의 근사치로 활용하는 것이다. 이러한 근사치를 구성하는 한가지 방법은 동작 영역과 상태 영역을 모두 이산화하는 것이다. 이러한 이산화 집합은
Figure pct00374
,
Figure pct00375
로 표기된다. 오프라인 계산은 모든
Figure pct00376
에 대해 Q(s, α)의 값을 평가할 수 있다. 이후, 모든
Figure pct00377
,
Figure pct00378
(s t , α)는
Figure pct00379
에 대해 Q(s, α)인 것으로 정의한다. 또한, 벨만 [2, 3]의 선구적 연구에 의거하여, 모든
Figure pct00380
에 대해 Q(s, α)를 다이나믹 프로그래밍 절차(예, 가치 반복 알고리즘)에 의거하여 계산할 수 있고, 우리의 가정하에, 전체 런타임은 대략
Figure pct00381
이다. 이 접근 방식의 주요 문제는 모든 합리적 근사치에서
Figure pct00382
가 극도로 크다는 것이다(차원수(dimensionality)의 저주에 기인). 실제로, 감지 상태는 장면 내 모든 다른 관련 차량에 대하여 6 파라미터를 대표해야 한다. 즉, 종방향 및 횡방향 위치, 속도, 및 가속이다. 각 차원을 10개의 값으로 이산화 하여도(매우 투박한 이산화), 6차원이 있기 때문에, 단일 차량을 설명하려면 106의 상태가 필요하고, k대의 차량을 설명하려면 106k의 상태가 필요하다. 이는 모든 (s, α)에 대해 Q의 값을
Figure pct00383
에 저장하기 위한 비현실적인 메모리 요건으로 이끈다.
이러한 차원수의 저주를 처리하기 위한 한가지 접근 방식은 Q가 수동으로 판단된 특징에 대한 선형 함수 또는 심층 신경망과 같은 제한된 부류의 함수(종종 가설 부류로 칭함)로부터 오도록 제한하는 것이다. 예를 들어, 아타리(Atari) 게임을 하는 맥락에서 Q의 근사치를 구하는 심층 신경망을 고려하자. 이는 Q의 근사치를 구하는 함수의 부류가 효율적으로 평가될 수 있다는 전제하에서, 자원 효율적인 솔루션으로 이끌 수 있다. 그러나 이러한 접근 방식에도 몇 가지 단점이 있다. 첫째, 선택된 부류의 함수가 원하는 Q 함수에 대한 훌륭한 근사치를 포함하는지 여부를 모른다. 둘째, 이러한 함수가 존재한다고 하여도, 기존의 알고리즘이 효율적으로 그 함수를 학습할 수 있는지 여부를 모른다. 아직까지, 우리가 주행에서 직면하고 있는 것과 같은 복잡한 멀티-에이전트 문제에 대한 Q함수 학습에 대한 성공 사례가 많지 않다. 이 작업이 왜 어려운지에 대한 몇 가지 이론적인 이유가 있다. 마르코프 가정에 관하여 언급한 바와 같이, 근본적인 기존 방법들은 문제가 있다. 그러나, 더욱 심각한 문제는 의사 결정의 시간 해상도로 인한 신호 대 잡음비가 매우 작다는 것이다. 이에 대해서는 하기에 설명한다.
차량이 200미터 전방의 고속도로 출구로 나가기 위해 차로를 변경해야 하고 도로에 현재 다른 차가 없는 단순한 상황을 고려해보자. 최선의 결정은 차로 변경을 시작하는 것이다. 결정은 0.1초마다 이루어져서 현재 시간 t에 Q(st, α)의 최선의 값이 우측으로의 작은 횡방향 가속에 상응하는 동작 α가 되어야 한다. 제로 횡방향 가속에 상응하는 동작 α'를 고려하자. 차로 변경 시점인 지금과 0.1초 이후의 차이가 매우 작으므로, Q(st, α)와 Q(st, α')의 값은 거의 동일하다. 다시 말하면, α대신 α'를선택하는 것에 대한 장점이 거의 없다. 반면, Q에 대한 함수 근사치를 사용하고 있고 상태 st의 측정에 잡음이 있기 때문에, Q값에 대한 근사치에는 잡음이 있을 가능성이 높다. 따라서 매우 작은 신호 대 잡음비를 산출하고 학습이 극도로 느리게 하는데, 신경망 근사치 측정 부류에서 많이 사용되는 확률적(stochastic) 학습 알고리즘에 대해선 특히 그렇다. 그러나, 앞서 언급한 바와 같이, 이 문제는 어느 특정 함수 근사치 부류의 성질이 아니라 Q함수의 정의에 내재된 것이다.
정리하면, 사용 가능한 접근 방식은 대략 두 부류로 나뉠 수 있다. 첫 번째 부류는 많은 시퀀스의 동작에 걸쳐 검색 또는 감지 상태 영역의 이산화와 메모리에 방대한 표의 유지를 포함하는 브루트 포스 접근 방식이다. 이 접근 방식은 Q의 매우 정확한 근사치 측정으로 이끌 수 있지만, 계산 시간 또는 메모리의 차원에서 무제한의 자원을 요구한다. 두 번째 부류는 짧은 시퀀스의 동작을 검색하거나 함수 근사치를 Q에 적용하는 자원 효율적 접근 방식이다. 두 경우 모두, Q의 근사치가 덜 정확한 문제를 가지고 있으므로 나쁜 결정을 이끌 수 있다.
여기에 설명한 접근 방식은 자원 효율적이면서 동시에 정확한 Q함수 구축을 포함하며 기하학적 동작을 떠나 의미론적 동작 공간을 받아들여야 한다. 이에 대해서는 다음에서 설명한다.
의미론적 접근 방식
기재된 의미론적 접근 방식의 바탕으로, 운전면허를 취득한 지 얼마 되지 않은 10대 운전자의 상황을 고려하기로 한다. 이 10대 운전자의 옆에 앉아 '주행 방침'을 지시한다. 이러한 지시는 기하학적이 아니다. 예를 들면, '현재 속도로 13.7미터를 운전한 후에 0.8 m/s2의 가속도로 가속하라.'라는 형태를 취하지 않는다. 대신, 지시는 의미론적 성질을 가지고 있다. 예를 들면, '전방의 차를 따라 가라' 또는 '좌측의 차를 재빨리 추월하라.'라는 형태이다. 이러한 지시에 대한 의미론적 언어는 형식화되고 의미론적 동작 공간으로 사용된다. 이후, 의미론적 동작 공간에 대해 Q 함수를 정의한다. 의미론적 동작의 시간 지평이 매우 길 수 있음을 알 수 있고, 이로써 많은 미래의 의미론적 동작에 대한 계획을 하지 않고 Q(s, α)를 추정할 수 있다. 의미론적 동작의 전체 개수는 여전히 적다. 이로써, 여전히 자원 효율적이면서 Q 함수의 정확한 추정을 확보할 수 있다. 나아가, 나중에 설명하겠지만, 품질 함수를 더 개선하기 위한 학습 방법을 병합하면서, 서로 다른 의미론적 동작 사이의 중대한 차이로 인한 작은 신호 대 잡음비의 문제로부터 자유로울 수 있다.
이제 의미론적 동작 공간을 정의한다. 핵심 개념은 횡방향 및 종방향 목표를 정의하고, 이 목표를 달성하는 공격성 수준도 정의하는 것이다. 횡방향 목표는 차로 좌표 시스템에서의 원하는 위치이다(예, '내 목표는 2차선 차로의 중앙에 가는 것이다'). 종방향 목표에는 3가지 유형이 있다. 첫 번째는 다른 차량들에 대한 상대적 위치와 속도이다(예, '나의 목표는 같은 속도로 2초 거리를 두고 3번 차량의 뒤에 있는 것이다'). 두 번째는 속도 목표이다(예, '이 도로의 속도 제한의 110% 속도로 달리자'). 세 번째는 특정 위치에서의 속도 제약이다(예, 교차로에 접근하는 경우, '정지선에서의 속도 0', 급커브를 지나는 경우, '커브의 특정 위치에서는 시속 60km 이하'). 세 번째 옵션에 대해, '속도 프로필'을 대신 적용할 수 있다(경로 상에 거의 없는 이산점 및 각각에 요구되는 속도). 횡방향 목표의 적당한 수는 16 = 4×4로 한정된다(최대 4차선의 4 위치). 첫 번째 유형의 종방향 목표의 적당한 수는 8×2× 3 = 48로 한정된다(서로 앞 또는 뒤에 있는 8대의 관련 차량과 3 연관 거리). 절대 속도 목표의 적당한 수는 10이고, 속도 제약의 수에 대한 적당한 상한은 2이다. 주어진 횡방향 또는 종방향 목표를 이행하기 위하여, 가속을 한 후 감속을 해야(또는 반대) 한다. 목표를 달성하는 공격성은 목표를 달성하기 위한 최대(절대값으로) 가속/감속이다. 정의된 목표와 공격성으로, 운동학적 연산을 활용하여 목표를 이행하기 위한 폐쇄 형태 공식을 얻는다. 유일하게 남은 것은 횡방향 목표와 종방향 목표 사이의 조합을 결정하는 것이다(예, '횡방향 목표로 시작해서, 정확하게 그 중간에 종방향 목표 적용을 시작'). 5 혼합 시간과 3 공격성 수준은 충분해 보인다. 대략 크기가
Figure pct00384
104인 의미론적 동작 공간이 확보됐다.
이러한 의미론적 동작을 이행하기 위해 필요한 가변적 시간은 의사 결정 프로세스의 빈도와 동일하지 않다는 것에 유의해야 한다. 동적인 세상에 반응하기 위하여, 높은 빈도로(본 이행에서는 10 ms마다) 의사 결정을 해야한다. 반면에, 이러한 각 결정은 시간 지평이 훨씬 긴(예, 10초) 일부 의미론적 동작을 이행하는 궤적의 구성에 의거한다. 긴 시간 지평을 사용하는 이유는 궤적의 단기 접두부(prefix)의 평가에 도움이 되기 때문이다. 의미론적 동작의 평가에 대해 하기에 설명하기에 앞서, 의미론적 동작이 충분한 검색 공간을 유도한다는 점을 논하고자 한다.
앞서 설명한 바와 같이, 의미론적 동작 공간은 그 크기가 모든 가능한 기하학적 곡선을 나열하는 것보다 기하급수적으로 작은(T의 차원에서) 부분 집합을 유도한다. 즉각적으로 드는 첫 번째 의문은 이러한 작은 검색 공간은 단기 접두부의 집합이 우리가 언젠가는 사용하고자 할 모든 기하학적 명령을 포함하는지 여부이다. 이는 다음과 같은 차원에서 실제로 충분하다. 도로에 다른 에이전트가 없는 경우, 횡방향 목표 및/또는 절대 가속 명령 및/또는 특정 위치에 대한 속도 제약의 설정 외에 어떤 변경을 할 이유가 없다. 도로에 다른 에이전트가 있는 경우, 그 에이전트와 선행권을 절충하고자 할 수 있다. 이 경우, 다른 에이전트에 상대적으로 종방향 목표를 설정하면 된다. 장기적 측면에서의 이러한 목표의 정확한 이행은 다를 수 있지만, 단기적 접두부는 그리 다르지 않을 것이다. 따라서, 유의미한 단기 기하학적 명령에 매우 잘 대비하게 된다.
의미론적 동작에 대한 평가 함수 구성
동작의 의미론적 집합을 정의하였고 As로 표기한다. 현재에 상태 s에 있다는 전제하에, 최선의 α s 0 A s 를 선택하는 방법이 필요하다. 이 문제를 풀기 위하여, [6]의 옵션 메커니즘에 대한 접근 방식과 유사한 접근 방식을 따른다. 기본 개념은 α s 를 메타 액션(meta-action)(또는 옵션)으로 간주하는 것이다. 메타 액션의 각 선택에 대해, 메타 액션 α s 의 이행을 나타내는 기하학적 궤적 (s1, α1),..., (s T , αT)를 구성한다. 이를 위해, 다른 에이전트가 우리의 동작에 어떻게 반응할 것인지를 알아야 하는 것이 물론이지만, 일단은 일부 알려진 결정적 함수 f에 대해 s t +1 = f(s t , α t )인 가정에 여전히 의존한다. 이제,
Figure pct00385
를 상태 s 1에 있을 때 의미론적 동작 α s 를 수행하는 품질의 근사치로 사용할 수 있다.
이러한 접근 방식은 유력한 주행 방침을 제공할 수 있다. 그러나, 일부 경우에서, 더욱 정교한 품질의 함수가 필요할 수 있다. 예를 들면, 느린 속도로 가는 트럭을 따라가고 있고, 출구 차로로 들어가야 하는 상황을 고려해볼 수 있다. 한가지 의미론적 옵션은 트럭 뒤에 계속 느린 속도로 따라가는 것이다. 다른 옵션은 트럭을 추월하고, 출구 차로로 나중에 다시 들어가서 늦지 않게 출구로 나갈 수 있기를 바라는 것이다. 앞서 설명한 품질 조치는 트럭을 추월한 이후에 어떤 일이 발생할지 고려하지 않고, 따라서 트럭을 추월하고 출구 차로로 다시 들어올 시간이 충분하다고 하더라도 우리는 두번째 의미론적 동작을 취하지 않을 것이다. 머신 러닝은 당장의 의미론적 동작 이상을 고려할 의미론적 동작의 향상된 평가를 구성하게 해준다. 앞서 설명한 바와 같이, 당장의 기하학적 동작에 대한 Q 함수의 학습은 낮은 신호 대 잡음비로 인해(장점 부족) 문제가 있다. 이는, 서로 다른 의미론적 동작의 수행 사이에는 커다란 차이가 있고, 의미론적 시간 지평(얼마나 많은 의미론적 동작을 고려하는지)은 매우 작기(대부분의 경우 3 미만) 때문에, 의미론적 동작을 고려할 때 문제가 되지 않는다.
머신 러닝 적용의 또 다른 잠재적 장점은 일반화를 위한 것이다. 즉, 시행착오가 일부 포함될 수 있는 도로 특성의 수동 검사에 의해, 모든 도로에 대해 충분한 평가 함수를 설정할 수 있다. 여기서, 앞서 설명한 바와 같이, 머신 러닝 접근 방식은 보이지 않는 도로도 일반화하도록 매우 다양한 도로 유형에 대해 학습될 수 있다. 기재된 실시예에 따른 의미론적 동작 공간은 잠재적 장점을 가능하게 한다. 즉, 의미론적 동작은 긴 시간 지평 상의 정보를 포함하므로 자원 효율적이면서도 의미론적 동작의 품질의 매우 정확한 평가를 확보할 수 있다.
다른 에이전트의 역학
이제까지, s t +1는 s t 와 α t 의 결정적 함수라는 가정에 의존했다. 앞서 강조한 바와 같이, 우리의 동작이 다른 도로 사용자들의 행동에 영향을 미치므로 이러한 가정은 완전히 현실적이지 않다. 다른 에이전트의 일부 반응을 우리의 동작에 참작하지만(예, 안전하게 끼어들기를 할 경우, 뒤의 차량은 속도를 조절하여 추돌을 하지 않도록 할 것이라는 가정), 다른 에이전트의 모든 역학을 모델링한다고 가정하는 것을 현실적이지 않다. 이 문제에 대한 솔루션은 높은 빈도로 의사 결정을 다시 적용하는 것이고, 이로써 방침을 모델링 너머의 주변상황 부분으로 적응시키는 것이다. 어떤 의미에서는, 이를 각 단계에서 세상을 마르코프화(Markovization) 하는 것으로 간주할 수 있을 것이다.
감지(sensing)
여기서는, 장면의 유의미한 정보의 묘사이고 주행 방침 모듈로의 입력을 형성하는 감지 상태에 대해 설명하기로 한다. 개괄적으로, 감지 상태는 정적 물체와 동적 물체를 포함한다. 정적 물체는 차로, 물리적 도로 구분 표시, 속도에 대한 제약, 선행권에 대한 제약, 및 시야를 가리는 물체(예, 병합 도로의 관련 부분을 가리는 펜스)에 대한 정보를 포함한다. 동적 물체는 차량(예, 경계 박스(bounding box), 속도, 가속도), 보행자(예, 경계 박스, 속도, 가속도), 신호등, 동적 도로 구분 표시(예, 공사 구역에 있는 원뿔형 도로표지), 임시 교통 표지판과 경찰 활동, 및 도로 상의 기타 장애물(예, 동물, 트럭에서 떨어진 짐 등)을 포함한다.
모든 합리적인 센서 설정에서, 정확한 감지 상태 s를 확보할 것으로 기대할 수는 없다. 그러나 x 0 X로 표기하는 미가공(raw) 센서 및 매핑 데이터를 보고, x를 취해 근사한 감지 상태를 생성하는 감지 시스템이 있다.
정의17 (감지 시스템) S가 감지 상태의 영역을 나타내고, X가 미가공 센서 및 매핑 데이터의 영역이라고 가정하면, 감지 시스템은 함수
Figure pct00386
이다.
Figure pct00387
에 대한 합리적인 근사치로 허용할 수 있는 경우를 이해하는 것이 중요하다. 이 질문에 대한 궁극적인 답은 이러한 근사치가 주행 방침의 수행에 일반적으로 시사하는 바와 특히 안전에 시사하는 바를 검사하는 것이다. 앞서 구별한 안전-안락 차이에 따라, 안전하지 않은 행동으로 이어지는 감지 오류와 안락한 탑승에 영향을 미치는 감지 오류 사이의 차이를 다시 구별한다. 상세한 내용으로 들어가기에 앞서, 감지 시스템은 다음과 같은 유형의 오류를 낼 수 있다.
ㆍ부정 오류(false negative): 감지 시스템이 물체를 누락한다.
ㆍ긍정 오류(false positive): 감지 시스템이 '유령' 물체를 지시한다.
ㆍ부정확한 측정: 감지 시스템이 물체를 정확하게 검출하지만 그 위치 또는 속도를 부정확하게 추정한다.
ㆍ 부정확한 의미론: 감지 시스템이 물체를 정확하게 검출하지만 그 의미론적 의미, 예를 들어, 신호등의 색을 잘못 이해한다.
안락(comfort)
앞서 살펴본 바와 같이, 의미론적 동작 α에 대하여, 현재의 감지 상태가 s라는 전제 하에, α의 평가는 Q(s, α)로 표현한다. 방침은 동작
Figure pct00388
=
Figure pct00389
를 선택한다. s대신에
Figure pct00390
를 주입하면, 선택된 의미론적 동작은
Figure pct00391
가 될 것이다.
Figure pct00392
s)인 경우,
Figure pct00393
는 s의 알맞은 근사치로 인정돼야 한다. 그러나, 실제 상태 s에 대한 π의 품질
Figure pct00394
이 거의 최적, 즉, 일부 파라미터
Figure pct00395
에 대해
Figure pct00396
이라면,
Figure pct00397
를 선택하는 것도 전혀 나쁘지 않다. 당연히, 감지 시스템이 항상
Figure pct00398
가 정확하기를 기대할 수는 없다.
Figure pct00399
따라서, 감지 시스템이 약간의 확률 δ의 오류를 내는 것도 허용한다. 이 경우, 는 Probably(적어도 1 - δ), Approximately(
Figure pct00400
까지), Correct, 또는 약어로 PAC(Valiant의 PAC-러닝 용어에서 따옴)이라고 할 수 있다.
시스템의 서로 다른 양상을 평가하기 위해 여러 (ε, δ) 쌍을 활용할 수 있다. 예를 들어, 경미한, 중간의, 및 중대한 오류를 나타내기 위해 임계값 ε1＜ε2＜ε3을 선택하고, 각 임계값에 대해 다른 값의 δ를 설정할 수 있다. 이로써 다음과 같은 정의로 이어진다.
정의17 (PAC 감지 시스템)
Figure pct00401
가 (정확도, 신뢰도) 쌍이라고 하고, S가 감지 상태 영역이라고 하고, X가 미가공 센서 및 매핑 데이터 영역이라고 하고, D가 X × S 상의 분포라고 하고, A가 동작 공간이라고 하고,
Figure pct00402
가 품질 함수라고 하고,
Figure pct00403
가 되도록 S → A라고 할 때, 감지시스템
Figure pct00404
는 각
Figure pct00405
모두에 대해
Figure pct00406
인 경우 상기 파라미터에 대해 PAC(Probably-Approximately-Correct)이다.
여기서, 상기 정의는 X ×S 상의 분포 D에 달렸다. 중요한 것은 이 분포는 자율주행차의 특정 방침을 따르지 않고 많은 사람 운전자의 데이터를 기록하여 구성된다는 것이다. 자율주행차의 특정 방침을 따르는 것이 더 적절해 보이지만, 온라인 검증을 필요로 하기 때문에 감지 시스템의 개발이 현실적이지 못하게 된다. D에 대한 어떠한 적당한 방침의 영향도 사소하므로, 단순한 데이터 증강 방법을 적용하여 적절한 분포를 구성한 후, 감지 시스템의 각 주요 업데이트 후에 오프라인 확인을 수행할 수 있다. 상기 정의는
Figure pct00407
를 활용하여 충분한, 그러나 반드시 필요한 것이 아닌, 안락한 승차의 조건을 제공한다. 단기적인 잘못된 결정이 승차의 안락성에 미치는 영향이 거의 없다는 중요한 사실을 간과하고 있기 때문에 반드시 필요한 것이 아니다. 예를 들어, 전방 100미터에 차량이 있고, 호스트 차량보다 느린 속도인 것으로 가정하면, 최선의 결정은 서서히 가속을 시작하는 것일 것이다. 감지 시스템이 이 차량을 감지하지 못하지만 다음 순간에(100ms 후에) 검출한다면, 두 순간 사이의 차이는 미미할 것이다. 단순히 말해, 이러한 문제는 무시하고 더 강력한 조건을 요구했다. 멀티 프레임 PAC 정의로의 적응은 개념적으로 간단하지만 기술적으로 더 복잡하다.
다음으로, 상기 PAC 정의로부터 후속 설계 원칙을 도출한다. 앞서 설명한 여러 유형의 감지 오류에서, 부정 오류, 긍정 오류, 및 부정확한 의미론 유형의 오류는 관련 없는 물체(예, 직진하는 경우의 좌회전 신호)에 대한 것이거나 상기 정의의 δ 부분에 의해 캡처될 것이다. 따라서, 자주 발생하는 '부정확한 측정' 오류에 대해 집중하기로 한다.
약간은 의외이지만, 자아 정확도(ego-accuracy)를 통한 감지 시스템의 정확도를 측정(예, 모든 물체의 위치의 정확도를 호스트 차량에 상대적으로 측정)하는 흔한 접근 방식은 PAC 감지 시스템을 보장하기에 충분하지 않다는 것을 알 수 있게 된다. 이에 따라, PAC 감지 시스템을 보장하는 다른 접근 방식을 제시하고 효율적으로 확보하는 방법을 설명할 것이다. 일단, 몇 가지 추가적인 정의로부터 시작하기로 한다.
장면의 각 물체 o 모두에 대하여,
Figure pct00408
를
Figure pct00409
에 따른 호스트 차량의 좌표 시스템에서의 o의 위치라고 하면, o 와 호스트 차량 사이의 거리를
Figure pct00410
라고 할 때,
Figure pct00411
의 첨가 오류는
Figure pct00412
이고, o 와 호스트 차량 사이의 거리에 대한
Figure pct00413
의 상대적 오류는 상기 첨가 오류를
Figure pct00414
로 나눈 것, 즉,
Figure pct00415
이다.
멀리 있는 물체에 대해 첨가 오류가 적도록 요구하는 것은 현실적이지 않다. 사실, o 가 호스트 차량으로부터 150미터 떨어져 있는 차량이라고 하고,
Figure pct00416
가 보통 크기, 예를 들어
Figure pct00417
=0.1이라고 하면, 첨가 오류에 대하여, 차량의 위치를 10cm의 정확도까지 알아야 한다는 것을 의미한다. 이는 적절한 가격의 센서에 대해 현실적이지 않다. 반면에, 상대적 정확도에 대해, 15m의 정확도인 10%까지 위치를 추정할 필요가 있다. 이는 달성 가능하다(하기에 설명).
각 o ∈ O 모두에 대해
Figure pct00418
와
Figure pct00419
사이의 (상대적) 오류가 최대 인 경우, 감지 시스템
Figure pct00420
는 물체의 집합 O를
Figure pct00421
-자아 정확한(
Figure pct00422
-ego-accurate) 방식으로 위치한다. 다음의 예는
Figure pct00423
-자아 정확한 감지 상태가 모든 적절한 Q에 대하여 PAC감지 시스템을 보장하지 않는다는 것을 보여준다. 실제로, 호스트 차량이 30 m/s의 속도로 주행하고 있고 150미터 전방에 정지된 차량이 있는 상황을 고려하면, 이 차량이 호스트 차량의 차로에 있고 시간 내에 차로를 변경할 옵션이 없는 경우, 적어도 3m/s2로 지금 감속을 시작해야 한다(안 그러면, 시간 내에 정지를 못하거나 나중에 더 급감속을 해야 한다). 반면에, 차량이 도로변에 있는 경우, 급감속을 할 필요가 없다.
Figure pct00424
가 이 중의 한 경우이고,
Figure pct00425
가 이 중의 다른 경우이고, 이 두 위치 사이에 5미터의 차이가 있다고 하면,
Figure pct00426
의 상대적 오류는
Figure pct00427
이다.
즉, 감지 시스템은 작은 값의
Figure pct00428
(3.5% 오류 미만)에 대해
Figure pct00429
-자아-정확(
Figure pct00430
-ego-accurate) 할 수 있지만, 급제동을 해야 하는 상황과 급제동을 하지 않아도 되는 상황을 혼동하기 때문에, 모든 합리적 Q 함수에 대해, Q의 값들은 서로 완전히 다르다.
상기 예는
Figure pct00431
-자아 정확(
Figure pct00432
-ego-accurate)도가 감지 시스템이 PAC라고 보장하지 않는다는 것을 보여준다. PAC 감지 시스템에 적합한 다른 특성이 있는지 여부는 Q에 달렸다. PAC 감지 시스템을 보장하는 위치 잡기의 단순한 특성이 있는 일군의 Q 함수에 대해 설명할 것이다.
Figure pct00433
-자아정확(
Figure pct00434
-ego-accurate)도의 문제는 의미론적 오류로 이어질 수 있다는 것이다. 상기의 예에서,
Figure pct00435
가
Figure pct00436
＜3.5%로
Figure pct00437
-자아-정확(
Figure pct00438
-ego-accurate)했지만, 차량을 정확한 차로로 잘못 배정했다. 이 문제를 해결하기 위하여, 횡방향 위치에 대한 의미론적 단위에 의존한다.
정의18 (의미론적 단위) 차로 중앙은 자연스런 단순 곡선, 즉, 미분 가능한, 단사, 매핑 함수
Figure pct00439
이고, 여기서 각
Figure pct00440
모두에 대해 길이
Figure pct00441
는 t 2 - t 1 과 동일하다. 차로의 폭은 함수
Figure pct00442
이다. 곡선에 투영한 지점
Figure pct00443
은 곡선 상의 x에 가장 가까운 지점, 즉,
Figure pct00444
에 대한 지점
Figure pct00445
이다. 차로에 대한 x의 의미론적 종방향 위치는 t x 이고, 차로에 대한 x의 의미론적 횡방향 위치는
Figure pct00446
이다. 의미론적 속도와 가속도는 각각 상기의 제1 및 제2 미분계수이다.
기하학적 단위와 유사하게, 의미론적 종방향 거리에 대해 상대적 오류를 사용한다.
Figure pct00447
가 일부 물체에 대한
Figure pct00448
의 의미론적 종방향 거리를 유도하는 경우, 실제 거리는
Figure pct00449
이지만, 상대적 오류는
Figure pct00450
이다(여기서, 분모의 최댓값은 물체의 종방향 거리가 거의 동일한 경우(예, 다른 차로에서 바로 옆에 있는 차량)에 해당한다). 의미론적 횡방향 거리는 작기 때문에 첨부 오류를 사용할 수 있다. 이에 따라 다음의 정의가 가능하다.
정의19(의미론적 단위의 오류):
Figure pct00451
이 하나의 차로이고, 상기 차로에 대한 호스트 차량의 의미론적 종방향 거리가 0이라고 가정하고,
Figure pct00452
이 하나의 지점이고,
Figure pct00453
가 상기 차로에 대한 상기 지점까지의 의미론적 횡방향 및 종방향 거리라고 하고,
Figure pct00454
가 근사값이라고 가정하면, x에 대한
Figure pct00455
와
Figure pct00456
사이의 거리는
Figure pct00457
로 정의된다.
횡방향 및 종방향 속도의 거리는 유사하게 정의된다. 상기 정의가 내려짐에 따라, Q의 특성과 PAC 감지 시스템에 대한 상응하는 충분한 조건을 정의할 수 있다.
정의20(의미론적 립쉬츠(Semantically-Lipschitz) Q): 각
Figure pct00458
모두에대해
Figure pct00459
인 경우, Q 함수는 L-의미론적-립쉬츠이다. 여기서,
Figure pct00460
는 물체 o 상에서
Figure pct00461
에 의해 유도된 측정치이다.
즉각적으로 다음과 같이 귀결된다.
렘마8: Q는 L-의미론적-립쉬츠이고, 감지 시스템
Figure pct00462
는 적어도 1-δ의 확률로
Figure pct00463
가 되도록 의미론적 측정치를 생성하는 경우,
Figure pct00464
는 파라미터가 0, δ인 PAC 감지 시스템이다.
안전(Safety)
본 섹션에서는 원하지 않는 행동으로 이어질 수 있는 감지 오류에 대한 잠재성에 대해 설명한다. 앞서 설명한 바와 같이, 방침은 호스트 자율주행차의 과실인 사고로 이어지지 않을 것이라는 차원에서 아마도 안전하다. 이러한 사고는 하드웨어 고장(예, 센서 모두의 고장 또는 고속도로에서의 타이어 파손), 소프트웨어 고장(예, 일부 모듈 내의 심각한 버그), 또는 감지 오류로 인해 여전히 발생할 수 있다. 우리의 궁극적인 목표는 이러한 이벤트의 확률이 매우 작은 것(예를 들어, 10-9 의 시간당 사고 확률)이다. 2016년 기준으로 미국 운전자의 평균 도로 주행 시간은 300시간이 안 된다. 따라서, 이러한 세 가지 유형의 이벤트의 결과로 사고가 나려면 330만년을 살아야 한다.
우선, 안전 관련 감지 오류가 무엇인지를 정의한다. 앞서 본 바와 같이, 각 단계에서, 방침은 Q(s, α)를 극대화하는 α의 값을 선택한다. 즉,
Figure pct00465
이다. 신중하지 않은 각 동작 α에 대해, Q(s, α)= -∞라고 함으로써 안전을 보장할 수 있다(정의 14 참조). 따라서, 첫번째 유형의 안전 결정적 감지 오류는 감지 시스템이 안전하지 않은 동작을 선택하는 것이다. 형식상,
Figure pct00466
를 s^에 따른 결정이라고 하면,
Figure pct00467
인 경우에 안전 결정적 누락으로 이어진다고 할 수 있다. 두번째 유형의 안전 결정적 감지 오류는 모든 동작이
Figure pct00468
에 따라 안전하지 않은 것이고, s에 따르면 안전한 동작이 있지만, 즉,
Figure pct00469
이지만, 표준 비상 방침(예, 급제동)을 적용해야 하는 것이다. 이는 속도가 높고 후방에 차량이 있는 경우에 위험하다. 이런 오류는 안전 결정적 유령(safety-critic ghost)이라고 부른다.
보통, 안전 결정적 누락은 부정 오류에 기인하고, 안전 결정적 유령은 긍정 오류에 기인한다. 이러한 오류들은 매우 부정확한 측정에 기인할 수도 있지만, 대부분의 경우, 안락 목표는 안전 정의의 경계로부터 멀도록 하므로 어느 정도의 측정 오류가 안전 결정적 오류로 이어질 가능성은 작다. 어떻게 하면 안전 결정적 오류의 확률이 매우 낮도록, 예를 들면 시간당 10-9 미만이 되게 할 수 있을까 렘마 1에서처럼, 추가적인 가정을 하지 않고, 109 이상의 주행 시간에 대해 시스템을 확인해야 한다. 이는 비현실적(또는 적어도 매우 어려움)으로, 1년에 330만 대 차량의 주행을 기록하는 것과 같다. 또한, 이렇게 높은 정확도를 달성하는 시스템을 구축하는 것은 매우 어려운 일이다. 시스템 설계와 검증 문제에 대한 솔루션은 여러 서브 시스템(sub-system)에 의존하는 것이며, 여기서 각 서브 시스템은 서로 다른 기술에 의존하고 개별적으로 생성되어 개별적 정확도를 향상하도록 서로 융합된다.
s 1 , s 2, s 3로 표기되는 3개의 서브 시스템을 구축한다고 가정하면(3개 이상도 마찬가지), 각 서브 시스템은 α를 수신하고 안전/비안전을 출력해야 한다. 과반수의 서브 시스템(이 경우, 2개의 서브 시스템)이 안전한 것으로 인정하는 동작이 안전한 것으로 고려된다. 적어도 2개의 서브 시스템에 의해 안전한 것으로 고려되는 동작이 없는 경우, 디폴트 비상 방침이 적용된다. 이러한 융합 스키마의 성능은 다음과 같은 정의에 의거하여 다음과 같이 분석된다.
정의21 (일측 c-근사 독립): 두 개의 베르누이 랜덤 변수(Bernoulli random variables) r 1 , r 2 는
Figure pct00470
인 경우에 일측 c-근사 독립(one side c-approximate independent)이라 불린다.
i 0 {1,2,3}에 대하여, 서브 시스템 i가 각각 안전 결정적 누락/유령을 수행하는지 여부를 나타내는 베르누이 랜덤 변수를
Figure pct00471
로 표기한다. 마찬가지로,
Figure pct00472
는 융합 시스템의 안전 결정적 누락/유령을 나타낸다.
Figure pct00473
인 모든 쌍에 대하여, 랜덤 변수
Figure pct00474
은 일측의 c-근사 독립이라는 가정에 의존하고,
Figure pct00475
에 대해서도 마찬가지이다. 이 가정이 합리적인 이유를 설명하기 이전에, 이것이 시사하는 바를 먼저 분석하기로 한다.
Figure pct00476
의 확률은 다음으로 경계를 지을 수 있다.
Figure pct00477
따라서, 모든 서브 시스템이
Figure pct00478
이면,
Figure pct00479
이다. 안전 결정적 유령 오류에 대해서도 완전히 동일한 도출이 성립된다. 따라서, 합집합 한도(union bound)를 적용함으로써, 다음과 같은 결론을 내릴 수 있다.
귀결2 :
Figure pct00480
인 모든 쌍에 대하여, 랜덤 변수
Figure pct00481
가 일측의 c-근사 독립인 것으로 가정하고,
Figure pct00482
에 대해서도 동일한 가정이 성립된다고 가정하고, 모든 i에 대하여
Figure pct00483
및
Figure pct00484
라고 가정하면,
Figure pct00485
이다.
이러한 귀결로 인해, 감지 시스템을 확인하기 위해 상당히 작은 데이터 세트를 사용할 수 있다. 예를 들어, 10-9 확률의 안전 결정적 오류를 달성하고자 한다면, 약 109의 사례 대신에 약 105의 사례로도 충분히 시스템을 개별적으로 검사할 수 있다.
서로 상관없는 오류를 내는 센서의 쌍이 있을 수 있다. 예를 들면, 레이더는 나쁜 기후 조건에서는 잘 작동하지만 연관없는 금속 물체로 인해 오류를 낼 수 있는 반면, 카메라는 나쁜 기후에 영향을 받지만 금속 물체에는 영향을 받을 가능성이 작다. 카메라와 라이더는 같은 이유의 오류가 있을 수 있다. 예를 들면, 카메라와 라이더 모두 안개, 호우, 눈 등의 영향을 받는다. 그러나 카메라와 라이더에 대한 오류의 유형은 다를 수 있다. 예를 들면, 카메라는 나쁜 기후로 인해 물체를 누락할 수 있지만, 라이더는 대기 중의 입자로부터의 반사로 인해 유령을 검출할 수 있다. 두 유형의 오류를 구별하였으므로, 근사 독립성이 여전히 성립될 가능성이 크다고 할 것이다.
안전에 중요한 유령의 정의가 성립하려면 모든 동작이 적어도 두 센서에 의해 안전하지 않아야 한다. 어려운 조건(예, 짙은 안개)에서도, 이런 일이 발생할 가능성은 작다. 이는, 이러한 상황에서는 어려운 조건에 영향을 받는 시스템(예, 라이더)은 고속과 횡방향 조작이 안전하지 않은 동작이라고 판단함으로써 매우 방어적인 주행을 지시할 것이기 때문이다. 그 결과, 호스트 자율주행차는 저속으로 주행할 것이고, 비상 정지가 요구되더라도 저속 주행으로 인하여 위험하지 않을 것이다. 따라서, 본 정의는 주행 방식이 도로의 조건에 적응하게 한다.
확장 가능한 감지 시스템의 구축
안락(comfort)과 안전의 차원에서의 감지 시스템으로부터의 요건에 대하여 설명하였다. 다음으로, 이러한 요건을 충족하면서 확장 가능한 감지 시스템의 구축을 위한 접근 방식에 대해 설명하기로 한다. 감지 시스템에는 세 가지 주요 요소가 있다. 첫째는 카메라에 기반한 긴 범위의 360도 커버리지이다. 카메라의 3가지 주요 장점은 (1) 고해상도, (2) 질감, (3) 가격이다. 낮은 가격은 시스템을 확장 가능하게 해준다. 질감은 차로 표시, 신호등, 보행자의 의도 등을 포함하는 장면의 의미론을 이해하게 해준다. 고해상도는 긴 범위의 검출을 가능하게 해준다. 나아가, 동일한 영역에서 차로 표시와 물체를 검출함으로써 훌륭한 의미론적 횡방향 정확도가 가능하다. 카메라의 2가지 주요 단점은, (1) 정보가 2차원적이고 종방향 거리의 추정이 어렵다는 것과, (2) 조명 조건(예, 어두운 햇빛, 나쁜 날씨)에 민감하다는 것이다. 감지 시스템의 나머지 두 요소를 활용하여 이러한 문제를 극복한다.
시스템의 두 번째 요소는 REM(Road Experience Managemen)으로 불리는 의미론적 고화질 매핑 기술(도로 구간에 대해 미리 정해지고 저장된 목표 궤적에 의거한 항법 및 호스트 차량의 주변상황에서 식별된 인지된 랜드마크의 위치(예, 이미지 내의 위치)에 의거하여 목표 궤적 상의 정확한 위치를 판단하는 능력을 포함)이다. 지도 생성의 일반적인 기하학적 접근 방식은 맵 생성 프로세스에서 3D 지점(라이더에 의해 확보)의 클라우드를 기록한 후에 기존의 라이더 지점을 지도 내의 지점과 일치하여 지도상의 위치 확인을 하는 것이다. 이러한 접근 방식에는 몇 가지 단점이 있다. 첫째, 많은 지점을 저장해야 하므로, 매핑 데이터에 필요한 거리당 메모리가 크다. 이는 고가의 통신 인프라를 필요로 한다. 둘째, 모든 차량이 라이더 센서를 구비한 것이 아니므로, 지도 업데이트의 빈도가 매우 낮다. 도로 내 변경(예, 공사 구간, 위험물)이 발생할 수 있으므로, 이는 문제가 되고, 라이더 기반 매핑 솔루션의 '현실 반영 시간'이 길다. 반면, REM은 의미론 기반의 접근 방식을 따른다. 즉, 장면에서 의미론적으로 유의미한 물체(예, 차로 표시, 도로 경계석, 기둥, 신호등 등)를 검출하는 소프트웨어와 카메라를 구비한 많은 수의 차량을 활용한다는 개념이다. 오늘날, 많은 신형 차량들은 크라우드소싱 된 맵 생성을 위해 활용될 수 있는 ADAS 시스템을 구비하고 있다. 처리가 차량 측에서 이루어지기 때문에, 적은 양의 의미론적 데이터만 클라우드로 통신되면 된다. 이에 따라, 지도가 확장 가능한 방법으로 매우 빈번하게 업데이트 될 수 있다. 또한, 자율주행차는 기존의 통신 플랫폼(이동통신망)을 통해 작은 크기의 매핑 데이터를 수신할 수 있다. 최종적으로, 고가의 라이더가 필요없이, 카메라에 의거하여 매우 정확한 위치가 지도 상에서 확보될 수 있다.
REM은 몇 가지 목적을 위해 사용될 수 있다. 첫째, 도로의 정적인 구조에 대한 예지력을 제공한다(예, 고속도로 출구에 대해 아주 일찍 계획할 수 있다). 둘째, 정적 정보 전체의 또 다른 정보 소스가 되어 카메라 검출과 함께 세상의 정적인 부분의 강건한 시야를 제공한다. 셋째, 2D 정보를 이미지 면에서 3D 세상으로 올리는 문제를 해결한다. 지도는 3D 세상에서 모든 차로를 곡선으로 묘사한다. 지도 상에서 자체 차량의 위치를 확정하면 도로상의 모든 물체 각각을 이미지 면으로부터 그 물체의 3D 위치로 평범하게 올릴 수 있다. 이로써, 의미론적 단위로 정확성을 고수하는 위치 결정 시스템이 가능하다. 시스템의 세 번째 요소는 상호 보완적인 레이더 및 라이더 시스템일 수 있다. 이 시스템들은 두 가지 목적을 위한 것일 수 있다. 첫째, 안전의 증강을 위해 극도로 높은 수준의 정교함을 제공할 수 있다. 둘째, 탑승의 안락함을 더욱 향상시키는 속도와 거리에 대한 직접적인 측정을 제공할 수 있다.
다음은 RSS 시스템의 기술적 렘마와 몇 가지 현실적 고려사항이다.
렘마9: 모든
Figure pct00486
에 대하여,
Figure pct00487
가 성립된다.
입증:
Figure pct00488
라고 할 때, 우리의 목표는
Figure pct00489
에 대하여 ≥0임을 입증하는 것이다.
Figure pct00490
이므로, 상기 범위에서
Figure pct00491
이 성립되기에 충분하다. 명시적으로,
Figure pct00492
이다. 분명히,
Figure pct00493
이고 단조적으로 감소하고 있으므로,
Figure pct00494
임을 확인하기에 충분하고, 간단히 계수적으로
Figure pct00495
이다.
효율적인 조심성 검증 - 가려진 물체
가려지지 않은 물체와 마찬가지로, 현재의 명령 DEP를 내리는 것이, 그리고 그 이후가, RSS인지 여부를 확인할 수 있다. 이를 위해, 노출 시간이 1이라고 가정하에 t brake까지 미래를 펼친 후, 정의상 조심성을 위해 충분한 DEP를 명령한다. 모든
Figure pct00496
에 대해, 가려진 물체에 대한 최악의 경우를 가정하는 경우, 과실성 사고가 발생할 수 있는지 여부를 확인한다. 최악의 경우 동작과 안전 거리 규칙의 일부를 사용한다. 가리는 물체에 기반한 접근 방식을 택하여 관심 지점을 검색한다. 즉, 가리는 물체 각각에 대하여, 최악의 경우를 계산한다. 이는 중대한 효율 구동 접근 방식이다. 예를 들면, 보행자는 차량 뒤의 많은 위치에서 가려질 수 있고 많은 동작을 수행할 수 있지만 수행할 수 있는 단일의 최악의 위치가 있다.
다음으로, 더욱 자세한 경우로, 가려진 보행자의 경우를 고려하고, 주차된 차량 뒤쪽에 가려진 영역이 있다고 하자. 가려진 영역의 가장 가까운 지점과 우리 차량 c의 정면/측면은 예를 들어 기하학적 특성(삼각형, 사각형 등)에 의해 검색될 수 있다. 형식상, 가려진 영역을 단순한 형상의 적은 수의 볼록 영역의 합집합으로 간주하고 각각을 개별적으로 취급할 수 있다. 또한, 보행자가 가장 짧은 경로를 활용하여 가려진 영역으로부터 차량의 앞으로 뛰어들 수 있는(
Figure pct00497
하에서) 경우에만 그렇게 할 수 있음을 알 수 있다. 보행자가 이동할 수 있는 최대 거리가
Figure pct00498
'라는 사실을 통해, 전면 충돌의 가능성을 간단히 확인할 수 있다. 측면 충돌에 대해서는, 경로가
Figure pct00499
보다 짧은 경우, 우리의 횡방향 속도가 충돌의 방향에서 μ보다 작은 경우에만 우리에게 책임이 있다는 것을 알 수 있다. 가려진 보행자에 대한 조심성을 확인하기 위한 알고리즘이 기재되며, 여기서는 개방 의사 코드(free pseudo code)로 기재된다. 차량에 의해 가려진 보행자와의 과실성 사고의 가능성의 존재를 확인하는 중요한 부분은 아래에 기재된 간단한 방법으로 수행된다.
Figure pct00500
시뮬레이터 검증 문제
앞서 설명한 바와 같이, 멀티 에이전트 안전은 '온라인' 방식으로 검증돼야 하기 때문에 통계적으로 검증하기가 어려울 수 있다. 주행 환경의 시뮬레이터를 구성함으로써 주행 방침을 '실험실'에서 검증할 수 있다고 생각할 수 있다. 그러나 시뮬레이터가 현실을 있는 그대로 나타냄을 검증하는 것은 방침 그 자체를 검증하는 것만큼 어려운 일이다. 그 이유를 이해하기 위해, 주행 방침 π를 시뮬레이터에 적용하면
Figure pct00501
의 사고 확률로 이어진다는 차원에서 시뮬레이터가 검증된다고 가정하고, 실세계에서 π의 사고 확률이 p이고,
Figure pct00502
이라고 가정하자. (0이 10-9보다 작아야 한다.) 다음으로, 주행 방침이 π'가 되도록 대체한다. 10-8의 확률로, π'는 사람 운전자를 혼란스럽게 하고 사고로 이어지는 이상한 동작을 수행한다고 가정하자. 이러한 이상한 동작은, 원래의 방침 π의 수행을 추정하는 훌륭한 능력에 모순되지 않고는, 시뮬레이터에서 모델링 될리 없다(또는 가능성이 작다). 따라서, 시뮬레이터가 주행 방침 π에 대해 현실을 반영하는 것으로 알려졌어도, 다른 주행 방침에 대해 현실을 반영할 것으로 보장할 수 없다는 것을 입증한다.
차로 기반의 좌표 시스템
RSS 정의에서, 도로는 인접하고, 똑바르고, 폭이 일정한 차로로 구성된다고 단순하게 가정할 수 있다. 횡방향 축과 종방향 축 사이의 구별과 종방향 위치의 순서는 RSS에서 중요한 역할을 할 수 있다. 또한, 이러한 방향은 명백히 차로 형상에 의거하여 정의된다. 평면상의 (글로벌) 위치로부터 차로 기반 좌표 시스템으로의 변형은 원래의 '일정한 폭의 직선 차로' 경우에 대한 문제를 줄여준다.
차로의 중앙이 평면상의 부드럽게 진행되는 커브 r이고, r (1),... ,r ( k )로 표기되는 각 부분이 선형 또는 원호라고 가정하자. 커브가 부드럽다는 것은 한 쌍의 연속된 부분이 선형인 부분이 없다는 것을 시사한다. 형식상, 이 커브는 '종방향' 파라미터
Figure pct00503
를 평면으로 매핑한다. 즉, 이 커브는 형식
Figure pct00504
의 함수이다. 종방향 위치 Y를 양수의 차로폭 값으로 매핑하는 연속 차로폭 함수를
Figure pct00505
로 정의한다. 각 Y에 대해, r의 완만함으로부터, 위치 Y에서 커브에 대한 법선 단위-벡터(normal unit-vector)를 정의하고
Figure pct00506
로 표기한다. 따라서, 차로 내에 있는 평면 상의 지점의 서브세트를 다음과 같이 정의한다.
Figure pct00507
비형식적인 목표는 차로 상에 있는 두 대의 차량에 대하여 '논리적 순서'가 보존되도록 R의 변형φ를 구성하는 것이다. 커브 상에서 c r 이 c f 의 '뒤'에 있는 경우, φ(c r ) y < φ(c f ) y 이다. 커브 상에서 c l 이 c r 의 '좌측'에 있는 경우, φ(c l )x < φ(c r )x이다. 여기서, RSS에서와 같이, y축은 '종방향' 축이고, x축은 '횡방향' 축이다.
φ를 정의하기 위하여, 모든 i에 대하여, r ( i )가 반지름이 ρ인 원호인 경우, r ( i )의 전체 차로의 폭은 ≤ρ/2라는 가정을 따른다. 이 가정은 모든 실제 도로에 성립된다. 사소하지만 본 가정은 모든
Figure pct00508
에 대하여,
Figure pct00509
를 성립하는 고유한
Figure pct00510
쌍이 있다는 것을 시사한다. 이제,
Figure pct00511
가 되도록 정의할 수 있고, 여기서
Figure pct00512
를 만족하는 고유의 값이다.
본 정의는 '횡방향 동작'의 개념을 차로의 좌표 시스템으로 포착한다. 일례로, 폭이 넓어지는 차로에서 차량이 정확히 이 차로의 한 가장자리 상에서 주행하고 있는 경우(도23 참조)를 보자. 차로(2301)이 넓어진다는 것은 차량(2303)이 차로의 중앙으로부터 멀어지고 있다는 것을 의미하고, 따라서 차로에 대해 횡방향 속도가 있다는 것을 의미한다. 그러나, 그렇다고 횡방향 동작을 수행하고 있다는 의미는 아니다. φ(x', y') x = α'의 정의, 즉, 차로의 중앙까지의 w(Y')-단위의 횡방향 거리가 시사하는 것은 차로 가장자리의 고정 횡방향 위치는 ±1/2이라는 것이다. 따라서, 차로 가장자리 중의 하나에 붙어있는 차량은 횡방향 이동을 하고 있는 것으로 고려되지 않는다. 최종적으로, 가 준동형(homomorphism)임을 알 수 있다. 차로 기반 좌표 시스템이라는 용어는 (R) = [Ymin, Ymax]× [±1/2]를 설명할 때 사용된다. 따라서 일반적인 차로 기하학으로부터 단순화한 직선의 종방향/횡방향 좌표 시스템을 확보했다.
일반적인 도로 구조로의 RSS 연장
이하, 모든 도로 구조에 성립되는 RSS의 완전한 정의에 대해 설명한다. 여기서는 RSS의 정의에 대해 설명하고, 방침이 RSS를 준수하도록 하는 효율적인 방법에 대해서는 설명하지 않는다. 다음으로, 경로 우선권의 개념을 소개하고 단일 차로 기하학 이상이 존재하는 상황, 예를 들어, 교차로를 예시한다.
두 번째 일반화는 서로 반대 방향으로 주행하는 두 대의 차량이 있을 수 있는 양방향 도로에 관한 것이다. 이 경우에서, 이미 확립한 RSS 정의는 그대로 유효하지만, 맞은편 차량에 대한 '안전 거리'에 대해서만 사소하게 일반화한다. 통제된 교차로(교통 흐름을 지시하는 신호등을 사용하는 교차로)는 경로 우선권과 양방향 도로의 개념에 의해 완전히 처리될 수 있다. 선명한 경로 정의가 없는 체계가 없는 도로(예, 주차장)도 RSS로 처리될 수 있다. RSS는 이 경우에 대해서도 유효하고, 가상 경로를 정의하는 방법과 각 차량을 경로에 배정하는 방법만 변경하면 된다.
경로 우선권
이제, 경로 우선권의 개념을 소개하고 한 장면에 복수의 서로 다른 도로 기하가 있고 특정 구역에서 서로 겹치는 상황에 대해 다루기로 한다. 도 24의 (A) 내지 (D)에 도시된 바와 같은 예시에는 로터리, 교차로, 및 고속도로 입구가 포함되어 있다. 종방향 축과 횡방향 축에 대한 일관된 의미로 일반적인 차로 기하를 차로 기반 기하로 변형하는 방법을 설명하였다. 이제, 서로 다른 도로 기하를 가진 복수의 경로가 있는 상황을 다룬다. 두 차량이 겹치는 구역에 접근하는 경우, 두 차량 모두 상대방의 전방 통로로 끼어들기를 수행하게 된다. 이런 현상은 두 경로의 기하가 동일한 경우(예, 고속도로의 인접한 두 차로의 경우)에 발생할 수 없다. 개략적으로 말해서, 경로 우선권의 원칙에 따르면, 경로 r 1, r 2가 서로 겹치고 r 1이 r 2보다 우선권이 있는 경우, r 2에서 오는 차량의 전방 통로로 들어오는 r 1에서 오는 차량은 끼어들기를 하는 것으로 고려되지 않는다고 할 수 있다.
개념을 형식적으로 설명하기 위하여, 앞서 설명한 바와 같이, 사고의 과실은 차로의 좌표 시스템으로부터 도출되는 기하학적 특성 및 이에 의존하는 최악의 경우 가정에 달렸다. r 1,... ,r k 가 도로의 구조를 정의하는 경로라고 가정하자. 단순한 예로, 도 24의 (a)에 도시된 바와 같은 병합 상황을 보기로 한다. 참조 번호 2401(c 1)과 2402(c 2)로 표시된 두 대의 차량이 각각 경로 r 1, r 2 상에서 주행하고 있고, r 1이 선행권이 있는 도로라고 가정하기로 한다. 예를 들어, r 1은 고속도로 차로이고, r 2는 병합 차로라고 가정한다. 각 경로에 대한 경로 기반의 좌표 시스템을 정의함에 따라, 모든 동작을 모든 경로의 좌표 시스템으로 고려할 수 있음을 알 수 있다. 예를 들면, r 2의 좌표 시스템을 사용하는 경우, r 1 상의 직진 주행은 r 2의 좌측 차로로 병합해 들어오는 것으로 보인다. RSS의 정의에 대한 한가지 접근 방식은, r i 에 대하여 안전한 경우,
Figure pct00513
인 경우에만 각 차량이 동작을 수행할 수 있다는 것일 수 있다. 그러나 이는, c2는 정확히 경로 상에서 주행할 수 있으므로 횡방향 위치에 의한 승리(win by lateral position)를 할 수 있기 때문에, 선행권이 있는 경로 상에서 주행하는 c1이 병합 차로인 c2에 대하여 매우 보수적이어야 함을 시사하는 것이다. 이 경우에 고속도로상의 차량들이 선행권이 있기 때문에, 이는 자연스럽지 않다. 이 문제를 극복하기 위하여, 경로 우선권이 정의된 특정 구역을 정의하고, 경로들의 일부만이 안전에 대해 유의미한 것으로 고려한다.
정의 22 (사고 책임과 경로 우선권) 서로 겹치는 서로 다른 기하를 가진 두 경로를 r 1 , r 2 라고 하고, r 1 좌표 시스템의 종방향 간격 [b, e] (도25)에서 r 1 이 r 2 보다 우선권이 있다는 것을
Figure pct00514
로 표시하고, 경로 r 1 , r 2 상에서 주행하는 차량 c 1 , c 2 간에 사고가 났다고 가정하고,
Figure pct00515
에 대해,
Figure pct00516
가 r i 의 좌표 시스템의 관점에서 사고의 과실이 있는 차량을 나타낸다고 하면, 사고의 과실은 다음과 같다.
ㆍ
Figure pct00517
, r 1 에 대한 과실 시간에 이 중 한 대의 차량이 r 1 시스템의 종방향 축의 간격 [b, e]에 있었다면, 과실은 b 1 에 따른다.
ㆍ그렇지 않은 경우, 과실은
Figure pct00518
에 따른다.
이 정의를 설명하기 위하여, 고속도로로의 병합 예시를 다시 보기로 한다. 도 25에서 'b'와 'e'로 표시된 선은 r 1 >[b,e] r 2인 b, e의 값을 나타낸다. 따라서, 차량들이 자연스럽게 고속도로상에서 주행하도록 함과 동시에, 병합하는 차량은 이 차량들에 대해 안전해야 한다는 것을 시사한다. 특히, c 1 차량(2401)이 우선권이 있는 차로의 중앙에서 횡방향 속도가 없이 주행하는 경우에, c 2 차량(2402)이 안전한 거리로 c 1차량(2401)의 통로로 끼어들지 않는 한, 우선권이 없는 차로로 주행하는 c 2차량(2402)과의 사고에 대해 c 1차량(2401)에게 과실을 묻지 않을 것이다. 여기에서 볼 수 있듯이, 최종 결과는 일반적인 RSS와 매우 유사하다. 즉, 직선 도로상의 차량이 차로 변경을 시도하는 경우와 완전히 동일하다. 다른 에이전트에 의해 사용되는 경로을 모르는 경우도 있을 수 있다. 예를 들면, 도 26에서, 차량(2601)은 차량(2602)이 'a' 경로를 택할지 또는 'b' 경로를 택할지 판단할 수 없을 수 있다. 이러한 경우, RSS는 모든 가능성을 반복적으로 확인함으로써 확보될 수 있다.
양방향 통행
양방향 통행을 처리하기 위하여, 전방/후방 관계에 의존하는 부분은 양방향 통행의 경우에서 서로 약간 다른 의미를 가지므로 이러한 부분을 더 분명하게 함으로써 과실의 정의를 수정한다. 2차선 직선 도로상에서 서로 반대의 종방향으로 달리는, 즉,
Figure pct00519
인 두 대의 차량 c 1, c 2가 있다고 하면, 주차된 화물차를 피하기 위해 반대 차로로 벗어나는 차량이나 주차할 자리로 들어가려고 후진하는 차량과 같이, 차로에 대한 주행 방향은 일반적인 도심 상황에서 마이너스(negative)일 수 있다. 따라서, 앞서 마이너스 횡방향 속도가 비현실적인 것으로 가정한 경우에 대해 소개한 안전 종방향 거리의 정의를 확대할 필요가 있다. 앞서, c f 에 의한 최대 제동이 c r 이 c f 에 추돌하기 전에 대응할 충분한 시간을 줄 수 있는 경우에 c r , c f 사이의 거리는 안전하다고 하였다. 우리의 경우에서, 반대 차량에 의한 '최악의 경우'를 다시 약간 다른 식으로 고려한다. 물론, '최악의 경우'에서 차량이 돌진해 들어올 것이라고 가정하지는 않고, 실제로는 적당한 제동력만으로 제동을 하여 충돌을 피할 것이다. 차량 사이의 책임 차이를 포착하기 위하여, 차량 중의 한 대가 반대 방향으로 주행하는 것이 명백한 경우, '올바른' 주행 방향을 정의하는 것부터 시작한다.
평행 차로에 대한 RSS 정의에서, 연관 차로는 그 차로의 중앙이 끼어들기 위치와 가장 가까운 차로로 정의되었다. 이제 이러한 차로(또는 대칭의 경우, 정의 22에서와 같이 두 차로를 개별적으로)에 국한하여 설명할 수 있다. 하기의 정의에서, '진행 방향'이라는 용어는 종방향 속도로 나눈 횡방향 속도의 아크탄젠트(라디안으로 표시)를 말한다.
정의23 (정확한 주행 방향에 의한 ( μ 1 , μ 2 , μ 3 )-승리) c 1 , c 2 가 서로 반대 방향으로 주행하고 있고, 즉,
Figure pct00520
이라고 가정하고, x i ,h i 가 차로에 대한 이 차량들의 횡방향 위치와 진행 방향이라고 하면, 다음의 조건이 성립되면 c 1 이 정확한 주행 방향에 의한 (μ 1, μ 2, μ 3 )- 승리한다고 할 수 있다.
Figure pct00521
,
Figure pct00522
,
Figure pct00523
.
이러한 이벤트의 지시자는 WCDD(i)로 표시한다.
풀어서 설명하면, c 2가 반대 방향으로 가는 반면에, c 1이 올바른 방향으로 차로 중앙에 가까이 주행하면 c 1이 승리하는 것이다. 최대 한 대까지만 승리할 수 있다. 여기에 설명한 상황에서 사고가 있다고 가정하면, 정확한 주행 방향에 의해 패배하는 c 1 차량에 더 큰 책임을 묻는 것이 당연하다 할 것이다. 이는 차량이 정확한 주행 방향에 의해 승리하는 경우에 대해 αmax,brake를 재정의 함으로써 이루어진다.
정의 24 (적절한 제동력) α max,brake,wcdd > 0 이 α max,brake 보다 작은 상수라고 하고, c 1, c 2 가 서로 반대 방향으로 주행하고 있다고 가정하면, RBP i 로 표시되는 각 차량 c i 의 적절한 제동력은, c i 이 정확한 주행 방향에 의해 (μ 1, μ 2, μ 3 )-승리하는 경우, α max,brake,wcdd 이고, 그렇지 않은 경우, α max,brake 이다.
정확한 주행 방향에 의한 승리/패배의 경우에 대한 αmax,brake,wcdd, αmax,brake의 정확한 값은 정의돼야 하는 상수이고, 각 차량이 주행하는 도로의 유형과 차로에 달렸다. 예컨대, 도심의 좁은 도로에서, 정확한 주행 방향에 의한 승리가 훨씬 작은 제동력을 시사하는 것이 아니다. 빈번한 교통에서, 다른 차량이 명백히 자기 차로로 이탈해 들어오는지 여부에 관계없이, 유사한 제동력을 가할 것으로 예상할 수 있다. 그러나 고속 주행이 허용되는 2차선 시골 도로의 예를 고려해보면, 반대편 차로로 이탈하는 경우, 정확한 방향으로 주행하는 차량이 호스트 차량과의 충돌을 피하기 위해 매우 강한 제동력을 가할 것으로 기대할 수 없다(호스트 차량에게 더 큰 책임을 물을 것임). 두 차량이 동일한 차로에 있고 그 중의 한대가 주차할 자리로 후진하는 경우에 대해서는 서로 다른 상수가 정의될 수 있다.
다음으로, 서로 반대 방향으로 주행하는, 그리고 그 정확한 값을 도출하는 차량 사이의 안전 거리를 정의한다.
정의25 (안전한 종방향 거리 - 양방향 통행): 서로 반대 방향으로 주행하고 서로의 전방 통로에 있는 차량 c 1 과 다른 차량 c 2 사이의 종방항 거리는 가속 명령 a에 대해 반응 시간 ρ까지 c 1 , c 2 에 의해 수행되는 |a| < α max,accel 인 경우에 반응 시간 ρ에 대해 안전하고, c 1 , c 2 가 시간 ρ로부터 완전히 정지할 때까지 적절한 제동력을 가할 경우, 서로 충돌하지 않을 것이다.
렘마10: c 1 , c 2 를 정의 25에서와 같이 정의하고, RBP i , α max,accel 을 적절한 제동 명령(각 i에 대해)과 가속 명령이라고 하고, ρ를 차량의 반응 시간이라고 하고, v 1 ,v 2 를 차량의 종방향 속도라고 하고, l 1 ,l 2 를 차량의 길이라고 하고, v i,ρ,max = |v i | + ρ * α max,accel 라고 정의하고, L = (l r + l f )/2.라고 하면, 최소의 안전 종방향 거리는 다음과 같다.
Figure pct00524
상기 합의 항은 정의25의 동작을 수행함에 있어서 각 차량이 완전 정지할 때까지 이동한 최대 거리임을 알 수 있다. 따라서, 완전 정지가 L보다 큰 거리가 되기 위해서는, 초기 거리는 상기 합과 L의 추가 항보다 커야 한다.
정의 25에서 정의된 안전하지 않은 종방향 거리와 동일한 RSS의 과실 시간 정의가 양방향 통행 상황에 대한 과실/사고 책임을 정의하기 위해 사용된다.
정의 26 (양방향 통행에서의 과실) 서로 반대 방향으로 주행하는 c 1 , c 2 사이의 양방향 통행에서의 사고 과실은 과실 시간의 상태의 함수이고, 다음과 같이 정의된다.
ㆍ과실 시간이 끼어들기 시간이기도 한 경우, 과실은 일반적인 RSS 정의와 동일하게 정의된다.
ㆍ그렇지 않은 경우, 각 i에 대하여, 과실 시간 이후의 시간 t에 c i 가 적어도 RBP i 의 제동력으로 제동하지 않은 경우, 과실은 c i 에 있다.
예를 들어, 과실 시간 이전에 안전한 끼어들기가 발생한 경우를 가정하자. 예를 들면, c 1이 안전한 거리를 두고 반대 차로로 이탈하고 c 2의 통로로 끼어들기를 수행했다. C 2는 정확한 주행 방향에 의해 승리(win by correct driving direction)하므로 이 거리는 매우 클 수 있다. 즉, C 2가 강한 제동력을 사용하지 않고 적당한 제동력만을 사용할 것이라고 예상된다. 그렇다면, 두 차량 모두 서로를 충돌하지 않을 책임이 있다. 그러나 끼어들기가 안전한 거리를 두고 일어나지 않았다면, 일반적인 정의를 사용하고, C 2가 자기 차로의 중앙에서 주행하고 횡방향 이동이 없었다면 과실을 묻지 않을 것이다. 과실은 C 1에게만 물을 것이다. 이로 인해, 차량은 안전하지 않기 자기 통로로 이탈해 들어올지도 모르는 교통에 대해 우려하지 않으면서 자기 차로의 중앙에서 자연스럽게 주행할 수 있다. 반면에, 번잡한 도심 교통에서 흔히 필요한 동작인 반대 차로로의 안전한 이탈은 허용된다. 후진 주차 동작을 시도하는 차량의 예를 고려하면, 차량은 후방의 차량까지의 거리가 안전한 것을 확인하면서 후진을 시작해야 한다.
신호등
신호등이 있는 교차로를 포함하는 상황에서, 신호등 상황에 대한 단순한 규칙이 '한 차량의 경로는 녹색 신호등이고 다른 차량의 경로는 적색 신호등이면 적색 신호등 경로의 차량이 과실'이라고 생각할 수 있다. 그러나 이는 올바른 규칙이 아니고, 모든 경우에서는 특히 그렇다. 도 27에 도시된 예를 보면, 차량(2701)이 녹색 신호등이 켜진 경로에 있어도, 이미 교차로에 진입해 있는 차량(2703)을 무시할 것으로 기대하지 않는다. 올바른 규칙은 녹색 신호등이 켜진 경로는 적색 신호등이 켜진 경로보다 우선권이 있다는 것이다. 따라서, 신호등으로부터 앞서 설명한 경로 우선권의 개념으로 명백하게 단순화할 수 있다.
체계 없는 도로
명백한 경로 기하가 정의되지 않은 도로에 대해 설명하기 위해, 우선 차로 구조가 전혀 없는 상황(예, 주차장)을 예를 들어본다. 사고가 일어나지 않게 하는 한 가지 방법은 모든 차량이 직선으로 주행하게 하고 진행 방향을 변경하는 경우에는 주변에 가까이 있는 차량이 없는 경우에만 하게 하는 것이다. 이렇게 하는 논리적 근거는, 차량은 다른 차량이 무얼 할지를 예측할 수 있고 이에 따라 행동할 것이라는 것이다. 다른 차량이 이 예측에서 벗어나면(예, 진행 방향 변경), 충분히 긴 거리를 두고 하고, 따라서 이 예측을 수정할 시간이 충분할 수 있다. 차로 구조가 있는 경우, 다른 차량이 어떻게 행동할지를 더 현명하게 예측할 수 있을 것이다. 차로 구조가 전혀 없는 경우, 차량의 현재의 진행 방향을 따라 계속 진행할 것이다. 기술적으로 말해서, 이는 모든 차량을 그 진행 방향에 따라 사실상의 직선 경로로 배정하는 것과 동등하다. 다음으로, 체계가 없는 커다란 로터리(파리의 개선문 둘레)의 상황을 고려해보자. 여기서, 합리적인 예측은 차량이 오프셋을 유지하면서 로터리의 기하에 따라 진행한다고 가정하는 것이다. 기술적으로, 이는 모든 차량을 로터리의 중앙으로부터의 현재 오프셋을 따라 사실상의 원호 경로에 배정하는 것과 동등하다.
상기 설명한 주행 방침 시스템(예, RL 시스템)은 앞서 설명한 하나 이상의 사고 책임 규칙과 함께 이행되어 특정 항법 명령의 이행을 결정하는 경우에 잠재적 사고 책임을 고려하는 항법 시스템을 제공할 수 있다. 이러한 규칙은 계획 단계에서 적용될 수 있다. 예를 들면, 프로그램된 명령의 집합 내에서 또는 학습된 모델 내에서 적용되어 제안된 항법 동작이 이미 규칙을 준수하는 시스템에 의해 생성되도록 할 수 있다. 예를 들면, 주행 방침 모듈이 RSS가 의거하는 하나 이상의 항법 규칙을 처리하고 이 항법 규칙으로 학습될 수 있다. 추가적으로 또는 대안적으로, RSS 안전 제약이 필터 레이어로 적용되어, 이를 통해 계획 단계에 의해 제안된 모든 항법 동작이 연관 사고 책임 규칙에 비교하여 검사되어 제안된 항법 동작이 규칙을 준수하는 것을 보장할 수 있다. 특정 동작이 RSS 안전 제약을 준수하는 경우, 이 동작은 이행될 수 있다. 반대로, 제안된 항법 동작이 RSS 안전 제약을 준수하지 않는 경우(예, 제안된 동작의 결과로 상기 설명한 규칙은 하나 이상에 의거하여 호스트 차량에 사고 책임이 있는 경우), 이 동작은 이행되지 않는다.
실제로, 특정 이행은 호스트 차량에 대한 항법 시스템을 포함할 수 있다. 호스트 차량은 작동 중에 호스트 차량의 주변상황을 나타내는 이미지를 캡처하는 이미지캡처장치(예, 앞서 설명한 바와 같은 하나 이상의 카메라)를 구비할 수 있다. 이미지 정보를 활용하여, 주행 방침은 복수의 입력을 수신하고, 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 출력할 수 있다. 항법 방침은 다양한 입력(예, 하나 이상의 카메라로부터 수신된 타깃 차량, 도로, 물체, 보행자 등을 포함하여 호스트 차량의 주변을 보여주는 이미지; 라이더 또는 레이더 시스템으로부터의 출력; 속력 센서, 서스펜션 센서 등으로부터의 출력; 승객을 특정 위치로 태우고 가기 위한 항법 계획 등과 같은 호스트 차량의 하나 이상의 목표를 나타내는 정보)을 수신할 수 있는 프로그램된 명령의 집합, 학습 네트워크 등을 포함할 수 있다. 이러한 입력에 의거하여, 프로세서는 예를 들어 카메라 이미지, 라이더 출력, 레이더 출력 등을 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별할 수 있다. 일부 실시예에서, 프로세서는 하나 이상의 카메라 이미지, 라이더 출력, 및/또는 레이더 출력과 같은 하나 이상의 입력을 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별할 수 있다. 또한, 일부 실시예에서, 프로세서는 센서 입력의 대부분의 일치 또는 조합에 의거하여(예, 하나 이상의 카메라 이미지, 라이더 출력 및/또는 레이더 출력을 분석하고, 입력의 대부분의 일치 또는 조합에 의거하여 타깃 차량을 식별하는 검출 결과를 수신하여) 호스트 차량의 주변상황에서 타깃 차량을 식별할 수 있다.
주행 방침 모듈이 활용할 수 있는 정보에 의거하여, 호스트 차량의 항법 목표를 달성하기 위한 출력이 하나 이상의 예정 항법 동작의 형태로 제공될 수 있다. 일부 실시예에서, RSS 안전 제약이 예정 항법 동작의 필터로 적용될 수 있다. 즉, 예정 항법 동작은 생성된 후에 적어도 하나의 사고 책임 규칙(예, 앞서 설명한 사고 책임 규칙)에 비교하여 시험되어, 식별된 타깃 차량과 연관하여 호스트 차량에 대한 잠재적 사고 책임을 판단할 수 있다. 또한, 앞서 설명한 바와 같이, 적어도 하나의 사고 책임 규칙에 비교한 예정 항법 동작의 시험의 결과, 예정 항법 동작을 취할 경우에 호스트 차량에 잠재적 사고 책임이 있을 수 있는 것으로 나오는 경우, 프로세서는 호스트 차량이 예정 항법 동작을 이행하지 않도록 할 수 있다. 반면에, 적어도 하나의 사고 책임 규칙에 비교한 예정 항법 동작의 시험의 결과, 예정 항법 동작을 취할 경우에 호스트 차량에 잠재적 사고 책임이 없을 것으로 나오는 경우, 프로세서는 호스트 차량이 예정 항법 동작을 이행하도록 할 수 있다.
일부 실시예에서, 시스템은 복수의 잠재적 항법 동작을 적어도 하나의 사고 책임 규칙에 비교하여 검사할 수 있다. 검사의 결과에 의거하여, 시스템은 잠재적 항법 동작을 복수의 잠재적 항법 동작의 부분집합으로 거를 수 있다. 예컨대, 일부 실시예에서, 이러한 부분집합에는 적어도 하나의 사고 책임 규칙에 비교한 검사의 결과, 잠재적 항법 동작을 취할 경우, 호스트 차량에 사고 책임이 없을 것으로 나오는 잠재적 항법 동작만이 포함될 수 있다. 이후, 시스템은 사고 책임이 없는 잠재적 항법 동작의 점수 및/또는 우선순위를 매기고, 예를 들어 최적의 점수 또는 가장 높은 우선순위에 의거하여, 이행할 항법 동작의 하나를 선택할 수 있다. 점수 및/또는 우선순위는 예를 들어 가장 안전한, 가장 효율적인, 승차감이 가장 편안한 등의 것으로 여겨지는 잠재적 항법 동작과 같은 하나 이상의 요인에 의거하는 것일 수 있다.
일부 실시예에서, 특정 예정 항법 동작을 이행할지 여부의 결정은 또한 계획된 동작의 후속 상태에 DEP가 사용 가능한지 여부에 달여 있을 수 있다. DEP가 사용 가능한 경우, RSS 필터는 계획된 동작을 승인할 수 있다. 반면에, DEP가 사용 가능하지 않은 경우, 다음 상태는 안전하지 않은 것으로 여겨질 수 있고, 예정 항법 동작은 승인되지 않을 수 있다. 일부 실시예에서, 예정 항법 동작은 적어도 하나의 DEP를 포함할 수 있다.
상기 설명한 시스템의 한 가지 장점은 차량에 의한 안전 동작을 보장하기 위하여 특정 타깃 차량에 대한 호스트 차량의 동작만을 고려하면 된다는 것이다. 따라서, 한 대 이상의 타깃 차량이 있는 상황에서, 호스트 차량에 대한 계획된 동작은 호스트 차량 주변의 영향 구역 내(25미터 이내, 50미터 이내, 100미터 이내, 200미터 이내 등)의 타깃 차량에 대해 순차적으로 사고 책임 규칙에 대해 검사될 수 있다. 실제로, 적어도 하나의 프로세서는 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지의 분석에 의거하여(또는 라이더 또는 레이더 정보 등에 의거하여) 호스트 차량의 주변상황에서 복수의 다른 타깃 차량을 식별하고 복수의 다른 타깃 차량 각각에 대한 호스트 차량의 잠재적 사고 책임을 판단하기 위해 적어도 하나의 사고 책임 규칙과 비교하여 예정 항법 동작의 시험을 반복하도록 더 프로그램될 수 있다. 적어도 하나의 사고 책임 규칙에 비교한 예정 항법 동작의 반복 시험의 결과, 예정 항법 동작을 취할 경우에 호스트 차량에 대한 잠재적 사고 책임이 있는 것으로 나타나는 경우, 프로세서는 호스트 차량이 예정 항법 동작을 이행하지 않도록 할 수 있다. 적어도 하나의 사고 책임 규칙에 비교한 예정 항법 동작의 반복 시험의 결과, 예정 항법 동작을 취할 경우에 호스트 차량에 대한 잠재적 사고 책임이 없는 것으로 나타나는 경우, 프로세서는 호스트 차량이 예정 항법 동작을 이행하도록 할 수 있다.
설명한 바와 같이, 상기 규칙은 모두 RSS 안전 검사에 대한 기준으로 사용될 수 있다. 일부 실시예에서, 적어도 하나의 사고 책임 규칙은 호스트 차량이 잠재적 사고 책임이 없이 진행할 수 없는 범위인 식별된 타깃 차량 뒤의 거리를 정의하는 추적 규칙(following rule)을 포함한다. 다른 경우에서, 적어도 하나의 사고 책임 규칙은 호스트 차량이 잠재적 사고 책임이 없이 진행할 수 없는 범위인 식별된 타깃 차량 앞의 거리를 정의하는 선두 규칙(leading rule)을 포함한다.
상기에 설명한 시스템은 단일의 예정 항법 동작에 RSS 안전 시험을 적용하여 호스트 차량이 취한 동작의 결과로 발생할 수 있는 사고의 책임이 있을 만한 동작을 취해서는 안된다는 규칙을 준수하는지 검사할 수 있는 반면, 상기 시험은 하나 이상의 예정 항법 동작에 적용될 수 있다. 예를 들면, 일부 실시예에서, 적어도 하나의 프로세서는 적어도 하나의 주행 방침의 적용에 의거하여 호스트 차량의 항법 목표를 달성하기 위한 둘 이상의 예정 항법 동작을 결정할 수 있다. 이러한 상황에서, 프로세서는 잠재적 사고 책임을 판단하기 위하여 둘 이상의 예정 항법 동작 각각을 적어도 하나의 사고 책임 규칙에 비교하여 시험할 수 있다. 또한, 둘 이상의 예정 항법 동작 각각에 대하여, 둘 이상의 예정 항법 동작의 어느 특정 동작을 취할 경우에 호스트 차량에 대한 잠재적 사고 책임이 존재하는 것으로 시험의 결과가 나오는 경우, 프로세서는 호스트 차량이 예정 항법 동작의 상기 특정 동작을 이행하지 않도록 할 수 있다. 반면에, 둘 이상의 예정 항법 동작 각각에 대하여, 둘 이상의 예정 항법 동작의 어느 특정 동작을 취할 경우에 호스트 차량에 대한 잠재적 사고 책임이 없는 것으로 시험의 결과가 나오는 경우, 프로세서는 둘 이상의 예정 항법 동작의 상기 특정 동작을 이행 가능한 후보로 식별할 수 있다. 이후, 프로세서는 적어도 하나의 비용 함수에 의거하여 이행 가능한 후보들 중에서 취할 항법 동작을 선택하고 선택된 항법 동작을 호스트 차량이 이행하도록 할 수 있다.
RSS의 이행은 호스트 차량과 한 대 이상의 타깃 차량 사이의 사고에 대한 상대적 잠재 책임의 판단과 함께 안전 준수에 대한 예정 항법 동작의 검사와 연관이 있기 때문에, 시스템은 마주치는 차량들에 대한 사고 책임 잠재성을 추적할 수 있다. 예를 들면, 호스트 차량 시스템은 호스트 차량에 책임을 묻게 될 동작을 취하는 것을 방지할 수 있을 뿐만 아니라 한 대 이상의 타깃 차량을 추적하고 타깃 차량이 위반한 사고 책임 규칙을 식별 및 추적할 수도 있다. 일부 실시예에서, 호스트 차량의 사고 책임 추적 시스템은 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하고 이 적어도 하나의 이미지를 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별하도록 프로그램된 적어도 하나의 처리 장치를 포함할 수 있다. 적어도 하나의 이미지의 분석에 의거하여, 프로세서는 식별된 타깃 차량의 항법 상태의 하나 이상의 특징을 판단하도록 프로그램될 수 있다. 항법 상태는 차량 속도, 차로 중앙까지의 거리, 횡방향 속도, 이동 방향, 호스트 차량으로부터의 거리, 진행 방향, 또는 상기 규칙에 의거한 잠재적 사고 책임의 판단에 활용될 수 있는 기타 파라미터와 같은 타깃 차량의 다양한 동작 특징을 포함할 수 있다. 프로세서는 식별된 타깃 차량의 항법 상태의 하나 이상의 판단된 특징을 적어도 하나의 사고 책임 규칙(예, 횡방향 속도에 의한 승리, 방향 우선권, 차로 중앙까지의 거리에 의한 승리, 추적 또는 선구 거리 및 끼어들기 등과 같은 앞서 설명한 규칙)과 비교할 수 있다. 상태와 하나 이상의 규칙의 비교에 의거하여, 프로세서는 식별된 타깃 차량 측의 잠재적 사고 책임을 나타내는 적어도 하나의 값을 저장할 수 있다. 사고가 발생하는 경우, 프로세서는 저장된 적어도 하나의 값의 출력을 제공(예, 유/무선의 적합한 데이터 인터페이스를 통해)할 수 있다. 이러한 출력은 예를 들어 호스트 차량과 적어도 한 대의 타깃 차량 사이의 사고 이후에 제공될 수 있고, 사고에 대한 책임을 밝히는데 활용될 수 있다.
잠재적 사고 책임을 나타내는 상기 적어도 하나의 값은 모든 적합한 시간에 모든 적합한 조건 하에 저장될 수 있다. 일부 실시예에서, 적어도 하나의 처리 장치는 호스트 차량이 식별된 타깃 차량과의 충돌을 피할 수 없다고 판단되는 경우에 식별된 타깃 차량에 대해 충돌 책임값을 배정 및 저장할 수 있다.
사고 책임 추적 능력은 단일 타깃 차량으로만 한정되지 않고 마주치는 복수의 타깃 차량에 대한 잠재적 사고 책임을 추적하는데 활용될 수 있다. 예를 들어, 적어도 하나의 처리 장치는 호스트 차량의 주변상황에서 복수의 타깃 차량을 검출하고, 복수의 타깃 차량 각각에 대한 항법 상태 특징을 판단하고, 복수의 타깃 차량 각각에 대한 항법 상태 특징과 적어도 하나의 사고 책임 규칙의 비교에 의거하여 각 복수의 타깃 차량 측의 잠재적 사고 책임을 나타내는 값을 판단 및 저장하도록 프로그램될 수 있다. 앞서 설명한 바와 같이, 책임 추적을 위한 기준으로 사용되는 사고 책임 규칙은 모든 상기 규칙 또는 기타 모든 적합한 규칙을 포함할 수 있다. 예를 들면, 적어도 하나의 사고 책임 규칙은 횡방향 속도 규칙, 횡방향 위치 규칙, 주행 방향 우선권 규칙, 신호등 기반 규칙, 교통표지판 기반 규칙, 경로 우선권 규칙 등을 포함할 수 있다. 사고 책임 추적 기능은 또한 RSS를 고려한(예, 호스트 차량의 동작이 그 결과로 발생하는 사고에 대한 잠재적 책임이 있을지 여부에 의거한) 안전 항법과 결합될 수 있다.
RSS에 따른 사고 책임 고려에 의거한 항법 외에도, 항법은 또한 차량 항법 상태와 특정 향후 항법 상태가 안전한 것으로 여겨지는지(앞서 상세히 설명한 바와 같이, 사고를 피할 수 있도록 하는 또는 사고가 발생해도 호스트 차량의 잘못으로 여겨지지 않도록 하는 DEP가 존재하는지) 여부의 판단이라는 차원에서 고려될 수 있다. 호스트 차량은 안전 상태에서 안전 상태로 항법하도록 제어될 수 있다. 예를 들어, 특정 상태에서, 주행 방침을 활용하여 하나 이상의 예정 항법 동작을 생성할 수 있고, 각 계획된 동작에 상응하는 예측된 향후 상태가 DEP를 제공할지를 판단하여 이러한 동작을 검사할 수 있다. DEP를 제공할 수 있는 것으로 판단되면, 예정 항법 동작 또는 DEP를 제공하는 동작은 안전한 것으로 여겨지고 이행 자격을 획득할 수 있다.
일부 실시예에서, 호스트 차량의 항법 시스템은, 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하고; 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하고; 상기 적어도 하나의 이미지를 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별하고; 식별된 타깃 차량에 대한 호스트 차량의 잠재적 사고 책임을 판단하기 위해 상기 예정 항법 동작을 적어도 하나의 사고 책임 규칙에 비교하여 시험하고; 상기 적어도 하나의 사고 책임 규칙에 비교한 상기 예정 항법 동작의 시험의 결과, 상기 예정 항법 동작을 취할 경우에 호스트 차량에 대한 잠재적 사고 책임이 존재하는 것으로 나타나는 경우, 호스트 차량이 상기 예정 항법 동작을 이행하지 않도록 하고; 상기 적어도 하나의 사고 책임 규칙에 비교한 상기 예정 항법 동작의 시험의 결과, 상기 예정 항법 동작을 취할 경우에 호스트 차량에 대한 잠재적 사고 책임이 없는 것으로 나타나는 경우, 호스트 차량이 상기 예정 항법 동작을 이행하게 하도록 프로그램된, 적어도 하나의 처리 장치를 포함할 수 있다.
일부 실시예에서, 호스트 차량의 항법 시스템은, 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하고; 호스트 차량에 대한 복수의 잠재적 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하고; 상기 적어도 하나의 이미지를 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별하고; 식별된 타깃 차량에 대한 호스트 차량의 잠재적 사고 책임을 판단하기 위해 상기 복수의 잠재적 항법 동작을 적어도 하나의 사고 책임 규칙에 비교하여 시험하고; 상기 시험의 결과, 잠재적 항법 동작을 선택하여 취해도 호스트 차량에 대한 사고 책임이 없는 것으로 나타나는 잠재적 항법 동작의 하나를 선택하고; 호스트 차량이 상기 선택된 항법 동작을 이행하게 하도록 프로그램된, 적어도 하나의 처리 장치를 포함할 수 있다. 일부의 경우, 선택된 잠재적 항법 동작은 복수의 잠재적 항법 동작의 부분집합을 선택하여 취해도 호스트 차량에 대한 사고 책임이 없는 것으로 시험의 결과에 나타나는 상기 복수의 잠재적 항법 동작의 부분집합으로부터 선택될 수 있다. 또한, 일부의 경우, 선택된 잠재적 항법 동작은 점수 파라미터에 따라 선택될 수 있다.
일부 실시예에서, 호스트 차량의 항법을 위한 시스템은 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하고 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하도록 프로그램된 적어도 하나의 처리 장치를 포함할 수 있다. 프로세서는 또한, 상기 적어도 하나의 이미지를 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별하고; 상기 예정 항법 동작을 취할 경우에 호스트 차량과 타깃 차량 사이에 발생할 다음 단계 거리를 판단하고; 호스트 차량의 최대 제동 능력과 호스트 차량의 현재 속도를 판단하고; 타깃 차량의 현재 속도를 판단하고 타깃 차량의 적어도 하나의 인지된 특징에 의거하여 타깃 차량의 최대 제동 능력을 가정하고; 호스트 차량의 상기 최대 제동 능력과 현재 속도의 고려하에 타깃 차량의 현재 속도와 가정된 최대 제동 능력에 의거하여 판단된 타깃 차량 이동 거리와 합하여 판단된 다음 단계 거리보다 작은 정지거리 이내에서 호스트 차량이 정지될 수 있는 경우, 상기 예정 항법 동작을 이행할 수 있다. 상기 정지거리는 호스트 차량이 반응 시간 동안에 제동하지 않고 이동하는 거리를 더 포함할 수 있다.
타깃 차량의 최대 제동 능력이 판단되는 근거가 되는 타깃 차량의 인지된 특징은 모든 적합한 특징을 포함할 수 있다. 일부 실시예에서, 이 특징은 차량 유형(예, 각각 서로 다른 제동 프로필과 연관된 오토바이, 승용차, 버스, 트럭 등), 차량 사이즈, 예측 또는 공지의 차량 무게, 차량 모델(예, 공지의 제동 능력 검색에 활용) 등을 포함할 수 있다.
일부의 경우, 안전 상태는 한 대 이상의 타깃 차량에 대해 판단될 수 있다. 예를 들어, 일부의 경우, (거리 및 제동 능력에 의거한) 안전 상태 판단은 호스트 차량의 앞에서 가는 두 대 이상의 식별된 타깃 차량에 의거할 수 있다. 이러한 판단은 가장 앞에서 가는 타깃 차량의 앞에 무엇이 있는지에 대한 정보가 없는 경우에 특히 유용할 수 있다. 이런 경우, 안전 상태, 안전 거리, 및/또는 사용 가능한 DEP의 목적상, 맨 앞에서 검출될 수 있는 차량이 움직이지 않는 또는 거의 움직이지 않는 물체와의 충돌에 임박했다고 가정하여, 뒤따르는 차량이 자신의 제동 프로필이 허용하는 것보다 더 신속하게 정지할 수 있도록 할 수 있다(예, 두 번째 차량을 맨 앞의 첫 번째 차량과 충돌할 수 있고, 따라서 예상 최대 제동 조건보다 더 신속하게 정지할 수 있다). 이 경우, 안전 상태, 안전 추종 거리, DEP 판단을 식별된 타깃 차량의 호스트 차량에 대한 위치에 의거하는 것이 중요할 수 있다.
일부 실시예에서, 이러한 안전 상태에서 안전 상태로의 항법 시스템은 호스트 장치의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하도록 프로그램된 적어도 하나의 처리 장치를 포함할 수 있다. 여기서, 다른 실시예들과 마찬가지로, 이미지캡처장치(예, 카메라)에 의해 캡처된 이미지 정보는 라이더 또는 레이더 시스템과 같은 하나 이상의 다른 센서로부터 확보된 정보로 보충될 수 있다. 일부 실시예에서, 항법에 활용되는 이미지 정보는 광학적 카메라보다는 라이더 또는 레이더 시스템으로부터 유래될 수도 있다. 적어도 하나의 프로세서는 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정할 수 있다. 프로세서는 적어도 하나의 이미지(카메라, 레이더, 라이더, 또는 광학 기반이거나 거리 지도 기반 여부에 관계없이 호스트 차량 주변상황의 이미지가 확보될 수 있는 기타 모든 장치로부터 확보된 이미지)를 분석하여 호스트 차량 앞의 제1 타깃 차량과 제1 타깃 차량 앞의 제2 타깃 차량을 식별할 수 있다. 이후, 프로세서는 예정 항법 동작을 취할 경우의 결과인 호스트 차량과 제2 타깃 차량 사이의 다음 상태 거리를 판단할 수 있다. 다음으로, 프로세서는 호스트 차량의 현재 최대 제동 능력과 현재 속력을 판단할 수 있다. 프로세서는 호스트 차량의 최대 제동력과 호스트 차량의 현재 속력을 고려할 때, 호스트 차량과 제2 타깃 차량 사이의 판단된 다음 상태 거리보다 작은 정지거리 이내에서 호스트 차량이 정지될 수 있는 경우에 상기 예정 항법 동작을 이행할 수 있다.
즉, 호스트 차량의 프로세서가 시야에 보이는 선두 차량과 호스트 차량 사이에 충돌을 하지 않고 또는 호스트 차량에 책임이 있을 충돌을 하지 않고 정지를 할 충분한 거리가 다음 상태 거리에 있다고 판단하고 시야에 보이는 선두 차량이 어느 순간에 완전 정지할 것으로 가정하면, 호스트 차량의 프로세서는 예정 항법 동작을 취할 수 있다. 반면, 충돌하지 않고 호스트 차량을 정지할 충분한 공간이 없다면, 예정 항법 동작을 취하지 않을 수 있다.
또한, 다음 상태 거리를 일부 실시예에서 벤치마크로 사용할 수 있는 반면, 다른 경우에서는 예정 항법 동작을 취할지 여부를 판단하기 위해 다른 거리 값이 사용될 수 있다. 일부의 경우, 앞서 설명한 바와 같이, 호스트 차량이 충돌을 피하기 위해 정지돼야 할 실제 거리는 예상 다음 상태 거리보다 작을 수 있다. 예컨대, 시야에 보이는 앞서가는 타깃 차량의 뒤로 한 대 이상의 다른 차량(예, 상기 예의 제1 타깃 차량)이 따라가는 경우에서, 실제 예상 요구 정지거리는 예상 다음 상태 거리에서 시야에 보이는 선두 타깃 차량을 따라가는 타깃 차량의 길이만큼 뺀 거리일 것이다. 시야에 보이는 선두 타깃 차량이 갑자기 정지하는 경우, 뒤따르는 타깃 차량이 시야에 보이는 선두 타깃 차량과 충돌할 것이므로 호스트 차량은 충돌을 피하기 위하여 이 타깃 차량도 피해야 한다. 따라서, 호스트 차량의 프로세서는 호스트 차량과 시야에 보이는/검출된 선두 타깃 차량 사이에 끼어있는 타깃 차량의 총 길이를 뺀 다음 상태 거리를 평가하여 충돌하지 않고 호스트 차량을 최대 제동 조건하의 정지 상태로 가져올 충분한 공간이 있는지 여부를 판단할 수 있다.
다른 실시예에서, 호스트 차량과 한 대 이상의 선두 타깃 차량 사이의 충돌을 평가하기 위한 벤치마크 거리는 예상 다음 상태 거리보다 클 수 있다. 예를 들어, 일부 경우에서, 시야에 보이는/검출된 선두 타깃 차량은 가정된 충돌 이후에 짧은 거리를 이동하도록 신속하지만 즉각적이지 않은 정지를 할 수 있다. 예를 들면, 차량이 주차된 차량을 들이받으면, 충돌하는 차량은 여전히 약간의 거리를 진행한 후에 완전히 정지할 수 있다. 가정된 충돌 이후에 진행한 거리는 연관 타깃 차량에 대해 가정되거나 판단된 최소 정지거리보다 작을 수 있다. 따라서, 일부 경우에서, 호스트 차량의 프로세서는 예정 항법 동작을 취할지 여부의 평가에서 다음 상태 거리를 증가할 수 있다. 예를 들어, 이러한 판단에서, 시야에 보이는 선두 타깃 차량이 가정된 즉각적인 충돌 이후에 진행할 수 있는 합리적인 거리를 고려하기 위하여, 다음 상태 거리가 5%, 10%, 20% 등만큼 증가되거나 미리 정해진 일정 거리(10미터, 20미터, 50미터 등)만큼 보충될 수 있다.
다음 상태 거리를 평가에서 가정된 거리값만큼 증가하는 것 외에도, 다음 상태 거리는 충돌 이후에 시야에 보이는/검출된 선두 타깃 차량이 진행하는 거리와 시야에 보이는/검출된 선두 타깃 차량을 따라가는 타깃 차량(시야에 보이는/검출된 선두 타깃 차량이 갑자기 정지한 이후에 연쇄적으로 충돌할 것으로 가정할 수 있음)의 길이를 고려하여 수정될 수 있다.
예정 항법 동작을 취할지 여부의 판단을 호스트 차량과 시야에 보이는/검출된 선두 타깃 차량 사이의 다음 상태 거리(시야에 보이는/검출된 선두 타깃 차량의 충돌 후 이동 및/또는 시야에 보이는/검출된 선두 타깃 차량을 따라가는 차량의 길이를 고려하여 수정된 거리)에 의거하는 것 외에도, 호스트 차량은 한 대 이상의 선두 차량의 제동 능력을 판단에 계속 고려할 수 있다. 예를 들어, 호스트 차량의 프로세서는 계속해서, 예정 항법 동작을 취할 경우의 결과일 수 있는 호스트 차량과 제1 타깃 차량(예, 시야에 보이는/검출된 선두 타깃 차량을 따라가는 타깃 차량) 사이의 다음 상태 거리를 판단하고, 제1 타깃 차량의 현재 속도를 판단하고 제1 타깃 차량의 적어도 하나의 인지된 특징에 의거하여 제1 타깃 차량의 최대 제동 능력을 가정하고, 호스트 차량의 최대 제동 능력과 현재 속도를 고려하여 호스트 차량과 제1 타깃 차량 사이의 판단된 다음 상태 거리에 제1 타깃 차량의 현재 속도와 가정된 최대 제동 능력에 의거하여 판단된 제1 타깃 차량 진행 거리를 더한 거리보다 작은 정지거리 내에서 호스트 차량이 정지될 수 없는 경우에 예정 항법 동작을 이행하지 않을 수 있다. 여기서, 상기의 예에서와 같이, 제1 타깃 차량의 인지된 특징은 차량 유형, 차량 사이즈, 차량 모델 등을 포함할 수 있다.
일부의 경우(예, 다른 차량들의 동작을 통해), 호스트 차량은 충돌이 임박하고 피할 수 없다고 판단할 수 있다. 이러한 경우, 호스트 차량의 프로세서는 결과적인 충돌이 호스트 차량의 책임이 아닐 항법 동작(사용 가능한 항법 동작이 있는 경우)을 선택하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 호스트 차량의 프로세서는 현재의 궤적보다 또는 하나 이상의 다른 항법 옵션에 대해 상대적으로 작은 잠재적 손상을 호스트 차량 또는 타깃 물체에 입힐 항법 동작을 선택하도록 구성될 수 있다. 또한, 일부 경우에서, 호스트 차량의 프로세서는 물체 또는 충돌이 예상되는 물체의 유형의 고려에 의거하여 항법 동작을 선택할 수 있다. 예를 들어, 제1 항법 동작에 대해 주차된 차량과의 충돌에 직면하거나 제2 항법 동작에 대해 움직일 수 없는 물체와의 충돌에 직면하는 경우, 호스트 차량에 입히는 잠재적 손상이 더 낮은 동작(예, 주차된 차량과 충돌하는 결과를 낳는 동작)이 선택될 수 있다. 제1 항법 동작에 대해 호스트 차량과 비슷한 방향으로 이동하는 차량과의 충돌에 직면하거나 제2 항법 동작에 대해 주차된 차량과의 충돌에 직면하는 경우, 호스트 차량에 입히는 잠재적 손상이 더 낮은 동작(예, 움직이는 차량과 충돌하는 결과를 낳는 동작)이 선택될 수 있다. 제1 항법 동작의 결과로 보행자와의 충돌에 직면하거나 제2 항법 동작의 결과로 다른 물체와의 충돌에 직면하는 경우, 보행자와의 충돌이 아닌 동작이 선택될 수 있다.
실제로, 호스트 차량의 항법을 위한 시스템은, 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지(예, 가시적 이미지, 라이더 이미지, 레이더 이미지 등)를 이미지캡처장치로부터 수신하고; 호스트 차량의 현재 항법 상태의 지시자를 적어도 하나의 센서로부터 수신하고; 상기 적어도 하나의 이미지의 분석에 의거하고 호스트 차량의 현재 항법 상태의 상기 지시자에 의거하여 호스트 차량과 하나 이상의 물체와의 충돌이 불가피하다고 판단하도록 프로그램된, 적어도 하나의 처리 장치를 포함할 수 있다. 프로세서는 사용 가능한 대안을 평가할 수 있다. 예를 들면, 프로세서는 적어도 하나의 주행 방침에 의거하여 제1 물체와의 예상 충돌을 포함하는 호스트 차량의 제1 예정 항법 동작 및 제2 물체와의 예상 충돌을 포함하는 호스트 차량의 제2 예정 항법 동작을 결정할 수 있다. 제1 및 제2 예정 항법 동작은 잠재적 사고 책임을 판단하기 위해 적어도 하나의 사고 책임 규칙과 비교하여 검사될 수 있다. 적어도 하나의 사고 책임 규칙에 비교한 제1 예정 항법 동작의 시험 결과, 제1 예정 항법 동작을 취할 경우에 호스트 차량에 잠재적 사고 책임이 존재할 수 있는 것으로 나타나는 경우, 프로세서는 호스트 차량이 제1 예정 항법 동작을 이행하지 않도록 할 수 있다. 적어도 하나의 사고 책임 규칙에 비교한 제2 예정 항법 동작의 시험 결과, 제2 예정 항법 동작을 취할 경우에 호스트 차량에 잠재적 사고 책임이 없을 것으로 나타나는 경우, 프로세서는 호스트 차량이 제2 예정 항법 동작을 이행하도록 할 수 있다. 목적에는 다른 차량 또는 차량이 아닌 물체(예, 도로 상의 잔해, 나무, 기둥, 표지판, 보행자 등)가 포함될 수 있다.
하기의 도면과 설명은 기재된 시스템과 방법의 항법 및 이행시 발생할 수 있는 다양한 상황의 예를 제공한다. 이러한 예에서, 호스트 차량은 해당 동작을 취할 경우에 발생할 사고에 대해 호스트 차량에 과실이 있을 동작을 취하지 않을 수 있다.
도 28a와 도 28b는 다른 차량을 따라가는 예시적인 상황과 규칙을 도시한다. 도 28a에 도시된 바와 같이, 차량(2804)(예, 타깃 차량)을 에워싸는 구역은 차량(2804) 뒤에서 일정 거리를 두고 동일 차로 내에서 이동하고 있는 차량(2802)(예, 호스트 차량)에 대한 최소 안전 거리 통로를 나타낸다. 기재된 실시예에 따른 한 가지 규칙에 따르면, 과실이 차량(2802)에 기인할 수 있는 사고를 피하려면, 차량(2802)은 차량(2802)을 둘러싼 구역에 머물러서 최소 안전 거리를 유지해야 한다. 그에 반해서, 도 28b에 도시된 바와 같이, 차량(2804)이 제동하는 경우, 사고가 나면 차량(2802)의 잘못이 될 것이다.
도 29a와 도 29b는 끼어들기 상황에서의 예시적인 책임을 도시한다. 본 상황에서, 차량(2902) 주변의 안전 통로들이 끼어들기 동작의 과실을 결정한다. 도 29a에 도시된 바와 같이, 차량(2902)이 차량(2902) 앞으로 끼어들어서 안전 거리(차량(2904)을 에워싼 구역으로 표현)를 위반하고 있고, 따라서 과실이 있다. 도 29b에 도시된 바와 같이, 차량(2902)은 차량(2902) 앞으로 끼어들고 있지만 차량(2904) 앞의 안전 거리를 유지한다.
도 30a와 도 30b는 끼어들기 상황에서의 예시적인 책임을 도시한다. 본 상황에서, 차량(3004) 둘레의 안전 통로들이 차량(3002)의 과실 여부를 결정한다. 도 30a에서, 차량(3002)은 차량(3006) 뒤에서 이동하다가 차량(3004)이 이동중인 차로로 차로를 변경한다. 이 상황에서, 차량(3002)이 안전 거리를 위반하므로 사고가 나는 경우 과실이 있다. 도 30b에서, 차량(3002)이 차량(3004) 뒤로 끼어들고 안전 거리를 유지한다.
도 31a 내지 도 31d는 미끄러지는 상황에서의 예시적인 책임을 도시한다. 도 31a에서, 상황은 차량(3104)이 약간의 횡방향 동작으로 차량(3102)의 넓은 통로로 끼어들면서 시작한다. 도 31b에서, 차량(3104)은 계속해서 차량(3102)의 정상 통로로 끼어들어 안전 거리 구역을 위반한다. 사고가 날 경우, 과실은 차량(3104)에 있다. 도 31c에서, 차량(3104)은 초기 위치를 유지하는 반면, 차량(3102)은 횡방향으로 이동하여 '강제로' 정상 안전 거리 통로를 위반하게 한다. 사고가 날 경우, 과실은 차량(3102)에 있다. 도 31d에서, 차량(3102)과 차량(3104)은 서로를 향해 횡방향으로 이동한다. 사고가 날 경우, 과실은 두 차량 모두에게 있다.
도 32a와 도 32b는 양방향 통행 상황에서의 예시적인 책임을 도시한다. 도 32a에서, 차량(3202)은 차량(3206)을 추월하고, 차량(3202)은 차량(3204)으로부터 안전 거리를 유지하는 끼어들기 동작을 수행했다. 사고가 날 경우, 차량(3204)은 적당한 제동력으로 제동하지 않은 과실이 있다. 도 32b에서, 차량(3202)은 차량(3204)으로부터 안전한 종방향 거리를 유지하지 않고 끼어든다. 사고가 날 경우, 과실은 차량(3202)에 있다.
도 33a와 도 33b는 양방향 통행 상황에서의 예시적인 책임을 도시한다. 도 33a에서, 차량(3302)이 안전 거리를 유지하면서 맞은편 차량(3204)의 경로로 미끄러져 들어간다. 사고가 날 경우, 차량(3304)은 적당한 제동력으로 제동하지 않은 과실이 있다. 도 33b에서, 차량(3302)은 안전한 종방향 거리를 위반하면서 맞은편 차량(3304)의 경로로 미끄러져 들어온다. 사고가 날 경우, 과실은 차량(3302)에 있다.
도 34a와 도 34b는 경로 우선권 상황에서의 예시적인 책임을 도시한다. 도 34a에서, 차량(3202)은 일시정지표지판을 무시하고 통과한다. 차량(3202)은 신호등에 의해 차량(3204)에 부여된 우선권을 무시한 과실이 있다. 도 34b에서, 차량(3202)에 우선권이 있지는 않았지만 차량(3204)의 신호등이 녹색으로 바뀔 당시에 이미 교차로 내에 있었다. 차량(3204)이 차량(3202)과 충돌할 경우, 과실은 차량(3204)에 있다.
도 35a와 도 35b는 경로 우선권 상황에서의 예시적인 책임을 도시한다. 도 35A에서, 차량(3502)은 다가오는 차량(3504)의 경로 안으로 후진해 들어오고 있다. 차량(3502)은 안전 거리를 유지하면서 끼어들기 동작을 수행한다. 사고가 날 경우, 차량(3504)은 적당한 제동력으로 제동하지 않은 과실이 있다. 도 35b에서, 차량(3502)은 안전한 종방향 거리를 유지하지 않고 끼어들고 있다. 사고가 날 경우, 과실은 차량(3502)에 있다.
도 36a와 도 36b는 경로 우선권 상황에서의 예시적인 책임을 도시한다. 도 36a에서, 차량(3602)과 차량(3604)은 동일 방향으로 주행하고 있지만, 차량(3602)이 차량(3604)의 경로를 가로질러서 좌회전 한다. 차량(3602)은 안전 거리를 유지하면서 끼어들기 동작을 한다. 사고가 날 경우, 차량(3604)은 적당한 제동력으로 제동하지 않은 과실이 있다. 도 36b에서, 차량(3602)은 안전한 종방향 거리를 유지하지 않고 끼어들고 있다. 사고가 날 경우, 과실은 차량(3602)에 있다.
도 37a와 도 37b는 경로 우선권 상황에서의 예시적인 책임을 도시한다. 도 37a에서, 차량(3702)은 좌회전을 하고자 하지만 다가오는 차량(3704)에게 양보를 해야 한다. 차량(3702)은 차량(3704)에 대한 안전 거리를 위반하면서 좌회전 한다. 과실은 차량(3702)에 있다. 도 37b에서, 차량(3702)은 차량(3704)에 대한 안전 거리를 유지하면서 좌회전 한다. 사고가 날 경우, 차량(3704)은 적당한 제동력으로 제동하지 않은 과실이 있다.
도 38a와 도 38b는 경로 우선권 상황에서의 예시적인 책임을 도시한다. 도 38a에서, 차량(3802)과 차량(3804)은 각각 직진하고 있고, 차량(3802)에게는 일시정지표지판이 있다. 차량(3802)은 차량(3804)에 대한 안전 거리를 위반하면서 교차로에 진입한다. 과실은 차량(3802)에 있다. 도 38b에서, 차량(3802)은 차량(3804)에 대한 안전 거리를 유지하면서 교차로에 진입한다. 사고가 날 경우, 차량(3804)은 적당한 제동력으로 제동하지 않은 과실이 있다.
도 39a와 도 39b는 경로 우선권 상황에서의 예시적인 책임을 도시한다. 도 39a에서, 차량(3902)은 좌회전을 하고자 하지만 우측에서 다가오는 차량(3904)에게 양보를 해야 한다. 차량(3902)은 차량(3904)에 대한 선행권과 안전 거리를 위반하면서 교차로에 진입한다. 과실은 차량(3902)에 있다. 도 39b에서, 차량(3902)은 차량(3904)에 대한 선행권과 안전 거리를 유지하면서 교차로에 진입한다. 사고가 날 경우, 차량(3904)은 적당한 제동력으로 제동하지 않은 과실이 있다.
도 40a와 도 40b는 신호등 상황에서의 예시적인 책임을 도시한다. 도 40a에서, 차량(4002)은 적색 신호를 받으면서 달리고 있다. 차량(4002)은 신호등에 의해 차량(4004)에 부여된 우선권을 존중하지 않은 과실이 있다. 도 40b에서, 차량(4002)은 우선권이 없지만 차량(4004)에 대한 신호가 녹색으로 바뀌었을 때 이미 교차로 내에 진입해 있었다. 차량(4004)이 차량(4002)과 충돌할 경우, 과실은 차량(4004)에 있다.
도 41a와 도 41b는 신호등 상황에서의 예시적인 책임을 도시한다. 차량(4102)은 다가오는 차량(4104)의 경로를 가로질러서 좌회전하고 있다. 차량(4104)은 우선권이 있다. 도 41a에서, 차량(4102)은 차량(4104)에 대한 안전 거리를 위반하면서 좌회전한다. 과실은 차량(4102)에 있다. 도 41b에서, 차량(4102)은 차량(4104)에 대한 안전 거리를 유지하면서 좌회전한다. 사고가 날 경우, 차량(4104)은 적당한 제동력으로 제동하지 않은 과실이 있다.
도 42a와 도 42b는 신호등 상황에서의 예시적인 책임을 도시한다. 도 42a에서, 차량(4202)은 직진하고 있는 차량(4204)의 경로로 끼어들면서 우회전 하고 있다. 적색 신호에서의 우회전은 적법한 동작인 것으로 가정하지만, 차량(4202)이 차량(4204)에 대한 안전 거리를 위반함에 따라, 차량(4204)은 우선권이 있다. 과실은 차량(4202)에 있다. 도 42b에서, 차량(4202)은 차량(4204)에 대한 안전 거리를 유지하면서 우회전 한다. 사고가 날 경우, 차량(4204)은 적당한 제동력으로 제동하지 않은 과실이 있다.
도 43a 내지 도 43c는 예시적인 교통 약자(vulneraale road users 또는 VRUs) 상황을 도시한다. 차량이 동작을 수행하는 경우의 동물 또는 VRU와의 사고는 끼어들기의 변형으로 취급하고, 일부 예외가 있기는 하지만 과실은 디폴트로 차량에 있다. 도 43a에서, 차량(4302)은 안전 거리를 유지하고 사고가 일어나지 않도록 하면서 동물(또는 VRU)의 경로로 끼어들기 한다. 도 43b에서, 차량(4302)은 안전 거리를 위반하면서 동물(또는 VRU)의 경로로 끼어들기 한다. 과실은 차량(4302)에 있다. 도 43c에서, 차량(4302)은 동물을 알아보고 정지하여 동물에게 정지할 충분한 시간을 제공한다. 동물이 차량을 들이받는 경우, 과실은 동물에 있다.
도 44a 내지 도 44c는 예시적인 VRU 상황을 도시한다. 도 44a에서, 차량(4402)은 신호등이 있는 교차로에서 좌회전을 하고 있고 횡단보도 내의 보행자를 마주한다. 차량(4402)은 적색 신호를 받고 있고, VRU는 녹색 신호를 받고 있다. 과실은 차량(4402)에 있다. 도 44b에서, 차량(4402)은 녹색 신호를 받고 있고, VRU는 적색 신호를 받고 있다. VRU가 횡단보도에 진입하는 경우, 과실은 VRU에 있다. 도 44c에서, 차량(4402)은 녹색 신호를 받고 있고, VRU는 적색 신호를 받고 있다. VRU가 이미 횡단보도 내에 있는 경우, 과실은 차량(4402)에 있다.
도 45a 내지 도 45c는 예시적인 VRU 상황을 도시한다. 도 45a에서, 차량(4502)은 우회전을 하고 있고 자전거를 탄 사람을 마주한다. 자전거를 탄 사람은 녹색 신호를 받고 있다. 과실은 차량(4502)에 있다. 도 45b에서 자전거를 탄 사람은 적색 신호를 받고 있다. 자전거를 탄 사람이 교차로에 진입하는 경우, 과실은 자전거를 탄 사람에게 있다. 도 45c에서, 자전거를 탄 사람은 적색 신호를 받고 있지만 이미 교차로에 진입해 있다. 과실은 차량(4502)에 있다.
도 46a 내지 도 46d는 예시적인 VRU 상황을 도시한다. 차량이 동작을 수행하지 않는 경우의 VRU와의 사고는, 일부 예외는 있지만, 디폴트로 차량의 과실이다. 도 46a에서, 차량(4602)은 항상 안전 거리를 유지하도록 해야 하고 VRU와의 사고를 회피할 수 있도록 해야 한다. 도 46b에서, 차량(4602)이 안전 거리를 유지하지 않는 경우, 과실은 차량(4602)에 있다. 도 46c에서, 차량(4602)이 차량(4604)에 의해 잠재적으로 가려지는 VRU와의 충돌을 회피할 만큼 충분한 저속을 유지하지 않는 경우, 또는 법정 속도 이상으로 주행하는 경우, 과실은 차량(4602)에 있다. 도 46d에서, VRU가 차량(4604)에 의해 잠재적으로 가려지는 다른 상황에서, 차량(4602)이 충분한 저속을 유지하지만 VRU의 속도가 합리적 임계값 이상인 경우, 과실은 VRU에 있다.
여기에 기재된 바와 같이, RSS는 멀티 에이전트 상황에 대한 프레임워크를 정의한다. 고정 물체, 도로 이탈, 제어 상실, 또는 차량 고장이 포함된 사고는 호스트의 과실이다. RSS는 다른 물체가 호스트의 경로로 위험하게 들어오지(이 경우, 다른 물체의 과실) 않는 한, 다른 물체와의 사고를 허용하지 않을 조심스러운 동작을 정의한다. 타깃의 과실인 충돌이 확실시 되는 경우, 호스트는 브레이크를 작동할 것이다. 시스템은 동작이 '조심스러운'(다른 사고를 유발하지 않을 것으로 인지되는) 경우에만 회피적 조향을 고려할 수 있다.
충돌이 아닌 사건에는 차량 화재, 포트홀, 낙하물 등에 의해 발생하는 사고가 포함된다. 이러한 경우, 과실은, '고정 물체'로 분류될 수 있는 포트홀과 낙하물과 같이 안전한 거리를 두고 시야에 들어오거나 이들에 대한 조심스러운 회피 동작이 존재한다는 가정하에 호스트가 회피할 수 있는 상황을 제외하고, 디폴트로 호스트에 있을 수 있다. 호스트 차량이 움직이지 않은 멀티 에이전트 상황에서, 과실은 호스트에 있지 않다. 이 경우, 타깃이 근본적으로 안전하지 않은 끼어들기를 수행한 것이다. 예를 들면, 자전거를 탄 사람이 움직이지 않는 차량으로 돌진하는 경우, 호스트는 과실이 없다.
RSS는 또한 차로 표시가 없는 주차장이나 넓은 로터리와 같이 도로에 명확한 체계가 없는 경우의 과실에 대한 가이드라인을 포함한다. 이러한 체계가 없는 도로 상황에서, 각 차량의 경로 이탈을 검사하여 다른 물체가 구역 내에서 조정하도록 충분한 거리를 허용했는지를 판단함으로써 과실이 배정된다.
안전하고 스케일러블 한 자율주행차 모델
앞서 설명한 바와 같이, "책임 민감성 안전(Responsibility Sensitive Safety 또는 RSS)"이라고 불리는 모델은 "사고 과실"의 개념을 형식화 할 수 있다. RSS는 해석 가능할 수 있고 설명 가능할 수 있으며, 로봇 에이전트(robotic agent)의 행동에 "책임감"을 도입할 수 있다.
일부 실시예에서, RSS는 다음의 네 가지 규칙을 형식화하여 구성될 수 있다. (1) 앞차가 갑자기 제동하여도 시간 내에 정지할 수 있도록 앞차와의 안전 거리 유지. (2) 양측의 차량과 안전 거리 유지. 횡방향 동작을 수행하여 다른 차량의 궤적에 끼어드는 경우에 다른 차량이 반응할 수 있는 충분한 공간 유지. (3) "우선주행권" 규칙의 준수. "우선주행권"은 취하기 보다는 제공. (4) 주차된 차량의 뒤와 같은 가려진 영역에 주의.
하기의 설명은 상기 규칙의 정형화를 제공한다. 일부 측면에서, 정형 모델은 건전성(soundness)을 충족해야 한다. 예를 들어, 모델이 자율주행차가 사고에 대한 책임이 없다고 하는 경우, 모델은 인간 판단의 '상식' 및 유용성, 예를 들어, 정상적인 교통 흐름을 여전히 유지하는 동안에는 절대로 사고를 유발하지 않는 것을 보장하는 방침과 일치해야 한다. 일부 실시예에서, 모델은 애매한 상황에서는 자율주행차에 책임을 지워서, 모델이 여전히 유용하다면 결과적으로 추가적으로 주의하는 것이 가능하게 한다.
이러한 요구조건인 건전성과 특수성을 각각 개별적으로 충족하는 것은 중요하지 않다. 다시 말해, 자율주행차에 항상 책임을 부여하는 모델은 건전성이 있지만 유용성이 없고, 자율주행차에 전혀 책임을 부여하지 않는 모델은 유용성이 있지만 건전성이 없다. RSS 모델의 실시예들은 건전성과 유용성을 모두 충족한다.
[안전 거리]
RSS의 논의에서 정형화된 첫 번째 기본 개념은 뒤따르는 차가 앞서 가는 차를 추돌하는 경우에 과실은 항상 뒤따르는 차에 있다는 것이다. 예를 들어, 두 대의 차량
Figure pct00525
와
Figure pct00526
이 직선 도로를 따라 서로 앞 뒤에서 횡방향 동작을 수행하지 않으면서 동일한 속도록 주행하고 있을 수 있다. 앞서 가는 차량인
Figure pct00527
가 도로 상에 나타난 장애물 때문에 갑자기 제동을 하여 간신히 장애물을 피한다고 가정하자. 하지만,
Figure pct00528
은
Figure pct00529
로부터 충분한 거리를 유지하지 않았고, 시간 내에 반응할 수 없어서,
Figure pct00530
를 추돌한다. 이 예시에서, 과실은
Figure pct00531
에 있다. 즉, 뒤차는 앞차와의 안전 거리를 유지하고 갑작스럽지만 타당한 제동에 대비할 책임이 있다.
다음은 '안전 거리'의 개념을 정형화 하는 정의이다.
정의 27(안전 종방향 거리―동일 방향): 모두 같은 방향으로 주행중인 차량
Figure pct00532
뒤에서 주행하는 차량
Figure pct00533
과의 종방향 거리는,
Figure pct00534
에 의해 수행되는 최대
Figure pct00535
의 제동에 대해
Figure pct00536
이 대응 시간 ρ 동안에 최대
Figure pct00537
로 가속한 후에 완전 정지할 때까지 적어도
Figure pct00538
로 제동하는 경우에, 대응 시간 ρ에 대하여 안전하고,
Figure pct00539
와 충돌하지 않게 된다.
일부 실시예에서, 안전 종방향 거리는 ρ,
Figure pct00540
,
Figure pct00541
,
Figure pct00542
의 파라미터에 달려있다. 이러한 파리미터는 예를 들어 규제에 의해 결정된다. 일부 실시예에서, 파라미터는 자율주행차와 인간 주행차에 상이하게 설정된다. 예를 들어, 자율주행차의 대응 시간은 인간 운전자의 대응 시간보다 작을 수 있고 자율주행차는 전형적인 인간 주행차보다 더욱 효과적으로 제동할 수 있으므로,
Figure pct00543
는 인간 주행차보다 자율주행차에 대해 더 큰 값일 수 있다. 다른 실시예에서, 파라미터는 하나 이상의 탑재 카메라에서 확보된 이미지의 분석 또는 기타 적절한 센서(예, 윈도우 센서, 휠 미끄럼 센서 등)로부터의 출력 등에 의거하여 감지될 수 있는 상이한 도로 상황(젖은 도로, 도로 결빙, 강설)에 대해 상이하게 설정될 수 있다.
하기의 렘마 11은 안전 거리를
Figure pct00544
,
Figure pct00545
의 속도와 정의 27의 파라미터의 함수로 계산한다.
렘마 11: 종방향 축 상에서
Figure pct00546
뒤에 있는 차량을
Figure pct00547
이라고 하고, ρ,
Figure pct00548
,
Figure pct00549
,
Figure pct00550
가 정의 27에 의한 것이라고 하고,
Figure pct00551
,
Figure pct00552
가 이 차량들의 종방향 속도라고 할 때,
Figure pct00553
의 가장 앞부분 지점과
Figure pct00554
의 가장 뒷부분 지점 사이의 최소 안전 종방향 거리는 다음과 같다.
Figure pct00555
입증:
Figure pct00556
은
Figure pct00557
과
Figure pct00558
사이의 초기 거리이고,
Figure pct00559
이고, 앞차의 속도는 비율
Figure pct00560
로 t로 감소하고(0에 도달 하거나 충돌이 발생할 때까지), 뒤차의 속도는 시간 간격 [0, ρ]에서 감소(v ρ ,max에 도달할 때까지)한 후에 비율
Figure pct00561
<
Figure pct00562
로 0까지 감소(예, 완전 정지 또는 충돌)한다고 할 때, 어느 시점에 두 차량의 속도가 동일한 경우에, 이 시점 이후에 앞차의 속도는 감소하게 되고, 두 차량 사이의 거리는 두 차량이 모두 완전 정지에 도달할 때까지 단조적으로(monotonically) 감소하게 된다(충돌이 발생하는 경우의 '거리'는 음수가 됨). 따라서, 최악의 경우의 거리는 시간 0에서 또는 두 차량이 완전 정지에 도달하는 경우에 발생할 수 있다. 전자의 경우,
Figure pct00563
이다. 후자의 경우, 앞차와 뒤차가 완전 정지에 도달할 때까지 통과하는 거리는 각각
Figure pct00564
와
Figure pct00565
가 될 수 있다. 이 지점에서(두 차량 모두 완전 정지에 도달하는 경우), 두 차량 사의 거리는 0보다 커야 한다.
Figure pct00566
조건들을 재배치하면 렘마 11, 또는 최소 안전 거리가 나온다.
안전 거리의 상기 정의는 앞차와 뒤차가 모두 동일 방향으로 주행하는 경우에 대해 건전성이 있을 수 있다. 실제로, 이 경우에, 뒤차는 앞차와의 안전 거리를 유지하고 갑작스럽지만 타당한 제동에 대비할 책임이 있다. 그러나, 두 차량이 서로 반대 방향으로 주행하는 상황에 대한 정의도 필요하다.
예를 들어, 차량
Figure pct00567
이 정지되어 있는 앞차
Figure pct00568
로부터 현재에 안전 거리에 있다고 할 때,
Figure pct00569
가 갑자기 주차 자리로 후진하여
Figure pct00570
과 후면 충돌을 유발할 수 있다. 여기서,
Figure pct00571
이 뒤에서
Figure pct00572
와 충돌하였다고 하여도, 뒤차인
Figure pct00573
에 책임이 있지 않다. 이 규칙을 정형화 하기 위하여, '앞과 뒤'는 차량이 서로를 향해 이동하는(즉, 종방향 속도의 부호가 서로 반대인) 상황에 적용되지 않도록 정의된다. 이러한 경우, 충돌을 피하려면, 두 차량 모두 각각의 속도의 절대값을 감소해야 한다.
따라서, 서로 반대 방향으로 주행하는 차량 사이의 안전 거리는 두 차량 모두 제동(특정 대응 시간 이후에)하는 경우에 충돌이 발생하지 않기 위해 필요한 거리로 정의될 수 있다. 그러나, 차로 방향과 반대 방향으로 주행하는 차량은 올바른 방향으로 주행하는 차량보다 더 강하게 제동해야 한다는 것을 추정할 수 있다. 이로 인해, 다음과 같은 정의가 성립된다.
정의 28(안전 종방향 거리―반대 방향): 차량
Figure pct00574
,
Figure pct00575
가 차로 상에서 종방향 속도
Figure pct00576
,
Figure pct00577
로 주행하고 있고,
Figure pct00578
< 0이고
Figure pct00579
> 0이라고 할 때(종방향 속도의 부호는 차로의 정방향을 기준으로 함), 차량
Figure pct00580
,
Figure pct00581
가 대응 시간 ρ동안에 비율
Figure pct00582
로 각각의 속도의 절대값을 증가한 후에 완전 정지할 때까지 각각 비율
Figure pct00583
,
Figure pct00584
로 속도의 절대값을 감소하는 경우, 두 차량 사이의 종방향 거리는 대응 시간
Figure pct00585
, 제동 파라미터
Figure pct00586
,
Figure pct00587
, 및 가속 파라미터
Figure pct00588
에 대하여 안전하고, 충돌이 없게 된다.
반대 방향의 경우에 대한 안전 거리는 하기의 렘마로 계산할 수 있다(그에 대한 입증은 당연하므로 생략함).
렘마 12: 정의 28의 표기를 참조하여,
Figure pct00589
이고
Figure pct00590
이라고 정의하면, 차량
Figure pct00591
과
Figure pct00592
사이의 최소 안전 거리는 다음과 같다.
Figure pct00593
두 차량 사이에 충돌이 발생하기 전에, 두 차량은 우선 안전하지 않은 거리에 있어야 한다. 직관적으로, 안전 거리라는 개념은 두 차량이 안전 거리의 위반에 '적절히' 대응하면 충돌이 일어날 수 없다는 것이다. 두 차량 중의 한 대가 '적절히' 대응하지 않으면 사고에 대한 과실은 그 차량에 있다. 이를 정형화 하기 위하여, 두 차량이 안전하지 않은 거리에 있기 시작하는 바로 직전의 순간을 정의하는 것이 우선 중요하다.
정의 29(위험한 종방향 상황 및 과실 시간): 두 차량 사이의 거리가 이 시간 t에 안전하지 않은 경우에(정의 27 또는 정의 28에 따라) 시간 t가 두 차량
Figure pct00594
,
Figure pct00595
에 대해 위험하다고 할 때, 위험 시간 t에서,
Figure pct00596
로 표기되는 과실 시간은 이 시간 간격
Figure pct00597
의 모든 시간이 위험해지는 가장 빠른 안전하지 않은 시간이다. 예를 들면, 사고는 시간 t가 위험한 경우에만 시간 t에 발생할 수 있으므로, 이 사고의 과실 시간은 t의 과실 시간이다.
정의 30(위험한 종방향 상황에 대한 적절한 대응): 앞서 설명한 바와 같이, t는 차량
Figure pct00598
,
Figure pct00599
에 대한 위험 시간이고
Figure pct00600
는 이에 상응하는 과실 시간이라고 하고, 이 두 대의 차량이 다음과 같은 종방향 속도 제약을 준수한다고 추정하자:
1.첫째, 예를 들어, 과실 시간에 두 차량이 동일 방향으로 주행하고 있었고
Figure pct00601
이 뒤차라고 하면,
●
Figure pct00602
은 간격
Figure pct00603
동안에 최대
Figure pct00604
로 가속하고 시간
Figure pct00605
이후에는 완전 정지에 도달할 때까지 최대
Figure pct00606
로 가속해야 하고, 이후 양수의 가속은 허용되지 않는다. 다시 말해, 뒤따르는 차량은 대응 시간 주기 동안에는 최대 가속 능력(예, 풀 스로틀(full throttle) 레벨)까지 가속이 허용되지만, 이후에는 해당 차량의 선택된 최소 제동률과 최대 제동률 사이의 제동률과 연관된 비율로 감속해야 한다. 선택된 최소 제동률은 규제에 따른 것이거나 기타 임의의 적합한 기준에 의거한 것일 수 있다.
●
Figure pct00607
는 완전 정지에 도달할 때까지 적어도
Figure pct00608
로 가속해야 하고, 이후에는 음수의 가속이 허용되지 않는다. 즉, 앞차는 앞차의 최대 제동 능력과 연관된 감속률까지의 비율로 감속하는 것이 허용된다.
2. 둘째, 과실 시간에 두 대의 차량이 서로 반대 방향으로 주행하고 있었고, 예를 들어,
Figure pct00609
가 역방향으로 주행하고 있었다면(예,
Figure pct00610
의 속도가 음수인 경우),
●
Figure pct00611
은 간격
Figure pct00612
동안에 최대
Figure pct00613
로 가속하고 시간
Figure pct00614
이후에는 완전 정지에 도달할 때까지 최대
Figure pct00615
로 가속해야 하고, 그 이후에는 양수의 가속이 허용되지 않는다. 차량
Figure pct00616
은 대응 시간 동안에 최대 가속 능력으로 차량
Figure pct00617
를 향해 가속할 수 있지만, 그 이후에는 해당 차량의 선택된 최소 제동률과 최대 제동률 사이의 제동률과 연관된 비율로 감속해야 한다. 선택된 최소 제동률은 규제에 따른 것이거나 기타 임의의 적합한 기준에 의거한 것일 수 있다.
●
Figure pct00618
는 간격
Figure pct00619
동안에 최소
Figure pct00620
로 가속하고 시간
Figure pct00621
이후에는 완전 정지에 도달할 때까지 최대
Figure pct00622
로 가속해야 하고, 그 이후에는 음수의 가속이 허용되지 않는다. 다시 말해, 차량
Figure pct00623
는 차량
Figure pct00624
의 대응 시간 동안에 차량
Figure pct00625
에 대한 최대 가속률까지의 비율로 차량
Figure pct00626
을 향해 가속할 수 있다. 그 후, 차량
Figure pct00627
는 해당 차량의 선택된 최소 제동률과 최대 제동률 사이의 제동률과 연관된 비율로 감속해야 한다. 선택된 최소 제동률은 규제에 따른 것이거나 기타 임의의 적합한 기준에 의거한 것일 수 있다. 또한, 차량
Figure pct00628
의 선택된 최소 제동률은 차량
Figure pct00629
의 선택된 최소 제동률과 상이할 수 있다(예, 역방향으로 주행하는 차량에 의해 인가되어야 하는 최소 제동률은 정방향으로 주행하는 차량에 요구되는 최소 제동률보다 높을 수 있다).
앞서 언급한 바와 같이, 충돌은 위험 시간에만 발생할 수 있다고 추정한다. 따라서, 일단 차량 사이의 거리가 안전하지 않게 되는 경우에 두 차량이 모두 각각의 '위험 상황에 대한 적절한 대응'을 해당 과실 시간부터 적용하는(두 차량 사이의 거리가 다시 안전해질 때까지) 경우, 충돌은 발생할 수 없다. 따라서, 사고에 대한 책임은 충돌 이전에 위험 상황에 대해 적절히 대응하지 않은 당사자에게 지어질 수 있다. 일부 실시예에서, 하기의 정의는 횡방향 이동이 수행되지 않은(즉, 각 차량이 차로 내에서 횡방향 위치를 유지하는) 상황에 적용될 수 있다.
이하, 차량이 횡방향 이동을 수행할 수 있는 경우로 정의가 확장될 수 있다.
정의 31(사고에 대한 책임―횡방향 이동 없는 경우): 시간 t에 차량
Figure pct00630
과
Figure pct00631
사이의 사고에서
Figure pct00632
를 상응하는 과실 시간이라고 할 때, 차량
Figure pct00633
이 간격
Figure pct00634
의 일부 시간에 '위험 상황에 대한 적절한 대응'(정의 30)에 정의된 제약을 준수하지 않은 경우에 차량
Figure pct00635
이 사고에 대한 책임이 있다.
또한, 사고에 대한 책임이 차량
Figure pct00636
과
Figure pct00637
에 공동으로 있는 것도 가능하다(예, 두 차량 모두 적절한 대응 제약을 준수하지 않은 경우).
[횡방향 이동에서의 책임]
일부 실시예에서, RSS 모델은 차량이 횡방향 이동을 수행하는 경우의 책임을 정형적으로 정의할 수 있다. 첫 번째 예는 평면 상의 직선 도로라고 가정하고, 여기서, 횡방향 축과 종방향 축은 예를 들면 앞서 차로 기반 좌표 시스템에서 설명한 바와 같이 각각 x축과 y축이다. 일부 실시예에서, 종방향 속도와 횡방향 속도는 실제 곡선 도로와 직선 도로 사이의 전단사(bijection)에 의해 확보된 직선 가상 도로 상의 종방향 위치와 횡방향 위치의 도함수일 수 있다. 마찬가지로, 가속도는 위치의 2차 도함수일 수 있다.
긴 시간 동안 0의 값이 유지될 수 있는(예, 차량이 움직이지 않는 경우) 종방향 속도와 달리, 차량에는 작은 횡방향 기복이 있기 때문에 횡방향 속도를 정확하게 0으로 유지하는 것은 어려울 수 있다. 따라서, 모델은 횡방향 속도의 강건한(robust) 개념을 제시한다.
정의 32(μ 횡방향 속도): 시간 t에 횡방향 위치 l에 위치한 지점이 있다고 가정하면, 시간 t에 이 지점의
Figure pct00638
횡방향 속도는 다음과 같이 정의된다.
Figure pct00639
로 표기되는 이 지점의 횡방향 위치가
Figure pct00640
또는
Figure pct00641
가 되는 가장 빠른 미래 시간을
Figure pct00642
라고 할 때(이런 시간이 없는 경우에는
Figure pct00643
= 4라고 가정), 일부 시간 t' 0 (t, tout)에 이 지점의 횡방향 위치가 1이라고 하면,
Figure pct00644
횡방향 속도는 0이다. 그렇지 않으면,
Figure pct00645
횡방향 속도는
Figure pct00646
이다.
일부 실시예에서, 두 차량 사이에 충돌이 있기 위해서는 두 차량이 종방향 및 횡방향 모두 매우 근접해 있어야 한다. 안전 종방향 거리는 앞서 정의하였다.
정의 33(안전 횡방향 거리): 시간 간격 [0, ρ] 동안에 두 대의 차량
Figure pct00647
,
Figure pct00648
가 서로를 향해
Figure pct00649
의 횡방향 가속을 가한 후에 각 차량이 0의 횡방향 속도에 도달할 때까지
Figure pct00650
의 횡방향 제동을 가하는 경우, 횡방향 속도
Figure pct00651
,
Figure pct00652
로 주행하는 두 차량
Figure pct00653
,
Figure pct00654
사이의 횡방향 거리는 파라미터
Figure pct00655
,
Figure pct00656
,
Figure pct00657
에 대해 안전하고, 두 차량 사이의 최종 횡방향 거리는 적어도 μ가 될 것이다.
횡방향 안전 거리는 하기의 렘마에 의해 계산될 수 있다.
렘마 13: 정의 33의 표기를 참고하고, 일반적인 사항을 유지한 채로,
Figure pct00658
이
Figure pct00659
의 좌측에 있다고 할 때,
Figure pct00660
이고
Figure pct00661
이라고 하면,
Figure pct00662
의 우측과
Figure pct00663
의 좌측 사이의 최소 안전 횡방향 거리는 다음과 같다.
Figure pct00664
앞서 설명한 바와 같이, 두 차량 사이에 충돌이 발생하려면, 차량 안전하지 않은 종방향 거리와 안전하지 않은 횡방향 거리에 모두 있어야 한다. 따라서, 안전 거리 정의의 개념은 두 차량 모두 안전 거리 위반에 '적절히' 대응한다면 충돌이 발생할 수 없다는 것이다. 한 차량이 '적절히' 대응하지 않았다면, 사고에 대한 책임은 그 차량에 있다. 본 예에서, 모델은 위험 상황 및 과실 시간에 대한 수정된 정의를 사용할 수 있다.
정의 34(위험 상황 및 과실 시간): 차량
Figure pct00665
과
Figure pct00666
사이의 종방향 거리와 횡방향 거리가 모두 안전하지 않은 경우(정의 27, 정의 28, 및 정의 33에 따라), 시간 t가 차량
Figure pct00667
,
Figure pct00668
에 대해 위험하다고 할 때, 위험 시간 t에서, tb로 표기되는 과실 시간은 간격 (tb, t] 내의 모든 시간이 위험하게 되는 가장 빠른 위험하지 않은 시간이다. 본 예에서, 사고는 시간 t가 위험한 경우에만 시간 t에 발생할 수 있고, 이 경우에 사고의 과실 시간은 t의 과실 시간이다.
정의35(위험 상황에 대한 적절한 대응): 차량
Figure pct00669
,
Figure pct00670
에 대한 위험 시간을 t라고 하고, 이에 상응하는 과실 시간을 tb라고 할 때, 두 차량의 적절한 행동은 횡방향/종방향 속도 상에서 다음의 제약을 준수하는 것이라고 가정한다.
1.과실 시간 이전에
Figure pct00671
과
Figure pct00672
사이에 안전한 종방향 거리가 있었다면, 종방향 속도는 정의 30에 의해 제약된다.
2.과실 시간 이전에
Figure pct00673
과
Figure pct00674
사이에 안전한 횡방향 거리가 있었다면, 일반적인 사항을 유지한 채로, 이 시간에
Figure pct00675
이
Figure pct00676
의 좌측에 있는 것으로 가정한다.
● t 0 [tb, tb + ρ)이라면, 두 차량 각각의 횡방향 가속도 a가
Figure pct00677
조건을 충족하는 한, 두 차량은 모두 임의의 횡방향 동작을 취할 수 있다.
● 또는 t > tb + ρ이라면,
○ μ횡방향 속도가 0이 되기 전에,
Figure pct00678
은 최대
Figure pct00679
의 횡방향 가속을 인가해야 하고,
Figure pct00680
는 최소
Figure pct00681
의 횡방향 가속을 인가해야 한다. 다시 말해,
Figure pct00682
은 일 방향으로 적어도 최소 횡방향 가속을 해야 하고,
Figure pct00683
는 반대 방향으로 적어도 최소 횡방향 가속을 해야 한다.
○ μ횡방향 속도가 0이 된 이후에는,
Figure pct00684
의 μ횡방향 속도는 양수가 아닌 임의의 값일 수 있고,
Figure pct00685
의 μ횡방향 속도는 음수가 아닌 임의의 값일 수 있다.
3. 최소의 회피 노력: 상기 규칙 외에도 다음과 같은 제약이 적용될 수 있다.
● 상기 (1)의 경우: 과실 시간에 두 차량이 동일 방향으로 주행하고 있고 앞에 있는 차량이
Figure pct00686
라고 가정하면, 시간 tb + ρ 이후에 μ횡방향 속도가 0에 도달할 때까지 적어도
Figure pct00687
로 횡방향 제동하여야 한다. 또한, 그 이후에는 μ횡방향 속도를 0으로 유지해야 한다.
● 상기 (2)의 경우:
Figure pct00688
은 μ횡방향 속도가 0에 도달할 때까지 적절히 대응하고, 같은 시간 동안에
Figure pct00689
는 적절히 대응하지 않았고 현재
Figure pct00690
앞에 있다고(즉,
Figure pct00691
의 모든 지점이 종방향으로
Figure pct00692
의 모든 지점 앞에 있고,
Figure pct00693
의 일부 지점이
Figure pct00694
의 일부 지점과 동일한 횡방향 위치에 있음) 가정하면, 이 현상이 처음으로 발생하는 순간인 끼어들기 시간을
Figure pct00695
로 표기할 때,
Figure pct00696
<
Figure pct00697
< t - ρ이고
Figure pct00698
의 현재 속도가 양의 값인 경우,
Figure pct00699
은 적어도
Figure pct00700
의 비율로 종방향 제동하여야 한다.
상기의 정의에서, '최소의 회피 노력'이라고 명명된 항목을 제외한 모든 항목은 안전 거리의 정의에서의 가설의 핵심, 즉, 두 차량 모두 적절히 대응하는 경우에는 충돌이 발생하지 않게 된다는 개념을 담고 있다. '최소의 회피 노력'은 추가적인 주의를 기울이는 경우를 다루어, 책임이 공유될 수 있는 잠재적 상황이 발생하는 것을 방지한다. 예를 들면, 뒤차
Figure pct00701
이 앞차
Figure pct00702
로부터 안전 거리를 유지해야 하고,
Figure pct00703
이 충분히 강하게 제동하지 않는 경우에 충돌을 방지하도록
Figure pct00704
가 과하게 주의를 하고 횡방향 이동을 피하는 경우이다. 두 번째 경우는, 예를 들어,
Figure pct00705
이 적절히 행동하고 있는 반면에
Figure pct00706
가 안전하지 않은 종방향 거리에서 끼어들기를 수행하는 경우이다. 이 경우,
Figure pct00707
는 올바르게 행동하지 않았다. 하지만,
Figure pct00708
은 예를 들어 적어도
Figure pct00709
의 제동을 가하여 잠재적 충돌을 회피할 노력을 할 것으로 기대된다. 이로써, 위험 상황의 길이는 감소될 수 있다(두 차량 모두 종방향 속도와 횡방향 속도가 0인 경우가 아닌 한).
정의 36(사고에 대한 책임): 시간 t에 c1과 c2 사이에 사고가 발생하고 해당 과실 시간을 tb라고 할 때, 도 47a에 도시된 바와 같이, (tb, t]의 일부 시간에 정의 35에 따라 적절히 대응하지 않은 차량이 해당 사고에 대한 책임이 있을 수 있다.
도 47a에서, 각 차량 주변에 그려진 수직선들은 차량이 대응 시간 동안에 횡방향으로 가속하고 난 후에 횡방향으로 제동하는 경우에 가능한 차량의 횡방향 위치를 나타낸다. 유사하게, 사각형은 차량의 가능한 종방향 위치를 나타낸다(예, 차량이
Figure pct00710
로제동하거나, 대응 시간 동안에 가속한 후에
Figure pct00711
로 제동하는 경우). 제일 위의 두 줄에서, 과실 시간 이전에 안전한 횡방향 거리가 있었으므로, 적절한 대응은 횡방향 제동을 하는 것이다. 노란색 차량의 μ횡방향 속도는 이미 0이므로, 빨간색 차량만 횡방향 제동을 한다. 셋째 줄에서, 과실 시간 이전에 안전한 종방향 거리가 있었으므로, 적절한 대응은 뒤 차가 종방향 제동을 하는 것이다. 끝으로, 넷째 줄에서, 차량이 서로 마주 오는 상황에서 과실 시간 이전에 안전한 종방향 거리가 있었으므로, 두 차량은 모두 종방향 제동을 하여야 한다.
파라미터
Figure pct00712
, amax,accel, 및 amax,brake는 반드시 물리적 제한을 반영하지는 않지만, 도로 사용자들에게서 기대되는 합리적인 행동의 상한선을 나타내는 것일 수는 있다. 일부 실시예에서, 이러한 정의에 의거하여, 운전자가 위험 시간에 이러한 파라미터를 준수하지 않는 경우, 사고에 대한 책임은 곧바로 그 운전자에게 있게 된다.
설명을 간단히 하기 위해, 차량들은
Figure pct00713
의 '횡방향 제동'을 가하는 것으로부터 0의 μ횡방향 속도로 즉시 전환할 수 있다고 가정하자. 이는 차량의 물리적 성질로 인해 항상 가능한 것은 아닐 수 있다. 그러나, 적절한 대응의 정의에서 중요한 요인은, 시간 tb + ρ에서부터 차량이 0의 μ횡방향 속도에 도달하는 시간까지, 차량이 통과할 전체 횡방향 거리는 완전 정지할 때까지
Figure pct00714
의 제동을 가했을 경우에 차량이 통과했을 전체 횡방향 거리보다 크지 않을 것이라는 것이다. 일부 실시예에서, 실제 차량이 이 목표를 달성하는 것은 일단은 강한 비율로 제동을 하고 난 후에 끝에서는 서서히 횡방향 속도를 감소함으로써 가능하다. 일부 실시예에서, 제동률의 변화는 RSS 모델에 영향을 미치지 않을 수 있다.
일부 실시예에서, 상기의 정의는 각 차량의 모든 지점에 대한 최악의 상황을 고려함으로써 임의의 형상의 차량에 대해 성립된다. 예를 들어, 이 모델은 세미트레일러(semi-trailer) 또는 도어가 열려 있는 차량에도 적용될 수 있다.
[다중 기하 및 우선주행권 규칙]
일부 상황에서, 특정 영역에서 중첩하는 다수의 상이한 도로 기하가 한 장면 또는 주변상황에 있을 수 있다. 도 47b는 로터리(4706), 교차로(4704, 4708), 및 고속도로 진입로(4702)를 포함하는 예시적인 도로 기하를 도시하고 있다. 많은 이러한 경우에서, 실선으로 도시된 일 경로는 파선으로 도시된 타 경로들에 비해 우선권이 있을 수 있고, 이 경로 상에 주행하는 차량들은 우선주행권이 있다.
다중 경로 기하의 상황을 접하는 경우, 상기의 정의는 조정될 필요가 있을 수 있다. 예를 들어, 도 47b에 도시된 T자 교차로(4702)에서, 실선으로 표기된 경로에 대해 일시정지표지판이 있다고 가정하고, c1이 파선 경로 상의 교차로에 접근하고, 동시에 c2가 실선 경로 상의 교차로에 접근하고 있다고 가정하자. 파선 경로의 좌표 시스템에 따르면, c2의 횡방향 속도는 매우 크고, 따라서 c1은 c2가 이미 안전하지 않은 횡방향 거리에 있다고 추론할 수 있고, 이는 우선주행권이 있는 경로 상에서 주행하는 c1이 c2와의 안전 종방향 거리를 유지하기 위해서는 속도를 줄여야 한다는 것을 시사한다. 이는 실선 경로에서 오는 차량들에 대해 c2가 매우 보수적이어야 한다는 의미이다. 이 경우에서 노란색 경로 상의 차량들이 우선진행권이 있으므로, 이는 물론 자연스럽지 않은 행동이다. 또한, c1이 일찌감치 정지할 수만 있다면 우선진행권이 없는 c2마저도 교차로로 진입할 수 있어야 한다(이는 교통량이 극심한 경우에 중대함). 본 예시는 c1이 r 1 상에서 주행하는 경우에, r 2의 좌표 시스템에 대한 c1의 위치 및 속도를 고려하는 것이 의미 없음을 보여준다. 그 결과, 'c1이 c2의 앞에 있다는 것의 의미' 및 안전하지 않은 거리에 있다는 것의 의미와 같은 상기의 개념이 일반화될 수 있다.
다중 기하의 경우에서, 안전 횡방향 거리의 정의는 일반화될 수 있다. 하기의 정의를 동일 기하의 두 경로에 적용하면 정의 33과 같은 정의를 산출할 수 있다. 여기서 언급되는 바와 같이, 경로는 R2의 부분집합일 수 있다. 또한, 하기 예시의 두 차량 c1, c2는 상이한 경로 r1, r2 상에서 주행하고 있는 것으로 가정한다. 일부의 경우(예, 도 47b의 T자 교차로(4704)), 두 차량이 모두 배정되는 단일 경로 r1이 있고, 시간이 위험하지 않다면, 그 순간 이후부터는 정의는 r1과 연관하여 설명된다.
정의 37(상이한 기하의 두 경로에 대한 횡방향 안전 거리): 서로 교차하는 경로 r1, r2 상에서 주행하는 차량 c1, c2가 있다고 하고,
Figure pct00715
각각에 대해,
Figure pct00716
는 시간 간격 [0, ρ) 동안에 차량 ci가 횡방향 가속
Figure pct00717
을 가한(ri에 대해) 후에 0의 횡방향 속도에 도달(ri에 대해)할 때까지 최소
Figure pct00718
의 횡방향 제동을 가하는(ri에 대해) 경우에 차량 ci가 있을 수 있는 ri 내의 최소 및 최대 횡방향 위치라고 할 때, c1과 c2 사이의 횡방향 거리는 횡방향 간격 [x1,min, x1,max], [x2,min, x2,max]에 대한 r1, r2의 제한이 적어도 μ의 거리인 경우에 c1과 c2 사이의 횡방향 거리는 안전하다. 여기서, 횡방향 간격 [xi,min, xi,max]에 대한 ri의 제한은 간격 [xi,min, xi,max] 내에 (x, y)의 의미론적 횡방향 위치가 모든 지점
Figure pct00719
에 의해 확보된 R2의 부분집합일 수 있다.
하기의 정의 38은 두 차량 사이에 공통된 종방향 축이 없는 경우(예, 두 차량이 서로 앞 뒤에서 주행하지 않고 있는 경우)의 두 차량 사이의 순서 결정을 예시적으로 정량화 한 것이다.
정의 38(상이한 기하의 두 경로에 대한 종방향 순서 결정): 도 47c에 도시된 바와 같이, 서로 교차하는 경로 r1(4714), r2(4716) 상에서 주행하는 차량 c1(4710), c2(4712)가 있다고 하면, 다음 중의 하나가 성립되면 c1(4710)이 종방향으로 c2(4712)보다 앞에 있다: 각각의 i에 대해, 두 차량이 모두 ri 상에 있으면, ri에 따라 c1이 c2보다 앞에 있다; 또는, c1은 r2의 외측에 있고 c2는 r1의 외측에 있으며, r1에 대한 c1으로부터
Figure pct00720
집합까지의 종방향 거리는 r2에 대한 c2으로부터
Figure pct00721
집합까지의 종방향 거리보다 크다.
종방향 순서 결정 정의의 강건성(robustness)의 조치로, c1, c2가 교차로로부터 각각 20미터와 20.1미터에 있다고 가정하면, 상기 정의는 두 차량 사이에 안전한 종방향 거리가 있는 경우에만 효과적으로 사용되고 있고, 따라서 두 차량 사이의 순서 결정은 자명하게 되므로, 상기 정의는 성립된다. 또한, 이러한 상황은 두 차량이 다차선 고속도로에서 서로 옆에서 주행하고 있는 경우의 순서 결정의 비강건성(non-robustness)과 비유된다.
정의 39(상이한 기하의 두 경로에 대한 종방향 안전 거리): 서로 교차하는 r1, r2 상에서 주행하는 c1, c2가 있다고 할 때, 다음 중의 하나가 성립되면 c1과 c2 사이의 종방향 거리는 안전하다.
1. ri에 우선주행권이 없도록 하는 모든
Figure pct00722
에 대해, ci가 ρ초 동안에 amax,accel로 가속한 후에 0의 종방향 속도(ri에 대한)에 도달할 때까지 amin,brake로 제동하고, 이 시간 동안 ci가 다른 경로의 외부에 남아있는 경우.
2. 또는, c1이 c2의 전방에 있는 경우(정의 38에 따라), 두 차량은 안전한 종방향 거리에 있다. 예를 들어, c1은 0의 속도(r1에 대한)에 도달할 때까지 amax,brake로 제동하고, c2는 ρ초 동안에 최대 amax,accel로 가속한 후에 0의 속도에 도달할 때까지 적어도 amin,brake로(r2에 대한) 제동하는 경우, c1은 c2의 전방에 남아있게 된다(정의 38에 의거).
3. 또는, i ∈ {1, 2}에 대해, ri에 대한 p의 횡방향 위치가 [xi,min, xi,max] 내에(정의 37에 의거) 있게 하는 지점
Figure pct00723
가 있다고 하고, [ti,min, ti,max]는 ci가 첫 ρ초 동안에 [-amax,brake, amax,accel] 범위의 종방향 가속을 가한 후에 0의 속도에 도달할 때까지 [amin,brake, amax,brake] 범위의 종방향 제동을 가하는 경우에 ri에 대한 p의 종방향 위치에 도달할 수 있는 모든 시간이라고 할 때, 이러한 각 p에 대해 [t1,min, t1,max]가 [t2,min, t2,max]를 교차하지 않는다면 두 차량은 안전한 종방향 거리에 있을 수 있다.
도 47d는 정의 39를 예시적으로 도시한 것이다. 참조번호 4720은 차량 4724가 도로에 진입하기 전에 일시 정지 해야 하기 때문에 우선진행권이 차량 4722에 있는 예시적인 안전 상황이다. 참조번호 4726은 차량 4722가 차량 4274의 전방에 있으므로 차량 4722가 정지하거나 감속하는 경우에 차량 4724는 정지할 시간이 있는 다른 예시적인 안전 상황이다. 참조번호 4728에서, 차량 4722가 완전 정지하였고, 차량 4724가 완전 횡방향 정지한 경우에, 이 상황은 정의 39의 (3)번 항목의 정의에 따라 안전하다.
정의 40(상이한 기하의 경로에 대한 위험 시간, 과실 시간, 적절한 대응, 및 책임): 경로 r1, r2 상에 주행하는 차량 c1, c2가 있다고 하고, 횡방향 거리와 종방향 거리가 모두 안전하지 않은 경우에(정의 11과 정의 13에 의거) 시간 t는 위험할 수 있다고 하면, 상응하는 과실 시간은 (tb, t] 내의 모든 시간이 위험하도록 하는 가장 빠른 위험하지 않은 시간 tb일 수 있다. c1 및/또는 c2의 적절한 대응은 과실 시간 직전의 상황에 달려있을 수 있다.
● 횡방향 거리가 안전한 경우, 두 차량 모두 정의 37의 횡방향 안전 거리의 설명에 따라 대응해야 한다.
● 또는, 정의 39의 (1)번 항목에 따라 종방향 거리가 안전한 경우, 우선주행권이 있는 경로에 있다면 정상적으로 주행할 수 있지만, 그렇지 않다면 t - tb ≥ρ이 경우 적어도 amin,brake로 제동해야 한다.
● 또는, 정의 39의 (2)번 항목에 따라 종방향 거리가 안전한 경우, c1은 정상적으로 주행할 수 있고, c2는 t - tb ≥ρ의 경우 적어도 amin,brake로 제동해야 한다.
● 또는, 정의 39의 (3)번 항목에 따라 종방향 거리가 안전한 경우, t-tb < ρ이면 두 차량은 모두 정상적으로 주행할 수 있지만, 그렇지 않은 경우에는 적어도
Figure pct00724
로 횡방향 제동 및 종방향 제동을 해야 한다(각 차량의 경로에 대해).
끝으로, 충돌이 발생하는 경우, 적절한 대응을 준수하지 않은 차량에 책임이 있을 수 있다. 일부 실시예에서, 예를 들어, 도 47e와 같이, 다른 에이전트에 의해 사용되는 경로에 대해 모르는 경우가 있다. 도 47e에서, 교차로에서의 차량 4730의 경로는 차량 4732가 모른다. 이러한 경우, RSS는 모든 가능성을 확인함으로써 확보될 수 있다.
[신호등]
일부 실시예에서, 차량은 신호등이 포함된 상황을 마주할 수 있다. '한 차량의 경로는 녹색 신호등이고 다른 차량의 경로는 적색 신호등이면, 적색 신호등의 경로 상의 차량에 과실이 있다'는 성립되지 않을 수 있다. 도 47f에 도시된 상황을 보면, 차량 4734의 경로가 녹색 신호등이라고 해도, 이미 교차로 내에 있는 차량 4736을 무시할 수는 없을 것이다. 녹색 신호가 켜진 경로가 적색 신호가 켜진 경로보다 우선권이 있을 수는 있다. 따라서, 신호등이 있는 상황의 개념은 앞서 설명한 경로 우선권으로 귀결된다. 일부 실시예에서, 경로 우선권에 대한 규칙은 선행권은 취하기보다는 제공하는 것으로 개념적으로 단순화될 수 있다.
[체계가 없는 도로]
일부 실시예에서, 차량은 도 47g에 도시된 바와 같은 체계가 없는 도로를 마주할 수 있다. 참조번호 4718에서, 도로 영역에서 차로의 구분은 명확하게 한정되어 있지 않지만, 도로에서 다중 경로의 구분은 명확하게(각 경로에 대한 명확한 기하로) 한정되어 있다. 본 개시에서 책임의 정의들은 경로 기하에만 의존하므로, 이 정의들은 이러한 상황에 있는 그대로 적용된다.
다음으로, 경로 기하가 전혀 없는 상황(예, 주차장(4738))을 보면, 횡방향과 종방향이 분리되어 있는 체계화된 경우와 달리, 이러한 상황은 2차원 궤적을 필요로 한다.
정의 41(궤적): 어떤 도로를 주행하고 있는 차량 c가 있다고 하자. 차량 c의 추후 궤적은 함수
Figure pct00725
로 표현될 수 있고, 여기서,
Figure pct00726
는 현재 시간으로부터 t초 후의 차량 c의 위치이다.
Figure pct00727
로 표기되는 t에서의 궤적의 접선벡터(tangent vector)는 t에서의
Figure pct00728
의 야코비안(Jacobian)이다.
즉,
Figure pct00729
이고, 여기서, ts는 차량이 완전 정지에 처음으로 도달하는 시간이고, 이러한 t가 존재하지 않는 경우에는
Figure pct00730
로 설정한다.
위험한 상황은 두 궤적 사이의 충돌 가능성에 의거하여 식별될 수 있고, 이는 정의 42에 설명되어 있다.
정의 42(궤적 충돌): τ1, τ2를 c1, c2의 추후 궤적이라고 하고, 상응하는 정지 시간은 각각
Figure pct00731
라고 하면, 파라미터
Figure pct00732
에서 다음 중의 하나가 성립되는 경우에 τ1,과 τ2는 충돌하지 않으며,
Figure pct00733
로 표기될 수 있다.
1.
Figure pct00734
인 모든 경우에
Figure pct00735
이다.
2.
Figure pct00736
인 모든 경우에
Figure pct00737
이고, 벡터
Figure pct00738
과
Figure pct00739
사이의 모든 각도의 절대값은 최대 θ이다.
T1으로 표기되는 c1에 대한 궤적의 집합과 T2로 표기되는 c2에 대한 궤적의 집합에서,
Figure pct00740
인 모든 경우에
Figure pct00741
이면
Figure pct00742
이다.
첫 번째 항목은, 예를 들어, 두 차량 모두 완전 정지할 때까지 두 차량이 서로로부터 떨어지게 된다는 것을 설명하고 있고, 두 번째 항목은, 예를 들어, 첫 번째 차량이 완전 정지할 때까지 두 차량이 서로로부터 떨어져 있게 되고, 이 시점에 두 번째 차량의 속도 벡터는 첫 번째 차량으로부터 멀어지는 방향으로 향한다는 것을 설명하고 있다.
일부 실시예에서, 충돌 연산자는 가환성(commutative)이 아닐 수 있다. 예컨대, 두 대의 차량이 현재 커다란 원에서 동일한 방향으로 주행하고, c 1이 c 2의 바로 뒤에 있다고 가정하고, τ1은 c 1이 급제동하는 궤적이고 τ2는 c 2가 동일 속도로 영구히 지속하는 궤적이라고 가정하면,
Figure pct00743
인 반면에
Figure pct00744
이다.
일부 실시예에서, '제동' 및 '전방 지속' 동작의 추상적 개념을 가정할 수 있다. 체계화된 경우에서, 이러한 동작의 의미는 횡방향 및 종방향 가속에 대해 허용된 간격에 의거하여 정의될 수 있다.
정의 43(제동 및 정상 주행으로 인한 가능한 궤적): 차량 c가 어떤 도로에서 주행하고 있다고 하면, 이 차량의 동작에 대한 제약의 집합인 C에서, T (C, c)는 c가 C에 주어진 제약을 준수하는 경우의 c의 가능한 추후 궤적의 집합이다. 일부 실시예에서, 이 집합은 상위 집합일 수 있다. 일부 실시예에서, T (Cb, c), T (Cf, c)는 제동 동작에 대한 제약 및 전방 지속 동작에 대한 제약으로 인한 추후 궤적을 나타내는 것을 수 있다.
정의 43은 안전 거리, 위험 상황, 과실 시간, 적절한 대응, 및 책임의 개념을 정제하는데 활용될 수 있다.
정의 44(안전 거리, 위험 상황, 과실 시간, 적절한 대응, 책임): 다음 중의 하나가 성립되는 경우, 체계가 없는 도로 상에서 주행하는 c0, c1 사이의 거리는 안전하다.
1. 일부 i ∈ {0, 1}에 대해
Figure pct00745
이고
Figure pct00746
2.
Figure pct00747
일부 실시예에서, c0과 c1 사이의 거리가 안전하지 않은 경우, 시간 t는 c0, c1에 대하여 위험하다. 상응하는 과실 시간은 전체 시간 간격 (tb, t] 동안에 상황이 위험한 것이 성립되는 가장 이른 위험하지 않은 시간 tb이다. 상응하는 과실 시간 tb가 있는 위험 시간 t에 차량 cj의 적절한 대응은 다음과 같다.
1.두 차량 모두 이미 완전 정지해 있는 경우, cj는 c1-j로부터 멀어지게 주행할 수 있다(즉, 속도 벡터와 cj와 c1-j의 차이의 벡터 사이의 각도는 그 절대값이 최대
Figure pct00748
이어야 하고, 여기서 θ는 정의 42에 의거함).
2.또는, 상기 (1)번 항목으로 인해 tb가 안전했고 j = 1 - i인 경우, c1-j가 완전 정지 상태가 아닌 이상, cj는 Cf에서와 같이 '전방 지속' 동작의 제약을 준수해야 하고, 그 후에는 두 차량이 모두 정지 상태에 있는 경우와 같이 동작해야 한다.
3.또는, 적절한 대응은 제동하는 것, 즉, 제약 Cb를 준수하는 것이다.
끝으로, 사고가 발생한 경우, 적절히 대응하지 않은 차량에 책임이 있다.
일부 실시예에서, 모델은 제동 제약 C b 와 전방 지속 동작 제약 C f 에 적용될 수 있다. 앞서 설명한 바와 같이, 차량은 다른 차량들의 동작을 예측할 수 있고(다른 차량들은 각 경로 상에서 주행하고 제한 비율로 횡방향/종방향 속도 변경을 해야 함), 차량이 위험 시간에 있는 경우, 적절한 대응은 경로의 기하와 연관하여 정의될 수 있다(횡방향 및 종방향 '제동'). 일부 실시예에서, 적절한 대응은 호스트 차량과 안전하지 않은 거리에 있는 다른 차량과 연관하여 정의되지 않는다. 예를 들면, 차량이 한 대 이상의 다른 차량에 대하여 안전하지 않은 거리에 있는 경우, 갈등이 발생할 수 있다. 따라서, 일부 실시예에서, 체계가 없는 상황에 대한 정의를 설계하는 경우에, 두 가지 성질이 여전히 성립되게 된다.
예를 들어, 제약의 정의는 차량의 기본적인 운동학적 모델에 의존할 수 있다. 차량 속도는 종방향 속도와 같은 정의를 따를 수 있다(허용 가속의 범위를 제한). 횡방향 움직임에 대하여, 차량이 조향 핸들의 일정한 각도와 일정한 속도를 유지하는 경우, 차량은 (대략적으로) 원을 따라 움직이게 된다. 다시 말해, 차량의 진행 각도는 일정한 비율로 변화하게 되고, 이를 차량의 요 레이트(yaw rate)라고 부른다. 차량의 속도를 v(t)로 표현하고, 진행 각도를
Figure pct00749
로 표현하고, 요 레이트를
Figure pct00750
로 표현하면(즉, 진행 각도의 도함수),
Figure pct00751
와 v(t)가 각각 상수인 경우에, 차량은 원을 따라 이동하고, 이 원의 '반지름'은
Figure pct00752
이 된다('반지름'의 부호는 시계 방향 또는 반시계 방향의 회전을 결정하고, 차량이 선 상에서 이동하는 경우, 즉
Figure pct00753
= 0인 경우에는 '반지름'은 ∞이 됨). 따라서, 반지름은
Figure pct00754
로 정의될 수 있다.
일부 실시예에서, 주행에 대한 두 가지 제약이 있을 수 있다. 첫째는 반지름의 역은 제한된 비율로 변화한다는 것이고, 둘째는
Figure pct00755
도 제한된다는 것이다. 예상되는 제동 동작은 대응 시간 동안에 제한된 방식으로
Figure pct00756
와 1/r(t)를 변경하는 것일 수 있고, 그 후에는 원 상에서 계속 주행하는 것(또는 적어도 원으로부터 최대
Figure pct00757
의 거리에 있는 것)일 수 있다. 이 동작은 대응 시간 동안에 최대
Figure pct00758
로 가속한 후에 횡방향 속도가 0이 될 때까지 감속하는 것과 유사하다.
안전 거리의 효율적인 계산을 위하여, 상위 집합 T (C b , c)는 다음과 같이 설명될 수 있다. 일반적인 사항을 유지한 채로, 과실 시간은 t = 0이라고 하고, 과실 시간에 c의 진행 방향은 0이라고 가정하면,
Figure pct00759
의 제약에 의해
Figure pct00760
가 된다. 또한, 시간 ρ에 반지름의 역은 다음을 충족해야 한다.
Figure pct00761
여기서,
Figure pct00762
이다. 상위 집합 T (C b , c)는 초기 진행 방향(시간이 0일 때의 진행 방향)이 범위
Figure pct00763
내에 있도록 하는 모든 궤적으로 정의될 수 있고, 궤적은 반지름의 역이 상기 관계에 관해 정의되는 원 상에 있고, 원 상의 종방향 속도는 체계화된 경우와 같다. 전방 지속 궤적에 대하여, 대응 시간 이후에도 허용된 종방향 가속이
Figure pct00764
이내에 있다는 점을 제외하곤 동일한 분석이 적용될 수 있다. 극단적인 반지름의 예시가 도 47h에 제공되어 있다.
도 47h는 체계가 없는 상황에서의 횡방향 동작의 예시이다. 실선은 현재 궤적이고, 파선은 극단적인 원호이다.
끝으로, 차량의 이러한 적절한 대응은 앞서 언급한 체계화된 상황에 대한 적절한 대응의 두 가지 성질을 충족할 수 있다. 즉, 비상 상황이 발생하는 경우에 다른 차량들의 추후 위치를 한정할 수 있고, 차량이 한 대 이상의 다른 차량에 대한 위험 상황에 있더라도 적절한 대응이 동일하게 적용될 수 있다는 것이다.
[보행자]
보행자(또는 기타 도로 사용자)가 관련된 충돌에 대한 책임의 부여를 위한 규칙은 상기에 설명한 것과 동일한 개념에 따른 것일 수 있다. 그러나, 안전 거리 및 적절한 대응의 정의에서 파라미터를 조정하거나 보행자의 경로(또는 체계가 없는 경로) 또는 차량의 경로에 대한 보행자의 우선통행권을 지정할 필요가 없을 수도 있다. 일부 경우에서, 보행자의 경로는 잘 정의되어 있다(예, 횡단보도 또는 인도). 주택가 도로 등과 같은 다른 경우에서, RSS 모델은 체계가 없는 도로에 대한 분석에 기반할 수 있다. 또한, 직선 또는 원호 구간으로만 제한된 차량과 달리, 보행자에 대하여 진행 방향의 변경
Figure pct00765
는 보행자가 비상 상황에서 대응 시간 이후에 직선으로 지속할 것으로 추정하도록 제약될 수 있다. 보행자가 서있는 경우, 보행자에게는 현재 위치로부터 시작하는 모든 가능한 선이 배정될 수 있다. 우선권은 도로의 유형에 따라, 그리고 가능한 경우에는 신호등의 존재 및/또는 위치에 따라 설정될 수 있다. 예를 들어, 전형적인 주택가 도로 상에서, 보행자가 차량보다 우선권이 있고, 차량은 보행자에게 양보하고 보행자에 대해 주의해야 한다는 것이 성립된다. 반면, 인도가 포함된 도로가 있을 수 있고, 이 경우에 차량은 인도의 보행자가 갑자기 도로로 뛰어들 것이라고 추정하지 않아도 된다. 이러한 상황에서, 차량은 우선권이 있다. 다른 예는 신호등이 있는 횡단보도가 될 수 있고, 여기서 우선권은 신호등에 따라 동적으로 설정된다. 일부 실시예에서, 그리고 앞서 설명한 바와 같이, 우선권은 취하기보다 제공하는 것이므로, 보행자에게 우선권이 없더라도 보행자가 안전 거리에서 도로에 진입하는 경우에는 차량은 제동을 해야 하고 보행자가 통행하도록 해야 한다.
예를 들어, 주택가 도로 상에 보행자가 서있는 상황에서, 보행자에게는 현재 위치로부터 발산하는 광선에 의해 확보된 모든 경로가 배정된다. 이러한 가상 경로 각각에 대한 보행자의 안전한 종방향 거리는 짧을 수 있다. 예컨대, 지연을 500 ms로 설정하고 최대 가속과 제동을 2 m/s2로 설정하면, 안전한 종방향 거리의 보행자 부분은 50 cm로 산출된다. 차량은 적절한 대응을 적용(ρ초 동안 가속 후 제동)하는 경우에 보행자 둘레 50 cm 반경의 외부에 있게 되도록 하는 운동학적 상태에 있을 수 있다는 것이 성립된다.
두 번째 예에서, 보행자가 횡단보도 앞의 인도에 서있을 수 있다. 신호등은 보행자에게 적색 신호이고 횡단보도에 접근하는 차량에는 녹색 신호일 수 있다. 본 예에서, 차량 경로에 우선권이 있으므로, 차량은 보행자가 인도 상에 머무를 것으로 추정할 수 있다. 차량이 안전 종방향 거리(차량의 경로와 연관된 거리)에 있는 동안에 보행자가 도로에 진입하는 경우, 차량은 제동을 해야 한다. 그러나, 차량이 안전 종방향 거리에 있지 않는 동안에 보행자가 도로에 진입하는 경우, 그리고 그 결과로 차량이 보행자를 치는 경우, 차량에는 책임이 없다. 이 상황에서, 차량은 보행자에 대해 염려하지 않고 정상 속도로 주행할 수 있다는 것이 성립된다.
세 번째 예는 보행자가 주택가 도로 상에서 시속 10km(초속 약 2.7 m)로 달리는 경우이다. 보행자의 가능한 추후 궤적은 이등변 삼각형을 형성한다. 첫 번째 예와 동일한 파라미터를 사용하면, 이 삼각형의 높이는 약 15m이다. 차량은 15m보다 짧은 거리에서 보행자의 경로에 진입해선 안 된다는 것이 성립된다. 그러나, 차량이 15m보다 긴 거리에서 보행자의 경로에 진입하고, 보행자가 정지하지 않았고 그 결과로 차량과 충돌하는 경우, 책임은 보행자에 있다.
[가려진 영역에 대한 주의]
인간의 감지 능력은, 때론 도로의 특정 부분에 초점을 맞추려는 잠재의식의 결정으로 인해, 때론 부주의로 인해, 때론 물리적 한계로 인해(예, 주차된 차량 뒤에 숨어있는 아이를 보는 것은 불가능함), 제한되어 있다. 첨단 자동 감시 시스템도 물리적으로 가려지거나 센서의 감지 범위로 인해 감지에 한계가 있을 수 있다. 예를 들면, 주차된 차량 뒤의 아이가 보이지 않거나, 교차로에 접근하는 차량들이 빌딩 또는 담에 가려지거나, 고속도로 상의 다른 차량들에 의해 사각지대가 생길 수 있다.
도 47i는 c 0이 주차장에서 나와 경로로 진입하려고 하지만 도로의 좌측으로부터 진입 지점으로 접근하는 차량들이 있는지 여부를 볼 수 없는 예시적인 상황을 도시한 것이다. 속도 제한이 시속 30 km인 도시의 좁은 도로라면, 인간 운전자의 행동은 도로로 천천히 진입하고 감지 한계가 없어질 때까지 더 넓은 시야를 확보하는 것일 것이다. 아무 가정을 더하지 않고, 이 행동은 충돌로 이어질 수 있다. 실제로, c 1이 매우 빠르게 주행 중이라면, c 0의 시야 범위에 들어오는 순간에, c 1은 상황이 이미 ρ초 이상 동안 위험하고 적절히 대응할 수 없음을 드러낼 수 있다. 정의 45는 가려진 물체가 센서에 처음으로 노출되는 시간에 대한 정의를 제공하고, 노출 이후에 시스템은 센서가 검출할 수 있는 임의의 기타 물체를 처리하듯이 이 상황을 처리할 수 있다.
정의 45(노출 시간): 물체의 노출 시간은 물체가 처음으로 센서에 의해 검출되는 시간일 수 있다.
따라서, 정의 45를 활용하면, 도로 사용자의 합리적인 속도의 상한을 설정할 수 있다. 앞서 설명한 예에서, c 1이 시속 60 km(허용 속도의 2배) 이상으로 주행하지 않을 것이라고 추정하는 것이 합리적이다. 이러한 추정으로, c 0은 시속이 최대 60 km인 모든 임의의 차량에 대한 위험한 상황에 들어가지 않도록 충분히 천천히 진입 지점에 접근할 수 있다. 이는 다음과 같은 정의로 이어진다.
정의 46(불합리한 속도로 인한 책임): 차량 c0과 c1 사이의 사고에서, 과실 시간 이전에 안전 횡방향 거리가 있었고, c1이 불합리적으로 빠르게, 즉, 노출 시간으로부터 과실 시간까지 vlimit 이상의 평균 속도로 주행하고 있었고, 여기서, vlimit은 지도 상의 그리고 하나 이상의 도로 상황 상의 c1의 위치와 연관된 파라미터인 경우, 책임은 오로지 c1에 있다.
일부 실시예에서, 이러한 정의들을 적용하면 c 0이 인간 운전자와 동일한 방식으로 주차장을 빠져나갈 수 있다. 상기 정의에 의거하여, c 0은 가려진 영역의 가장자리에 속도가 v limit인 차량이 있는 상황을 확인할 수 있다. 따라서, c 0으로 하여금 속도를 줄이고 가려진 영역으로부터 멀리 주행하도록 하여 서서히 시야를 넓히고 도로로 안전하게 진입할 수 있게 한다.
이러한 책임 정의는 가려질 수 있는 물체를 지정할 수 있으므로 다양한 경우에 적용될 수 있다(예: 고속으로 달리는 차량은 서로 가까이 주차된 두 대의 차량 사이에 가려질 수 없으나, 아이 또는 보행자는 가려질 수 있음). 이러한 책임 정의는 또한 가려진 물체 또는 사람에 대해 무엇이 불합리적으로 빠른지를 지정할 수 있다(예: 아이의 v limit은 차량의 v limit보다 많이 작음).
주거 지역의 가려진 보행자
예시적인 상황에서, 주차된 차량 뒤에서 아이가 뛰어나올 수 있다. 도로가 주거 지역에 있는 경우, 아이의 경로는 우선권이 있고, 따라서 차량은 속도를 조절하여 주차된 차량 뒤에서 아이가 튀어나와도 사고가 없도록 해야 한다. 아이의 최고 속도를 제한함으로써, 차량은 아이가 정확히 최고 속도일 최악의 상황에 따라 속도를 조절할 수 있다.
그러나, 일부 실시예에서, 상기 방식은 지나치게 방어적인 행동이 될 수 있다. 실제로, 일련의 주차된 차량 옆으로 차량이 주행하고 있는 전형적인 상황을 가정하면, 시속 10 km로 도로에 뛰어드는 아이(예: 공을 주우러 뛰어나오는 아이)는 주차된 차량에 가려질 수 있고, 차량의 카메라는 차량과 보행자 사이의 횡방향 거리가 0.3 m 미만일 때만 아이를 감지한다고 하자. 아이의 경로의 종방향 안전 거리는 전형적인 주택가 도로의 폭보다 큰 15 m라고 할 때, 차량은 이미 안전하지 않은 종방향 거리(아이의 경로에 대한 거리)에 있는 것이고, 따라서 아이의 경로로 들어가기 전에 정지할 수 있어야 한다. 그러나, 초속 1m(합리적인 파라미터 설정)로 주행하는 차량의 제동 거리는 0.4m를 초과할 수 있다. 즉, 이 상황에서, 주차된 차량으로부터 예를 들어 5m의 횡방향 거리를 두고 주행하고 있다고 하더라도, 차량은 초속 1m 미만으로 주행해야 한다는 것이 성립된다. 이는 지나치게 방어적일 수 있고 일반적인 인간의 행동을 반영하지 않는다.
일부 실시예에서, 차량이 과잉 보상을 하지 않고 지나치게 방어 운전하지 않도록 가정을 할 수 있다. 예를 들어, 인간 운전자는 법규에 의존할 수 있다. 자율주행차는 속도 제한을 따르겠지만, 일부 실시예는 안전의 더욱 강건한 개념을 요구할 수 있다. 하기의 정의는 이러한 상황에 대한 예시적인 책임 정의로서, 합리적으로 빠른 주행을 가능하게 하면서 안전한 주행을 가능하게 한다.
정의 47(가려진 보행자와의 충돌에 대한 책임): 예를 들어, 주택가 도로에서의 보행자와 차량 사이의 충돌에서, 다음의 두 가지 조건이 성립되는 경우에 차량은 사고에 대한 책임이 없다.
● 노출 시간을 te라고 하고, 차량은 시간 간격 [te, te + ρ)에서 가속하지 않았고, te + ρ로부터 사고가 발생할 때까지 또는 완전 정지에 도달할 때까지 적어도 amin,brake의 종방향 제동을 수행했다.
● 노출 시간으로부터 충돌 시간까지의 차량의 평균 속도는 동일 시간 간격에 보행자의 평균 속도 미만이었다(평균 속도는 에이전트가 시간 간격 동안 이동한 전체 거리를 시간 간격의 길이로 나눈 값).
첫 번째 조건은 차량의 속도가 노출 시간으로부터 충돌 시간까지 단조적으로 증가하지 않는 것을 나타내고, 두 번째 조건은 차량의 평균 속도는 보행자의 평균 속도보다 작음을 나타낸다. 아래 렘마의 입증이 시사하듯이, 보행자 최대 가속에 관한 일부 합리적인 가정 하에서, 책임 정의는 충돌 시간에 차량의 속도가 보행자의 속도보다 상당이 느리거나 차량과 보행자 모두 매우 느린 속도일 수 있음을 나타낸다. 후자의 경우, 손상은 심각하지 않을 것이고, 전자의 경우, 사고에 대한 과실이 보행자에게 있다는 '상식'과 일치한다.
다음의 렘마는 가려진 보행자와의 충돌에 대해 책임이 없도록 보장하는 허용 주행 속도를 나타낸다.
렘마 14: 가려진 지점으로부터 횡방향 거리 x와 종방향 거리 y에 위치한 차량이 있다고 할 때, 횡방향 속도가 0이고, 종방향 속도가 다음보다 작다고 하면,
Figure pct00766
차량에 책임이 있는 사고를 발생시키지 않을 것을 보장할 수 있다. 특히, 다음의 일정한 주행 속도가 가능하다.
Figure pct00767
입증: 노출 시간에, 보행자가 (0, 0)에 위치하고, 차량이 (x, -y)에 위치한다고 가정하고, 충돌이 (x, y c ) 지점에서 발생했다고 가정하고, (x, y s )는 차량이 완전 정지에 도달하는(충돌이 발생하지 않는 경우에) 지점이라고 하고, t c 를 충돌 시간이라고 정의하고 t s 를 차량이 완전 정지에 도달하는 시간이라고 정의하면, (x, y c ) 지점에서 차량의 과실인 충돌이 발생하는 경우에, 다음이 성립된다.
Figure pct00768
그러나,
Figure pct00769
이므로, 이는 다음을 시사한다.
Figure pct00770
즉, 제동 시간에 차량의 과실인 충돌이 있을 수 있음을 시사한다. 그러므로, 차량의 과실인 충돌이 없게 하기 위하여, 제동 시간에 이러한 충돌이 없도록 확인해야 한다. 즉, 다음 조건이 성립된다:
Figure pct00771
.
Figure pct00772
이므로, 재배열을 하면 다음이 산출된다.
Figure pct00773
이 조건은 간격
Figure pct00774
에 대해 성립되고, 여기서, v max(x, y)는 이차방정식의 루트이다. 즉,
Figure pct00775
f (y) = (x 2 + y 2)/y는 y = x에서 최소화 되므로, 차량의 최대 일정 속도는 다음과 같이 산출된다.
Figure pct00776
첨단 운전자 지원 시스템(ADAS)에 대한 RSS
능동형 안전 시스템은 도로를 더욱 안전하게 할 수 있다. 예를 들어, 자동긴급제동(Autonomous Emergency Braking 또는 AEB) 시스템은 차량이 앞에 있는 차량과 충돌할 것 같다고 검출하면 차량을 감속하거나 정지할 수 있다. AEB에서 발생하는 한가지 문제는 긍정 오류가 0에 가깝도록 맞춰져 있다는 것이다(긍정 오류는 시스템이 위험한 위치에 있는 차량을 검출할 때이지만, 현실에서는 위험한 위치에 있는 차량은 없음). 극도로 낮은 긍정 오류 비율의 대가는 부정 오류 비율이 훨씬 높아지는 것이다(부정 오류는 시스템이 위험한 위치에 있는 차량을 검출하지 못할 때이므로, 시스템은 위험 상황에 대처하지 않음). 따라서, RSS 개념의 일반화에 의존하는 향상된 AEB 시스템의 구축에 대한 요구가 있다. 일부 실시예에서, RSS는 기존 시스템보다 나은 긍정 오류와 부정 오류 사이의 절충을 제공한다. RSS는 높은 수준의 긍정 오류를 허용할 수 있는 제동 프로필을 사용할 수 있다.
앞서 설명한 RSS 안전 거리(정의 27)를 참조하면, RSS의 적절한 대응은 근본적인 주행 방침에 의존하지 않는다. 이 정의는 임의의 주행 방침 위에 내장될 수 있다. 예를 들어, RSS는 인간의 주행 방침 위에 내장될 수 있다. 이 경우에, 인간 운전자가 차량을 안전하지 않은 거리로 가져올 때마다, RSS-ADAS 시스템은 차량을 다시 안전한 거리로 가져오도록 제동을 적용할 수 있다.
그러나, 경고 없이 급제동을 적용하면 위험할 수 있다. 따라서, 기존의 AEB 시스템은 극도로 긍정 오류의 확률이 극도로 낮도록 맞춰져 있다. 극도로 낮은 긍정 오류 비율의 대가는 매우 높은 부정 오류 비율(즉, 시스템은 안전하지 않은 거리에 있는 차량의 검출에 실패함)이다. 상기에 설명한 RSS의 일반화는 긍정 오류의 위험을 다른 방식으로 완화하는 이러한 RSS 패밀리의 특정 멤버를 지정하는데 활용될 수 있다.
[일반적인 RSS]
RSS의 원래 정의에서, 뒤차는 대응 시간 동안에 가속한 후에 완전 정지에 도달할 때까지 제동할 것으로 추정된다. 이는 제동 프로필의 예이다.
더욱 일반화하면 다음과 같다.
정의 48(제동 프로필): 제동 프로필 B는 차량의 초기 운동학적 상태(주로, 초기 속도
Figure pct00777
및 가속
Figure pct00778
로부터
Figure pct00779
가 성립되는
Figure pct00780
쌍으로의 매핑일 수 있다.
Figure pct00781
은 차량의 추후 속도이고, Tb < 0은 처음으로
Figure pct00782
인 시간이다.
예를 들어, RSS의 원래 정의에서 앞차에 의해 적용된 제동 프로필은
Figure pct00783
및
Figure pct00784
에 의해 정의되어 다음이 성립될 수 있다.
Figure pct00785
정의 49(제동 프로필 B f ;B r 에 대한 일반적인 RSS 안전 거리): 두 차량이 동일 방향으로 주행하고 있는 경우에, 앞차 cf와 뒤차 cr의 종방향 거리는, 앞차가 제동 프로필 Bf를 적용하고 뒤차가 제동 프로필 Br를 적용하는 경우에 두 차량이 충돌하지 않고 완전 정지에 도달할 수 있다면, 제동 프로필 Bf ;Br과 관련하여 안전하다.
적절한 대응은 다음과 같이 정의될 수 있다.
정의 50(적절한 대응): cf와 cr 사이의 거리가 처음으로 안전하지 않은 시간을 t0이라고 하고, 일반적인 사항을 유지한 채로 t0 = 0으로 설정하면, 앞차의 적절한 대응은 속도를 최소 vf(t)로 하는 것이고, 여기서 vf는 Bf에 의해 정의된 속도이고, 뒤차의 적절한 대응은 속도를 최대 vr(t)로 하는 것이고, 여기서 vr은 Br에 의해 정의된 속도이다.
두 차량 모두 적절한 대응을 적용하는 경우, 사고는 발생하지 않게 된다.
[저크 제한 제동 프로필(Jerk-Bounded Breaking Profile)]
저크 및 가속 제한 제동 프로필은 Bj로 표기될 수 있다. 차량은 최대 제동 파라미터(a min,brake로 표기)에 도달할 때까지 선형으로 가속도를 줄이기(j max의 경사로) 시작하고 난 후, 0의 속도에 도달할 때까지 일정한 감속으로 제동을 계속할 수 있다. 다음의 폐쇄형 공식은 이러한 제동 프로필의 계산에 사용될 수 있다.
일정한 저크로 제동: 차량이 j max의 저크로 제동을 시작하고, 또한 차량이 즉시 가속도 0에 도달할 수, 즉, 아래의 식에서
Figure pct00786
이라고 가정할 때, 차량의 역학은 다음과 같다.
Figure pct00787
Figure pct00788
Figure pct00789
제동 프로필: 이러한 등식에 의거하면, 제동 거리는 다음과 같이 정의되게 된다. 처음으로
Figure pct00790
또는
Figure pct00791
이 되는 시간을 T라고 하면, 즉,
Figure pct00792
라고 하면,
완전 제동에 도달하는 시간은 다음과 같다.
Figure pct00793
또한, 속도는 다음과 같다.
Figure pct00794
결국, 차량은 완전 정지에 도달할 때까지 다음의 거리를 이동하게 된다.
Figure pct00795
Bf 및 Bj에 대한 안전 거리
앞차가 제동 프로필 B f 로 제동하고(
Figure pct00796
의 일정한 감속으로 제동), 뒤차는 제동 프로필 B j 에 의존한다고 가정하면, 안전 거리 공식은 다음과 같다.
Figure pct00797
[ADAS RSS 시스템]
거리가 안전하지 않게(저크 기반 공식에 의거) 되자 마자, 시스템은 운전자에게 알리고, 다음 중의 하나가 발생할 때까지 j max의 저크로 제동을 시작할 수 있다. (1) 차량이 정지한다. (2) 거리가 안전하지 않게 된다. (3) 운전자가 RSS 시스템을 끈다(버튼 또는 다른 메커니즘을 활용).
운전자가 RSS 시스템을 끄지 않으면 자신의 차량이 책임이 있는 사고가 발생하지 않을 수 있다는 것을 증명하기 위해 RSS의 동일한 입증이 조절될 수 있다. 일례로써, 모든 차량이 RSS 규칙을 준수한다면 아무 사고도 일어나지 않게 된다(주행 방침의 오류로 인해, 감지 실수 또는 고장은 여전히 발생할 수 있음). 따라서, 규제기관이 ADAS RSS 시스템을 채택하면, 차량 사고를 상당히 줄일 수 있을 것이다.
긍정 오류의 개선된 처리
AEB를 이행하는 동일한 하드웨어를 조절하여 ADAS RSS를 이행할 수 있다. 제동 프로필은 저크 제한이므로, 긍정 오류의 위험은 매우 심각하지 않다(운전자는 놀라지 않으며, 뒤 차량의 운전자도 저크에 대한 제한 때문에 놀라지 않음). 따라서, 부정 오류가 적어지도록 시스템을 맞추는 것이 가능하다.
안전한 종방향 거리의 항법
앞서 설명한 바와 같이, RSS는 호스트 차량과 다른 물체(예, 한 대 이상의 타깃 차량 또는 VRU) 사이의 안전 거리의 판단에 효과적일 수 있다. RSS는 RSS를 이행하는 차량은 자신이 유발하는 사고에 개입되지 않을 것이라는 것을 보장하기 위해 사용될 수 있는 수학 공식의 집합을 제공한다. 앞서 설명한 바와 같이, RSS는 동일 방향으로 이동하는 두 대의 차량 사이의 안전 거리를 유지하기 위해 적용될 수 있다. 그러나, 다른 실시예에서, RSS는 서로 반대 방향으로 이동하는 두 대의 차량 사이의 안전 거리를 유지하기 위해서도 적용될 수 있다. 예컨대, 두 대의 차량은 차로 변경 동안이나 주차장 항법 동안에 서로를 향해 주행할 수 있다. 일부의 경우, 도로에서 역주행 할 수도 있다. RSS는 호스트 차량이 두 차량 모두를 고려한 안전 거리를 유지하고 필요한 경우 제동(및/또는 조향)을 하여 차량들이 충돌 발생 없이 완전 정지에 이르도록(또는 서로를 피하도록) 하기 위해 사용될 수 있다.
도 48a는 개시된 실시예에 따른 두 대의 차량이 서로 반대 방향으로 진행하는 예시적인 상황을 도시한 것이다. 이 상황에서, 호스트 차량(4802)은 도 48a에 도시된 바와 같은 2차선 도로의 한 차로에서 이동하고 있을 수 있다. 타깃 차량(4804)은 호스트 차량(4802)이 점유하고 있는 차로에서 호스트 차량(4802)의 반대 방향으로 이동하고 있을 수 있다. 예컨대, 타깃 차량(4804)은 다른 차량(4806)을 추월하고 있을 수 있고, 추월 동작을 완료하기 위하여 호스트 차량(4802)이 이동중인 차로로 진입할 수 있다. 따라서, 호스트 차량(4802)과 타깃 차량(4804)은 서로 반대 방향으로 서로를 향해 이동하게 될 수 있다. 두 대의 차량이 서로 반대 방향으로 이동하는 다양한 다른 상황이 있을 수 있다. 예를 들어, 호스트 차량(4802)이 추월 동작을 수행하고 있을 수 있고, 타깃 차량(48040)가 이동중인 차로로 진입할 수 있다. 두 대의 차량은 다른 상황에서 서로를 향해 이동하게 될 수 있다. 예를 들어, 주차장에서, 또는 교차로를 통과하는 경우, 또는 기타 유사한 상황 등이 있을 수 있다. 본 개시는 타깃 차량의 진행 방향이 호스트 차량을 향하는 특정 상황으로 한정되지 않는다.
호스트 차량(4802)은 앞서 설명한 RSS 안전 거리와 같은 안전 종방향 거리를 차량(4804)로부터 유지하는 것을 가능하게 한다면 그러한 예정 항법 동작을 수행하도록 구성될 수 있다. 예를 들어, 도 48a에 도시된 상황에서, 예정 항법 동작은 호스트 차량(4802)의 전방 진행 방향 유지 동작 또는 구동 유지 동작일 수 있다. 다른 실시예에서, 예정 항법 동작은 호스트 차량(4802)과 타깃 차량(4804)이 서로 반대 방향으로 서로를 향해 이동하도록 하는 동작일 수 있다. 예를 들어, 항법 동작은 추월 동작을 포함할 수 있고, 여기서 호스트 차량(4802)은 다른 차량의 추월을 시도하고 타깃 차량(4804)이 점유하고 있는 차로로 진입할 수 있다. 호스트 차량(4802)은 호스트 차량(4802)과 타깃 차량(4804) 사이에 안전 거리가 유지될 것이면 추월 동작을 수행하도록 구성될 수 있다. 항법 동작은 차로 변경 동작, 병합 동작, 주차장 항법 동작(예, 주차 공간 진입, 주차 공간 진출, 평행 주차, 주차열 사이 운전 등), 교차로 동작(예, 비보호 회전, 황색등 통과 등) 등과 같은 기타 동작도 포함할 수 있다.
도 48a의 예시적인 상황에서, 타깃 차량(4804)의 방향은 호스트 차량(4802)을 '정면으로' 향하고 있다. 본 개시는 타깃 차량(4804)의 방향이 각도를 두고 호스트 차량(4802)을 향하는 상황에도 동일하게 적용될 수 있다. 이에 따라, 여기에 사용되는 '향하다'라는 용어는 타깃 차량의 이동 방향의 상당 부분이 호스트 차량의 방향에 있는 임의의 상황을 포함하는 것으로 이해되어야 한다. '향하다'라는 용어는 또한 두 대 이상의 차량의 전방 통로가 적어도 부분적으로 중첩되는 상황도 의미할 수 있다.
도 48b는 개시된 실시예에 따른 타깃 차량(4804)이 호스트 차량(4802)을 향해 진행하는 예시적인 상황을 도시한 것이다. 호스트 차량(4802)은 방향(4812)으로 이동하고 있을 수 있고, 타깃 차량(4804)은 방향(4812)과 교차하는 방향(4814)으로 이동하고 있을 수 있다. 방향(4812)과 방향(4814)은 도시된 바와 같은 각도 Θ로 서로 교차할 수 있다. 호스트 차량(4802)과 타깃 차량(4804)가 똑바로 서로를 향해 이동하는 '정면' 상황에서, 각도 Θ는 0 또는 실질적으로 0일 수 있다. 타깃 차량(4804)은 호스트 차량(4802)을 향해 다른 각도로 이동하는 것으로 고려될 수도 있다. 예를 들면, 일부 실시예에서, 타깃 차량(4804)의 방향(4814)은 각도 Θ가 90도 미만이면 호스트 차량(4802)을 향하고 있다고 고려될 수 있다. 다른 실시예에서, 각도 Θ는 다른 각도(예, 60도, 45도, 30도 등) 미만이어야 할 수 있다. 방향(4814)은 호스트 차량(4802)에 대한 종방향 및 횡방향 요소(x 및 y)에 의거하여 정의될 수도 있다. 타깃 차량(4804)의 방향(4814)은 x가 호스트 차량(4802)의 방향으로 0이 아닌 요소의 방향(4814)이면 호스트 차량(4802)을 향하고 있는 것으로 고려될 수 있다. 일부 실시예에서, x 요소와 y 요소 사이의 관계도 정의될 수 있다. 예를 들면, 타깃 차량(4804)의 방향(4814)은 x 요소가 y 요소(45도의 각도 Θ를 나타냄)보다 크면 호스트 차량(4802)을 향하고 있는 것으로 간주될 수 있다. 이에 따라, 종방향 안전 거리는 '정면' 상황에만 한정되지 않고 다양한 다른 각도일 수 있다.
앞서 설명한 바와 같이, RSS 안전 거리는 특정 조건을 가정하여 호스트 차량이 타깃과 충돌하지 않고 정지에 이를 수 있는 호스트 차량과 타깃 차량 사이의 거리에 상응할 수 있다. RSS 안전 거리는 미리 정해진 제동률로 제동하는 경우와 차량에 대한 반응 시간 동안의 추정된 동작 이후에 차량을 정지하게 할 최소 거리의 계산을 포함할 수 있다. 예를 들어, RSS 안전 거리는 두 대의 차량이 모두 반응 시간 동안에 최대 가속도로 서로를 향해 진행한 후에 각각 미리 정해진 제동 수준으로 제동하여 완전 정지에 이르는 가능성을 고려한다. 반응 시간 동안의 차량들의 최대 가속을 고려함으로써, 최악의 상황에서도 충돌이 발생하지 않을 것을 보장하는 RSS 거리에 따른 항법이 가능하다.
도 49는 개시된 실시예에 따른 호스트 차량이 안전 종방향 거리를 유지하는 일례를 도시한 것이다. 타깃 차량(4904)은 호스트 차량(4902)를 향한 방향으로 진행하고 있을 수 있다. 호스트 차량(4902)의 처리 장치(예, 처리부(110))는 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 결정할 수 있다. 호스트 차량(4902)은 호스트 차량(4902)과 타깃 차량(4904) 사이에 RSS 안전 종방향 거리가 유지될 수 있는 경우에 예정 항법 동작을 수행하도록 구성될 수 있다. 앞서 설명한 바와 같이, 예정 항법 동작은 차로 변경 동작, 병합 동작, 추월 동작, 전방 진행 방향 유지 동작, 주차장 항법 동작, 또는 구동 유지 동작과 같은 다양한 동작, 또는 기타 유사한 항법 동작을 포함할 수 있다. 호스트 차량(4902)의 처리 장치는 예정 항법 동작을 취할 경우의 결과일 수 있는 차량들 사이의 거리에 상응하는 호스트 차량(4902)과 타깃 차량(4904) 사이의 다음 상태 거리(49100)를 판단할 수 있다. 처리 장치는 또한 차량(4902)이 정지될 수 있는 정지 거리(4912)와 차량(4904)이 정지될 수 있는 정지 거리(4914)를 판단할 수 있다. 호스트 차량(4902)의 처리 장치는 판단된 다음 상태 거리(4910)가 정지 거리(4912)와 정지 거리(4914)의 합보다 커서 두 차량 모두 완전 정지에 이르고 충돌을 회피할 수 있다고 나타나는 경우에 예정 항법 동작을 이행할 수 있다.
정지 거리(4912 및 4914)는 앞서 RSS와 관련하여 설명한 모든 임의의 방식으로 산출될 수 있다. 예를 들어, 정지에 이르기 위해 필요한 거리는 차량의 제동률, 차량의 최대 가속 능력, 및 차량의 현재 속도를 활용하여 산출될 수 있다. 일부 실시예에서, 호스트 차량의 현재 속도는 하나 이상의 센서의 출력에 의거하여 판단될 수 있다. 예를 들면, 현재 속도는 가속도계, 라이더 시스템, 레이더 시스템, GPS 장치 등의 출력으로부터 판단될 수 있다. 다른 예를 들면, 호스트 차량의 현재 속도는 하나 이상의 이미지를 분석하여(예, 둘 이상의 이미지에서 검출된 고정 물체의 축척 비율의 변화에 의거하여) 판단될 수 있다.
일부 실시예에서, 개시된 실시예는 차량이 충돌을 회피하기 위하여 차량의 최대 제동 능력으로 제동할 것이라고 가정할 수 있다. 예를 들어, 제동률은 차량의 적어도 하나의 인지된 특성에 의거한 것일 수 있다. 호스트 차량(4902)에 있어서, 최대 제동률은 차량의 특성, 이전 제동 동작 등에 의거하여 시스템에 의해 알려져 있거나 추정된 것일 수 있다. 타깃 차량에 있어서, 최대 제동 능력은 타깃 차량의 적어도 하나의 특성에 의거하여 판단될 수 있다. 적어도 하나의 특성은 제동 능력과 상호 관련이 있는 것으로 알려지거나 제동 능력과 상호 관련이 있을 수 있는 특성일 수 있다. 일부 실시예에서, 타깃 차량의 인지된 특성은 차량 유형을 포함할 수 있고, 차량 유형은 타깃 차량의 묘사를 포함하는 이미지의 분석에 의거하여 판단될 수 있다. 차량 유형은 예를 들어 타깃 차량이 속하는 일반적인 범주(예, 대형 세단, 소형차, SUV, 크로스오버 SUV, 오토바이 등) 또는 타깃 차량과 연관된 더욱 세부적인 범주나 하위 범주일 수 있다. 일부 실시예에서, 타깃 차량의 인지된 특성은 타깃 차량의 차량 모델, 브랜드명, 또는 기타 분류(예, Toyota Prius®, BMW X5® 등)를 포함할 수 있다. 처리 장치는 타깃 차량은 해당 차량 유형 또는 차량 범주의 알려진 제동 능력의 최대 제동 능력에 상응하는 최대 제동 능력이 있는 것으로 추정하도록 프로그램 될 수 있다. 처리 장치는 차량 유형을 활용하여 예를 들어 각 차량 유형의 알려진 제동 능력을 포함하는 데이터베이스에 접속할 수 있다. 예를 들어, 검출된 차량 유형이 BMW X5®인 경우, 처리 장치는 데이터베이스에서 BMW X5®의 보고된 제동 능력을 검색할 수 있다. 차량 모델에 대해 보고된 복수의 최대 제동 능력이 있는 경우(예, BMW X5®에는 트림이 xDrive40i 또는 xDrive50i인지 여부에 따라 또는 연식에 따라 제동 능력이 다를 수 있음), 처리 장치는 타깃 차량이 해당 차량 모델에 대해 보고된 최상의 최대 제동 능력을 가지고 있는 것으로 추정하도록 프로그램 될 수 있다. 타깃 차량의 인지된 특성은 또한 타깃 차량이 자율주행차인지, 부분 자율주행차인지, 또는 인간이 작동하는 차량인지의 지시자를 포함할 수 있다. 이러한 정보는 캡처 된 이미지(호스트 차량에 탑재된 하나 이상의 카메라로부터 확보된 이미지)의 분석으로부터 도출되거나 무선 통신을 통하여 타깃 차량으로부터 방송될 수 있다.
일부 실시예에서, 타깃 차량의 인지된 특성은 차량 크기를 포함할 수 있다. 차량 크기는 상대적 크기, 미리 정해진 크기 등일 수 있다. 차량 크기는 차량의 물리적 크기 및/또는 차량의 추정 무게에 상응할 수 있다. 예를 들면, 처리 장치는 타깃 차량이 호스트 차량보다 크거나 작다고 판단할 수 있다. 다른 예를 들면, 처리 장치는 각각 크기의 범위(예, 1류 = 1,000kg 이하, 2류 = 1,000 ~ 1,500kg, 3류 = 1,500 ~ 1,800kg 등)를 포함할 수 있는 하나 또는 복수의 미리 정해진 차량 크기로 타깃 차량을 분류하도록 프로그램 될 수 있다. 일부 차량은 그 크기를 나타내는 표시를 포함하고 있어, 이를 이용하여 타깃 차량의 크기를 판단할 수 있다. 예를 들어, 타깃 차량은 GMC Sierra®일 수 있고, 차량 외관에 1500, 2500, 2500HD 등과 같은 크기와 연관된 표시를 포함할 수 있다.
최대 제동의 적용은, 특히 이러한 적용이 급작스러운 경우에, 피할 수 없는 경우를 위해 보류해 두어야 하는 극단적인 대응으로 간주될 수 있다. 특정 상황 하에서, 최대 제동은 탑승자를 불편하게 하거나, 뒤차에 누를 끼치거나, 차량의 하드웨어(타이어, 브레이크 패드 등)가 과도하게 마모되거나 하는 등을 초래할 수 있다. 이에 따라, 차량의 제동 거리는 호스트 차량의 최대 제동률 능력보다 작은 미리 정해진 최대 이하 제동률 추정한 것일 수 있다. 예를 들어, 최대 이하 제동률은 차량의 최대 제동 능력의 즉각적인 적용을 취하기 보다는 초기 제동력으로부터 최대 제동 능력까지 점진적인 적용을 취하는 것일 수 있다. 일부 실시예에서, 최대 이하 제동률은 이상적이거나 통계적으로 허용 가능한 제동률일 수 있다. 예를 들어, 대부분의 인간이 정지에 이르는 제동률에 관한 데이터를 사용하여 최대 이하 제동률을 결정할 수 있다. 일부 실시예에서, 최대 이하 제동률은 사용자 선호도에 따라 설정될 수 있다. 예를 들면, 제1 탑승자는 자신에게 편한 제1 최대 이하 제동률을 제공할 수 있고, 제2 탑승자는 자신에게 편한 제2 최대 이하 제동률을 제공할 수 있다. 일부 실시예에서, 처리 장치는 하나 이상의 감지된 도로 상황(예, 비포장 도로, 도로 접지 성질 등), 교통 상화(예, 번잡도, 호스트 차량 주변 차량 사이의 평균 거리, 호스트 차량 앞으로 끼어드는 비율 등), 하나 이상의 차량 특성, 하나 이상의 감지된 기후 조건 등에 의거하여 최대 이하 제동률을 결정할 수 있다. 예를 들어, 처리 장치는 눈길에서 최대의 안전과 안락을 제공하는 최대 이하 제동률, 마른 고속도로에서 최대의 안전과 안락을 제공하는 최대 이하 제동률 등을 결정할 수 있다. 최대 이하 제동률을 이행하면 안락이 향상되고 호스트 차량의 동작에 대한 기타 긍정적인 효과가 있을 수 있는 반면에, 특히, 최대 이하 제동률이 작은 경우에, 덜 바람직한 효과도 있을 수 있어서 제동이 느슨하게 되거나 충분히 강하지 않을 수 있다. 예를 들면, 작은 최대 이하 제동률을 사용하게 되면, 앞차로부터 과도하게 거리를 유지하게 함으로써, 효율에 대한 부정적인 효과가 강할 수 있다. 이 때문에 다른 도로 사용자들을 짜증나게 할 수 있고, 호스트 차량이 병합 및 번잡한 지역의 주행과 같은 복잡한 상황을 효과적으로 협상하지 못하게 할 수 있다. 따라서, 일부 예에서, 성능 또는 효율과 안락의 균형을 유지하는(RSS 안전을 유지하며) 최대 이하 제동률이 설정, 선택, 또는 결정될 수 있다.
본 개시에 따라, 최대 이하 제동률은 상수일 수 있다. 예를 들어, 최대 이하 제동률은 2 m/s2, 10m/s2의 감속 또는 기타 일정한 감속에 상응하는 제동률일 수 있다. 일부 실시예에서, 최대 이하 제동률은 호스트 차량의 최대 제동률 능력에 비례하는 상수일 수 있다. 예를 들면, 최대 이하 제동률은 호스트 차량의 최대 제동 능력의 20%, 33%, 50%, 70%, 또는 기타 퍼센티지일 수 있다. 일부 실시예에서, 최대 이하 제동률은 호스트 차량의 현재 속도의 선형 함수이어서, 호스트 차량의 최소 제동 능력으로부터 호스트 차량의 최대 제동 능력까지 제동이 점진적으로 적용될 수 있다. 예를 들어, 호스트 차량이 최대 제동 능력에 도달하지 않고 현재 속도로부터 정지에 이를 수 있게 하는 최대 이하 제동률이 결정될 수 있다. 다른 예를 들면, 호스트 차량이 제동 동작의 제1 부분에서 최대 제동 능력 이하로 제동하고 제동 동작의 제2 부분에서 최대 제동 능력으로 제동하도록 호스트 차량의 최대 제동 능력에 궁극적으로 도달하는 최대 이하 제동률이 결정될 수 있다. 일부 실시예에서, 최대 이하 제동률은 차량의 현재 속도의 상이한 함수일 수 있다. 예를 들면, 최대 이하 제동률은 차량이 정지에 이를 때까지 기하급수적으로 또는 대수적으로 적용되는 제동률일 수 있다.
일부 실시예에서, 최대 이하 제동률은 호스트 차량(4902) 또는 타깃 차량(4904)과 연관된 과실 또는 책임의 판단에 의거하여 결정될 수 있다. 책임의 관점에서, 호스트 차량(4902)은 제동을 하지만 타깃 차량(4904)보다 낮은 제동률로 제동을 할 의무가 있을 수 있다. 예를 들어, 타깃 차량(4904)은, 도 48a에 도시된 바와 같이, 차로 또는 도로에서 역주행하고 있을 수 있고, 따라서 제동을 할 의무가 더 클 수 있다. 이에 따라, 호스트 차량의 제동률은 타깃 차량의 제동률보다 낮을 있고, 또는 그 반대일 수도 있다.
앞서 설명한 바와 같이, RSS 거리는 감지된 이벤트와 감지된 이벤트에 대한 차량의 반응 사이의 시간(예, 호스트 차량과 연관된 반응 시간) 동안에 차량이 겪을 수 있는 최대 가능 가속 능력에 의존할 수 있다. 이에 따라, 정지 거리는 또한 차량의 판단된 현재 속도로부터 차량의 최대 가속 능력으로 차량의 반응 시간 동안에 차량이 이동할 수 있는 거리에 상응하는 차량 가속 거리를 포함할 수 있다. 예를 들어, 개시된 실시예는 호스트 차량(4902) 또는 타깃 차량(4904)가 제동을 적용하기 다른 항법 동작을 취하기 시작하는 기간 사이의 지연에 대해 고려할 수 있다. 예컨대, 타깃 차량(4904)이 호스트 차량(4902)을 향해 진행하고 있는 것을 호스트 차량(4902)이 검출하기까지 1,000분의 몇 초(또는 그 이상 또는 이하)가 걸릴 수 있다. 처리 장치는 차량의 반응 시간에 상응하는 대응 기간 ρ 동안에 발생할 수 있는 가속을 고려할 수 있다. 대응 기간 ρ는, 제동률과 유사하게, 차량의 알려진 특성에 상응하거나, 모든 차량에 대해 추정된 값(예, 인간이 운전하는 차량에 대한 특정 반응 시간 및 자율주행차에 대한 다른 값)일 수 있다. 예를 들어, 차량의 현재 속도를
Figure pct00798
이라고 하면, 차량의 정지 거리는 반응 시간 동안에 최대 가속의 결과로 차량이 이동하는 거리에 상응하는 제1 기간을 포함할 수 있고, 반응 시간 기간 끝의 최종 속도로부터 미리 정해진 제동률(예, 최대 제동률 또는 최대 이하 제동률)로 속도를 0으로 줄이기 위해 필요한 거리도 포함할 수 있다.
앞서 설명한 바와 같이, RSS에서 사용되는 차량의 속도 및/또는 정지 거리 판단은 대응 기간 ρ 동안에 가속(예, 최대 가속 능력)한 후의 차량의 최대 속도에 상응할 수 있다. 예를 들어, 차량의 현재 속도를
Figure pct00799
이라고 하고, 대응 기간을 ρ라고 하고, 차량의 최대 가속도를
Figure pct00800
이라고 하면, 대응 기간 ρ이후의 차량의 최대 속도
Figure pct00801
는 다음과 같다.
Figure pct00802
이에 따라,
Figure pct00803
를 활용하여 호스트 차량(4902) 및/또는 타깃 차량(4904)의 정지 거리를 판단할 수 있다. 예를 들어, 처리 장치는 차량의 정지 거리를 판단하는데 있어서
Figure pct00804
의 속도에서 시작하는 최대 또는 최대 이하 제동률이 적용되는 것으로 가정할 수 있다.
일부 실시예에서, 호스트 차량(4902)의 처리 장치는 판단된 다음 상태 거리가 호스트 차량(4902)의 정지 거리(4912)와 타깃 차량(4904)의 정지 거리(4914)의 합보다 적어도 미리 정해진 최소 거리(예, 0 또는 0.5 m, 1 m, 2 m 등과 같은 0보다 큰 임의의 값)만큼 큰 경우에 예정 항법 동작을 이행하도록 구성될 수 있다. RSS 안전 종방향 거리가 0이 아닌 최소 접근 거리 요소를 포함하는 경우에, 안전 거리의 판단에 있어서, 호스트 차량(4902)은 타깃 차량으로부터 적어도 최소 거리에서 정지에 이르게 된다. 최소 거리는 미리 정해질 수 있다(예, 0.5 m, 1 m, 2 m 등의 최소 거리). 최소 접근 거리는 본 개시에 따른 모든 임의의 집합의 요인에 의거하여 판단될 수 있다. 일부의 경우, 최소 접근 거리는 차량 속도에 의거할 수 있다. 예를 들면, 최소 접근 거리는 호스트 차량(4902) 또는 타깃 차량(4904)에 대한 상대적인 감지된 속도보다 높게 또는 높은 비율로 설정될 수 있다. 최소 접근 거리는 또한 감지된 기후 조건에 의존할 수 있다. 예를 들면, 도로 상에 강설 또는 강우가 감지된 경우, 또는 최적의 접지력보다 떨어지는 접지 지시자가 감지된 경우, 최소 접근 거리는 추가적인 안전 완충을 제공하기 위해 증가될 수 있다. 최소 접근 거리는 또한 사용자 선호도 등에 기반하여 설정될 수 있다.
도 50a와 도 50b는 개시된 실시예에 따른 안전 종방향 거리를 유지하기 위한 예시적인 프로세스(5000)를 도시한 순서도이다. 프로세스(5000)는 앞서 설명한 처리부(110)와 같은 적어도 하나의 처리 장치에 의해 수행될 수 있다. 프로세스(5000)는 예시일 뿐이고, 본 개시의 기술분야의 당업자라면 프로세스(5000)에 단계를 추가하거나 특정 단계를 삭제하거나 수정하는 것이 가능하다는 것을 이해할 것이다.
프로세스(5000)는 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 수신하는 단계(5002)를 포함할 수 있다. 적어도 하나의 이미지는 이미지캡처장치(122)와 같은 본 개시에 따른 임의의 이미지 캡처 장치로부터 수신될 수 있다. 일부 실시예에서, 적어도 하나의 이미지는 카메라, 레이더, 라이더, 또는 이미지가 확보될 수 있는 기타 모든 광학적 또는 비광학적 장치로부터 확보된 이미지일 수 있다. 이미지가 캡처되는 시간과 처리 장치가 이미지를 수신하는 시간 사이에는 약간의 지연 기간이 있을 수 있다. 또한, 이벤트가 발생하는 시간과 이미징 장치가 이벤트의 이미지를 캡처하는 시간 사이에 지연 기간이 있을 수 있다. 예를 들어, 타깃 차량이 호스트 차량 앞의 차로로 진입하는 경우, 타깃 차량의 차로 진입 동작을 실시하는 시간과 이미징 장치가 타깃 차량의 이미지를 캡처(및 처리)하는 시간 사이에 짧은 기간(예, 1000분의 1초, 1000분의 2초, 1000분의 5초 등)이 있을 수 있다.
프로세스(5000)는 호스트 차량에 대한 예정 항법 동작을 결정하는 단계(5004)를 포함할 수 있다. 본 개시에 따라, 적어도 하나의 처리 장치는 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 결정하도록 프로그램 될 수 있다. 항법 동작은 적어도 하나의 주행 방침에 의거하여 결정될 수 있다. 예정 항법 동작 및/또는 적어도 하나의 주행 방침은 상기의 설명과 같은 본 개시에 따른 것일 수 있다. 예컨대, 예정 항법 동작은 차로 변경 동작, 병합 동작, 추월 동작, 전방 진행 방향 유지 동작, 주차장 항법 동작, 및 구동 유지 동작 중의 적어도 하나를 포함할 수 있다.
프로세스(5000)는 적어도 하나의 이미지를 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별하는 단계(5006)를 포함할 수 있다. 적어도 하나의 이미지는 이미지캡처장치(122)와 같은 이미지캡처장치로부터 수신된 이미지일 수 있다. 적어도 하나의 이미지는 프로세스(5000)의 단계 5002의 일부로 수신된 하나 이상의 이미지일 수 있다.
프로세스(5000)는 예정 항법 동작과 연관된 다음 상태 거리를 판단하는 단계(5008)를 포함할 수 있다. 본 개시에 따라, 처리 장치는 예정 항법 동작을 취할 경우의 결과일 수 있는 호스트 차량과 타깃 차량 사이의 다음 상태 거리를 판단하도록 프로그램 될 수 있다. 다음 상태 거리는 상기의 RSS 안전 거리와 같은 여기에 개시된 모든 수단에 의해 계산될 수 있다. 예컨대, 예정 항법 동작이 호스트 차량의 가속인 경우, 다음 상태 거리는 항법 동작을 취한 이후의 호스트 차량과 호스트 차량 전방의 앞차 사이의 예상 거리일 수 있다.
프로세스(5010)는 호스트 차량의 제동률, 최대 가속 능력, 및 현재 속도를 판단하는 단계(4808)를 포함할 수 있다. 각 요인(즉, 호스트 차량의 제동률, 최대 가속 능력, 및 속도)은 본 개시에 따른 모든 임의의 수단에 의해 판단될 수 있다. 앞서 설명한 바와 같이, 차량의 제동률은 차량과 연관된 최대 제동률을 나타내거나 최대 이하 제동률을 나타내는 것일 수 있다. 일부 실시예에서, 호스트 차량의 제동률 및/또는 최대 가속 능력은 예를 들어 차량의 현재 속도, 도로 조건(예, 도로의 경사, 도로의 재질 등), 기후 조건(예, 강설, 습도 등), 차량 조건(예, 타이어 공기압, 브레이크 패드 상태, 차량의 현재 하중 등) 등에 의거하여 판단될 수 있다. 일부 실시예에서, 요인의 하나 이상은 하나 이상의 센서의 출력에 의거하여 판단될 수 있다. 예를 들면, 호스트 차량에는 처리 장치에 출력을 제공할 수 있는 가속도계가 포함되어 있을 수 있고, 출력은 호스트 차량의 현재 속도 및/또는 호스트 차량의 가속 능력을 포함하고 있을 수 있다. 일부 실시예에서, 처리 장치는 호스트 차량의 현재 속도를 판단할 수 있고, 현재 속도를 활용하여 현재 제동률 및/또는 현재 가속 능력을 판단할 수 있다. 예컨대, 제1 속도(예, 시속 15km)로 이동 중인 차량의 제동률은 제2 속도(예, 시속 30km)로 이동 중인 동일 차량의 제동률과 현저히 다를 수 있다. 일부 실시예에서, 호스트 차량의 제동률, 최대 가속 능력, 및/또는 속도 중의 하나 이상은 미리 정해진 값을 활용하여 추정될 수 있다. 예컨대, 처리 장치는 호스트 차량의 최대 제동 능력이 호스트 차량과 연관된 차량 유형의 평균(또는 최악) 최대 제동 능력에 상응하는 미리 정해진 값에 상응한다고 추정하도록 구성될 수 있다. 일부 실시예에서, 각 요인은 도로의 외부 조건 또는 차량의 임시 특성에 의거하여 판단될 수 있다. 예를 들면, 호스트 차량의 제동률은 도로면의 감지된 상태에 의거하여 판단될 수 있다. 여기서, 감지된 도로 상태에는 도로의 거친 정도, 도로의 경사, 도로 상의 물질 또는 물체의 존재 또는 부재, 도로가 아스팔트, 시멘트, 자갈, 또는 기타 재질인지 여부, 또는 본 개시에 따른 기타 상태가 포함될 수 있다. 다른 예를 들면, 호스트 차량의 제동률은 감지된 기후 조건에 의거하여 판단될 수 있다. 여기서, 기후 조건에는 강수의 검출(예, 비, 우박, 눈, 얼음 등), 시정에 영향을 미치는 기후 조건(예, 안개, 스모그, 연기 등), 차량의 조작에 영향을 미칠 수 있는 기후 조건(예, 강풍, 폭염 등), 또는 호스트 차량의 항법 반응에 영향을 미칠 수 있는 기타 모든 기후 조건이 포함될 수 있다. 다른 예에서, 처리 장치는 호스트 차량에 예를 들어 한 명의 승객이 있는지 또는 여러 명의 승객이 있는지 여부, 상당한 무게의 화물이 있는지 여부, 트레일러를 끌고 가는지 여부 등에 의거하여 제동률을 판단할 수 있다. 이러한 조건들은 탑재된 카메라에 의해 확보된 이미지의 분석(예, 도로 상의 눈 또는 물, 앞 유리 상의 물, 도로면 평탄도 등의 인지)에 의거하여 감지되거나 임의의 기타 적합한 센서에 의거할 수 있다. 이러한 센서는 휠 미끄럼 센서, 제동 시스템 센서 출력, 도로변 기반시설로부터 전송된 신호의 수신기, 와이파이 연결을 통해 스트리밍 된 기후 데이터, GPS 및/또는 속도계 출력 등을 포함할 수 있다.
일부 실시예에서, 제동률 및/또는 최대 가속 능력은 하나 이상의 미리 정의된 요인에 의해 판단될 수 있다. 예를 들어, 일정 차량 또는 일정 등급의 차량의 제동률 및/또는 최대 가속 능력을 규정하는 하나 이상의 규제를 정부 또는 기업체가 제공할 수 있고, 적어도 하나의 프로세서는 호스트 차량이 이러한 규제에 의해 허용되는 제동률 및/또는 최대 가속 능력을 가지고 있다고 추정할 수 있다. 최대 제동 값 및/또는 최대 가속 값에 대한 제약은 또한 사용자가 정의(예, 자율주행차의 탑승자가 미리 정해진 최대 허용 제동 수준 및 가속 수준에 상응하는 하나 이상의 차량 설정을 선택), 상황이 정의(예, 특정 장소에서의 상황 및/또는 특정 항법 상황에 의거), 및/또는 관찰된 성능에 의거(예, 자율 주행 및/또는 사용자에 의한 항법 동안에 수집된 기록 데이터에 의거)할 수 있다.
프로세스(5000)는 호스트 차량의 정지 거리를 판단하는 단계(5012)를 포함할 수 있다. 본 개시에 따라, 처리 장치는 호스트 차량의 제동률, 호스트 차량의 최대 가속 능력, 및/또는 호스트 차량의 현재 속도에 의거하여(예, 상기에 상세히 설명) 호스트 차량의 정지 거리를 판단하도록 구성될 수 있다. 호스트 차량의 정지 거리는 본 개시에 따른 모든 임의의 수단에 의해 판단될 수 있다. 예컨대, 처리 장치는 상기의 RSS와 연관하여 설명한 공식 중의 하나 이상을 사용할 수 있다.
일부 실시예에서, 정지 거리는 호스트 차량이 미리 정해진 제동 능력으로 제동하기 전에 일정 시간 동안 최대 가속 능력으로 가속해야 할 경우에 현재 속도를 고려하여 호스트 차량이 정지하기 위해 필요한 거리일 수 있다. 예컨대, 호스트 차량의 정지 거리는 호스트 차량의 판단된 현재 속도에서 시작하여 호스트 차량이 미리 정해진 시간 주기 동안에 현재 최대 가속 능력으로 이동할 수 있는 거리에 해당하는 가속 거리를 포함할 수 있다. 미리 정해진 시간 주기는 처리 장치에 의해 추정된 시간 주기일 수 있다. 예를 들어, 제약의 지시에 따라, 처리 장치는 호스트 차량이 특정 시간 주기(예, 1000분의 0.5초, 1000분의 1초, 1000분의 2초, 1000분의 3초, 1000분의 10초 등) 동안에 가속할 것이라고 추정할 수 있다. 미리 정해진 시간 주기는 호스트 차량과 연관된 반응 시간일 수 있다. 예를 들어, 미리 정해진 시간 주기는 제동 반응을 요구하는 조건(예, 호스트 차량의 경로로 타깃 차량이 들어오는 경우)을 호스트 차량의 센서(예, 이미징 장치)가 호스트 차량으로부터 감지하는 시간과 호스트 차량이 최대 제동 능력으로 제동을 시작하는 시간 사이의 지연일 수 있다. 이러한 시간 주기는 캡처된 이미지의 분석, 프로세서에 의해 이행되는 하나 이상의 주행 방침에 의거한 항법 반응의 계획, 및 차량의 조향 및/또는 제동 시스템 등과 연관된 하나 이상의 액추에이터의 제어를 통한 항법 반응의 이행과 연관된 처리 시간을 포함할 수 있다. 본 예에서, 최악의 경우, 호스트 차량이 지연 기간 전체 동안에 최대 가속 능력으로 가속하는 것으로 가정할 수 있다. 일부 실시예에서, 반응 시간과 연관된 시간 주기는 처리 장치에 의해 판단되거나 그 근사치가 구해질 수 있다. 예컨대, 이미지 수신과 제동 반응 필요의 판단 사이의 시간을 처리 장치가 모니터링 할 수 있다. 다른 예를 들면, 처리 장치는 복수의 항법 반응과 연관된 평균(mean), 메디안(median), 또는 모드(mode) 반응 시간을 판단하고 정지 거리를 계산할 때에 이 평균, 메디안, 또는 모드 반응 시간을 활용할 수 있다. 예컨대, 수십, 수백, 또는 수천 회의 항법 반응 이후에, 처리 장치는 감지된 이벤트와 항법 반응 사이의 평균 시간이 특정 값(예, 1000분의 몇 초)임을 판단하고 이 값을 호스트 차량과 연관된 반응 시간으로 활용할 수 있다. 일부의 경우, RSS 거리 판단에 사용되는 반응 시간은 차량별로 고유할 수 있고, 다양한 감지 조건에 대한 특정 차량의 측정된 반응 시간의 이동 평균(running average)을 포함할 수 있다.
본 개시에 따라, 판단된 정지 거리는 완전 정지에 이른 이후의 호스트 차량과 타깃 차량 사이의 최소 거리를 포함할 수 있다. 판단된 또는 미리 정해진 최소 거리는 호스트 차량과 다른 차량 사이에 유지되어야 하는 미리 정해진 이격 거리에 상응할 수 있다. 예를 들어, 처리 장치는 판단된 또는 미리 정해진 최소 거리를 정지 거리의 계산에 포함시키도록 프로그램 될 수 있다. 예컨대, 미리 정해진 이격 거리는 적어도 1m일 수 있다. 이러한 예에서, 판단된 또는 미리 정해진 최소 거리는 앞서 설명한 바와 같이
Figure pct00805
일 수 있다.
프로세스(5000)는 타깃 차량의 현재 속도, 최대 가속 능력, 및 제동률을 판단하는 단계(5014)를 포함할 수 있다. 본 개시에 따라, 적어도 하나의 처리 장치는 타깃 차량의 현재 속도를 판단하도록 프로그램 될 수 있다. 일부 실시예에서, 타깃 차량의 속도는 호스트 차량의 속도에 의거하여 판단될 수 있다. 예컨대, 호스트 차량의 하나 이상의 센서가 호스트 차량의 속도에 관한 정보를 제공하고 호스트 차량에 대한 타깃 차량의 가속 또는 방향 전환을 나타낼 수 있다. 일부 실시예에서, 타깃 차량 속도는 적어도 한 이미지의 분석에 의거하여 판단될 수 있다. 적어도 하나의 이미지는 예를 들어 단계 5002에서 처리 장치에 의해 수신되고 단계 5006에서 타깃 차량의 식별을 위해 사용된 이미지와 동일한 이미지일 수 있다. 일부 실시예에서, 복수의 이미지를 분석하여 타깃 차량의 속도를 판단할 수 있다. 예를 들면, 제1 이미지는 호스트 차량으로부터 제1 거리의 타깃 차량을 나타내고, 제2 이미지는 호스트 차량으로부터 제2 거리의 타깃 차량을 나타내어, 처리 장치가 제1 이미지와 제2 이미지 사이의 거리 변화 및 시간을 활용하여 타깃 차량과 연관된 속도를 판단할 수 있다. 일부 실시예에서, 타깃 차량 속도는 호스트 차량과 연관된 라이더 시스템 및 레이더 시스템 중의 적어도 하나로부터의 출력의 분석에 의거하여 판단될 수 있다. 예를 들어, 처리 장치는 호스트 차량의 속도 및 호스트 차량과 타깃 차량 사이의 거리(예, 라이더 시스템에 의해 감지)를 활용하여 호스트 차량의 속도를 판단할 수 있다.
일부 실시예에서, 최악의 상황을 고려하기 위하여, 처리 장치는 타깃 차량의 현재 속도가 타깃 차량의 감지된 속도보다 작거나 크다고 추정하도록 프로그램 될 수 있다. 예를 들어, 타깃 차량이 호스트 차량 전방에서 주행 중인 경우, 처리 장치는 감지된 속도를 미리 정해진 값, 백분율, 공식 등을 활용하여 감소하도록 프로그램 될 수 있다. 예컨대, 처리 장치가 하나 이상의 센서로부터의 정보에 의거하여 타깃 차량이 시속 100km로 주행 중이라고 판단한 경우, 감지된 속도를10% 조정하여 차량이 시속 90km로 주행 중이라고 추정할 수 있다. 타깃 차량의 속도는 타깃 차량의 제동률과 상호 관련이 있을 수 있으므로, 타깃 차량의 속도를 감소하여 추정하는 것은 그렇지 않을 때보다 타깃 차량이 더 신속하게 정지할 수 있음을 추정하는 것과 유사하다(예, 타깃 차량이 시속 90km로 주행하는 경우에는 시속 100km로 주행하는 경우보다 짧은 거리에서 정지할 수 있음).
본 개시에 따라, 적어도 하나의 처리 장치는 타깃 차량의 적어도 하나의 인지된 특성에 의거하여 타깃 차량의 최대 가속 능력 및/또는 제동률을 추정하도록 프로그램 될 수 있다. 적어도 하나의 특성은 가속 또는 제동 능력과 상호 관련이 있는 것으로 알려진 또는 가속 또는 제동 능력과 상호 관련이 있을 수 있는 모든 임의의 특성일 수 있다. 일부 실시예에서, 타깃 차량의 인지된 특성은 앞서 설명한 바와 같이 차량의 유형, 등급, 제조사, 모델, 사이즈 등을 포함할 수 있다.
처리 장치는 적어도 하나의 특성을 하나 이상의 센서(예, 라이더, 레이더, 이미징 장치 등)로부터의 정보에서 인지하도록 프로그램 될 수 있다. 일부 실시예에서, 타깃 차량의 인지된 특성은 적어도 하나의 이미지의 분석에 의거하여 판단될 수 있다. 예를 들면, 타깃 차량의 이미지는 타깃 차량의 외관 상에 있는 문자를 포함할 수 있고, 이 문자를 활용하여 차량의 유형, 모델, 크기, 또는 기타 특성을 판단할 수 있다. 다른 예를 들면, 타깃 차량의 이미지는 차량 크기를 추정하는데 활용될 수 있는 다른 물체 또는 다른 물체와의 비교에 의거한 다른 특성을 포함할 수 있다. 예를 들면, 대형 차량은 속도제한 표지판보다 높아 보일 수 있는 반면, 소형 차량은 속도제한 표지판보다 낮아 보일 수 있다. 일부 실시예에서, 타깃 차량의 적어도 하나의 특성은 라이더 출력 및 레이더 출력 중의 적어도 하나에 의거하여 판단될 수 있다. 예를 들어, 라이더 출력은 타깃 차량의 후면 범퍼까지의 거리와 연관된 제1 거리 및 타깃 차량의 전면 범퍼(또는 기타 부위)까지의 거리와 연관된 제2 거리를 포함할 수 있고, 제1 거리와 제2 거리의 차이를 활용하여 타깃 차량의 크기를 추정할 수 있다. 타깃 차량의 크기는 또한 이미징 된 특징(예, 브레이크 등, 타이어, 사이드 미러 등)의 알려진 크기에 의거하여 추정될 수 있다. 한 이미지와 다른 이미지 사이의 축척을 판단하여 타깃 차량의 크기 또는 범위를 예측할 수도 있다.
앞서 설명한 바와 같이, 타깃 차량의 제동률은 차량의 최대 또는 최대 이하 제동률에 상응할 수 있다. 타깃 차량의 제동률 또는 최대 가속 능력은 앞서 호스트 차량에 대한 단계 5010에서 설명한 수단 등의 본 개시에 따른 모든 임의의 수단에 의해 판단될 수 있다. 예를 들어, 타깃 차량의 제동률은 감지된 도로면 조건, 감지된 기후 조건 등에 의거하여 판단될 수 있다. 일부 실시예에서, 차량의 제동률은 호스트 차량 또는 타깃 차량과 연관된 책임 또는 과실 특성에 따라 다를 수 있다. 이에 따라, 호스트 차량의 제동률은 타깃 차량의 제동률보다 낮거나 그 반대일 수 있다.
프로세스(5000)는 타깃 차량의 제동률, 최대 가속 능력, 및 현재 속도에 의거하여 타깃 차량의 정지 거리를 판단하는 단계(5016)를 포함할 수 있다. 타깃 차량의 정지 거리는 타깃 차량이 미리 정해진 제동률로 제동하기 전에 일정 시간 동안 최대 가속 능력으로 가속해야 할 경우에 현재 속도를 고려하여 타깃 차량이 정지하기 위해 필요한 거리일 수 있다. 예를 들어, 타깃 차량의 정지 거리는 타깃 차량의 판단된 현재 속도에서 시작하여 타깃 차량이 미리 정해진 시간 주기 동안에 현재 최대 가속 능력으로 이동할 수 있는 거리에 해당하는 가속 거리를 포함할 수 있다. 거리는 앞서 호스트 차량에 대해 단계 5012에서 설명한 수단 등의 본 개시에 따른 모든 임의의 수단에 의해 판단될 수 있다.
프로세스(5000)는 예정 항법 동작이 안전한 경우에 예정 항법 동작을 이행하는 단계(5018)를 포함할 수 있다. 단계 5018의 목적상, 예정 항법 동작이 안전한 것으로 간주될 수 있는 일례는 판단된 다음 상태 거리가 호스트 차량의 정지 거리와 타깃 차량의 정지 거리의 합보다 큰 경우이다. 이 상황에서, 항법 동작이 수행되는 경우에 두 차량 모두에 대한 정지 거리(반응 기간 동안에 최대 가속을 한다는 가정 하에 이동할 수 있는 거리를 포함)는 두 차량이 충돌하기 전에 정지에 이르게 할 것이기 때문에 호스트 차량과 타깃 차량 사이에 충돌이 발생하지 않게 된다.
단계 5018의 목적상, 예정 항법 동작이 안전한 것으로 간주될 수 있는 다른 예는 판단된 다음 상태 거리가 호스트 차량의 정지 거리와 타깃 차량의 정지 거리의 합보다 적어도 미리 정해진 최소 거리만큼 큰 경우이다. 본 실시예에서, 미리 정해진 최소 거리는
Figure pct00806
일 수 있고 미리 정해질 수 있거나 본 개시에 따른 모든 임의의 수단에 의해 정해지고 앞서 설명한 모든 임의의 속성을 포함할 수 있다. 일부 실시예에서, 미리 정해진 최소 거리는 호스트 차량과 다른 차량 사이에 유지되어야 하는 미리 정해진 이격 거리에 상응할 수 있다. 예를 들어, 자율 주행 시스템의 제약에 따라, 자율주행차는 다른 차량의 특정 거리 이내로(또는 이하로) 들어가면 절대 안 될 수 있다. 미리 정해진 이격 거리는 모든 임의의 치수의 거리일 수 잇다. 일부 실시예에서, 미리 정해진 이격 거리는 적어도 1m, 2m, 5m 등일 수 있다. 일부 실시예에서, 미리 정해진 거리는 호스트 차량이 주행하는 속도, 호스트 차량의 장소(예, 도심 도로, 시골 도로 등) 등에 따라 다를 수 있다.
안전한 횡방향 거리의 항법
앞서 설명한 바와 같이, RSS는 호스트 차량과 타깃 차량 사이의 종방향의 안전 거리 판단에 효과적일 수 있다. 그러나, 다른 실시예에서, RSS는 두 대의 차량 사이의 안전 횡방향 거리를 유지하기 위해서도 활용될 수 있다. 예를 들어, 호스트 차량과 타깃 차량은 서로에 대해 횡방향으로 이격되도록 주행하고 있을 수 있다. 개시된 실시예들은 호스트 차량과 타깃 차량 사이의 횡방향 이격의 변화를 가져올 수 있는 하나 이상의 항법 동작을 고려하여 호스트 차량이 타깃 차량과의 안전 횡방향 거리를 유지하도록 하는데 활용될 수 있다. 안전 횡방향 간격의 유지는 호스트 차량과 타깃 차량이 서로 옆에서 주행하고 있는 경우에 특히 중요하다. 이러한 경우, 둘 중의 한 대 이상의 차량의 횡방향 이동을 확인하지 못하면 충돌로 이어질 수 있다. 그러나, 안전 횡방향 간격은 둘 중의 한 대 이상의 지속적 횡방향 움직임의 결과로 충돌이 발생하지 않도록 호스트 차량과 타깃 차량이 종방향으로 간격이 있는 경우에도 중요하다. 예를 들면, 둘 중의 한 대의 차량이 횡방향으로 움직여서 끼어들기 상황을 유발하여 호스트 차량과 타깃 차량 중의 한 대 이상에 의한 횡방향 움직임 후에 종방향 거리가 안전하지 않아지는 결과가 되는 경우에, 특정 안전 횡방향 거리를 유지하는 것이 이로울 수 있다. 이하, 횡방향 항법의 다양한 양상을 횡방향 간격/이격, 횡방향 가속, 횡방향 속도, 및/또는 횡방향 제동의 측면에서 설명하기로 한다. 이러한 측면들은 차량의 움직임의 횡방향 요소의 변화를 의미할 수 있다. 예를 들어, 호스트 차량과 타깃 차량이 각각 서로 인접한 차로에서 동일한 방향으로 주행하고 있는 상황에서, 호스트 차량이 타깃 차량에 접근하도록 유발하는 방식으로 조향을 하는 경우에, 호스트 차량과 타깃 차량 사이의 횡방향 간격이 줄어든다고 할 수 있다. 횡방향 간격의 감소는 특정 횡방향 속도로 발생할 수 있고, 특정 횡방향 속도는 일정하거나 횡방향 가속도 값에 따라 변화할 수 있다. 감소하는 횡방향 간격과 연관된 횡방향 속도에는 일 부호(예, -)가 지정될 수 있고, 증가하는 횡방향 간격과 연관된 횡방향 속도에는 반대 부호(예, +)가 지정될 수 있다. 횡방향 가속은 호스트 차량이 증가하는 횡방향 속도로 타깃 차량에 횡방향 접근하는(또는 타깃 차량으로부터 횡방향으로 멀어지는) 상황을 말할 수 있다. '횡방향 제동'이란 용어는 호스트 차량이 횡방향으로 접근하지만 횡방향 속도를 감소하는 상황을 말할 수 있다. 예를 들어, 횡방향 제동이 되도록 하는 조작은 두 대의 차량이 서로에 접근하는 속도가 느려지게 할 수 있다. 결국, 횡방향 제동의 결과로 차량 사이의 횡방향 속도가 0이 될 수 있다. 횡방향 간격, 속도, 가속 등에 영향을 미치는 조작에는 다른 차량에서 멀어지게 하거나 다른 차량을 향하게 하는 한 대 이상의 차량의 조향이 포함될 수 있다.
도 51a는 개시된 실시예에 따른 두 대의 차량이 서로로부터 횡방향으로 이격되어 있는 예시적인 상황을 도시한 것이다. 본 상황에서, 호스트 차량(5102)과 타깃 차량(5104)은 각각의 차로에서 서로와 나란히 주행하고 있을 수 있다. 도 51a에 도시된 바와 같이, 호스트 차량(5102)은 호스트 차량(5102)과 타깃 차량(5104) 사이의 횡방향 거리를 줄이는 차로 변경 동작과 같은 동작을 수행할 수 있다. 도 51a에 도시된 상황은 예시일 뿐이고, 호스트 차량(5102)이 타깃 차량과의 안전 횡방향 거리를 유지하는 다양한 다른 상황이 발생할 수 있다. 예를 들어, 도 51a에는 호스트 차량(5102)과 타깃 차량(5104)이 동일한 방향으로 진행하고 있는 것으로 도시되어 있지만, 차량들은 차량 사이에 횡방향 간격을 두고 서로 반대 방향으로 진행하고 있을 수도 있다. 다른 경우에서, 차량들은 횡방향 간격을 두고 교차로를 통과하여, 주차장 내에서, 병합 패턴으로, 또는 다른 가능한 상황에서 진행하고 있을 수 있다. 본 개시는 호스트 차량과 타깃 차량이 그 사이에 횡방향 간격을 두고 진행하고 있는 어느 특정 상황으로 한정되지 않는다.
도 51a에 도시된 바와 같이, 타깃 차량(5104)은 속도 벡터(5124)로 표현된 속도로 진행하고 있을 수 있다. 이와 유사하게, 호스트 차량(5102)은 속도 벡터(5122)로 표현된 속도로 진행하고 있을 수 있다. 도 51a에 도시된 바와 같이, 호스트 차량(5102)의 횡방향 속도(5123)는 속도 벡터(5122)의 횡방향 요소로 정의될 수 있다. 횡방향 요소는 다양한 방식으로 정의될 수 있다. 예를 들면, 횡방향 요소는 호스트 차량(5102)의 이전 진행 방향, 타깃 차량(5104)의 현재 진행 방향, 호스트 차량(5102) 및/또는 타깃 차량(5104)의 진행 차로 등에 의거한 기준 프레임을 활용할 수 있다. 일부 실시예에서, 횡방향 속도(5123)는 호스트 차량(5102)의 타깃 차량(5104) 방향 속도의 요소일 수 있다. 타깃 차량(5104)의 횡방향 속도도 유사하게 타깃 차량(5104)의 호스트 차량(5102) 방향 속도의 요소로 정의될 수 있다. 모든 임의의 기타 적합한 수단을 활용하여 차량의 상대적 횡방향 속도를 정의할 수 있다. 횡방향 간격, 횡방향 속도, 및/또는 횡방향 가속도는 데카르트(Cartesian) 좌표, 극좌표, 또는 기타 모든 임의의 기타 적합한 방식으로 표현될 수 있다.
다른 경우에서, 예정 항법 동작은 회전 동작을 포함할 수 있다. 예를 들어, 호스트 차량(5102)은 교차로에서 회전하고 있을 수 있고, 이로써 차량 사이의 횡방향 거리가 줄어들 수 있다. 예정 항법 동작은 고속도로 진출, 물체(예, 도로 내의 장애물, 포트홀, 사람 등) 우회, 주차 동작(예, 평행 주차, 주차 공간 진입 등), 또는 기타 유사한 동작과 같은 호스트 차량(5102)과 타깃 차량(5104) 사이의 횡방향 거리를 감소시킬 수 있는 모든 임의의 기타 동작을 포함할 수 있다. 일부의 경우에서, 타깃 차량(5104)과 호스트 차량(5102) 사이의 횡방향 거리를 감소시키는 동작을 수행하는 차량은 타깃 차량(5104)일 수 있다. 호스트 차량(5102)의 예정 항법 동작은 전방 진행 방향 유지 동작, 구동 유지 동작, 관성 주행 유지 동작, 진행 방향 변경, 제동 동작(횡방향 및/또는 종방향) 등을 포함할 수 있다.
앞서 설명한 바와 같이, RSS 안전 거리는 호스트 차량이 타깃 차량과 충돌하지 않고 정지에 이를 수 있는 호스트 차량과 타깃 차량 사이의 거리일 수 있다. 종방향 RSS 안전 거리와 유사한 경우로 두 차량 사이의 RSS 안전 횡방향 거리가 있을 수 있다. 안전 횡방향 거리는 차량을 횡방향으로 정지하게(예, 횡방향 속도를 0으로 감소하게) 하는 최소 거리의 계산을 포함할 수 있다. 이 경우, 차량의 제동 능력(예, 브레이크 적용)을 판단하기 보다, 안전 횡방향 거리는 다른 차량으로부터 멀어지는 방향으로 조향하는(또는 두 차량의 횡방향 접근 속도를 0으로 낮추는) 호스트 차량의 능력에 기반할 수 있다. 따라서, 횡방향 제동 거리는 적어도 부분적으로는 차량의 조향/회전 능력에 달려있을 수 있다.
과 유사하게, 차량의 알려진 특성에 상응할 수 있거나, 모든 차량에 대한 추정값일 수 있다. 호스트 차량(5102)의 횡방향 제동 거리의 판단에 사용되는 횡방향 속도는 호스트 차량(5102)의 최대 요 레이트 능력을 추정하고 호스트 차량(5102)이 대응 기간 ρ 동안에 회전 반경 능력의 최대 변화에 의거하여 요 레이트를 증가한다고, 즉, 최악의 횡방향 제동 거리(5112)를 추정할 수 있다.
도 51b를 다시 참조하면, 타깃 차량(5104)의 횡방향 제동 거리(5114)는 호스트 차량(5102)의 횡방향 제동 거리(5112)와 동일한 방식으로 산출될 수 있다. 타깃 차량(5104)의 횡방향 제동 거리(5114)는 타깃 차량의 횡방향 속도가 0에 도달하게 하기 위해 필요한 거리에 해당할 수 있다. 횡방향 제동 거리(5114)는 타깃 차량의 현재 횡방향 속도에서 시작하여 타깃 차량의 최대 요 레이트 능력과 회전 반경 능력의 최대 변화에 달려있을 수 있다. 횡방향 제동 거리(5114)는 타깃 차량(5104)이 횡방향으로 가속하는 것을 가정할 수 있고, 이에 따라, 횡방향 제동 거리(5114)의 판단에서, 타깃 차량과 연관된 반응 시간 동안에 타깃 차량의 최대 요 레이트 능력과 타깃 차량의 회전 반경 능력의 최대 변화로 호스트 차량을 향해 회전 동작을 한 결과로서 타깃 차량의 횡방향 가속 후의 타깃 차량(5104)의 횡방향 속도를 추정할 수 있다.
일부 실시예에서, 호스트 차량 및/또는 타깃 차량의 횡방향 속도는 하나 이상의 센서의 출력에 의거하여 판단될 수 있다. 예를 들어, 횡방향 속도는 가속도계, 라이더 시스템, 레이더 시스템, GPS 장치 등의 출력으로부터 판단될 수 있다. 다른 예를 들면, 호스트 차량의 횡방향 속도는 하나 이상의 이미지를 분석하여(예, 둘 이상의 이미지에서 검출된 고정 물체의 축척 비율의 변화에 의거하여) 판단될 수 있다. 마찬가지로, 타깃 차량의 횡방향 속도는 하나 이상의 이미지를 분석하여(예, 타깃 차량의 축척 비율의 변화에 의거하여) 판단될 수 있다.
타깃 차량에 대해, 최대 요 레이트 능력과 회전 반경 능력의 최대 변화는, 앞서 종방향 안전 주행 거리에 관해 설명한 제동 능력과 유사하게, 타깃 차량의 적어도 하나의 특성에 의거하여 판단될 수 있다. 적어도 하나의 특성은 차량의 요 레이트 또는 회전 반경과 상호 관련이 있을 수 있는 모든 임의의 특성일 수 있다. 일부 실시예에서, 타깃 차량의 인지된 특성은 차량 유형(예, 대형 세단, 소형차, SUV, 크로스오버 SUV, 오토바이 등), 차량의 제조사 또는 모델, 브랜드명, 기타 분류(예, Toyota Prius®, BMW X5® 등), 차량 크기(종방향 안전 주행 거리 판단에 관하여 상기에 설명) 등을 포함할 수 있다. 처리 장치는 차량의 유형 또는 범주의 알려진 값에 의거하여 타깃 차량의 최대 요 레이트 능력과 회전 반경 능력의 최대 변화를 추정하도록 프로그램 될 수 있다. 처리 장치는 차량 특성을 활용하여 각 차량 유형, 모델 등과 연관된 공지의 최대 요 레이트 능력 및/또는 회전 반경 능력의 최대 변화를 포함하는 데이터베이스에 접속하는 등을 할 수 있다. 차량의 특성은 이미지의 분석을 통해 판단 또는 식별될 수 있다.
호스트 차량(5102)에 대해, 최대 요 레이트 능력과 회전 반경 능력의 최대 변화는 알려져 있거나 차량의 특성, 이전 회전 동작의 데이터 등에 의거하여 추정될 수 있다. 일부 실시예에서, 호스트 차량의 최대 요 레이트 능력과 회전 반경 능력의 최대 변화는 호스트 차량에 대한 미리 정해진 제약에 기반할 수 있다. 예를 들면, 최대 횡방향 가속도는 차량의 실제 최대 능력보다 작을 수 있지만 설정에 의해 제한될 수 있다. 최대 횡방향 제동률 또는 최대 횡방향 가속은 탑승자를 불편하게 하거나 차량의 하드웨어(타이어, 브레이크 패드 등)가 과도하게 마모되거나 하는 등을 초래할 수 있다. 이에 따라, 미리 정해진 제약(시스템(100) 또는 호스트 차량(5102)의 운전자에 의해 설정될 수 있음)으로 호스트 차량의 최대 요 레이트 능력과 회전 반경 능력의 최대 변화를 제한할 수 있다. 이러한 제약 값은 횡방향 제동 거리의 판단에 활용될 수 있다.
일부 실시예에서, 호스트 차량의 최대 요 레이트 능력, 호스트 차량의 회전 반경 능력의 최대 변화, 타깃 차량의 최대 요 레이트 능력, 및 타깃 차량의 회전 반경 능력의 최대 변화 중의 적어도 하나는 하나 이상의 감지된 도로 조건(예, 도로 재질 유형, 도로 접지 성질 등), 하나 이상의 감지된 기후 조건(예, 비, 눈, 안개, 얼음 등) 등에 의거하여 판단될 수 있다. 예를 들어, 처리 장치는 눈길에서 최대의 안전과 안락을 제공하는 최대 요 레이트 능력 및/또는 회전 반경 능력의 최대 변화를 판단할 수 있으며, 이는 마른 고속도로에 대한 판단과 다를 수 있다.
일부 실시예에서, 횡방향 제동률은 호스트 차량(5102) 또는 타깃 차량(5104)과 연관된 과실 또는 책임 판단에 기반할 수 있다. 책임의 관점에서, 호스트 차량(5102)은 타깃 차량(5104)로부터 멀어지도록, 타깃 차량(5104)보다 낮은 비율로, 조향할 의무가 있을 수 있다. 예를 들면, 타깃 차량(5104)은 호스트 차량(5102)의 차로로 방향을 틀고 있을 수 있고, 따라서 호스트 차량(5102)으로부터 멀어지도록 조향할 의무가 더 있을 수 있다. 이에 따라, 두 차량 모두 같은 유형 또는 모델이라고 하더라도, 호스트 차량의 최대 요 레이트 능력 및/또는 회전 반경 능력의 최대 변화는 타깃 차량보다 작거나 그 반대일 수 있다.
일부 실시예에서, 호스트 차량(5102)의 처리 장치는 판단된 다음 상태 거리가 호스트 차량의 횡방향 제동 거리와 타깃 차량의 횡방향 제동 거리의 합보다 적어도 미리 정해진 최소 거리만큼 큰 경우에 예정 항법 동작을 이행하도록 구성될 수 있다. RSS 안전 종방향 거리가 최소 접근 거리 요소를 포함한다면, 호스트 차량(5102)이 0의 횡방향 속도에 도달하는 경우, 호스트 차량은 타깃 차량으로부터 적어도 최소 접근 거리만큼 떨어져 있어야 한다. 최소 거리는 호스트 차량과 다른 차량 사이에 유지되어야 할 미리 정해진 횡방향 이격 거리(예, 0.5 m, 1 m, 2 m 등의 최소 거리)에 해당할 수 있다. 미리 정해진 횡방향 이격은 본 개시에 따른 모든 임의의 집합의 요인(예, 호스트 차량(5102) 및/또는 타깃 차량(5104)와 연관된 속도, 감지된 기후 조건, 사용자 선호도 등)에 의거하여 판단될 수 있다.
일부 실시예에서, 호스트 차량은 또한 호스트 차량과 타깃 차량 사이의 종방향 거리를 고려할 수 있다. 도 52b는 호스트 차량(5202)이 횡방향 안전 주행 거리와 종방향 안전 주행 거리에 모두 의거하여 항법 동작을 수행할 수 있는 일례를 도시한 것이다. 호스트 차량(5202)은 호스트 차량(5202)과 타깃 차량(5204) 사이의 횡방향 거리에 의거하여 예정 항법 동작을 수행할지 여부를 판단할 수 있다. 예정 항법 동작은 차로 변경 동작, 병합 동작 등과 같은 앞서 설명한 동작 중의 임의의 것일 수 있다. 호스트 차량(5202)의 처리 장치는 다음 상태 거리(5210)는 물론이고 호스트 차량의 횡방향 제동 거리(5212)와 타깃 차량의 횡방향 제동 거리(5214)를 판단할 수 있다. 도 52b에 도시된 상황에서, 호스트 차량의 횡방향 제동 거리(5212)와 타깃 차량의 횡방향 제동 거리(5214)의 합은 다음 상태 횡방향 거리(5210)보다 클 수 있고, 따라서 항법 동작의 결과로 타깃 차량으로부터 안전한 횡방향 거리가 되지 않을 것이라는 나타낼 수 있다. 그 결과, 차량은 안전하지 않은 횡방향 거리를 가져올 예정 항법 동작을 취하지 않을 수 있다.
그러나, 일부 실시예에서, 처리 장치는 다음 상태 횡방향 거리와 무관하게(예, 예정 항법 동작의 결과로 호스트 차량과 타깃 차량 사이의 종방향 거리(5220)가 안전한 경우) 예정 항법 동작을 이행하도록 프로그램 될 수 있다. 즉, 항법 동작을 취할 수 있고 다음 상태 거리가 안전 RSS 종방향 거리 이상일 경우, 호스트 차량과 타깃 차량 사이의 횡방향 이격이 안전 RSS횡방향 거리 이상인지 여부는 덜 중요할 수 있다(예, 호스트 차량이 타깃 차량보다 훨씬 앞이나 뒤에 있어서 횡방향 충돌의 가능성이 거의 또는 전혀 없는 경우). 안전 종방향 거리는, 앞서 상세히 설명한 시스템 및 방법을 포함하여, 본 개시에 따른 모든 임의의 방식으로 판단될 수 있다. 예를 들어, 안전 종방향 거리(5220)(앞서 설명한 다음 상태 종방향 거리에 해당할 수 있음)는 호스트 차량의 종방향 정지 거리(5222)와 타깃 차량의 종방향 정지 거리(5224)의 합 이상일 수 있다. 이에 따라, 도 52b에 도시된 상황에서, 호스트 차량(5202)의 처리 장치는 예정 항법 동작을 수행할 수 있다. 앞서 설명한 바와 같이, 호스트 차량의 정지 거리는 호스트 차량의 최대 종방향 제동 능력과 호스트 차량의 현재 종방향 속도에 기반할 수 있다. 호스트 차량 정지 거리는 호스트 차량이 호스트 차량의 현재 종방향 속도에서 시작하여 호스트 차량과 연관된 반응 시간 동안에 호스트 차량의 최대 가속 능력으로 이동할 수 있는 거리에 상응하는 호스트 차량 가속 거리를 더 포함할 수 있다. 마찬가지로, 타깃 차량 정지 거리는 타깃 차량의 최대 종방향 제동 능력과 현재 종방향 속도에 기반할 수 있다. 타깃 차량 정지 거리는 타깃 차량이 타깃 차량의 현재 종방향 속도에서 시작하여 타깃 차량과 연관된 반응 시간 동안에 타깃 차량의 최대 가속 능력으로 이동할 수 있는 거리에 상응하는 타깃 차량 가속 거리를 포함할 수 있다
도 53a와 도 53b는 개시된 실시예에 따른 안전 횡방향 거리를 유지하기 위한 예시적인 프로세스(5300)를 도시한 순서도이다. 프로세스(5300)는 앞서 설명한 처리부(110)와 같은 적어도 하나의 처리 장치에 의해 수행될 수 있다. 프로세스(5300)는 예시일 뿐이고, 본 개시의 기술분야의 당업자라면 프로세스(5300)에 단계를 추가하거나 특정 단계를 삭제하거나 수정하는 것이 가능하다는 것을 이해할 것이다.
도 51b는 개시된 실시예에 따른 호스트 차량(5102)이 안전 횡방향 거리를 유지하는 일례를 도시한 것이다. 타깃 차량(5104)은 두 차량이 서로로부터 횡방향으로 간격이 있도록 호스트 차량(5102)과 나란히 주행하고 있을 수 있다. 앞서 설명한 종방향 안전 거리와 유사하게, 호스트 차량의 처리 장치(예, 처리부(110))는 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 결정할 수 있다. 호스트 차량(5102)는 호스트 차량(5102)과 타깃 차량(5104) 사이에 RSS 안전 종방향 거리가 유지될 수 있다면 예정 항법 동작을 수행하도록 구성될 수 있다. 또한, 호스트 차량(5102)은 호스트 차량(5102)과 타깃 차량(5104) 사이에 RSS 안전 횡방향 거리가 유지될 수 있다면 예정 항법 동작을 수행하도록 구성될 수 있다. 앞서 설명한 바와 같이, 예정 항법 동작은 차로 변경 동작, 병합 동작, 추월 동작, 주차장 항법 동작, 회전 동작, 회피 동작, 전방 진행 유지 동작, 구동 유지 동작 등과 같은 다양한 동작을 포함할 수 있다. 호스트 차량(5102)의 처리 장치는 예정 항법 동작이 취해지는 경우의 결과일 수 있는 호스트 차량(5102)과 타깃 차량(5104) 사이의 횡방향 거리에 상응하는 호스트 차량(5102)과 타깃 차량(5104) 사이의 다음 상태 횡방향 거리(5110)을 판단할 수 있다. 처리 장치는 또한 호스트 차량(5102)의 횡방향 제동 거리(5112)와 타깃 차량(5104)의 횡방향 제동 거리(5114)를 판단할 수 있다. 앞서 설명한 바와 같이, 횡방향 제동 거리(5112, 5114)는 차량이 횡방향 속도를 0으로 감소하기 위해 필요한 횡방향 거리를 나타내는 것일 수 있다. 이에 따라, 차량들은 횡방향으로 정지를 해도 여전히 전체적으로 속도가 0이 아닐 수 있다. 예를 들어, 차량들은 0이 아닌 종방향 속도로 계속 주행하고 있을 수 있다. 호스트 차량(5102)의 처리 장치는 판단된 다음 상태 횡방향 거리(5110)가 횡방향 제동 거리(5112)와 횡방향 제동 거리(5114)의 합보다 커서 두 차량 모두 횡방향 속도를 감소하여(예, 회전하여) 충돌을 피할 수 있다고 나타내는 경우에 예정 항법 동작을 이행할 수 있다. 도 51b에 도시된 상황에서, 다음 상태 횡방향 거리(5110)가 횡방향 제동 거리(5112)와 횡방향 제동 거리(5114)의 합보다 크므로, 호스트 차량(5102)의 항법 동작이 허용될 것이다.
개시된 실시예에 따라, 호스트 차량(5102)의 횡방향 제동 거리(5112)는 0의 호스트 차량 횡방향 속도를 달성하는데 필요한 거리에 해당할 수 있다. 횡방향 제동 거리(5112)는 호스트 차량의 현재 횡방향 속도에서 시작하여 호스트 차량의 최대 요 레이트 능력과 호스트 차량의 회전 반경 능력의 최대 변화에 달려있을 수 있다. 앞서 설명한 종방향 안전 거리 판단에 사용되는 최대 가속률과 유사하게, 횡방향 제동 거리(5112)는 호스트 차량(5102)이 횡방향으로 가속하는 것을 가정할 수 있다. 이에 따라, 횡방향 제동 거리(5112)의 판단에서, 호스트 차량과 연관된 반응 시간 동안에 호스트 차량의 최대 요 레이트 능력과 호스트 차량의 회전 반경 능력의 최대 변화로 타깃 차량을 향해 회전 동작을 한 결과로서 호스트 차량의 횡방향 가속 후의 호스트 차량(5102)의 횡방향 속도를 추정할 수 있다. 최대 요 레이트 능력 및/또는 회전 반경 능력의 최대 변화에 대한 제약은 또한 사용자가 정의(예, 자율주행차의 탑승자가 미리 정해진 최대 허용 요 레이트 및 회전 반경 수준의 변화에 상응하는 하나 이상의 차량 설정을 선택), 상황이 정의(예, 특정 장소에서의 상황 및/또는 특정 항법 상황에 의거), 및/또는 관찰된 성능에 의거(예, 자율 주행 및/또는 사용자에 의한 항법 동안에 수집된 기록 데이터에 의거)할 수 있다.
도 52a는 개시된 실시예에 따른 예정 항법 동작 동안의 예시적인 호스트 차량(5102)을 도시한 것이다. 호스트 차량(5102)의 요 레이트는 조향 핸들을 회전하여 유발되는 호스트 차량(5102)의 진행 각도의 변화율을 나타내는 것일 수 있고, 예를 들어 각속도(angular velocity)로 표현될 수 있다. 호스트 차량(5102)은 시간 t 1 에 진행 방향(5205)일 수 있고, 시간 t 2 에 진행 방향(5206)일 수 있다. 진행 방향(5205)은 진행 방향(5206)과 각도 Θ만큼 다를 수 있다. 요 레이트는
Figure pct00807
로 나타낼 수 있다. 일부 실시예에서, 회전 반경이 일정하면 요 레이트는 일정할 수 있다. 예를 들어, 호스트 차량(5102)은 일정한 회전 반경(5207)으로 회전하고 있을 수 있고, 따라서 호스트 차량(5102)의 요 레이트는 일정하게 유지되게 된다. 호스트 차량(5102)의 회전 반경 변화는 호스트 차량(5102)이 회전 반경을 변경하는 비율을 나타낼 수 있다. 예를 들어, 호스트 차량(5102)은 회전 반경을 회전 반경(5208)로 줄일 수 있고, 이로써 호스트 차량(5102)의 요 레이트를 증가시킬 수 있다. 호스트 차량(5102)에는 또한 최대 요 레이트 능력이 있을 수 있고, 이는 차량의 성질에 해당할 수 있다(예, 조향 핸들을 한쪽 방향으로 완전히 돌리는 경우의 회전 반경).
앞서 설명한 종방향 안전 거리 판단과 유사하게, RSS 거리(예, 안전 RSS 횡방향 거리)는 이벤트 시점과 이러한 이벤트의 감지에 대한 차량의 반응 시점(예, 호스트 차량과 연관된 반응 시간) 사이의 기간 동안에 차량이 겪을 수 있는 최대 가능 횡방향 가속 능력에 달려 있을 수 있다. 이에 따라, 횡방향 제동 거리는 차량의 횡방향 속도를 0으로 감소하기 위해 필요한 횡방향 거리는 물론 반응 시간 동안의 최대 횡방향 가속의 최악의 상황도 고려할 수 있다. 횡방향 제동 거리는 차량이 차량의 최대 요 레이트 능력과 회전 반경 능력의 최대 변화로 차량의 반응 시간 동안에 이동할 수 있는 횡방향 거리에 상응하는 횡방향 가속 거리를 포함할 수 있다. 예를 들어, RSS 횡방향 거리는 호스트 차량(5102)과 타깃 차량(5104)이 수정적 조향 동작을 시작하기 전의 지연을 고려할 수 있다. 호스트 차량(5102)을 향해 타깃 차량(5104)이 횡방향으로 다가오고 있음을 호스트 차량(5102)이 검출하는 시간과 수정적 조향 동작을 수행하는 시간 사이에 1,000분의 수 초(또는 그 이상 또는 이하)가 있을 수 있다. 처리 장치는 차량의 반응 시간에 해당하는 대응 기간 ρ 동안에 발생할 수 있는 회전 반경과 요 레이트의 변화를 고려할 수 있다. 대응 기간 ρ는 제동률
프로세스(5300)는 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 수신하는 단계(5302)를 포함할 수 있다. 적어도 하나의 이미지는 이미지캡처장치(122)와 같은 본 개시에 따른 임의의 이미지 캡처 장치로부터 수신될 수 있다. 일부 실시예에서, 적어도 하나의 이미지는 카메라, 레이더, 라이더, 또는 이미지가 확보될 수 있는 기타 모든 광학적 또는 비광학적 장치로부터 확보된 이미지일 수 있다. 이미지가 캡처되는 시간과 처리 장치가 이미지를 수신하는 시간 사이에는 약간의 기간이 있을 수 있다. 또한, 이벤트가 발생하는 시간과 이미징 장치가 이벤트의 이미지를 캡처하는 시간 사이에 지연 기간이 있을 수 있다. 예를 들어, 타깃 차량이 호스트 차량 앞의 차로로 진입하는 경우, 타깃 차량의 차로 진입 동작을 실시하는 시간과 이미징 장치가 타깃 차량의 이미지를 캡처하는 시간 사이에 짧은 기간(예, 1000분의 1초, 1000분의 2초, 1000분의 5초 등)이 있을 수 있다. 또한, 캡처 이미지의 분석, 분석에 의거한 예정 대응의 생성, 액추에이션 시스템으로 하나 이상의 제어 신호의 전송, 및 제어 신호에 대한 액추에이션 시스템의 실제 대응과 연관된 시간이 있을 수 있다.
프로세스(5300)는 호스트 차량에 대한 예정 항법 동작을 결정하는 단계(5304)를 포함할 수 있다. 본 개시에 따라, 적어도 하나의 처리 장치는 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 결정하도록 프로그램 될 수 있다. 항법 동작은 적어도 하나의 주행 방침에 의거하여 결정될 수 있다. 예정 항법 동작 및/또는 적어도 하나의 주행 방침은 상기의 설명과 같은 본 개시에 따른 것일 수 있다. 예컨대, 예정 항법 동작은 차로 변경 동작, 병합 동작, 추월 동작, 주차장 항법 동작, 및 회전 동작 중의 적어도 하나를 포함할 수 있다.
프로세스(5300)는 적어도 하나의 이미지를 분석하여 호스트 차량의 주변상황에서 타깃 차량을 식별하는 단계(5306)를 포함할 수 있다. 적어도 하나의 이미지는 이미지캡처장치(122)와 같은 이미지캡처장치로부터 수신된 이미지일 수 있다. 적어도 하나의 이미지는 프로세스(5300)의 단계 5302의 일부로 수신된 하나 이상의 이미지일 수 있다.
프로세스(5300)는 예정 항법 동작을 취할 경우의 결과일 수 있는 호스트 차량과 타깃 차량 사이의 다음 상태 횡방향 거리를 판단하는 단계(5308)를 포함할 수 있다. 본 개시에 따라, 처리 장치는 호스트 차량과 타깃 차량 사이의 다음 상태 거리를 판단하도록 프로그램 될 수 있다. 다음 상태 거리는 여기에 기재된 모든 임의의 방법에 의해 산출될 수 있다. 예를 들어, 예정 항법 동작이 호스트 차량의 차로 변경 동작인 경우, 다음 상태 거리는 항법 동작의 결과로서 호스트 차량의 옆 차로의 호스트 차량과 타깃 차량 사이의 거리일 수 있다.
프로세스(5300)는 호스트 차량의 최대 요 레이트 능력, 호스트 차량의 회전 반경 능력의 최대 변화, 및 호스트 차량의 현재 횡방향 속도를 판단하는 단계(5310)를 포함할 수 있다. 각각의 요인들(즉, 호스트 차량의 최대 요 레이트 능력, 회전 반경 능력의 최대 변화, 및 현재 횡방향 속도)은 본 개시에 따른 모든 임의의 수단에 의해 판단될 수 있다. 호스트 차량의 최대 요 레이트 능력 및 호스트 차량의 회전 반경 능력의 최대 변화는 호스트 차량의 성질(예, 호스트 차량의 회전 반경, 타이어 압력, 타이어 마모 등)에 달려있을 수 있다. 일부 실시예에서, 호스트 차량의 최대 요 레이트 능력 및 호스트 차량의 회전 반경 능력의 최대 변화는 미리 정해진 제약에 기반할 수 있다. 예를 들면, 호스트 차량의 최대 요 레이트 능력 및/또는 호스트 차량의 회전 반경 능력의 최대 변화는 사용자 또는 시스템 설정에 의거하여 제약될 수 있다(예, 불편한 횡방향 가속의 방지, 차량에 대한 불필요한 마모 또는 손상의 방지 등). 이에 따라, 호스트 차량의 최대 요 레이트 능력 및/또는 호스트 차량의 회전 반경 능력의 최대 변화는 호스트 차량의 현재 속도에 달려있을 수 있다. 예를 들어, 제1 속도(예, 시속 15km)로 달리는 차량의 최대 요 레이트 능력은 제2 속도(예, 시속 30km)로 달리는 동일 차량의 최대 요 레이트 능력과 상당히 다를 수 있다. 일부 실시예에서, 호스트 차량의 최대 요 레이트 능력 및 호스트 차량의 회전 반경 능력의 최대 변화의 적어도 하나는 도로면의 조건(예, 도로의 경사, 도로의 재질, 도로 상에 물질의 존재 등), 기후 조건(예, 눈, 습도 등), 차량 조건(예, 타이어 압력, 브레이크 패드 상태, 차량의 현재 하중 등) 등에 의거하여 판단된다. 일부 실시예에서, 이러한 요인들의 하나 이상은 하나 이상의 센서의 출력에 의거하여 판단될 수 있다. 다른 예를 들면, 처리 장치는 호스트 차량에 탑승자가 1명인지 여러 명인지, 상당한 무게의 짐이 들어있는지, 트레일러가 달려 있는지 등에 의거하여 최대 요 레이트 능력 및/또는 회전 반경의 최대 변화를 판단할 수 있다.
일부 실시예에서, 최대 요 레이트 능력 및/또는 회전 반경 능력의 최대 변화는 하나 이상의 미리 정의된 요인에 의거하여 판단될 수 있다. 예를 들면, 일정 차량 또는 일정 등급의 차량의 최대 요 레이트 능력 및/또는 회전 반경 능력의 최대 변화를 규정하는 하나 이상의 규제를 정부 또는 기업체가 제공할 수 있고, 적어도 하나의 프로세서는 호스트 차량이 이러한 규제에 의해 허용되는 제동률 및/또는 최대 가속 능력을 가지고 있다고 추정할 수 있다.
프로세스(5300)는 호스트 차량의 횡방향 제동 거리를 판단하는 단계(5312)를 포함할 수 있다. 본 개시에 따라, 처리 장치는 호스트 차량의 최대 요 레이트 능력, 호스트 차량의 회전 반경 능력의 최대 변화, 및 호스트 차량의 현재 횡방향 속도에 의거하여 호스트 차량의 횡방향 제동 거리를 판단하도록 구성될 수 있다. 호스트 차량의 횡방향 제동 거리는 본 개시에 따른 모든 임의의 수단에 의해 판단될 수 있다.
일부 실시예에서, 호스트 차량의 횡방향 제동 거리는 호스트 차량이 횡방향 속도를 0으로 하는데 필요한 거리에 해당할 수 있다. 횡방향 제동 거리는, 호스트 차량의 현재 횡방향 속도에서 시작하여 호스트 차량과 연관된 반응 시간 동안에 호스트 차량의 최대 요 레이트 능력과 호스트 차량의 회전 반경 능력의 최대 변화로 타깃 차량을 향해 회전 동작을 수행한 결과인 호스트 차량의 횡방향 가속 후에, 호스트 차량의 최대 요 레이트 능력과 호스트 차량의 회전 반경 능력의 최대 변화로 0의 횡방향 속도에 도달하는데 필요한 거리일 수 있다. 예를 들어, 호스트 차량의 횡방향 제동 거리는 호스트 차량이 최대 비율로 타깃 차량을 향해 회전한다는 가정 하에 미리 정해진 기간 동안에 호스트 차량이 이동할 수 있는 거리에 상응하는 횡방향 가속 거리를 포함할 수 있다. 예를 들어, 제약은 처리 장치가 호스트 차량이 특정 기간(예, 1000분의 0.5초, 1000분의 1초, 1000분의 2초, 1000분의 3초, 1000분의 10초 등) 동안 가속할 것이라고 추정하도록 규정할 수 있다. 미리 정해진 기간은 호스트 차량과 연관된 반응 시간일 수 있다. 예를 들면, 미리 정해진 기간은 호스트 차량의 센서(예, 이미징 장치)가 호스트 차량의 횡방향 제동 반응을 요구하는 조건(예, 타깃 차량이 호스트 차량의 경로로 진입)을 감지한 시간과 호스트 차량이 호스트 차량의 횡방향 제동률로 제동을 시작하는 시간 사이의 지연 시간일 수 있다. 본 예에서, 최악의 경우에 호스트 차량이 전체 지연 기간 동안에 호스트 차량의 최대 가속 능력으로 횡방향 가속하는 것으로 추정할 수 있다. 일부 실시예에서, 반응 시간과 연관된 기간은 처리 장치에 의해 판단 또는 그 근사값이 구해질 수 있다. 예를 들어, 처리 장치는 이미지 수신과 횡방향 대응 필요 사이의 시간을 모니터링 할 수 있다. 다른 예를 들면, 처리 장치는 복수의 항법 반응과 연관된 평균, 메디안, 또는 모드 반응 시간을 판단하고 평균, 메디안, 또는 모드 반응 시간을 활용하여 횡방향 제동 거리를 산출할 수 있다. 예컨대, 수십, 수백, 또는 수천 회의 항법 반응 이후에, 처리 장치는 감지된 이벤트와 항법 반응 사이의 평균 시간이 특정 값(예, 1000분의 몇 초)임을 판단하고 이 값을 호스트 차량과 연관된 반응 시간으로 활용할 수 있다.
일부 실시예에서, 타깃 차량의 횡방향 속도는 적어도 하나의 이미지의 분석에 의거하여 판단될 수 있다. 적어도 하나의 이미지는 예를 들어 단계 5302에서 처리 장치에 의해 수신되고 단계 5306에서 타깃 차량을 식별하는데 사용된 이미지와 동일한 이미지일 수 있다. 일부 실시예에서, 복수의 이미지를 분석하여 타깃 차량의 횡방향 속도를 판단할 수 있다. 예를 들면, 제1 이미지는 타깃 차량이 호스트 차량으로부터 제1 거리에 있는 것을 나타낼 수 있고, 제2 이미지는 타깃 차량이 호스트 차량으로부터 제2 거리에 있는 것으로 나타낼 수 있고, 처리 장치는 제1 이미지와 제2 이미지 사이의 거리 및 시간의 변화를 활용하여 타깃 차량과 연관된 횡방향 속도를 판단할 수 있다. 일부 실시예에서, 타깃 차량의 횡방향 속도는 호스트 차량과 연관된 라이더 시스템 또는 레이더 시스템 중의 적어도 하나로부터의 출력의 분석에 의거하여 판단될 수 있다. 예를 들어, 처리 장치는 호스트 차량의 횡방향 속도 및 호스트 차량과 타깃 차량 사이의 거리(예, 라이더 시스템에 의해 감지된 거리)를 활용하여 호스트 차량의 횡방향 속도를 판단할 수 있다.
일부 실시예에서, 최악의 상황을 감안하기 위하여, 처리 장치는 타깃 차량의 현재 횡방향 속도가 타깃 차량의 감지된 횡방향 속도보다 느리거나 빠르다고 가정하도록 프로그램 될 수 있다. 예를 들어, 타깃 차량이 호스트 차량의 옆에서 진행중인 경우에, 처리 장치는 감지된 속도를 미리 정해진 값, 퍼센티지, 공식 등을 활용하여 감소하도록 프로그램 될 수 있다.
본 개시에 따라, 적어도 하나의 처리 장치는 타깃 차량의 적어도 하나의 인지된 특성에 의거하여 타깃 차량의 최대 요 레이트 능력 및/또는 회전 반경 능력의 최대 변화를 추정하도록 프로그램 될 수 있다. 적어도 하나의 특성은 최대 요 레이트 또는 회전 반경 능력과 상호 관련이 있을 수 있는 모든 임의의 특성일 수 있다. 일부 실시예에서, 타깃 차량의 인지된 특성에는 앞서 설명한 바와 같이 차량 유형, 등급, 제조사, 모델, 크기 등이 포함될 수 있다.
처리 장치는 하나 이상의 센서(얘, 라이더, 레이더, 이미징 장치 등)로부터의 정보에서 적어도 하나의 특성을 인지하도록 프로그램 될 수 있다. 일부 실시예에서, 타깃 차량의 인지된 특성은 적어도 하나의 이미지의 분석에 의거하여 판단될 수 있다. 예를 들면, 타깃 차량의 이미지는 타깃 차량의 외관 상에 있는 문자를 포함할 수 있고, 이 문자를 활용하여 차량의 유형, 모델, 크기, 또는 기타 특성을 판단할 수 있다. 다른 예를 들면, 타깃 차량의 이미지는 차량 크기를 추정하는데 활용될 수 있는 다른 물체 또는 다른 물체와의 비교에 의거한 다른 특성을 포함할 수 있다. 예를 들면, 대형 차량은 속도제한 표지판보다 높아 보일 수 있는 반면, 소형 차량은 속도제한 표지판보다 낮아 보일 수 있다. 일부 실시예에서, 타깃 차량의 적어도 하나의 특성은 라이더 출력 및 레이더 출력 중의 적어도 하나에 의거하여 판단될 수 있다. 예를 들어, 라이더 출력은 타깃 차량의 후면 범퍼까지의 거리와 연관된 제1 거리 및 타깃 차량의 전면 범퍼(또는 기타 부위)까지의 거리와 연관된 제2 거리를 포함할 수 있고, 제1 거리와 제2 거리의 차이를 활용하여 타깃 차량의 크기를 추정할 수 있다.
앞서 설명한 바와 같이, 타깃 차량 제동률은 차량의 최대 또는 최대 이하 제동률에 상응할 수 있다. 타깃 차량 제동률 또는 타깃 차량 최대 가속 능력은 앞서 호스트 차량에 대한 단계 5310에서 설명한 수단 등과 같은 본 개시에 따른 모든 임의의 수단에 의해 판단될 수 있다. 예를 들어, 타깃 차량 제동률은 감지된 도로면 조건, 감지된 기후 조건 등에 의거하여 판단될 수 있다. 일부 실시예에서, 차량의 제동률은 호스트 차량 또는 타깃 차량과 연관된 책임 또는 과실 특성에 따라 다를 수 있다. 이에 따라, 호스트 차량 제동률은 타깃 차량 제동률보다 낮거나 그 반대일 수 있다.
프로세스(5300)는 타깃 차량의 현재 횡방향 속도, 타깃 차량의 최대 요 레이트 능력, 및 타깃 차량의 회전 반경 능력의 최대 변화에 의거하여 타깃 차량의 횡방향 제동 거리를 판단하는 단계(5316)를 포함할 수 있다. 타깃 차량의 횡방향 제동 거리는 타깃 차량이 횡방향 속도를 0으로 하는데 필요한 거리에 해당할 수 있다. 횡방향 제동 거리는, 타깃 차량의 현재 횡방향 속도에서 시작하여 타깃 차량과 연관된 반응 시간 동안에 타깃 차량의 최대 요 레이트 능력과 타깃 차량의 회전 반경 능력의 최대 변화로 호스트 차량을 향해 회전 동작을 수행한 결과인 타깃 차량의 횡방향 가속 후에, 타깃 차량의 최대 요 레이트 능력과 타깃 차량의 회전 반경 능력의 최대 변화로 0의 횡방향 속도에 도달하는데 필요한 거리일 수 있다. 예를 들어, 타깃 차량의 횡방향 제동 거리는 타깃 차량이 최대 비율로 호스트 차량을 향해 회전한다는 가정 하에 미리 정해진 기간 동안에 타깃 차량이 진행할 수 있는 거리에 해당하는 횡방향 가속 거리를 포함할 수 있다. 미리 정해진 기간은 처리 장치가 타깃 차량과 연관된 반응 시간인 것으로 가정한 기간일 수 있다. 타깃 차량의 반응 시간은 호스트 차량의 반응 시간과 동이거나 상이할 수 있다. 예를 들면, 처리 장치는 인간 운전자에 의거하여 반응 시간을 가정할 수 있고, 이는 자율주행차와 연관된 반응 시간과 상당히 다를 수 있다.
프로세스(5300)는 예정 항법 동작이 안전한 경우에 예정 항법 동작을 이행하는 단계(5318)를 포함할 수 있다. 단계 5318의 목적상, 예정 항법 동작이 안전한 것으로 간주될 수 있는 일례는 판단된 다음 상태 횡방향 거리가 호스트 차량의 횡방향 제동 거리와 타깃 차량의 횡방향 제동 거리의 합보다 큰 경우이다. 이 상황에서, 항법 동작이 수행되는 경우에 두 차량 모두에 대한 횡방향 제동 거리(반응 기간 동안에 최대 횡방향 가속을 한다는 가정 하에 이동할 수 있는 거리를 포함)는 두 차량이 충돌하기 전에 서로로부터 멀어지게 조향할 수 있게 할 것이기 때문에 호스트 차량과 타깃 차량 사이에 충돌이 발생하지 않게 된다.
일부 실시예에서, 처리 장치는 판단된 다음 상태 횡방향 거리가 호스트 차량의 횡방향 제동 거리와 타깃 차량의 횡방향 제동 거리의 합보다 적어도 미리 정해진 최소 거리만큼 큰 경우에 예정 항법 동작을 이행하도록 구성될 수 있다. 미리 정해진 최소 거리는 호스트 차량과 타깃 차량 사이에 유지되어야 하는 미리 정해진 횡방향 이격 거리에 상응할 수 있다. 예를 들어, 자율 주행 시스템의 제약에 따라, 자율주행차는 다른 차량의 특정 거리 이내로(또는 이하로) 들어가면 절대 안 될 수 있다. 미리 정해진 이격 거리는 모든 임의의 치수의 거리일 수 잇다. 일부 실시예에서, 미리 정해진 이격 거리는 적어도 1m, 2m, 5m 등일 수 있다. 일부 실시예에서, 미리 정해진 거리는 호스트 차량이 진행하는 속도, 호스트 차량의 장소(예, 도심 도로, 시골 도로 등) 등에 따라 다를 수 있다.
다른 실시예에서, 처리 장치는 앞서 도 52b에 관하여 설명한 바와 같이 예정 항법 동작의 결과로 호스트 차량과 타깃 차량 사이의 종방향 거리가 안전하게 될 경우에 다음 상태 횡방향 거리와 무관하게 예정 항법 동작을 이행하도록 프로그램 될 수 있다. 예를 들어, 안전 종방향 거리는 호스트 차량의 종방향 정지 거리와 타깃 차량의 종방향 정지 거리의 합 이상일 수 있다. 호스트 차량의 정지 거리는 호스트 차량의 최대 종방향 제동 능력과 호스트 차량의 현재 종방향 속도에 기반할 수 있고, 호스트 차량의 정지 거리는 호스트 차량이 호스트 차량의 현재 종방향 속도에서 시작하여 호스트 차량과 연관된 반응 시간 동안에 호스트 차량의 최대 가속 능력으로 진행할 수 있는 거리에 상응하는 호스트 차량의 가속 거리를 포함할 수 있다. 타깃 차량의 정지 거리는 타깃 차량의 최대 종방향 제동 능력과 타깃 차량의 현재 종방향 속도에 기반할 수 있고, 타깃 차량의 정지 거리는 타깃 차량이 타깃 차량의 현재 종방향 속도에서 시작하여 타깃 차량과 연관된 반응 시간 동안에 타깃 차량의 최대 가속 능력으로 진행할 수 있는 거리에 상응하는 타깃 차량의 가속 거리를 포함할 수 있다.
횡단 보도의 보행자에 대한 항법
본 개시는 횡단보도 부근에서의 호스트 차량 항법을 위한 시스템(항법 시스템으로도 지칭)에 대하여 설명한다. 항법 시스템은 자율주행 또는 반자율주행 호스트 차량이 진행하는 도로를 따라 있는 신호등을 식별하도록 구성될 수 있다. 항법 시스템은 다양한 차량으로부터 도로를 따라 있는 다양한 신호등의 위치에 관한 정보를 수신하고, 신호등의 위치를 시스템 및 차량이 사용 가능한 스파스 맵(sparse map) 상에 매핑하고, 신호등에 관한 정보뿐만 아니라 보행자 및 횡단보도에 관한 정보를 차량들로부터 수신하도록 구성될 수 있다. 예를 들어, 자율주행차가 횡단보도에 접근하는 경우, 시스템은 관련 신호등의 상태에 관한 정보, 횡단보도에 보행자가 있는지 여부에 관한 정보, 보행자의 위치에 관한 정보, 보행자의 동작에 관한 정보, 보행자의 예상 동작에 관한 정보 등을 수신하도록 구성될 수 있다.
항법 시스템은 효율적인 정보 처리를 위해 다중 컴퓨팅 장치, 프로세서, 데이터 저장 장치, 데이터베이스 등을 포함할 수 있다. 항법 시스템은 비일시적 저장 장치 또는 컴퓨터 가독 매체를 포함할 수 있다. 일부 실시예에서, 저장 장치는 하드 드라이브, CD, 플래시 메모리, 자기 기반 메모리 장치, 광 기반 메모리 장치 등을 포함할 수 있다. 항법 시스템은 항법 시스템과 연관된 하나 이상의 비일시적 저장 장치에 저장될 수 있는 명령을 수행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 항법 시스템은 분산 항법 시스템 및 차량 항법 시스템을 포함할 수 있다. 분산 항법 시스템은 어느 특정 차량에 연결되지 않을 수 있는 다중 요소를 포함할 수 있다. 요소들은 일부의 경우에 5G 네트워크일 수 있는 네트워크를 통해 통신할 수 있다. 분산 항법 시스템은 분산 항법 시스템과 차량 항법 시스템 사이의 정보 전송과 연관된 네트워크 지연 시간을 줄이기 위해 다양한 도로의 부근에 배치된 다중 프로세싱 컴퓨팅 시스템을 포함할 수 있다. 차량 항법 시스템은 차량과 연관된 차량 제어 시스템의 일부일 수 있다. 다양한 실시예에서, 차량 항법 시스템과 분산 항법 시스템은 자율주행차, 반자율주행차, 및/또는 인간 조작 차량의 항법의 모든 임의의 측면과 연관된 정보를 모든 임의의 적합한 무선 통신(예, 와이파이, 4G, 5G, 가시광선 기반 통신, 적외선, 마이크로파, 라디오파 등)을 통해 교환할 수 있다. 차량 항법 시스템과 분산 항법 시스템은 전반적인 항법 시스템을 형성한다.
항법 시스템(예, 차량 항법 시스템 및 분산 항법 시스템)은 호스트 차량의 조향, 제동, 또는 가속을 포함할 수 있는 호스트 차량에 대한 항법 동작을 결정할 수 있다. 항법 시스템은 조향의 비율, 제동의 비율, 또는 가속의 비율과 같은 파라미터를 포함할 수 있다. 항법 동작은 차량의 움직임과 직접 연관이 없을 수 있는 동작을 포함할 수 있다. 예를 들면, 이러한 항법 동작은 전조등의 점등/소등, 안티록 브레이크(antilock brakes)의 작동/해지, 트랜스미션 기어의 전환, 차량 서스펜션의 파라미터 조정, 차량 비상등의 점등/소등, 차량 방향등 또는 브레이크등의 점등/소등, 경적의 울림 등을 포함할 수 있다. 다양한 실시예에서, 항법 동작은 항법 시스템이 사용 가능한 항법 데이터에 기반할 수 있다.
항법 시스템이 사용 가능한 항법 정보는 호스트 차량의 부근에 있는 다양한 차량, 신호등, 교통표지판, 보행자에 관한 모든 임의의 적합한 정보를 포함할 수 있다. 항법 정보의 예에는 호스트 차량 부근의 다양한 자율주행차 및 인간 조작 차량의 위치, 차량의 속도, 차량의 가속도, 차량의 길이, 높이, 폭, 및 무게, 차량의 가속 및 제동 능력, 차량의 예상 궤적, 차량에 의해 실행된 항법 동작, 신호등의 위치, 신호등의 상태, 횡단보도의 위치, 교통표지판(도로면 표지 포함)의 위치, 보행자의 위치, 보행자의 움직임 등이 있을 수 있다.
다양한 실시예에서, 항법 시스템은 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신할 수 있다. 이미지캡처장치는 가시광선을 캡처하는 카메라일 수 있다. 그러나, 일부의 경우, 이미지캡처장치는 적외선 카메라, 자외선 카메라, 마이크로파 검출 장치, 라이더, 레이더 등일 수 있다. 다양한 실시예에서, 이미지캡처장치는 하나 이상의 카메라를 포함할 수 있다. 예를 들면, 이미지캡처장치는 서로 다른 방향을 향하는 다중 카메라를 포함할 수 있다. 이미지캡처장치에 의해 캡처 된 이미지는 호스트 차량의 전방, 호스트 차량의 후방, 호스트 차량의 좌측, 호스트 차량의 우측, 호스트 차량 전방의 도로 등의 주변상황을 나타낼 수 있다. 일부의 경우에서, 이미지캡처장치는 선택된 방위각(azimuth) 및 극성 각도(polar angle)로부터 호스트 차량의 주변상황의 이미지를 캡처하기 위해 이동가능(예, 회전가능)할 수 있다. 다양한 실시예에서, 상이한 차량의 이미지캡처장치로부터 수집된 이미지는 추후 분석을 위해 분산 항법 시스템으로 전송될 수 있다. 수집된 이미지는 상이한 차량 항법 시스템으로 전송될 수도 있다.
항법 시스템은 이미지캡처장치에 의해 캡처 된 적어도 하나의 이미지의 분석에 의거하여 적어도 하나의 이미지에서 횡단보도의 묘사를 검출할 수 있다. 예시적인 일 실시예에서, 횡단보도는 모든 임의의 적절한 인지 기술(예, 신경망에 기반한 머신 이미지 인지 기술)을 활용하여 이미지에서 인지될 수 있다. 예컨대, 도로의 특징적인 표시(예, 도로를 가로질러 도로면에 칠해진 하얀색의 사각형 영역)에 의해 인지될 수 있다. 일부 경우에서, 횡단보도는 호스트 차량의 위치에 대한 추가적인 정보에 의거하여 이미지 내에서 식별될 수 있다. 예를 들면, 항법 시스템은 호스트 차량의 위치를 판단하고 호스트 차량의 위치 부근의 횡단보도를 식별할 수 있다. 예컨대, 항법 시스템은 횡단보도의 위치에 관한 정보를 보관하고 있을 수 있다. 예시적인 일 실시예에서, 항법 시스템은 호스트 차량의 위치와 횡단보도의 위치를 판단하고, 횡단보도의 이미지를 정확하게 캡처하도록 이미지캡처장치의 방위를 맞출 수 있다. 일부 경우에서, 호스트 차량의 위치 및 횡단보도 부근에 있는 다양한 다른 차량들의 위치에 의거하여, 항법 시스템은 다른 차량들의 이미지캡처장치를 활용하여 상이한 각도로부터의 횡단보도의 이미지를 캡처하도록 구성될 수 있다. 캡처 된 이미지는 추후에 횡단보도의 주변의 차량들로 배포될 수 있다.
일부 실시예에서, 이미지캡처장치는 횡단보도에 설치될 수 있다. 예를 들어, 이미지캡처장치는 신호등, 교통표지판 등의 일부일 수 있다. 이러한 이미지캡처장치는 또한 횡단보도의 이미지를 캡처하고 이미지를 횡단보도 부근에 위치한 호스트 차량 항법 시스템으로 전송하기 위해 항법 시스템에 의해 활용될 수 있다.
다양한 실시예에서, 항법 시스템은 횡단보도의 하나 이상의 이미지를 분석하고 이러한 이미지의 분석에 의거하여 횡단보도에(또는 부근에) 보행자가 존재하는지 여부를 판단할 수 있다. 보행자는 모든 임의의 적합한 이미지 인지 기술(예, 머신러닝 기술)을 활용하여 식별될 수 있다. 예시적인 일 실시예에서, 보행자는 상이한 시간에 찍힌 횡단보도의 이미지를 비교함으로써 횡단보도에 설치된 이미지캡처장치에 의해 식별될 수 있다. 예를 들어, 제1 시간의 이미지에 보행자의 묘사가 포함되지 않았지만, 제2 시간의 이미지에 보행자의 묘사가 포함된다면, 항법 시스템은 보행자가 횡단보도 가까이에 있다고 판단할 수 있다. 또한, 횡단보도의 다중 이미지는 횡단보도에서의 보행자 식별을 향상시킬 수 있다. 예를 들어, 보행자가 횡단보도에 접근하는 다중 이미지는 횡단보도에서의 보행자 식별이 도움이 될 수 있다. 다양한 실시예에서, 항법 시스템은 하나 이상의 이미지캡처장치에 의해 캡처 된 적어도 하나의 이미지에 보행자의 묘사가 등장하는지 여부를 판단할 수 있다.
횡단보도의 이미지를 분석하여 보행자를 식별하는 외에도, 항법 시스템은 적어도 하나의 이미지의 분석에 의거하여 호스트 차량의 주변상황에서 신호등의 존재를 검출할 수 있다. 신호등은 호스트 차량의 주변상황(예, 횡단보도 근처, 호스트 차량의 좌측 또는 우측 등)에서 식별될 수 있다. 항법 시스템은 반드시 호스트 차량의 주변상황의 이미지의 분석에 의거한 것이 아닐 수도 있는 모든 임의의 적합한 방식을 활용하여 호스트 차량의 주변상황에서 신호등의 존재를 검출할 수 있다. 예를 들면, 호스트 차량의 주변상황에서 신호등의 존재의 검출은 검출된 신호등에 의해 전송된 하나 이상의 신호에 의거할 수 있다. 그러나, 일부의 경우, 검출된 신호등의 상태는 캡처 된 이미지의 분석에 의거하여 판단될 수 있다. 예를 들어, 켜진 신호등과 연관된 색을 검출하여 신호등이 정지 상태(예, 빨간 신호등의 검출)인지, 통과 상태(예, 녹색 신호등의 검출)인지 등을 판단할 수 있다. 신호등 하우징의 등 위치도 활용하여 신호등의 상태를 판단 또는 지시할 수 있다. 이는 일부 행정구역에서는, 진행 상태는 수직으로 배치된 신호등의 가장 낮은 위치에 있는 등의 점등과 연관되고, 정지 상태는 수직으로 배치된 신호등의 가장 높은 위치에 있는 등의 점등과 연관될 수 있기 때문이다.
예시적인 일 실시예에서, 신호등은 신호등 상태의 판단(또는 특정 호스트 차량 또는 호스트 차량의 진행 차로에 대한 신호등의 관련성)을 가능하게 하기 위하여 무선 통신을 활용하여 자율주행차와 통신할 수 있다. 무선 통신은 무선주파수, 적외선주파수, 또는 자외선주파수의 전자기장을 사용하여 무선 인터페이스를 통하여 송신을 하나 이상의 네트워크(예, 이동통신, 인터넷 등)와 교환하도록 구성된 하나 이상의 장치를 포함할 수 있다. 추가적으로, 또는 대안적으로, 무선 통신은 자기장, 전기장, 또는 음향을 사용할 수 있다. 이러한 송신은 신호등 부근에서의 신호등과 자율주행차 사이의 통신 및/또는, 일부 경우에서, 신호등과 분산 항법 시스템 사이의 통신 및 분산 항법 시스템과 자율주행차의 차량 항법 시스템 사이의 통신을 포함할 수 있다. 또한, 음향 통신(예, 초음파, 레이저 기반 통신 등)과 같은 다양한 다른 형태의 통신이 신호등과 차량 사이에 당연히 활용될 수 있다. 일부 경우에서, 통신은 시간 의존적 가시 통신(예, LED 광원에 의해 생성된 시간 의존적 신호)을 포함할 수 있다.
다양한 실시예에서, 신호등은 자율주행차로 신호를 생성하는 신호등 통신 시스템을 포함할 수 있다. 예를 들어, 신호등 통신 시스템은 '정지' 신호, '통과' 신호, '감속' 신호, '가속' 신호 등을 생성하는 신호 생성 모듈을 포함할 수 있다. 예를 들면, '정지' 신호는 자율주행차가 곧바로 정지해야 한다는 것을 지시하는 것일 수 있다. 이러한 신호는 예를 들어 빨간색 신호등에 해당할 수 있다. '통과' 신호는 차량이 출발하거나 계속 진행해야 한다는 것을 지시하는 것일 수 있다. 이러한 신호는 예를 들어 녹색 신호등에 해당할 수 있다. '감속' 신호는 자율주행차가 감속해야 한다는 것을 지시하는 것일 수 있다. 일부 실시예에서, '감속' 신호는 차량에 대해 요구되는 속도 또는 차량의 감속도를 포함하는 신호에 관한 정보에 포함된 추가적인 파라미터를 포함할 수 있다. 예시적인 일 실시예서, '감속' 신호는 노란색 신호등에 해당할 수 있다. '가속' 신호는 자율주행차가 속도를 증가해야 한다는 것을 지시하는 것일 수 있다. 예시적인 일 실시예에서, 신호등 통신 시스템은 신호등이 특정 상태를 유지하는 시간의 길이 및/또는 신호등이 특정 상태를 유지할 잔여 시간을 자율주행차로 전송할 수 있다. 예를 들어, 신호등이 녹색 상태인 경우, 30초 내에 노란색 상태로 전환될 것이라고 자율주행차로 전송할 수 있다.
일부 경우에서, 한 대 이상의 자율주행차는 신호등과 상호작용하고 신호등에 대한 상태 타이밍 변경을 요청할 수 있다. 예를 들어, 도로의 횡단보도에 보행자가 없는 경우에, 자율주행차는 신호등에게 무선 통신을 통하여 요청을 전송함으로써 신호등의 상태를 유지할 것을 요청할 수 있다. 항법 시스템은 자율주행차로부터의 다양한 요청을 처리하고 신호등의 상태 타이밍을 조절할 수 있다. 상기의 다양한 신호는 단지 예시이며 다양한 다른 신호들도 도입될 수 있음은 당연하다 할 것이다. 예컨대, 신호등에서 생성된 신호는 차량이 우회전, 좌회전, 또는 유턴 해야 한다고 지시할 수 있다.
다양한 실시예에서, 신호등 통신 시스템은 신호의 생성 외에도 다양한 차량으로부터 항법 정보를 수신하고 수신된 정보에 의거하여 신호를 생성할 수 있다. 예를 들면, 신호등 통신 시스템은 호스트 차량의 속도 및 호스트 차량의 신호등까지의 거리를 수신하고, 호스트 차량의 속도와 신호등까지의 거리에 의거하여 호스트 차량의 감속 요청을 생성할 수 있다.
다양한 실시예에서, 신호등 무선 통신은 신호등과의 통신을 인증하고 신호등과 자율주행차 사이의 보안통신을 제공하는 다양한 방법을 포함할 수 있다. 추가적으로, 또는 대안적으로, 보안통신은 자율주행차와 분산 항법 시스템 사이에 구축될 수 있다. 예시적인 일 실시예에서, 비밀키(private key) 및 공개키(public key)의 사용을 통하여 구축될 수 있다. 예를 들어, 자율주행차와 분산 항법 시스템은 보안 정보의 암호화를 위해 공개키를 교환하고 정보의 해독을 위해 비밀키를 교환할 수 있다. 마찬가지로, 자율주행차는 신호등 통신 시스템과 공개키를 교환할 수 있다. 일부 실시예에서, 신호등 통신 시스템은 분산 항법 시스템을 통해 인증을 할 수 있다. 예를 들면, 신호등 통신 시스템은 ID 및 패스워드 정보를 분산 항법 시스템의 서버로 제공하고, 서버는 신호등 통신 시스템에 보안 토큰을 발급할 수 있다. 일부 실시예에서, 서버는 신호등 통신 시스템의 공개키를 활용하여 보안 토큰을 암호화하고 암호화된 토큰을 신호등 통신 시스템으로 전송할 수 있다. 또한, 서버는 자율주행차와 연관된 공개키를 활용하여 보안 토큰을 암호화하고 암호화된 토큰을 자율주행차로 전송하도록 구성될 수 있다. 다양한 실시예에서, 신호등 통신 시스템은 자율주행차에 인증을 제공하기 위해 자율주행차로 전송되는 통신 데이터 패킷에 대한 보안 토큰을 포함할 수 있다. 추가적으로, 또는 대안적으로, 신호등 통신 시스템은 서버로 전송되는 통신 데이터 패킷에 대한 보안 토큰을 포함할 수 있다. 이와 유사한 방식으로, 자율주행차는 신호등 통신 시스템으로 전송되는 통신 데이터 패킷에 대한 보안 토큰을 포함할 수 있다. 추가적으로, 또는 대안적으로, 자율주행차는 서버로 전송되는 통신 데이터 패킷 내에 보안 토큰을 포함할 수 있다. 상기에 설명한 보안 통신 프로세스는 단지 예시이고, 다양한 다른 접근이 사용될 수 있음은 당연하다 할 것이다. 다양한 자율주행차, 신호등, 및 분산 항법 시스템 사이의 인증된 보안 통신(및 다양한 자율주행차 사이의 보안 통신)은 다양한 자율주행차의 항법을 위한 시스템이 제3자(예, 자율주행차의 동작을 변질시키려는 자)에 의해 위협을 받지 못하게 할 수 있다.
다양한 실시예에서, 항법 시스템은 검출된 신호등이 호스트 차량 및 횡단보도와 관련이 있는지 여부를 판단할 수 있다. 신호등의 관련성 판단은 항법 시스템에 의해 수집된 이미지의 분석에 기반할 수 있다. 예를 들어, 캡처 된 이미지로부터, 캡처 된 이미지에 묘사된 도로의 특정 진행 차로 위에 특정 신호등이 식별될 수 있다. 이러한 정보는 호스트 차량의 프로세서가 검출된 신호등이 호스트 차량과 관련이 있는지 또는 있을 수 있는지 여부를 판단할 수 있게 한다.
추가적으로, 또는 대안적으로, 신호등의 관련성은 항법 시스템이 사용 가능한 항법 정보(예, 신호등의 위치, 횡단보도의 위치, 호스트 차량의 위치, 호스트 차량으로부터 주변 신호등까지의 벡터 등)를 활용하여 판단될 수 있다. 예시적인 일 실시예에서, 횡단보도와 호스트 차량에 대한 신호등의 관련성은 항법 시스템이 접근 가능한 지도 중의 하나에 포함된 신호등 관련성 정보에 의거하여 판단될 수 있다. 예를 들어, 크라우드소싱을 통하여, 검출된 신호등과 연관된 식별자와 해당 위치가 하나 이상의 지도(예, REM 지도)에 저장될 수 있다. 이 정보 외에도, 도로의 특정 차로에 대한 신호등 관련성도 지도에 저장될 수 있다. 이 정보는 예를 들어 검출된 신호등 X와 Y가 녹색 상태인 것으로 판단되었을 때에 차량들이 차로 1, 2, 및 3을 사용하여 교차로를 통과한 경우인 이전 주행으로부터 수집된 크라우드소싱 된 정보에 기반할 수 있다. 물론, 차량 동작을 추적하고 신호등 상태에 상호 연관하여 도로의 특정 차로에 대한 신호등 관련성을 나타낼 수 있는 방법의 다른 예가 많다.
신호등의 관련성(특히 신호등의 부근에 검출된 횡단보도에 대한 관련성)은 신호등의 검출된 상태 및 횡단보도 부근의 다양한 다른 차량들의 동작에 의거한 방법과 유사한 방식으로 판단될 수 있다. 예를 들어, 신호등의 상태가 적색 상태에 해당하고 차량이 신호등의 앞에서 그리고 횡단보도에 진입하기 전에 정지하는 경우, 항법 시스템은 신호등이 횡단보도 및 호스트 차량이 횡단하는 차로와 관련이 있다고 판단할 수 있다. 일부 실시예에서, 항법 시스템은 다양한 신호등의 관련성을 판단하기 위하여 신호등에 상응하는 다양한 상태 및 다양한 자율주행차로부터의 항법 정보를 수신하도록 구성될 수 있다. 예를 들면, 제1 차량은 신호등의 제1 상태 및 제1 차량의 움직임과 연관된 제1 항법 정보를 항법 시스템으로 전송할 수 있고, 제2 차량은 신호등의 제2 상태 및 제2 차량의 움직임과 연관된 제2 항법 정보를 항법 시스템으로 전송할 수 있다. 이 정보는 특정 도로에 대한 REM 지도를 구성하는데 사용되는 정보의 모음에 포함될 수 있고, 이러한 REM 지도는 신호등 위치 및 진행 차로, 횡단보도 등에 대한 신호등의 관련성을 저장할 수 있다.
다양한 실시예에서, 신호등은 특정 횡단보도에 관련성이 있는 것으로 판단될 수 있다. 예를 들어, 이미지 분석에 의거하여, 특정 신호등이 차량의 진행 차로에 직각인 방향으로 횡단보도를 향하고 있는 것으로 판단될 수 있다. 일부 경우에서, 검출된 신호등은 특수한 상징(예, 사람이 걷고 있는 상징, 사람이 서있는 상징, 정지 요청을 나타내는 손바닥의 상징 등)을 표시할 수 있다. 이러한 특징을 분석하여 횡단보도에 대한 신호등의 관련성을 식별할 수 있다. 이러한 판단은 호스트 차량이 교차로 항법을 진행하면서 실시간으로 이루어져 검출된 횡단보도에 대한 호스트 차량의 항법에 도움을 줄 수 있거나, 신호등 관련성을 지시하는 지도를 생성하기 위하여 이전의 여러 운행으로부터의 운행 정보가 수집, 분석, 및 활용되는 캡처 이후의 프로세스에서 분석될 수 있다. 이러한 지도는 특정 호스트 차량에 의해 사용되어 이미지에서 검출된 신호등이 현재 진행 차로에 관련성이 있는지 여부 및/또는 검출된 신호등이 캡처 된 이미지 내에 검출된 횡단보도를 지나가는 보행자와 관련성이 있는 보행자 횡단보도 신호인지 여부를 판단할 수 있다. 상기에 설명한 신호등에 대한 다양한 관련성 기준은 단지 예시이고, 항법 시스템을 활용하는 다른 신호등 관련성 기준이 활용될 수 있음은 당연하다 할 것이다. 예를 들어, 일부의 경우에, 도로의 차로는 숫자 값, 문자숫자 값, 또는 기타 모든 임의의 적합한 식별자로 항법 시스템에 의해 식별될 수 있다. 항법 시스템은 각 차로에 대해 관련성이 있는 신호등을 식별할 수 있다. 이러한 경우, 호스트 차량에 대한 신호등의 관련성 판단은 호스트 차량에 대한 차로의 결정에 이르게 된다. 다양한 실시예에서, 항법 시스템은 호스트 차량의 위치, 도로의 좌측 및 우측 경계석까지의 거리 등을 활용하여 호스트 차량이 횡단하는 차로에 대한 차로 식별자를 판단할 수 있다. 추가적으로, 또는 대안적으로, 차로에는 호스트 차량 항법 시스템에 의해 검출 및 식별될 수 있는 차로를 따라 배치된 식별자에 관한 표시가 있을 수 있다.
특정 횡단보도에 대한 신호등 관련성은 캡처 된 이미지에서 특정 인근 신호등이 적색 상태일 때 특정 횡단보도를 건너가는 보행자가 검출된 이전 운행 정보에 의거하여 판단될 수도 있다. 이러한 정보는 신호등이 적색 상태일 때에 보행자가 횡단보도에 진입할 수 있다는 판단을 가능하게 할 수 있다. 이러한 정보는 또한 동일한 신호등이 녹색 상태일 때에(즉, 차량들이 신호등을 통과할 수 있음) 보행자가 횡단보도에 진입하면 안 된다는 것을 제시할 수 있다. 이러한 정보는 또한 REM 지도에 저장될 수 있고 매핑 된 횡단보도 및 신호등에 대한 항법을 위해 차량들에 의해 활용될 수 있다.
앞서 설명한 바와 같이, 횡단보도 부근의 신호등은 무선 통신을 활용하여 다양한 차량들과 통신하도록 구성될 수 있다. 예를 들어, 신호등은 신호등과 관련성이 있는 차로의 차로 식별자를 호스트 차량 항법 시스템으로 전송할 수 있다. 호스트 차량 항법 시스템은 항법 정보 및/또는 신호등의 묘사를 포함하는 횡단보도의 이미지의 분석을 통해 신호등으로부터 수신된 차로 식별자를 호스트 차량에 의해 확보된 차로 식별자와 비교할 수 있다. 횡단보도의 이미지의 분석 또는 항법 정보의 분석 등에서 신호등으로부터 수신된 차로 식별자가 호스트 차량에 의해 확보된 차로 식별자와 일치하는 경우, 신호등은 호스트 차량 및 횡단보도와 관련성이 있는 것으로 판단될 수 있다.
다양한 실시예에서, 한 명 이상의 보행자가 횡단보도 부근의 적어도 하나의 이미지에 등장하는 경우, 항법 시스템은 검출된 보행자 횡단보도에 대한 보행자의 근접성을 판단할 수 있다. 예를 들어, 보행자의 근접성은 횡단보도 또는 횡단보도 부근의 이미지를 분석하여 판단될 수 있다. 일부의 경우, 횡단보도에 접근하는 보행자와 도로의 경계석(횡단보도가 시작되는 지점) 사이의 거리의 추정은 다중 이미지의 분석 및 다중 이미지로부터 확보된 상이한 거리 추정을 평균하여 확보된 평균 거리의 판단을 통해 향상될 수 있다. 다른 실시예에서, 횡단보도는 보행자의 존재 및 검출된 보행자 횡단보도에 대한 보행자의 근접성을 검출하는 다양한 센서를 포함할 수 있다. 이러한 센서는 위치 센서, 레이더, 라이더 등을 포함할 수 있다. 센서에 의해 확보된 데이터는 추가적인 분석 및 처리를 위해 항법 시스템으로 전송될 수 있다.
항법 시스템은 검출된 보행자 횡단보도에 대해 호스트 차량이 항법을 수행하도록 유발하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하도록 구성될 수 있다. 주행 방침은 자율주행차를 횡단보도의 부근(및 다른 장소)에서 주행하기 위한 규칙/제약의 집합 등일 수 있다. 예컨대, 주행 방침은 횡단보도와 연관된 교차로를 통과하여 항법하기 위한 지침(예, 교차로 항법시의 진행 속도, 보행자 및 다른 차량과의 이격 거리, 정지해야 할 경우의 횡단보도에 대한 정지 위치 등)을 포함할 수 있다. 주행 방침은 또한 검출되고 관련성이 있는 신호등에 따라 검출된 횡단보도에 대한 항법을 위한 규칙 또는 지침을 포함할 수 있다. 예를 들어, 앞서 설명한 바와 같이, 횡단보도와 신호등은 캡처 된 이미지(종종 단일 이미지)의 분석에 의거하여 검출될 수 있다. 검출된 횡단보도에 대한 검출된 신호등의 관련성은 신호등 위치(예, 매핑 된 신호등이 이미지에서 검출된 신호등에 해당하는지 확인하기 위함) 및 차로/횡단보도에 대한 신호등의 관련성을 저장하는 REM 지도에 접근하는 등을 통해 판단될 수 있다. 대안적으로, 또는 추가적으로, 신호등 관련성 정보는 검출된 신호등으로부터 전송된 관련성 정보에 의거하여(또는 모든 임의의 기타 적합한 방법으로) 판단될 수 있다.
신호등이 특정 횡단보도에 관련성이 있다는 판단에 따라, 주행 방침은 신호등의 검출된 상태와 횡단보도의 검출된 상태에 의거하여 호스트 차량에 대한 적절한 항법 동작을 결정할 수 있다. 예를 들어, 이러한 항법 동작에는 적색 신호등에서 횡단보도 전의 미리 정해진 거리에서 정지, 신호등이 녹색이고 횡단보도 부근에 검출된 보행자가 없을 때에 횡단보도를 통과하여 진행하는 경우에 제1 속도로 감속(또는 호스트 차량의 속도를 제1 속도로 유지), 및 신호등이 녹색이고 횡단보도 부근에 적어도 한 명의 보행자가 검출되는 경우에 제2 속도(예, 제1 속도 미만)로 감속하는 동작 등이 포함될 수 있다. 여기서, 주행 방침은 횡단보도의 유형, 도로의 폭, 도로 상의 차로의 수, 호스트 차량의 앞, 뒤, 좌측, 또는 우측에 있는 차량의 수, 다른 차량들이 횡단보도의 부근에서 움직이고 있는지 또는 정지해 있는지 여부, 차량의 추정 궤적, 다른 차량들의 속도, 차량의 유형(예, 횡단보도 부근의 차량들이 대형, 소형, 저속, 또는 고속 차량인지 여부), 교차로의 존재, 교차로의 도로 수, 교차로에 있는 횡단보도의 수 등 중의 하나 이상에 달려있을 수 있다. 추가적으로, 주행 방침은 횡단보도에 있는 보행자의 수, 횡단보도에 있는 보행자의 위치, 다양한 보행자의 추정 동작, 보행자의 추정 궤적 등 중의 하나 이상에 달려있을 수 있다.
횡단보도 부근의 항법 동작의 결정은 주행 방침에 무관하게 다양한 요인에 의거할 수 있다. 일부 실시예에서, 항법 동작은 소프트웨어 코드로 구현된 명령의 집합을 포함할 수 있는 규칙 기반 컴퓨터 모델을 활용하여 결정될 수 있다. 추가적으로, 또는 대안적으로, 항법 동작은 신경망, 생성적 적대 신경망(generative-adversarial neural networks 또는 GAN), 정보 극대화 GAN(information maximizing GAN 또는 InfoGaN) 등과 같은 머신 러닝 모델을 활용하여 결정될 수 있다. 머신 러닝 모델은 다양한 센서(예, 예시적인 차량의 주변상황의 이미지를 수집하는 이미지 센서, 차량의 주변상황과 관련된 음향 데이터를 수집하는 센서 등)로부터 수집된 학습 데이터를 활용하여 학습될 수 있다. 추가적으로, 학습 데이터는 인간 운전자 또는 예시 차량의 주변상황의 이미지에 상응하는 학습된 머신 러닝 모델에 의해 실행된 항법 동작을 포함할 수 있다. 예시적인 일 실시예에서, 예시 차량에 대한 항법 동작은 가속 센서, 차량의 조향 핸들의 위치에 관한 정보를 수집하는 센서, 제동에 관한 정보를 수집하는 센서, 차량의 변속 기어에 관한 정보를 수집하는 센서 등과 같은 예시 차량의 다양한 센서의 데이터를 분석하여 추론될 수 있다. 이후, 머신 러닝 모델은 예시 차량의 주변상황의 이미지 및/또는 음향의 입력에 의거하여 인간 운전자에 의해 실행되는 항법 동작을 모방하도록 학습될 수 있다. 예시적인 일 실시예에서, 센서에 의해 수집된 시각 및 청각 데이터는 신경망과 같은 머신 러닝 모델에 입력될 수 있고, 신경망은 차량에 대한 가속 데이터 및 차량의 휠 방위를 출력할 수 있고, 이는 차량에 대한 하나 이상의 주행 명령을 생성하는데 활용될 수 있다.
다양한 실시예에서, 예정 항법 동작의 결정은 검출된 신호등의 판단된 상태 및 검출된 보행자 횡단보도에 대한 보행자의 판단된 근접성에 의거할 수 있다. 예시적인 일 실시예에서, 검출된 신호등이 녹색이고 검출된 횡단보도의 부근에서 보행자가 검출되지 않은 경우, 항법 시스템은 속도를 줄여서 횡단보도를 통과하는 진행을 포함하는 항법 동작을 결정할 수 있고, 여기서 차량 속도는 차량의 주변상황과 연관된 조건(예, 차량 주변의 기후 조건, 하루 중의 시간, 차량 주변의 가시성, 횡단보도가 번잡한 교차로에 위치하는지 여부, 횡단보도 주변에 차량의 존재 여부 등)에 따라 다를 수 있다. 다시 말해, 신호등 상태가 녹색이고 횡단보도 근처에 보행자가 검출되지 않은 경우, 호스트 차량이 횡단보도를 통과하기 전과 통과하는 동안에 횡단보도에 진입하는 보행자를 마주칠 가능성이 낮다고 추론할 수 있다. 검출된 신호등이 녹색이고 횡단보도를 건너는 보행자가 검출되는 경우에, 차량은 차량을 감속 및 정지하는 것을 포함하는 항법 동작을 결정할 수 있다. 즉, 신호등이 녹색이어서 호스트 차량이 선행권이 있다고 하더라도, 호스트 차량은 횡단보도에서 검출되거나 횡단보도를 진입하는 보행자와 충돌할 위험이 없도록 하는 방식으로 항법을 수행하여야 한다. 다른 경우에서, 녹색 신호가 검출되지만 횡단보도 부근(호스트 차량이 횡단보도에 도달 및/또는 횡단보도를 횡단하는데 걸리는 시간에 보행자가 횡단보도를 향해 진행할 수 있는 잠재적 거리와 연관될 수 있는 미리 정해진 특정 거리 이내)에서 보행자도 검출되는 경우, 항법 시스템은 보행자가 횡단보도에 진입하는 것으로 검출되는 경우에 차량을 갑자기 정지시킬 수 있도록 선택될 수 있는 안전한 속도로 차량을 감속하기로 결정할 수 있다. 일부 경우에서, 항법 동작은 차량을 도로의 다른 차로로 이동하여 횡단보도에 접근하거나 횡단보도에 근접하여 서있는 것으로 검출된 보행자와 차량 사이에 공간을 생성하는 것을 포함할 수 있다. 예시적인 일 실시예에서, 검출된 신호등이 적색인 경우, 항법 시스템은 횡단보도에 도달하기 전에 차량을 감속 및 정지하는 것을 포함하는 항법 동작을 결정할 수 있다. 따라서, 검출된 횡단보도에 대한 호스트 차량 항법을 유발하는 항법 동작의 결정에 있어서, 호스트 차량의 프로세서는 검출된 신호등의 상태(및 검출된 신호등이 호스트 차량의 진행 차로 및/또는 검출된 횡단보도와 관련이 있는 것으로 판단되는지 여부) 및 검출된 횡단보도의 부근에 보행자가 검출되는지 여부 모두에 의존할 수 있다.
다양한 실시예에서, 항법 동작을 결정한 후에, 항법 시스템은 차량 제어 시스템과 상호작용하여 호스트 차량의 하나 이상의 액추에이터 시스템이 예정 항법 동작을 이행하도록 유발할 수 있다. 예시적인 일 실시예에서, 호스트 차량의 액추에이터는 차량 조향 액추에이터(예, 호스트 차량의 조향을 담당하는 시스템), 차량 가속 및 제동 액추에이터(예, 호스트 차량의 제동 또는 가속을 담당하는 시스템), 음향 액추에이터(예, 소리의 생성을 담당하는 시스템), 등화 액추에이터(예, 등의 깜빡임을 담당하는 시스템) 등을 포함할 수 있다.
여러 횡단보도를 포함하는 도로의 일례가 도 54에 도시되어 있다. 도 54는 횡단보도(5451, 5452, 5453)을 포함하는 교차로(5401)를 도시하고 있다. 교차로(5401)는 차량(5441)이 진행중인 차로(5403)와 차량(5442)이 진행중인 차로(5404)와 같은 다차로를 포함한다. 차량(5441)은 좌측 차도 가장자리(차도 가장자리(5407))와 우측 차도 가장자리(차도 가장자리(5402))를 포함할 수 있는 도로(5413)를 따라 진행한다. 도 54에 도시된 바와 같이, 교차로(5401)에는 신호등(5430, 5432, 5433)과 같은 다수의 신호등이 있을 수 있다. 예시적인 일 실시예에서, 신호등(5430)는 교차로(5401)의 이미지를 캡처하는 이미지캡처장치(5460)를 포함할 수 있다. 일부 실시예에서, 이미지캡처장치(5460)에는 교차로의 다양한 요소를 캡처하는 다중 카메라가 있을 수 있다. 예를 들어, 이미지캡처장치(5460)의 제1 카메라는 횡단보도(5451)와 횡단보도(5451) 부근의 도로의 영역을 캡처할 수 있고, 이미지캡처장치(5460)의 제2 카메라는 횡단보도(5452)와 횡단보도(5452) 부근의 도로의 영역을 캡처할 수 있고, 제3 카메라는 횡단보도(5453)와 횡단보도(5453) 부근의 도로의 영역을 캡처할 수 있다. 추가적으로, 이미지캡처장치(5460)는 보행자(5420, 5422, 5421, 5423, 5424)와 같은 보행자에 줌 초점을 맞추고, 교차로(5401)를 횡단하는 자전거를 탄 사람(예, 도 54의 5425) 및 교차로(5401)에 접근하는 차량(예, 도 54의 5441과 5442)의 이미지를 캡처할 수 있는 카메라를 포함할 수 있다. 일부 실시예에서, 이미지캡처장치(5460)보행자의 얼굴 표정에 줌 초점을 맞추고/맞추거나 보행자들의 다중 이미지를 캡처하여 보행자의 움직임을 판단하기 위한 정보를 항법 시스템에 제공할 수 있다. 다양한 실시예에서, 앞서 설명한 바와 같이, 차량(5441)에는 이미지캡처장치(5461)이 있을 수 있고, 차량(5442)에는 교차로(5401)의 다양한 이미지를 각각 캡처하는 이미지캡처장치(5462)가 있을 수 있다. 이미지캡처장치(5461, 5462)는 다수의 이동 가능 카메라를 포함할 수 있고, 이미지캡처장치(5460)와 유사하게, 교차로의 상이한 부분의 이미지를 캡처할 수 있다.
도 54는 다양한 보행자가 능력, 속도, 예상 궤적 등이 서로 상이한 것을 도시하고 있다. 예를 들어, 보행자(5422)는 횡단보도(5451)에 진입하고 신호등(5432)이 적색(즉, 보행자의 횡단보도(5451) 횡단을 금지하는 신호)이 되기 전에 횡단보도(5451)를 횡단할 것으로 판단될 수 있다. 반면, 보행자(5420)는 정지해 있는 것으로 보이고 횡단보도(5451)에 진입할 가능성이 없을 수 있다. 보행자(5424)는 스케이트보드를 탄 젊은 사람일 수 있고, 움직임을 예측할 수 없을 수 있다. 보행자(5421)는 횡단보도(5453)를 천천히 예측 가능하게 횡단하는 노인일 수 있다. 유사하게, 보행자(5423)는 움직임이 제한되고(예, 횡단보도(5453)를 횡단할 때에 갑자기 방향을 바꿀 가능성이 적은) 휠체어를 탄 사람이다. 이러한 검출된 특성 중의 일부 또는 모두를 참조하여, 호스트 차량이 횡단보도를 접근 또는 횡단할 때에 허용되는 속도 등과 같은 호스트 차량의 항법 동작을 결정할 수 있다.
다양한 실시예에서, 항법 시스템은 횡단보도에서 식별된 보행자의 나이, 성별, 예상 움직임, 동작의 예측성을 평가하는 머신 러닝 모델을 포함할 수 있다. 예를 들어, 항법 시스템은 하나 이상의 이미지캡처장치(예, 5460, 5461, 5462)에 의해 확보된 이미지를 입력으로 취하고 보행자의 나이, 보행자의 모션 벡터, 보행자의 위치, 보행자의 예상 궤적, 불확실 궤적 포락선(예, 보행자(5424)의 궤적 포락선(5471) 또는 보행자(5422)의 궤적 포락선(5472)) 등을 제공할 수 있는 머신 러닝 모델을 포함할 수 있다. 궤적 포락선은 보행자의 가능 궤적을 나타낼 수 있다. 도 54에서 알 수 있듯이, 궤적 포락선(5471)은 보행자(5424)에 대해서는 넓을 수 있고 횡단보도(5452)와 횡단보도(5453)를 커버하지만, 궤적 포락선(5472)는 보행자(5422)에 대해 좁을 수 있고 횡단보도(5451)를 커버한다. 이러한 식별된 특성도 검출된 횡단보도에 대한 호스트 차량의 항법 동작(예, 횡단보도에 대한 항법에서 횡단보도 이전에 호스트 차량을 정지할 지 여부, 호스트 차량을 감속할지 여부, 호스트 차량의 적절한 속도 등)을 결정하는데 사용될 수 있다.
예시적인 일 실시예에서, 머신 러닝 모델은 상이한 연령, 상이한 체구, 상이한 성별, 상이한 신체 능력 등을 가진 다양한 보행자의 움직임을 관찰함으로써 학습되어 특정 보행자의 가장 가능성 있는 궤적을 구축할 수 있다. 가장 가능성이 있는 모션의 판단 외에도, 머신 러닝 방법은 또한 가능한 모션의 범위, 가장 가능성이 있는 모션의 가능성, 가장 가능성이 있는 모션으로부터의 편차 가능성 등을 산출할 수 있다. 예시적인 일 실시예에서, 항법 시스템이 보행자의 일정치 않은 움직임을 관찰하는 경우, 항법 시스템은 보행자의 추가적인 움직임은 일정치 않을 수 있다고 판단할 수 있다. 또는, 항법 시스템은 일부 보행자는 모션이 일관된다고 판단할 수 있다(예, 보행자(5421)).
상기에 설명한 머신 러닝 모델은 단지 예시이고, 보행자 모션을 예측하는 모든 임의의 다른 적합한 방식이 활용될 수 있다. 예를 들어, 규칙 기반 방식이 활용될 수 있고, 또는 머신 러닝 방식과 함께 규칙 기반 방식이 활용될 수 있다.
항법 시스템은 호스트 차량이 횡단보도의 교차로에 도달하기 전에 보행자가 횡단보도에 진입할 가능성을 평가할 수 있다. 예를 들어, 하나 이상의 이미지캡처장치(예, 호스트 차량과 연관된 이미지캡처장치, 횡단보도 부근의 다른 차량들과 연관된 이미지캡처장치, 횡단보도 부근에 설치된 이미지캡처장치 등)에 의해 캡처 된 이미지에 의거하여, 항법 시스템은 보행자가 횡단보도에 접근하는지 또는 횡단보도로부터 벗어나는지 여부를 판단할 수 있다. 일부의 경우, 항법 시스템은 보행자의 가능한 궤적을 판단하고, 통계적으로 안전하고 호스트 차량이 도로(5413)를 따라 진행할 수 있게 해주는 호스트 차량의 항법 동작을 결정할 수 있다. 통계적으로 안전한 항법 동작은 교차로(5401)에 있는 모든 임의의 보행자의 궤적이 예측 불가하다면 99%의 경우에 안전한 것으로 추정되는 동작을 포함할 수 있다. 그러나, 보행자의 궤적이 예측 가능하면 항법 동작은 훨씬 더 안전한 것으로(예, 99.99999%의 경우에 안전) 판단될 수 있다. 여기서, 보행자의 안전은 보행자가 취하는 행동에 달려있고, 도로는 보행자의 행동과 무관하게 완전한 안전이 보장되지 않을 수 있다. 호스트 차량의 항법 동작의 결정에 있어서, 보행자의 관찰된 또는 예상된 행동/궤적은 신호등의 검출된 상태와 합쳐질 수 있다.
다양한 실시예에서, 호스트 차량의 예정 항법 동작은, 검출된 신호등이 녹색 상태이고, 검출된 횡단보도에 대한 보행자의 판단된 근접성에 의하면 호스트 차량이 횡단보도와 교차하기 이전에 보행자가 횡단보도에 진입하지 않을 것 같다는 것을 나타내는 경우에, 보행자 유발 조정 없이 횡단보도를 횡단하는 동작(즉, 검출된 신호등의 상태에 반하는 보행자의 예기치 않은 행동(예, 신호등과 관련이 있는 차량이 녹색 상태, 즉, 보행자에 대한 신호는 적색임을 의미하는 경우에 보행자가 횡단보도로 걸어 들어오는 행동)이 있어도 보행자와의 충돌을 회피하거나 보행자와의 충돌 위험을 감소시킬 것으로 판단되는 모든 임의의 항법 동작)을 포함할 수 있다. 예시적인 일 실시예에서, 호스트 차량(예, 도 54에 도시된 차량(5441))은 횡단보도(5451)에 접근하면서 신호등(5430)의 상태를 식별할 수 있다. 신호등(5430)의 상태가 녹색이고 횡단보도(5451)에 접근하는 보행자가 없는 경우, 차량(5441)은 보행자 유발 조정을 실행하지 않을 수 있다. 다양한 경우에서, 항법 시스템은 횡단보도(5451)를 횡단할지 여부 및 어떻게 횡단보도(5451)를 횡단할지를(예, 속도, 가속도, 도로(5413)의 차로, 궤적, 경적 또는 전조등 깜빡임 여부 등) 결정할 수 있다. 두 결정 모두(즉, 횡단보도(5451)를 횡단할지 여부 및 횡단보도(5451)를 어떻게 횡단할지)는 신호등의 관찰된 상태, 관찰된 신호등 상태의 길이, 횡단보도(5451)까지의 보행자의 근접성에 달려있을 수 있다. 예를 들어, 보행자가 횡단보도(5451)로부터 멀리 있는 것으로 검출되는 경우, 차량(5441)은 신호등(5430)의 상태에만 따라(예, 녹색 상태는 차량(5441)이 횡단보도(5451)를 횡단하도록 허용 및 적색 상태는 차량(5441)이 횡단보도(5451)에 도달하기 전에 정지하도록 요구) 진행할 수 있다. 예시적인 일 실시예에서, 검출된 보행자가 횡단보도(5451)에 가까이 있어서 보행자가 횡단보도(5451)로 걸어 들어올 수 있음을 나타내고(예, 보행자(5422)가 횡단보도(5451)의 진입을 시도) 신호등(5430)이 녹색 상태인 경우, 차량(5441)을 횡단보도를 통과하여 진행할 수 있지만 보행자(5422)에 대한 적어도 주의 동작을 취하면서 해야 한다. 예를 들어, 차량(5441)은 속도를 줄이거나 보행자(5422)로부터 멀어지거나 등을 하여 보행자(5422)가 보행자 신호를 무시하고 횡단보도로 진입하더라도 보행자(5422)와의 충돌 위험을 최소화할 수 있다. 다양한 실시예에서, 신호등(5430)이 녹색 상태이고 보행자(5422)가 횡단보도의 일부에 진입하는 경우, 차량(5441)은 신호등(5430)의 상태와 관계없이 정지해야 할 수 있다.
항법 시스템은, 검출된 신호등(예, 신호등(5430))이 녹색 상태이고 검출된 횡단보도에 대해 판단된 보행자의 근접성과 보행자와 연관되어 검출된 진행 방향과 속도를 함께 고려하면 호스트 차량이 횡단보도와 교차하기 이전에 보행자가 횡단보도(5430)에 진입할 수 없다고 판단되는 경우에, 보행자 유발 조정 없이 호스트 차량이 보행자 횡단보도(예, 횡단보도(5451))를 횡단하도록 허용하는 예정 항법 동작을 실행하도록 구성될 수 있다. 예를 들면, 보행자의 예상 궤적이 횡단보도를 교차하지 않는 경우, 호스트 차량은 횡단보도를 횡단하도록 진행할 수 있다(예, 보행자가 횡단보도와 가까이 있는 것으로 검출되지만 횡단보도와 직각인 보도를 따라 걸어가고 있는 경우). 여기서, 차량(5441)의 궤적과 교차할 수 있는 궤적을 가진 보행자가 없다는 판단을 하기 위하여, 항법 시스템은 횡단보도(5451) 근처의 보행자의 일부 또는 전부의 위치 및 궤적을 평가할 수 있다.
항법 시스템의 판단에 적어도 한 명의 보행자(예, 도 54의 보행자(5422))가 차량(5441)이 횡단보도(5451)와 교차하기 전에 횡단보도(5451)에 진입할 수 있는 경우, 항법 시스템은 신호등(5430)이 녹색 상태인 경우에 보행자 유발 조정으로 횡단보도(5451)를 횡단하는 예정 항법 동작을 포함할 수 있다.
도 55a에 도시된 예에서, 보행자(5521)가 횡단보도(5451)에 진입할 수 있다고 판단되는 경우, 차량(5441)은 보행자 유발 조정으로 횡단보도(5451)를 횡단하는 예정 항법 동작(예, 결과적으로 궤적(5502)이 되는 항법 동작)을 결정할 수 있다. 예시적인 일 실시예에서, 보행자 유발 조정은 궤적(5502, 5503)으로 표시된 것과 같이 차량(5441)의 궤적의 편향을 포함할 수 있다. 예를 들어, 궤적(5503)의 결과가 되는 항법 동작의 보행자 유발 조정은 빠르게 움직이는 보행자(5521)로 인한 것일 수 있고, 궤적(5502)의 결과가 되는 항법 동작의 보행자 유발 조정은 느리게 움직이는 보행자(5521)로 인한 것일 수 있다. 다양한 실시예에서, 횡단보도(5451) 부근의 보행자 모니터링 외에도, 항법 시스템은 횡단보도(5451)의 부근에서 진행하고 있는 다양한 차량(예, 차량(5511))의 위치 및 속도를 모니터링할 수 있다. 예시적인 일 실시예에서, 차량(5511)이 빠르게 진행하는 경우, 항법 시스템은 궤적(5503)을 선택하지 않고 궤적(5502)을 선택하여 차량(5503)과의 충돌을 회피할 수 있다. 일부 실시예에서, 보행자 유발 조정은 차량(5441)의 속도 증가, 속도 감소, 또는 정지를 포함할 수 있다. 예를 들면, 보행자(5521)가 이미 횡단보도(5451)에 진입한 경우, 차량(5441)은 차량(5441)의 속도 감소와 정지를 포함하는 궤적(5504)을 신호등(예, 도 54의 신호등(5430))의 상태와 상관없이 취할 수 있다. 일부의 경우, 다른 가능한 보행자 유발 조정은 차량(5441)의 속도를 증가하고 궤적(5502 또는 5503)을 선택하여 보행자(5521)를 추월하는 것을 포함할 수 있다. 보행자 유발 조정은 또한 호스트 차량의 속도 감소를 포함할 수 있다. 속도 감소의 정도는 보행자의 검출된 속도(예, 보행자가 빠를수록 호스트 차량의 속도를 더 감소할 수 있음), 보행자가 횡단보도에 진입할 수 있는 또는 할 것 같은 예상 시간(이 시간이 짧을수록 호스트 차량의 속도를 더 감소할 수 있음)에 달려있거나, 횡단보도에 대한 보행자 움직임의 하나 이상의 검출된 특성에 의거할 수 있다.
일부 경우에서, 항법 시스템은 도로를 따라 진행중인 다수의 차량에 대한 다수의 보행자 유발 조정을 실행할 수 있다. 예를 들어, 도 55b에는 차량(5441)과 차량(5511)이 도로(5413)를 따라 횡단보도(5451)를 향해 진행하는 반면에 차량(5512)은 화살표(5531)로 표시된 바와 같이 반대 방향으로 진행하고 있는 것이 도시되어 있다. 보행자(5521)가 횡단보도(5451)에 진입할 수 있는 것으로 판단되는 경우, 차량(5441)의 항법 동작에 대한 제1 보행자 유발 조정의 결과로 궤적(5524)이 될 수 있고, 차량(5511)의 항법 동작에 대한 제2 보행자 유발 조정의 결과로 궤적(5525)이 될 수 있고, 차량(5526)의 항법 동작에 대한 제3 보행자 유발 조정의 결과로 궤적(5526)이 될 수 있다(예, 차량(5512)은 차도 가장자리(5532)를 향해 조향하고 정지함). 다양한 실시예에서, 보행자 유발 조정은 보행자의 검출된 진행 방향과 속도에 의거하여 결정될 수 있다. 예를 들어, 보행자의 진행 방향과 속도는 하나 이상의 이미지캡처장치(예, 도 54의 장치(5460 내지 5462))에 의거한 보행자의 다중 이미지를 취하여 판단될 수 있다. 예시적인 일 실시예에서, 도 55a 등에 도시된 바와 같이, 보행자 유발 조정은 보행자로부터 멀어지는 차량(5441)의 횡방향 이동(궤적(5502, 5503)으로 도시된 바와 같은 보행자(5521)로부터 멀어지게 도로(5413)를 가로지르는 이동)을 포함할 수 있다. 추가적으로, 또는 대안적으로, 보행자 유발 조정은 차량(5441)이 횡단보도(5451)이 있는 교차로에 접근하기 전에 속도를 줄이는 동작을 포함할 수 있다. 추가적으로, 또는 대안적으로, 항법 시스템은 보행자(5521)이 횡단보도에 진입하는 것으로 검출되는 경우에 신호등(예, 도 54의 신호등(5430))이 녹색 상태일 때에도 차량(5441)이 횡단보도 이전에 정지하도록 요구할 수 있다.
다양한 실시예에서, 횡단보도까지의 보행자의 거리는 기하학적 계산을 활용하여 판단될 수 있다. 예를 들어, 도 55c와 도 55d에 도시된 예에서, 모션 검출이 가능한 이미지캡처장치를 활용하여 횡단보도까지의 보행자의 거리를 계산한다. 도 55c에 도시된 예시적인 실시예에서, 보행자(5421)는 횡단보도(5541)의 시작 위치(5567)에 접근한다. 이미지캡처장치(5460)는 보행자(5421) 근처의 지점(예, 도 55c에 도시된 바와 같은 보행자(5421)의 신발 옆의 지점(5571))에 정확히 조준하기 위한 조준경(5570)을 포함할 수 있는 이동가능 카메라(5565)를 포함할 수 있다. 일부 경우에서, 이동가능 카메라(5565)는 비가시광선 파장(예, 진청 파장(deep blue wavelength), 적외선 파장, 마이크로파 파장 등)을 사용하여 작동할 수 있는 레이저(5564) 및 표면으로부터의 레이저 빔의 반사점(레이저 마커라고도 지칭)을 검출하는 검출기를 포함할 수 있다. 이후, 이동가능 카메라는 레이저 마커를 보행자(5421) 근처(예, 지점(5571))에 배치하여 방향이 맞춰질 수 있다. 카메라의 방향이 횡단보도(5541)의 시작 위치(5567)에 대하여 맞춰지면, 도 55c에 도시된 바와 같은 각도 A와 각도 B가 판단될 수 있다. 도 55c에 도시된 바와 같이, 이미지캡처장치(5460)는 기둥(5563)에 설치되고 횡단보도 표면 위의 높이 H에 위치한다. 파라미터 A, B, 및 H에 대해, 횡단보도(5451)의 시작 위치(5567)까지의 보행자(5421)의 거리(5561)는
Figure pct00808
인 것으로 판단된다.
도 55d는 차량(5441)과 연관된 이미지캡처장치(5461)를 활용하여 유사한 계산을 할 수 있음을 보여준다. 도로 표면 위의 높이
Figure pct00809
에 위치한 장치(5461)에 있어서, 각도
Figure pct00810
와
Figure pct00811
로 장치(5461)의 방위를 판단하여, 횡단보도(5451)의 시작 위치(5567)까지의 보행자(5421)의 거리(5561)는
Figure pct00812
인 것으로 판단된다. 다양한 실시예에서, 항법 시스템은 상이한 이미지캡처장치를 활용하여 거리(5561)의 추정을 얻고 거리 평균, 이상점(outlier) 추정의 제거 등을 활용하여 계산의 오차를 줄일 수 있다.
앞서 설명한 바와 같이, 항법 시스템은 호스트 차량 항법을 위한 다양한 동작을 실행하기 위한 다수의 컴퓨팅 장치를 포함할 수 있다. 횡단보도 부근에서 호스트 차량을 항법하기 위한 예시적인 프로세스(5600)가 도 56에 도시되어 있다. 프로세스(5600)의 단계 5601에서, 항법 시스템의 처리 장치는 호스트 차량의 주변상황을 나타내는 이미지의 집합을 수신할 수 있다. 이미지는 앞서 설명한 바와 같은 하나 이상의 이미지캡처장치에 의해 확보될 수 있다. 이미지는 횡단보도 부근의 보행자의 묘사, 신호등의 이미지, 교통표지판, 횡단보도 부근의 다양한 차량의 이미지 등을 포함할 수 있다.
프로세스(5600)의 단계 5603에서, 처리 장치는 횡단보도의 시작 및 종료 위치를 검출할 수 있다. 예시적인 일 실시예에서, 횡단보도 및 횡단보도의 시작 및 종료 위치는 하나 이상의 이미지캡처장치에 의해 확보된 이미지를 분석하여 검출될 수 있다. 대안적으로, 횡단보도의 위치는 항법 시스템과 연관된 지도에 의거하여 식별될 수 있다. 예를 들어, 지도는 횡단보도에 관한 모든 관련 정보를 포함할 수 있고, 항법 시스템은 호스트 차량으로부터 횡단보도의 중앙까지의 측위 벡터(positioning vector), 호스트 차량으로부터 횡단보도의 시작 위치까지의 측위 벡터, 및 호스트 차량으로부터 횡단보도의 종료 위치까지의 측위 벡터를 판단하도록 구성될 수 있다. 호스트 차량이 하나 이상의 횡단보도를 포함하는 교차로에 접근하는 경우, 다수의 횡단보도 및 각 횡단보도의 시작 및 종료 위치가 항법 시스템이 사용 가능한 지도 상에서 식별될 수 있다.
프로세스(5600)의 단계 5605에서, 처리 장치는 횡단보도의 근처에 보행자가 존재하는지 여부를 하나 이상의 이미지캡처장치(예, 도 54에 도시된 이미지캡처장치(5460 내지 5462))에 의해 확보된 적어도 하나의 이미지의 분석에 의거하여 판단할 수 있다. 도 55c와 도 55d 등에서 도시된 바와 같은 예시적인 일 실시예에서, 이미지캡처장치(예, 5460)의 방위는 횡단보도(5567)의 시작 위치까지의 보행자(5421)의 거리(5561)를 정확하게 판단하게 할 수 있다.
프로세스(5600)의 단계 5607에서, 처리 장치는 호스트 차량의 주변상화에서 신호등의 존재를 검출할 수 있다. 예시적인 일 실시예에서, 처리 장치는 호스트 차량 주변상황의 적어도 하나의 이미지를 활용하여 신호등의 존재를 검출할 수 있다. 예를 들어, 처리 장치는 횡단보도(예, 도 54의 횡단보도(5451))의 이미지를 수신하고, 적절한 이미지 인식 알고리즘에 의거하여 신호등(예, 도 54의 신호등(5430))을 검출할 수 있다.
프로세스(5600)의 단계 5609에서, 처리 장치는 차량(예, 도 54의 차량(5441))에 대한 신호등의 관련성(예, 도 54의 신호등(5430)의 관련성)을 판단할 수 있다. 예시적인 일 실시예에서, 신호등(5430)의 관련성은 신호등(5430)을 포함하는 도로 구간을 따라 주행중인 다양한 차량의 시간 의존적 항법 정보와 앞서 설명한 바와 같은 신호등(430)의 시간 의존적 상태 식별자 사이의 상호 관계를 분석하여 판단될 수 있다. 예를 들어, 항법 정보(또는 항법 정보의 하나 이상의 변화)와 신호등(5430)의 상태 식별자(또는 상태 식별자의 변화) 사이에 직접적인 상호 관계가 있는 경우, 처리 장치는 신호등(5430)이 차량(5441), 차량이 주행한 차로(예, 도 54의 차로(5403)), 및 도 54에 도시된 바와 같은 횡단보도(5451)와 관련이 있다고 판단할 수 있다. 다양한 실시예에서, 신호등(5430)을 포함하는 도로 구간을 따라 주행중인 다양한 차량의 시간 의존적 항법 정보와 신호등(5430)의 시간 의존적 상태 식별자 사이의 상호 관계는 상이한 시간에 도로 구간을 따라 주행하는 다수의 차량의 정보를 수집하여 확보될 수 있다.
추가적으로, 또는 대안 적으로, 보행자의 움직임과 신호등(5430)의 상태 식별자(또는 상태 식별자의 변화) 사이에 직접적인 상호 관계가 있는 경우에, 처리 장치는 신호등(5430)이 횡단보도(5451)와 관련이 있는 것으로 판단할 수 있다. 예를 들어, 신호등(5430)이 적색 상태이고(차량(5441)이 관찰한 바에 따라) 보행자가 횡단보도를 횡단하고 있는 경우와, 신호등(5430)이 녹색 상태이고(차량(5441)이 관찰한 바에 따라) 보행자가 시작 위치(5567)(도 55c에 도시)에서 신호등(5430)의 상태가 바뀌기를 기다리고 있는 경우, 항법 시스템은 신호등(5430)이 횡단보도(5451)와 관련이 있다고 판단할 수 있다. 다양한 실시예에서, 신호등(5430)을 포함하는 횡단보도(5451)를 횡단하는 다양한 보행자의 시간 의존적 움직임과 신호등(5430)의 시간 의존적 상태 식별자 사이의 상호 관계는 상이한 시간에 횡단보도(5451)를 횡단하는 다수의 보행자에 대한 정보를 수집하여 확보될 수 있다.
일부 실시예에서, 횡단보도(5451)와 차로(5403)에 대한 신호등(5430)의 관련성은 항법 시스템과 연관된 지도를 참조하여 판단될 수 있고, 신호등(5430)의 관련성은 공지/저장/묘사되어 있을 수 있다. 예컨대, 항법 시스템의 하나 이상의 관리자가 도로의 구간에 대한 다양한 신호등에 식별 번호(ID 번호)를 배정하고 이 ID 번호와 위치를 도로 구간에 대한 다양한 횡단보도 및 차로와 연관되게 할 수 있다.
프로세스(5600)의 단계 5611에서, 처리 장치는 이미지캡처장치(예, 도 54에 도시된 장치(5460 내지 5462)에 의해 확보된 하나 이상의 이미지에 의거하여 신호등(5430)의 상태를 판단할 수 있다. 처리 장치는 다양한 신호등에 대해 확보된 이미지를 다양한 신호등의 이미지(예, 항법 시스템의 메모리에 저장된 녹색, 적색, 황색 등의 신호등의 이미지)와 비교하여 다양한 신호등의 상태를 판단할 수 있다.
추가적으로, 또는 대안적으로, 앞서 설명한 바와 같이, 신호등(5430)의 상태는 무선 통신 시스템을 활용하여 신호등(5430)에 의해 항법 시스템으로 전송될 수 있다. 다양한 실시예에서, 처리 장치는 신호등(5430)의 상태가 바뀔 때까지 남은 시간을 판단할 수 있다. 예시적인 일 실시예에서, 신호등(5430)의 상태가 바뀔 때까지 남은 시간은 신호등(5430)에 의해 무선으로 전송될 수 있고, 다른 실시예에서, 이러한 정보는 횡단보도(5430)의 부근에서 주행하는 다양한 차량의 이미지를 분석함으로써 시간의 함수로서 신호등의 상태의 정보를 수집하여 항법 시스템의 의해 확보될 수 있다.
프로세스(5600)의 단계 5613에서, 처리 장치는 검출된 횡단보도 부근에서의 호스트 차량의 항법 동작을 신호등(5430)의 관련성, 신호등의 판단된 상태, 횡단보도 부근의 보행자의 존재, 보행자와 횡단보도의 시작 또는 종료 위치 사이에 선택된 최단 거리, 및 보행자의 모션 벡터에 의거하여 결정할 수 있다. 앞서 설명한 바와 같이, 항법 동작은 차량(5441)의 감속 또는 정지, 횡단보도(5451)에 진입하거나 횡단보도(5451)에 가까이 있는 보행자로부터 멀어지도록 하는 차량의 이동을 포함할 수 있다.
단계 5615에서, 항법 동작이 이행되려면, 처리 장치는 차량(5441)과 연관된 하나 이상의 액추에이터 시스템이 결정된 하나 이상의 항법 동작을 이행하도록 유발할 수 있다. 다양한 실시예에서, 하나 이상의 액추에이터 시스템은 가속 페달, 브레이크 페달, 변속 레버, 조향 핸들, 핸드 브레이크 등과 같은 차량(5441)의 일반적인 제어를 포함할 수 있다. 일부 실시예에서, 액추에이터 시스템은 인간 조작자에 의해 접근이 가능하지 않은 내부 시스템일 수 있고, 인간 조작자가 접근 가능한 일반적인 제어와 유사한 기능을 수행할 수 있다. 예시적인 일 실시예에서, 처리 장치는 예를 들어 차량의 가속 페달을 포함할 수 있는 액추에이터 시스템을 통해 차량(5441)의 가속을 유발하도록 구성될 수 있다.
여기서, 프로세스(5600)의 다양한 단계는 수정될 수 있다. 추가적으로, 또는 대안적으로, 프로세스(5600)의 단계의 순서는 수정될 수 있다. 예를 들어, 단계 5607, 5609, 및 5611은 단계 5603과 5605의 앞에 수행될 수 있다.
또한, 앞서 설명한 예시들은 도로면 상에 가시적인 횡단보도를 참조하였지만, 실시예들은 횡단보도가 도로면 상에 표시되지 않은 도로에도 적용될 수 있다. 예를 들어, 개시된 실시예들은 교차로를 식별할 수 있고, 따라서 교차로 주변의 하나 이상의 영역을 보행자가 지나갈 가능성이 있는 영역(예, 잠재적 횡단 구역)으로 간주할 수 있다. 마찬가지로, 개시된 실시예들은 특정 위치(예, 기록 정보에 의거한 위치)는 보행자가 길을 건너갈 가능성이 있는 영역(예, 잠재적 횡단 구역)이라고 판단할 수 있다. 이는 과거에 관찰된 이벤트(예, 특정 장소에서 보행자가 길을 건너는 경향이 있음) 및/또는 특정 장소에 대한 고려(예, 보행자가 나타나거나 진입할 수 있는 빌딩 입구)에 의거할 수 있다.
상기의 설명은 예시의 목적으로 제시되었다. 이 설명은 모든 것을 망라한 것이 아니며 개시된 그대로의 형태 또는 실시예로 제한되는 것이 아니다. 수정 및 응용은 본 명세서를 고려하고 개시된 실시예를 실시함으로써 당업자에게 당연할 것이다. 또한, 개시된 실시예의 양상들이 메모리에 저장되는 것으로 설명되었지만, 당업자라면 이러한 양상들이, 예를 들어, 하드 디스크 또는 CD ROM, 또는 다른 유형의 RAM 또는 ROM, USB 매체, DVD, 블루레이, 4K UHD 블루레이, 또는 기타 광드라이브 매체 등의 2차저장장치와 같은 다른 유형의 컴퓨터 가독 매체에 저장될 수도 있음을 이해할 것이다.
기재된 설명과 방법에 기반한 컴퓨터 프로그램은 당업자에게는 당연한 기술이다. 다양한 프로그램 또는 프로그램 모듈이 당업자에게 공지인 기술을 사용하여 생성되거나 기존의 소프트웨어와 관련되어 설계될 수 있다. 예를 들어, 프로그램 섹션 또는 프로그램 모듈은 .Net Framework, .Net Compact Framework (및 Visual Basic, C 등과 같은 관련 언어), Java, C++, Objective-C, HTML, HTML/AJAX 조합, XML, 또는 자바 애플릿(Java applet)을 포함하는 HTML로 설계될 수 있다.
또한, 예시된 실시예들을 여기에 설명하였지만, 모든 실시예의 범위는 균등한 구성요소, 수정, 누락, 조합(예, 다양한 실시예에 걸친 양상의 조합), 응용, 및/또는 변경을 가짐은 본 발명의 당업자에게 당연하다. 청구항의 한정은 청구항에 사용된 언어에 근거하여 넓게 해석되어야 하며 본 명세서에서 또는 본 발명의 출원 중에 설명된 예시에 한정되지 않는다. 예시들은 배타적이지 않은 것으로 이해되어야 한다. 나아가, 기재된 방법의 단계들은 단계들의 순서를 재배열 및/또는 단계를 삽입 또는 삭제하는 등의 다양한 방법으로 수정될 수 있다. 따라서, 본 명세서와 예시들은 예시의 목적으로만 고려되고, 진정한 범위와 기술적 사상은 하기의 청구항과 그 균등한 범위에 의해 정의된다.

Claims (81)

  1. 호스트 차량의 항법을 위한 시스템에 있어서, 상기 시스템은:
    적어도 하나의 처리 장치를 포함하고,
    상기 적어도 하나의 처리 장치는:
    상기 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신;
    상기 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정;
    상기 적어도 하나의 이미지를 분석하여 상기 호스트 차량의 상기 주변상황에서 타깃 차량을 식별―여기서, 상기 타깃 차량의 진행 방향은 상기 호스트 차량을 향함;
    상기 예정 항법 동작을 취할 경우의 결과일 수 있는 상기 호스트 차량과 상기 타깃 차량 사이의 다음 상태 거리를 판단;
    호스트 차량 제동률, 호스트 차량 최대 가속 능력, 및 상기 호스트 차량의 현재 속도를 판단;
    상기 호스트 차량 제동률, 상기 호스트 차량 최대 가속 능력, 및 상기 호스트 차량의 상기 현재 속도에 의거하여 상기 호스트 차량의 정지 거리를 판단;
    상기 타깃 차량의 현재 속도, 타깃 차량 최대 가속 능력, 및 타깃 차량 제동률을 판단;
    상기 타깃 차량 제동률, 상기 타깃 차량 최대 가속 능력, 및 상기 타깃 차량의 상기 현재 속도에 의거하여 상기 타깃 차량의 정지 거리를 판단; 및
    상기 판단된 다음 상태 거리가 상기 호스트 차량의 상기 정지 거리와 상기 타깃 차량의 상기 정지 거리의 합보다 큰 경우에 상기 예정 항법 동작을 이행;
    하도록 프로그램 된 것을 특징으로 하는, 시스템.
  2. 제1항에 있어서,
    상기 타깃 차량과 상기 호스트 차량은 주차장에서 이동하고 있는 것을 특징으로 하는, 시스템.
  3. 제1항에 있어서,
    상기 타깃 차량은 상기 호스트 차량이 점유하고 있는 차로에서 상기 호스트 차량을 향해 이동하는 것을 특징으로 하는, 시스템.
  4. 제1항에 있어서,
    상기 호스트 차량 제동률은 상기 호스트 차량의 미리 정해진 최대 이하 제동률에 상응하는 것을 특징으로 하는, 시스템.
  5. 제1항에 있어서,
    상기 타깃 차량 제동률은 상기 적어도 하나의 이미지의 분석을 통하여 식별된 상기 타깃 차량의 적어도 하나의 특성에 의거하여 판단된 상기 타깃 차량의 최대 제동 능력에 상응하는 것을 특징으로 하는, 시스템.
  6. 제1항에 있어서,
    상기 타깃 차량 제동률은 상기 타깃 차량의 미리 정해진 최대 이하 제동률에 상응하는 것을 특징으로 하는, 시스템.
  7. 제1항에 있어서,
    상기 호스트 차량 제동률은 상기 타깃 차량 제동률보다 작은 것을 특징으로 하는, 시스템.
  8. 제1항에 있어서,
    상기 타깃 차량의 상기 현재 속도는 상기 호스트 차량의 상기 주변상황을 나타내는 상기 수신된 이미지의의 둘 이상의 분석에 의거하여 판단되는 것을 특징으로 하는, 시스템.
  9. 제1항에 있어서,
    상기 타깃 차량의 상기 현재 속도는 상기 호스트 차량과 연관된 레이더 장치 또는 라이더 장치의 출력에 의거하여 판단되는 것을 특징으로 하는, 시스템.
  10. 제1항에 있어서,
    상기 호스트 차량의 상기 제동 거리는 상기 호스트 차량이 상기 호스트 차량의 상기 판단된 현재 속도에서 시작하여 상기 호스트 차량 최대 가속 능력으로 호스트 차량 반응 시간 동안에 이동할 수 있는 거리에 상응하는 호스트 차량 가속 거리를 포함하는 것을 특징으로 하는, 시스템.
  11. 제1항에 있어서,
    상기 타깃 차량의 상기 정지 거리는 상기 타깃 차량이 상기 타깃 차량의 상기 판단된 현재 속도에서 시작하여 상기 타깃 차량 최대 가속 능력으로 타깃 차량 반응 시간 동안에 이동할 수 있는 거리에 상응하는 타깃 차량 가속 거리를 포함하는 것을 특징으로 하는, 시스템.
  12. 제1항에 있어서,
    상기 호스트 차량 제동률 및 상기 타깃 차량 제동률의 적어도 하나는 도로면의 감지된 조건에 의거하여 판단되는 것을 특징으로 하는, 시스템.
  13. 제1항에 있어서, ,
    상기 호스트 차량 제동률 및 상기 타깃 차량 제동률의 적어도 하나는 감지된 기후 조건에 의거하여 판단되는 것을 특징으로 하는, 시스템.
  14. 제1항에 있어서,
    상기 타깃 차량 최대 가속 능력은 상기 적어도 하나의 이미지의 분석을 통하여 식별된 상기 타깃 차량의 적어도 하나의 특성에 의거하여 판단되는 것을 특징으로 하는, 시스템.
  15. 제14항에 있어서,
    상기 타깃 차량의 상기 적어도 하나의 특성은 차량 유형, 차량 크기, 및 차량 모델의 적어도 하나를 포함하는 것을 특징으로 하는, 시스템.
  16. 제1항에 있어서,
    상기 예정 항법 동작은 차로 변경 동작, 병합 동작, 추월 동작, 전방 진행 방향 유지 동작, 주차장 항법 동작, 및 구동 유지 동작의 적어도 하나를 포함하는 것을 특징으로 하는, 시스템.
  17. 제1항에 있어서,
    상기 적어도 하나의 처리 장치는 상기 판단된 다음 상태 거리가 상기 호스트 차량의 상기 정지 거리와 상기 타깃 차량의 상기 정지 거리의 상기 합보다 적어도 미리 정해진 최소 거리만큼 큰 경우에 상기 예정 항법 동작을 이행하도록 구성되는 것을 특징으로 하는, 시스템.
  18. 제17항에 있어서,
    상기 미리 정해진 최소 거리는 상기 호스트 차량과 다른 차량들 사이에 유지되어야 하는 미리 정해진 이격 거리에 상응하는 것을 특징으로 하는, 시스템.
  19. 제18항에 있어서,
    상기 미리 정해진 이격 거리는 적어도 1미터인 것을 특징으로 하는, 시스템.
  20. 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하는 단계;
    상기 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하는 단계;
    상기 적어도 하나의 이미지를 분석하여 상기 호스트 차량의 상기 주변상황에서 타깃 차량을 식별하는 단계―여기서, 상기 타깃 차량의 진행 방향은 상기 호스트 차량을 향함;
    상기 예정 항법 동작을 취할 경우의 결과일 수 있는 상기 호스트 차량과 상기 타깃 차량 사이의 다음 상태 거리를 판단하는 단계;
    호스트 차량 제동률, 호스트 차량 최대 가속 능력, 및 상기 호스트 차량의 현재 속도를 판단하는 단계;
    상기 호스트 차량 제동률, 상기 호스트 차량 최대 가속 능력, 및 상기 호스트 차량의 상기 현재 속도에 의거하여 상기 호스트 차량의 정지 거리를 판단하는 단계;
    상기 타깃 차량의 현재 속도, 타깃 차량 최대 가속 능력, 및 타깃 차량 제동률을 판단하는 단계;
    상기 타깃 차량 제동률, 상기 타깃 차량 최대 가속 능력, 및 상기 타깃 차량의 상기 현재 속도에 의거하여 상기 타깃 차량의 정지 거리를 판단하는 단계; 및
    상기 판단된 다음 상태 거리가 상기 호스트 차량의 상기 정지 거리와 상기 타깃 차량의 상기 정지 거리의 합보다 큰 경우에 상기 예정 항법 동작을 이행하는 단계를 포함하는,
    호스트 차량의 항법을 위한 방법.
  21. 제20항에 있어서,
    상기 호스트 차량 제동률은 상기 호스트 차량의 최대 제동 능력에 상응하는 것을 특징으로 하는, 방법.
  22. 제20항에 있어서,
    상기 호스트 차량 제동률은 상기 호스트 차량의 미리 정해진 최대 이하 제동률에 상응하는 것을 특징으로 하는, 방법.
  23. 제20항에 있어서,
    상기 타깃 차량 제동률은 상기 적어도 하나의 이미지의 분석을 통하여 식별된 상기 타깃 차량의 적어도 하나의 특성에 의거하여 판단된 상기 타깃 차량의 최대 제동 능력에 상응하는 것을 특징으로 하는, 방법.
  24. 제20항에 있어서,
    상기 타깃 차량 제동률은 상기 타깃 차량의 미리 정해진 최대 이하 제동률에 상응하는 것을 특징으로 하는, 방법.
  25. 제20항에 있어서,
    상기 호스트 차량 제동률은 상기 타깃 차량 제동률보다 작은 것을 특징으로 하는, 방법.
  26. 제20항에 있어서,
    상기 타깃 차량의 상기 현재 속도는 상기 호스트 차량의 상기 주변상황을 나타내는 상기 수신된 이미지의의 둘 이상의 분석에 의거하여 판단되는 것을 특징으로 하는, 방법.
  27. 제20항에 있어서,
    상기 타깃 차량의 상기 현재 속도는 상기 호스트 차량과 연관된 레이더 장치 또는 라이더 장치의 출력에 의거하여 판단되는 것을 특징으로 하는, 방법.
  28. 제20항에 있어서,
    상기 타깃 차량 최대 가속 능력은 상기 적어도 하나의 이미지의 분석을 통하여 식별된 상기 타깃 차량의 적어도 하나의 특성에 의거하여 판단되는 것을 특징으로 하는, 방법.
  29. 제28항에 있어서,
    상기 타깃 차량의 상기 적어도 하나의 특성은 차량 유형, 차량 크기, 및 차량 모델의 적어도 하나를 포함하는 것을 특징으로 하는, 방법.
  30. 제20항에 있어서,
    상기 예정 항법 동작은 차로 변경 동작, 병합 동작, 추월 동작, 전방 진행 방향 유지 동작, 주차장 항법 동작, 및 구동 유지 동작의 적어도 하나를 포함하는 것을 특징으로 하는, 방법.
  31. 호스트 차량의 항법을 위한 시스템에 있어서,
    상기 시스템은:
    적어도 하나의 처리 장치를 포함하고,
    상기 적어도 하나의 처리 장치는:
    상기 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신;
    상기 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정;
    상기 적어도 하나의 이미지를 분석하여 상기 호스트 차량의 상기 주변상황에서 타깃 차량을 식별;
    상기 예정 항법 동작을 취할 경우의 결과일 수 있는 상기 호스트 차량과 상기 타깃 차량 사이의 다음 상태 횡방향 거리를 판단;
    상기 호스트 차량의 최대 요 레이트(yaw rate) 능력, 상기 호스트 차량의 회전 반경 능력의 최대 변화, 및 상기 호스트 차량의 현재 횡방향 속도를 판단;
    상기 호스트 차량의 상기 최대 요 레이트 능력, 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화, 및 상기 호스트 차량의 상기 현재 횡방향 속도에 의거하여 상기 호스트 차량의 횡방향 제동 거리를 판단;
    상기 타깃 차량의 현재 횡방향 속도, 타깃 차량 최대 요 레이트 능력, 및 타깃 차량 회전 반경 능력의 최대 변화를 판단;
    상기 타깃 차량의 상기 현재 횡방향 속도, 상기 타깃 차량 최대 요 레이트 능력, 및 상기 타깃 차량 회전 반경 능력의 최대 변화에 의거하여 상기 타깃 차량의 횡방향 제동 거리를 판단; 및
    상기 판단된 다음 상태 횡방향 거리가 상기 호스트 차량의 상기 횡방향 제동 거리와 상기 타깃 차량의 상기 횡방향 제동 거리의 합보다 큰 경우에 상기 예정 항법 동작을 이행;
    하도록 프로그램 된 것을 특징으로 하는, 시스템.
  32. 제31항에 있어서,
    상기 호스트 차량의 상기 횡방향 제동 거리는, 상기 호스트 차량의 상기 현재 횡방향 속도에서 시작하여 상기 호스트 차량과 연관된 반응 시간 동안에 상기 호스트 차량의 상기 최대 요 레이트 능력과 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화로 상기 타깃 차량을 향해 회전 동작을 수행한 결과인 상기 호스트 차량의 횡방향 가속 후에, 상기 호스트 차량의 상기 최대 요 레이트 능력과 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화로 0의 호스트 차량 횡방향 속도에 도달하는데 필요한 거리에 상응하는 것을 특징으로 하는, 시스템.
  33. 제31항에 있어서,
    상기 타깃 차량의 상기 횡방향 제동 거리는, 상기 타깃 차량의 상기 현재 횡방향 속도에서 시작하여 상기 타깃 차량과 연관된 반응 시간 동안에 상기 타깃 차량 최대 요 레이트 능력과 상기 타깃 차량 회전 반경 능력의 최대 변화로 상기 호스트 차량을 향해 상기 타깃 차량에 의한 회전 동작을 수행한 결과인 상기 타깃 차량의 횡방향 가속 후에, 상기 타깃 차량 최대 요 레이트 능력과 상기 타깃 차량 회전 반경 능력의 최대 변화로 0의 타깃 차량 횡방향 속도에 도달하는데 필요한 거리에 상응하는 것을 특징으로 하는, 시스템.
  34. 제31항에 있어서,
    상기 적어도 하나의 처리 장치는 상기 예정 항법 동작의 결과로 상기 호스트 차량과 상기 타깃 차량 사이에 안전한 종방향 거리가 될 경우에 상기 다음 상태 횡방향 거리와 무관하게 상기 예정 항법 동작을 이행하도록 프로그램 되는 것을 특징으로 하는, 시스템.
  35. 제34항에 있어서,
    상기 안전한 종방향 거리는 호스트 차량 종방향 정지 거리와 타깃 차량 종방향 정지 거리의 합 이상이고,
    상기 호스트 차량 정지 거리는 상기 호스트 차량의 최대 종방향 제동 능력과 상기 호스트 차량의 현재 종방향 속도에 기반하고, 상기 호스트 차량 정지 거리는 상기 호스트 차량이 상기 호스트 차량의 상기 현재 종방향 속도에서 시작하여 상기 호스트 차량과 연관된 반응 시간 동안에 상기 호스트 차량의 최대 가속 능력으로 진행할 수 있는 거리에 상응하는 호스트 차량 가속 거리를 포함하고,
    상기 타깃 차량 정지 거리는 상기 타깃 차량의 최대 종방향 제동 능력과 상기 타깃 차량의 현재 종방향 속도에 기반하고, 상기 타깃 차량 정지 거리는 상기 타깃 차량이 상기 타깃 차량의 상기 현재 종방향 속도에서 시작하여 상기 타깃 차량과 연관된 반응 시간 동안에 상기 타깃 차량의 최대 가속 능력으로 진행할 수 있는 거리에 상응하는 타깃 차량 가속 거리를 포함하는 것을 특징으로 하는, 시스템.
  36. 제31항에 있어서,
    상기 타깃 차량 최대 요 레이트 능력 및 상기 타깃 차량 회전 반경 능력의 최대 변화의 적어도 하나는 상기 적어도 하나의 이미지의 분석을 통하여 식별된 상기 타깃 차량의 적어도 하나의 특성에 의거하여 판단되는 것을 특징으로 하는, 시스템.
  37. 제36항에 있어서,
    상기 타깃 차량의 상기 적어도 하나의 특성은 차량 유형, 차량 크기, 및 차량 모델의 적어도 하나를 포함하는 것을 특징으로 하는, 시스템.
  38. 제31항에 있어서,
    상기 호스트 차량의 상기 최대 요 레이트 능력 및 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화는 상기 호스트 차량에 대한 미리 정해진 제약에 의거하는 것을 특징으로 하는, 시스템.
  39. 제31항에 있어서,
    상기 타깃 차량의 상기 현재 횡방향 속도는 상기 호스트 차량과 연관된 레이더 장치 또는 라이더 장치의 출력에 의거하여 판단되는 것을 특징으로 하는, 시스템.
  40. 제31항에 있어서,
    상기 호스트 차량의 상기 최대 요 레이트 능력 및 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화의 적어도 하나는 도로면의 감지된 조건에 의거하여 판단되는 것을 특징으로 하는, 시스템.
  41. 제31항에 있어서,
    상기 타깃 차량 최대 요 레이트 능력 및 상기 타깃 차량 회전 반경 능력의 최대 변화의 적어도 하나는 도로면의 감지된 조건에 의거하여 판단되는 것을 특징으로 하는, 시스템.
  42. 제31항에 있어서,
    상기 호스트 차량의 상기 최대 요 레이트 능력, 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화, 상기 타깃 차량 최대 요 레이트 능력, 및 상기 타깃 차량 회전 반경 능력의 최대 변화의 적어도 하나는 감지된 기후 조건에 의거하여 판단되는 것을 특징으로 하는, 시스템.
  43. 제31항에 있어서,
    상기 예정 항법 동작은 차로 변경 동작, 병합 동작, 추월 동작, 주차장 항법 동작, 및 회전 동작의 적어도 하나를 포함하는 것을 특징으로 하는, 시스템.
  44. 제31항에 있어서,
    상기 적어도 하나의 처리 장치는 상기 판단된 다음 상태 횡방향 거리가 상기 호스트 차량의 상기 횡방향 제동 거리와 상기 타깃 차량의 상기 횡방향 제동 거리의 상기 합보다 적어도 미리 정해진 최소 거리만큼 큰 경우에 상기 예정 항법 동작을 이행하도록 구성되는 것을 특징으로 하는, 시스템.
  45. 제44항에 있어서,
    상기 미리 정해진 최소 거리는 상기 호스트 차량과 다른 차량들 사이에 유지되어야 하는 미리 정해진 횡방향 이격 거리에 상응하는 것을 특징으로 하는, 시스템.
  46. 제45항에 있어서,
    상기 미리 정해진 횡방향 이격 거리는 적어도 1미터인 것을 특징으로 하는, 시스템.
  47. 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하는 단계;
    상기 호스트 차량의 항법 목표를 달성하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하는 단계;
    상기 적어도 하나의 이미지를 분석하여 상기 호스트 차량의 상기 주변상황에서 타깃 차량을 식별하는 단계;
    상기 예정 항법 동작을 취할 경우의 결과일 수 있는 상기 호스트 차량과 상기 타깃 차량 사이의 다음 상태 횡방향 거리를 판단하는 단계;
    상기 호스트 차량의 최대 요 레이트(yaw rate) 능력, 상기 호스트 차량의 회전 반경 능력의 최대 변화, 및 상기 호스트 차량의 현재 횡방향 속도를 판단하는 단계;
    상기 호스트 차량의 상기 최대 요 레이트 능력, 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화, 및 상기 호스트 차량의 상기 현재 횡방향 속도에 의거하여 상기 호스트 차량의 횡방향 제동 거리를 판단하는 단계;
    상기 타깃 차량의 현재 횡방향 속도, 타깃 차량 최대 요 레이트 능력, 및 타깃 차량 회전 반경 능력의 최대 변화를 판단하는 단계;
    상기 타깃 차량의 상기 현재 횡방향 속도, 상기 타깃 차량 최대 요 레이트 능력, 및 상기 타깃 차량 회전 반경 능력의 최대 변화에 의거하여 상기 타깃 차량의 횡방향 제동 거리를 판단하는 단계; 및
    상기 판단된 다음 상태 횡방향 거리가 상기 호스트 차량의 상기 횡방향 제동 거리와 상기 타깃 차량의 상기 횡방향 제동 거리의 합보다 큰 경우에 상기 예정 항법 동작을 이행하는 단계를 포함하는,
    호스트 차량의 항법을 위한 방법.
  48. 제47항에 있어서,
    상기 호스트 차량의 상기 횡방향 제동 거리는, 상기 호스트 차량의 상기 현재 횡방향 속도에서 시작하여 상기 호스트 차량과 연관된 반응 시간 동안에 상기 호스트 차량의 상기 최대 요 레이트 능력과 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화로 상기 타깃 차량을 향해 회전 동작을 수행한 결과인 상기 호스트 차량의 횡방향 가속 후에, 상기 호스트 차량의 상기 최대 요 레이트 능력과 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화로 0의 호스트 차량 횡방향 속도에 도달하는데 필요한 거리에 상응하는 것을 특징으로 하는, 방법.
  49. 제47항에 있어서,
    상기 타깃 차량의 상기 횡방향 제동 거리는, 상기 타깃 차량의 상기 현재 횡방향 속도에서 시작하여 상기 타깃 차량과 연관된 반응 시간 동안에 상기 타깃 차량 최대 요 레이트 능력과 상기 타깃 차량 회전 반경 능력의 최대 변화로 상기 호스트 차량을 향해 상기 타깃 차량에 의한 회전 동작을 수행한 결과인 상기 타깃 차량의 횡방향 가속 후에, 상기 타깃 차량 최대 요 레이트 능력과 상기 타깃 차량 회전 반경 능력의 최대 변화로 0의 타깃 차량 횡방향 속도에 도달하는데 필요한 거리에 상응하는 것을 특징으로 하는, 방법.
  50. 제47항에 있어서,
    상기 적어도 하나의 처리 장치는 상기 예정 항법 동작의 결과로 상기 호스트 차량과 상기 타깃 차량 사이에 안전한 종방향 거리가 될 경우에 상기 다음 상태 횡방향 거리와 무관하게 상기 예정 항법 동작을 이행하도록 프로그램 되는 것을 특징으로 하는, 방법.
  51. 제50항에 있어서,
    상기 안전한 종방향 거리는 호스트 차량 종방향 정지 거리와 타깃 차량 종방향 정지 거리의 합 이상이고,
    상기 호스트 차량 정지 거리는 상기 호스트 차량의 최대 종방향 제동 능력과 상기 호스트 차량의 현재 종방향 속도에 기반하고, 상기 호스트 차량 정지 거리는 상기 호스트 차량이 상기 호스트 차량의 상기 현재 종방향 속도에서 시작하여 상기 호스트 차량과 연관된 반응 시간 동안에 상기 호스트 차량의 최대 가속 능력으로 진행할 수 있는 거리에 상응하는 호스트 차량 가속 거리를 포함하고,
    상기 타깃 차량 정지 거리는 상기 타깃 차량의 최대 종방향 제동 능력과 상기 타깃 차량의 현재 종방향 속도에 기반하고, 상기 타깃 차량 정지 거리는 상기 타깃 차량이 상기 타깃 차량의 상기 현재 종방향 속도에서 시작하여 상기 타깃 차량과 연관된 반응 시간 동안에 상기 타깃 차량의 최대 가속 능력으로 진행할 수 있는 거리에 상응하는 타깃 차량 가속 거리를 포함하는 것을 특징으로 하는, 방법.
  52. 제47항에 있어서,
    상기 타깃 차량 최대 요 레이트 능력 및 상기 타깃 차량 회전 반경 능력의 최대 변화의 적어도 하나는 상기 적어도 하나의 이미지의 분석을 통하여 식별된 상기 타깃 차량의 적어도 하나의 특성에 의거하여 판단되는 것을 특징으로 하는, 방법.
  53. 제52항에 있어서,
    상기 타깃 차량의 상기 적어도 하나의 특성은 차량 유형, 차량 크기, 및 차량 모델의 적어도 하나를 포함하는 것을 특징으로 하는, 방법.
  54. 제47항에 있어서,
    상기 호스트 차량의 상기 최대 요 레이트 능력 및 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화는 상기 호스트 차량에 대한 미리 정해진 제약에 의거하는 것을 특징으로 하는, 방법.
  55. 제47항에 있어서,
    상기 타깃 차량의 상기 현재 속도는 상기 호스트 차량과 연관된 레이더 장치 또는 라이더 장치의 출력에 의거하여 판단되는 것을 특징으로 하는, 방법.
  56. 제47항에 있어서,
    상기 호스트 차량의 상기 최대 요 레이트 능력, 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화, 상기 타깃 차량 최대 요 레이트 능력, 및 상기 타깃 차량 회전 반경 능력의 최대 변화의 적어도 하나는 도로면의 감지된 조건에 의거하여 판단되는 것을 특징으로 하는, 방법.
  57. 제47항에 있어서,
    상기 호스트 차량의 상기 최대 요 레이트 능력, 상기 호스트 차량의 상기 회전 반경 능력의 최대 변화, 상기 타깃 차량 최대 요 레이트 능력, 및 상기 타깃 차량 회전 반경 능력의 최대 변화의 적어도 하나는 감지된 기후 조건에 의거하여 판단되는 것을 특징으로 하는, 방법.
  58. 제47항에 있어서,
    상기 예정 항법 동작은 차로 변경 동작, 병합 동작, 추월 동작, 주차장 항법 동작, 및 회전 동작의 적어도 하나를 포함하는 것을 특징으로 하는, 방법.
  59. 제47항에 있어서,
    상기 적어도 하나의 처리 장치는 상기 판단된 다음 상태 횡방향 거리가 상기 호스트 차량의 상기 횡방향 제동 거리와 상기 타깃 차량의 상기 횡방향 제동 거리의 상기 합보다 적어도 미리 정해진 최소 거리만큼 큰 경우에 상기 예정 항법 동작을 이행하도록 구성되는 것을 특징으로 하는, 방법.
  60. 제59항에 있어서,
    상기 미리 정해진 최소 거리는 상기 호스트 차량과 다른 차량들 사이에 유지되어야 하는 미리 정해진 횡방향 이격 거리에 상응하는 것을 특징으로 하는, 방법.
  61. 횡단보도에 부근에서의 호스트 차량의 항법을 위한 시스템에 있어서,
    상기 시스템은:
    적어도 하나의 처리 장치를 포함하고,
    상기 적어도 하나의 처리 장치는:
    상기 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신;
    상기 적어도 하나의 이미지의 분석에 의거하여 상기 적어도 하나의 이미지에서 횡단보도의 묘사를 검출;
    상기 적어도 하나의 이미지의 분석에 의거하여 보행자의 묘사가 상기 적어도 하나의 이미지에 등장하는지 여부를 판단;
    상기 호스트 차량의 상기 주변상황에서 신호등의 존재를 검출;
    상기 검출된 신호등이 상기 호스트 차량 및 상기 횡단보도에 관련된 것인지 여부를 판단;
    상기 검출된 신호등의 상태를 판단;
    보행자의 묘사가 상기 적어도 하나의 이미지에 등장하는 경우에, 상기 검출된 횡단보도에 대한 상기 보행자의 근접성을 판단;
    상기 검출된 횡단보도에 대한 상기 호스트 차량의 항법을 유발하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정―여기서, 상기 예정 항법 동작의 결정은 상기 검출된 신호등의 상기 판단된 상태 및 상기 검출된 횡단보도에 대한 상기 보행자의 상기 판단된 근접성에 더 의거함; 및
    상기 호스트 차량의 하나 이상의 액추에이터가 상기 예정 항법 동작을 이행하도록 유발;
    하도록 프로그램 된 것을 특징으로 하는, 시스템.
  62. 제61항에 있어서,
    상기 호스트 차량의 예정 항법 동작은, 상기 검출된 신호등이 녹색 상태이고, 상기 검출된 횡단보도에 대한 상기 보행자의 상기 판단된 근접성에 의하면 상기 호스트 차량이 상기 횡단보도와 교차하기 이전에 상기 보행자가 상기 횡단보도에 진입하지 않을 것 같은 경우에, 보행자 유발 조정 없이 상기 횡단보도를 횡단하는 동작을 포함하는 것을 특징으로 하는, 시스템.
  63. 제61항에 있어서,
    상기 호스트 차량의 상기 예정 항법 동작은, 상기 검출된 신호등이 녹색 상태이고, 상기 검출된 횡단보도에 대한 상기 보행자의 상기 판단된 근접성과 상기 보행자와 연관되어 검출된 진행 방향과 속도를 함께 고려하면 상기 호스트 차량이 상기 횡단보도와 교차하기 이전에 상기 보행자가 상기 횡단보도에 진입할 수 없다고 판단되는 경우에, 보행자 유발 조정 없이 상기 횡단보도를 횡단하는 동작을 포함하는 것을 특징으로 하는, 시스템.
  64. 제61항에 있어서,
    상기 호스트 차량의 상기 예정 항법 동작은, 상기 검출된 신호등이 녹색 상태이고 상기 검출된 횡단보도에 대한 상기 보행자의 상기 판단된 근접성에 의하면 상기 호스트 차량이 상기 횡단보도와 교차하기 이전에 상기 보행자가 상기 횡단보도에 진입할 수 있는 경우에, 보행자 유발 조정으로 상기 횡단보도를 횡단하는 동작을 포함하는 것을 특징으로 하는, 시스템.
  65. 제64항에 있어서,
    상기 보행자 유발 조정은 상기 보행자의 검출된 진행 방향과 속도에 의거하는 것을 특징으로 하는, 시스템.
  66. 제64항에 있어서,
    상기 보행자 유발 조정은 상기 보행자로부터 멀어지는 횡방향 이동을 포함하는 것을 특징으로 하는, 시스템.
  67. 제64항에 있어서,
    상기 보행자 유발 조정은 상기 호스트 차량이 횡단보도와 교차하기 이전에 상기 호스트 차량의 감속을 포함하는 것을 특징으로 하는, 시스템.
  68. 제61항에 있어서,
    상기 호스트 차량의 상기 예정 항법 동작은 상기 신호등이 녹색 상태이고 상기 보행자가 상기 횡단보도 내에 검출되는 경우에 상기 횡단보도 이전에 상기 호스트 차량을 정지하는 동작을 포함하는 것을 특징으로 하는, 시스템.
  69. 제61항에 있어서,
    상기 검출된 신호등이 상기 호스트 차량 및 상기 횡단보도와 관련된 것인지 여부의 상기 판단은 상기 적어도 하나의 처리 장치에 의해 접근 가능한 하나 이상의 지도에 포함된 신호등 관련성 정보에 의거하는 것을 특징으로 하는, 시스템.
  70. 제61항에 있어서,
    상기 호스트 차량의 상기 주변상황 내의 상기 신호등의 상기 존재의 검출은 상기 적어도 하나의 이미지의 분석에 의거하는 것을 특징으로 하는, 시스템.
  71. 제61항에 있어서,
    상기 호스트 차량의 상기 주변상황 내의 상기 신호등의 상기 존재의 검출은 상기 검출된 신호등에 의해 전송된 하나 이상의 신호에 의거하는 것을 특징으로 하는, 시스템.
  72. 제61항에 있어서,
    상기 검출된 신호등의 상기 상태의 판단은 상기 적어도 하나의 이미지의 분석에 의거하는 것을 특징으로 하는, 시스템.
  73. 제61항에 있어서,
    상기 검출된 신호등의 상기 상태의 판단은 상기 검출된 신호등에 의해 전송된 하나 이상의 신호에 의거하는 것을 특징으로 하는, 시스템.
  74. 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하는 단계;
    상기 적어도 하나의 이미지의 분석에 의거하여 상기 적어도 하나의 이미지에서 횡단보도의 묘사를 검출하는 단계;
    상기 적어도 하나의 이미지의 분석에 의거하여 보행자의 묘사가 상기 적어도 하나의 이미지에 등장하는지 여부를 판단하는 단계;
    상기 호스트 차량의 상기 주변상황에서 신호등의 존재를 검출하는 단계;
    상기 검출된 신호등이 상기 호스트 차량 및 상기 횡단보도에 관련된 것인지 여부를 판단하는 단계;
    상기 검출된 신호등의 상태를 판단하는 단계;
    보행자의 묘사가 상기 적어도 하나의 이미지에 등장하는 경우에, 상기 검출된 횡단보도에 대한 상기 보행자의 근접성을 판단하는 단계;
    상기 검출된 횡단보도에 대한 상기 호스트 차량의 항법을 유발하기 위한 예정 항법 동작을 적어도 하나의 주행 방침에 의거하여 결정하는 단계―여기서, 상기 예정 항법 동작의 결정은 상기 검출된 신호등의 상기 판단된 상태 및 상기 검출된 횡단보도에 대한 상기 보행자의 상기 판단된 근접성에 더 의거함; 및
    상기 호스트 차량의 하나 이상의 액추에이터가 상기 예정 항법 동작을 이행하도록 유발하는 단계를 포함하는,
    횡단보도에 부근에서의 호스트 차량의 항법을 위한 방법.
  75. 제74항에 있어서,
    상기 호스트 차량의 상기 주변상황 내의 상기 신호등의 상기 존재의 검출은 상기 검출된 신호등에 의해 전송된 하나 이상의 신호에 의거하는 것을 특징으로 하는, 방법.
  76. 제74항에 있어서,
    상기 호스트 차량의 예정 항법 동작은, 상기 검출된 신호등이 녹색 상태이고, 상기 검출된 횡단보도에 대한 상기 보행자의 상기 판단된 근접성에 의하면 상기 호스트 차량이 상기 횡단보도와 교차하기 이전에 상기 보행자가 상기 횡단보도에 진입하지 않을 것 같은 경우에, 보행자 유발 조정 없이 상기 횡단보도를 횡단하는 동작을 포함하는 것을 특징으로 하는, 방법.
  77. 제74항에 있어서,
    상기 호스트 차량의 상기 예정 항법 동작은, 상기 검출된 신호등이 녹색 상태이고, 상기 검출된 횡단보도에 대한 상기 보행자의 상기 판단된 근접성과 상기 보행자와 연관되어 검출된 진행 방향과 속도를 함께 고려하면 상기 호스트 차량이 상기 횡단보도와 교차하기 이전에 상기 보행자가 상기 횡단보도에 진입할 수 없다고 판단되는 경우에, 보행자 유발 조정 없이 상기 횡단보도를 횡단하는 동작을 포함하는 것을 특징으로 하는, 방법.
  78. 제74항에 있어서,
    상기 호스트 차량의 상기 예정 항법 동작은, 상기 검출된 신호등이 녹색 상태이고 상기 검출된 횡단보도에 대한 상기 보행자의 상기 판단된 근접성에 의하면 상기 호스트 차량이 상기 횡단보도와 교차하기 이전에 상기 보행자가 상기 횡단보도에 진입할 수 있는 경우에, 보행자 유발 조정으로 상기 횡단보도를 횡단하는 동작을 포함하는 것을 특징으로 하는, 방법.
  79. 호스트 차량의 주변상황을 나타내는 적어도 하나의 이미지를 이미지캡처장치로부터 수신하는 단계;
    횡단보도의 시작 위치와 종료 위치를 검출하는 단계;
    적어도 하나의 이미지의 분석에 의거하여 보행자가 상기 횡단보도의 부근에 존재하는지 여부를 판단하는 단계;
    상기 호스트 차량의 상기 주변상황에서 신호등의 존재를 검출하는 단계;
    상기 신호등이 상기 호스트 차량 및 상기 횡단보도에 관련된 것인지 여부를 판단하는 단계;
    상기 신호등의 상태를 판단하는 단계;
    상기 신호등의 상기 관련성, 상기 신호등의 상기 판단된 상태, 상기 횡단보도의 상기 부근에 상기 보행자의 존재, 상기 보행자와 상기 횡단보도의 상기 시작 위치 및 상기 종료 위치 중의 하나 사이에 선택된 최단 거리, 및 상기 보행자의 모션 벡터에 의거하여, 상기 검출된 횡단보도 부근에서의 상기 호스트 차량의 항법 동작을 결정하는 단계; 및
    상기 호스트 차량의 하나 이상의 액추에이터가 상기 항법 동작을 이행하도록 유발하는 단계를 포함하는,
    횡단보도에 부근에서의 호스트 차량의 항법을 위한 방법.
  80. 제79항에 있어서,
    상기 호스트 차량의 상기 주변상황 내의 상기 신호등의 상기 존재의 검출은 상기 검출된 신호등에 의해 전송된 하나 이상의 신호에 의거하는 것을 특징으로 하는, 방법.
  81. 제1항에 있어서,
    상기 호스트 차량 제동률은 상기 호스트 차량의 최대 제동 능력에 상응하는 것을 특징으로 하는, 시스템.
KR1020217007561A 2018-08-14 2019-08-14 안전 거리로 항법하기 위한 시스템 및 방법 KR20210042387A (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862718554P 2018-08-14 2018-08-14
US62/718,554 2018-08-14
US201862724355P 2018-08-29 2018-08-29
US62/724,355 2018-08-29
US201862772366P 2018-11-28 2018-11-28
US62/772,366 2018-11-28
US201862777914P 2018-12-11 2018-12-11
US62/777,914 2018-12-11
PCT/IB2019/000726 WO2020035728A2 (en) 2018-08-14 2019-08-14 Systems and methods for navigating with safe distances

Publications (1)

Publication Number Publication Date
KR20210042387A true KR20210042387A (ko) 2021-04-19

Family

ID=68072846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217007561A KR20210042387A (ko) 2018-08-14 2019-08-14 안전 거리로 항법하기 위한 시스템 및 방법

Country Status (6)

Country Link
US (5) US11840258B2 (ko)
EP (4) EP3842304A3 (ko)
JP (1) JP2021536599A (ko)
KR (1) KR20210042387A (ko)
CN (1) CN112601686A (ko)
WO (1) WO2020035728A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210248915A1 (en) * 2018-07-20 2021-08-12 Cybernet Systems Corp. Autonomous transportation system and methods
WO2023085468A1 (ko) * 2021-11-12 2023-05-19 충북대학교 산학협력단 차량 추월 제어 방법 및 이를 지원하는 차량 추월 제어 장치

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6712936B2 (ja) * 2016-09-23 2020-06-24 株式会社小松製作所 作業車両の管理システム及び作業車両の管理方法
DE102017202415A1 (de) * 2017-02-15 2018-08-16 Bayerische Motoren Werke Aktiengesellschaft Kollisionsvermeidung mit Querverkehr
CN110536828B (zh) * 2017-04-14 2021-11-16 日产自动车株式会社 车辆控制方法及车辆控制装置
DE102017208168A1 (de) * 2017-05-15 2018-11-15 Continental Automotive Gmbh Verfahren zum Erzeugen einer Überholwahrscheinlichkeitssammlung, Verfahren zum Betreiben einer Steuereinrichtung eines Kraftfahrzeugs, Überholwahrscheinlichkeitssammeleinrichtung und Steuereinrichtung
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
DE102017220139A1 (de) * 2017-11-13 2019-05-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bereitstellen einer Position wenigstens eines Objekts
EP3636507A1 (en) * 2018-03-20 2020-04-15 Mobileye Vision Technologies Ltd. Comfort responsibility sensitivity safety model
US11734962B2 (en) * 2018-05-16 2023-08-22 Christopher Straley Vehicle messaging system and method of operation thereof
US11326888B2 (en) * 2018-07-25 2022-05-10 Uatc, Llc Generation of polar occlusion maps for autonomous vehicles
DE102018120198A1 (de) * 2018-08-20 2020-02-20 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Luftfahrzeug
EP3626553A1 (en) * 2018-09-18 2020-03-25 Ningbo Geely Automobile Research & Development Co. Ltd. Brake performance optimizer
KR102637599B1 (ko) * 2018-10-08 2024-02-19 주식회사 에이치엘클레무브 차량간 통신 정보를 이용한 차선변경 제어장치 및 방법과, 그를 위한 성향 정보 산출 장치
US10627819B1 (en) * 2018-10-11 2020-04-21 Pony Ai Inc. On-site notification from autonomous vehicle for traffic safety
KR102604821B1 (ko) * 2018-11-09 2023-11-20 에스케이텔레콤 주식회사 차량의 위치 추정 장치 및 방법
FR3088590B1 (fr) * 2018-11-16 2020-10-23 Psa Automobiles Sa Regulation de la vitesse d’un vehicule, avec prise en compte de la volonte du conducteur dans un virage
JP7271950B2 (ja) * 2019-01-04 2023-05-12 トヨタ自動車株式会社 車両の制御装置
DE102019200828A1 (de) * 2019-01-24 2020-07-30 Robert Bosch Gmbh Hauptobjektauswahl für eine Assistenzfunktion oder automatisierte Fahrfunktion eines Fahrerassistenz- oder Fahrsystems eines Kraftfahrzeugs
FR3093057B1 (fr) * 2019-02-21 2021-02-19 Renault Sas Procédé de sécurisation d’un véhicule.
DE102019202587A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
GB2582262B (en) * 2019-03-02 2022-09-28 Jaguar Land Rover Ltd Imaging system and method
JP7093738B2 (ja) * 2019-03-08 2022-06-30 本田技研工業株式会社 車両制御装置
JP7261635B2 (ja) * 2019-03-28 2023-04-20 本田技研工業株式会社 車両制御装置
JP2020164045A (ja) * 2019-03-29 2020-10-08 マツダ株式会社 車両走行制御装置
WO2020207602A1 (en) * 2019-04-12 2020-10-15 Volvo Truck Corporation A method of determining an allowable vehicle state space for an articulated vehicle
US11798291B2 (en) * 2019-05-30 2023-10-24 Robert Bosch Gmbh Redundancy information for object interface for highly and fully automated driving
CN111291658B (zh) * 2019-09-06 2021-06-01 山东大学 Tbm搭载式隧道围岩结构虚拟再现系统与方法
US11537127B2 (en) * 2019-09-12 2022-12-27 Uatc, Llc Systems and methods for vehicle motion planning based on uncertainty
US11279349B2 (en) * 2019-09-26 2022-03-22 Intel Corporation Safety module, automated driving system, and methods thereof
US11273806B2 (en) * 2019-10-17 2022-03-15 Ford Global Technologies, Llc Enhanced collision mitigation
US11643073B2 (en) * 2019-10-24 2023-05-09 Zoox, Inc. Trajectory modifications based on a collision zone
US11420630B2 (en) 2019-10-24 2022-08-23 Zoox, Inc. Trajectory modifications based on a collision zone
US11499838B2 (en) * 2019-10-25 2022-11-15 Here Global B.V. Method, system, and computer program product for providing traffic data
CN114766022A (zh) * 2019-11-06 2022-07-19 俄亥俄州创新基金会 使用多时域优化的车辆动力学和动力总成控制系统和方法
CN112818727A (zh) * 2019-11-18 2021-05-18 华为技术有限公司 一种道路约束确定方法及装置
DE102019133680B3 (de) * 2019-12-10 2021-03-04 Audi Ag Verfahren und System zum Durchführen einer Rekuperation
US11860634B2 (en) * 2019-12-12 2024-01-02 Baidu Usa Llc Lane-attention: predicting vehicles' moving trajectories by learning their attention over lanes
EP4077083A1 (en) * 2019-12-18 2022-10-26 Volvo Truck Corporation A method for providing a positive decision signal for a vehicle
JP7336604B2 (ja) * 2020-02-21 2023-08-31 ブルースペース エイアイ，インコーポレイテッド 自律ナビゲーションの間の物体回避の方法
US11385642B2 (en) * 2020-02-27 2022-07-12 Zoox, Inc. Perpendicular cut-in training
JP2021160385A (ja) * 2020-03-30 2021-10-11 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7315904B2 (ja) * 2020-06-19 2023-07-27 トヨタ自動車株式会社 車両制御装置
US11481607B2 (en) 2020-07-01 2022-10-25 International Business Machines Corporation Forecasting multivariate time series data
US11823395B2 (en) * 2020-07-02 2023-11-21 Magna Electronics Inc. Vehicular vision system with road contour detection feature
EP3951673A1 (en) * 2020-08-04 2022-02-09 Aptiv Technologies Limited Method and system of collecting training data suitable for training an autonomous driving system of a vehicle
EP4200717A2 (en) * 2020-08-24 2023-06-28 Unlikely Artificial Intelligence Limited A computer implemented method for the automated analysis or use of data
US11814075B2 (en) 2020-08-26 2023-11-14 Motional Ad Llc Conditional motion predictions
KR20220032912A (ko) * 2020-09-08 2022-03-15 현대모비스 주식회사 차량의 주행 제어 장치 및 방법
KR20220052430A (ko) * 2020-10-20 2022-04-28 현대자동차주식회사 자율주행차량의 거동 제어 장치 및 그 방법
US11738772B1 (en) * 2020-12-18 2023-08-29 Zoox, Inc. Object avoidance with perceived safety subgoal
CN112650243B (zh) 2020-12-22 2023-10-10 北京百度网讯科技有限公司 车辆控制方法、装置、电子设备和自动驾驶车辆
JP2022104398A (ja) * 2020-12-28 2022-07-08 株式会社Subaru 車両の運転制御システム
US11462021B2 (en) * 2021-01-13 2022-10-04 GM Global Technology Operations LLC Obstacle detection and notification for motorcycles
JP2024505917A (ja) * 2021-01-27 2024-02-08 フォルテリックス リミテテッド 制約充足問題としての変換によってトラフィックシナリオにおける具体的なインスタンスを提供するための技法
US20220234614A1 (en) * 2021-01-28 2022-07-28 Motional Ad Llc Sampling-based maneuver realizer
US20220242422A1 (en) * 2021-02-02 2022-08-04 Toyota Research Institute, Inc. Systems and methods for updating the parameters of a model predictive controller with learned external parameters generated using simulations and machine learning
EP4039557A1 (en) 2021-02-09 2022-08-10 Aptiv Technologies Limited Trajectory validation for autonomous driving
EP4039556A1 (en) 2021-02-09 2022-08-10 Aptiv Technologies Limited Lateral acceleration control for autonomous driving
US20220289248A1 (en) * 2021-03-15 2022-09-15 Ford Global Technologies, Llc Vehicle autonomous mode operating parameters
US20220306156A1 (en) * 2021-03-29 2022-09-29 Nissan North America, Inc. Route Planner and Decision-Making for Exploration of New Roads to Improve Map
US11945441B2 (en) 2021-03-31 2024-04-02 Nissan North America, Inc. Explainability and interface design for lane-level route planner
CN112937608B (zh) * 2021-03-31 2022-06-21 吉林大学 一种基于轨迹预测的冰雪环境无人驾驶车辆一体化滚动决策方法、装置及存储介质
US20220314792A1 (en) * 2021-04-06 2022-10-06 Ford Global Technologies, Llc Vehicle speed limiting
US11958503B2 (en) * 2021-04-16 2024-04-16 Motional Ad Llc Techniques for navigating an autonomous vehicle based on perceived risk
JP2022169056A (ja) * 2021-04-27 2022-11-09 トヨタ自動車株式会社 運転支援装置
JP2022172928A (ja) * 2021-05-07 2022-11-17 ウーブン・プラネット・ホールディングス株式会社 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム
DE102021205633A1 (de) * 2021-06-02 2022-12-08 Zf Friedrichshafen Ag Fahrzeugsystem zur Durchführung einer Bremsung
US11724739B2 (en) * 2021-07-22 2023-08-15 GM Global Technology Operations LLC Vehicle actuation commands to affect transient handling
CN113537606B (zh) * 2021-07-22 2023-05-30 上汽通用五菱汽车股份有限公司 事故预测方法、装置及计算机可读存储介质
CN113674245B (zh) * 2021-08-20 2023-10-31 中汽创智科技有限公司 一种目标停车位的确定方法、装置、电子设备及存储介质
FR3126388A1 (fr) * 2021-08-25 2023-03-03 Psa Automobiles Sa Procédé et système pour gérer le guidage d’un véhicule automobile à l’approche d’un passage piéton
CN113744398B (zh) * 2021-09-03 2023-04-28 电子科技大学 一种基于激光与微波协同的地图重构融合方法
CN113852969B (zh) * 2021-09-14 2023-05-26 超讯通信股份有限公司 终端调度方法及装置
CN113911131A (zh) * 2021-09-24 2022-01-11 同济大学 面向自动驾驶环境人车冲突的责任敏感安全模型标定方法
US20230117467A1 (en) * 2021-10-14 2023-04-20 Lear Corporation Passing assist system
US11794766B2 (en) 2021-10-14 2023-10-24 Huawei Technologies Co., Ltd. Systems and methods for prediction-based driver assistance
US20230127465A1 (en) * 2021-10-26 2023-04-27 Ford Global Technologies, Llc System and method for approaching vehicle detection
US20230174110A1 (en) * 2021-12-03 2023-06-08 Zoox, Inc. Vehicle perception system with temporal tracker
FR3130232A1 (fr) * 2021-12-09 2023-06-16 Psa Automobiles Sa Contrôle autonome de la vitesse d’un véhicule après un freinage d’urgence
FR3130229A1 (fr) * 2021-12-10 2023-06-16 Psa Automobiles Sa Procédé et dispositif de contrôle de trajectoire d’un véhicule autonome
CN114548335B (zh) * 2022-02-24 2022-12-06 四川省机场集团有限公司 基于行驶域特征点的无动力设备里程频度推算方法及系统
US20230286508A1 (en) * 2022-03-14 2023-09-14 Garrett Transportation I Inc. Non-selfish traffic lights passing advisory systems
CN116788276A (zh) * 2022-03-15 2023-09-22 北京图森智途科技有限公司 一种车辆控制方法、车辆及存储介质
WO2023194801A1 (en) * 2022-04-06 2023-10-12 Mobileye Vision Technologies Ltd. Steering limiters for vehicle navigation
CN114895295B (zh) * 2022-04-19 2023-06-02 中国电子科技集团公司第十研究所 一种基于k近邻的通信散点关联加速方法及系统
DE102022111538A1 (de) 2022-05-09 2023-11-09 Daimler Truck AG Verfahren und Vorrichtung zur Planung eines Spurwechsels eines Fahrzeugs
CN114659525B (zh) * 2022-05-19 2022-09-02 武汉理工大学 面向三维船舶场景的可扩展性实时快速应急路径规划方法
WO2023239955A1 (en) * 2022-06-09 2023-12-14 AeroCine Ventures, Inc. Localization processing service and observed scene reconstruction service
US20230399014A1 (en) * 2022-06-14 2023-12-14 Motional Ad Llc Autonomous vehicle yielding
CN114872735B (zh) * 2022-07-10 2022-10-04 成都工业职业技术学院 基于神经网络算法的自动驾驶物流车辆决策方法和装置
CN114937081B (zh) * 2022-07-20 2022-11-18 之江实验室 基于独立非均匀增量采样的网联车位置估计方法及装置
CN115841766B (zh) * 2023-02-22 2023-07-04 青岛慧拓智能机器有限公司 一种矿区作业区域停靠点车位推荐方法
CN116257069B (zh) * 2023-05-16 2023-08-08 睿羿科技(长沙)有限公司 一种无人车辆编队决策与速度规划的方法
CN116373552B (zh) * 2023-06-05 2023-09-08 北京博创联动科技有限公司 一种基于车载传感器技术的车辆运动控制系统
CN116946162B (zh) * 2023-09-19 2023-12-15 东南大学 考虑路面附着条件的智能网联商用车安全驾驶决策方法
CN116968733B (zh) * 2023-09-22 2024-02-27 国汽(北京)智能网联汽车研究院有限公司 车辆安全风险评估方法及其装置、设备、介质

Family Cites Families (159)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3309589A (en) 1962-11-23 1967-03-14 Electricite Mecanique Et Appli Electrical device for precisely positioning a remote component
US3350882A (en) 1964-10-06 1967-11-07 Chrysler Corp Vehicle braking system
US7663502B2 (en) 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US7243945B2 (en) 1992-05-05 2007-07-17 Automotive Technologies International, Inc. Weight measuring systems and methods for vehicles
US7415126B2 (en) 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US7164117B2 (en) 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US4610484A (en) 1983-09-23 1986-09-09 The Boeing Company Deceleration control brake system
US5610815A (en) 1989-12-11 1997-03-11 Caterpillar Inc. Integrated vehicle positioning and navigation system, apparatus and method
US5390125A (en) 1990-02-05 1995-02-14 Caterpillar Inc. Vehicle position determination system and method
US5170352A (en) 1990-05-07 1992-12-08 Fmc Corporation Multi-purpose autonomous vehicle with path plotting
EP0617679B1 (en) 1991-12-24 1996-05-15 Lucas Industries Public Limited Company Braking distribution system for a multi-axle vehicle making allowance for background braking
JP3456399B2 (ja) 1998-02-09 2003-10-14 日産自動車株式会社 無段変速機の変速制御装置
JP3680734B2 (ja) 1999-02-08 2005-08-10 トヨタ自動車株式会社 電動機のトルクにより制動する車両及びその制御方法
JP2000285347A (ja) 1999-03-31 2000-10-13 Matsushita Electric Ind Co Ltd 緊急通報方法及び装置並びに車両緊急通報システム
US6737963B2 (en) 2001-03-30 2004-05-18 Koninklijke Philips Electronics N.V. Driver tailgating and following aid
JP4090726B2 (ja) 2001-11-26 2008-05-28 横浜ゴム株式会社 ブレーキ制御装置、ブレーキ制御方法および記録媒体
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
US9950722B2 (en) 2003-01-06 2018-04-24 General Electric Company System and method for vehicle control
JP3975922B2 (ja) * 2003-01-17 2007-09-12 トヨタ自動車株式会社 カーブ半径推定装置
JP4285124B2 (ja) 2003-07-17 2009-06-24 株式会社アドヴィックス 最大路面摩擦力推定装置、及びブレーキトルク制御装置
ATE396470T1 (de) 2004-04-08 2008-06-15 Mobileye Technologies Ltd Kollisionswarnsystem
NO320851B1 (no) 2004-04-15 2006-02-06 Oddvard Johnsen Kontrollerfunksjoner for brems basert pa en styring etter variasjoner i akselerasjonsverdier i hjulets horisontale plan
US7522982B2 (en) 2004-09-15 2009-04-21 Ford Global Technologies, Llc Methods and systems for detecting automobile rollover
US20070213911A1 (en) 2006-03-09 2007-09-13 Ford Global Technologies, Llc Trailbraking
US8744689B2 (en) 2007-07-26 2014-06-03 Hitachi, Ltd. Drive controlling apparatus for a vehicle
JP4416020B2 (ja) * 2007-08-03 2010-02-17 トヨタ自動車株式会社 走行計画生成装置
JP4538762B2 (ja) * 2008-05-20 2010-09-08 トヨタ自動車株式会社 車間距離制御装置
FR2931984B1 (fr) 2008-06-02 2014-12-12 Airbus France Procede et dispositif de generation d'une vitesse commandee pour un aeronef roulant sur le sol au sein d'un convoi d'aeronefs.
DE102008040241A1 (de) * 2008-07-08 2010-01-14 Robert Bosch Gmbh Ausweichfunktion zur Vermeidung von Kollisionen
DE102008045481A1 (de) 2008-08-28 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Auslösung eines selbsttätigen Notbremsvorgangs eines Fahrzeugs
DE102009000726A1 (de) 2009-02-09 2010-08-12 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Lenkanordnung eines Kraftfahrzeugs
EP2221581B1 (en) 2009-02-18 2017-07-19 Harman Becker Automotive Systems GmbH Method of estimating a propulsion-related operating parameter
US8244408B2 (en) 2009-03-09 2012-08-14 GM Global Technology Operations LLC Method to assess risk associated with operating an autonomic vehicle control system
US8224551B2 (en) * 2009-03-24 2012-07-17 Bendix Commercial Vehicle Systems Llc ACC extended mode operation
US8352111B2 (en) * 2009-04-06 2013-01-08 GM Global Technology Operations LLC Platoon vehicle management
US20110190972A1 (en) 2010-02-02 2011-08-04 Gm Global Technology Operations, Inc. Grid unlock
US8760030B2 (en) 2010-06-07 2014-06-24 David A. Ross Flexible rotor sequentially actuated motor/generator
CN103415425B (zh) 2010-12-31 2017-02-15 通用电气公司 用于控制车辆的系统和方法
CN102393873B (zh) * 2011-06-28 2015-08-05 河海大学 一种内河船舶航行安全距离的计算方法
US20130030651A1 (en) * 2011-07-25 2013-01-31 GM Global Technology Operations LLC Collision avoidance maneuver through differential braking
CN103858155B (zh) 2011-09-26 2017-10-03 丰田自动车株式会社 车辆的驾驶支援系统
US8694222B2 (en) * 2011-10-26 2014-04-08 GM Global Technology Operations LLC Collision avoidance system and method of operating the same
US8706393B2 (en) 2012-01-10 2014-04-22 Ford Global Technologies, Llc Intersection collision avoidance with adaptable vehicle dimensions
EP2618108B1 (en) * 2012-01-19 2018-10-17 Volvo Car Corporation Driver assisting system
KR101703144B1 (ko) 2012-02-09 2017-02-06 한국전자통신연구원 차량의 자율주행 장치 및 그 방법
DE102012002695A1 (de) * 2012-02-14 2013-08-14 Wabco Gmbh Verfahren zur Ermittlung einer Notbremssituation eines Fahrzeuges
US9082239B2 (en) 2012-03-14 2015-07-14 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants
US20140309872A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Customization of vehicle user interfaces based on user intelligence
FR2988507B1 (fr) * 2012-03-23 2014-04-25 Inst Francais Des Sciences Et Technologies Des Transports De Lamenagement Et Des Reseaux Systeme d'assistance pour vehicule routier
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
DE102012206725A1 (de) 2012-04-24 2013-10-24 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Versetzen eines autonom fahrenden Kraftfahrzeugs in einen sicheren Zustand
US20130278441A1 (en) 2012-04-24 2013-10-24 Zetta Research and Development, LLC - ForC Series Vehicle proxying
US9989637B2 (en) 2012-08-03 2018-06-05 Safie Holdings LLC Portable collision warning apparatus
US20160082885A1 (en) 2012-08-03 2016-03-24 Steve A. Safie Portable collision warning apparatus
SG2013067491A (en) 2012-09-07 2014-04-28 Agency Science Tech & Res A receiver for body channel communication and a method of operating a receiver therefrom
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
AT513714B1 (de) 2012-12-12 2015-02-15 Avl List Gmbh Verfahren zur Beurteilung der Beherrschbarkeit eines Fahrzeuges
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
US8849494B1 (en) * 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US20160006034A1 (en) 2013-03-25 2016-01-07 Jsr Corporation Electrode active material, electrode and electrical storage device
DE102013009414A1 (de) 2013-06-05 2014-12-11 Hengstler Gmbh Verfahren und Vorrichtung zur Erzeugung und Ausgabe von Mauttickets
US8874301B1 (en) 2013-07-09 2014-10-28 Ford Global Technologies, Llc Autonomous vehicle with driver presence and physiological monitoring
US9099006B2 (en) 2013-08-22 2015-08-04 GM Global Technology Operations LLC Context-aware threat response arbitration
JP5988170B2 (ja) * 2013-11-29 2016-09-07 アイシン精機株式会社 車両挙動制御装置および車両挙動制御システム
WO2015083009A1 (en) 2013-12-04 2015-06-11 Mobileye Vision Technologies Ltd. Systems and methods for mimicking a leading vehicle
US20150158495A1 (en) * 2013-12-05 2015-06-11 Elwha Llc Systems and methods for reporting characteristics of operator performance
US9123250B2 (en) 2013-12-05 2015-09-01 Elwha Llc Systems and methods for reporting real-time handling characteristics
US20150161894A1 (en) 2013-12-05 2015-06-11 Elwha Llc Systems and methods for reporting characteristics of automatic-driving software
DE102013020435A1 (de) 2013-12-06 2014-06-18 Daimler Ag Verfahren zum Erkennen von Objekten in einer Fahrzeugumgebung
DE102013225970A1 (de) * 2013-12-13 2015-06-18 Continental Teves Ag & Co. Ohg Verfahren zur Regelung der Fahrstabilität
EP3108264A2 (en) 2014-02-20 2016-12-28 Mobileye Vision Technologies Ltd. Advanced driver assistance system based on radar-cued visual imaging
US10692370B2 (en) * 2014-03-03 2020-06-23 Inrix, Inc. Traffic obstruction detection
JP5920532B2 (ja) 2014-05-01 2016-05-18 横浜ゴム株式会社 空気入りタイヤ
EP2942251B1 (en) * 2014-05-08 2017-04-05 Volvo Car Corporation Method for providing an object prediction representation
US9174649B1 (en) 2014-06-02 2015-11-03 Ford Global Technologies, Llc Redundancy for automated vehicle operations
DE102014215243B4 (de) 2014-08-01 2020-05-07 Bayerische Motoren Werke Aktiengesellschaft Robuste Totzeit- und Dynamikkompensation für Trajektorienfolgeregelung
US9767366B1 (en) 2014-08-06 2017-09-19 Waymo Llc Using obstacle clearance to measure precise lateral
US9731713B2 (en) 2014-09-10 2017-08-15 Volkswagen Ag Modifying autonomous vehicle driving by recognizing vehicle characteristics
US9925980B2 (en) * 2014-09-17 2018-03-27 Magna Electronics Inc. Vehicle collision avoidance system with enhanced pedestrian avoidance
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
DE112015005123T5 (de) 2014-11-12 2017-07-27 The Yokohama Rubber Co., Ltd. Luftreifen und Fahrzeug
US10050433B2 (en) 2014-12-11 2018-08-14 General Electric Company Power generation system and method with resistive braking capability
US10337594B2 (en) 2015-01-13 2019-07-02 Space Systems/Loral, Llc Incremental deployment device
EP3845426A1 (en) 2015-02-10 2021-07-07 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
AU2016262563B2 (en) 2015-05-13 2019-03-14 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance
US20160357262A1 (en) 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
US20160357187A1 (en) 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
US9836056B2 (en) 2015-06-05 2017-12-05 Bao Tran Smart vehicle
US9711050B2 (en) 2015-06-05 2017-07-18 Bao Tran Smart vehicle
US9475491B1 (en) * 2015-06-08 2016-10-25 Toyota Motor Engineering & Manufacturing North America, Inc. Lane changing for autonomous vehicles
US9937795B2 (en) 2015-06-24 2018-04-10 Nissan North America, Inc. Vehicle operation assistance information management for autonomous vehicle control transfer
US9630498B2 (en) 2015-06-24 2017-04-25 Nissan North America, Inc. Vehicle operation assistance information management
US10086699B2 (en) 2015-06-24 2018-10-02 Nissan North America, Inc. Vehicle operation assistance information management for autonomous vehicle control operation
JP2017019421A (ja) * 2015-07-13 2017-01-26 日立オートモティブシステムズ株式会社 周辺環境認識装置、及び周辺環境認識プログラム
CN107848515B (zh) 2015-07-27 2020-11-27 沃尔沃卡车集团 用于混合制动促动器的abs策略
JP6776513B2 (ja) 2015-08-19 2020-10-28 ソニー株式会社 車両制御装置と車両制御方法と情報処理装置および交通情報提供システム
KR102422933B1 (ko) * 2015-08-26 2022-07-21 주식회사 에이치엘클레무브 차량용 감지장치 및 차량용 감지방법
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
US10099705B2 (en) 2015-08-31 2018-10-16 Uber Technologies, Inc. Control system for autonomous-capable vehicles
US9849852B1 (en) * 2015-09-04 2017-12-26 Waymo Llc Intelligent deployment of safety mechanisms for autonomous vehicles
US9958864B2 (en) 2015-11-04 2018-05-01 Zoox, Inc. Coordination of dispatching and maintaining fleet of autonomous vehicles
US9910441B2 (en) 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
KR20170054186A (ko) 2015-11-09 2017-05-17 현대자동차주식회사 자율주행차량 제어 장치 및 그 방법
US9862364B2 (en) * 2015-12-04 2018-01-09 Waymo Llc Collision mitigated braking for autonomous vehicles
FR3045563B1 (fr) 2015-12-18 2018-02-09 Messier-Bugatti-Dowty Procede et systeme de commande de freinage d’un aeronef equipe d’un systeme d’inversion de poussee
WO2017120336A2 (en) * 2016-01-05 2017-07-13 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
JP6586380B2 (ja) 2016-03-01 2019-10-02 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2017154070A1 (ja) * 2016-03-07 2017-09-14 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム
US9645577B1 (en) 2016-03-23 2017-05-09 nuTonomy Inc. Facilitating vehicle driving and self-driving
US9857795B2 (en) 2016-03-24 2018-01-02 Honda Motor Co., Ltd. System and method for trajectory planning for unexpected pedestrians
US9896096B2 (en) * 2016-04-11 2018-02-20 David E. Newman Systems and methods for hazard mitigation
US10112610B2 (en) * 2016-04-15 2018-10-30 Robert Bosch Gmbh Regional adjustment for driver assistance functions
KR101850392B1 (ko) 2016-05-12 2018-04-19 엘지전자 주식회사 차량에 구비된 제어장치 및 이의 제어방법
US9989966B2 (en) * 2016-05-20 2018-06-05 Delphi Technologies, Inc. Intersection cross-walk navigation system for automated vehicles
US10077050B2 (en) 2016-05-24 2018-09-18 GM Global Technology Operations LLC Automated driving system for evaluating lane cut-out and method of using the same
EP3465371A4 (en) 2016-05-31 2019-12-18 Peloton Technology Inc. STATE MACHINE FOR PLATOON REGULATOR
US10081357B2 (en) * 2016-06-23 2018-09-25 Honda Motor Co., Ltd. Vehicular communications network and methods of use and manufacture thereof
US9953535B1 (en) * 2016-06-27 2018-04-24 Amazon Technologies, Inc. Annotated virtual track to inform autonomous vehicle control
US9988046B2 (en) 2016-07-26 2018-06-05 Ford Global Technologies, Llc Enhanced collision avoidance
DE102016009760A1 (de) * 2016-08-11 2018-02-15 Trw Automotive Gmbh Steuerungssystem und Steuerungsverfahren zum Führen eines Kraftfahrzeugs entlang eines Pfades
US10248874B2 (en) * 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
US10338591B2 (en) * 2016-11-22 2019-07-02 Amazon Technologies, Inc. Methods for autonomously navigating across uncontrolled and controlled intersections
KR102496178B1 (ko) 2016-12-15 2023-02-03 현대자동차주식회사 연료전지 차량에 탑재되는 수소차단밸브의 제어 방법
JP6828428B2 (ja) * 2016-12-27 2021-02-10 株式会社デンソー 車両用衝突回避支援装置および車両の衝突回避支援方法
US10503176B2 (en) 2016-12-30 2019-12-10 Bendix Commercial Vehicle Systems Llc Self-ordering of fleet vehicles in a platoon
US10073464B2 (en) 2016-12-30 2018-09-11 Bendix Commercial Vehicle Systems Llc Varying the distance between vehicles in a platoon
US10403145B2 (en) * 2017-01-19 2019-09-03 Ford Global Technologies, Llc Collison mitigation and avoidance
US10220850B2 (en) * 2017-01-30 2019-03-05 GM Global Technology Operations LLC Vehicle propulsion systems and methods
US10509120B2 (en) 2017-02-16 2019-12-17 GM Global Technology Operations LLC Lidar-radar relative pose calibration
KR102265376B1 (ko) 2017-03-07 2021-06-16 현대자동차주식회사 차량 및 그 제어방법과 이를 이용한 자율 주행 시스템
US10460180B2 (en) 2017-04-20 2019-10-29 GM Global Technology Operations LLC Systems and methods for visual classification with region proposals
US10699142B2 (en) 2017-04-20 2020-06-30 GM Global Technology Operations LLC Systems and methods for traffic signal light detection
US10409288B2 (en) * 2017-05-03 2019-09-10 Toyota Research Institute, Inc. Systems and methods for projecting a location of a nearby object into a map according to a camera image
US10507813B2 (en) * 2017-05-10 2019-12-17 Baidu Usa Llc Method and system for automated vehicle emergency light control of an autonomous driving vehicle
AU2018269000B2 (en) 2017-05-15 2021-03-11 Ouster, Inc. Optical imaging transmitter with brightness enhancement
CA3068943A1 (en) 2017-07-05 2019-01-10 Ouster, Inc. Light ranging device with electronically scanned emitter array and synchronized sensor array
DE102017212020B3 (de) 2017-07-13 2018-05-30 Carl Zeiss Microscopy Gmbh Verfahren zur In-situ-Präparation und zum Transfer mikroskopischer Proben, Computerprogrammprodukt sowie mikroskopische Probe
US10549732B2 (en) 2017-09-15 2020-02-04 Bendix Commercial Vehicle Systems Llc Towing vehicle controller using trailer braking strategy and trailer braking control method
US10549739B2 (en) 2017-09-15 2020-02-04 Bendix Commercial Vehicle Systems Llc Towing vehicle controller using trailer braking strategy and trailer braking control method
US10525950B2 (en) 2017-09-15 2020-01-07 Bendix Commercial Vehicle Systems Llc Braking controller and method using verification of reported trailer capabilities
US10814844B2 (en) 2017-09-15 2020-10-27 Bendix Commercial Vehicle Systems Llc Braking controller and method using verification of reported trailer capabilities
US10691962B2 (en) 2017-09-22 2020-06-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning
US9934440B1 (en) 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
US10782138B2 (en) * 2017-10-06 2020-09-22 Here Global B.V. Method, apparatus, and computer program product for pedestrian behavior profile generation
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US11163309B2 (en) * 2017-11-30 2021-11-02 Direct Current Capital LLC Method for autonomous navigation
US11353556B2 (en) 2017-12-07 2022-06-07 Ouster, Inc. Light ranging device with a multi-element bulk lens system
US10467907B2 (en) 2017-12-28 2019-11-05 Bendix Commercial Vehicle Systems Llc Initialization and safety maintenance strategy for platooning vehicles
US11164463B2 (en) 2017-12-29 2021-11-02 Bendix Commercial Vehicle Systems Llc Brake performance monitoring for vehicle platooning operation
CN110352153A (zh) 2018-02-02 2019-10-18 辉达公司 自主车辆中用于障碍物躲避的安全程序分析
US11789449B2 (en) * 2018-02-09 2023-10-17 Nvidia Corporation Controlling autonomous vehicles using safe arrival times
EP3636507A1 (en) 2018-03-20 2020-04-15 Mobileye Vision Technologies Ltd. Comfort responsibility sensitivity safety model
US10807592B2 (en) * 2018-06-18 2020-10-20 Micron Technology, Inc. Vehicle navigation using object data received from other vehicles
US11454975B2 (en) * 2018-06-28 2022-09-27 Uatc, Llc Providing actionable uncertainties in autonomous vehicles
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
WO2021070451A1 (ja) * 2019-10-09 2021-04-15 株式会社Ｓｏｋｅｎ 車両制御装置、車両制御方法、自動運転装置及び自動運転方法
US11623622B2 (en) * 2019-12-27 2023-04-11 Intel Corporation System and method for emergency braking

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210248915A1 (en) * 2018-07-20 2021-08-12 Cybernet Systems Corp. Autonomous transportation system and methods
WO2023085468A1 (ko) * 2021-11-12 2023-05-19 충북대학교 산학협력단 차량 추월 제어 방법 및 이를 지원하는 차량 추월 제어 장치

Also Published As

Publication number Publication date
EP3842304A3 (en) 2021-09-15
US20210191406A1 (en) 2021-06-24
WO2020035728A3 (en) 2020-04-30
US20210240197A1 (en) 2021-08-05
US11840258B2 (en) 2023-12-12
US20210162995A1 (en) 2021-06-03
EP3854646A2 (en) 2021-07-28
EP3854646A3 (en) 2021-09-22
WO2020035728A2 (en) 2020-02-20
EP3842303A3 (en) 2021-09-15
US20210200235A1 (en) 2021-07-01
EP3842304A2 (en) 2021-06-30
JP2021536599A (ja) 2021-12-27
CN112601686A (zh) 2021-04-02
US11932277B2 (en) 2024-03-19
EP3842303A2 (en) 2021-06-30
US11897508B2 (en) 2024-02-13
EP3787947A2 (en) 2021-03-10
US20210094577A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
KR102337011B1 (ko) 차량의 항법을 위한 시스템 및 방법
KR102316406B1 (ko) 부과된 책임 제약이 있는 항법 시스템
KR20210042387A (ko) 안전 거리로 항법하기 위한 시스템 및 방법
KR20190107057A (ko) 차량 움직임에 기반한 항법
CN114364591A (zh) 用于交通工具导航系统和方法