KR102524851B1 - 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법 - Google Patents

차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102524851B1
KR102524851B1 KR1020197013557A KR20197013557A KR102524851B1 KR 102524851 B1 KR102524851 B1 KR 102524851B1 KR 1020197013557 A KR1020197013557 A KR 1020197013557A KR 20197013557 A KR20197013557 A KR 20197013557A KR 102524851 B1 KR102524851 B1 KR 102524851B1
Authority
KR
South Korea
Prior art keywords
lane
vehicle
lane marking
target vehicle
host vehicle
Prior art date
Application number
KR1020197013557A
Other languages
English (en)
Other versions
KR20190080885A (ko
Inventor
돌 이글벅
기던 스테인
요브 타이엡
요람 지달야후
오퍼 프리드만
Original Assignee
모빌아이 비젼 테크놀로지스 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모빌아이 비젼 테크놀로지스 엘티디. filed Critical 모빌아이 비젼 테크놀로지스 엘티디.
Priority to KR1020237013087A priority Critical patent/KR20230054911A/ko
Publication of KR20190080885A publication Critical patent/KR20190080885A/ko
Application granted granted Critical
Publication of KR102524851B1 publication Critical patent/KR102524851B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/43—Control of position or course in two dimensions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/80—Arrangements for reacting to or preventing system or operator failure
    • G05D1/81—Handing over between on-board automatic and on-board manual control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)

Abstract

자율주행차의 항법을 위한 시스템과 방법이 개시된다. 일 실시예에서, 시스템은 호스트 차량의 주변상황을 나타내는 복수의 이미지를 수신하도록 프로그램된다. 주변상황은 호스트 차량이 이동 중인 도로를 포함한다. 적어도 하나의 처리 장치는 또한 이미지를 분석하여 호스트 차량이 이동 중인 차로와 다른 차로에서 이동 중인 타깃 차량을 식별하고, 이미지를 분석하여 타깃 차량이 이동 중인 차로와 연관된 차로 표시를 식별하고, 식별된 차로 표시의 차로 표시 특성을 검출하고, 검출된 차로 표시 특성을 활용하여 식별된 차로 표시의 유형을 판단하고, 타깃 차량의 특성을 판단하고, 판단된 차로 표시 유형과 타깃 차량의 판단된 특성에 의거하여 호스트 차량에 대한 항법 동작을 결정하도록 프로그램된다.

Description

차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
본 발명은 자율 주행에 관한 것이다. 또한, 본 발명은 차로 표시의 식별, 차로 표시 유형의 판단, 및 차로 병합과 차로 분리의 항법을 위한 시스템 및 방법에 관한 것이다.
기술 발전과 함께, 도로 상에서 항법이 가능한 완전 자율 자동차의 구현이 목전에 있다. 자율주행차는 의도한 목적지에 안전하고 정확하게 도착하기 위해 다양한 요소를 고려하고 그런 요소에 근거한 적절한 판단을 해야 할 수 있다. 예를 들어, 자율주행차는 시각 정보(예를 들면, 카메라로부터 캡처 된 정보) 및 레이더 또는 라이더(lidar)로부터의 정보를 처리하고 해석해야 할 수 있고, 또한 기타 출처(예를 들면, GPS 장치, 속력 센서, 가속도계, 서스펜션 센서 등)로부터 획득한 정보를 이용할 수도 있다. 동시에, 자율주행차는, 목적지로 주행하기 위하여, 특정 도로 내의 위치(예를 들면, 다차선 도로 상의 특정 차로)를 식별하고, 다른 차량을 따라 주행하고, 장애물과 보행자를 회피하고, 신호등과 도로표지판을 관찰하고, 적절한 교차로나 분기점에서 한 도로에서 다른 도로로 이동하고, 차량의 조작 중에 발생하는 기타 다른 상황에 대응할 필요가 있을 수도 있다. 또한, 자율주행차는 차로 표시의 상이한 유형과 같은 도로 특성도 고려해야 할 필요가 있을 수 있다.
자율주행차는 주행 중에 일반적으로 다양한 유형의 차로를 포함하는 도로 상에서 이동하게 된다. 예를 들면, 자율주행차가 이동 중인 차로는 인접한 차로와 병합할 수 있다. 일부의 경우, 자율주행차 인근의 타 차량이 막다른 옆 차로에서 이동할 수 있고 자율주행차의 앞으로 들어올 수 있다. 다른 예를 들면, 자율주행차가 이동 중인 차로가 갈라져서 출구 차로와 같은 추가적인 인접 차로를 형성할 수 있다. 일부의 경우, 자율주행차에 앞선 타 차량이 차로를 변경하거나 도로를 빠져나가 더 이상 자율주행차의 앞에 위치하지 않을 수 있다. 각각의 이런 상황에서, 자율주행차는 이러한 차로 변경과 차로 변경을 위해 주변의 차량이 취할 가능성이 있는 동작을 자율 주행 중에 고려해야 할 필요가 있을 수 있다. 또한, 이러한 차로 변경이 발생하는 경우, 자율주행차는 안전하고 정확하게 이동하기 위하여 자율주행차의 주행 경로 또는 속력을 수정할 필요가 있을 수 있다.
본 발명은 차로 표시의 식별, 차로 표시 유형의 판단, 및 차로 병합과 차로 분리의 항법을 위한 시스템 및 방법에 관한 것이다.
본 기재의 실시예들은 자율 주행을 위한 시스템과 방법을 제공한다. 기재된 실시예는 카메라를 사용하여 자율 주행 특징을 제공할 수 있다. 예를 들면, 기재된 실시예에 따라, 기재된 시스템은 차량의 주변상황을 모니터하는 하나, 둘, 또는 그 이상의 카메라를 포함할 수 있다. 기재된 시스템은, 예를 들어, 하나 또는 그 이상의 카메라에 의해 캡처 된 이미지의 분석에 근거하여 하나 또는 그 이상의 항법 동작을 결정할 수 있다. 하나 또는 그 이상의 항법 동작은 또한, 예를 들어, GPS 데이터, 센서 데이터(예, 가속도계, 속력 센서, 서스펜션 센서 등으로부터의 데이터), 및/또는 기타 지도 데이터를 포함하는 기타 데이터를 고려할 수 있다.
일 실시예에서, 호스트 차량의 항법을 위한 시스템이 기재된다. 상기 시스템은 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신하도록 프로그램된 적어도 하나의 처리 장치를 포함할 수 있다. 상기 주변상황은 호스트 차량이 이동 중인 도로를 포함할 수 있다. 적어도 하나의 처리 장치는 복수의 이미지의 적어도 하나를 분석하여 호스트 차량이 이동 중인 차로와 다른 도로의 차로 내에서 이동중인 타깃 차량을 식별하고, 복수의 이미지의 적어도 하나를 분석하여 타깃 차량이 이동 중인 차로와 연관된 적어도 하나의 차로 표시를 식별하고, 적어도 하나의 식별된 차로 표시의 하나 이상의 차로 표시 특성을 검출하고, 하나 이상의 검출된 차로 표시 특성을 활용하여 적어도 하나의 식별된 차로 표시의 유형을 판단하고, 타깃 차량의 적어도 하나의 특성을 판단하고, 판단된 차로 표시 유형과 판단된 타깃 차량 특성에 의거하여 호스트 차량에 대한 항법 동작을 결정하도록 더 프로그램 된다.
다른 실시예에서, 호스트 차량의 항법을 위한 시스템이 기재된다. 상기 시스템은 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신하도록 프로그램된 적어도 하나의 처리 장치를 포함할 수 있다. 상기 주변상황은 호스트 차량이 이동 중인 도로를 포함할 수 있다. 적어도 하나의 처리 장치는 복수의 이미지의 적어도 하나를 분석하여 호스트 차량이 이동 중인 도로의 차로 내에서 이동중인 타깃 차량을 식별하고, 복수의 이미지의 적어도 하나를 분석하여 상기 차로와 연관된 적어도 하나의 차로 표시를 식별하고, 적어도 하나의 식별된 차로 표시의 하나 이상의 특성을 검출하고, 하나 이상의 검출된 차로 표시 특성을 활용하여 적어도 하나의 식별된 차로 표시의 유형을 판단하고, 타깃 차량의 적어도 하나의 특성을 판단하고, 판단된 차로 표시 유형과 판단된 타깃 차량 특성에 의거하여 호스트 차량에 대한 항법 동작을 결정하도록 더 프로그램 된다.
다른 실시예에서, 호스트 차량의 항법을 위한 방법이 기재된다. 상기 방법은: 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신하는 단계―여기서, 상기 주변상황은 호스트 차량이 이동 중인 도로를 포함함; 적어도 하나의 처리 장치에 의해 복수의 이미지의 적어도 하나를 분석하여 호스트 차량이 이동 중인 차로와 다른 도로의 차로 내에서 이동중인 타깃 차량을 식별하는 단계; 복수의 이미지의 적어도 하나를 분석하여 타깃 차량이 이동 중인 차로와 연관된 적어도 하나의 차로 표시를 식별하는 단계; 적어도 하나의 식별된 차로 표시의 하나 이상의 차로 표시 특성을 검출하는 단계; 하나 이상의 검출된 차로 표시 특성을 활용하여 적어도 하나의 식별된 차로 표시의 유형을 판단하는 단계; 타깃 차량의 적어도 하나의 특성을 판단하는 단계; 및 판단된 차로 표시 유형과 판단된 타깃 차량 특성에 의거하여 호스트 차량에 대한 항법 동작을 결정하는 단계를 포함한다.
또 다른 실시예에서, 호스트 차량의 항법을 위한 방법이 기재된다. 상기 방법은: 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신하는 단계―여기서, 상기 주변상황은 호스트 차량이 이동 중인 도로를 포함함; 적어도 하나의 처리 장치에 의해 복수의 이미지의 적어도 하나를 분석하여 호스트 차량이 이동 중인 도로의 차로 내에서 이동중인 타깃 차량을 식별하는 단계; 복수의 이미지의 적어도 하나를 분석하여 상기 차로와 연관된 적어도 하나의 차로 표시를 식별하는 단계; 적어도 하나의 식별된 차로 표시의 하나 이상의 특성을 검출하는 단계; 하나 이상의 검출된 차로 표시 특성을 활용하여 적어도 하나의 식별된 차로 표시의 유형을 판단하는 단계; 타깃 차량의 적어도 하나의 특성을 판단하는 단계; 및 판단된 차로 표시 유형과 판단된 타깃 차량 특성에 의거하여 호스트 차량에 대한 항법 동작을 결정하는 단계를 포함한다.
다른 기재된 실시예에 따라, 비일시적 컴퓨터 가독 저장 매체는 적어도 하나의 처리 장치에 의해 실행되고 상기 기재된 방법 중의 어느 하나 이상을 수행하는 프로그램 명령을 저장할 수 있다.
상기 기재와 하기의 상세한 설명은 예시일 뿐이며 본 발명의 청구범위를 제한하지 않는다.
본 명세서에 포함되고 본 명세서의 일부를 구성하는 첨부 도면은 기재된 다양한 실시예를 도시한다.
도 1은 기재된 실시예에 따른 예시적인 시스템의 개략도이다.
도 2a는 기재된 실시예에 따른 시스템을 포함하는 예시적인 자동차의 측면도이다.
도 2b는 기재된 실시예에 따른 도 2a의 자동차와 시스템의 평면도이다.
도 2c는 기재된 실시예에 따른 시스템을 포함하는 자동차의 다른 실시예의 평면도이다.
도 2d는 기재된 실시예에 따른 시스템을 포함하는 자동차의 또 다른 실시예의 평면도이다.
도 2e는 기재된 실시예에 따른 시스템을 포함하는 자동차의 또 다른 실시예의 평면도이다.
도 2f는 기재된 실시예에 따른 예시적인 자동차 제어 시스템의 개략도이다.
도 3a는 기재된 실시예에 따른 차량 이미징 시스템을 위한 백미러(rear view mirror)와 사용자 인터페이스를 포함하는 차량의 실내를 개략적으로 예시한 것이다.
도 3b는 기재된 실시예에 따른 백미러 뒤의 차량 전면 유리에 위치되도록 구성된 카메라 마운트의 일례이다.
도 3c는 기재된 실시예에 따른 도 3b의 카메라 마운트를 다른 시각에서 예시한 것이다.
도 3d는 기재된 실시예에 따른 백미러 뒤의 차량 전면 유리에 위치되도록 구성된 카메라 마운트의 일례이다.
도 4는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장하도록 구성된 메모리의 예시적인 구성도이다.
도 5a는 기재된 실시예에 따른 단안 이미지 분석에 근거한 하나 이상의 주행 반응을 야기하는 프로세스의 일례를 예시한 순서도이다.
도 5b는 기재된 실시예에 따른 일련의 영상에서 하나 이상의 차량 및/또는 보행자를 검출하는 예시적인 프로세스를 도시한 순서도이다.
도 5c는 기재된 실시예에 따른 일련의 영상에서 도로 표시 및/또는 차선 형상 정보를 검출하는 예시적인 프로세스를 도시한 순서도이다.
도 5d는 기재된 실시예에 따른 일련의 영상에서 신호등을 검출하는 예시적인 프로세스를 도시한 순서도이다.
도 5e는 기재된 실시예에 따른 차량 경로에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 프로세스를 도시한 순서도이다.
도 5f는 기재된 실시예에 따른 선두 차량이 차선 변경을 하는지를 판단하는 예시적인 프로세스를 도시한 순서도이다.
도 6은 기재된 실시예에 따른 입체 영상 분석에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 프로세스를 도시한 순서도이다.
도 7은 기재된 실시예에 따른 3개 집합의 영상에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 프로세스를 도시한 순서도이다.
도 8a는 기재된 실시예에 따른 도로 상의 예시적인 차로 병합을 도시한 것이다.
도 8b는 기재된 실시예에 따른 도로 상의 예시적인 차로 분리를 도시한 것이다.
도 9는 기재된 실시예에 따른 차로 변화 분석에 의거한 하나 이상의 항법 동작의 판단을 위한 예시적인 프로세스를 도시한 순서도이다.
도 10a는 기재된 실시예에 따른 차로 병합이 있는 도로 상의 자율주행차의 평면도를 도시한 것이다.
도 10b는 기재된 실시예에 따른 차로 병합에 대한 예시적인 차로 변화 분석을 도시한 것이다.
도 11은 기재된 실시예에 따른 차로 변화 분석에 의거한 하나 이상의 항법 동작의 판단을 위한 다른 예시적인 프로세스를 도시한 순서도이다.
도 12a는 기재된 실시예에 따른 차로 분리가 있는 도로 상의 자율주행차의 평면도를 도시한 것이다.
도 12b는 기재된 실시예에 따른 차로 분리에 대한 예시적인 차로 변화 분석을 도시한 것이다.
도 13은 기재된 실시예에 따른 차로 변화 분석에 의거한 하나 이상의 항법 동작의 판단을 위한 다른 예시적인 프로세스를 도시한 순서도이다.
도 14a 내지 도 14c는 기재된 실시예에 따른 차로 병합에 대한 예시적인 차로 변화 분석을 도시한 것이다.
도 15a 내지 도 15c는 기재된 실시예에 따른 차로 분리에 대한 예시적인 차로 변화 분석을 도시한 것이다.
하기의 상세한 설명은 첨부한 도면에 관한 것이다. 가능한 모든 경우에, 도면과 설명에서 동일 또는 유사한 구성요소에 동일한 참조 번호를 사용한다. 여러 예시적인 실시예를 설명하였지만, 다양한 수정, 응용, 구현 등이 가능하다. 예를 들어, 도면에 예시된 구성요소를 치환, 또는 추가, 수정할 수 있고, 설명에 포함된 방법은 단계를 치환하거나 순서를 바꾸거나 추가하여 수정할 수 있다. 따라서, 하기의 상세한 설명은 기재한 실시예와 예시에 국한되지 않고, 본 발명의 청구 범위는 첨부한 청구항에 의해 정의된다.
자율주행차의 개요
본 기재에서 사용된 "자율주행차"라는 용어는 운전자의 입력 없이 적어도 하나의 주행 변경을 구현할 수 있는 차량을 의미한다. "주행 변경"이란 차량의 조향, 제동, 가속/감속의 하나 이상을 변경하는 것을 의미한다. 차량이 자율이기 위해서는 완전 자동(예, 운전자나 운전자의 입력 없이 완전히 동작)일 필요는 없다. 반면, 자율주행차는 특정 시간 동안은 운전자의 제어 하에 작동할 수 있고 다른 시간 동안은 운전자의 제어 없이 작동할 수 있는 차량을 포함한다. 자율주행차는 조향(예, 차량 진로의 차선 사이 유지) 또는 특정 상황 하(모든 상황 하에서가 아님)에서의 일부 조향 동작과 같은 일부 주행 요소만을 제어하고 나머지 요소(예, 제동 또는 특정 상황 하에서의 제동)는 운전자에게 맡기는 차량도 포함할 수 있다. 일부 경우에, 자율주행차는 차량의 제동 및/또는 속도 제어, 조향의 일부 또는 모든 요소를 처리할 수 있다.
운전자들은 차량을 제어하기 위해 흔히 시각적 신호와 관찰에 의존하므로, 교통 인프라는 이에 따라 구축되어, 차로 표시, 교통 표지, 신호등이 운전자들에게 시각적 정보를 제공하도록 설계되었다. 교통 인프라의 이러한 설계 특징을 고려하여, 자율주행차는 카메라 및 차량의 주변으로부터 확보한 시각적 정보를 분석하는 처리부를 포함할 수 있다. 시각적 정보는, 예를 들어, 운전자가 눈으로 확인할 수 있는 교통 인프라의 구성요소(예, 차로 표시, 교통 표지, 신호등 등) 및 기타 장애물(예, 다른 차량, 보행자, 잔해 등)을 나타내는 이미지를 포함할 수 있다. 또한, 자율주행차는 주행 시에 차량 주변상황의 모델을 제공하는 정보와 같은 저장 정보도 사용할 수 있다. 예를 들어, 차량은 이동 중의 차량 주변상황과 관련된 정보를 제공하기 위하여 GPS 데이터 및/또는 센서 데이터(예, 가속도계, 속력 센서, 서스펜션 센서 등으로부터의 데이터), 기타 지도 데이터를 활용할 수 있고, 차량(다른 차량도 함께)은 이런 정보를 이용하여 차량의 위치를 모델 상에서 알아낼 수 있다. 일부 차량들은 또한, 서로 통신이 가능하여, 정보를 교환하고, 차량 주변의 위험 또는 변화에 대해 상대 차량의 수정 등을 가능하게 한다.
시스템 개요
도 1은 본 발명 실시예의 일례에 따른 시스템(100)의 구성도이다. 시스템(100)은 해당 구현의 요구 조건에 따라 다양한 구성 요소를 포함할 수 있다. 일부 실시예에서, 시스템(100)은 처리부(110), 이미지획득부(120), 위치센서(120), 하나 이상의 메모리부(140, 150), 지도 데이터베이스(160), 사용자 인터페이스(170), 무선 송수신기(172)를 포함할 수 있다. 처리부(110)는 하나 이상의 처리 장치를 포함할 수 있다. 일부 실시예에서, 처리부(110)는 애플리케이션 프로세서(180), 이미지 프로세서(190), 또는 기타 적합한 처리 장치를 포함할 수 있다. 이와 마찬가지로, 이미지획득부(120)는 특정 애플리케이션의 요구 조건에 따라 여러 개의 이미지 획득 장치 및 소자를 포함할 수 있다. 일부 실시예에서, 이미지획득부(120)는 이미지캡처장치(122, 124, 126)와 같은 하나 이상의 이미지캡처장치(예, 카메라, ccd, 또는 기타 유형의 이미지센서)를 포함할 수 있다. 시스템(100)은 또한 처리부(110)와 이미지획득부(120)를 서로 통신하도록 연결하는 데이터 인터페이스(128)를 포함할 수 있다. 예를 들어, 데이터 인터페이스(128)는 이미지획득부(120)가 획득한 이미지 데이터를 처리부(110)로 전송하기 위한 단수 또는 복수의 유선 및/또는 무선 링크를 포함할 수 있다.
무선 송수신기(172)는 무선주파수, 또는 적외선주파수, 자기장, 전기장을 사용하여 무선 인터페이스를 통하여 전파를 하나 이상의 네트워크(예, 이동통신, 인터넷 등)와 주고받도록 구성된 하나 이상의 장치를 포함할 수 있다. 무선 송수신기(172)는 공지의 표준(예, Wi- Fi, bluetooth®, bluetooth Smart, 802.15.4, Zigbee 등)을 사용하여 데이터를 송신 및/또는 수신할 수 있다. 이러한 송신은 호스트 차량으로부터 하나 이상의 원격 서버로의 통신을 포함할 수 있다. 이러한 송신은 또한, 호스트 차량과 호스트 차량의 주변환경에 있는 한 대 이상의 타깃 차량 사이의 (일방 또는 쌍방) 통신(예, 호스트 차량의 주변환경에 있는 타깃 차량을 고려한/또는 타깃 차량과 함께 호스트 차량의 주행을 조정하기 위함) 또는 전송 차량의 주변에 있는 불특정 수신자에게 보내는 방송도 포함할 수 있다.
애플리케이션 프로세서(180)와 이미지 프로세서(190)는 모두 다양한 종류의 하드웨어 기반 처리 장치를 포함할 수 있다. 예를 들어, 애플리케이션 프로세서(180)와 이미지 프로세서(190) 중 하나 또는 모두는 마이크로프로세서, 전처리 장치(예, 이미지 전처리 장치), 그래픽 프로세서, 중앙 처리 장치(CPU), 보조 회로, 디지털 신호 처리 장치, 집적 회로, 메모리, 또는 애플리케이션을 실행하고 영상을 처리 및 분석하기에 적합한 유형의 장치를 포함할 수 있다. 일부 실시예에서, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)는 단일 또는 멀티 코어 프로세서, 모바일 장치 마이크로컨트롤러, 중앙 처리 장치의 한 종류를 포함할 수 있다. Intel®, AMD® 등과 같은 업체가 제공하는 프로세서들을 포함하는 다양한 처리 장치들이 사용될 수 있으며, 다양한 아키텍처(예, x86 프로세서, ARM® 등)가 포함될 수 있다.
일부 실시예에서, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)는 Mobileye®가 제공하는 eyeQ 시리즈의 프로세서 칩을 포함할 수 있다. 이러한 프로세서 설계는 로컬 메모리와 명령 집합을 가진 다중 처리 장치를 포함한다. 이러한 프로세서는 복수의 이미지 센서로부터 이미지 데이터를 수신하는 비디오 인풋을 포함할 수 있고 비디오 아웃풋 기능도 포함할 수 있다. 일례로, eyeQ2®는 332Mhz로 작동하는 90nm-마이크론 기술을 사용한다. eyeQ2® 아키텍처는 두 개의 부동 소수점(floating point) 하이퍼 스레드(hyper-thread) 32비트 RISC CPU(MIPS32® 34K® cores), 다섯 개의 Vision computing engines(Vce), 세 개의 Vector Microcode Processors(VMP®), Denali 64비트 Mobile DDR controller, 128비트 내부 Sonics Interconnect, 듀얼 16비트 비디오 인풋 및 18비트 비디오 아웃풋 제어 장치, 16채널 DMA 및 여러 주변 장치로 구성된다. MIPS34K CPU는 다섯 개의 VCE와 세 개의 VMPTM, DMA, 두 번째 MIPS34K CPU, 다중 채널 DMA, 및 기타 주변 장치를 관리한다. 다섯 개의 VCE, 세 개의 VMP® 및 MIPS34K CPU는 다기능 묶음 애플리케이션이 요구하는 집중 시각 연산(intensive vision computations)을 수행할 수 있다. 다른 일례에서, eyeQ2®보다 6배 강력한 3세대 프로세서인 eyeQ3®가 실시예에 사용될 수 있다. 다른 일례에서, eyeQ4® 및/또는 eyeQ5®가 기재된 실시예에 사용될 수 있다. 물론, 신형 또는 미래의 eyeQ 처리 장치도 기재된 실시예와 함께 사용될 수 있다.
여기에 기재된 처리 장치는 각각 특정한 기능을 수행하도록 구성될 수 있다. 특정한 기능을 수행하도록 상기의 eyeQ 프로세서 또는 기타 제어 장치 또는 마이크로프로세서와 같은 처리 장치를 구성하는 것은 컴퓨터 실행 명령을 프로그램하고 이러한 명령을 처리 장치가 작동하는 동안에 처리 장치에 제공하여 실행하도록 하는 것을 포함할 수 있다. 일부 실시예에서, 처리 장치를 구성하는 것은 구조적 명령으로 처리 장치를 직접 프로그램하는 것을 포함할 수 있다. 다른 실시예에서, 처리 장치를 구성하는 것은 작동 중에 처리 장치에 접속 가능한 메모리에 실행을 위한 명령을 저장하는 것을 포함할 수 있다. 예를 들어, 처리 장치는 작동 중에 메모리에 접속하여 저장된 명령을 획득하고 실행할 수 있다. 어느 경우이든, 여기에 기재된 검출, 이미지 분석, 및/또는 주행 기능을 수행하도록 구성된 처리 장치는 호스트 차량의 복수의 하드웨어 기반 구성요소를 제어하는 특화된 하드웨어 기반 시스템을 나타낸다.
도 1에는 두 개의 처리 장치가 처리부(110)에 포함된 것을 예시하였지만, 이보다 많거나 적은 처리 장치가 사용될 수 있다. 예를 들면, 일부 실시예에서, 애플리케이션 프로세서(180)와 이미지 프로세서(190)의 작업을 수행하기 위하여 단일 처리 장치를 사용할 수 있다. 다른 실시예에서, 이러한 작업은 2개 이상의 처리 장치를 사용하여 수행될 수 있다. 또한, 일부 실시예에서, 시스템(100)은 하나 이상의 처리부(110)를 포함하되 이미지획득부(120) 등과 같은 다른 구성요소를 포함하지 않을 수도 있다.
처리부(110)는 다양한 유형의 장치를 포함할 수 있다. 예를 들어, 처리부(110)는 제어 장치, 이미지 전처리 장치, 중앙 처리 장치(cPU), 보조 회로, 디지털 신호 처리 장치, 집적 회로, 메모리, 또는 이미지의 처리 및 분석을 위한 기타 유형의 장치 등과 같은 다양한 장치를 포함할 수 있다. 이미지 전처리 장치는 이미지 센서로부터 이미지를 캡처, 디지털화, 처리하기 위한 이미지 프로세서를 포함할 수 있다. cPU는 단수 또는 복수의 마이크로컨트롤러 또는 마이크로프로세서를 포함할 수 있다. 보조 회로는 캐시, 전원, 클락(clock), 입/출력 회로 등과 같이 본 발명의 분야에서 일반적으로 공지된 단수 또는 복수의 회로를 포함할 수 있다. 메모리는 처리 장치에 의해 실행될 때 시스템의 동작을 제어하는 소프트웨어를 저장할 수 있다. 메모리는 단수 또는 복수의 RAM(random access memory), ROM(read only memory), 플래시 메모리, 디스크 드라이브, 광 저장 장치, 테이프 저장 장치, 탈착형 저장 장치, 및 기타 유형의 저장 장치를 포함할 수 있다. 일례에서, 메모리는 처리부(110)와 분리되어 있을 수 있다. 다른 예에서, 메모리는 처리부(110)와 일체로 구성될 수 있다.
메모리(140, 150) 각각은 처리 장치(예, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190))에 의해 실행될 때 시스템(100)의 다양한 측면의 동작을 제어할 수 있는 소프트웨어 명령을 포함할 수 있다. 이러한 메모리 장치는 다양한 데이터베이스 및 이미지 처리 소프트웨어뿐만 아니라, 예를 들어, 신경망(neural network), 심층 신경망(deep neural network)과 같은 학습 시스템(trained system)을 포함할 수 있다. 이러한 메모리 장치는 RAM, ROM, 플래시 메모리, 디스크 드라이브, 광 저장 장치, 테이프 저장 장치, 탈착형 저장 장치 및/또는 기타 유형의 저장 장치를 포함할 수 있다. 일부 실시예에서, 메모리 장치(140, 150)는 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)와 분리되어 있을 수 있다. 다른 실시예에서, 이러한 메모리 장치는 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)와 일체로 구성될 수 있다.
위치센서(130)는 시스템(100)의 적어도 한 구성요소와 연관된 위치를 판단하기에 적합한 유형의 장치를 포함할 수 있다. 일부 실시예에서, 위치센서(130)는 GPS 수신기를 포함할 수 있다. 이러한 수신기는 GPS 위성이 송신하는 신호를 처리하여 사용자의 위치와 속도를 판단할 수 있다. 위치센서(130)로부터의 위치 정보는 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)로 제공될 수 있다.
일부 실시예에서, 시스템(100)은 차량(200)의 속도를 측정하기 위한 속력 센서(예, 속도계)를 포함할 수 있다. 시스템(100)은 또한 하나 이상의 축을 따라 차량(200)의 가속을 측정하기 위한 하나 이상의 가속도계(단축 또는 다축)를 포함할 수 있다.
메모리(10, 150)는 알려진 랜드마크의 위치를 나타내는 데이터베이스 또는 다른 형태로 구성된 데이터를 포함할 수 있다. 차량 주변상황의 감지 정보(예, 이미지, 레이더 신호, 라이더로 또는 둘 이상의 이미지의 입체 처리로부터의 깊이 정보)는 GPS 좌표, 차량의 자체 움직임 등과 같은 위치 정보와 함께 처리되어, 알려진 랜드마크에 대한 차량의 상대적 현재 위치를 판단하고, 차량의 위치의 정확도를 개선할 수 있다. 이러한 기술의 특정 측면은 본 출원의 양수인이 판매하고 있는 REMTM으로 알려진 위치 인식 기술에 포함된다.
사용자 인터페이스(170)는 시스템(100)의 하나 이상의 사용자에게 정보를 제공하고 사용자로부터 입력을 수신하기 적합한 장치를 포함할 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 예를 들어 터치스크린, 마이크, 키보드, 포인터 장치, 트랙휠, 카메라, 노브, 버튼 등의 사용자 입력 장치를 포함할 수 있다. 이러한 입력 장치는 사용자로 하여금 명령 또는 정보를 타이핑하거나, 음성 명령을 제공하거나, 버튼, 포인터, 또는 눈동자 추적 기능을 사용하여 화면상의 메뉴를 선택하거나, 시스템(100)과 정보를 교환하기 위한 기타 적합한 기술을 통하여 시스템(100)에 정보 입력 또는 명령을 제공할 수 있게 해준다.
사용자 인터페이스(170)는 사용자에게 정보를 제공하고 사용자로부터 정보를 수신하며 이러한 정보를 예를 들어 애플리케이션 프로세서(180)가 사용하게 처리하도록 구성된 하나 이상의 처리 장치를 구비할 수 있다. 일부 실시예에서, 이러한 처리 장치는 눈동자의 움직임을 인식 및 추적하고, 음성 명령을 수신 및 해석하고, 터치스크린 상의 터치 및/또는 제스처를 인식 및 해석하고, 키보드 입력 또는 메뉴 선택에 응답하는 등을 위한 지시를 수행할 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 디스플레이, 스피커, 촉감 장치, 및/또는 사용자에게 출력 정보를 제공하는 기타 장치를 포함할 수 있다.
지도 데이터베이스(160)는 시스템(100)에서 사용 가능한 지도 데이터를 저장하기 위한 모든 유형의 데이터베이스를 포함할 수 있다. 일부 실시예에서, 지도 데이터베이스(160)는 도로, 하천 지형, 지리적 지형, 사업체, 관심 지점, 식당, 주유소 등의 다양한 항목의 기준 좌표계 상 위치와 관련된 데이터를 포함할 수 있다. 지도 데이터베이스(160)는 이런 항목의 위치뿐만 아니라, 예를 들면, 저장된 지점 관련 명칭 등을 포함하는 설명을 저장할 수 있다. 일부 실시예에서, 지도 데이터베이스(160)는 시스템(100)의 다른 구성요소와 함께 물리적으로 배치될 수 있다. 대안적으로, 또는 추가적으로, 지도 데이터베이스(160) 또는 지도 데이터베이스(160)의 일부는 시스템(100)의 다른 구성요소(예, 처리부(110))에 대하여 원격으로 배치될 수 있다. 이 경우, 지도 데이터베이스(160)로부터의 정보는 네트워크와의 유선 또는 무선 데이터 연결(예, 이동통신망 및/또는 인터넷 등)을 통하여 다운로드 될 수 있다. 일부의 경우, 지도 데이터베이스(160)는 특정 도로 특징(예, 차로 표시) 또는 호스트 차량의 목표 궤적의 다항식 표현을 포함하는 스파스 데이터 모델(sparse data model)을 저장할 수 있다. 지도 데이터베이스(160)는 또한 목표 궤적에 대한 호스트 차량의 알려진 위치를 판단 또는 업데이트하기 위해 사용될 수 있는 다양한 인지된 랜드마크의 저장된 표현을 포함할 수 있다. 랜드마크 표현은 랜드마크 식별자, 랜드마크 위치, 기타 잠재적 식별자와 같은 데이터 필드를 포함할 수 있다.
이미지캡처장치(122, 124, 126)는 각각 주변 환경으로부터 적어도 하나의 이미지를 캡처하기에 적합한 유형의 장치를 포함할 수 있다. 또한, 이미지 프로세서로의 입력에 필요한 이미지를 캡처하기 위하여 여러 개의 이미지캡처장치를 사용할 수 있다. 일부 실시예는 단일 이미지캡처장치를 포함할 수 있는 반면, 다른 실시예는 두 개, 세 개, 또는 4개 이상의 이미지캡처장치를 포함할 수 있다. 이미지캡처장치(122, 124, 126)는 도 2b 내지 도 2e를 참조하여 하기에 추가로 설명한다.
하나 이상의 카메라(예, 이미지캡처장치(122, 124, 126))는 차량에 포함된 감지 블록(sensing block)의 일부일 수 있다. 다양한 기타 센서들이 감지 블록에 포함될 수 있으며, 센서들의 일부 또는 모두에 의존하여 차량의 항법 상태에 대한 파악을 구축할 수 있다. 카메라(전방, 측방, 후방 등) 외에도 레이더, 라이더, 음향 센서와 같은 기타 센서들이 감지 블록에 포함될 수 있다. 추가적으로, 감지 블록은 차량의 주변환경에 관한 정보를 통신 및 송수신하도록 구성된 하나 이상의 구성요소를 포함할 수 있다. 예를 들면, 이러한 구성요소는 호스트 차량에 관한 센서 기반 정보 또는 기타 유형의 정보를 호스트 차량에 대해 원격으로 위치한 소스로부터 수신할 수 있는 무선 송수신기(RF 등)를 포함할 수 있다. 이러한 정보는 호스트 차량이 아닌 다른 차량으로부터 수신한 센서 출력 정보 또는 관련 정보를 포함할 수 있다. 일부 실시예에서, 이러한 정보는 원격 컴퓨팅 장치, 중앙 서버 등으로부터 수신된 정보를 포함할 수 있다. 나아가, 카메라는 단일 카메라 장치, 복수의 카메라, 카메라 클러스터, 망원 시야, 근거리 시야, 광각, 어안 등, 다양한 구성을 가질 수 있다.
시스템(100), 혹은 시스템(100)의 다양한 구성요소는 다양한 플랫폼에 구현될 수 있다. 일부 실시예에서, 시스템(100)은, 도 2a에 예시된 바와 같이, 차량(200)에 포함될 수 있다. 예를 들면, 차량(200)에는 도 1에 설명한 처리부(110) 및 시스템(100)의 기타 구성요소가 구비될 수 있다. 일부 실시예의 차량(200)에는 단일 이미지캡처장치(예, 카메라)만 구비될 수 있는 반면, 다른 실시예의 차량에는, 도 2b 내지 2e에 예시된 바와 같이, 여러 개의 이미지캡처장치가 사용될 수 있다. 예를 들어, 도 2a에 예시된 차량(200)의 이미지캡처장치(122, 124)는 첨단 운전자 지원 시스템(Advanced Driver Assistance Systems; ADAS) 이미징 세트의 일부일 수 있다.
이미지획득부(120)의 일부로서 차량(200)에 포함된 이미지캡처장치는 적합한 장소에 위치될 수 있다. 일부 실시예에서, 도 2a 내지 2e, 3a 내지 3c에 도시된 바와 같이, 이미지캡처장치(122)는 백미러 주위에 배치될 수 있다. 이 위치는 차량(200)의 운전자와 유사한 시선을 제공할 수 있으며, 이에 따라 운전자에게 보이는 것과 보이지 않는 것을 판단하는데 도움이 될 수 있다. 이미지캡처장치(122)는 백미러 주변의 임의의 위치에 배치될 수 있지만, 백미러의 운전자 측에 이미지캡처장치(122)를 배치하면 운전자의 시야 및/또는 시선을 나타내는 이미지를 획득하는데 더욱 도움이 될 수 있다.
이미지획득부(120)의 이미지캡처장치는 다른 위치에 배치될 수도 있다. 예를 들면, 이미지캡처장치(124)는 차량(200)의 범퍼 내부 또는 상에 배치될 수 있다. 이런 위치는 광 시야를 가진 이미지캡처장치에 특히 적합할 수 있다. 범퍼에 위치한 이미지캡처장치의 시선은 운전자의 시선과 다를 수 있기 때문에 범퍼에 위치한 이미지캡처장치와 운전자는 항상 같은 대상을 보는 것이 아닐 수 있다. 이미지캡처장치(예, 122, 124, 126)는 또한 다른 위치에 배치될 수 있다. 예를 들어, 이미지캡처장치는 차량(200)의 일측 또는 양측의 사이드 미러 상 또는 내부에, 차량(200)의 지붕 상에, 차량(200)의 보닛 상에, 차량(200)의 측면에, 차량(200)의 윈도우 상, 후면 또는 전면에, 차량(200)의 전면 및/또는 후면 등화장치 상에 또는 주변 등의 위치에 배치될 수 있다.
차량(200)은 이미지캡처장치 외에도 시스템(100)의 다양한 기타 구성요소를 포함할 수 있다. 예를 들면, 처리부(110)는 차량(200)의 엔진제어장치(engine control unit, ECU)와 일체 또는 분리된 형태로 차량(200)에 포함될 수 있다. 차량(200)은 또한 GPS 수신기 등과 같은 위치센서(130), 지도 데이터베이스(160), 메모리부(140, 150)도 포함할 수 있다.
앞서 설명한 바와 같이, 무선 송수신기(172)는 하나 이상의 네트워크(예, 이동통신망, 인터넷 등)를 통하여 데이터를 송신 및/또는 수신할 수 있다. 예를 들어, 무선 송수신기(172)는 시스템(100)이 수집한 데이터를 하나 이상의 서버로 업로드하고 하나 이상의 서버로부터 데이터를 다운로드할 수 있다. 시스템(100)은 무선 송수신기(172)를 통하여, 예를 들어, 지도 데이터베이스(160) 및/또는 메모리(140, 150)에 저장된 데이터의 주기적 또는 일시적 업데이트를 수신할 수 있다. 마찬가지로, 무선 송수신기(172)는 시스템(100)으로부터의 데이터(예, 이미지획득부(120)가 캡처한 이미지, 위치센서(130), 기타 센서, 또는 차량 제어 시스템이 수신한 데이터 등) 및/또는 처리부(110)에 의해 처리된 데이터를 하나 이상의 서버에 업로드할 수 있다.
시스템(100)은 개인정보보호 설정에 근거하여 서버(예, 클라우드)로 데이터를 업로드할 수 있다. 예를 들면, 시스템(100)은 개인정보보호 설정을 실행하여 서버로 보내지는 차량과 차량의 운전자/소유자를 개별적으로 확인해주는 데이터(메타데이터 포함)의 유형을 규제 또는 제한할 수 있다. 이런 설정은, 예를 들어ㅡ 사용자에 의해 무선 송수신기(172)를 통해 설정되거나, 공장설정으로 초기화되거나, 무선 송수신기(172)가 수신한 데이터에 의해 설정될 수 있다.
일부 실시예에서, 시스템(100)은 "높은" 개인정보보호 수준에 의거하여 데이터를 업로드할 수 있으며, 이렇게 설정하면 시스템(100)은 특정 차량 및/또는 운전자/소유자 정보 없이 데이터(예, 경로 관련 위치정보, 캡처 이미지 등)를 전송할 수 있다. 예를 들어, "높은" 개인정보보호 수준에 의거하여 데이터를 업로드할 경우, 시스템(100)은 차대번호 또는 차량 운전자 또는 소유자의 이름을 포함하지 않을 수 있고, 그 대신 캡처 이미지 및/또는 경로와 관련된 제한된 위치 정보 등의 데이터를 전송할 수 있다.
다른 개인정보보호 수준도 가능하다. 예를 들어, 시스템(100)은 "중간" 개인정보보호 수준에 의거하여 서버로 데이터를 전송할 수 있으며, 이 경우, "높은" 개인정보보호 수준 하에서 포함되지 않은 차량의 제조사 및/또는 모델 및/또는 차량 종류(예, 승용차, SUV, 트럭 등) 등의 추가 정보를 포함할 수 있다. 일부 실시예에서, 시스템(100)은 "낮은" 개인정보보호 수준에 의거하여 데이터를 업로드할 수 있다. "낮은" 개인정보보호 수준 하에서, 시스템(100)은 개별 차량, 소유자/운전자, 및/또는 차량이 이동한 전체 또는 일부 경로 등을 특정할 수 있는 정보를 포함하는 데이터를 업로드할 수 있다. 이러한 "낮은" 개인정보보호 수준 데이터는 예를 들어, 차대번호, 운전자/소유자 이름, 차량의 출발점, 차량의 목적지, 차량의 제조사 및/또는 모델, 차량의 종류 등을 포함할 수 있다.
도 2a는 기재된 실시예에 따른 차량 이미징 시스템의 일례의 측면도이다. 도 2b는 도 2a에 도시된 실시예의 평면도이다. 도 2b에 도시된 바와 같이, 본 실시예에 따른 차량(200)은 백미러 주변 및/또는 운전자 가까이 배치된 제1 이미지캡처장치(122), 범퍼 영역(예, 범퍼 영역(210)의 일 영역) 상 또는 내부에 배치된 제2 이미지캡처장치(124), 및 처리부(110)를 구비한 시스템(100)을 차체 내부에 포함한다.
도 2c에 도시된 바와 같이, 이미지캡처장치(122, 124)는 모두 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있다. 또한, 도 2b와 2c에는 이미지캡처장치(122, 124)가 두 개로 예시되었지만, 다른 실시예에서는 세 개 이상의 이미지캡처장치가 포함될 수 있음은 당연할 것이다. 예를 들어, 도 2d와 2e에 도시된 실시예에서는, 제1, 제2, 제3 이미지캡처장치(122, 124, 126)가 차량(200)의 시스템(100)에 포함되어 있다.
도 2d에 도시된 바와 같이, 이미지캡처장치(122)는 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있고, 이미지캡처장치(124, 126)는 차량(200)의 범퍼 영역(예, 범퍼 영역(210)의 일 영역) 상 또는 내부에 배치될 수 있다. 또한, 도 2e에 도시된 바와 같이, 이미지캡처장치(122, 124, 126)는 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있다. 본 실시예는 특정 수량 및 구성의 이미지캡처장치에 제한되지 않고, 이미지캡처장치는 차량의 내부 및/또는 상의 적절한 모든 위치에 배치될 수 있다.
기재된 실시예들은 차량에 한정되는 것이 아니라 당연히 다른 상황에도 적용될 수 있다. 또한, 기재된 실시예들은 특정 유형의 차량(200)에 한정되는 것이 아니라, 당연히 자동차, 트럭, 트레일러, 및 기타 유형의 차량 등, 모든 유형의 차량에 적용될 수 있다.
제1 이미지캡처장치(122)는 적합한 유형의 이미지캡처장치를 포함할 수 있다. 이미지캡처장치(122)는 광축을 포함할 수 있다. 일례에서, 이미지캡처장치(122)는 글로벌 셔터 방식의 Aptina M9V024 WVGa 센서를 포함할 수 있다. 다른 실시예에서, 이미지캡처장치(122)는 1280x960 픽셀의 해상도를 제공하고 롤링 셔터 방식을 포함할 수 있다. 이미지캡처장치(122)는 다양한 광학 소자를 포함할 수 있다. 일부 실시예에서, 하나 이상의 렌즈를 포함하여 이미지캡처장치가 요구하는 초점거리 및 시야 등을 제공할 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 6mm 렌즈 또는 12mm 렌즈와 결합될 수 있다. 일부 실시예에서, 이미지캡처장치(122)는, 도 2d에 도시된 바와 같이, 필요한 시야(202)를 확보하도록 구성될 수 있다. 예를 들면, 이미지캡처장치(122)는, 46도 시야, 50도 시야, 52도 또는 그 이상의 시야 등과 같은, 40 내지 56도 범위의 일반 시야를 확보하도록 구성될 수 있다. 또는, 이미지캡처장치(122)는, 28도 시야 또는 36도 시야 등과 같은, 23 내지 40도 범위의 좁은 시야를 확보하도록 구성될 수 있다. 또한, 이미지캡처장치(122)는 100 내지 180도 범위의 넓은 시야를 확보하도록 구성될 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 광각 범퍼 카메라 또는 180도 시야까지 확보 가능한 카메라를 포함할 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 약 2:1(예, HxV=3800x1900 픽셀)의 종횡비와 약 100도의 수평 시야를 가진 7.2 메가 픽셀 이미지캡처장치일 수 있다. 이러한 이미지캡처장치는 3개의 이미지캡처장치 구성을 대신할 수 있다. 방사상으로 대칭인 렌즈를 사용하는 이러한 이미지캡처장치의 수직 시야는 렌즈 왜곡으로 인하여 50도 이하로 구현될 수 있다. 예를 들어, 방사상으로 비대칭인 렌즈를 사용하여 수평 시야가 100도인 경우에 수직 시야가 50도 이상이 되게 할 수 있다.
제1 이미지캡처장치(122)는 차량(200)과 관련된 장면에 대한 복수의 제1 이미지를 획득할 수 있다. 복수의 제1 이미지 각각은 롤링 셔터를 사용하여 캡처 된 연속 주사선으로 획득될 수 있다. 각 주사선은 복수의 픽셀을 포함할 수 있다.
제1 이미지캡처장치(122)는 제1 연속 주사선 획득 관련 주사율을 가질 수 있다. 주사율이란 이미지 센서가 특정 주사선에 포함된 각 픽셀과 관련된 이미지 데이터를 획득하는 속도를 의미할 수 있다.
이미지캡처장치(122, 124, 126)는, 예를 들어, ccd 센서 또는 cMOS 센서와 같은, 적합한 유형과 개수의 이미지 센서를 포함할 수 있다. 일 실시예에서, 롤링 셔터 방식의 cMOS 이미지 센서를 도입하여 한 열의 각 픽셀을 하나씩 읽고, 전체 이미지 프레임이 캡처될 때까지 열별로 주사가 진행될 수 있다. 일부 실시예에서, 프레임에 대하여 각 열이 위에서 아래로 순차적으로 캡처될 수 있다.
일부 실시예에서, 여기에 기재된 하나 이상의 이미지캡처장치(122, 124, 126)는 고해상 이미저를 구성하고 5메가, 7메가, 10메가 또는 그 이상의 픽셀의 해상도를 가질 수 있다.
롤링 셔터를 사용하면, 서로 다른 열의 픽셀이 서로 다른 시간에 노출되고 캡처 될 수 있어서, 캡처 된 이미지 프레임에 왜곡(skew)과 기타 이미지 결함(artifact)이 나타날 수 있다. 반면, 이미지캡처장치(122)가 글로벌 셔터 방식 또는 동기화 셔터(synchronous shutter) 방식으로 작동하도록 구성된 경우, 모든 픽셀은 동일 시간만큼 그리고 일반적인 노출 시간 동안 노출될 수 있다. 그 결과, 글로벌 셔터 방식을 적용한 시스템에서 수집된 프레임의 이미지 데이터는 특정 시간의 전체 시야(예, 202)의 스냅샷을 나타낸다. 반면, 롤링 셔터 방식에서는, 서로 다른 시간에 한 프레임의 각 열이 노출되고 데이터가 수집된다. 따라서, 롤링 셔터 방식 이미지캡처장치의 이미지 내의 움직이는 물체는 왜곡돼 보일 수 있다. 이 현상에 대해서는 하기에서 더 자세히 설명한다.
제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 적합한 유형의 이미지캡처장치일 수 있다. 제1 이미지캡처장치(122)와 마찬가지로, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 광축을 포함할 수 있다. 일 실시예에서, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 글로벌 셔터 방식의 Aptina M9V024 WVGa 센서를 포함할 수 있다. 또는, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 롤링 셔터 방식을 포함할 수 있다. 제1 이미지캡처장치(122)와 마찬가지로, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 다양한 렌즈와 광학 소자를 포함하도록 구성될 수 있다. 일부 실시예에서, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)와 관련된 렌즈는 제1 이미지캡처장치(122)와 관련된 시야(예, 202)와 동일하거나 이보다 좁은 시야(204, 206)를 제공할 수 있다. 예를 들어, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)의 시야는 각각 40도, 30도, 26도, 20도, 또는 그 이하일 수 있다.
제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 차량(200)과 관련된 장면에 대한 복수의 제2 및 제3 이미지를 획득할 수 있다. 복수의 제2 및 제3 이미지 각각은 롤링 셔터를 사용하여 캡처 된 제2 및 제3 연속 주사선으로 획득될 수 있다. 각 주사선 또는 열은 복수의 픽셀을 포함할 수 있다. 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 제2 및 제3 연속 주사선 획득 관련 제2 및 제3 주사율을 가질 수 있다.
이미지캡처장치(122, 124, 126)는 각각 차량(200)의 적합한 위치와 자세로 배치될 수 있다. 이미지캡처장치(122, 124, 126)의 상대적 배치는 이미지캡처장치로부터 획득된 정보의 융합이 용이하도록 선택될 수 있다. 예를 들어, 일부 실시예에서, 제2 이미지캡처장치(124)의 시야(예, 204)는 제1 이미지캡처장치(122)의 시야(예, 202) 및 제3 이미지캡처장치(126)의 시야(예, 206)와 부분적으로 또는 완전히 겹칠 수도 있다.
이미지캡처장치(122, 124, 126)는 차량(200)의 적합한 상대 높이에 배치될 수 있다. 일례에서, 이미지캡처장치(122, 124, 126) 사이의 높이에 차이를 두어 입체 분석을 가능하게 하는 시차 정보를 제공할 수 있다. 예를 들면, 도 2a에 도시된 바와 같이, 이미지캡처장치(122)와 이미지캡처장치(124)는 서로 높이가 다르다. 이미지캡처장치(122, 124, 126) 사이에 횡방향 변위 차이도 있어 처리부(110) 등에 의한 입체 분석을 위한 추가 시차 정보도 제공할 수 있다. 도 2c와 도 2d에 도시된 바와 같이, 횡방향 변위의 차이는 dx로 표시될 수 있다. 일부 실시예에서, 이미지캡처장치(122, 124, 126) 사이에 전방 또는 후방 변위(예, 범위 변위)가 있을 수 있다. 예를 들어, 이미지캡처장치(122)는 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 0.5 내지 2미터 후방에 배치될 수 있다. 이런 유형의 변위로 인해, 이미지캡처장치 중 하나가 나머지 이미지캡처장치의 사각 지대를 보완할 수 있다.
이미지캡처장치(122)는 적합한 해상도(예, 이미지 센서 관련 픽셀 수)를 가질 수 있고, 이미지캡처장치(122)와 연관된 이미지 센서의 해상도는 이미지캡처장치(124, 126)와 연관된 이미지 센서의 해상도와 비교하여 높거나, 낮거나, 같을 수 있다. 일부 실시예에서, 이미지캡처장치(122) 및/또는 이미지캡처장치(124, 126)와 연관된 이미지 센서의 해상도는 640 x 480, 1024 x 768, 1280 x 960, 또는 기타 적합한 해상도일 수 있다.
프레임 속도(frame rate, 즉, 이미지캡처장치가 다음 이미지 프레임의 픽셀 데이터를 획득하기 위해 넘어가기 전에 한 이미지 프레임의 픽셀 데이터 집합을 획득하는 속도)는 제어 가능하다. 이미지캡처장치(122)의 프레임 속도는 이미지캡처장치(124, 126)의 프레임 속도보다 높거나, 낮거나, 같을 수 있다. 이미지캡처장치(122, 124, 126)의 프레임 속도는 프레임 속도의 타이밍에 영향을 주는 다양한 요소에 의거할 수 있다. 예를 들면, 하나 이상의 이미지캡처장치(122, 124, 126)는 탑재한 이미지 센서의 하나 이상의 픽셀 관련 이미지 데이터를 획득하기 전 또는 후에 부과되는 선택적 픽셀 지연 기간(selectable pixel delay period)을 포함할 수 있다. 일반적으로, 각 픽셀에 상응하는 이미지 데이터는 해당 장치의 클락 속도(clock rate)에 의거하여(예, 클락 주파수(clock cycle) 당 1 픽셀) 획득된다. 또한, 롤링 셔터 방식을 포함하는 실시예에서, 하나 이상의 이미지캡처장치(122, 124, 126)는 탑재한 이미지 센서의 한 열의 픽셀 관련 이미지 데이터를 획득하기 전 또는 후에 부과되는 선택적 수평 귀선 기간(selectable horizontal blanking period)을 포함할 수 있다. 나아가, 하나 이상의 이미지캡처장치(122, 124, 126)는 이미지 프레임 관련 이미지 데이터를 획득하기 전 또는 후에 부과되는 선택적 수직 귀선 기간(selectable vertical blanking period)을 포함할 수 있다.
이러한 타이밍 제어로 인해, 이미지캡처장치(122, 124, 126)의 선주사 속도(line scan rate)가 서로 다른 경우에도 이미지캡처장치(122, 124, 126)의 프레임 속도의 동기화가 가능하다. 또한, 하기에 더 자세히 설명하겠지만, 여러 요소(예, 이미지 센서 해상도, 최고 선주사 속도 등) 중에서 이러한 타이밍 제어로 인해, 이미지캡처장치(122)의 시야가 이미지캡처장치(124, 126)의 시야와 다른 경우에도, 이미지캡처장치(122)의 시야와 이미지캡처장치(124, 126)의 하나 이상의 시야가 겹치는 영역으로부터 캡처 된 이미지의 동기화가 가능할 수 있다.
이미지캡처장치(122, 124, 126)의 프레임 속도 타이밍은 상응하는 이미지 센서의 해상도에 의거할 수 있다. 예를 들어, 두 장치의 선주사 속도가 유사하다고 가정할 때, 한 장치의 이미지 센서의 해상도가 640 X 480이고 다른 장치의 이미지 센서의 해상도가 1280 X 960일 경우, 높은 해상도를 가진 센서로부터 이미지 데이터의 프레임을 획득하는데 더 많은 시간이 걸릴 것이다.
이미지캡처장치(122, 124, 126)의 이미지 데이터 획득 타이밍에 영향을 주는 또다른 요소는 최고 선주사 속도(maximum line scan rate)이다. 예를 들면, 이미지캡처장치(122, 124, 126)에 포함된 이미지 센서로부터 한 열의 이미지 데이터를 획득하려면 최소 시간 이상이 걸릴 수 있다. 픽셀 지연 기간이 추가되지 않았다고 가정할 때, 한 열의 이미지 데이터를 획득하기 위한 최저 시간은 특정 장치의 최고 선주사 속도와 관계가 있을 것이다. 최고 선주사 속도가 높은 장치는 최고 선주사 속도가 낮은 장치보다 높은 프레임 속도를 제공할 가능성이 있다. 일부 실시예에서, 하나 이상의 이미지캡처장치(124, 126)의 최고 선주사 속도는 이미지캡처장치(122)의 최고 선주사 속도보다 높을 수 있다. 일부 실시예에서, 이미지캡처장치(124 및/또는 126)의 최고 선주사 속도는 이미지캡처장치(122)의 최고 선주사 속도보다 1.25배, 1.5배, 1.75배, 2배, 또는 그 이상 높을 수 있다.
다른 실시예에서, 이미지캡처장치(122, 124, 126)의 최고 선주사 속도는 모두 동일하지만, 이미지캡처장치(122)는 최고 주사 속도 이하의 주사 속도로 동작할 수 있다. 시스템은 하나 이상의 이미지캡처장치(124, 126)가 이미지캡처장치(122)의 선주사 속도와 동일한 선주사 속도로 동작하도록 구성될 수 있다. 다른 예에서, 시스템은 이미지캡처장치(124 및/또는 126)의 선주사 속도가 이미지캡처장치(122)의 선주사 속도보다 1.25배, 1.5배, 1.75배, 2배, 또는 그 이상 높도록 구성될 수 있다.
일부 실시예에서, 이미지캡처장치(122, 124, 126)는 비대칭일 수 있다. 즉, 이미지캡처장치(122, 124, 126)는 시야와 초점거리가 서로 다른 카메라를 포함할 수 있다. 이미지캡처장치(122, 124, 126)의 시야는 차량(200)의 주변상황 등과 관련된 필요 영역을 포함할 수 있다. 일부 실시예에서, 하나 이상의 이미지캡처장치(122, 124, 126)는 차량(200)의 전방, 후방, 측방, 또는 그 조합의 주변상황으로부터 이미지 데이터를 획득하도록 구성될 수 있다.
또한, 각 이미지캡처장치가 차량(200)에 대한 특정 거리 범위에 있는 물체의 이미지를 획득하도록 각 이미지캡처장치(122, 124, 126)의 초점거리가 선택될(예, 적합한 렌즈 적용) 수 있다. 예를 들어, 일부 실시예에서, 이미지캡처장치(122, 124, 126)는 차량으로부터 몇 미터 내에 있는 물체의 클로즈업 이미지를 획득할 수 있다. 이미지캡처장치(122, 124, 126)는 차량으로부터 멀리 떨어진 범위(예, 25m, 50m, 100m, 150m, 또는 그 이상)에 있는 물체의 이미지를 획득하도록 구성될 수도 있다. 또한, 한 이미지캡처장치(예, 122)는 차량과 상대적으로 가까운(예, 10m 또는 20m 이내) 물체의 이미지를 획득하고 나머지 이미지캡처장치(예, 124, 126)는 이보다 멀리 있는(예, 20m, 50m, 100m, 150m 이상) 물체의 이미지를 획득하도록 이미지캡처장치(122, 124, 126)의 초점거리가 선택될 수 있다.
일부 실시예에 의하면, 하나 이상의 이미지캡처장치(122, 124, 126)의 시야는 광각일 수 있다. 예를 들면, 차량(200) 주변 영역의 이미지를 획득하기 위해 사용되는 이미지캡처장치(122, 124, 126)의 시야는 140도일 경우가 유리할 수 있다. 예를 들어, 이미지캡처장치(122)는 차량(200)의 우측 또는 좌측 영역의 이미지를 캡처하기 위해 사용될 수 있고, 이런 실시예에서 이미지캡처장치(122)는 넓은 시야(예, 140도 이상)를 가지는 것이 바람직할 수 있다.
이미지캡처장치(122, 124, 126)의 시야는 각 초점거리에 의거할 수 있다. 예를 들어, 초점거리가 증가하면, 이에 상응하는 시야는 감소한다.
이미지캡처장치(122, 124, 126)는 적합한 시야를 가지도록 구성될 수 있다. 일례에서, 이미지캡처장치(122)의 수평 시야는 46도이고, 이미지캡처장치(124)의 수평 시야는 23도이며, 이미지캡처장치(126)의 수평 시야는 23도 내지 46도일 수 있다. 다른 예에서, 이미지캡처장치(122)의 수평 시야는 52도이고, 이미지캡처장치(124)의 수평 시야는 26도이며, 이미지캡처장치(126)의 수평 시야는 26도 내지 52도일 수 있다. 일부 실시예에서, 이미지캡처장치(122)의 시야 대 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 시야 비율은 1.5 내지 2.0일 수 있다. 다른 실시예에서, 이 비율은 1.25 내지 2.25일 수 있다.
시스템(100)은 이미지캡처장치(126)의 일부 또는 전체 시야가 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 시야와 겹치도록 구성될 수 있다. 일부 실시예에서, 시스템(100)은 이미지캡처장치(124, 126)의 시야가 이미지캡처장치(126)의 시야의 중심에 들어가고(예를 들어, 시야가 좁은 경우) 중심이 서로 맞도록 구성될 수 있다. 다른 실시예에서, 이미지캡처장치(122, 124, 126)는 인접하는 시야를 캡처하거나 인접하는 시야와 부분적으로 겹칠 수 있다. 일부 실시예에서, 이미지캡처장치(122, 124, 126)의 시야는 시야가 좁은 이미지캡처장치(124 및/또는 126)의 중심이 시야가 넓은 이미지캡처장치(122)의 시야의 하부에 배치되도록 정렬될 수 있다.
도 2f는 기재된 실시예에 따른 자동차 제어 시스템의 일례의 개략도이다. 도 2f에 도시된 바와 같이, 차량(200)은 구동 시스템(220), 제동 시스템(230), 조향 시스템(240)을 포함할 수 있다. 시스템(100)은 하나 이상의 데이터 링크(예, 데이터 송신용 유선 및/또는 무선 링크)를 통하여 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로 입력(예, 제어신호)을 제공할 수 있다. 예를 들어, 이미지캡처장치(122, 124, 126)가 획득한 이미지의 분석에 근거하여, 시스템(100)은 차량(200)을 주행(예, 가속, 회전, 차선 변경 등)하기 위한 제어 신호를 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로 제공할 수 있다. 또한, 시스템(100)은 차량(200)의 작동 상황(예, 속도, 제동 및/또는 회전 여부 등)을 나타내는 입력을 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로부터 수신할 수 있다. 이에 대하여는 도 4 내지 7을 참조하여 하기에 자세히 설명한다.
도 3a에 도시된 바와 같이, 차량(200)은 또한 차량(200)의 운전자 또는 탑승자와 상호 작용하기 위한 사용자 인터페이스(170)를 포함한다. 예를 들어, 차량에 적용된 사용자 인터페이스(170)는 터치스크린(320), 다이얼(330), 버튼(340), 마이크(350)를 포함할 수 있다. 차량(200)의 운전자 혹은 탑승자는 또한 손잡이(예, 차량의 조향축 상 또는 주위에 배치된 방향등 손잡이 등), 버튼(예, 차량의 조향 핸들에 배치된 버튼 등) 등을 사용하여 시스템(100)과 상호 작용할 수도 있다. 일부 실시예에서, 마이크(350)는 백미러(310)에 인접하여 배치될 수 있다. 이와 유사하게, 일부 실시예에서, 이미지캡처장치(122)는 백미러(310) 부근에 배치될 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 또한 하나 이상의 스피커(360: 예, 차량 오디오 시스템의 스피커)도 포함할 수 있다. 예를 들어, 시스템(100)은 스피커(360)를 통하여 다양한 안내(예, 경보)를 제공할 수 있다.
도 3b 내지 3d는 기재된 실시예에 따른 백미러(예, 310) 뒤의 차량 전면 유리에 위치되도록 구성된 카메라 마운트(370)의 일례이다. 도 3b에 도시된 바와 같이, 카메라 마운트(370)는 이미지캡처장치(122, 124, 126)를 포함할 수 있다. 이미지캡처장치(124, 126)는, 차량 전면 유리에 맞닿아 있고 필름 및/또는 반사 방지 물질의 구조를 포함하는, 눈부심 가림막(380) 후면에 배치될 수 있다. 예를 들어, 눈부심 가림막(380)은 차량 전면 유리에 상응하는 기울기를 가지고 차량 전면 유리에 대해 정렬되도록 배치될 수 있다. 일부 실시예에서, 각 이미지캡처장치(122, 124, 126)는 도 3d에 도시된 바와 같이 눈부심 가림막(380)의 후면에 배치될 수 있다. 여기에 기재된 실시예들은 어느 특정한 구성의 이미지캡처장치(122, 124, 126), 카메라 마운트(370), 눈부심 가림막(380)으로 한정되지 않는다. 도 3c는 도 3b에 도시된 카메라 마운트(370)를 정면에서 바라본 예시이다.
상기 실시예들은 다양한 변형 및/또는 수정이 가능함을 본 발명의 당업자는 이해할 것이다. 예를 들어, 시스템(100)의 동작을 위하여 모든 구성요소가 반드시 필요한 것은 아니다. 또한, 기재된 실시예들의 기능을 제공하면서, 어느 구성요소라도 시스템(100)의 적합한 부분에 배치될 수 있으며, 구성요소들은 다양한 구성으로 재배치될 수 있다. 따라서, 상기 구성들은 예시에 불과하고, 시스템(100)은 상기 구성들과 무관하게 광범위한 기능을 제공하여 차량(200)의 주변상황을 분석하고 이 분석에 대응하여 차량(200)을 주행할 수 있다.
하기의 설명과 기재된 다양한 실시예에 따라, 시스템(100)은 자율 주행 및/또는 운전자 보조 기술과 관련된 다양한 특징을 제공할 수 있다. 예를 들면, 시스템(100)은 이미지 데이터, 위치 데이터(예, GPS 위치 정보), 지도 데이터, 속도 데이터, 및/또는 차량(200)에 포함된 센서들로부터의 데이터를 분석할 수 있다. 시스템(100)은 분석할 데이터를, 예를 들어, 이미지획득부(120), 위치센서(130), 및 기타 센서들로부터 수집할 수 있다. 또한, 시스템(100)은 수집한 데이터를 분석하여 차량(200)이 특정 동작을 수행해야 할지 여부를 판단한 후, 판단한 동작을 인간의 개입 없이 자동으로 수행할지 여부를 판단할 수 있다. 예를 들어, 차량(200)이 인간의 개입 없이 주행하는 경우, 시스템(100)은 차량(200)의 제동, 가속, 및/또는 조향을 자동으로 제어(예, 구동 시스템(220), 제동 시스템(230), 조향 시스템(240)의 하나 이상에 제어신호를 전송)할 수 있다. 또한, 시스템(100)은 수집된 데이터를 분석하고 이 분석 결과에 따라 차량 탑승자들에게 주의 및/또는 경보를 제공할 수 있다. 시스템(100)이 제공하는 다양한 실시예들에 관해서는 하기에 추가로 설명한다.
전방 다중 이미징 시스템
상기에 설명한 바와 같이, 시스템(100)은 다중 카메라 시스템을 사용하는 운전 지원 기능을 제공할 수 있다. 다중 카메라 시스템은 차량의 전방을 향하는 하나 이상의 카메라를 사용할 수 있다. 다른 실시예에서, 다중 카메라 시스템은 차량의 측방 또는 후방을 향하는 하나 이상의 카메라를 포함할 수 있다. 예를 들어, 일 실시예에서, 시스템(100)은 이중 카메라 이미징 시스템을 사용하여, 제1 카메라와 제2 카메라(예, 이미지캡처장치(122, 124))가 차량(200)의 전방 및/또는 측방에 배치될 수 있다. 기재된 실시예에 따른 다른 카메라 구성도 있으며, 여기에 기재된 구성은 예시일 뿐이다. 예를 들면, 시스템(100)은 다양한 개수의 카메라(예, 1개, 2개, 3개, 4개, 5개, 6개, 7개, 8개 등)의 구성을 포함할 수 있다. 나아가, 시스템(100)은 카메라의 "클러스터"를 포함할 수 있다. 예를 들어, 카메라 클러스터(1개, 4개, 8개 등과 같은 다양한 개수의 카메라를 포함함)는 차량의 전방을 향하거나 다른 방향(예, 후방, 측방, 특정 각도 등)을 향하고 있을 수 있다. 이에 따라, 시스템(100)은 복수의 카메라 클러스터를 포함하고, 각 클러스터는 특정 방향을 향하여 차량 주변의 특정 영역으로부터 이미지를 캡처할 수 있다.
제1 카메라의 시야는 제2 카메라의 시야보다 넓거나, 좁거나, 부분적으로 겹칠 수 있다. 뿐만 아니라, 제1 카메라는 제1 이미지 프로세서와 연결되어 제1 카메라가 제공한 이미지의 단안 이미지 분석을 수행하고, 제2 카메라는 제2 이미지 프로세서와 연결되어 제2 카메라가 제공한 이미지의 단안 이미지 분석을 수행할 수 있다. 제1 및 제2 이미지 프로세서의 출력(예, 처리된 정보)은 합쳐질 수 있다. 일부 실시예에서, 제2 이미지 프로세서는 제1 및 제2 카메라 모두로부터 이미지를 수신하여 입체 분석을 수행할 수 있다. 다른 실시예에서, 시스템(100)은 각 카메라의 시야가 서로 다른 3중 카메라 이미징 시스템을 사용할 수 있다. 따라서, 이런 시스템은 차량의 전방 및 측방의 다양한 거리에 위치한 물체로부터 얻은 정보에 근거한 판단을 내릴 수 있다. 단안 이미지 분석이란 단일 시야로부터 캡처 된 이미지(예, 단일 카메라에서 캡처 된 이미지)에 근거하여 이미지 분석을 수행하는 경우를 말할 수 있다. 입체 이미지 분석이란 하나 이상의 이미지 캡처 파라미터로 캡처 된 두 개 이상의 이미지에 근거하여 이미지 분석을 수행하는 경우를 말할 수 있다. 예를 들면, 입체 이미지 분석에 적합한 캡처 된 이미지는 둘 이상의 위치로부터 캡처 된 이미지, 서로 다른 시야로부터 캡처 된 이미지, 서로 다른 초점거리를 사용하여 캡처 된 이미지, 시차 정보에 따라 캡처 된 이미지 등을 포함할 수 있다.
예를 들어, 일 실시예에서, 시스템(100)은 이미지캡처장치(122 내지 126)를 사용하여 3중 카메라 구성을 구현할 수 있다. 이런 구성에서, 이미지캡처장치(122)는 좁은 시야(예, 34도, 또는 약 20 내지 45도 범위에서 선택한 시야)를 제공할 수 있고, 이미지캡처장치(124)는 광 시야(예, 150도 또는 약 100 내지 180도 범위에서 선택한 시야)를 제공할 수 있으며, 이미지캡처장치(126)는 중간 시야(예, 46도 또는 약 35 내지 60도 범위에서 선택한 시야)를 제공할 수 있다. 일부 실시예에서, 이미지캡처장치(126)는 주 카메라 역할을 할 수 있다. 이미지캡처장치(122 내지 126)는 백미러(310) 후면에 배치되고 실질적으로 서로 나란히(예, 6cm 간격으로) 배치될 수 있다. 또한, 상기에 설명한 바와 같이, 일부 실시예에서, 하나 이상의 이미지캡처장치(122 내지 126)는 차량(200)의 전면 유리에 맞닿아 있는 눈부심 가림막(380) 뒤에 탑재될 수 있다. 이러한 가림막은 차량 내부로부터의 반사가 이미지캡처장치(122 내지 126)에 끼치는 영향을 최소화할 수 있다.
다른 실시예에서, 상기에 도 3b 내지 3c를 참조하여 설명한 바와 같이, 광시야 카메라(예, 상기 예에서의 이미지캡처장치(124))는 좁은 시야 카메라와 주 시야 카메라(예, 상기 예에서의 이미지캡처장치(122, 126))보다 낮은 위치에 탑재될 수 있다. 이런 구성은 광시야 카메라로부터 탁 트인 시선을 제공할 수 있다. 반사를 줄이기 위하여, 카메라들은 차량(200)의 전면 유리 가까이 탑재될 수 있고, 반사광을 완화하기 위하여 편광판을 포함할 수 있다.
3중 카메라 시스템은 특정 성능을 제공할 수 있다. 예를 들면, 일부 실시예는 한 카메라가 검출한 물체에 대해 다른 카메라의 검출 결과에 근거하여 검증하는 능력을 포함할 수 있다. 상기에 설명한 3중 카메라 구성에서, 처리부(110)는 예를 들어 3개의 처리 장치(예, 3개의 EyeQ 시리즈 프로세서 칩)를 포함하고, 각 처리 장치는 하나 이상의 이미지캡처장치(122 내지 126)가 캡처한 이미지를 전용으로 처리할 수 있다.
3중 카메라 시스템에서, 제1 처리 장치는 주 카메라와 좁은 시야 카메라로부터 이미지를 수신하고, 좁은 시야 카메라의 시각 처리를 수행하여, 예를 들어, 다른 차량, 보행자, 차로 표시, 교통 표지, 신호등, 기타 도로 상의 물체 등을 검출할 수 있다. 나아가, 제1 처리 장치는 주 카메라와 좁은 시야 카메라 사이의 픽셀 차이를 산출하여 차량(200) 주변상황의 3차원 재구성(3D reconstruction)을 생성한 후, 3차원 재구성을 3차원 지도 데이터 또는 다른 카메라로부터 수신한 정보에 근거하여 계산한 3차원 정보와 조합할 수 있다.
제2 처리 장치는 주 카메라로부터 이미지를 수신하고, 시각 처리를 수행하여 다른 차량, 보행자, 차로 표시, 교통 표지, 신호등, 기타 도로 상의 물체 등을 검출할 수 있다. 뿐만 아니라, 제2 처리 장치는 카메라 변위를 계산하고, 계산된 변위에 근거하여 연속된 이미지 사이의 픽셀 차이를 계산하여 장면(예, 동작의 구조)의 3차원 재구성을 생성할 수 있다. 제2 처리 장치는 3차원 재구성에 근거한 동작의 구조를 제1 처리 장치에 전송하여 3차원 입체 이미지와 조합할 수 있다.
제3 처리 장치는 광 시야 카메라로부터 이미지를 수신하고 이미지를 처리하여 차량, 보행자, 차로 표시, 교통 표지, 기타 도로 상의 물체 등을 검출할 수 있다. 제3 처리 장치는 또한 이미지 분석을 위한 추가 처리 명령을 수행하여 차선을 변경하는 차량, 보행자 등과 같은 움직이는 물체를 식별할 수 있다.
일부 실시예에서, 이미지 기반 정보의 스트림을 독립적으로 캡처하고 처리함으로써, 시스템상의 중복성을 제공할 수 있다. 여기서, 중복성이란, 예를 들면, 제1 이미지캡처장치와 이 장치로부터 처리된 이미지를 사용하여 적어도 제2 이미지캡처장치로부터 이미지 정보를 캡처하고 처리하여 획득된 정보를 검증 및/또는 보완하는 것을 포함할 수 있다.
일부 실시예에서, 시스템(100)은 2개의 이미지캡처장치(예, 122, 124)를 사용하여 차량(200)의 항법 보조를 제공하고 제3 이미지캡처장치(예, 126)를 사용하여 상기 2개의 이미지캡처장치로부터 수신한 데이터의 분석 결과의 중복성 및 검증을 제공할 수 있다. 예를 들면, 이런 구성에서, 이미지캡처장치(122, 124)는 차량(200)의 항법을 위해 시스템(100)에 의한 입체 분석을 위한 이미지를 제공하고, 이미지캡처장치(126)는 시스템(100)에 의한 단안 분석을 위한 이미지를 제공하여 이미지캡처장치(122 및/또는 126)가 캡처한 이미지에 근거하여 캡처한 정보의 중복성 및 검증을 제공할 수 있다. 즉, 이미지캡처장치(126)(및 상응하는 처리 장치)는 이미지캡처장치(122, 124)로부터 얻은 분석에 대한 확인을 제공(예, 자동긴급제동(aeb, automatic emergency braking) 제공) 하기 위한 중복 서브시스템을 제공하는 것으로 간주될 수 있다. 나아가, 일부 실시예에서, 수신된 데이터의 중복성 및 검증은 하나 이상의 센서로부터 수신된 정보(예, 레이더, 라이더, 음향 센서, 차량 외부의 하나 이상의 송수신기로부터 수신된 정보 등)에 기반하여 보완될 수 있다.
상기 카메라의 구성, 배치, 개수, 위치 등은 예시에 불과하다는 것을 당업자는 인식할 수 있을 것이다. 전체적인 시스템과 연관하여 설명하는 이러한 구성요소들과 기타 구성요소들은 기재된 실시예들의 범위를 벗어나지 않고 다양한 구성으로 조합되고 사용될 수 있다. 운전자 지원 및/또는 자율 주행 기능을 제공하기 위한 다중 카메라 시스템의 사용과 관련된 내용은 하기에 설명한다.
도 4는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장/프로그램하도록 구성된 메모리(140 및/또는 150)를 예시한 기능 구성도이다. 하기에는 메모리(140)에 관하여 설명하지만, 명령이 메모리(140) 및/또는 메모리(150)에 저장될 수 있음은 당업자에게 당연할 것이다.
도 4에 도시된 바와 같이, 메모리(140)은 단안 이미지 분석 모듈(402), 입체 이미지 분석 모듈(404), 속도 및 가속 모듈(406), 주행 반응 모듈(408)을 저장할 수 있다. 여기에 기재된 실시예들은 메모리(14)의 어느 특정 구성으로 한정되지 않는다. 또한, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)는 메모리(140)에 포함된 모든 모듈(402-408)에 저장된 명령을 실행할 수 있다. 본 발명의 기술분야의 당업자라면 하기의 설명에서 처리부(110)란 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)를 개별적으로 또는 총괄하여 지칭할 수 있다는 것을 이해할 것이다. 이에 따라, 하기에 설명한 프로세스의 단계들은 하나 이상의 처리 장치에 의해 수행될 수 있다.
일 실시예에서, 단안 이미지 분석 모듈(402)은, 처리부(110)에 의해 실행될 경우 이미지캡처장치(122, 124, 126) 중의 하나가 확보한 이미지 세트의 단안 이미지 분석을 수행하는, 명령(예, 컴퓨터 시각 소프트웨어)을 저장할 수 있다. 일부 실시예에서, 처리부(110)는 이미지 세트의 정보를 추가 감지 정보(예, 레이더로부터 얻은 정보)와 병합하여 단안 이미지 분석을 수행할 수 있다. 하기에 도 5a 내지 5d를 참조하여 설명하겠지만, 단안 이미지 분석 모듈(402)은 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 위험 물체, 및 차량의 주변상황과 연관된 기타 특성 등과 같은 특징들을 이미지 세트 내에서 검출하기 위한 명령을 포함할 수 있다. 시스템(100)은 이 분석에 근거하여, 예를 들어 처리부(110)를 통하여, 차량(200)의 회전, 차선 변경, 가속 변화 등과 같은 하나 이상의 주행 반응을 야기할 수 있으며, 이에 대해서는 하기에 주행 반응 모듈(408)에서 설명한다.
일 실시예에서, 단안 이미지 분석 모듈(402)은, 처리부(110)에 의해 실행될 경우 이미지캡처장치(122, 124, 126) 중의 하나가 확보한 이미지 세트의 단안 이미지 분석을 수행하는, 명령(예, 컴퓨터 시각 소프트웨어)을 저장할 수 있다. 일부 실시예에서, 처리부(110)는 이미지 세트의 정보를 추가 감지 정보(예, 레이더, 라이더 등으로부터 얻은 정보)와 병합하여 단안 이미지 분석을 수행할 수 있다. 하기에 도 5a 내지 5d를 참조하여 설명하겠지만, 단안 이미지 분석 모듈(402)은 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 위험 물체, 및 차량의 주변상황과 연관된 기타 특성 등과 같은 특징들을 이미지 세트 내에서 검출하기 위한 명령을 포함할 수 있다. 시스템(100)은 이 분석에 근거하여, 예를 들어 처리부(110)를 통하여, 차량(200)의 회전, 차선 변경, 가속 변화 등과 같은 하나 이상의 주행 반응을 야기할 수 있으며, 이에 대해서는 하기에 주행 반응의 판단에서 설명한다.
일 실시예에서, 입체 이미지 분석 모듈(404)은, 처리부(110)에 의해 실행될 경우 이미지캡처장치(122, 124, 126) 중에서 선택된 이미지캡처장치의 조합에 의해 확보된 제1 및 제2 이미지 세트의 입체 이미지 분석을 수행하는, 명령(예, 컴퓨터 시각 소프트웨어)을 저장할 수 있다. 일부 실시예에서, 처리부(110)는 제1 및 제2 이미지 세트의 정보를 추가 감지 정보(예, 레이다로부터 얻은 정보)와 병합하여 입체 이미지 분석을 수행할 수 있다. 예를 들어, 입체 이미지 분석 모듈(404)은 이미지캡처장치(124)가 확보한 제1 이미지 세트와 이미지캡처장치(126)가 확보한 제2 이미지 세트에 근거하여 입체 이미지 분석을 수행하기 위한 명령을 포함할 수 있다. 하기에 도 6을 참조하여 설명하겠지만, 입체 이미지 분석 모듈(404)은 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 위험 물체, 및 차량의 주변환경과 연관된 기타 특성 등과 같은 특징들을 제1 및 제2 이미지 세트 내에서 검출하기 위한 명령을 포함할 수 있다. 처리부(110)는 이 분석에 근거하여 차량(200)의 회전, 차선 변경, 가속 변화 등과 같은 하나 이상의 주행 반응을 야기할 수 있으며, 이에 대해서는 하기에 주행 반응 모듈(408)에서 설명한다. 또한, 일부 실시예에서, 입체 이미지 분석 모듈(404)은 학습 시스템(예, 신경망 또는 심층 신경망) 또는 비학습 시스템과 관련된 방법을 구현할 수 있다.
일 실시예에서, 속도 및 가속 모듈(406)은 차량(200)의 속도 및/또는 가속 변화를 야기하도록 구성된 차량(200)에 구비된 하나 이상의 컴퓨팅 및 기전 장치로부터 수신한 데이터를 분석하도록 구성된 소프트웨어를 저장할 수 있다. 예를 들어, 처리부(110)는 속도 및 가속 모듈(406)과 연계된 명령을 수행함으로써 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 실행하여 얻은 데이터에 근거하여 차량(200)의 목표 속도를 산출할 수 있다. 상기 데이터는 예를 들어 목표 위치, 속도, 및/또는 가속, 부근의 차량, 보행자 또는 도로상의 물체에 대한 차량(200)의 위치 및/또는 속도, 도로의 차로 표시에 대한 차량(200)의 위치 정보 등을 포함할 수 있다. 또한, 처리부(110)는 감지 입력(예, 레이더로부터 얻은 정보) 및 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)과 같은 기타 시스템의 입력에 근거하여 차량(200)의 목표 속도를 산출할 수 있다. 산출된 목표 속도에 근거하여, 처리부(110)는 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)으로 전자 신호를 전송하여, 예를 들면, 물리적으로 차량(200)의 브레이크 페달을 누르거나 가속 페달을 감압하여 속도 및/또는 가속의 변화를 일으킬 수 있다.
일 실시예에서, 주행 반응 모듈(408)은 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 실행하여 얻은 데이터에 근거하여 필요한 주행 반응을 판단하기 위하여 처리부(110)에 의해 실행 가능한 소프트웨어를 저장할 수 있다. 상기 데이터는 부근의 차량, 보행자, 및 도로상의 물체에 대한 위치 및 속도, 차량(200)의 목표 위치 정보 등을 포함할 수 있다. 뿐만 아니라, 일부 실시예에서, 주행 반응은 지도 데이터, 미리 설정한 차량(200)의 위치, 및/또는 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 실행하여 얻은 차량(200)과 하나 이상의 물체 사이의 상대 속도 또는 상대 가속에 부분적으로 또는 전적으로 근거할 수 있다. 주행 반응 모듈(408)은 또한 감지 입력(예, 레이더로부터 얻은 정보) 및 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)과 같은 기타 시스템의 입력에 근거하여 필요한 주행 반응을 판단할 수 있다. 필요한 주행 반응에 근거하여, 처리부(110)는 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)으로 전자 신호를 전송하여, 예를 들면, 차량(200)의 조향 핸들을 회전하여 미리 설정한 각도의 회전을 유도함으로써 필요한 주행 반응을 일으킬 수 있다. 일부 실시예에서, 처리부(110)는 주행 반응 모듈(408)의 출력(예, 필요한 주행 반응)을 차량(200)의 속도 변경을 산출하기 위한 속도 및 가속 모듈(406)의 실행을 위한 입력으로 사용할 수 있다.
또한, 여기에 기재된 어느 모듈(예, 402, 404, 406)이라도 학습 시스템(예, 신경망 또는 심층 신경망) 또는 비학습 시스템과 연관된 방법을 구현할 수 있다.
도 5a는 기재된 실시예에 따른 단안 이미지 분석에 근거한 하나 이상의 주행 반응을 야기하는 프로세스(500a)의 일례를 예시한 순서도이다. 단계 510에서, 처리부(110)는 처리부(110)와 이미지획득부(120) 사이의 데이터 인터페이스(128)를 통하여 복수의 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120)에 포함된 카메라(예, 시야(202)를 가진 이미지캡처장치(122))는 차량(200)의 전방 영역(또는 측방 또는 후방 영역)의 복수의 이미지를 캡처하고 이 이미지를 데이터 연결(예, 디지털, 유선, USB, 무선, 블루투스 등)을 통하여 처리부(110)로 전송할 수 있다. 처리부(110)는 단계 520에서 단안 이미지 분석 모듈(402)을 실행하여 복수의 이미지를 분석할 수 있다. 이에 대해서는 도 5b 내지 5d를 참조하여 상세히 설명한다. 분석을 수행함으로써, 처리부(110)는 이미지 세트에서 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등 등의 특징들을 검출할 수 있다.
처리부(110)는 또한 단계 520에서 단안 이미지 분석 모듈(402)을 실행하여, 예를 들면, 트럭 타이어 조각, 도로에 떨어진 표지판, 적재 불량 차량, 동물 등의 다양한 도로상의 위험을 검출할 수 있다. 도로상의 위험은 그 구조, 모양, 크기, 색 등이 다양하여 이런 위험을 검출하는 것은 더욱 어렵다. 일부 실시예에서, 처리부(110)는 단안 이미지 분석 모듈(402)을 실행하여 복수의 이미지에 대한 다중 프레임 분석을 수행하여 도로상의 위험을 검출할 수 있다. 예를 들어, 처리부(110)는 연속 프레임 사이의 카메라 움직임을 예측하고 프레임 사이의 픽셀 차이를 계산하여 도로의 3차원 지도를 구축할 수 있다. 이후, 처리부(110)는 3차원 지도를 사용하여 도로면 뿐만 아니라 도로면 상에 존재하는 위험을 검출할 수 있다.
단계 530에서, 처리부(110)는 주행 반응 모듈(408)을 실행하여 단계 520에서 수행한 분석 및 상기에서 도 4를 참조하여 설명한 방법에 근거하여 차량(200)에 하나 이상의 주행 반응을 일으킬 수 있다. 주행 반응은 예를 들어 회전, 차선 변경, 가속 변경 등을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 속도 및 가속 모듈(406)을 실행하여 얻은 데이터를 활용하여 하나 이상의 주행 반응을 야기할 수 있다. 또한, 복수의 주행 반응이 동시에, 순차적으로, 또는 결합된 형태로 일어날 수 있다. 예를 들면, 처리부(110)는 제어 신호를 차량(200)의 조향 시스템(240)과 구동 시스템(220)에 순차적으로 전송하여 차량(200)이 차로를 변경한 후 가속을 하게 할 수 있다. 또는, 처리부(110)는 차량(200)의 제동 시스템(230)과 조향 시스템(240)에 제어 신호를 동시에 전송하여 차량(200)이 제동을 하면서 동시에 차로를 변경하게 할 수 있다.
도 5b는 본 발명의 실시예에 따른 이미지 세트에서 하나 이상의 차량 및/또는 보행자를 검출하는 프로세스(500b)의 일례를 예시한 순서도이다. 처리부(110)는 단안 이미지 분석 모듈(402)을 실행하여 이 프로세스(500b)를 구현할 수 있다. 단계 540에서, 처리부(110)는 차량 및/또는 보행자일 가능성을 나타내는 후보 물체 모음을 판단할 수 있다. 예를 들어, 처리부(110)는 하나 이상의 이미지를 스캔하고, 이 이미지를 하나 이상의 미리 설정한 패턴과 비교하여, 각 이미지 내에서 관심 물체(예, 차량, 보행자 등)가 있을 만한 위치를 파악할 수 있다. 미리 설정한 패턴은 높은 비율의 오탐(false hits)과 낮은 비율의 누락(misses)을 달성하도록 설계될 수 있다. 예를 들어, 처리부(110)는 차량 또는 보행자일 가능성이 있는 후보 물체를 식별하기 위하여 미리 설정한 패턴에 낮은 유사 한계치를 사용할 수 있다. 이 결과, 처리부(110)가 차량 또는 보행자를 나타내는 후보 물체를 놓칠(즉, 식별하지 못할) 확률을 낮출 수 있다.
단계 542에서, 처리부(110)는 분류 기준에 근거하여 후보 물체 모음을 필터링하여 특정 후보(예, 관련이 없거나 적은 물체)를 제외할 수 있다. 여기서, 기준은 데이터베이스(예, 메모리(140)에 저장된 데이터베이스)에 저장된 물체 유형의 다양한 성질로부터 확보할 수 있다. 여기서, 물체 유형의 성질은 물체의 모양, 크기, 질감, 위치(예, 차량(200)에 대한 상대적 위치) 등을 포함할 수 있다. 따라서, 처리부(110)는 하나 이상의 기준을 사용하여 후보 물체 모음 중에서 거짓 후보를 제외시킬 수 있다.
단계 544에서, 처리부(110)는 이미지의 다중 프레임을 분석하여 후보 물체 모음의 물체가 차량 및/또는 보행자를 나타내는지 여부를 판단할 수 있다. 예를 들면, 처리부(110)는 검출된 후보 물체를 연속 프레임에 걸쳐 추적하여 검출된 물체와 연관된 프레임 별 데이터(예, 차량(200)과 관련된 크기, 위치 등)를 축적할 수 있다. 또한, 처리부(110)는 검출된 물체의 파라미터를 추정하고 물체의 프레임 별 위치 데이터를 예측 위치와 비교할 수 있다.
단계 546에서, 처리부(110)는 검출된 물체의 측정치 모음을 구성할 수 있다. 여기서, 측정치는 예를 들어 검출된 물체와 연계된 위치, 속도, 및 가속값(즉, 차량(200)에 대한 상대 가속값)을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 칼만 필터(Kalman filters) 또는 선형 2차 곡선 추정(LQE, linear quadratic estimation) 등과 같은 시간 기준 관찰을 사용한 추정 방법 및/또는 기타 물체 유형(예, 차, 트럭, 보행자, 자전거, 도로 표시 등)에 대한 기존 모델링 데이터에 근거하여 측정치를 구성할 수 있다. 칼만 필터는 물체 크기의 측정치에 근거하고, 크기 측정치는 충돌까지의 시간(예, 차량(200)이 물체에 도달하는 시간)에 비례할 수 있다. 따라서, 단계 540 내지 546을 수행함으로써, 처리부(110)는 캡처 된 이미지 세트 내에 등장하는 차량과 보행자를 식별하고 이 차량과 보행자와 관련된 정보(예, 위치, 속도, 크기)를 도출할 수 있다. 식별된 내용과 도출한 정보에 근거하여, 처리부(110)는 상기에서 도 5a를 참조하여 설명한 바와 같이, 차량(200)이 하나 이상의 주행 반응을 하도록 할 수 있다.
단계 548에서, 처리부(110)는 하나 이상의 이미지에 대한 광류 분석(optical flow analysis)을 수행하여 차량 또는 보행자를 나타내는 후보 물체에 대한 오탐과 누락 확률을 낮출 수 있다. 여기서, 광류 분석이란, 예를 들어, 다른 차량과 보행자와 관련된 하나 이상의 이미지에서 차량(200)에 대한, 그리고 도로 표면 움직임과 다른, 동작 패턴을 분석하는 것을 의미할 수 있다. 처리부(110)는 후보 물체의 움직임을 계산하기 위하여 위치값 및 시간값을 수학적 모델의 입력으로 사용할 수 있다. 따라서, 광류 분석은 차량(200)에 근접한 차량과 보행자를 검출하는 또 다른 방법을 제공할 수 있다. 처리부(110)는 광류 분석을 단계 540 내지 546과 함께 수행함으로써 차량과 보행자를 검출하는 중복성을 제공하고 시스템(100)의 신뢰도를 향상시킬 수 있다.
도 5c는 기재된 실시예에 따른 이미지 세트에서 도로 표시 및/또는 차로 형상 정보를 검출하는 프로세스(500c)의 일례를 예시한 순서도이다. 처리부(110)는 단안 이미지 분석 모듈(402)을 실행하여 본 프로세스(500c)를 구현할 수 있다. 단계 550에서, 처리부(110)는 하나 이상의 이미지를 스캔하여 물체 세트를 검출할 수 있다. 차로 표시의 일부분, 차로 형상 정보, 및 기타 해당 도로 표시를 검출하기 위하여, 처리부(110)는 물체 세트를 필터링하여 관련 없는 것으로 판단된 물체(예, 대수롭지 않은 포트홀(pothole), 자갈 등)를 제외시킬 수 있다. 단계 552에서, 처리부(110)는 동일 도로 표시 또는 차로 표시에 속하는, 단계 550에서 검출된, 조각들을 함께 묶을 수 있다. 이러한 묶음에 근거하여, 처리부(110)는 검출된 조각들을 나타낼 모델, 예를 들면, 수학적 모델을 생성할 수 있다.
단계 554에서, 처리부(110)는 검출된 조각들에 상응하는 측정치 세트를 구성할 수 있다. 일부 실시예에서, 처리부(110)는 검출된 조각들을 이미지 플레인(image plane)으로부터 실세계 플레인(real-world plane)으로 투영할 수 있다. 여기서, 투영은 검출된 도로의 위치, 경사, 곡률, 및 곡률 미분 등과 같은 물리적 성질에 상응하는 계수를 가진 3차 다항식을 사용하는 특징이 있을 수 있다. 투영을 생성할 때, 처리부(110)는 도로면의 변화뿐만 아니라 차량(200)의 피치(pitch)와 롤(roll)을 고려할 수 있다. 또한, 처리부(110)는 도로면에 존재하는 위치 및 모션 신호를 분석하여 도로의 높낮이를 추정할 수 있다. 나아가, 처리부(110)는 하나 이상의 이미지의 특징점 세트를 추적하여 차량(200)의 피치 및 롤 비율을 추정할 수 있다.
단계 556에서, 처리부(110)는 예를 들어 검출된 조각들을 연속 이미지 프레임에 걸쳐 추적하고 검출된 조각과 관련된 프레임별 데이터를 축적하여 다중 프레임 분석을 수행할 수 있다. 처리부(110)가 다중 프레임 분석을 수행함에 따라, 단계 554에서 구성된 측정치 세트는 더욱 신뢰할 수 있게 되고 더욱 높은 신뢰 수준을 갖게 된다. 따라서, 단계 550 내지 556을 수행함으로써, 처리부(110)는 캡처 된 이미지 세트 내에 등장하는 도로 표시를 식별하고 차로 형상 정보를 도출할 수 있게 된다. 이러한 식별과 도출된 정보에 근거하여, 처리부(110)는, 상기에서 도 5a를 참조하여 설명한 바와 같이, 차량(200)이 주행 반응을 취하게 할 수 있다.
단계 558에서, 처리부(110)는 추가 정보를 고려하여 차량(200) 주변에 관한 안전 모델을 생성할 수 있다. 처리부(110)는 안전 모델을 사용하여 시스템(100)이 차량(200)의 자율 제어를 안전하게 할 수 있는 환경을 정의할 수 있다. 일부 실시예에서, 안전 모델을 생성하기 위하여, 처리부(100)는 다른 차량의 위치와 움직임, 검출된 도로 가장자리 및 배리어(barrier), 및/또는 지도 데이터(예, 지도 데이터베이스(160)의 데이터)에서 추출한 일반적인 도로 형상 설명을 고려할 수 있다. 추가 정보를 고려함으로써, 처리부(110)는 도로 표시 및 차로 형상에 대한 중복성을 제공하고 시스템(100)의 신뢰도를 향상시킬 수 있다.
도 5d는 기재된 실시예에 따른 이미지 세트에서 신호등을 검출하는 프로세스(500d)의 일례를 예시한 순서도이다. 처리부(110)는 단안 이미지 분석 모듈(402)을 실행하여 본 프로세스(500d)를 구현할 수 있다. 단계 560에서, 처리부(110)는 이미지 세트를 스캔하고 신호등 포함 가능성이 있는 이미지의 위치에 나타나는 물체를 식별한다. 예를 들면, 처리부(110)는 식별된 물체를 필터링하여 신호등에 상응할 가능성이 없는 물체들을 제외한 후보 물체 세트를 구성할 수 있다. 필터링은 신호등의 모양, 크기, 질감, 위치(예, 차량(200)에 대한 상대적 위치) 등의 다양한 성질에 근거하여 수행될 수 있다. 이러한 성질은 여러 예의 신호등과 교통 제어 신호에 근거할 수 있고 데이터베이스에 저장될 수 있다. 일부 실시예에서, 처리부(110)는 신호등 가능성이 있는 후보 물체 세트에 대한 다중 프레임 분석을 수행할 수 있다. 예를 들어, 처리부(110)는 연속 이미지 프레임에 걸쳐 후보 물체를 추적하고, 후보 물체의 실세계 위치를 추정하고, 움직이는 물체(즉, 신호등일 가능성이 적은 물체)를 필터링할 수 있다. 일부 실시예에서, 처리부(110)는 후보 물체에 대한 색 분석을 실시하고 신호등 가능성이 있는 물체 내부에서 검출된 색의 상대적 위치를 식별할 수 있다.
단계 562에서, 처리부(110)는 교차로의 기하를 분석할 수 있다. 이 분석은 (i) 차량(200) 양측에 검출된 차로의 수, (ii) 도로상에 검출된 표시(화살표 등), (iii) 지도 데이터(예, 데이터베이스(160)에 저장된 지도 데이터)에서 추출된 교차로 설명의 조합에 근거하여 수행될 수 있다. 처리부(110)는 단안 분석 모듈(402)을 실행하여 도출한 정보를 활용하여 분석을 수행할 수 있다. 또한, 처리부(110)는 단계 560에서 검출된 신호등이 차량(200) 부근에 보이는 차로와 상응하는지 판단할 수 있다.
차량(200)이 교차로에 접근함에 따라, 단계 564에서, 처리부(110)는 분석된 교차로 기하와 검출된 신호등에 관한 신뢰 수준을 업데이트 할 수 있다. 예를 들어, 교차로에 나타날 것으로 추정된 신호등의 수와 실제로 교차로에 나타난 신호등의 수를 비교하면 신뢰 수준을 파악할 수 있다. 따라서, 이 신뢰 수준에 근거하여, 처리부(110)는 안전 조건을 향상하기 위하여 차량(200)의 제어를 운전자에게 맡길 수 있다. 단계 560 내지 564를 수행함으로써, 처리부(110)는 캡처 된 이미지 세트 내에 나타나는 신호등을 식별하고 교차로 기하 정보를 분석할 수 있다. 이러한 식별과 분석을 근거로, 처리부(110)는 상기에 도 5a를 참조하여 설명한 하나 이상의 주행 반응을 차량(200)이 하도록 할 수 있다.
도 5e는 기재된 실시예에 따른 차량 경로에 근거한 하나 이상의 주행 반응을 차량(200)에 야기하는 프로세스(500e)의 일례를 예시한 순서도이다. 단계 570에서, 처리부(110)는 차량(200)의 초기 차량 경로를 구성할 수 있다. 차량 경로는 좌표 (x, z)로 표현되는 한 세트의 점으로 나타낼 수 있고, 한 세트의 점의 두 점 간의 간격인 d i 는 1 내지 5 미터의 범위 내에 있을 수 있다. 일 실시예에서, 처리부(110)는 좌측 도로 다항식과 우측 도로 다항식과 같은 두 개의 다항식을 사용하여 초기 차량 경로를 구성할 수 있다. 처리부(110)는 두 개의 다항식 사이의 중간점을 계산하고, 오프셋이 있는 경우(오프셋이 0인 경우는 차로의 중앙을 주행하는 경우에 해당함), 차량 경로 결과에 포함된 각 점을 미리 설정한 오프셋(예, 스마트 차로 오프셋)만큼 오프셋 할 수 있다. 오프셋은 차량 경로 내의 두 점 사이의 구간에 수직인 방향일 수 있다. 다른 실시예에서, 처리부(110)는 하나의 다항식과 추정된 차로 폭을 사용하여 차량 경로의 각 점을 추정된 차로 폭에 미리 설정한 오프셋(예, 스마트 차선 오프셋)을 더한 값만큼 오프셋 할 수 있다.
단계 572에서, 처리부(110)는 단계 570에서 구성한 차량 경로를 업데이트 할 수 있다. 처리부(110)는 단계 570에서 구성한 차량 경로를 더 높은 해상도를 사용하여 재구성하여 차량 경로를 나타내는 한 세트의 점의 두 점 사이의 거리 d k 가 상기에 설명한 거리 d i 보다 작도록 할 수 있다. 예를 들어, d k 는 0.1 내지 0.3 미터의 범위 내에 있을 수 있다. 처리부(110)는 차량 경로의 전체 길이에 해당하는(즉, 차량 경로를 나타내는 점들의 세트에 근거한) 누적 거리 벡터 S를 산출하는 파라볼릭 스플라인 알고리즘(parabolic spline algorithm)을 사용하여 차량 경로를 재구성할 수 있다.
단계 574에서, 처리부(110)는 단계 572에서 구성된 업데이트된 차량 경로에 근거하여 예견점(look-ahead point)(좌표 (x l , z l )로서 표현)을 결정할 수 있다. 처리부(110)는 누적 거리 벡터 S로부터 예견점을 추출할 수 있고, 예견점은 예견 거리 및 예견 시간과 연계될 수 있다. 하한계가 10 내지 20미터일 수 있는 예견 거리는 차량(200)의 속도와 예견 시간을 곱한 값으로 산출될 수 있다. 예를 들어, 차량(200)의 속도가 감소하면, 예견 거리도 감소(예, 하한계에 도달할 때까지)할 수 있다. 범위가 0.5 내지 1.5초일 수 있는 예견 시간은 차량(200)에 주행 반응을 야기하는 것과 관계있는 하나 이상의 제어 루프(control loop)(예, 방위각 오차 추적 제어 루프)의 게인(gain)에 반비례할 수 있다. 예를 들어, 방위각 오차 추적 제어 루프의 게인은 요 레이트 루프(yaw rate loop)의 대역폭, 조향 액추에이터 루프, 차량 측방향 동역학 등에 따라 다를 수 있다. 따라서, 방위각 오차 추적 제어 루프의 게인이 클수록, 예견 시간은 작아질 수 있다.
단계 576에서, 처리부(110)는 단계 574에서 판단한 예견점에 근거하여 방위각 오차 및 요 레이트 명령을 결정할 수 있다. 처리부(110)는 예견점의 역탄젠트, 예를 들어 arctan (x l / z l )를 산출하여 결정할 수 있다. 처리부(110)는 방위각 오차와 고레벨 제어 게인의 곱을 산출하여 요 레이트 명령을 결정할 수 있다. 고레벨 제어 게인은, 예견 거리가 하한계에 있지 않은 경우, (2 / 예견 시간)과 같을 수 있다. 아니면, 고레벨 제어 게인은 (2 * 차량 속도 / 예견 거리)와 같을 수 있다.
도 5f는 기재된 실시예에 따른 선두 차량이 차로 변경을 하는지를 판단하는 프로세스(500F)의 일례를 예시한 순서도이다. 단계 580에서, 처리부(110)는 선두 차량(예, 차량(200)에 앞서 주행하는 차량)에 대한 항법 정보를 판단할 수 있다. 예를 들면, 처리부(110)는, 선두 차량의 위치, 속도(예, 방향과 속력), 및/또는 가속도를 판단할 수 있다. 처리부(110)는 또한 상기의 도 5e를 참조하여 설명한 방법을 활용하여 하나 이상의 도로 다항식, 예견점(차량(200)과 관련된 예견점), 및/또는 스네일 트레일(snail trail: 선두 차량의 경로를 묘사하는 한 세트의 점)을 판단할 수 있다.
단계 582에서 처리부(110)는 단계 580에서 판단한 항법 정보를 분석할 수 있다. 일 실시예에서, 처리부(110)는 스네일 트레일과 도로 다항식(예, 스네일 트레일을 따라가는 다항식) 사이의 거리를 계산할 수 있다. 스네일 트레일을 따라가는 거리의 분산이 미리 설정한 임계치(예, 직선 도로에서 0.1 내지 0.2, 완만한 커브길에서 0.3 내지 0.4, 급커브길에서 0.5 내지 0.6)를 초과하는 경우, 처리부(110)는 선두 차량이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다. 차량(200)의 앞에 여러 차량이 검출된 경우, 처리부(110)는 각 차량의 스네일 트레일을 비교할 수 있다. 처리부(110)는 비교 결과에 근거하여 다른 차량들의 스네일 트레일과 일치하지 않는 스네일 트레일의 차량이 차로 변경의 가능성이 있는 것으로 판단할 수 있다. 처리부(110)는 추가적으로 선두 차량의 스네일 트레일의 곡률과 선두 차량이 주행하고 있는 도로 구간의 예상 곡률을 비교할 수 있다. 예상 곡률은 지도 데이터(예, 데이터베이스(160)의 데이터), 도로 다항식, 다른 차량의 스네일 트레일, 도로에 대한 사전 지식 등으로부터 추출될 수 있다. 스네일 트레일의 곡률과 도로 구간의 예상 곡률의 차이가 미리 설정된 임계값을 초과하는 경우, 처리부(110)는 선두 차량이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다.
다른 실시예에서, 처리부(110)는 특정 시간(예, 0.5 내지 1.5초)에 대한 선두 차량의 순간 위치와 예견점(차량(200)의 예견점)을 비교할 수 있다. 특정 시간 동안에 선두 차량의 순간 위치와 예견점 사이의 거리가 변화하고 변화의 누적 합이 미리 설정한 임계치(예, 직선도로 상 0.3 내지 0.4 미터, 완만한 커브길의 0.7 내지 0.8 미터, 급커브길의 1.3 내지 1.8 미터)를 초과할 경우, 처리부(110)는 선두 차량이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 스네일 트레일을 따라 주행한 횡방향 거리와 스네일 트레일의 예상 곡률을 비교하여 스네일 트레일의 기하를 분석할 수 있다. 예상 곡률 반경은 수학식
Figure 112019047950706-pct00001
을 통하여 판단할 수 있다. 여기서,
Figure 112019047950706-pct00002
는 횡방향 주행 거리이고,
Figure 112019047950706-pct00003
는 종방향 주행 거리이다. 횡방향 주행 거리와 예상 곡률 사이의 차이가 미리 설정한 임계치(예, 500 내지 700미터)를 초과하는 경우, 처리부(110)는 선두 차량이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 선두 차량의 위치를 분석할 수 있다. 선두 차량의 위치가 도로 다항식을 안 보이게 하는 경우(예, 선두 차량이 도로 다항식의 상부에 덮어씌워 있는 경우), 처리부(110)는 선두 차량이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다. 다른 차량이 선두 차량의 앞에 검출되고 선두 차량과 앞 차량의 스네일 트레일이 서로 평행하지 않은 경우, 처리부(110)는 선두 차량(즉, 차량(200)과 가까운 차량)이 차로 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다.
단계 584에서, 처리부(110)는 단계 582에서 수행한 분석에 근거하여 선두 차량의 차로 변경 여부를 판단할 수 있다. 예를 들어, 처리부(110)는 단계 582에서 수행한 개별 분석의 가중 평균에 근거하여 판단을 할 수 있다. 이 방법에서, 예를 들면, 특정 유형의 분석에 근거하여 선두 차량이 차로 변경을 하고 있을 가능성이 있다는 판단을 처리부(110)가 내릴 경우, "1"의 값을 부여할 수 있다(선두 차량이 차로 변경을 하지 않고 있을 가능성 판단일 경우, "0"의 값 부여). 단계 582에서 수행되는 다른 분석에는 다른 가중치가 부여될 수 있으며, 본 실시예는 특정 조합의 분석 및 가중치에 한정되지 않는다. 또한, 일부 실시예에서, 예를 들어 현재 위치에서 캡처된 이미지에 기반하여 차량의 현재 위치 전방의 향후 경로를 추정할 수 있는, 학습 시스템9(예, 머신러닝 또는 딥러닝 시스템)을 활용하여 분석을 할 수 있다.
도 6은 기재된 실시예에 따른 입체 이미지 분석에 근거한 하나 이상의 주행 반응을 야기하는 프로세스(600)의 일례를 예시한 순서도이다. 단계 610에서, 처리부(110)는 복수의 제1 및 제2 이미지를 데이터 인터페이스(128)를 통하여 수신할 수 있다. 예를 들면, 이미지획득부(120, 시야(202, 204)를 가진 이미지캡처장치(122, 124) 등)에 포함된 카메라가 차량(200) 전면 영역의 복수의 제1 및 제2 이미지를 캡처하고 디지털 연결(예, USB, 무선통신, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다. 일부 실시예에서, 처리부(110)는 둘 이상의 데이터 인터페이스를 통해 복수의 제1 및 제2 이미지를 수신할 수 있다. 여기에 기재된 실시예들은 특정 데이터 인터페이스 구성 또는 프로토콜에 제한되지 않는다.
단계 620에서, 처리부(110)는 입체 이미지 분석 모듈(404)을 실행하여 복수의 제1 및 제2 이미지에 대한 입체 이미지 분석을 수행하여 차량 전면 도로의 3차원 지도를 생성하고, 이미지 내에서 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 도로상의 위험물 등과 같은 특징을 검출할 수 있다. 입체 이미지 분석은 상기에서 도 5a 내지 5d를 참조하여 설명한 단계와 유사한 방법으로 수행될 수 있다. 예를 들어, 처리부(110)는 입체 이미지 분석 모듈(404)을 실행하여 복수의 제1 및 제2 이미지 내에서 후보 물체(예, 차량, 보행자, 도로 표시, 신호등, 도로상의 위험물 등)을 검출하고, 다양한 기준에 근거하여 후보 물체의 세트를 필터링하고, 다중 프레임 분석을 수행하고, 측정치를 구성하고, 나머지 후보 물체에 대한 신뢰 수준을 판단할 수 있다. 상기 단계들을 수행함에 있어서, 처리부(110)는 한 세트의 이미지보다는 복수의 제1 및 제2 이미지 모두의 정보를 고려할 수 있다. 예를 들어, 처리부(110)는 복수의 제1 및 제2 이미지에 모두 등장하는 후보 물체에 대한 픽셀 단계 데이터(또는 두 스트림의 캡처된 이미지의 기타 데이터 서브세트)의 차이를 분석할 수 있다. 다른 예로서, 처리부(110)는 후보 물체가 복수의 이미지 중 하나에 등장하지만 다른 이미지에 등장하지 않는다는 것을 관찰하거나, 두 이미지 스트림에 등장하는 물체와 관련하여 존재하는 다른 차이점들을 통하여, 후보 물체(예, 차량(200)에 대한 후보 물체)의 위치 및/또는 속도를 추정할 수 있다. 예를 들어, 차량(200)과 관련된 위치, 속도, 및/또는 가속도는 이미지 스트림의 하나 또는 모두에 등장하는 물체와 연관된 특징의 궤적, 위치, 동작 특성 등에 근거하여 판단될 수 있다.
단계 630에서, 처리부(110)는 주행 반응 모듈(408)을 실행하여 단계 620에서 수행한 분석 및 도 4를 참조하여 상기에 설명한 방법에 근거한 하나 이상의 주행 반응을 차량(200)에 발생시킬 수 있다. 주행 반응은, 예를 들어, 회전, 차로 변경, 가속도 변경, 속도 변경, 제동 등을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 속도 및 가속 모듈(406)을 실행하여 도출한 데이터를 사용하여 하나 이상의 주행 반응을 발생시킬 수 있다. 뿐만 아니라, 다중 주행 반응이 동시에, 순차적으로, 또는 이들의 조합으로 발생될 수 있다.
도 7은 본 발명의 실시예에 따른 3세트의 이미지에 근거한 하나 이상의 주행 반응을 발생시키는 프로세스(700)의 일례를 예시한 순서도이다. 단계 710에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 복수의 제1, 제2, 제3 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126) 등)에 포함된 카메라가 차량(200) 전면 및/또는 측면 영역의 복수의 제1, 제2, 제3 이미지를 캡처하고 디지털 연결(예, USB, 무선통신, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다. 일부 실시예에서, 처리부(110)는 셋 이상의 데이터 인터페이스를 통해 복수의 제1, 제2, 제3 이미지를 수신할 수 있다. 예를 들어, 이미지캡처장치(122, 124, 126)는 처리부(110)와 데이터를 통신하기 위해 각 장치에 연관된 데이터 인터페이스가 있을 수 있다. 기재된 실시예들은 특정 데이터 인터페이스 구성 또는 프로토콜로 제한되지 않는다.
단계 720에서, 처리부(110)는 복수의 제1, 제2, 제3 이미지를 분석하여 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 도로상의 위험물 등과 같은 특징을 이미지 내에서 검출할 수 있다. 본 분석은 상기에서 도 5a 내지 5d 및 도 6을 참조하여 설명한 단계와 유사한 방법으로 수행될 수 있다. 예를 들어, 처리부(110)는 복수의 제1, 제2, 제3 이미지 각각에 대한 단안 이미지 분석(예, 단안 이미지 분석 모듈(402) 실행 및 도 5a 내지 5d를 참조하여 설명한 상기 단계)을 수행할 수 있다. 또는, 처리부(110)는 복수의 제1 및 제2 이미지, 복수의 제2 및 제3 이미지, 및/또는 복수의 제1 및 제3 이미지에 대한 입체 이미지 분석(예, 입체 이미지 분석 모듈(404) 실행 및 도 6을 참조하여 설명한 상기 단계)을 수행할 수 있다. 복수의 제1, 제2 및/또는 제3 이미지에 상응하는 처리 정보는 병합될 수 있다. 일부 실시예에서, 처리부(110)는 단안 이미지 분석과 입체 이미지 분석을 조합하여 수행할 수 있다. 예를 들면, 처리부(110)는 복수의 제1 이미지에 대해 단안 이미지 분석(예, 단안 이미지 분석 모듈(402) 실행)을 수행하고, 복수의 제2 및 제3 이미지에 대해 입체 이미지 분석(예, 입체 이미지 분석 모듈(404) 실행)을 수행할 수 있다. 상응하는 위치와 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126)의 구성은 복수의 제1, 제2, 제3 이미지에 대해 수행되는 분석의 유형에 영향을 줄 수 있다. 기재된 실시예들은 특정 구성의 이미지캡처장치(122, 124, 126) 또는 복수의 제1, 제2, 제3 이미지에 수행되는 분석의 유형으로 제한되지 않는다.
일부 실시예에서, 처리부(110)는 단계 710과 720에서 획득하고 분석한 이미지에 근거하여 시스템(100)의 검사를 수행할 수 있다. 이러한 검사는 이미지캡처장치(122, 124, 126)의 특정 구성을 위한 시스템(100)의 전체적인 성능에 대한 지시자를 제공할 수 있다. 예를 들어, 처리부(110)는 "오탐"(예, 시스템(100)이 차량 또는 보행자가 존재하는 것으로 오판하는 경우) 및 "누락"의 비율을 판단할 수 있다.
단계 730에서, 처리부(110)는 복수의 제1, 제2, 제3 이미지 중 둘로부터 도출된 정보에 근거하여 차량(200)에 하나 이상의 주행 반응을 발생시킬 수 있다. 복수의 제1, 제2, 제3 이미지 중 둘은, 예를 들어, 복수의 이미지 각각에 검출된 물체의 개수, 유형, 크기 등과 같은 다양한 요소에 의거하여 선택될 수 있다. 처리부(110)는 또한 이미지의 품질 및 해상도, 이미지에 반영된 유효 시야, 캡처 된 프레임의 수, 관심 물체가 프레임에 실제로 등장하는 정도(예, 물체가 등장하는 프레임의 퍼센트, 각 프레임에 등장하는 물체가 차지하는 비율 등) 등에 따라 이미지를 선택할 수 있다.
일부 실시예에서, 처리부(110)는 한 이미지 소스로부터 도출된 정보가 다른 이미지 소스로부터 도출된 정보와 어느 정도 일관되는지를 판단하여 복수의 제1, 제2, 제3 이미지 중 둘로부터 도출된 정보를 선택할 수 있다. 예를 들어, 처리부(110)는 이미지캡처장치(122, 124, 126) 각각으로부터 도출(단안 분석, 입체 분석, 또는 이들의 조합)된 처리 정보를 병합하고 이미지캡처장치(122, 124, 126) 각각으로부터 캡처 된 이미지 전반에 걸쳐 일관된 시각적 지시자(예, 차로 표시, 검출된 차량 및 그 위치 및/또는 경로, 검출된 신호등 등)를 판단할 수 있다. 처리부(110)는 또한 캡처 된 이미지 전반에 걸쳐 일관되지 않은 정보(예, 차로를 변경하는 차량, 차량(200)과 너무 가까운 차량을 나타내는 차로 모델 등)를 제외시킬 수 있다. 따라서, 처리부(110)는 일관된 정보 및 일관되지 않은 정보의 판단에 근거하여 복수의 제1, 제2, 제3 이미지 중 둘로부터 도출된 정보를 선택할 수 있다.
주행 반응은, 예를 들면, 회전, 차로 변경, 가속도 변경 등을 포함할 수 있다. 처리부(110)는 단계 720에서 수행된 분석과 도 4를 참조하여 설명한 방법에 근거하여 하나 이상의 주행 반응을 발생시킬 수 있다. 처리부(110)는 또한 속도 및 가속 모듈(406)을 실행하여 도출한 데이터를 사용하여 하나 이상의 주행 반응을 발생시킬 수 있다. 일부 실시예에서, 처리부(110)는 차량(200)과 복수의 제1, 제2, 제3 이미지 중 어느 하나 내에서 검출된 물체 사이의 상대적 위치, 상대적 속도, 및/또는 상대적 가속도에 근거하여 하나 이상의 주행 반응을 발생시킬 수 있다. 다중 주행 반응은 동시에, 순차적으로 또는 이들의 조합으로 발생될 수 있다.
차로 병합 및 차로 분리의 항법
일 실시예에서, 자율주행차(예, 차량(200))는 주행 중에 다양한 유형의 차로와 접할 수 있다. 예를 들어, 자율주행차가 이동 중인 차로는 인접 차로와 병합할 수 있다. 차로 병합 상황을 접하는 경우, 타 차량이 막다른 옆 차로에서 이동하고 있을 수 있고, 이 차량은 자율주행차 앞으로 들어올 수 있다. 따라서, 자율주행차는 타 차량의 하나 이상의 특성을 감안하여 감속 및/또는 경로 조정을 할 수 있다. 예를 들면, 타 차량이 갑자기 그리고 자율주행차와의 간격에 여유가 없게 이동하는 경우, 자율주행차는 속력 조정 및/또는 차로 변경을 할 필요가 있을 수 있다. 다른 예를 들면, 자율주행차가 이동 중인 차로가 갈라져서 출구 차로와 같은 추가적인 인접 차로를 형성할 수 있다.
차로 분리 상황을 접하는 경우, 자율주행차 전방의 타 차량은 차로를 변경하거나 도로를 빠져나가서 더 이상 차로 내에서 자율주행차 전방에 있지 않을 수 있다. 따라서, 자율주행차는 타 차량의 차로 이탈을 예상하고 가속도를 유지 또는 증가할 수 있다. 그러나, 자율주행차가 분리 차로를 지나가도 타 차량이 동일 차로에 계속 있을 것으로 예상되는 경우, 자율주행차는 가속도를 유지 또는 감소할 수 있다.
기재된 실시예들은 자율주행차의 항법을 위한 시스템 및 방법을 포함하여 자율 주행하는 동안에 상기 차로 변화 상황 및 차로 변화에 대해 부근의 타 차량이 취할 수 있는 일체의 잠재적 동작을 고려한다.
예를 들어, 일 실시예에서, 호스트 차량(예, 자율주행차)의 항법을 위한 시스템은 이미지캡처장치와 적어도 하나의 처리 장치를 포함할 수 있다. 적어도 하나의 처리 장치는 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신하도록 프로그램 될 수 있다. 주변상황은 호스트 차량이 이동 중인 도로 및 타깃 차량을 포함할 수 있다. 타깃 차량은 호스트 차량 주변의 타 차량일 수 있고 호스트 차량의 항법 시스템에 의해 식별될 수 있다.
일반적인 차로 병합 상황에서, 타깃 차량은 호스트 차량이 이동 중인 차로와 다른 도로의 차로 내에서 이동할 수 있다. 즉, 타깃 차량은 호스트 차량이 이동 중인 차로와 병합하는 인접 차로 내에서 이동할 수 있다. 반면, 일반적인 차로 분리 상황에서, 타깃 차량은 호스트 차량이 이동 중인 도로의 차로 내에서 이동할 수 있다. 즉, 타깃 차량은 호스트 차량과 동일한 차로 내에서 호스트 차량의 전방에서 이동할 수 있다.
적어도 하나의 처리 장치는 복수의 이미지의 적어도 하나를 분석하여 타깃 차량을 식별하고 복수의 이미지의 적어도 하나를 분석하여 타깃 차량이 이동 중인 차로와 관련된 적어도 하나의 차로 표시를 식별하도록 더 프로그램 될 수 있다. 차로 표시는, 예를 들어, 도로의 차로를 표시한 칠 또는 물리적 물체일 수 있다. 이러한 물리적 물체에는 배리어(barrier), 칸막이(divider), 중앙 분리대(median) 등이 포함될 수 있다.
적어도 하나의 처리 장치는 적어도 하나의 식별된 차로 표시의 하나 이상의 차로 표시 특성을 검출하고 하나 이상의 검출된 차로 표시 특성을 활용하여 적어도 하나의 식별된 차로 표시의 유형을 판단하도록 더 프로그램 될 수 있다. 예를 들어, 차로 표시 특성은 차로 표시의 특징을 나타낼 수 있고, 시스템은 이 특징을 활용하여 차로 표시의 유형(예, 차로 표시가 병합 차로 표시 또는 분리 차로 표시인지 여부)을 판단할 수 있다.
또한, 적어도 하나의 처리 장치는 타깃 차량의 적어도 하나의 특성을 판단하도록 더 프로그램 될 수 있다. 예를 들면, 타깃 차량의 특성은 타깃 차량의 도로 상의 위치를 포함할 수 있다. 판단된 차로 표시 유형과 판단된 타깃 차량의 특성에 의거하여, 적어도 하나의 처리 장치는 호스트 차량에 대한 항법 동작을 결정하도록 더 프로그램 될 수 있다. 항법 동작은 호스트 차량의 조향, 제동, 가속/감속의 하나 이상을 변화 또는 유지하는 것을 포함할 수 있다.
도 8a는 기재된 실시예에 따른 도로 상의 예시적인 차로 병합을 도시한 것이다. 도 8a에 도시된 바와 같이, 일부 차로 병합은 "병합" 형태의 차로 병합(800)일 수 있다. "병합" 형태의 차로 병합에서, 호스트 차량(200)이 이동 중인 차로, 즉, "호스트" 차로는 인접 차로와 병합하여 호스트 차량(200)과 인접 차로의 타깃 차량(802)가 서로 병합해야 할 수 있다.
차로 병합의 다른 예에는 "~로 병합" 형태의 차로 병합(804)이 있다. "~로 병합" 형태의 차로 병합(804)에서, 호스트 차량(200)이 이동 중인 "호스트" 차로가, 도시된 바와 같이, 인접 차로로 병합하여 호스트 차량이 인접 차로"로 병합"하고 인접 차로의 타깃 차량(802)과 병합할 수 있다. 도시된 바와 같이, 인접 차로가 호스트 차량의 좌측에 있는 경우, 차로 병합은 "좌측으로 병합" 형태의 차로 병합일 수 있는 반면, 인접 차로가 호스트 차량의 우측에 있는 경우, 차로 병합은 "우측으로 병합" 형태의 차로 병합일 수 있다.
차로 병합의 또다른 예에는 "~로부터 병합" 형태의 차로 병합(806)이 있다. "~로부터 차로 병합" 형태의 차로 병합에서, 인접 차로가 호스트 차량(200)이 이동 중인 "호스트" 차로로 병합하여 인접 차로의 타깃 차량(802)이 인접 차로"로부터 병합"하고 호스트 차량(200)이 이동 중인 "호스트" 차로로 들어올 수 있다. 도시된 바와 같이, 인접 차로가 호스트 차량(200)의 우측에 있어서 타깃 차량(802)이 우측으"로부터 병합"하는 경우, 차로 병합은 "우측으로부터 병합" 형태의 차로 병합일 수 있는 반면, 인접 차로가 호스트 차량(200)의 좌측에 있어서 타깃 차량(802)이 좌측으"로부터 병합"하는 경우, 차로 병합은 "좌측으로부터 병합" 형태의 차로 병합일 수 있다.
다른 차로 병합은 차로 분리의 형태일 수 있다. 도 8b는 기재된 실시예에 따른 도로 상의 예시적인 차로 분리를 도시한 것이다. 예를 들어, "분리" 형태의 차로 분리(808)에서, 호스트 차량(200)이 이동 중인 "호스트" 차로가 2개의 차로로 분리될 수 있고, 이에 따라, 호스트 차량(200)은 이동할 차로를 선택하게 된다. "분리" 형태의 차로 분리의 일부 경우에서, 타깃 차량(도 8b의 "분리" 형태의 차로 분리의 예에서는 미도시)은 호스트 차량의 전방에서 이동하고 있을 수 있다. 호스트 차량과 유사하게, 타깃 차량도 이동할 차로를 선택할 수 있다.
차로 분리의 다른 예에는 "차로 개방" 형태의 차로 분리(810)가 있다. "차로 개방" 형태의 차로 분리(810)에서, 호스트 차량(200)이 이동 중인 "호스트" 차로에는 변화가 없을 수 있지만, 새로운 차로가 호스트 차량(200)이 이동 중인 "호스트" 차로에 인접하여 등장할 수 있다. 새로운 인접 차로는, 예를 들어, 출구 차로일 수 있다. 도시된 바와 같이, 새로운 인접 차로가 호스트 차량(200)이 이동 중인 "호스트" 차로의 우측에 있는 경우, 차로 분리는 "차로 우측 개방" 형태의 차로 분리일 수 있는 반면, 새로운 인접 차로가 호스트 차량(200)이 이동 중인 "호스트" 차로의 좌측에 있는 경우, 차로 분리는 "차로 좌측 개방" 형태의 차로 분리일 수 있다. "차로 개방" 형태의 차로 분리의 일부 경우에서, 타깃 차량(도 8b의 "차로 개방" 형태의 차로 분리의 예에서는 미도시)은 호스트 차량의 전방에서 이동하고 있을 수 있다. 타깃 차량은 동일 차로에서 계속 이동하거나 새로운 차로로 이동할 수 있다.
차로 분리의 또 다른 예에는 "차로 확장" 형태의 차로 분리(812)가 있다. "차로 확장" 형태의 차로 분리(812)에서, 호스트 차량(200)이 이동 중인 "호스트" 차로가 확장하여 새로운 인접 차로를 형성할 수 있다. 새로운 인접 차로는, 예를 들어, 출구 차로일 수 있다. 도시된 바와 같이, 새로운 인접 차로가 호스트 차량(200)이 이동 중인 "호스트" 차로의 우측에 있는 경우, 차로 분리는 "차로 우측 확장" 형태의 차로 분리일 수 있는 반면, 새로운 인접 차로가 호스트 차량(200)이 이동 중인 "호스트" 차로의 좌측에 있는 경우, 차로 분리는 "차로 좌측 확장" 형태의 차로 분리일 수 있다. "차로 확장" 형태의 차로 분리의 일부 경우에서, 타깃 차량(802)은 호스트 차량의 전방에서 이동하고 있을 수 있다. 타깃 차량(802)은 동일 차로에서 계속 이동하거나 새로운 차로로 이동할 수 있다.
도 9는 기재된 실시예에 따른 차로 변화 분석에 의거한 하나 이상의 항법 동작의 판단을 위한 예시적인 프로세스(900)를 도시한 순서도이다. 프로세스(900)는, 예를 들어, 앞서 설명한 처리부(110)에 의해 수행될 수 있다. 설명의 편의상, 프로세스(900)는 기재된 실시예에 따른 차로 병합이 있는 도로 상의 자율주행차(예, 차량(200))의 평면도를 도시한 것인 도 10a와 기재된 실시예에 따른 차로 병합에 대한 예시적인 차로 변화 분석을 도시한 것인 도 10b를 참조하여 설명하기로 한다. 하기의 설명에서 자율주행차는 호스트 차량(예, 차량(200))으로 지칭하고, 앞서 도 1을 참조하여 설명한 바와 같은 시스템(100)의 하나 이상의 구성요소를 포함할 수 있다.
단계 902에서, 처리부(110)는 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신할 수 있다. 주변상황은 호스트 차량이 이동 중인 도로를 포함할 수 있다. 예를 들면, 도 10a에 도시된 바와 같이, 이미지캡처장치(122)는 호스트 차량(200)의 주변상황(1000)을 나타내는 적어도 하나의 이미지를 캡처할 수 있다. 주변상황(1000)은 호스트 차량(200)이 이동 중인 도로(1002)를 포함할 수 있다.
이미지캡처장치(122)는 앞서 이미지캡처장치(122), 이미지캡처장치(124), 및/또는 이미지캡처장치(126)에 대해 설명한 형태를 취할 수 있다. 호스트 차량(200)이 특정 위치에 있는 하나의 이미지캡처장치(122)를 탑재하고 있는 것으로 도시했지만, 호스트 차량(200)이 추가적인 이미지캡처장치(122)를 포함할 수 있고/있거나 도 10a에 도시된 것 외에 이미지캡처장치(122)에 대한 추가적인 또는 대안적인 위치(앞서 설명에 참조한 도면에 도시)도 가능함은 당연하다 할 것이다.
도시된 바와 같이, 주변상황(1000)은 도로(1002) 외에도 타깃 차량(802)을 포함한다. 또한, 도시된 바와 같이, 호스트 차량(200)은 도로(1002) 상의 한 차로에서 이동하고 있고, 타깃 차량(802)은 호스트 차량(200)이 이동 중인 차로와 다른 차로에서 이동하고 있다. 단일 타깃 차량(802)이 도로(1002) 상의 특정 위치에 있는 것으로 도시되어 있지만, 추가적인 타깃 차량(802) 및/또는 타깃 차량(802)의 추가적인 또는 대안적인 위치도 가능함은 당연하다 할 것이다. 또한, 도로(1002)가 특정 구성의 2차로를 포함하고 있는 것으로 도시되어 있지만, 도로(1002)가 다양한 구성과 다양한 수의 차로를 포함할 수 있음은 당연하다 할 것이다.
도로(1002)는 차로 표시(1004a 내지 1004d)를 포함한다. 차로 표시(1004a 내지 1004d)가 도로(1002) 상의 2차원 표시(예, 칠, 스티커 등)인 것으로 도시되어 있지만, 일부 실시예에서 차로 표시(1004a 내지 1004d)는 배리어, 칸막이 등과 같은 3차원 표시일 수 있다. 다른 차로 표시(1004a 내지 1004d)도 또한 가능하다. 또한, 차로 표시(1004a 내지 1004d)가 특정 위치에 특정 구성을 가진 것으로 도시되어 있지만, 더 많거나 적은 수의 차로 표시(1004a 내지 1004d) 및/또는 대안적인 위치 및/또는 구성을 가진 차로 표시(1004a 내지 1004d)도 가능함은 당연하다 할 것이다.
앞서 설명한 바와 같이, 하나 이상의 이미지캡처장치(예, 이미지캡처장치(122))는 주변상황(1000)을 나타내는 적어도 하나의 이미지를 캡처할 수 있다. 일부 실시예에서, 이미지캡처장치(122)에 의해 캡처 된 이미지는 도로(1002), 타깃 차량(802), 및/또는 도로(1002)상의 하나 이상의 차로 표시(1004a 내지 1004d)의 표현을 포함할 수 있다. 이미지는 예를 들어 흑백 또는 칼라의 형태일 수 있다. 일부 실시예에서, 이미지는 전체 해상도 이미지(full resolution image)가 아닐 수 있다. 대안적으로 또는 추가적으로, 해상도는, 하기에 설명하는 바와 같이, 차로 표시의 식별 및/또는 라벨링에 대한 필요에 따라 이미지 내에서 다양할 수 있다. 예를 들면, 이미지 내에서, 도로 영역과 지평선을 포함하는 횡방향 스트립(horizontal strip)은 하늘 및/또는 호스트 차량의 보닛을 나타내는 횡방향 스트립보다 해상도가 높을 수 있다. 다른 예를 들면, 차로 표시는 지평선에 가까울수록 작아져서 식별이 더 어렵기 때문에, 지평선을 나타내는 이미지의 횡방향 스트립은 호스트 차량과 가까운 도로를 나타내는 횡방향 스트립보다 해상도가 높을 수 있다. 일부 실시예에서, 이미지의 일부는 필요에 따라 해상도를 조정하기 위하여 서브샘플링 되거나(subsampled) 업샘플링(upsampled) 될 수 있다.
도 9를 다시 참조하면, 단계 904에서, 처리부(110)는 복수의 이미지의 적어도 하나를 분석하여 호스트 차량이 이동 중인 차로와 다른 차로에서 이동 중인 타깃 차량을 식별할 수 있다. 예를 들면, 도 10a에 도시된 바와 같이, 이미지캡처장치(122)에 의해 캡처 된 이미지는 호스트 차량(200)이 이동 중인 도로(1002)의 차로와 다른 차로에서 이동 중인 타깃 차량(802)의 표현을 포함할 수 있다. 타깃 차량(802)이 이동 중인 차로는 호스트 차량(200)이 이동 중인 차로의 옆 및/또는 인접 차로를 포함할 수 있다. 처리부(110)는 캡처 된 이미지의 하나 이상을 분석하여, 예를 들어, 앞서 도 4를 참조하여 설명한 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 활용하여 타깃 차량(802)을 식별할 수 있다.
도 9를 다시 참조하면, 단계 906에서, 처리부(110)는 복수의 이미지의 적어도 하나를 분석하여 타깃 차량이 이동 중인 차로와 관련된 적어도 하나의 차로 표시를 식별할 수 있다. 예를 들면, 도 10a에 도시된 바와 같이, 이미지캡처장치(122)에 의해 캡처 된 이미지는 도로(1002) 상의 차로 표시(1004c, 1004d)의 표현을 포함할 수 있다. 처리부(110)는 이미지를 분석하여, 예를 들어, 앞서 도 4를 참조하여 설명한 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 활용하여 차로 표시(1004c, 1004d)를 식별할 수 있다. 대안적으로 또는 추가적으로, 일부 실시예에서, 처리부(110)는 그 내용이 전체적으로 본 발명에 참조에 의해 적용된 U.S. Patent No.　7,151,996에 설명된 방법과 유사한 방법으로 차로 표시(1004c, 1004d)를 식별할 수 있다. 일부 실시예에서, 처리부(110)는 앞서 설명한 방법의 하나 이상의 방법으로 차로 표시(1004c, 1004d)의 하나 또는 모두를 식별할 수 있다.
도 9를 다시 참조하면, 단계 908에서, 처리부(110)는 적어도 하나의 식별된 표시의 하나 이상의 차로 표시 특성을 검출할 수 있다. 검출된 차로 표시 특성은, 예를 들면, 적어도 하나의 차로 표시로부터 기준점까지의 거리를 포함할 수 있다. 기준점은, 예를 들면, 표지판, 가로등, 신호등, 도로 경계석, 또는 기타 도로 특징을 포함할 수 있다. 대안적으로 또는 추가적으로, 기준점은 기타 랜드마크(예, 나무, 빌딩, 교량, 고가도로, 주차 차량, 수역 등)를 포함할 수 있다. 나아가, 기준점은 도로상의 다른 차로 표시를 포함할 수 있다. 예를 들어, 도 10a를 참조하면, 검출된 차로 표시 특성은 차로 표시(1004a)와 차로 표시(1004c) 사이의 거리 또는 차로 표시(1004b)와 차로 표시(1004c) 사이의 거리를 포함할 수 있다. 다른 예를 들면, 검출된 차로 표시 특성은 도로의 적어도 하나의 식별된 차로 표시와 적어도 하나의 다른 차로 표시와의 교차점을 포함할 수 있다. 도 10a를 참조하면, 검출된 차로 표시 특성은 차로 표시(1004b)와 차로 표시(1004c)의 교차점을 포함할 수 있다. 또 다른 예를 들면, 검출된 차로 표시 특성은 도로(1002)의 적어도 하나의 식별된 차로 표시와 적어도 하나의 다른 차로 표시 사이의 횡방향 거리의 변화를 포함할 수 있다. 예를 들어, 도 10a를 참조하면, 검출된 차로 표시 특성은 차로 표시(1004a)와 차로 표시(1004c) 사이 또는 차로 표시(1004b)와 차로 표시(1004c) 사이의 횡방향 거리의 변화를 포함할 수 있다.
도 9를 다시 참조하면, 단계 910에서, 처리부(110)는 하나 이상의 검출된 차로 표시 특성을 활용하여 적어도 하나의 식별된 차로 표시의 유형을 판단할 수 있다. 도 10a에 도시된 바와 같은 일부 실시예에서, 차로 표시의 유형은 병합 차로일 수 있다. 병합 차로는, 앞서 도 8a를 참조하여 설명한 바와 같이, "병합" 형태의 병합 차로, "~로 병합" 형태의 병합 차로, 또는 "~로부터 병합" 형태의 병합 차로일 수 있다. 또는, 일부 실시예에서, 차로 표시의 유형은, 앞서 도 8b를 참조하여 설명한 바와 같이, 그리고 하기에 도 11을 참조하여 설명하는 바와 같이, 차로 표시의 유형은 "분리" 형태의 분리 차로, "차로 개방" 형태의 분리 차로, 또는 "차로 확장" 형태의 분리 차로와 같은 분리 차로일 수 있다.
검출된 차로 표시 특성이 예를 들어 적어도 하나의 식별된 차로 표시로부터 도로상의 다른 표시와 같은 기준점까지의 거리를 포함하는 실시예에서, 검출된 차로 표시 특성을 활용한 식별된 차로 표시의 유형 판단은 호스트 차량으로부터의 거리(예, 호스트 차량 전방의 도로 상의 거리에 대한)가 증가함에 따라 식별된 차로 표시와 기준점 사이의 거리가 증가, 감소, 또는 유지되는지 여부의 판단을 포함할 수 있다. 예를 들어, 도 10a를 참조하면, 검출된 차로 표시 특성이 차로 표시(1004a)와 차로 표시(1004c) 사이 및/또는 차로 표시(1004b)와 차로 표시(1004c) 사이의 거리를 포함하는 경우, 이러한 차로 표시들 사이의 거리 감소는 차로 표시(1004c)의 차로 표시 유형이 병합 차로임을 나타내는 것일 수 있다. 이와 반대로, 차로 표시(1004a)와 차로 표시(1004c) 사이 및/또는 차로 표시(1004b)와 차로 표시(1004c) 사이의 거리가 증가하는 경우, 처리부(110)는 차로 표시(1004c)의 차로 표시 유형이 분리 차로라고 판단할 수 있다.
대안적으로 또는 추가적으로, 검출된 차로 표시 특성이 예를 들어 도로상의 식별된 차로 표시와 적어도 하나의 다른 차로 표시의 교차점을 포함하는 실시예에서, 검출된 차로 표시 특성을 활용한 식별된 차로 표시의 유형 판단은 교차점이 차로 표시 유형이 병합 차로임을 나타내는 것이라는 판단을 포함할 수 있다. 예를 들어, 도 10a를 참조하면, 검출된 차로 표시 특성이 차로 표시(1004b)와 차로 표시(1004c)의 교차점을 포함하는 경우, 처리부(110)는 차로 표시(1004c)의 차로 표시 유형이 병합 차로라고 판단할 수 있다.
다른 대안적으로 또는 추가적으로, 검출된 차로 표시 특성이 도로(1002)의 적어도 하나의 식별된 차로 표시와 적어도 하나의 다른 차로 표시 사이의 횡방향 거리의 변화를 포함하는 경우, 검출된 차로 표시 특성을 활용한 식별된 차로 표시의 유형 판단은 적어도 하나의 차로 표시와 다른 차로 표시 사이의 횡방향 거리가 호스트 차량으로부터의 거리가 증가함에 따라 증가, 감소, 또는 유지되는지 여부의 판단을 포함할 수 있다.
예를 들어, 호스트 차량 전방의 도로상의 거리에 대한 차로 표시 간의 횡방향 거리의 판단은 호스트 차량 전방의 기준점 a에서의 제1차로 표시와 제2차로 표시 사이의 횡방향 거리 a의 판단과 기준점 a 전방의 기준점 b에서의 제1차로 표시와 제2차로 표시 사이의 횡방향 거리 b의 판단을 포함할 수 있다. 횡방향 거리 a와 횡방향 거리 b의 비교는 차로 표시 간의 횡방향 거리가 증가하는지 또는 감소하는지를 나타낼 수 있다. 횡방향 거리 a가 횡방향 거리 b보다 큰 경우, 제1차로 표시와 제2차로 표시 사이의 횡방향 거리가 감소하고 있을 수 있다. 호스트 차량 전방의 거리가 증가함에 따라 차로 표시 간의 횡방향 거리가 감소하는 경우, 차로 표시가 병합 차로 표시임을 나타내는 것일 수 있다. 횡방향 거리 a가 횡방향 거리 b보다 작은 경우, 제1차로 표시와 제2차로 표시 사이의 횡방향 거리가 증가하고 있을 수 있다. 호스트 차량 전방의 거리가 증가함에 따라 차로 표시 간의 횡방향 거리가 증가하는 경우, 차로 표시가 분리 차로 표시임을 나타내는 것일 수 있다. 다른 비교도 기재된 실시예에 따라 가능하다. 예를 들어, 차로 표시 유형의 판단에는 횡방향 거리 a와 횡방향 거리 b, 또는 그 반대의, 차이의 산출이 포함될 수 있다. 예를 들면, 횡방향 거리 a와 횡방향 거리 b 사이의 차이(즉, a-b)가 양의 값인 경우, 호스트 차량 전방의 거리에 대한 차로 표시 간의 횡방향 거리는 감소하는 것일 수 있고, 병합 차로 표시임을 나타내는 것일 수 있다. 반면, 횡방향 거리 a와 횡방향 거리 b 사이의 차이(즉, a-b)가 음의 값인 경우, 호스트 차량 전방의 거리에 대한 차로 표시 간의 횡방향 거리는 증가하는 것일 수 있고, 차로 표시가 분리 차로 표시임을 나타내는 것일 수 있다.
예를 들어, 도 10a를 참조하면, 검출된 차로 표시 특성이 차로 표시(1004a)와 차로 표시(1004c) 사이 및/또는 차로 표시(1004b)와 차로 표시(1004c) 사이의 횡방향 거리를 포함하는 경우, 호스트 차량 전방의 거리에 대한 차로 표시 간의 횡방향 거리의 감소는 차로 표시(1004c)의 차로 표시 유형이 병합 차로임을 나타내는 것일 수 있다. 이에 반해, 차로 표시(1004a)와 차로 표시(1004c) 사이 및/또는 차로 표시(1004b)와 차로 표시(1004c) 사이의 횡방향 거리가 호스트 차량 전방의 거리에 대해 증가하는 경우, 처리부(110)는 차로 표시(1004c)의 차로 표시 유형이 분리 차로라고 판단할 수 있다.
다른 차로 표시 특성도 기재된 실시예에 따라 가능하다. 예를 들면, 차로 표시 특성은 차로 표시의 크기, 모양, 및 색 중의 하나 이상을 포함할 수 있다. 또한, 일부 실시예에서, 차로 표시 특성은 한 차로 표시와 다른 차로 표시 사이의 위치 관계를 포함할 수 있다. 예를 들어, 차로 표시는 다른 차로 표시와 접할 수(예, 인접 또는 연결) 있거나 다른 차로 표시에 대해 특정 방향(예, 특정 각도)으로 향할 수 있다.
도 9를 다시 참조하면, 단계 912에서, 처리부(110)는 타깃 차량의 적어도 하나의 특성을 판단할 수 있다. 일부 실시예에서, 타깃 차량의 특성의 판단은, 앞서 단계 904와 단계 906과 관련하여 설명한 바와 같이, 복수의 이미지의 분석을 포함할 수 있다. 일부 실시예에서, 타깃 차량의 특성의 판단은 호스트 차량의 하나 이상의 센서 및/또는 장치(예, 이미지 센서, 라이더, 레이더, GPS 장치, 속력 센서, 가속도계, 서스펜션 센서, 음향 센서 등)로부터의 데이터의 분석을 포함할 수 있다.
일부 실시예에서, 타깃 차량의 판단된 특성은 호스트 차량 전방 도로상의 타깃 차량의 위치를 포함할 수 있다. 예를 들어, 도 10a를 참조하면, 타깃 차량(802)의 판단된 특성은 타깃 차량(802)의 도로(1002) 상의 위치를 포함할 수 있다. 이 위치는 호스트 차량(200), 차로 표시(1004a 내지 1004d), 및/또는 다른 기준점에 대한 도로(1002) 상의 상대적 위치일 수 있고, 앞서 도 1을 참조하여 설명한 바와 같이 위치 데이터(예, GPS 위치 데이터)일 수 있다. 대안적으로 또는 추가적으로, 일부 실시예에서, 타깃 차량의 판단된 특성은 식별된 차로 표시에 대한 타깃 차량의 검출된 횡방향 움직임일 수 있다. 예를 들어, 도 10a를 참조하면, 타깃 차량(802)의 판단된 특성은 차로 표시(1004c)에 대한 타깃 차량(802)의 검출된 횡방향 움직임을 포함할 수 있다. 또 다른 대안적으로 또는 추가적으로, 일부 실시예에서, 타깃 차량의 판단된 특성은 호스트 차량에 대한 타깃 차량의 상대적 속도를 포함할 수 있다. 예를 들어, 도 10a를 참조하면, 타깃 차량(802)의 판단된 특성은 호스트 차량(200)에 대한 타깃 차량(802)의 상대적 속도를 포함할 수 있다. 대안적으로 또는 추가적으로, 일부 실시예에서, 타깃 차량의 판단된 특성은 타깃 차량의 예상 궤적을 포함할 수 있다. 예를 들어, 도 10a를 참조하면, 타깃 차량(802)의 판단된 특성은 타깃 차량(802)의 예상 궤적으로 포함할 수 있다. 처리부(110)는, 예를 들어, 단계 902에서 캡처 된 복수의 이미지의 적어도 두 이미지의 분석에 의거하여 타깃 차량(802)의 궤적을 예측할 수 있다.
도 9를 다시 참조하면, 단계 914에서, 처리부(110)는 판단된 차로 표시 유형과 타깃 차량의 판단된 특성에 의거하여 호스트 차량에 대한 항법 동작을 결정할 수 있다. 항법 동작은 호스트 차량의 조향, 제동, 또는 가속/감속의 하나 이상의 변화 또는 유지를 포함할 수 있다. 일부 실시예에서, 항법 동작은 도 2f와 도 4를 참조하여 설명한 구동 시스템(220), 제동 시스템(230), 조향 시스템(240), 속도 및 가속 모듈(406), 및 주행 반응 모듈(408)의 하나 이상을 활용하여 수행될 수 있다. 예를 들면, 항법 동작은 호스트 차량의 가속도의 증가, 유지, 또는 감소일 수 있다. 다른 예를 들면, 항법 동작은 좌방향 조향 또는 우방향 조향과 같은 호스트 차량의 조향일 수 있다.
단계 914의 호스트 차량에 대한 항법 동작의 결정은 판단된 차로 표시 유형과 타깃 차량의 판단된 특성에 모두 근거하는 것으로 설명하였지만, 일부 실시예에서, 항법 동작은 판단된 차로 표시 유형에만 의거하여 또는 타깃 차량의 판단된 특성에만 의거하여 결정될 수 있음은 당연하다 할 것이다. 예를 들면, 도 10a에는 타깃 차량(802)이 도시되어 있지만, 일부 실시예에서는 타깃 차량(802) 존재하지 않을 수 있고, 항법 동작은 판단된 차로 표시 유형에만 의거하여 결정될 수 있다.
호스트 차량에 대해 판단된 항법 동작은 판단된 차로 표시 유형에 의거할 수 있다. 예를 들면, 판단된 차로 표시 유형이 차로 병합인 경우, 호스트 차량에 대한 항법 동작은 타깃 차량과의 안전한 병합이 이루어지도록 결정될 수 있다. 이는, 예를 들어, 타깃 차량과의 충돌을 회피하기 위한 호스트 차량의 가속 또는 감속을 포함할 수 있다. 일부의 경우, 타깃 차량과 안전하게 병합하기 위하여, 항법 동작은 호스트 차량을 인접 차로로 조향하는 것을 포함할 수 있다. 다른 예를 들면, 판단된 차로 표시 유형이 차로 분리인 경우, 호스트 차량에 대한 항법 동작은 호스트 차량이 적절한 차로에서 이동할 수 있도록 결정될 수 있다. 이는, 예를 들어, 적절한 차로와의 정렬을 유지하기 위한 호스트 차량의 조향을 포함할 수 있다.
호스트 차량에 대해 판단된 항법 동작은 또한 타깃 차량의 판단된 특성에 의거할 수 있다. 예를 들면, 타깃 차량의 판단된 특성이 호스트 차량 전방 도로상의 타깃 차량의 위치를 포함하는 경우, 호스트 차량에 대한 항법 동작은, 예를 들어, 호스트 차량의 가속 또는 감속을 통하여, 타깃 차량과의 충돌을 회피하기 위해 결정될 수 있다. 다른 예를 들면, 타깃 차량의 판단된 특성이 식별된 차로 표시에 대한 타깃 차량의 검출된 횡방향 움직임을 포함하는 경우, 호스트 차량에 대한 항법 동작은 타깃 차량과의 안전한 병합이 이루어질 수 있도록 결정될 수 있다. 예를 들어, 도 10a를 참조하면, 처리부(110)는 차로 표시(1004c)에 대한 타깃 차량(802)의 검출된 횡방향 움직임을 활용하여 타깃 차량(802)이 적정한 속력으로 이동하는지 및/또는 호스트 차량(200)으로부터 안전한 거리를 유지하고 있는지 여부를 판단할 수 있다. 예를 들어, 타깃 차량(802)이 차로 표시(1004c)와 평행한 또는 실질적으로 평행한 위치를 유지하거나 90도에 가까운 각도로 차로 표시(1004c)를 비켜가는 경우, 타깃 차량(802)은 호스트 차량(200)과 충분한 거리를 두고 적정한 속도로 이동하고 있을 가능성이 높다. 그러나 타깃 차량(802)이 그 궤적이 차로 표시(1004c)와 일정 각도(예, 90도 미만의 각도)로 교차하도록 이동하고 있는 경우, 타깃 차량(802)이 빠르게 이동하고 있을 가능성이 높고 호스트 차량(200)에 가까이 병합할 것이다. 항법 동작은 타깃 차량(802)의 횡방향 움직임을 수용하기 위한 호스트 차량(200)의 가속 변화일 수 있다. 또 다른 예를 들면, 타깃 차량의 판단된 특성이 호스트 차량에 대한 타깃 차량의 상대적 속도를 포함하는 경우, 호스트 차량에 대한 항법 동작은, 예를 들어, 가속 또는 감속을 통한, 타깃 차량으로부터의 안전 거리 유지를 포함할 수 있다. 또 다른 예를 들면, 타깃 차량의 판단된 특성이 타깃 차량의 예상 궤적을 포함하는 경우, 호스트 차량에 대한 항법 동작은, 예를 들어, 호스트 차량의 조향 및/또는 가속 또는 감속을 통하여, 타깃 차량의 궤적을 회피하는 것을 포함할 수 있다.
또 다른 예를 들면, 판단된 차로 표시 유형이 차로 분리이고 타깃 차량이 호스트 차량의 전방이지만 차로 분리 이전에 있는 경우, 호스트 차량에 대한 항법 동작은 타깃 차량의 판단된 특성에 따른 호스트 차량의 가속 또는 감속을 포함할 수 있다. 예를 들면, 타깃 차량의 판단된 특성은 타깃 차량이 차로를 변경하고 있거나(또는 변경할 것이거나) 도로에서 나가고 있고(또는 도로에서 나갈 것이고) 더 이상 호스트 차량의 전방에 위치하지 않음을 나타낼 수 있다. 이에 따라 호스트 차량은 타깃 차량이 차로로부터 이탈할 것을 예상하고 가속도를 유지하거나 증가할 수 있다. 다른 예를 들면, 타깃 차량의 판단된 특성이 타깃 차량이 분리 차로를 지나서도 호스트 차량과 같은 차로에 남아있는 것으로(또는 남아있을 것으로) 나타내는 경우, 호스트 차량은 가속도를 유지하거나 감소할 수 있다. 이러한 실시예에서, 호스트 차량에 대한 항법 동작의 결정은, 하기에 설명하는 바와 같이, 타깃 차량의 하나 이상의 예상 항법 동작에 대한 고려를 포함할 수 있다.
예를 들어, 호스트 차량에 대한 항법 동작의 판단에 추가로 또는 그 일부로서, 처리부(110)는 타깃 차량의 항법 동작을 예측할 수 있다. 처리부(110)는 타깃 차량이 이동 중인 차로의 유형에 의거하여 타깃 차량의 항법 동작을 예측할 수 있다. 예를 들면, 타깃 차량이 병합 차로에서 이동 중인 경우, 처리부(110)는 타깃 차량이 차로를 변경할 것을 예측할 수 있다. 다른 예를 들면, 타깃 차량이 분리 차로에서 이동 중인 경우, 처리부(110)는 타깃 차량이 도로에서 나갈 것을 예측할 수 있다.
다른 예로, 도 10a를 참조하면, 처리부(110)는 호스트 차량(200)이 이동 중인 차로로 타깃 차량(802)이 들어올지 여부를 판단하기 위하여 차로 병합 유형의 차로 표시인 차로 표시(1004c)에 대한 타깃 차량(802)의 상대적 위치를 식별할 수 있다. 예를 들어, 타깃 차량(802)과 차로 표시(1004c) 간의 횡방향 거리가 일정하거나 감소하는 경우, 처리부(110)는 호스트 차량(200)이 이동 중인 차로로 타깃 차량(802)이 들어올 것이라고 판단할 수 있다. 이에 따라, 처리부(110)는 타깃 차량(802)이 차로 표시(1004c)를 따라가는지 여부와, 따라서 호스트 차량(200)이 이동 중인 차로로 타깃 차량(802)이 들어올지 여부를 판단할 수 있다. 일부 실시예에서, 타깃 차량의 예상 항법 동작은 타깃 차량의 예상 궤적에 의거하여 판단될 수 있다. 예를 들어, 호스트 차량(200)이 이동 중인 차로로 타깃 차량(802)이 들어올 것으로 예상되는 경우, 호스트 차량(200)은 안전한 병합을 가능하게 하기 위해 감속, 가속, 차로 변경, 또는 경적 울림을 할 수 있다. 타깃 차량의 이러한 예상 항법 동작은 호스트 차량의 이미지캡처장치에 의해 캡처 된 적어도 두 개의 이미지의 분석에 의거할 수 있다. 또 다른 실시예에서, 이러한 예상 항법 동작은 호스트 차량의 하나 이상의 센서 및/또는 장치(예, 이미지 센서, 라이더, 레이더, GPS 장치, 속력 센서, 가속도계, 서스펜션 센서, 음향 센서 등)로부터의 데이터의 분석에 의거할 수 있다.
일부 실시예에서, 하나 이상의 차로 표시(1004a 내지 1004d)의 식별 외에도, 처리부(110)는 차로 표시(1004a 내지 1004d)의 하나 이상의 라벨링을 할 수 있다. 예를 들어, 처리부(110)는 이미지캡처장치(122)에 의해 캡처 된 이미지 내에서 차로 표시(1004a 내지 1004d)를 식별하고 식별된 각 차로 표시(1004a 내지 1004d)에 대한 라벨을 생성할 수 있다. 라벨은, 예를 들어, 바이너리 맵(binary map)의 형태일 수 있다. 또는, 라벨은 이미지 세그먼트 좌표와 같은 데이터 구조의 형태일 수 있다.
일부 실시예에서, 라벨의 생성은 앞서 도 4를 참조하여 설명한 신경망의 하나 이상 및/또는 콘볼루션 신경망(convolutional neural network)의 형태를 취할 수 있는 학습 시스템으로 이미지를 공급하는 것을 포함할 수 있다. 신경망은 라벨링 된 이미지 및/또는 하나 이상의 이미지와 관련하여 저장된 차로 표시 식별자를 활용하여 학습될 수 있다. 라벨링 된 이미지 또는 라벨 및/또는 차로 표시 식별자와 관련된 이미지는 하나 이상의 데이터베이스와 같은 다양한 리소스로부터 신경망에 의해 수신될 수 있다. 하나 이상의 데이터베이스는 그 위치가 로컬(예, 시스템(100)에 포함) 및/또는 원격(예, 통신망 및/또는 인터넷 등과 같은 네트워크를 통해 접속)일 수 있고, 예를 들어, 시스템(100)의 무선 송수신기(172)를 통해 수신될 수 있다. 저장된 이미지의 라벨링은, 예를 들어, 식별된 차로 표시와 관련된 라벨(예, 병합 또는 분리)을 저장함으로써 수행될 수 있다. 일부 실시예에서, 식별된 모든 차로 표시가 라벨링 되는 것은 아닐 수 있으며, 하기에 설명하는 바와 같이, 라벨링은 차로 변화의 검출 및 차로 유형의 판단과 관계된 차로 표시에만 한정될 수 있다. 궁극적으로, 신경망은 차로 표시를 자동으로 식별하고 라벨링 하게 될 수 있다.
일부 실시예에서, 신경망은 라벨링된 이미지를 출력할 수 있는데, 이 라벨링된 이미지에서 차로 표시(1004a 내지 1004d)를 나타내는 이미지의 픽셀은 차로 표시의 일부인 것으로 라벨링된다. 일부 실시예에서, 차로 표시(1004a 내지 1004d)를 나타내는 픽셀들만이 라벨링 및/또는 라벨 또는 차로 표시 유형 식별자와 연관될 수 있다. 또는, 일부 실시예에서, 차로 표시(1004a 내지 1004d)를 나타내지 않는 픽셀들마저 포함하여 모든 픽셀들이 라벨링될 수 있으며, 라벨링된 이미지는 바이너리 맵과 AND 로직으로 연산하여 차로 표시(1004a 내지 1004d)에 대한 라벨을 구분할 수 있다.
일부 실시예에서, 라벨링된 이미지는 완전한 해상도를 가진 이미지가 아닐 수 있다. 대안적으로 또는 추가적으로, 라벨링된 이미지는 이미지캡처장치(122)에 의해 캡처된 이미지 및/또는 바이너리 맵과 동일한 해상도가 아닐 수 있다. 일부 실시예에서, 해상도가 높으면 처리부(110)가 차로 표시를 식별하는데 도움이 되고 낮은 해상도로도 라벨링된 차로 표시를 나타내는데 충분하므로, 이미지캡처장치(122)에 의해 캡처된 이미지는 라벨링된 이미지보다 높은 해상도일 수 있다. 예를 들어, 식별된 차로 표시는 라벨링된 이미지에 대해서는 낮은 해상도로 서브샘플링될 수 있고 및/또는 라벨링된 차로 표시는 식별된 차로 표시에 대해서 높은 해상도로 업샘플링될 수 있다.
라벨링된 차로 표시의 예시가 도 10b에 도시되어 있다. 도 10b는 제1 이미지(1006) 내에 캡처된 도로(1002)의 일부를 도시하고 있다. 예를 들면, 처리부(110)는 제1 이미지(1006) 내에서 차로 표시(1004c, 1004d)를 식별할 수 있다. 대안적으로 또는 추가적으로, 처리부(110)는 차로 표시(1004a, 1004b)를 식별할 수 있다. 차로 표시가 식별되면, 처리부(110)는 차로 표시(1004a, 1004b, 1004c, 1004d)를 라벨링 및/또는 차로 표시의 하나 이상에 대한 차로 표시 식별자를 생성할 수 있다.
일부 실시예에서, 차로 표시는 "일반" 차로 표시 또는 "차로 변화" 차로 표시로 라벨링 될 수 있다. 예를 들어, 제1 이미지(1006)에서, 차로 표시(1004a)와 차로 표시(1004d)는 "일반" 차로 표시로 라벨링 되고, 차로 표시(1004b)와 차로 표시(1004c)는 "차로 변화" 차로 표시로 라벨링 될 수 있다. 일부 실시예에서, "차로 변화" 차로 표시는, 앞서 도 1을 참조하여 설명한 바와 같이, 알려진 랜드마크로 저장될 수 있다. 예를 들어, 차로 병합 또는 차로 분리의 개략적인 위치 인식은 하나 이상의 "차로 변화" 차로 표시의 교차점 및/또는 상대적 위치로부터 판단될 수 있다. 이러한 "차로 변화" 랜드마크는 맵 생성에 활용되는 REMTM과 같은 위치 인식 기술을 향상시킬 수 있다. 일부 실시예에서, 위치 인식 기술은 동일한 도로를 이동 중인 많은 수의 차량에 의해 식별된 "차로 변화" 차로 표시에 의존하여 융합될 수 있는 차로 표시와 융합될 수 없는 차로 표시를 판단할 수 있다. 예를 들면, 위치 인식 기술은, 식별된 "차로 변화" 차로 표시에 의거하여, 차로 분리 이전에 차로 표시가 여럿 식별되면 일관된 모델로 융합될 수 있지만 차로 분리 이후에 차로 표시가 여럿 식별되면 일관된 모델로 융합될 수 없다고 파악할 수 있다. 다른 예를 들면, 위치 인식 기술은, 식별된 "차로 변화" 차로 표시에 의거하여, 차로 병합 이후에 차로 표시가 여럿 식별되면 일관된 모델로 융합될 수 있지만 차로 분리 이전에 차로 표시가 여럿 식별되면 일관된 모델로 융합될 수 없다고 파악할 수 있다.
일부 실시예에서, 처리부(110)는 또한 하나 이상의 차로 표시에 대해 호스트 차량(200)에 대한 차로 표시의 관계를 판단할 수 있다. 예를 들면, 차로 표시(1004a)는 "호스트 좌측" 차로 표시로 라벨링 되어 호스트 차량(200)이 이동 중인 "호스트" 차로의 좌측임을 나타낼 수 있다. 다른 예를 들면, 차로 표시(1004b)는 "호스트 우측" 차로 표시로 라벨링 되어 호스트 차량(200)이 이동 중인 "호스트" 차로의 우측임을 나타낼 수 있다. 차로 표시(1004d)는 "우측 인접 우측" 차로 표시로 라벨링 되어 호스트 차량(200)의 "우측 인접" 차로의 우측임을 나타낼 수 있다.
도 10b에 도시된 바와 같이, 처리부(110)는 또한 제2 이미지(1008) 내에서 차로 표시의 식별 및 라벨링 및/또는 차로 표시에 대한 차로 표시 식별자의 생성을 수행할 수 있다. 제2 이미지(1008)는 제1 이미지(1006)보다 시간적으로 더 나중 시간 및/또는 도로(1002) 상에서 더 나중 위치에 캡처될 수 있다. 일부 실시예에서, 제1 이미지(1006)와 제2 이미지(1008)는 처리부(110)가 도로(1002) 상 전방의 일정 거리에 있는 차로 표시를 식별하고 라벨링하게 할 수 있다. 제1 이미지(1006)와 제2 이미지(1008) 사이의 거리는 예를 들어 25미터 내지 75미터일 수 있다. 물론, 이 외의 다른 거리도 가능하다.
도시된 바와 같이, 차로 표시(1004a)와 차로 표시(1004d)가 제2 이미지(1008) 내에서 식별될 수 있다. 처리부(110)는 차로 표시(1004a)를 "호스트 좌측" 차로 표시로 또 라벨링 하여 호스트 차량(200)이 이동 중인 차로의 좌측임을 나타낼 수 있다. 반면, 차로 표시(1004d)는 제2 이미지(1008) 내에서 "호스트 우측" 차로 표시로 라벨링 되어 호스트 차량(200)이 이동 중인 차로의 우측임을 나타낼 수 있다.
일부 실시예에서, 단계 910의 식별된 차로 표시의 유형 판단 단계는 차로 표시 라벨 및/또는 차로 표시 식별자의 이미지 간의 변화를 판단하는 단계를 포함할 수 있다. 이러한 판단으로 인해, 처리부(110)는 또한 어떤 유형의 병합 차로(예, "병합" 형태의 병합 차로, "~로 병합" 형태의 병합 차로, 또는 "~부터 병합" 형태의 병합 차로) 또는 어떤 유형의 분리 차로(예, "분리" 형태의 병합 차로, "차로 개방" 형태의 병합 차로, 또는 "차로 확장" 형태의 병합 차로)가 도로(1002) 상에서 발생하는지 판단할 수 있다. 예를 들어, 도 10b를 참조하면, 처리부(110)는 제1 이미지(1106)가, 앞서 설명한 바와 같이, "호스트 좌측" 차로 표시(1004a로 도시 및 "HL"로 라벨링), "호스트 우측" 차로 표시(1004b로 도시 및 "HR"로 라벨링), 및 "우측 인접 우측" 차로 표시(1004d로 도시 및 "NRR"로 라벨링)를 포함한다. 처리부(110)는 또한 제2 이미지(1008)가 여전히 "호스트 좌측" 차로 표시("HL"로 라벨링)와 "호스트 우측" 차로 표시("HR"로 라벨링)를 포함하지만 제1 이미지(1006)의 "우측 인접 우측" 차로 표시는 포함하지 않음을 판단할 수 있다. 이러한 차로 표시 라벨에 의거하여, 처리부(110)는 제1 이미지(1006)에서 "우측 인접 우측" 차로 표시로 일부가 묘사된 "우측 인접" 차로가 호스트 차량(200)이 이동 중인 "호스트" 차로로 병합해 들어올 것이라고 판단할 수 있다. 이에 따라, 처리부(110)는 타깃 차량(802)이 "~로부터 병합" 형태의 병합 차로에서 이동 중임을 판단할 수 있고, 이는 타깃 차량(802)이 타깃 차량(802)이 현재 이동 중이 차로(즉, "우측 인접" 차로)로부터 호스트 차량(200)이 이동 중인 "호스트" 차로로 병합해 들어오는 것을 호스트 차량(200)이 준비할 수 있음을 의미한다.
다른 예를 들면, 처리부(110)는 제1 이미지(1006)가 "호스트 좌측" 차로 표시, "호스트 우측" 차로 표시, 및 "우측 인접 우측" 차로 표시를 포함한다고 판단할 수 있다. 처리부(110)는 또한 제2 이미지(1008)에서 "호스트 우측" 차로 표시가 "호스트 좌측" 차로 표시로 되었고 "우측 인접 우측" 차로 표시가 "호스트 우측" 차로 표시가 되었음을 판단할 수 있다. 제2 이미지(1008)는 "호스트 좌측" 차로 표시를 포함하지 않을 수 있다. 이러한 차로 표시 라벨에 의거하여, 처리부(110)는 제1 이미지(1006)에서 "호스트 우측" 차로 표시와 "호스트 좌측" 차로 표시에 의해 묘사된 "호스트" 차로가 "우측 인접 우측" 차로 표시에 의해 일부가 묘사된 타깃 차량(802)이 이동 중인 "우측 인접" 차로로 병합할 것임을 판단할 수 있다. 이에 따라, 처리부(110)는 타깃 차량(802)이 "~로 병합" 형태의 병합 차로에서 이동 중임을 판단할 수 있고, 이는 호스트 차량(200)이 "호스트" 차로로부터 타깃 차량(802)이 이동 중인 "우측 인접 우측" 차로로 병합할 준비를 할 수 있음을 의미한다.
도 10b는 타깃 차량(802)을 포함하여 설명되었지만, 일부 실시예에서, 타깃 차량이 없이도 차로 표시를 활용하여 호스트 차량(200)에 대한 항법 동작을 결정할 수 있음은 당연하다 할 것이다. 예를 들어, 일부 실시예에서, 앞서 설명한 바와 같이, 라벨링된 이미지가 입력되는 신경망이 도 10b에 도시된 바와 같은 차로 병합을 라벨링된 차로 표시에 의거하여 인지하도록 구성될 수 있고, 호스트 차량(200)은 이러한 차로 병합을 수용하는 항법 동작을 취할 수 있다.
도 11은 기재된 실시예에 따른 차로 변화 분석에 의거한 하나 이상의 항법 동작의 결정을 위한 다른 예시적인 프로세스(1100)를 도시한 순서도이다. 프로세스(1100)는, 예를 들어, 앞서 설명한 처리부(110)에 의해 수행될 수 있다. 설명의 편의상, 프로세스(1100)는 기재된 실시예에 따른 차로 분리가 있는 도로상의 자율주행차(예, 차량(200))의 평면도를 도시한 것인 도 12a와 기재된 실시예에 따른 차로 분리에 대한 예시적인 차로 변화 분석을 도시한 것인 도 12b를 참조하여 설명하기로 한다. 하기의 설명에서 자율주행차는 호스트 차량(예, 차량(200))으로 지칭하고, 앞서 도 1을 참조하여 설명한 바와 같은 시스템(100)의 하나 이상의 구성요소를 포함할 수 있다.
단계 1102에서, 처리부(110)는 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신할 수 있다. 주변상황은 호스트 차량이 이동 중인 도로를 포함할 수 있다. 예를 들면, 도 12a에 도시된 바와 같이, 이미지캡처장치(122)는 호스트 차량(200)의 주변상황(1200)을 나타내는 복수의 이미지를 캡처할 수 있다. 주변상황(1200)은 호스트 차량(200)이 이동 중인 도로(1202)를 포함할 수 있고, 도로(1202)는 차로 표시(1204a 내지 1204d)를 포함할 수 있다. 이미지캡처장치(122), 도로(1202), 및 차로 표시(1204a 내지 1204d)는 앞서 도 10을 참조하여 설명한 이미지캡처장치(122), 도로(1002), 및 차로 표시(1004a 내지 1004d)에 대한 하나 이상의 형태를 취할 수 있다.
앞서 설명한 바와 같이, 하나 이상의 이미지캡처장치(예, 이미지캡처장치(122))는 주변상황(1200)을 나타내는 복수의 이미지를 캡처할 수 있다. 일부 실시예에서, 이미지캡처장치(122)에 의해 캡처된 이미지는 도로(1202) 및/또는 도로(1202) 상에 있는 하나 이상의 차로 표시(1204a 내지 1204d)의 표현을 포함할 수 있다. 이미지는 앞서 도 9를 참조하여 설명한 이미지에 대한 하나 이상의 형태를 취할 수 있다.
단계 1104에서, 처리부(110)는 복수의 이미지의 적어도 하나를 분석하여 호스트 차량이 이동 중인 차로에서 이동 중인 타깃 차량을 식별할 수 있다. 즉, 차로 분리의 경우에서, 차로 분리 이전에, 타깃 차량은 호스트 차량의 전방에서 호스트 차량과 동일한 차로 내에서 이동할 수 있다. 예를 들면, 도 12a에 도시된 바와 같이, 이미지캡처장치(122)에 의해 캡처 된 이미지는 호스트 차량(200)이 이동 중인 도로(1202)의 차로에서 호스트 차량(200)의 전방에 이동 중인 타깃 차량(802)의 표현을 포함할 수 있다. 처리부(110)는 이미지를 분석하여, 예를 들어, 앞서 도 4를 참조하여 설명한 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 활용하여 타깃 차량(802)을 식별할 수 있다.
단계 1106에서, 처리부(110)는 복수의 이미지의 적어도 하나를 분석하여 차로와 관련된 복수의 차로 표시를 식별할 수 있다. 예를 들면, 도 12a에 도시된 바와 같이, 이미지캡처장치(122)에 의해 캡처 된 이미지는 도로(1002)상의 차로 표시(1204a, 1204b)의 표현을 포함할 수 있다. 일부 실시예에서, 이미지는 차로 표시(1204c, 1204d)를 추가적으로 포함할 수 있다. 처리부(110)는 이미지를 분석하여, 예를 들어, 앞서 도 4를 참조하여 설명한 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 활용하여 및/또는 앞서 설명한 방법의 하나 이상의 방법으로 차로 표시(1204a 내지 1204d)를 식별할 수 있다.
단계 1108에서, 처리부(110)는 적어도 하나의 식별된 차로 표시의 하나 이상의 특성을 검출할 수 있다. 검출된 차로 표시 특성은 적어도 하나의 식별된 차로 표시로부터 도로상의 다른 표시와 같은 기준점까지의 거리 등을 포함할 수 있다. 예를 들면, 도 12a를 참조하면, 검출된 차로 표시 특성은 차로 표시(1204a)와 차로 표시(1204c) 사이 또는 차로 표시(1204b)와 차로 표시(1204d) 사이의 거리를 포함할 수 있다. 다른 예를 들면, 검출된 차로 표시 특성은 적어도 하나의 식별된 차로 표시의 다른 차로 표시로의 분리를 포함할 수 있다. 예를 들어, 도 12a를 참조하면, 검출된 차로 표시 특성은 차로 표시(1204b)의 차로 표시(1204c)로의 분리를 포함할 수 있다. 또 다른 예를 들면, 검출된 차로 표시 특성은 적어도 하나의 식별된 차로 표시와 적어도 하나의 다른 차로 표시 사이의 횡방향 거리의 변화를 포함할 수 있다. 예를 들어, 도 12a를 참조하면, 검출된 차로 표시 특성은 호스트 차량 전방의 거리에 대한 차로 표시(1204a)와 차로 표시(1204c) 사이 또는 차로 표시(1204b)와 차로 표시(1204c) 사이의 횡방향 거리의 변화를 포함할 수 있다. 이러한 횡방향 거리의 변화는 앞서 도 9를 참조하여 설명한 방법 등으로 판단될 수 있다.
단계 1110에서, 처리부(110)는 하나 이상의 검출된 차로 표시 특성을 활용하여 적어도 하나의 식별된 차로 표시의 유형을 판단할 수 있다. 도 12a에 도시된 예에서, 차로 표시의 판단된 유형은 분리 차로일 수 있다. 분리 차로는, 앞서 도 8b를 참조하여 설명한 바와 같이, "분리" 형태의 분리 차로, "차로 개방" 형태의 분리 차로, 또는 "차로 확장" 형태의 분리 차로를 포함할 수 있다. 일부의 경우, 분리 차로는 출구 차로(예, 도로 또는 고속도로의 출구 차로)를 포함할 수 있다.
검출된 차로 표시 특성이 예를 들어 적어도 하나의 식별된 차로 표시로부터 도로상의 다른 표시와 같은 기준점까지의 거리를 포함하는 실시예에서, 검출된 차로 표시 특성을 활용한 식별된 차로 표시의 유형 판단은 호스트 차량으로부터의 거리(예, 호스트 차량 전방의 도로상의 거리에 대한)가 증가함에 따라 식별된 차로 표시와 기준점 사이의 거리가 증가, 감소, 또는 유지되는지 여부의 판단을 포함할 수 있다. 예를 들어, 도 10a를 참조하면, 검출된 차로 표시 특성이 차로 표시(1204a)와 차로 표시(1204c) 사이 및/또는 차로 표시(1204b)와 차로 표시(1204c) 사이의 거리를 포함하는 경우, 이러한 차로 표시들 사이의 거리 증가는 차로 표시 유형이 분리 차로임을 나타내는 것일 수 있다.
대안적으로 또는 추가적으로, 일부 실시예에서, 검출된 차로 표시 특성은 식별된 차로 표시의 다른 차로 표시로의 분리의 식별을 포함할 수 있다. 예를 들어, 도 12a를 참조하면, 검출된 차로 표시 특성이 차로 표시(1204b)의 차로 표시(1204b)와 차로 표시(1204c)로의 분리를 포함하는 경우, 처리부(110)는 차로 표시 유형이 분리 차로라고 판단할 수 있다.
다른 대안적으로 또는 추가적으로, 검출된 차로 표시 특성이 도로(1002)의 적어도 하나의 식별된 차로 표시와 적어도 하나의 다른 차로 표시 사이의 횡방향 거리의 변화를 포함하는 경우, 검출된 차로 표시 특성을 활용한 식별된 차로 표시의 유형 판단은 식별된 차로 표시와 다른 차로 표시 사이의 횡방향 거리가 호스트 차량으로부터의 거리(예, 호스트 차량 전방의 도로상의 거리에 대한)가 증가함에 따라 증가, 감소, 또는 유지되는지 여부의 판단을 포함할 수 있다. 예를 들어, 도 12a를 참조하면, 검출된 차로 표시 특성이 차로 표시(1204a)와 차로 표시(1204c) 사이 및/또는 차로 표시(1204b)와 차로 표시(1204d) 사이의 횡방향 거리를 포함하는 경우, 이러한 차로 표시 사이의 횡방향 거리의 증가는 차로 표시 유형이 분리 차로임을 나타내는 것일 수 있다. 호스트 차량 전방의 도로상의 거리에 대한 이러한 차로 표시 간의 횡방향 거리 변화는 앞서 도 9를 참조하여 설명한 바와 같이 판단될 수 있다.
다시 도 11을 참조하면, 단계 1112에서, 처리부(110)는 타깃 차량의 적어도 하나의 특성을 판단할 수 있다. 일부 실시예에서, 타깃 차량의 특성의 판단은, 앞서 단계 1104와 단계 1106과 관련하여 설명한 바와 같이, 복수의 이미지의 분석을 포함할 수 있다. 타깃 차량의 판단된 특성은 앞서 단계 912를 참조하여 설명한 형태의 하나 이상을 취할 수 있다.
단계 1114에서, 처리부(110)는 판단된 차로 표시 유형과 타깃 차량의 판단된 특성에 의거하여 호스트 차량에 대한 항법 동작을 결정할 수 있다. 항법 동작은 예를 들어 앞서 도 9의 단계 914에서 설명한 형태의 하나 이상을 취할 수 있다.
단계 1114의 호스트 차량에 대한 항법 동작의 결정은 판단된 차로 표시 유형과 타깃 차량의 판단된 특성에 모두 근거하는 것으로 설명하였지만, 일부 실시예에서, 항법 동작은 판단된 차로 표시 유형에만 의거하여 또는 타깃 차량의 판단된 특성에만 의거하여 결정될 수 있음은 당연하다 할 것이다. 예를 들면, 도 12a에는 타깃 차량(802)이 도시되어 있지만, 일부 실시예에서는 타깃 차량(802) 존재하지 않을 수 있고, 항법 동작은 판단된 차로 표시 유형에만 의거하여 결정될 수 있다.
예를 들어, 타깃 차량의 판단된 특성이 식별된 차로 표시에 대한 타깃 차량의 검출된 횡방향 움직임을 포함하는 경우, 호스트 차량에 대한 항법 동작은 타깃 차량이 도로에서 빠져나가는 것을 감안하여 판단될 수 있다. 예를 들어, 도 12a를 참조하면, 처리부(110)는 차로 표시(1204b)에 대한 타깃 차량(802)의 검출된 횡방향 움직임을 활용하여 타깃 차량(802)이 호스트 차량(200)이 이동 중인 차로에 계속 있을 것인지 또는 도로(1202)에서 나갈 것인지를 판단할 수 있다. 예를 들어, 타깃 차량(802)이 이동하면서 차로 표시(1204b)와 평행을 유지하는 경우, 타깃 차량(802)은 호스트 차량(200)이 이동 중인 차로 내에 계속 있을 가능성이 높을 수 있고, 호스트 차량(200)은 앞차와의 안전 거리를 유지하며 가속을 하지 않을 수 있다. 반면, 횡방향 거리가 차로 표시(1204b)에서 멀어지는(또는 차로 표시(1204c)를 향하는) 타깃 차량의 움직임을 조금이라도 나타낸다면, 호스트 차량(802)은 타깃 차량(802)이 도로(1202)에서 빠져나갈 것을 예상할 수 있고, 호스트 차량(200)은 가속을 하거나 속도를 유지할 수 있다.
일부 실시예에서, 항법 동작은 또한 타깃 차량의 예상 궤적에 의거할 수 있다. 예를 들면, 도 12a를 참조하면, 예상 궤적이 타깃 차량(802)이 도로(1202)에서 빠져나갈 것이라고 나타내는 경우, 호스트 차량(200)은 가속을 하여 호스트 차량(200)과 앞에 있는 타깃 차량(802) 사이의 거리를 좁히고 또는 타깃 차량(802)을 좌측으로 추월할 수 있다. 다른 예를 들면, 예상 궤적이 타깃 차량(802)이 도로(1202)에 남아있을 것으로 나타나는 경우, 호스트 차량(802)은 감속을 하여 호스트 차량(802)과 타깃 차량(802) 사이의 안전 거리를 유지할 수 있다.
일부 실시예에서, 호스트 차량에 대한 결정된 항법 동작은 호스트 차량의 횡방향 제어를 포함할 수 있다. 예를 들어, 도 12a에 도시된 바와 같이, 도로(1202)는 분리되어 출구 차로를 형성하고, 호스트 차량(200)은 출구 차로를 통해 도로(1202)를 빠져나가기보다는 의도한 목적지에 도착하기 위해 도로(1202) 상에 남아있을 수 있다. 이에 따라, 처리부(110)는 "호스트 차로"의 좌측 가장자리를 나타내는 "호스트 좌측" 차로 표시인 차로 표시(1204a)를 식별하고(예, 하나 이상의 이미지캡처장치에 의해 캡처된 하나 이상의 이미지의 분석을 통해) 출구 차로를 지나가는 동안 호스트 차량이 횡방향 제어를 유지해야 한다고 판단할 수 있다. 특히, 처리부(110)에 의해 결정된 항법 동작은 도로(1202) 상에 남아있기 위해 호스트 차량(200)을 차로 표시(1204a)로부터 일정한 횡방향 거리에 유지하는 것을 포함할 수 있다. 대안적으로, 호스트 차량(200)이 의도한 목적지에 도착하기 위하여 도로(1202)를 빠져나가려고 출구 차로를 이용하는 경우, 처리부(110)는 출구 차로의 우측 가장자리를 나타내는 "우측 인접 우측" 차로 표시인 차로 표시(1204d)를 식별하고(예, 하나 이상의 이미지캡처장치에 의해 캡처된 하나 이상의 이미지의 분석을 통해) 도로(1202)에서 빠져나가는 동안 호스트 차량이 횡방향 제어를 유지해야 한다고 판단할 수 있다. 특히, 처리부(110)에 의해 결정된 항법 동작은 도로(1202)를 빠져나가기 위해 호스트 차량(200)을 차로 표시(1204d)로부터 일정한 횡방향 거리에 유지하는 것을 포함할 수 있다.
대안적으로 또는 추가적으로, 호스트 차량에 대한 결정된 항법 동작은 도로의 곡률을 따라 호스트 차량을 조향하는 것을 포함할 수 있다. 예를 들면, 도 12a에 도시된 바와 같이, 도로(1202)가 분리되어 출구 차로를 형성하고 호스트 차량(200)이 도로(1202) 상에 남아있어야 하는 경우, 처리부(110)는 "호스트 차로"의 좌측 가장자리를 나타내는 "호스트 좌측" 차로 표시인 차로 표시(1204a)를 식별하여 도로(1202)의 곡률을 추정하는 반면, 출구 차로의 우측 가장자리를 나타내는 "우측 인접 우측" 차로 표시인 차로 표시(1204d)는 무시할 수 있다.
일부 실시예에서, 호스트 차량에 대한 항법 동작의 결정에 더하여, 또는 호스트 차량에 대한 항법 동작의 결정의 일부로서, 처리부(110)는 타깃 차량의 항법 동작을 예측할 수 있다. 예를 들어, 처리부(110)는 타깃 차량이 이동 중인 차로의 유형에 의거하여 타깃 차량의 항법 동작을 예측할 수 있다. 타깃 차량이 분리 차로에서 이동 중인 경우, 처리부(110)는 타깃 차량이 도로를 빠져나갈 것이라고 예측할 수 있다.
도 12a를 참조하여 예를 들면, 처리부(110)는 타깃 차량(802)이 도로(1202)를 빠져나갈 것인지를 판단하기 위해 분리 차로 표시인 차로 표시(1204c)에 대한 타깃 차량(802)의 상대적 위치를 식별할 수 있다. 타깃 차량(802)과 차로 표시(1204c) 사이의 횡방향 거리가 일정하거나 줄어드는 경우, 처리부(110)는 타깃 차량(802)이 도로(1202)를 빠져나갈 것이라고 판단할 수 있다. 반면, 타깃 차량(802)과 차로 표시(1204c) 사이의 횡방향 거리가 증가한다고 처리부(110)가 판단하는 경우, 처리부(110)는 타깃 차량(802)이 도로(1202)를 빠져나가지 않을 것이라고 판단할 수 있다. 이에 따라, 처리부(110)는 타깃 차량(802)이 출구 차로를 따라가는지 여부와, 따라서 타깃 차량(802)이 차로 표시(1204b)를 교차하여 출구 차로로 진입하기 이전이라도 타깃 차량(802)이 도로(1202)에서 빠져나갈지 여부를 판단할 수 있다. 일부 실시예에서, 타깃 차량의 항법 동작은 예상 궤적에 의거하여 판단될 수 있다. 예를 들어, 타깃 차량(802)이 도로(1202)에서 빠져나갈 것으로 예상되는 경우, 호스트 차량(200)은 가속을 하거나 속도를 유지할 수 있다.
일부 실시예에서, 하나 이상의 차로 표시(1204a 내지 1204d)의 식별 외에도, 처리부(110)는 차로 표시(1204a 내지 1204d)의 하나 이상의 라벨링을 할 수 있다. 판단된 차로 표시 라벨은 타깃 차량과 호스트 차량이 이동 중인 차로의 유형을 식별할 수 있다. 일부 실시예에서, 판단된 차로 표시 라벨은 차로의 유형이 앞서 도 8a를 참조하여 설명한 바와 같이 "병합" 형태의 병합 차로, "~로 병합" 형태의 병합 차로, 또는 "~로부터 병합" 형태의 병합 차로와 같은 병합 차로인 것으로 식별할 수 있다. 또는, 일부 실시예에서, 판단된 차로 표시 라벨은 차로의 유형이 앞서 도 8b를 참조하여 설명한 바와 같이 "분리" 형태의 분리 차로, "차로 개방" 형태의 분리 차로, 또는 "차로 확장" 형태의 분리 차로와 같은 분리 차로인 것으로 식별할 수 있다. 라벨의 생성은 앞서 도 9를 참조하여 설명한 바와 같이 신경망으로의 이미지 공급을 포함할 수 있다. 나아가, 라벨링된 이미지는 앞서 도 9를 참조하여 설명한 형태의 하나 이상을 취할 수 있다.
라벨링된 차로 표시의 예시가 도 12b에 도시되어 있다. 도시된 바와 같이, 처리부(110)는 제1 이미지(1206)에서 표시를 식별하고 라베링할 수 있다. 예를 들어, 차로 표시(1204a)는 "호스트 좌측" 차로 표시("HL"로 라벨링)로 라벨링 되어 호스트 차량(200)이 이동 중인 "호스트" 차로의 좌측임을 나타낼 수 있다. 차로 표시(1204b)는 "호스트 우측" 차로 표시("HR"로 라벨링)로 라벨링 되어 호스트 차량(200)이 이동 중인 "호스트" 차로의 우측임을 나타낼 수 있다.
도 12b에 도시된 바와 같이, 처리부(110)는 또한 제2 이미지(1208)에서 차로 표시를 식별하고 라벨링할 수 있다. 도시된 바와 같이, 차로 표시(1204a, 1204b, 1204d)가 제2 이미지(1208)에서 식별될 수 있다. 처리부(110)는 차로 표시(1204a)를 다시 "호스트 좌측" 차로 표시로 라벨링 하고 차로 표시(1204b)를 다시 "호스트 우측" 차로 표시로 라벨링할 수 있다. 제1 이미지(1206)에 등장하지 않은 차로 표시(1204d)는 제2 이미지(1208)에서 "우측 인접 우측" 차로 표시로 라벨링 되어 호스트 차량(200)이 이동 중인 차로의 우측 차로의 우측임을 나타낼 수 있다.
도 12b는 타깃 차량(802)을 포함하여 설명되었지만, 일부 실시예에서, 타깃 차량이 없이도 차로 표시를 활용하여 호스트 차량(200)에 대한 항법 동작을 결정할 수 있음은 당연하다 할 것이다. 예를 들어, 일부 실시예에서, 앞서 설명한 바와 같이, 라벨링된 이미지가 공급되는 신경망이 도 12b에 도시된 바와 같은 차로 분리를 라벨링된 차로 표시에 의거하여 인지하도록 구성될 수 있고, 호스트 차량(200)은 이러한 차로 분리를 수용하는 항법 동작을 취할 수 있다.
앞서 설명한 바와 같이, 판단된 차로 표시 라벨은 타깃 차량과 호스트 차량이 이동 중인 차로의 유형을 식별할 수 있다. 이에 따라, 처리부(110)는 식별된 차로 표시 및/또는 차로 라베에 의거하여 타깃 차량이 이동 중인 차로의 유형을 판단할 수 있다.
일부 실시예에서, 타깃 차량이 이동 중인 차로의 유형 판단은 식별된 적어도 두 차로 표시 사이의 횡방향 거리의 변화 판단을 포함할 수 있다. 예를 들어, 식별된 적어도 두 차로 표시 사이의 횡방향 거리의 변화가 증가하는 경우, 처리부(110)는 타깃 차량이 이동 중인 차로가 분리 차로라고 판단할 수 있다. 도 12b를 참조하여 예를 들면, 식별된 적어도 두 차로 표시는 차로 표시(1204b)와 차로 표시(1204d)일 수 있다. 처리부(110)는 타깃 차량(802)이 이동 중인 차로의 유형을 판단하기 위하여 차로 표시(1204b)와 차로 표시(1204d) 사이의 횡방향 거리의 변화를 판단할 수 있다. 도시된 바와 같이, 차로 표시(1204b)와 차로 표시(1204d) 사이의 횡방향 거리는 증가하고 있다. 즉, 호스트 차량(200)과 가까운 거리에서의 차로 표시(1204b)와 차로 표시(1204d) 사이의 횡방향 거리는 호스트 차량(200)과 떨어진 거리에서의 차로 표시(1204b)와 차로 표시(1204d) 사이의 횡방향 거리보다 작다. 이에 따라, 처리부(110)는 타깃 차량(802)이 분리 차로에서 이동 중이라고 판단할 수 있다. 일부 실시예에서, 처리부(110)는 판단된 차로 유형을 지도 데이터(예, 지도 데이터베이스(160))를 활용하여 검증할 수 있다.
대안적으로 또는 추가적으로, 일부 실시예에서, 타깃 차량이 이동 중인 차로의 유형 판단은 이미지 간 또는 특정 이미지 내의 차로 표시 간의 차로 표시 라벨 차이의 판단을 포함할 수 있다. 이러한 판단으로 인해 처리부(110)는 또한 어떤 유형의 병합 차로(예, "병합" 형태의 병합 차로, "~로 병합" 형태의 병합 차로, 또는 "~로부터 병합" 형태의 병합 차로) 또는 어떤 유형의 분리 차로(예, "분리" 형태의 분리 차로, "차로 개방" 형태의 분리 차로, 또는 "차로 확장" 형태의 분리 차로)가 도로(1202) 상에 발생하는지 판단할 수 있다. 도 12b를 참조하여 예를 들면, 처리부(110)는 앞서 설명한 바와 같이 제1 이미지(1206)가 "호스트 좌측" 차로 표시("HL"로 라벨링)와 "호스트 우측" 차로 표시("HR"로 라벨링)를 포함하고 있다고 판단할 수 있다. 처리부(110)는 또한 제2 이미지(1208)는 "호스트 좌측" 차로 표시("HL"로 라벨링)와 "호스트 우측" 차로 표시("HR"로 라벨링)를 포함하고 있지만 "우측 인접 우측" 차로 표시("NRR"로 라벨링)도 포함하고 있다고 판단할 수 있다. 이러한 차로 표시 라벨에 의거하여, 처리부(110)는 제2 이미지(1208) 내에서 "우측 인접 우측" 차로 표시에 의해 부분적으로 묘사된 "인접 우측" 차로가 호스트 차량(200)이 이동 중인 "호스트" 차로로부터 확장할 것이라고 판단할 수 있다. 이에 따라, 처리부(110)는 타깃 차량(802)이 "차로 확장" 형태의 분리 차로에서 이동 중이라고 판단할 수 있다. "차로 확”" 형태의 분리 차로는 도로(1202)의 우측에 있으므로, 처리부(110)는 타깃 차량(802)이 이동 중인 "인접 우측" 차로가 출구 차로일 가능성이 높다고 판단할 수 있고, 이는 호스트 차량(200)은 타깃 차량(802)이 도로(1202)로부터 빠져나가는 것에 대해 준비할 수 있음을 의미한다.
도 13은 기재된 실시예에 따른 차로 변화 분석에 의거한 하나 이상의 항법 동작의 판단을 위한 다른 예시적인 프로세스(1300)를 도시한 순서도이다. 프로세스(1300)는, 예를 들어, 앞서 설명한 처리부(110)에 의해 수행될 수 있다. 설명의 편의상, 프로세스(1300)는 기재된 실시예에 따른 차로 병합에 대한 예시적인 차로 변화 분석을 도시한 것인 도 14a 내지 도 14c와 기재된 실시예에 따른 차로 분리에 대한 예시적인 차로 변화 분석을 도시한 것인 도 15a 내지 도 15c를 참조하여 설명하기로 한다. 하기의 설명에서 자율주행차는 호스트 차량(예, 차량(200))으로 지칭하고, 앞서 도 1을 참조하여 설명한 바와 같은 시스템(100)의 하나 이상의 구성요소를 포함할 수 있다.
도시된 바와 같이, 프로세스(1300)는 단계 1302에서 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신한다. 주변상황은 호스트 차량이 이동 중인 도로를 포함한다. 이미지캡처장치(122) 및 이미지는 앞서 도 9 를 참조하여 각각 설명한 이미지캡처장치(122) 및 이미지에 대한 하나 이상의 형태를 취할 수 있다.
이미지캡처장치(122)에 의해 캡처되고 차로 병합이 있는 도로(1402)를 나타내는 예시적인 이미지(1400)가 도 14a에 도시되어 있다. 도 14a에 도시된 바와 같이, 이미지(1400)는 호스트 차량(200)의 주변상황을 나타내는 것일 수 있다. 예를 들면, 이미지(1400)는 호스트 차량(200)이 이동 중인 도로(1402)와 도로(1402) 상의 차로 표시(1404a 내지 1404e)의 표현을 포함할 수 있다. 도로(1402)와 차로 표시(1404a 내지 1404e)는 앞서 도 10을 참조하여 설명한 도로(1002)와 차로 표시(1004a 내지 1004d)에 대한 형태의 하나 이상을 취할 수 있다.
이미지캡처장치(122)에 의해 캡처되고 차로 분리가 있는 도로(1502)를 나타내는 예시적인 이미지(1500)가 도 15a에 도시되어 있다. 도 15a에 도시된 바와 같이, 이미지(1500)는 호스트 차량(200)의 주변상황을 나타내는 것일 수 있다. 예를 들면, 이미지(1500)는 호스트 차량(200)이 이동 중인 도로(1502)와 차로 표시(1504a 내지 1504e)의 표현을 포함할 수 있다. 도로(1502)와 차로 표시(1504a 내지 1504e)는 앞서 도 10을 참조하여 설명한 도로(1002)와 차로 표시(1004a 내지 1004d)에 대한 형태의 하나 이상을 취할 수 있다.
다시 도 13을 참조하면, 단계 1304에서, 처리부(110)는 복수의 이미지의 적어도 하나를 분석하여 타깃 차량을 식별할 수 있다. 앞서 설명한 바와 같이, 타깃 차량은 호스트 차량이 이동 중인 차로와 같은 차로에서 이동 중이거나 호스트 차량이 이동 중인 차로와 다른 차로에서 이동 중일 수 있다. 예를 들면, 도 14a에 도시된 바와 같이, 일부 실시예에서, 호스트 차량(200)과 타깃 차량(802)이 차로 병합에 접근함에 따라, 타깃 차량(802)은 호스트 차량(200)이 이동 중인 차로와 다른 차로에서 호스트 차량(200)의 전방에서 이동하고 있을 수 있다. 다른 예를 들면, 도 15a에 도시된 바와 같이, 일부 실시예에서, 호스트 차량(200)과 타깃 차량(802)이 차로 분리에 접근함에 따라, 타깃 차량(802)은 호스트 차량(200)이 이동 중인 차로와 같은 차로에서 호스트 차량(200)의 전방에서 이동하고 있을 수 있다. 처리부(110)는 캡처된 이미지의 하나 이상을 분석하여, 예를 들어, 앞서 도 4를 참조하여 설명한 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 활용하여 타깃 차량(802)을 식별할 수 있다.
단계 1306에서, 처리부(110)는 복수의 이미지의 적어도 하나를 분석하여 타깃 차량이 이동 중인 차로와 관련된 복수의 차로 표시를 식별할 수 있다. 예를 들면, 도 14a에 도시된 바와 같이, 처리부는 이미지(1400)를 분석하여 하나 이상의 차로 표시(1404a 내지 1404e)를 식별할 수 있다. 처리부(110)는 이미지(1400)를 분석하여, 예를 들어, 앞서 도 4를 참조하여 설명한 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 활용하여 및/또는 앞서 설명한 방법의 하나 이상의 방법으로 차로 표시(1404a 내지 1404e)를 식별할 수 있다. 다른 예를 들면, 도 15a에 도시된 바와 같이, 처리부는 이미지(1500)를 분석하여 하나 이상의 차로 표시(1504a 내지 1504e)를 식별할 수 있다. 처리부(110)는 이미지(1500)를 분석하여, 예를 들어, 앞서 도 4를 참조하여 설명한 단안 이미지 분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 활용하여 및/또는 앞서 설명한 방법의 하나 이상의 방법으로 차로 표시(1504a 내지 1504e)를 식별할 수 있다.
다시 도 13을 참조하면, 단계 1308에서, 처리부(110)는 식별된 차로 표시의 적어도 하나에 대한 차로 표시 라벨을 결정할 수 있다. 일부 실시예에서, 라벨의 생성은 앞서 도 4를 참조하여 설명한 신경망의 하나 이상 및/또는 콘볼루션 신경망의 형태를 취할 수 있는 학습 시스템으로 이미지를 공급하는 것을 포함할 수 있다. 신경망은 라벨링 된 이미지 및/또는 하나 이상의 이미지와 관련하여 저장된 차로 표시 식별자를 활용하여 학습될 수 있다. 라벨링 된 이미지 또는 라벨 및/또는 차로 표시 식별자와 관련된 이미지는 하나 이상의 데이터베이스와 같은 다양한 리소스로부터 신경망에 의해 수신될 수 있다. 하나 이상의 데이터베이스는 그 위치가 로컬(예, 시스템(100)에 포함) 및/또는 원격(예, 통신망 및/또는 인터넷 등과 같은 네트워크를 통해 접속)일 수 있고, 예를 들어, 시스템(100)의 무선 송수신기(172)를 통해 수신될 수 있다. 저장된 이미지의 라벨링은, 예를 들어, 식별된 차로 표시와 관련된 라벨(예, 병합 또는 분리)을 저장함으로써 수행될 수 있다. 일부 실시예에서, 식별된 모든 차로 표시가 라벨링 되는 것은 아닐 수 있으며, 하기에 설명하는 바와 같이, 라벨링은 차로 변화의 검출 및 차로 유형의 판단과 관계된 차로 표시에만 한정될 수 있다. 궁극적으로, 신경망은 차로 표시를 자동으로 식별하고 라벨링 하게 될 수 있다.
신경망에 의해 활용하기 위한 라벨링된 예시적인 이미지(1406)가 도 14b에 도시되어 있다. 도시된 바와 같이, 라벨링된 이미지(1406)는 차로 병합이 있는 도로(1402)의 표현을 포함하고, 차로 표시(1404a 내지 1404e)는 선 패턴을 달리하여 나타낸 바와 같이 라벨링되어 있다. 예를 들어, 차로 표시(1404a, 1404b, 1404e)의 일점 쇄선은 차로 병합의 일부를 구성하지 않는 "일반" 차로 표시를 나타내는 것이고, 차로 표시(1404c)의 점선은 병합 차로의 내측 부분을 나타내는 것이고, 차로 표시(1404d)의 실선은 병합 차로의 외측 부분을 나타내는 것일 수 있다. 신경망에 의해 활용하기 위한 라벨링된 다른 예시적인 이미지(1506)가 도 15b에 도시되어 있다. 도시된 바와 같이, 라벨링된 이미지(1506)는 차로 분리가 있는 도로(1502)의 표현을 포함하고, 차로 표시(1504a 내지 1504e)는 선 패턴을 달리하여 나타낸 바와 같이 라벨링되어 있다. 예를 들어, 차로 표시(1504a, 1504b, 1504c)의 일점 쇄선은 차로 분리의 일부를 구성하지 않는 "일반" 차로 표시를 나타내는 것이고, 차로 표시(1504d)의 점선은 분리 차로의 내측 부분을 나타내는 것이고, 차로 표시(1504e)의 실선은 분리 차로의 외측 부분을 나타내는 것일 수 있다. 도 14b와 도 15b에서는 선 패턴을 달리 한 형태의 라벨을 도시하지만, 일부 실시예에서는, 라벨은 대안적으로 또는 추가적으로 색, 문자 및/또는 숫자 태깅의 형태, 또는 라벨링된 차로 표시와 연관된 기타 지시자를 취할 수 있다. 머신 러닝 등을 통해, 신경망은 라벨링된 이미지(1406 및/또는 1506)을 활용하여 차로 표시 라벨링을 개선할 수 있다.
일부 실시예에서, 차로 표시는 호스트 차량(200)과의 관계에 대해 라벨링 될 수 있다. 예를 들어, 도 14c와 라벨링된 이미지(1410)를 참조하면, 차로 표시(1404b)는 "호스트 좌측" 차로 표시("HL"로 도시)로 라벨링 되어 호스트 차량(200)이 이동 중인 "호스트" 차로의 좌측임을 나타낼 수 있고, 차로 표시(1404c)는 "호스트 우측" 차로 표시("HR"로 도시)로 라벨링 되어 "호스트" 차로의 우측임을 나타낼 수 있다. 또한, 도시된 바와 같이, 차로 표시(1404a)는 "좌측 인접 좌측" 차로 표시("NLL"로 도시)로 라벨링 되어 "호스트" 차로의 바로 좌측에 있는 "좌측 인접" 차로의 좌측임을 나타낼 수 있다. 차로 표시(1404b)는 "호스트 좌측" 차로 표시 외에도 "좌측 인접 우측" 차로 표시("NLR"로 도시)로 라벨링 되어 "호스트" 차로의 바로 좌측에 있는 "좌측 인접" 차로의 우측임을 나타낼 수 있다. 차로 표시(1404e)는 "우측 인접 우측" 차로 표시("NRR"로 도시)로 라벨링 되어 "호스트" 차로의 바로 우측에 있는 "우측 인접" 차로의 우측임을 나타낼 수 있다. 도시된 바와 같이, 차로 병합을 형성하는 차로 표시(1404c)와 차로 표시(1404d)는 "내측" 및 "외측" 차로 병합 표시로 라벨링 될 수 있다. 구체적으로, 차로 표시(1404c)는 "내측 차로 병합" 차로 표시("ILM"으로 도시)로 라벨링 될 수 있고, 차로 표시(1404d)는 "외측 차로 병합" 차로 표시("OLM"으로 도시)로 라벨링 될 수 있다.
다른 예로 도 15c와 라벨링된 이미지(1510)를 참조하면, 차로 표시(1504b)는 "호스트 좌측" 차로 표시("HL"로 도시)로 라벨링 되어 호스트 차량(200)이 이동 중인 "호스트" 차로의 좌측임을 나타낼 수 있고, 차로 표시(1504c)는 "호스트 우측" 차로 표시("HR"로 도시)로 라벨링 되어 "호스트" 차로의 우측임을 나타낼 수 있다. 또한, 도시된 바와 같이, 차로 표시(1504a)는 "좌측 인접 좌측" 차로 표시("NLL"로 도시)로 라벨링 되어 "호스트" 차로의 바로 좌측에 있는 "좌측 인접" 차로의 좌측임을 나타낼 수 있다. 차로 표시(1504b)는 "호스트 좌측" 차로 표시 외에도 "좌측 인접 우측" 차로 표시("NLR"로 도시)로 라벨링 되어 "호스트" 차로의 바로 좌측에 있는 "좌측 인접" 차로의 우측임을 나타낼 수 있다. 도시된 바와 같이, 차로 분리를 형성하는 차로 표시(1504d)와 차로 표시(1504e)는 "내측" 및 "외측" 차로 분리 표시로 라벨링 될 수 있다. 구체적으로, 차로 표시(1504d)는 "내측 차로 분리" 차로 표시("ILS"로 도시)로 라벨링 될 수 있고, 차로 표시(1504e)는 "외측 차로 분리" 차로 표시("OLS"로 도시)로 라벨링 될 수 있다.
일부 실시예에서, 차로 표시에 대한 라벨은 데이터베이스(예, 관계형 데이터베이스)에 저장될 수 있다. 예를 들어, 차로 표시의 식별자(예, 차로 표시 라벨 및/또는 차로 표시 유형에 상응하는 식별자)가 차로 표시 위치(예, 지리적 좌표) 및/또는 차로 표시의 식별자와 연관된 데이터베이스에 저장될 수 있다. 일부 실시예에서, 차로 표시 위치 및/또는 차로 표시의 식별자의 데이터베이스는 시스템(100)의 메모리(예, 메모리(150)) 및/또는 네트워크를 통해 시스템(100)의 처리부(110)에 의해 접근 가능한 원격 서버의 메모리 등에 포함될 수 있다.
다시 도 13을 참조하면, 단계 1310에서, 처리부(110)는 타깃 차량의 예상 궤적을 판단할 수 있다. 예를 들어, 처리부(110)는 호스트 차량의 하나 이상의 센서 및/또는 장치(예, 이미지 센서, 라이더, 레이더, GPS 장치, 속력 센서, 가속도계, 서스펜션 센서, 음향 센서 등)로부터의 데이터의 분석에 의거하여 타깃 차량의 예상 궤적을 판단할 수 있다.
일부 실시예에서, 처리부(110)는 호스트 차량의 적어도 하나의 이미지캡처장치에 의해 캡처된 복수의 이미지의 적어도 두 이미지의 분석에 의거하여 타깃 차량의 예상 궤적을 판단할 수 있다. 이미지의 분석은 예를 들어 단계 1304에서 설명한 형태의 하나 이상을 취할 수 있다. 일부 실시예에서, 처리부(110)는 예를 들어 타깃 차량이 이동 중인 차로의 차로 표시 라벨에 의거하여 타깃 차량의 예상 궤적을 판단할 수 있다. 예를 들어 도 14c를 참조하면, 처리부(110)는 차로 표시(1404c)와 차로 표시(1404d)가 각각 "내측 차로 병합"과 "외측 차로 병합"으로 라벨링 되어 타깃 차량(802)이 호스트 차량(200)의 전방에서 호스트 차량(200)이 이동 중인 차로와 병합할 차로에서 이동 중임을 나타내고 있다고 판단할 수 있다. 이에 따라, 처리부(110)는 타깃 차량(802)의 예상 궤적이 호스트 차량(200)이 이동 중인 차로로 병합하는 것이라고 판단할 수 있다. 일부 실시예에서, 차로 표시 라벨을 활용하여 타깃 차량(802)의 궤적을 예측함으로써, 처리부(110)는 타깃 차량(802)이 차로 표시(1404c)를 넘어가기 전이라도 호스트 차량(200)이 이동 중인 차로로 타깃 차량(802)이 병합해 들어올지 여부를 판단할 수 있다. 다른 예로 도 15c를 참조하면, 처리부(110)는 차로 표시(1504d)와 차로 표시(1504e)가 각각 "내측 차로 분리"와 "외측 차로 분리"로 라벨링 되어 호스트 차량(200)의 전방에서 분리하여 출구 차로를 형성할 차로에서 이동 중임을 나타내고 있다고 판단할 수 있다. 이에 따라, 처리부(110)는 타깃 차량(802)의 예상 궤적이 출구 차로로 빠져나가서 호스트 차량(200)이 이동 중인 차로를 이탈하는 것일 수 있다고 판단할 수 있다. 일부 실시예에서, 차로 표시 라벨을 활용하여 타깃 차량(802)의 궤적을 예측함으로써, 처리부(110)는 타깃 차량(802)이 차로 표시(1504d)를 넘어 출구 차로로 진입하기 전이라도 타깃 차량(802)이 출구 차로로 나갈지 여부를 판단할 수 있다.
대안적으로 또는 추가적으로, 타깃 차량(802)의 예상 궤적을 판단하기 위하여, 처리부(110)는 하나 이상의 차로 표시에 대한 타깃 차량(802)의 상대적 위치를 식별할 수 있다. 예를 들어 도 14c를 참조하면, 타깃 차량(802)과 차로 표시(1404e) 사이의 횡방향 거리가 일정하거나 증가하는 경우, 처리부(110)는 타깃 차량(802)이 호스트 차량(200)이 이동 중인 차로로 병합해 들어올 것이라고 판단할 수 있다. 이에 따라, 타깃 차량(802)이 병합 차로를 따라가는지 여부와 따라서 타깃 차량(802)이 호스트 차량(200)이 이동 중인 차로로 병합해 들어올지 여부를 타깃 차량(802)이 차로 표시(1404c)를 넘어 차로로 들어오기 전에라도 판단할 수 있다.
다른 예로 도 15c를 참조하면, 타깃 차량(802)과 차로 표시(1504c) 사이의 횡방향 거리가 일정하거나 감소하는 경우, 처리부(110)는 타깃 차량(802)이 새로 형성된 출구 차로로 분리해 들어감으로써 도로(1502)를 빠져나갈 것이라고 판단할 수 있다. 이에 따라, 타깃 차량(802)이 출구 차로를 따라가는지 여부와 따라서 타깃 차량(802)이 도로(1502)를 빠져나갈지 여부를 타깃 차량(802)이 차로 표시(1504d)를 넘어 출구 차로로 들어가기 전에라도 판단할 수 있다.
다시 도 13을 참조하면, 단계 1312에서, 처리부(110)는 호스트 차량에 대한 항법 동작을 결정할 수 있다. 일부 실시예에서, 처리부(110)는 판단된 차로 표시 라벨 또는 타깃 차량의 예상 궤적에 의거하여 호스트 차량에 대한 항법 동작을 결정할 수 있다. 일부 실시예에서, 처리부(110)는 판단된 차로 표시 라벨 및 타깃 차량의 예상 궤적에 의거하여 호스트 차량에 대한 항법 동작을 결정할 수 있다.
예를 들어 도 14c를 참조하면, 차로 표시(1404c)와 차로 표시(1404d)가 타깃 차량(802)이 병합 차로에서 이동 중인 것을 나타내고 및/또는 예상 궤적이 타깃 차량(802)이 호스트 차량(200)이 이동 중인 차로로 병합해 들어올 것이라고 나타내는 경우, 호스트 차량(200)은 호스트 차량(200)과 타깃 차량(802) 사이의 안전 거리를 유지하기 위하여 감속할 수 있다. 다른 예로 도 15c를 참조하면, 차로 표시(1504d)와 차로 표시(1504e)가 타깃 차량(802)이 출구 차로에서 이동 중인 것으로 나타내고 및/또는 예상 궤적이 타깃 차량(802)이 도로(1502)를 빠져나갈 것이라고 나타내는 경우, 호스트 차량(200)은 호스트 차량(200) 전방의 타깃 차량(802)과의 거리를 좁히고 및/또는 타깃 차량(802)을 좌측으로 추월하기 위하여 가속할 수 있다.
상기의 설명은 예시의 목적으로 제시되었다. 이 설명은 모든 것을 망라한 것이 아니며 기재된 그대로의 형태 또는 실시예로 제한되는 것이 아니다. 수정 및 응용은 본 명세서를 고려하고 기재된 실시예를 실시함으로써 당업자에게 당연할 것이다. 또한, 기재된 실시예의 양상들이 메모리에 저장되는 것으로 설명되었지만, 당업자라면 이러한 양상들이, 예를 들어, 하드 디스크 또는 cd ROM, 또는 다른 유형의 RAM 또는 ROM, USB 매체, DVD, 블루레이, 4K UHD 블루레이, 또는 기타 광드라이브 매체 등의 2차저장장치와 같은 다른 유형의 컴퓨터 가독 매체에 저장될 수도 있음을 이해할 것이다.
기재된 설명과 방법에 기반한 컴퓨터 프로그램은 당업자에게는 당연한 기술이다. 다양한 프로그램 또는 프로그램 모듈이 당업자에게 공지인 기술을 사용하여 생성되거나 기존의 소프트웨어와 관련되어 설계될 수 있다. 예를 들어, 프로그램 섹션 또는 프로그램 모듈은 .Net Framework, .Net compact Framework (및 Visual Basic, C 등과 같은 관련 언어), Java, C++, Objective-C, HTML, HTML/AJAX 조합, XML, 또는 자바 애플릿(Java Applet)을 포함하는 HTML로 설계될 수 있다.
또한, 예시된 실시예들을 여기에 설명하였지만, 모든 실시예의 범위는 균등한 구성요소, 수정, 누락, 조합(예, 다양한 실시예에 걸친 양상의 조합), 응용, 및/또는 변경을 가짐은 본 발명의 당업자에게 당연하다. 청구항의 한정은 청구항에 사용된 언어에 근거하여 넓게 해석되어야 하며 본 명세서에서 또는 본 발명의 출원 중에 설명된 예시에 한정되지 않는다. 예시들은 배타적이지 않은 것으로 이해되어야 한다. 나아가, 기재된 방법의 단계들은 단계들의 순서를 재배열 및/또는 단계를 삽입 또는 삭제하는 등의 다양한 방법으로 수정될 수 있다. 따라서, 본 명세서와 예시들은 예시의 목적으로만 고려되고, 진정한 범위와 기술적 사상은 하기의 청구항과 그 균등한 범위에 의해 정의된다.

Claims (28)

  1. 호스트 차량의 항법을 위한 시스템에 있어서,
    상기 시스템은 적어도 하나의 처리 장치를 포함하고,
    상기 적어도 하나의 처리 장치는:
    상기 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신―여기서, 상기 주변상황은 상기 호스트 차량이 이동 중인 도로를 포함함;
    상기 복수의 이미지의 적어도 하나를 분석하여 상기 호스트 차량이 이동 중인 차로와 다른 상기 도로의 차로에서 이동 중인 타깃 차량을 식별;
    상기 복수의 이미지의 적어도 하나를 분석하여 상기 타깃 차량이 이동 중인 상기 차로와 연관된 적어도 하나의 차로 표시를 식별;
    상기 적어도 하나의 식별된 차로 표시의 하나 이상의 차로 표시 특성을 검출;
    상기 하나 이상의 검출된 차로 표시 특성을 활용하여 상기 적어도 하나의 식별된 차로 표시의 유형을 판단;
    상기 복수의 이미지의 적어도 하나에 의거하여 상기 타깃 차량의 적어도 하나의 특성을 판단―여기서, 상기 타깃 차량의 상기 적어도 하나의 판단된 특성은 상기 적어도 하나의 식별된 차로 표시에 대한 상기 타깃 차량의 검출된 횡방향 움직임을 포함함; 및
    상기 판단된 차로 표시 유형과 상기 타깃 차량의 상기 판단된 특성에 의거하여 상기 호스트 차량에 대한 항법 동작을 결정하도록 프로그램된, 시스템.
  2. 제1항에 있어서,
    상기 판단된 차로 표시 유형은 병합 차로를 포함하는 것을 특징으로 하는, 시스템.
  3. 제1항에 있어서,
    상기 하나 이상의 검출된 차로 표시 특성은 상기 적어도 하나의 식별된 차로 표시로부터 기준점까지의 거리를 포함하는 것을 특징으로 하는, 시스템.
  4. 제3항에 있어서,
    상기 기준점은 상기 도로의 적어도 하나의 다른 차로 표시를 포함하는 것을 특징으로 하는, 시스템.
  5. 제1항에 있어서,
    상기 하나 이상의 검출된 차로 표시 특성은 상기 적어도 하나의 식별된 차로 표시와 상기 도로의 적어도 하나의 다른 차로 표시의 교차점을 포함하는 것을 특징으로 하는, 시스템.
  6. 제1항에 있어서,
    상기 하나 이상의 검출된 차로 표시 특성은 상기 적어도 하나의 식별된 차로 표시와 도로의 적어도 하나의 다른 차로 표시 사이의 횡방향 거리의 변화를 포함하는 것을 특징으로 하는, 시스템.
  7. 제1항에 있어서,
    상기 타깃 차량의 적어도 하나의 특성의 판단은 상기 복수의 이미지의 적어도 하나의 분석을 포함하는 것을 특징으로 하는, 시스템.
  8. 제1항에 있어서,
    상기 타깃 차량의 상기 적어도 하나의 판단된 특성은 상기 호스트 차량 전방의 상기 도로 상의 상기 타깃 차량의 위치를 포함하는 것을 특징으로 하는, 시스템.
  9. 제1항에 있어서,
    상기 타깃 차량의 상기 적어도 하나의 판단된 특성은 상기 호스트 차량에 대한 상기 타깃 차량의 속도를 포함하는 것을 특징으로 하는, 시스템.
  10. 제1항에 있어서,
    상기 타깃 차량의 상기 적어도 하나의 판단된 특성은 상기 타깃 차량의 예상 궤적을 포함하는 것을 특징으로 하는, 시스템.
  11. 제1항에 있어서,
    상기 호스트 차량에 대한 상기 결정된 항법 동작은 가속도의 변경을 포함하는 것을 특징으로 하는, 시스템.
  12. 제1항에 있어서,
    상기 호스트 차량에 대한 상기 결정된 항법 동작은 호스트 차량의 조향 동작을 포함하는 것을 특징으로 하는, 시스템.
  13. 제1항에 있어서,
    상기 적어도 하나의 처리 장치는 상기 판단된 차로 표시 유형에 의거하여 상기 타깃 차량의 항법 동작을 예측하도록 더 프로그램 된 것을 특징으로 하는, 시스템.
  14. 제13항에 있어서,
    상기 타깃 차량의 상기 예측된 항법 동작은 차로 병합을 포함하는 것을 특징으로 하는, 시스템.
  15. 호스트 차량의 항법을 위한 시스템에 있어서,
    상기 시스템은 적어도 하나의 처리 장치를 포함하고,
    상기 적어도 하나의 처리 장치는:
    상기 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신―여기서, 상기 주변상황은 상기 호스트 차량이 이동 중인 도로를 포함함;
    상기 복수의 이미지의 적어도 하나를 분석하여 상기 호스트 차량이 이동 중인 상기 도로의 차로에서 이동 중인 타깃 차량을 식별;
    상기 복수의 이미지의 적어도 하나를 분석하여 상기 차로와 연관된 적어도 하나의 차로 표시를 식별;
    상기 적어도 하나의 식별된 차로 표시의 하나 이상의 특성을 검출;
    상기 하나 이상의 검출된 차로 표시 특성을 활용하여 상기 적어도 하나의 식별된 차로 표시의 유형을 판단;
    상기 복수의 이미지의 적어도 하나에 의거하여 상기 타깃 차량의 적어도 하나의 특성을 판단―여기서, 상기 타깃 차량의 상기 적어도 하나의 판단된 특성은 상기 적어도 하나의 식별된 차로 표시에 대한 상기 타깃 차량의 검출된 횡방향 움직임을 포함함; 및
    상기 판단된 차로 표시 유형과 상기 타깃 차량의 상기 판단된 특성에 의거하여 상기 호스트 차량에 대한 항법 동작을 결정하도록 프로그램된, 시스템.
  16. 제15항에 있어서,
    상기 판단된 차로 표시 유형은 분리 차로를 포함하는 것을 특징으로 하는, 시스템.
  17. 제15항에 있어서,
    상기 하나 이상의 검출된 차로 표시 특성은 상기 적어도 하나의 식별된 차로 표시로부터 기준점까지의 거리를 포함하는 것을 특징으로 하는, 시스템.
  18. 제17항에 있어서,
    상기 기준점은 상기 도로의 적어도 하나의 다른 차로 표시를 포함하는 것을 특징으로 하는, 시스템.
  19. 제15항에 있어서,
    상기 하나 이상의 검출된 차로 표시 특성은 상기 적어도 하나의 식별된 차로 표시의 다른 차로 표시로의 분리를 포함하는 것을 특징으로 하는, 시스템.
  20. 제15항에 있어서,
    상기 하나 이상의 검출된 차로 표시 특성은 상기 적어도 하나의 식별된 차로 표시와 도로의 적어도 하나의 다른 차로 표시 사이의 횡방향 거리의 변화를 포함하는 것을 특징으로 하는, 시스템.
  21. 제15항에 있어서,
    상기 타깃 차량의 적어도 하나의 특성의 판단은 상기 복수의 이미지의 적어도 두 이미지의 분석을 포함하는 것을 특징으로 하는, 시스템.
  22. 제15항에 있어서,
    상기 호스트 차량에 대한 상기 결정된 항법 동작은 가속도의 유지 또는 증가를 포함하는 것을 특징으로 하는, 시스템.
  23. 제15항에 있어서,
    상기 적어도 하나의 처리 장치는 상기 판단된 차로 표시 유형에 의거하여 상기 타깃 차량의 항법 동작을 예측하도록 더 프로그램 된 것을 특징으로 하는, 시스템.
  24. 제23항에 있어서,
    상기 타깃 차량의 상기 예측된 항법 동작은 차로 변경 또는 도로에서 빠져 나가는 것을 포함하는 것을 특징으로 하는, 시스템.
  25. 호스트 차량의 항법을 위한 방법에 있어서,
    상기 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신하는 단계―여기서, 상기 주변상황은 상기 호스트 차량이 이동 중인 도로를 포함함;
    적어도 하나의 처리 장치에 의해 상기 복수의 이미지의 적어도 하나를 분석하여 상기 호스트 차량이 이동 중인 차로와 다른 상기 도로의 차로에서 이동 중인 타깃 차량을 식별하는 단계;
    상기 복수의 이미지의 적어도 하나를 분석하여 상기 타깃 차량이 이동 중인 상기 차로와 연관된 적어도 하나의 차로 표시를 식별하는 단계;
    상기 적어도 하나의 식별된 차로 표시의 하나 이상의 차로 표시 특성을 검출하는 단계;
    상기 하나 이상의 검출된 차로 표시 특성을 활용하여 상기 적어도 하나의 식별된 차로 표시의 유형을 판단하는 단계;
    상기 복수의 이미지의 적어도 하나에 의거하여 상기 타깃 차량의 적어도 하나의 특성을 판단하는 단계―여기서, 상기 타깃 차량의 상기 적어도 하나의 판단된 특성은 상기 적어도 하나의 식별된 차로 표시에 대한 상기 타깃 차량의 검출된 횡방향 움직임을 포함함; 및
    상기 판단된 차로 표시 유형과 상기 타깃 차량의 상기 판단된 특성에 의거하여 상기 호스트 차량에 대한 항법 동작을 결정하는 단계를 포함하는, 방법.
  26. 호스트 차량의 항법을 위한 방법에 있어서,
    상기 호스트 차량의 주변상황을 나타내는 복수의 이미지를 이미지캡처장치로부터 수신하는 단계―여기서, 상기 주변상황은 상기 호스트 차량이 이동 중인 도로를 포함함;
    적어도 하나의 처리 장치에 의해 상기 복수의 이미지의 적어도 하나를 분석하여 상기 호스트 차량이 이동 중인 상기 도로의 차로에서 이동 중인 타깃 차량을 식별하는 단계;
    상기 복수의 이미지의 적어도 하나를 분석하여 상기 차로와 연관된 적어도 하나의 차로 표시를 식별하는 단계;
    상기 적어도 하나의 식별된 차로 표시의 하나 이상의 특성을 검출하는 단계;
    상기 하나 이상의 검출된 차로 표시 특성을 활용하여 상기 적어도 하나의 식별된 차로 표시의 유형을 판단하는 단계;
    상기 복수의 이미지의 적어도 하나에 의거하여 상기 타깃 차량의 적어도 하나의 특성을 판단하는 단계―여기서, 상기 타깃 차량의 상기 적어도 하나의 판단된 특성은 상기 적어도 하나의 식별된 차로 표시에 대한 상기 타깃 차량의 검출된 횡방향 움직임을 포함함; 및
    상기 판단된 차로 표시 유형과 상기 타깃 차량의 상기 판단된 특성에 의거하여 상기 호스트 차량에 대한 항법 동작을 결정하는 단계를 포함하는, 방법.

  27. 삭제
  28. 삭제
KR1020197013557A 2016-10-31 2017-10-31 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법 KR102524851B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237013087A KR20230054911A (ko) 2016-10-31 2017-10-31 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662415135P 2016-10-31 2016-10-31
US62/415,135 2016-10-31
PCT/US2017/059327 WO2018081807A2 (en) 2016-10-31 2017-10-31 Systems and methods for navigating lane merges and lane splits

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237013087A Division KR20230054911A (ko) 2016-10-31 2017-10-31 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190080885A KR20190080885A (ko) 2019-07-08
KR102524851B1 true KR102524851B1 (ko) 2023-04-25

Family

ID=60515800

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237013087A KR20230054911A (ko) 2016-10-31 2017-10-31 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
KR1020197013557A KR102524851B1 (ko) 2016-10-31 2017-10-31 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237013087A KR20230054911A (ko) 2016-10-31 2017-10-31 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법

Country Status (5)

Country Link
US (4) US10739782B2 (ko)
EP (3) EP3832263B1 (ko)
KR (2) KR20230054911A (ko)
CN (2) CN118010048A (ko)
WO (1) WO2018081807A2 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9321461B1 (en) * 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
US11235777B2 (en) * 2015-10-15 2022-02-01 Harman International Industries, Incorporated Vehicle path prediction and target classification for autonomous vehicle operation
EP3400419A2 (en) * 2016-01-05 2018-11-14 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
US10460600B2 (en) 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US10829116B2 (en) 2016-07-01 2020-11-10 nuTonomy Inc. Affecting functions of a vehicle based on function-related information about its environment
EP3491358A4 (en) 2016-07-31 2019-07-31 Netradyne, Inc. DETERMINING THE CAUSES OF TRANSPORT EVENTS AND PROMOTING GOOD DRIVING BEHAVIOR
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10234864B2 (en) * 2017-03-07 2019-03-19 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10281920B2 (en) 2017-03-07 2019-05-07 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10095234B2 (en) 2017-03-07 2018-10-09 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10209718B2 (en) 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
US10331960B2 (en) * 2017-05-10 2019-06-25 Fotonation Limited Methods for detecting, identifying and displaying object information with a multi-camera vision system
US10377377B2 (en) * 2017-06-08 2019-08-13 GM Global Technology Operations LLC Active lane positioning for blind zone mitigation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10373003B2 (en) * 2017-08-22 2019-08-06 TuSimple Deep module and fitting module system and method for motion-based lane detection with multiple sensors
CN107792073B (zh) * 2017-09-29 2019-10-25 东软集团股份有限公司 一种车辆换道控制方法、装置及相关设备
EP3687863A4 (en) 2017-09-29 2020-12-02 Netradyne, Inc. MULTIPLE EXPOSURE EVENT DETERMINATION
EP4283575A3 (en) 2017-10-12 2024-02-28 Netradyne, Inc. Detection of driving actions that mitigate risk
JP2019075008A (ja) * 2017-10-18 2019-05-16 トヨタ自動車株式会社 車両制御装置
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
US10795367B2 (en) 2018-01-11 2020-10-06 Uatc, Llc Mapped driving paths for autonomous vehicle
US10737717B2 (en) * 2018-02-14 2020-08-11 GM Global Technology Operations LLC Trajectory tracking for vehicle lateral control using neural network
US10614717B2 (en) * 2018-05-17 2020-04-07 Zoox, Inc. Drive envelope determination
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
US10663963B2 (en) * 2018-08-03 2020-05-26 Here Global B.V. Method and apparatus for visualizing future events for passengers of autonomous vehicles
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
US11126186B2 (en) 2018-09-15 2021-09-21 Toyota Research Institute, Inc. Systems and methods for predicting the trajectory of a road agent external to a vehicle
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
US11054834B2 (en) * 2018-10-19 2021-07-06 Waymo Llc Controlling vehicles through multi-lane turns
CN109533154B (zh) * 2018-12-07 2020-10-16 纳恩博（北京）科技有限公司 滑板车
CN113243029B (zh) * 2018-12-11 2022-07-05 日产自动车株式会社 其他车辆动作预测方法及其他车辆动作预测装置
US10803741B2 (en) * 2018-12-14 2020-10-13 Bendix Commercial Vehicle Systems Llc System and method for recording an image sequence
RU2763452C1 (ru) * 2018-12-28 2021-12-29 Ниссан Мотор Ко., Лтд. Способ помощи при вождении и устройство помощи при вождении
US20200307590A1 (en) * 2019-03-29 2020-10-01 Robert Bosch Gmbh Highway exit detection and line mirroring for vehicle trajectory determination
JP7303667B2 (ja) * 2019-05-31 2023-07-05 株式会社Subaru 自動運転支援装置
JP7201550B2 (ja) * 2019-07-29 2023-01-10 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11235804B2 (en) * 2019-08-06 2022-02-01 Fca Us Llc Automated vehicle lane change control techniques
JP7078021B2 (ja) * 2019-08-08 2022-05-31 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP7140092B2 (ja) * 2019-11-07 2022-09-21 トヨタ自動車株式会社 運転支援装置
FR3104111B1 (fr) * 2019-12-10 2022-01-07 Psa Automobiles Sa Procédé et système pour détecter, à bord d’un véhicule automobile, l’apparition et/ou la disparition d’une voie de circulation sur une chaussée qu’emprunte le véhicule
FR3104110B1 (fr) * 2019-12-10 2022-01-07 Psa Automobiles Sa Procédé et système pour détecter, à bord d’un véhicule automobile, l’apparition et/ou la disparition d’une voie de circulation sur une chaussée en utilisant la signalisation routière horizontale
FR3104112B1 (fr) * 2019-12-10 2021-11-26 Psa Automobiles Sa Procédé et système pour déterminer, à bord d’un véhicule automobile, une trajectoire suivie par le véhicule sur une chaussée sur laquelle une voie de circulation apparaît et/ou disparaît
CN111144015A (zh) * 2019-12-30 2020-05-12 吉林大学 一种自动驾驶汽车虚拟场景库构建方法
US12017681B2 (en) * 2020-03-13 2024-06-25 Baidu Usa Llc Obstacle prediction system for autonomous driving vehicles
US11468774B2 (en) 2020-03-17 2022-10-11 Honda Motor Co., Ltd. Systems and methods for cooperative ramp merge
US11400934B2 (en) * 2020-03-17 2022-08-02 Honda Motor Co., Ltd. Systems and methods for cooperative ramp merge
KR102305673B1 (ko) * 2020-05-12 2021-09-28 한양대학교 산학협력단 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법
KR102443401B1 (ko) * 2020-06-29 2022-09-15 주식회사 라이드플럭스 자율주행 차량을 위한 로드 네트워크 데이터 생성 방법, 장치 및 컴퓨터프로그램
US20220048503A1 (en) 2020-08-12 2022-02-17 Argo AI, LLC Path-conditioned motion forecasting for vehicle motion planning
US11673548B2 (en) * 2020-09-10 2023-06-13 Ford Global Technologies, Llc Vehicle detection and response
KR20220078208A (ko) * 2020-12-03 2022-06-10 현대모비스 주식회사 차량의 분기 도로 주행 제어방법 및 장치
US11733054B2 (en) 2020-12-11 2023-08-22 Motional Ad Llc Systems and methods for implementing occlusion representations over road features
CN112580571A (zh) * 2020-12-25 2021-03-30 北京百度网讯科技有限公司 车辆行驶的控制方法、装置及电子设备
JP2022121103A (ja) * 2021-02-08 2022-08-19 パナソニックＩｐマネジメント株式会社 合流支援装置、合流支援システム、及び合流支援方法
US11708075B2 (en) * 2021-04-08 2023-07-25 Ford Global Technologies, Llc Enhanced adaptive cruise control
US11887381B2 (en) * 2021-04-30 2024-01-30 New Eagle, Llc Use of HCNN to predict lane lines types
US12110026B2 (en) 2021-06-02 2024-10-08 Fca Us Llc Lane split decision techniques for vehicle lateral control path planning
FR3123864A1 (fr) * 2021-06-09 2022-12-16 Psa Automobiles Sa Sélection d’un objet cible pour l’assistance à la conduite d’un véhicule
CN113327423B (zh) * 2021-06-18 2022-05-06 苏州智加科技有限公司 基于行为树的车道检测方法、装置和服务器
US20230068703A1 (en) * 2021-08-24 2023-03-02 Waymo Llc Planning system for autonomously navigating around lane-sharing road agents
US20230162597A1 (en) * 2021-11-19 2023-05-25 Qualcomm Incorporated Managing Vehicle Behavior Based On Predicted Behavior Of Other Vehicles
FR3130230B1 (fr) * 2021-12-10 2023-11-03 Renault Sas Procédé d’aide au maintien d’un véhicule sur la route lors d’un rétrécissement ou d’un élargissement de voie
KR102485099B1 (ko) * 2021-12-21 2023-01-05 주식회사 인피닉 메타 데이터를 이용한 데이터 정제 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038325A (ja) * 2003-07-18 2005-02-10 Nissan Motor Co Ltd 車線変更支援装置
US20150367778A1 (en) * 2014-06-19 2015-12-24 Toyota Motor Engineering & Manufacturing North America, Inc. Road branch detection and path selection for lane centering
US20160229410A1 (en) * 2013-12-04 2016-08-11 Mobileye Vision Technologies Ltd. Systems and methods for navigating a vehicle among encroaching vehicles

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001253619A1 (en) 2000-04-14 2001-10-30 Mobileye, Inc. Generating a model of the path of a roadway from an image recorded by a camera
DE10323915A1 (de) * 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
US7444241B2 (en) * 2005-12-09 2008-10-28 Gm Global Technology Operations, Inc. Method for detecting or predicting vehicle cut-ins
JP5375752B2 (ja) * 2009-07-15 2013-12-25 日産自動車株式会社 車両運転支援装置
US9771070B2 (en) * 2011-12-09 2017-09-26 GM Global Technology Operations LLC Method and system for controlling a host vehicle
EP2629243A1 (de) * 2012-02-15 2013-08-21 Delphi Technologies, Inc. Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen
US9026300B2 (en) * 2012-11-06 2015-05-05 Google Inc. Methods and systems to aid autonomous vehicles driving through a lane merge
US8788134B1 (en) * 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US10347127B2 (en) * 2013-02-21 2019-07-09 Waymo Llc Driving mode adjustment
US9738280B2 (en) * 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
EP3154835A1 (en) 2014-06-10 2017-04-19 Mobileye Vision Technologies Ltd. Top-down refinement in lane marking navigation
KR102255432B1 (ko) * 2014-06-17 2021-05-24 팅크웨어(주) 전자 장치 및 그의 제어 방법
US9677898B2 (en) * 2014-06-17 2017-06-13 Think Ware Corporation Electronic apparatus and control method thereof
CN107111742B (zh) * 2014-08-18 2021-04-02 无比视视觉技术有限公司 在导航中对车道限制和施工区域的识别和预测
US9892296B2 (en) * 2014-11-12 2018-02-13 Joseph E. Kovarik Method and system for autonomous vehicles
JP6485328B2 (ja) * 2015-11-09 2019-03-20 株式会社デンソー 車両の運転支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038325A (ja) * 2003-07-18 2005-02-10 Nissan Motor Co Ltd 車線変更支援装置
US20160229410A1 (en) * 2013-12-04 2016-08-11 Mobileye Vision Technologies Ltd. Systems and methods for navigating a vehicle among encroaching vehicles
US20150367778A1 (en) * 2014-06-19 2015-12-24 Toyota Motor Engineering & Manufacturing North America, Inc. Road branch detection and path selection for lane centering

Also Published As

Publication number Publication date
US20210072765A1 (en) 2021-03-11
US20240345593A1 (en) 2024-10-17
US10739782B2 (en) 2020-08-11
KR20190080885A (ko) 2019-07-08
EP3532801B1 (en) 2020-12-16
EP3532801A2 (en) 2019-09-04
CN118010048A (zh) 2024-05-10
US20220283591A1 (en) 2022-09-08
WO2018081807A3 (en) 2018-06-28
US20180120859A1 (en) 2018-05-03
EP3832263C0 (en) 2024-05-01
US11392135B2 (en) 2022-07-19
CN109891194A (zh) 2019-06-14
CN109891194B (zh) 2024-01-26
EP3832263B1 (en) 2024-05-01
KR20230054911A (ko) 2023-04-25
EP4414661A1 (en) 2024-08-14
EP3832263A1 (en) 2021-06-09
WO2018081807A2 (en) 2018-05-03
US11960293B2 (en) 2024-04-16

Similar Documents

Publication Publication Date Title
KR102524851B1 (ko) 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
KR102534353B1 (ko) 검출된 배리어에 기반한 차량의 항법
US11993290B2 (en) Predicting and responding to cut in vehicles and altruistic responses
KR102493878B1 (ko) 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
EP3854646B1 (en) Systems and methods for navigating with safe distances
EP3657130B1 (en) Navigation based on vehicle activity
KR102547600B1 (ko) 자율주행차 시스템을 위한 교차 시야

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant