KR20180060782A - 차량 속도 제어 방법 및 장치 - Google Patents

차량 속도 제어 방법 및 장치 Download PDF

Info

Publication number
KR20180060782A
KR20180060782A KR1020160160673A KR20160160673A KR20180060782A KR 20180060782 A KR20180060782 A KR 20180060782A KR 1020160160673 A KR1020160160673 A KR 1020160160673A KR 20160160673 A KR20160160673 A KR 20160160673A KR 20180060782 A KR20180060782 A KR 20180060782A
Authority
KR
South Korea
Prior art keywords
vehicle
distance
image
end point
speed control
Prior art date
Application number
KR1020160160673A
Other languages
English (en)
Other versions
KR102585219B1 (ko
Inventor
이재우
이동욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160160673A priority Critical patent/KR102585219B1/ko
Priority to EP17194442.4A priority patent/EP3327618B1/en
Priority to CN201710979163.2A priority patent/CN108116410B/zh
Priority to US15/799,119 priority patent/US10668924B2/en
Priority to JP2017224793A priority patent/JP2018087004A/ja
Publication of KR20180060782A publication Critical patent/KR20180060782A/ko
Application granted granted Critical
Publication of KR102585219B1 publication Critical patent/KR102585219B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B60W30/146—Speed limiting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06K9/00798—
    • G06K9/6214—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/76—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B60W2550/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Vehicle Engines Or Engines For Specific Uses (AREA)

Abstract

차량 속도를 제어하는 방법 및 장치가 제공된다. 차량 속도를 제어하는 장치는, 차량 전방의 이미지를 통해 식별 가능한, 도로 상의 가시 거리에 기초하여 차량의 속도를 제어할 수 있다.

Description

차량 속도 제어 방법 및 장치{DEVICE AND METHOD TO CONTROL SPEED OF VEHICLE}
이하, 차량 속도를 제어하는 기술이 제공된다.
자율 주행(Automatic Driving)은 차량의 주행 중 요구되는 각종 조작을 자동으로 수행하는 것으로, 예를 들어 자율 주행하는 호스트 차량은 운전자가 핸들과 가속 페달, 브레이크 등을 조작하지 않아도 스스로 도로에서 달릴 수 있다. 자율 주행을 위한 다양한 기술들은 차량에서 파악되는 주변 영상 정보를 통해 수행될 수 있다. 특히, 자율 주행을 위한 차선은 차량의 전방 영상으로부터 검출되지만, 차량의 주변 지형, 악천후(눈, 비, 안개), 도로 형태 등으로 인하여 차량에 의해 수집 가능한 정보에 제한이 있을 수 있다.
일 실시예에 따르면 차량 속도 제어 방법은 입력 이미지(input image)로부터 도로 영역(road region)의 종점(end point)을 추출하는 단계; 상기 종점에 대응하는 종점 위치(end point location)와 차량 위치(vehicle location) 간의 가시 거리(visibility distance)를 측정(measure)하는 단계; 및 상기 측정된 가시 거리에 기초하여, 차량의 속도(velocity)를 제어하는 단계를 포함할 수 있다.
상기 종점을 추출하는 단계는, 상기 입력 이미지로부터 차로 경계선(lane line)을 식별하는 단계; 상기 차로 경계선에 기초하여, 상기 도로 영역으로부터 주행 차로 영역(driving lane region)을 분할(segment)하는 단계; 및 상기 분할된 주행 차로 영역의 종점을 추출하는 단계를 포함할 수 있다.
상기 종점을 추출하는 단계는, 상기 입력 이미지로부터 상기 도로 영역을 식별하는 단계; 및 상기 도로 영역에 포함된 픽셀 중 상기 입력 이미지 내에서 상기 차량 측(side)으로부터 가장 멀리 위치하는 픽셀을 상기 종점으로 추출하는 단계를 포함할 수 있다.
상기 종점을 추출하는 단계는, 상기 입력 이미지로부터 상기 도로 영역 및 상기 도로 영역 상의 중앙선(center line)을 식별하는 단계; 및 상기 중앙선 상에 포함된 픽셀 중 상기 입력 이미지 내에서 상기 차량 측으로부터 가장 멀리 위치하는 픽셀을 상기 종점으로 추출하는 단계를 포함할 수 있다.
차량 속도 제어 방법은 제1 카메라를 이용하여 상기 입력 이미지에 포함된 제1 이미지를 획득하는 단계; 및 상기 제1 카메라로부터 이격된 제2 카메라를 이용하여 상기 입력 이미지에 포함된 제2 이미지를 획득하는 단계를 더 포함하고, 상기 가시 거리를 측정하는 단계는, 상기 제1 이미지 및 상기 제2 이미지 중 하나의 종점에 대응하는 픽셀 변위(pixel disparity)를 결정하는 단계; 및 상기 픽셀 변위에 기초하여 상기 가시 거리를 측정하는 단계를 포함할 수 있다.
상기 픽셀 변위를 결정하는 단계는, 트레이닝 이미지로부터 트레이닝 변위 맵을 출력하도록 트레이닝된 픽셀 변위 모델을 이용하여, 상기 제1 이미지 및 상기 제2 이미지로부터 상기 픽셀 변위 맵을 추출하는 단계; 및 상기 픽셀 변위 맵으로부터 상기 제1 이미지 및 상기 제2 이미지 중 하나의 종점에 대응하는 픽셀 변위를 선택하는 단계를 포함할 수 있다.
상기 픽셀 변위에 기초하여 상기 가시 거리를 측정하는 단계는, 상기 제1 카메라 및 상기 제2 카메라 간의 이격된 베이스라인 거리(baseline distance), 및 상기 제1 카메라 및 상기 제2 카메라의 초점 길이(focal length)에 더 기초하여, 상기 가시 거리를 측정하는 단계를 포함할 수 있다.
상기 픽셀 변위를 결정하는 단계는, 상기 제1 이미지로부터 복수의 종점을 결정하고, 상기 제2 이미지로부터 복수의 종점을 결정하는 단계; 상기 제1 이미지의 복수의 종점의 각각 및 상기 제2 이미지의 복수의 종점의 각각 간의 변위들을 산출하는 단계; 및 상기 산출된 변위들에 대한 변위 통계 값을 상기 픽셀 변위로 결정하는 단계를 포함할 수 있다.
차량 속도 제어 방법은 상기 제1 이미지 및 상기 제2 이미지의 각각으로부터 종점을 추출하는 단계는, 상기 제1 이미지의 도로 영역으로부터, 상기 제1 이미지의 종점을 결정하는 단계; 상기 제2 이미지로부터 상기 제1 이미지의 종점에 대응하는 픽셀을 추정하는 단계; 및 상기 추정된 픽셀을 상기 제2 이미지의 종점으로 결정하는 단계를 포함할 수 있다.
상기 가시 거리를 측정하는 단계는, 라이다(LiDAR, Light Imaging, Detection, And Ranging) 센서를 이용하여 상기 차량 주변(vehicle vicinity)에 대한 주변 거리 맵(vicinity distance map)을 생성하는 단계; 상기 주변 거리 맵을 상기 입력 이미지에 캘리브레이션하는 단계; 및 상기 주변 거리 맵으로부터, 상기 입력 이미지의 종점에 대응하는 거리를 상기 가시 거리로 선택하는 단계를 포함할 수 있다.
상기 차량의 속도를 제어하는 단계는, 상기 가시 거리에 기초하여, 상기 차량에 대한 정지 거리(stopping distance)를 결정하는 단계; 상기 정지 거리에 기초하여, 상기 차량의 최대 속도를 산출하는 단계; 및 상기 차량의 속도를 상기 최대 속도 이하로 조절하는 단계를 포함할 수 있다.
상기 차량의 최대 속도를 산출하는 단계는, 상기 정지 거리 및 상기 차량의 길이에 기초하여 상기 최대 속도를 산출하는 단계를 포함할 수 있다.
차량 속도 제어 방법은 사용자 입력의 수신에 응답하여, 상기 가시 거리에 기초하여 결정된 정지 거리 및 상기 최대 속도 중 적어도 하나를 조정(adjust)하는 단계를 포함할 수 있다.
상기 차량의 최대 속도를 산출하는 단계는, 상기 차량의 위치에 기초하여, 상기 위치에 대응하는 최대 속도 정보를 획득하는 단계; 상기 최대 속도 정보를 이용하여, 상기 정지 거리로부터 상기 차량의 최대 속도를 산출하는 단계를 포함할 수 있다.
상기 차량의 속도를 상기 최대 속도 이하로 조절하는 단계는, 상기 도로 영역 상에 다른 객체가 검출되지 않는 경우에 응답하여, 상기 차량의 속도를 상기 최대 속도로 조절하는 단계를 포함할 수 있다.
차량 속도 제어 방법은 상기 추출된 종점이 복수인 경우에 응답하여, 복수의 종점들의 각각에 대응하는 종점 위치와 상기 차량 위치 간의 거리들의 통계 값(statistical value)을 상기 가시 거리로 결정하는 단계를 포함할 수 있다.
상기 차량의 속도를 제어하는 단계는, 상기 가시 거리 및 상기 차량이 주행하는 도로의 도로 선형에 기초하여, 확보 가능한 정지 거리를 결정하는 단계; 및 상기 정지 거리에 기초하여 상기 차량에 대한 최대 속도를 산출하는 단계를 포함할 수 있다.
상기 차량의 속도를 제어하는 단계는, 상기 차량에 대하여 공주 거리를 배제하고, 제동 거리(braking distance)에 기초하여 상기 차량에 대한 최대 속도를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 차량 속도 제어 장치는 입력 이미지를 획득하는 센서; 및 상기 입력 이미지로부터 도로 영역의 종점을 추출하고, 상기 종점에 대응하는 종점 위치와 차량 위치 간의 가시 거리를 결정하며, 상기 측정된 가시 거리에 기초하여, 상기 차량의 속도를 제어하는 처리부를 포함할 수 있다.
도 1은 일 실시예에 따른 차량 속도 제어 방법을 설명하는 흐름도이다.
도 2 내지 도 5는 일 실시예에 따라 입력 이미지를 복수의 영역으로 분할하는 것을 설명하는 도면이다.
도 6은 일 실시예에 따라 가시 거리를 측정하기 위한 픽셀 변위 맵의 산출을 설명하는 도면이다.
도 7은 일 실시예에 따른 픽셀 변위 맵을 이용한 가시 거리의 측정을 설명하는 도면이다.
도 8은 일 실시예에 따른 라이더 센서를 이용한 거리 측정을 설명하는 도면이다.
도 9는 일 실시예에 따른 정지 거리 산출의 예시를 설명하는 도면이다.
도 10 및 도 11은 일 실시예에 따른 장애물이 존재하는 곡선 도로 상에서의 가시 거리를 설명하는 도면이다.
도 12 및 도 13은 일 실시예에 따른 경사 도로 상에서의 가시 거리를 설명하는 도면이다.
도 14는 일 실시예에 따른 장애물이 존재하지 않는 곡선 도로 상에서의 가시 거리를 설명하는 도면이다.
도 15 및 도 16은 일 실시예에 따른 기상 상황에 따른 가시 거리를 설명하는 도면이다.
도 17은 다른 일 실시예에 따른 경사 도로 상에서의 가시 거리를 설명하는 도면이다.
도 18 및 도 19는 일 실시예에 따른 터널 진입 시의 가시 거리를 설명하는 도면이다.
도 20 내지 도 22는 일 실시예에 따른 차량 속도 제어 장치의 구성을 도시한 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 차량 속도 제어 방법을 설명하는 흐름도이다.
우선, 단계(110)에서 차량 속도 제어 장치는 입력 이미지(input image)로부터 도로 영역(road region)의 종점(end point)을 추출할 수 있다. 일 실시예에 따르면, 차량 속도 제어 장치는 차량(vehicle)의 외부에 대한 입력 이미지를 획득할 수 있다. 예를 들어, 차량 속도 제어 장치는 차량의 전방에 대한 입력 이미지를 획득할 수 있다. 차량 속도 제어 장치는 카메라 등을 이용하여 입력 이미지를 직접 촬영하거나, 외부 카메라 모듈로부터 입력 이미지를 수신할 수 있다.
본 명세서에서 도로 영역은 입력 이미지 내에서 도로에 대응하는 영역을 나타낼 수 있다. 도로 영역은 차량 속도 제어 장치가 탑재된 차량이 현재 주행 중인 주행 차로(driving lane)에 대응하는 주행 차로 영역(driving lane region)을 포함할 수 있다.
본 명세서에서 도로 영역의 종점은 입력 이미지 내에서 차량 측으로부터 가장 먼 위치에 있는 지점(point)을 나타낼 수 있다. 예를 들어, 도로 영역의 종점은, 차량 속도 제어 장치에 의해 식별 가능한, 차량으로부터 가장 먼 도로 상의 위치에 대응할 수 있다. 도로 영역의 종점을 결정하는 과정은 하기 도 2 내지 도 5에서 설명한다.
그리고 단계(120)에서 차량 속도 제어 장치는 종점에 대응하는 종점 위치(end point location)와 차량 위치(vehicle location) 간의 가시 거리(visibility distance)를 측정(measure)할 수 있다. 일 실시예에 따르면, 입력 이미지가 스테레오 이미지(stereoscopic image)인 경우, 차량 속도 제어 장치는 입력 이미지 자체로부터 가시 거리를 추정할 수 있다. 입력 이미지를 이용한 가시 거리 추정은 하기 도 6 및 도 7에서 설명한다. 다른 일 실시예에 따르면, 차량 속도 제어 장치는 별도의 센서를 통해 가시 거리를 추정할 수 있다. 예를 들어, 차량 속도 제어 장치는 라이다 센서(하기 도 8 참조) 및 레이더 센서 등을 이용하여 가시 거리를 검출할 수 있다.
이하, 가시 거리는 차량 속도 제어 장치에 의해 도로 상의 인식 가능한 최대 거리를 나타낼 수 있다. 종점 위치는, 입력 이미지로부터 추출된 종점이 나타내는 실제 물리적인 위치를 나타낼 수 있다.
이어서 단계(130)에서 차량 속도 제어 장치는 측정된 가시 거리에 기초하여, 차량의 속도(velocity)를 제어할 수 있다. 일 실시예에 따르면 차량 속도 제어 장치는 가시 거리에 기초하여 정지 거리를 결정할 수 있고, 결정된 정지 거리에 기초하여 차량의 최대 속도를 결정할 수 있다. 예를 들어, 차량 속도 제어 장치는 차량의 속도를 최대 속도 이하의 범위에서 조절할 수 있다. 차량의 속도는 차량의 종 방향(longitudinal direction)에 대한 속도를 나타낼 수 있다.
일 실시예에 따른 차량 속도 제어 장치는 차량 전방에 장애물이 없는 경우에도, 차량이 주행 가능한 것으로 보장되는 최대 거리에 기초하여, 차량의 속도를 제어할 수 있다. 차량 속도 제어 장치는 가시 거리 바로 뒤에 위험 객체가 있다는 최악의 상황을 가정할 수 있다. 예를 들어, 차량 속도 제어 장치에 의해 식별 가능한 도로 상의 최대 거리 지점에 장애물이 존재하는 것이 가정될 수 있다. 따라서 차량 속도 제어 장치는, 임의의 시점에서는 시야(visible range) 밖에 존재하던 장애물 및 객체(예를 들어, 다른 차량, 사람, 및 동물 등) 등이 갑자기 시야 안에 나타나더라도, 차량을 안전하게 제동시킬 수 있다.
차량 속도 제어 장치는 실제 운전 환경 중에 센서를 통해 측정할 수 있는 도로 상의 거리가 매우 제한적인 상황(예를 들어, 한쪽이 산과 같은 특정 지형으로 막혀있는 급커브길, 경사가 심한 언덕 등)에서도, 현재 자율 주행 차량이 위험 객체를 감지할 수 있는 가시 거리를 측정함으로써, 이를 기반으로 감속하여 잠재적인 위험에 대해 충분한 제동거리를 확보할 수 있다.
도 2 내지 도 5는 일 실시예에 따라 입력 이미지를 복수의 영역으로 분할하는 것을 설명하는 도면이다.
도 2 및 도 3은 차량 속도 제어 장치에 의해 획득된 입력 이미지가 직선 도로인 경우의 예시를 나타낼 수 있다. 도 4 및 도 5는 차량 속도 제어 장치에 의해 획득된 입력 이미지가 곡선 도로인 경우의 예시를 나타낼 수 있다.
차량 속도 제어 장치는 안전한 주행을 위하여, 항상 정지 거리가 보장될 수 있는 속도를 유지할 수 있다. 일 실시예에 따르면, 차량 속도 제어 장치가 임의의 시점에서 도 2 및 도 4에 도시된 바와 같은 입력 이미지(200, 400)를 획득한 경우, 차량 속도 제어 장치는 입력 이미지가 획득된 시점에서 확보 가능한 거리를 결정할 수 있다. 예를 들어, 차량 속도 제어 장치는 입력 이미지(200, 400)를 통해 식별 가능한 도로의 종점(211, 311, 411, 511)을 추출할 수 있다.
차량 속도 제어 장치는 도로의 종점(211, 311, 411, 511)을 추출하기 위하여 입력 이미지(200, 400)를 복수의 영역으로 분할할 수 있다. 입력 이미지(200, 400)가 분할된 복수의 영역을 나타내는 이미지를 분할된 영역 이미지(segmented region image)(300, 500)라고 나타낼 수 있다. 차량 속도 제어 장치는 입력 이미지를 도로 영역(310, 510), 차량 영역(320), 사람 영역(330), 물체 영역(340, 540), 및 배경 영역(350, 550) 등으로 분할할 수 있다. 도로 영역(310, 510)은 차량이 주행 가능한 도로를 지시하는 영역을 나타낼 수 있고, 차량 영역(320)은 도로 상에 위치한 다른 차량을 지시하는 영역을 나타낼 수 있으며, 사람 영역(330)은 입력 이미지 상에 나타나는 사람을 지시하는 영역을 나타낼 수 있고, 물체 영역(340, 540)은 사람을 제외한 객체(예를 들어, 나무 및 건물 등)를 지시하는 영역을 나타낼 수 있으며, 배경 영역(350, 550)은 객체 이외(예를 들어, 하늘 등)를 지시하는 영역을 나타낼 수 있다. 다만, 입력 이미지의 영역 분할을 상술한 바로 한정하는 것은 아니고, 설계에 따라 변경될 수 있다.
일 실시예에 따르면 차량 속도 제어 장치는, 트레이닝 이미지로부터 트레이닝 출력을 출력하도록 트레이닝된, 분류기 모델(classifier model)을 이용하여, 입력 이미지를 복수의 영역으로 분할할 수 있다. 분류기 모델은 예를 들어, 컨볼루셔널 뉴럴 네트워크(CNN, convolutional neural network)일 수 있다. 트레이닝 이미지는 예를 들어, 컬러 이미지일 수 있고, 트레이닝 출력은 트레이닝 입력이 분할된 영역 이미지를 나타낼 수 있다. 예를 들어, 트레이닝 출력은, 트레이닝 이미지의 각 픽셀에 대응하는 속성(예를 들어, 차량, 사람, 객체, 및 배경 등)이 수동으로 지정되고, 지정된 속성에 기초하여 미리 분할된 영역 이미지일 수 있다.
차량 속도 제어 장치는 분할된 영역 이미지(300, 500)로부터 도로 영역(310, 510)의 종점(311, 511)을 추출할 수 있다. 예를 들어, 차량 속도 제어 장치는 입력 이미지(200, 400)로부터 도로 영역(310, 510)을 식별할 수 있다. 차량 속도 제어 장치는 도로 영역(310, 510)에 포함된 픽셀 중 입력 이미지(200, 400) 내에서 차량 측(side)으로부터 가장 멀리 위치하는 픽셀을 종점(311, 511)으로 추출할 수 있다. 다만, 종점(311, 511)의 추출을 상술한 바로 한정하는 것은 아니다. 예를 들어, 도로 영역 내에서 입력 이미지의 가장 위쪽에 위치한 부분이 종점(311, 511)에 대응할 수 있다.
또한, 차량 속도 제어 장치는 입력 이미지로부터 차로 경계선(lane line)을 식별할 수도 있다. 차로 경계선은 차로(lane)와 차로 사이를 구분하는 경계선을 나타낼 수 있다. 차량 속도 제어 장치는 차로 경계선에 기초하여, 도로 영역으로부터 주행 차로 영역(driving lane region)을 분할(segment)할 수 있다. 주행 차로 영역은 주행 차로에 대응하는 영역을 나타낼 수 있고, 주행 차로는 차량 속도 제어 장치가 장착된 차량이 현재 주행 중인 차로를 나타낼 수 있다. 차량 속도 제어 장치는 분할된 주행 차로 영역의 종점을 추출할 수 있다. 예를 들어, 차량 속도 제어 장치는 주행 차로 영역에 포함된 픽셀 중 입력 이미지 내에서 차량 측(side)으로부터 가장 멀리 위치하는 픽셀을 종점으로 추출할 수 있다.
도 6은 일 실시예에 따라 가시 거리를 측정하기 위한 픽셀 변위 맵의 산출을 설명하는 도면이다.
입력 이미지가 스테레오 이미지인 경우, 차량 속도 제어 장치는 픽셀 변위(pixel disparity)를 이용하여 차량으로부터 종점에 대응하는 종점 위치까지의 가시 거리를 추정할 수 있다. 차량 속도 제어 장치는 픽셀 변위를 이용할 경우, 차량으로부터 종점 위치까지의 거리를 실제로 측정하기 위한 별도의 센서(예를 들어, 라이더 센서 또는 레이더 센서 등) 없이도 가시 거리를 추정할 수 있다.
본 명세서에서, 스테레오 이미지는 동일한 장면(scene)을 나타내는 이미지 쌍을 나타낼 수 있고, 예를 들어, 입력 이미지는 제1 이미지(610) 및 제2 이미지(620)를 포함할 수 있다. 제1 이미지(610)는 좌측 이미지(left image) 및 우측 이미지(right image) 중 하나일 수 있고, 제2 이미지(620)를 나머지 하나일 수 있다. 차량 속도 제어 장치는 제1 카메라를 이용하여 입력 이미지에 포함된 제1 이미지(610)를 획득할 수 있고, 제1 카메라로부터 이격된 제2 카메라를 이용하여 입력 이미지에 포함된 제2 이미지(620)를 획득할 수 있다.
본 명세서에서, 픽셀 변위는 제1 이미지(610) 상의 임의의 픽셀 및 제2 이미지(620) 상에서 그에 대응하는 픽셀 간의 픽셀 거리를 나타낼 수 있다. 제1 이미지(610) 및 제2 이미지(620) 상의 임의의 픽셀에 대해 산출된 픽셀 변위는, 해당 픽셀에 대응하는 위치까지의 거리를 산출하는데 사용될 수 있다. 픽셀 변위의 예시는 하기 도 7에서 설명한다.
차량 속도 제어 장치는 제1 이미지(610) 및 제2 이미지(620) 중 하나의 종점에 대응하는 픽셀 변위(pixel disparity)를 결정할 수 있다. 차량 속도 제어 장치는 픽셀 변위를 결정하기 위해 픽셀 변위 맵(630)을 생성할 수 있다. 예를 들어, 차량 속도 제어 장치는 제1 이미지(610) 및 제2 이미지(620)로부터 픽셀 변위 맵(630)을 생성하고, 생성된 픽셀 변위 맵(630)에 기초하여 종점에 대응하는 픽셀 변위를 결정할 수 있다. 예를 들어, 차량 속도 제어 장치는 픽셀 변위 모델을 이용하여, 제1 이미지(610) 및 제2 이미지(620)로부터 픽셀 변위 맵(630)을 추출할 수 있다. 픽셀 변위 모델은 트레이닝 이미지로부터 트레이닝 변위 맵을 출력하도록 트레이닝된 뉴럴 네트워크(640)일 수 있다. 트레이닝 변위 맵은, 트레이닝 이미지의 각 픽셀에 대해 미리 지정된 픽셀 변위의 집합을 나타낼 수 있다. 차량 속도 제어 장치는 픽셀 변위 맵(630)으로부터 제1 이미지(610) 및 제2 이미지(620) 중 하나의 종점에 대응하는 픽셀 변위를 선택할 수 있다.
다른 일 실시예에 따르면, 차량 속도 제어 장치는 상술한 픽셀 변위 맵(630)을 산출하는 대신, 제1 이미지(610)의 종점을 추출 후, 제2 이미지(620)에서 그에 대응하는 종점을 추정하여, 두 종점 간의 픽셀 변위를 산출할 수도 있다. 차량 속도 제어 장치는 제1 이미지(610)의 도로 영역으로부터, 제1 이미지(610)의 종점을 결정하고, 제2 이미지(620)로부터 제1 이미지(610)의 종점에 대응하는 픽셀을 추정할 수 있다.
예를 들어, 차량 속도 제어 장치는 영상 특징에 기반하여 제2 이미지(620)에서 제1 이미지(610)의 종점에 대응하는 픽셀을 추정할 수 있다. 예를 들어, 영상 특징은 SIFT (SIFT, Scale Invariant Feature Transform)에 기초한 특징일 수 있다. 여기서, 차량 속도 제어 장치는 영상 모델(예를 들어, 이미지로부터 SIFT 특징을 추출하도록 트레이닝된 뉴럴 네트워크 등)을 이용하여 제1 이미지(610) 및 제2 이미지(620)로부터 영상 특징을 추출하고, 제1 이미지(610)에서 종점에 대응하는 픽셀을 포함하는 부분과 유사한 영상 특징을 가지는 부분의 중심 픽셀을 제1 이미지(610)의 종점에 대응하는 픽셀로 추정할 수 있다. 차량 속도 제어 장치는 추정된 픽셀을 제2 이미지(620)의 종점으로 결정할 수 있다.
도 7은 일 실시예에 따른 픽셀 변위 맵을 이용한 가시 거리의 측정을 설명하는 도면이다.
차량 속도 제어 장치는 도 6에서 설명한 픽셀 변위 모델(예를 들어, 뉴럴 네트워크(640))을 이용하여 픽셀 변위 맵(730)을 생성할 수 있다. 차량 속도 제어 장치는 픽셀 변위 맵(730)으로부터 종점에 대응하는 픽셀 변위(731)를 결정할 수 있고, 종점에 대응하는 픽셀 변위(731)에 기초하여 종점 위치까지의 가시 거리를 추정할 수 있다. 도 7에 도시된 바와 같이, 픽셀 변위(790)는, 제1 이미지(710)에서 임의의 픽셀(711) 및 제2 이미지(720)에서 그에 대응하는 픽셀(721) 간의 픽셀 거리를 나타낼 수 있다.
픽셀 변위 맵(730)은 제1 이미지(710) 및 제2 이미지(720)의 각각의 픽셀에 대응하는 픽셀 변위에 대응하는 세기(intensity)를 가지는 맵일 수 있다. 픽셀 변위 맵(730)에서, 기준이 되는 차량의 위치로부터 가까운 지점일 수록 픽셀 변위의 값이 증가하고, 차량의 위치로부터 먼 지점일 수록 픽셀 변위의 값이 감소할 수 있다. 도 7에 도시된 픽셀 변위 맵(730)에서는, 차량으로부터 가까운 지점은 픽셀 변위의 값이 크므로 밝게 표현되었고, 차량으로부터 먼 지점은 픽셀 변위의 값이 작으므로 어둡게 표현되었다. 다만, 도 7은 픽셀 변위 맵(730)의 이해를 돕기 위한 것으로서, 이로 한정하는 것은 아니고, 픽셀 변위 맵(730)의 각 지점은 차량으로부터 멀 수록 밝게, 가까울 수록 어둡게 표현될 수도 있다.
예를 들어, 차량 속도 제어 장치는 종점에 대응하는 픽셀 변위(731)에 기초하여 가시 거리를 측정할 수 있다. 차량 속도 제어 장치는 제1 카메라 및 제2 카메라 간의 이격된 베이스라인 거리(baseline distance), 및 제1 카메라 및 제2 카메라의 초점 길이(focal length)에 더 기초하여, 가시 거리를 측정할 수 있다. 예를 들어, 차량 속도 제어 장치는 하기 수학식 1에 기초하여, 종점에 대응하는 픽셀 변위(731)로부터 가시 거리를 측정할 수 있다.
[수학식 1]
Figure pat00001
상술한 수학식 1에서, depth는 차량 속도 제어 장치가 장착된 차량으로부터 종점 위치까지의 깊이로서, 가시 거리를 나타낼 수 있다. B는 제1 카메라 및 제2 카메라 간의 이격된 베이스라인 거리를 나타낼 수 있다. f는 제1 카메라 및 제2 카메라의 초점 길이를 나타낼 수 있다. 제1 카메라 및 제2 카메라는 동일한 특성을 나타낼 수 있다. disparity는 종점에 대응하는 픽셀 변위(731)를 나타낼 수 있다. depth 및 B는 실제 거리 단위로서, 단위는 예를 들어, m, cm, 및 mm 중 하나일 수 있다. f 및 disparity는 픽셀 단위로 표현될 수 있다. 상술한 수학식 1에서 depth 및 B의 단위가 서로 동일하고, f 및 disparity의 단위가 서로 동일한 것을 가정하였으나, 단위가 상이한 경우에는 수학식 1에 단위 상수가 추가될 수 있다.
또한, 도 1 내지 도 7에서는 입력 이미지에서 하나의 종점이 추출되는 것을 가정하였으나, 차량 속도 제어 장치는 복수의 종점을 추출할 수도 있다. 예를 들어, 입력 이미지의 도로 영역 내에서 차량 측(예를 들어, 입력 이미지의 최하단 픽셀들)으로부터 가장 멀리 떨어진 지점들이 동일한 픽셀 거리를 가지는 경우, 차량 속도 제어 장치는 복수의 종점을 결정할 수 있다. 더 나아가, 입력 이미지가 스테레오 이미지인 경우, 차량 속도 제어 장치는 제1 이미지로부터 복수의 종점을 결정하고, 제2 이미지로부터 복수의 종점을 결정할 수 있다. 차량 속도 제어 장치는 제1 이미지의 복수의 종점의 각각 및 제2 이미지의 복수의 종점의 각각 간의 변위들을 산출할 수 있다. 차량 속도 제어 장치는 산출된 변위들에 대한 변위 통계 값을 픽셀 변위로 결정할 수 있다. 변위 통계 값들은 복수의 변위들에 대한 통계 값으로서, 예를 들어, 복수의 변위들의 평균값 및 중간값 등일 수 있다.
도 8은 일 실시예에 따른 라이더 센서를 이용한 거리 측정을 설명하는 도면이다.
차량 속도 제어 장치는 별도의 센서를 통해 차량(801)으로부터 종점 위치까지의 가시 거리를 측정할 수도 있다. 예를 들어, 차량 속도 제어 장치는 라이다(LiDAR, Light Imaging, Detection, And Ranging) 센서를 이용하여 차량 주변(vehicle vicinity)에 대한 주변 거리 맵(vicinity distance map)을 생성할 수 있다. 라이다 센서는 다수의 레이저 빔을 주변(예를 들어, 전방)에 일정각도로 방사하고, 반사되는 레이저 빔의 비행시간(Time of Flight)을 분석하여 주변 거리 맵을 실시간으로 획득하는 센서를 나타낼 수 있다. 주변 거리 맵은 깊이를 지시하는 3차원 이미지로 표현될 수도 있다. 도 8에 도시된 바와 같이, 차량 속도 제어 장치는 차량 주변에 대해 레이저 빔을 조사하여 주변 거리 맵을 획득할 수 있다.
도 8에 도시된 바와 같이 주변 거리 맵은, 차량(801)으로부터 차량 주변에 존재하는 객체(820)까지의 거리를 나타낼 수 있다. 또한, 주변 거리 맵은 도로(810)의 각 위치까지의 거리도 나타낼 수 있다. 다만, 라이더 센서에 기반한 주변 거리 맵은 객체(820)를 향해 방사된 레이저 빔의 반사에 의해 획득될 수 있는 바, 차량(801)을 중심으로 객체(820)의 뒤쪽 영역(850)에 대한 정보는 포함하지 않을 수 있다.
일 실시예에 따른 차량 속도 제어 장치는 주변 거리 맵을 입력 이미지에 캘리브레이션할 수 있다. 예를 들어, 차량 속도 제어 장치는 주변 거리 맵의 적어도 일부를 분할하고, 분할된 거리 맵을 입력 이미지에 매칭시킬 수 있다. 차량 속도 제어 장치는 분할된 거리 맵의 각 지점을 입력 이미지에서 대응하는 픽셀에 매핑할 수 있다.
차량 속도 제어 장치는 주변 거리 맵으로부터, 입력 이미지의 종점에 대응하는 거리를 가시 거리로 선택할 수 있다.
도 9는 일 실시예에 따른 정지 거리 산출의 예시를 설명하는 도면이다.
일 실시예에 따른 차량 속도 제어 장치는 가시 거리에 기초하여, 차량에 대한 정지 거리(stopping distance)를 결정할 수 있다. 예를 들어, 차량 속도 제어 장치는 가시 거리 자체를 차량에 대한 정지 거리로 결정할 수 있다. 다른 예를 들어, 차량 속도 제어 장치는 가시 거리에 비례하여 정지 거리를 설정할 수도 있다. 따라서 차량 속도 제어 장치는 입력 이미지를 통해 식별 가능한 최대 거리를 정지 거리로 설정할 수 있다. 다만, 이로 한정하는 것은 아니고, 차량 속도 제어 장치는 사용자 입력의 수신에 응답하여, 가시 거리에 기초하여 결정된 정지 거리를 조정할 수 있다. 여기서, 사용자 입력은 사용자로부터 수신되는 입력으로서, 정지 거리를 설정하는 조작을 나타낼 수 있다. 예를 들어, 차량 속도 제어 장치는 사용자 입력에 응답하여, 정지 거리를 가시 거리보다 짧게 설정함으로써, 보다 안전하게 차량을 주행시킬 수 있다. 다른 예를 들어, 차량 속도 제어 장치는 사용자 입력에 응답하여, 정지 거리를 가시 거리보다 길게 설정함으로써, 보다 빠르게 차량을 주행시킬 수 있다.
차량 속도 제어 장치는 정지 거리에 기초하여, 차량의 최대 속도를 산출할 수 있다. 예를 들어, 차량 속도 제어 장치는 최대 속도 정보(900)에 기초하여, 정지 거리로부터 최대 속도를 산출할 수 있다. 최대 속도 정보(900)는, 임의의 속도에 대하여 제공을 위해 요구되는 공주 거리, 제동 거리(braking distance) 및 정지 거리를 정의하는 정보를 나타낼 수 있고, 도 9에 도시된 최대 속도 정보(900)는 대한민국에서 제공하는 정보일 수 있다.
예를 들어, 최대 속도 정보(900)는 룩업 테이블(look up table)의 데이터 형태로 구현될 수 있고, 차량 속도 제어 장치는 최대 속도 정보(900)로부터, 현재 정지 거리에 대응하는 최대 속도를 산출할 수 있다. 다만, 도 9에서는 공주 거리가 함께 도시되었는데, 공주 거리는 사람이 전방 물체를 확인하고 반응하기까지 소요되는 시간에 따른 거리를 정량화한 것이므로, 차량 속도 제어 장치는 정지 거리로서 제동 거리만을 이용할 수 있다. 따라서 차량 속도 제어 장치는 차량에 대하여 공주 거리를 배제하고, 제동 거리(braking distance)에 기초하여 차량에 대한 최대 속도를 결정할 수 있다.
또한, 차량 속도 제어 장치는 차량의 속도를 최대 속도 이하로 조절할 수 있다. 예를 들어, 차량 속도 제어 장치는 도로 영역 상에 다른 객체가 검출되지 않는 경우에 응답하여, 차량의 속도를 최대 속도로 조절할 수 있다. 따라서, 차량 속도 제어 장치는 전방에 다른 차량이 존재하지 않는 상황에서도, 현재 시야에 의해 확보 가능한 거리를 기초로 차량의 속도를 조절함으로써 안전한 주행을 수행할 수 있다.
다른 일 실시예에 따르면, 차량 속도 제어 장치는 사용자 입력에 응답하여 위험도(danger level)을 설정할 수 있다. 차량 속도 제어 장치는 설정된 위험도에 기초하여, 정지 거리 및 최대 속도 중 적어도 하나를 조절할 수 있다. 예를 들어, 위험도가 높게 설정될 수록, 사용자가 위험을 감수한 주행을 원하는 것인 바, 차량 속도 제어 장치는 빠른 속도로 차량을 주행시킬 수 있다. 다른 예를 들어, 위험도가 낮게 설정될 수록, 사용자가 안전한 주행을 원하는 것인 바, 차량 속도 제어 장치는 느린 속도로 차량을 주행시킬 수 있다. 따라서, 차량 속도 제어 장치는 안전성 확보 정도에 따라 정지 거리 내지 제동 거리를 정의하고, 정의된 제동 거리를 유지할 수 있는 최대 속도를 계산할 수 있다.
또 다른 일 실시예에 따르면 차량 속도 제어 장치는 차량의 위치에 기초하여, 위치에 대응하는 최대 속도 정보(900)를 획득할 수 있다. 예를 들어, 차량이 위치하는 국가, 지역, 및 주(state) 별로 정지 거리에 대한 규정이 상이할 수 있다. 차량 속도 제어 장치는 차량의 현재 위치에 기초하여 유동적으로 최대 속도 정보(900)를 획득할 수 있다. 예를 들어, 차량 속도 제어 장치는 통신을 통해 외부로부터 최대 속도 정보(900)를 수신하거나, 내부 데이터베이스에서 해당 위치의 최대 속도 정보(900)를 검색할 수 있다. 차량 속도 제어 장치는 현재 위치에 대응하는 최대 속도 정보(900)를 이용하여, 상술한 정지 거리로부터 차량의 최대 속도를 산출할 수 있다.
예를 들어, 미국 캘리포니아(California) 주에서는 최대 속도 정보로서, 제동 거리, 차량 길이, 및 속도에 관한 계산식이 제공될 수 있다. 차량 속도 제어 장치는 정지 거리 및 차량의 길이에 기초하여 최대 속도를 산출할 수 있다. 제동 거리는 차량 길이 및 속도의 곱에 대응할 수 있다.
도 10 및 도 11은 일 실시예에 따른 장애물이 존재하는 곡선 도로 상에서의 가시 거리를 설명하는 도면이다.
차량 속도 제어 장치는 곡선 도로 상에서 커브 안쪽에 장애물(1130)(예를 들어, 벽, 절벽 등)이 존재하여 장애물(1130) 너머로 위험 객체(1120)(예를 들어, 충돌 위험이 있는 객체)의 존재 여부가 불확실한 경우 도로의 종점 위치에 위험 객체(1120)가 존재하는 것을 가정할 수 있다.
도 1 내지 도 9에서 상술한 바와 유사하게, 차량 속도 제어 장치는 입력 이미지(1000)에 기초하여 도로의 종점 위치까지의 가시 거리(1011, 1111)를 결정할 수 있다.
다만, 도로의 종점을 상술한 바로 한정하는 것은 아니고, 차량 속도 제어 장치는 도로 중에서 주행 차로에 기초하여 종점을 결정할 수도 있다.
또한, 차량 속도 제어 장치는 입력 이미지(1000)로부터 도로 영역 및 도로 영역 상의 중앙선(center line) (1119)을 식별할 수 있다. 차량 속도 제어 장치는 중앙선(1119) 상에 포함된 픽셀 중 입력 이미지(1000) 내에서 차량(1101) 측으로부터 가장 멀리 위치하는 픽셀을 종점으로 추출할 수 있다. 이 경우, 차량 속도 제어 장치는 도로 내에서 주행 차로(1110) 상의 종점 위치까지의 거리를 가시 거리(1012, 1112)로 결정할 수 있다.
더 나아가, 차량 속도 제어 장치는 가시 거리 및 차량(1101)이 주행하는 도로의 도로 선형에 기초하여, 확보 가능한 정지 거리를 결정할 수 있다. 예를 들어, 도 10에 도시된 바와 같이 곡선 도로의 경우, 해당 도로의 곡률에 따라 종점 위치까지의 가시 거리(1111, 1112)보다 긴 정지 거리를 결정할 수 있다. 차량 속도 제어 장치는 정지 거리에 기초하여 차량(1101)에 대한 최대 속도를 산출할 수 있다.
도 12 및 도 13은 일 실시예에 따른 경사 도로 상에서의 가시 거리를 설명하는 도면이다.
차량 속도 제어 장치는 경사 도로 상에서 오르막 길 너머에 장애물의 존재 여부가 불확실한 경우, 도로(1210, 1310)의 종점 위치에 위험 객체(1320)가 존재하는 것을 가정할 수 있다.
오르막 길의 경우, 입력 이미지(1200) 내의 도로 영역에 대해 높이가 동일한 복수의 픽셀이 존재할 수 있고, 차량 속도 제어 장치는 해당 도로 영역에 대해 복수의 종점을 결정할 수도 있다. 차량 속도 제어 장치는 추출된 종점이 복수인 경우에 응답하여, 복수의 종점들의 각각에 대응하는 종점 위치와 차량 위치 간의 거리들의 통계 값(statistical value)을 가시 거리(1211, 1311)로 결정할 수 있다. 예를 들어, 차량 속도 제어 장치는 복수의 종점 위치들의 각각과 차량 위치 간의 거리들의 평균 값 및 중간 값 등을 가시 거리(1211, 1311)로 결정할 수 있다. 따라서, 차량 속도 제어 장치는 오르막 길에서 위험 객체가 존재하지 않는 경우에도 차량(1301)을 안전한 속도로 주행시킬 수 있다.
도 14는 일 실시예에 따른 장애물이 존재하지 않는 곡선 도로 상에서의 가시 거리를 설명하는 도면이다.
차량 속도 제어 장치는 장애물이 존재하지 않는 곡선 도로 상에서 도로의 종점까지를 가시 거리(1411)로 결정할 수 있다. 따라서, 차량 속도 제어 장치는, 장애물이 있는 지형과 달리, 장애물이 없는 평지 지형(1441)에서 차량(1401)의 속도를 빠르게 결정할 수 있다.
도 15 및 도 16은 일 실시예에 따른 기상 상황에 따른 가시 거리를 설명하는 도면이다.
차량 속도 제어 장치는 기상 상황에 따라서 차량을 안전하게 주행시킬 수 있다. 기상 상황이 좋지 않을 경우, 차량의 시야가 제한될 수 있다. 예를 들어, 도 15는 안개(1550)에 의해 시야가 제한되는 상황에서 획득된 입력 이미지(1500)를 나타낼 수 있다.
차량 속도 제어 장치는 입력 이미지(1500)로부터 불가시 영역(invisible region)(1650)을 배제할 수 있다. 차량 속도 제어 장치는 불가시 영역(1650)이 배제된 입력 이미지로부터 도로 영역(1610)을 식별할 수 있다. 예를 들어, 차량 속도 제어 장치는 입력 이미지로부터 불가시 영역(1650)이 배제된 영역 이미지(1600)를 생성할 수 있다. 차량 속도 제어 장치는 불가시 영역(1650)이 배제된 영역 이미지(1600)로부터 식별된 도로 영역(1610)에 기초하여 종점(1611)을 결정할 수 있다.
따라서, 차량 속도 제어 장치는 기상 상황에 의해 시야가 저하되는 상황에서, 시야가 확보되는 최대 거리를 시야 거리로 결정함으로써, 잠재적인 충돌 위험(예를 들어, 안개 때문에 보이지 않았던 물체의 돌발 출현 등)을 방지할 수 있다.
도 17은 다른 일 실시예에 따른 경사 도로 상에서의 가시 거리를 설명하는 도면이다.
차량 속도 제어 장치는 차량(1701)이 오르막길(1710)에 진입하는 경우, 오르막길(1710)에 대해 확보될 수 있는 시야 범위에 기초하여 가시 거리(1711)를 결정할 수 있다. 오르막길(1710)에서는 경사로 인해 차량 속도 제어 장치의 시야가 제한되므로 가시 거리(1711)가 감소하게 되고, 차량 속도 제어 장치는 감소된 가시 거리(1711)에 기초하여 차량의 속도를 감소시킬 수 있다.
도 18 및 도 19는 일 실시예에 따른 터널 진입 시의 가시 거리를 설명하는 도면이다.
차량 속도 제어 장치는 차량이 음영 지역(shaded area)(예를 들어, 터널 등)에 진입하는 경우, 음영 지역에 대해 확보될 수 있는 시야 범위에 기초하여 가시 거리를 결정할 수 있다.
예를 들어, 차량 속도 제어 장치는 터널에 진입하기 전에 입력 이미지(1800)를 획득할 수 있다. 터널의 경우 낮에는 터널 내 조명이 어두워서 불가시 영역(1850)이 입력 이미지(1800)에 나타날 수 있다. 차량 속도 제어 장치는 입력 이미지(1800)의 각 영역을 분할한 영역 이미지(1900)를 생성할 수 있다. 차량 속도 제어 장치는 영역 이미지(1900)에서 불가시 영역(1950)을 도로 영역(1910)으로부터 제외할 수 있다. 차량 속도 제어 장치는 불가시 영역(1950)이 제외된 도로 영역(1910)에 기초하여 가시 거리(1911)를 결정할 수 있다.
따라서, 차량 속도 제어 장치는 음영 지역에 진입하기 전, 불가시 영역(1850, 1950)에 의해 위험 객체가 잠재적으로 존재할 수 있는 상황에서도, 가시 거리에 기초하여 차량의 속도를 결정함으로써 충돌 위험을 방지할 수 있다.
도 20 내지 도 22는 일 실시예에 따른 차량 속도 제어 장치의 구성을 도시한 블록도이다.
차량 속도 제어 장치(2000)는 센서(2010) 및 처리부(2020)를 포함한다.
센서(2010)는 입력 이미지를 획득할 수 있다. 예를 들어, 센서(2010)는 이미지 센서로서, 입력 이미지를 촬영할 수 있다. 다른 예를 들어, 센서(2010)는 베이스라인을 따라 이격된 제1 카메라(2111) 및 제2 카메라(2111)를 포함할 수 있고, 제1 카메라(2111) 및 제2 카메라(2111)에 기초하여 스테레오 이미지를 입력 이미지로서 획득할 수 있다.
처리부(2020)는 입력 이미지로부터 도로 영역의 종점을 추출하고, 종점에 대응하는 종점 위치와 차량 위치 간의 가시 거리를 결정하며, 측정된 가시 거리에 기초하여, 차량의 속도를 제어할 수 있다. 다만, 처리부(2020)의 동작을 이로 한정하는 것은 아니고, 도 1 내지 도 19에서 설명한 동작들도 수행할 수 있다.
또한, 차량 속도 제어 장치(2100)의 센서(2010)는 카메라(2111) 및 거리 센서 등을 더 포함할 수 있다.
카메라(2111)는 상술한 바와 같이 차량의 외부에 대한 이미지를 촬영할 수 있다. 카메라(2111)는 차량의 전방을 향해 장착되어, 차량의 전방에 대한 이미지를 촬영할 수 있다. 예를 들어, 카메라(2111)는 스테레오 이미지를 촬영할 수 있다. 다만, 카메라(2111)를 이로 한정하는 것은 아니고, 카메라(2111)는 적외선 및 가시광선에 기초하여 이미지를 촬영하는 광학 센서 뿐 아니라, 초음파 등에 기초하여 초음파 이미지를 촬영하는 초음파 센서 등을 포함할 수도 있다. 카메라(2111)는 임의의 시야 범위를 연속적으로 촬영할 수 있는 다양한 종류의 센서로 구현될 수 있다.
거리 센서는 차량 주변에 대한 거리를 측정하는 센서로서, 차량 주변의 도로 및 객체 등에 대한 거리를 측정할 수 있다. 예를 들어, 거리 센서는 라이다 센서(2112) 및 레이더 센서(2113) 등을 포함할 수 있다. 다만, 거리 센서의 종류를 상술한 바로 한정하는 것은 아니다.
라이다 센서(2112)는 도 8에서 상술한 바와 같이 다수의 레이저 빔을 주변(예를 들어, 전방)에 일정 각도로 방사하고, 반사되는 레이저 빔의 비행시간(Time of Flight)을 분석하여 주변 거리 맵을 실시간으로 획득하는 센서를 나타낼 수 있다.
레이더 센서(2113)는 전파를 주변에 일정 각도로 방사하고, 반사되는 전파를 분석하여 주변 거리 맵을 실시간을 획득하는 센서를 나타낼 수 있다.
저장부(2130)는 도 1 내지 도 19에서 설명한 동작들을 처리부(2020)에 수행시키기 위한 명령어들을 포함하는 프로그램을 저장할 수 있다. 또한, 저장부(2130)는 입력 이미지를 분할하기 위한 분류기 모델, 픽셀 변위를 추정하기 위한 픽셀 변위 모델, 및 스테레오 이미지에서 상호 대응되는 지점을 추정하기 위한 영상 모델 등을 저장할 수도 있다. 저장부(2130)는 각각의 모델을 업데이트하여 저장할 수도 있다. 또한, 저장부(2130)는 입력 이미지, 픽셀 변위 맵, 최대 거리 정보, 및 주변 거리 맵 등과 같이 차량 속도 제어 방법을 수행하기 위해 요구되는 다양한 정보들을 임시적으로 또는 반영구적으로 저장할 수도 있다.
또한, 차량 속도 제어 장치(2200)는 도로 영역 인식부(2210), 가시 거리 측정부(2220), 정지 거리 결정부(2230), 및 속도 제어부(2240)를 포함하는 장치로 구현될 수도 있다.
도로 영역 인식부(2210)는 입력 이미지로부터 도로 영역을 인식하는 모듈로서 적어도 하나의 프로세서를 포함할 수 있다. 예를 들어, 도로 영역 인식부(2210)는 입력 이미지를 각각의 속성(예를 들어, 도로, 객체, 및 배경 등)에 따라 복수의 영역으로 분할하고, 분할된 영역들 중 도로 영역을 선택할 수 있다.
가시 거리 측정부(2220)는 도로 영역의 종점에 대응하는 종점 위치까지의 가시 거리를 측정할 수 있는 모듈일 수 있다. 예를 들어, 가시 거리 측정부(2220)는 종점 위치까지의 가시 거리를 추정할 수 있는 적어도 하나의 프로세서를 포함할 수 있다. 다른 예를 들어, 가시 거리 측정부(2220)는 종점 위치까지의 가시 거리를 실제로 측정하는 센서를 포함할 수도 있다.
정지 거리 결정부(2230)는 가시 거리에 기초하여 정지 거리를 결정하는 모듈일 수 있다. 예를 들어, 정지 거리 결정부(2230)는 가시 거리를 정지 거리로 설정할 수 있다. 또한, 사용자의 입력에 응답하여, 정지 거리를 조절할 수도 있다.
속도 제어부(2240)는 차량의 속도를 제어하는 모듈일 수 있다. 예를 들어, 속도 제어부(2240)는 최대 속도 정보 등에 기초하여 차량의 속도를 결정하는 적어도 하나의 프로세서를 포함할 수 있다. 또한, 속도 제어부(2240)는 결정된 속도로 차량을 주행시킬 수 있다.
상술한 도로 영역 인식부(2210), 가시 거리 측정부(2220), 정지 거리 결정부(2230), 및 속도 제어부(2240)에 포함되는 프로세서는 하나의 프로세서로 구현되거나, 복수의 프로세서로 구현될 수도 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
2000: 차량 속도 제어 장치
2010: 센서
2020: 처리부

Claims (20)

  1. 차량 속도 제어 방법에 있어서,
    입력 이미지(input image)로부터 도로 영역(road region)의 종점(end point)을 추출하는 단계;
    상기 종점에 대응하는 종점 위치(end point location)와 차량 위치(vehicle location) 간의 가시 거리(visibility distance)를 측정(measure)하는 단계; 및
    상기 측정된 가시 거리에 기초하여, 차량의 속도(velocity)를 제어하는 단계
    를 포함하는 차량 속도 제어 방법.
  2. 제1항에 있어서,
    상기 종점을 추출하는 단계는,
    상기 입력 이미지로부터 차로 경계선(lane line)을 식별하는 단계;
    상기 차로 경계선에 기초하여, 상기 도로 영역으로부터 주행 차로 영역(driving lane region)을 분할(segment)하는 단계; 및
    상기 분할된 주행 차로 영역의 종점을 추출하는 단계
    를 포함하는 차량 속도 제어 방법.
  3. 제1항에 있어서,
    상기 종점을 추출하는 단계는,
    상기 입력 이미지로부터 상기 도로 영역을 식별하는 단계; 및
    상기 도로 영역에 포함된 픽셀 중 상기 입력 이미지 내에서 상기 차량 측(side)으로부터 가장 멀리 위치하는 픽셀을 상기 종점으로 추출하는 단계
    를 포함하는 차량 속도 제어 방법.
  4. 제1항에 있어서,
    상기 종점을 추출하는 단계는,
    상기 입력 이미지로부터 상기 도로 영역 및 상기 도로 영역 상의 중앙선(center line)을 식별하는 단계; 및
    상기 중앙선 상에 포함된 픽셀 중 상기 입력 이미지 내에서 상기 차량 측으로부터 가장 멀리 위치하는 픽셀을 상기 종점으로 추출하는 단계
    를 포함하는 차량 속도 제어 방법.
  5. 제1항에 있어서,
    제1 카메라를 이용하여 상기 입력 이미지에 포함된 제1 이미지를 획득하는 단계; 및
    상기 제1 카메라로부터 이격된 제2 카메라를 이용하여 상기 입력 이미지에 포함된 제2 이미지를 획득하는 단계
    를 더 포함하고,
    상기 가시 거리를 측정하는 단계는,
    상기 제1 이미지 및 상기 제2 이미지 중 하나의 종점에 대응하는 픽셀 변위(pixel disparity)를 결정하는 단계; 및
    상기 픽셀 변위에 기초하여 상기 가시 거리를 측정하는 단계
    를 포함하는 차량 속도 제어 방법.
  6. 제5항에 있어서,
    상기 픽셀 변위를 결정하는 단계는,
    트레이닝 이미지로부터 트레이닝 변위 맵을 출력하도록 트레이닝된 픽셀 변위 모델을 이용하여, 상기 제1 이미지 및 상기 제2 이미지로부터 상기 픽셀 변위 맵을 추출하는 단계; 및
    상기 픽셀 변위 맵으로부터 상기 제1 이미지 및 상기 제2 이미지 중 하나의 종점에 대응하는 픽셀 변위를 선택하는 단계
    를 포함하는 차량 속도 제어 방법.
  7. 제5항에 있어서,
    상기 픽셀 변위에 기초하여 상기 가시 거리를 측정하는 단계는,
    상기 제1 카메라 및 상기 제2 카메라 간의 이격된 베이스라인 거리(baseline distance), 및 상기 제1 카메라 및 상기 제2 카메라의 초점 길이(focal length)에 더 기초하여, 상기 가시 거리를 측정하는 단계
    를 포함하는 차량 속도 제어 방법.
  8. 제5항에 있어서,
    상기 픽셀 변위를 결정하는 단계는,
    상기 제1 이미지로부터 복수의 종점을 결정하고, 상기 제2 이미지로부터 복수의 종점을 결정하는 단계;
    상기 제1 이미지의 복수의 종점의 각각 및 상기 제2 이미지의 복수의 종점의 각각 간의 변위들을 산출하는 단계; 및
    상기 산출된 변위들에 대한 변위 통계 값을 상기 픽셀 변위로 결정하는 단계
    를 포함하는 차량 속도 제어 방법.
  9. 제5항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지의 각각으로부터 종점을 추출하는 단계는,
    상기 제1 이미지의 도로 영역으로부터, 상기 제1 이미지의 종점을 결정하는 단계;
    상기 제2 이미지로부터 상기 제1 이미지의 종점에 대응하는 픽셀을 추정하는 단계; 및
    상기 추정된 픽셀을 상기 제2 이미지의 종점으로 결정하는 단계
    를 포함하는 차량 속도 제어 방법.
  10. 제1항에 있어서,
    상기 가시 거리를 측정하는 단계는,
    라이다(LiDAR, Light Imaging, Detection, And Ranging) 센서를 이용하여 상기 차량 주변(vehicle vicinity)에 대한 주변 거리 맵(vicinity distance map)을 생성하는 단계;
    상기 주변 거리 맵을 상기 입력 이미지에 캘리브레이션하는 단계; 및
    상기 주변 거리 맵으로부터, 상기 입력 이미지의 종점에 대응하는 거리를 상기 가시 거리로 선택하는 단계
    를 포함하는 차량 속도 제어 방법.
  11. 제1항에 있어서,
    상기 차량의 속도를 제어하는 단계는,
    상기 가시 거리에 기초하여, 상기 차량에 대한 정지 거리(stopping distance)를 결정하는 단계;
    상기 정지 거리에 기초하여, 상기 차량의 최대 속도를 산출하는 단계; 및
    상기 차량의 속도를 상기 최대 속도 이하로 조절하는 단계
    를 포함하는 차량 속도 제어 방법.
  12. 제11항에 있어서,
    상기 차량의 최대 속도를 산출하는 단계는,
    상기 정지 거리 및 상기 차량의 길이에 기초하여 상기 최대 속도를 산출하는 단계
    를 포함하는 차량 속도 제어 방법.
  13. 제11항에 있어서,
    사용자 입력의 수신에 응답하여, 상기 가시 거리에 기초하여 결정된 정지 거리 및 상기 최대 속도 중 적어도 하나를 조정(adjust)하는 단계
    를 포함하는 차량 속도 제어 방법.
  14. 제11항에 있어서,
    상기 차량의 최대 속도를 산출하는 단계는,
    상기 차량의 위치에 기초하여, 상기 위치에 대응하는 최대 속도 정보를 획득하는 단계;
    상기 최대 속도 정보를 이용하여, 상기 정지 거리로부터 상기 차량의 최대 속도를 산출하는 단계
    를 포함하는 차량 속도 제어 방법.
  15. 제11항에 있어서,
    상기 차량의 속도를 상기 최대 속도 이하로 조절하는 단계는,
    상기 도로 영역 상에 다른 객체가 검출되지 않는 경우에 응답하여, 상기 차량의 속도를 상기 최대 속도로 조절하는 단계
    를 포함하는 차량 속도 제어 방법.
  16. 제1항에 있어서,
    상기 추출된 종점이 복수인 경우에 응답하여, 복수의 종점들의 각각에 대응하는 종점 위치와 상기 차량 위치 간의 거리들의 통계 값(statistical value)을 상기 가시 거리로 결정하는 단계
    를 포함하는 차량 속도 제어 방법.
  17. 제1항에 있어서,
    상기 차량의 속도를 제어하는 단계는,
    상기 가시 거리 및 상기 차량이 주행하는 도로의 도로 선형에 기초하여, 확보 가능한 정지 거리를 결정하는 단계; 및
    상기 정지 거리에 기초하여 상기 차량에 대한 최대 속도를 산출하는 단계
    를 포함하는 차량 속도 제어 방법.
  18. 제1항에 있어서,
    상기 차량의 속도를 제어하는 단계는,
    상기 차량에 대하여 공주 거리를 배제하고, 제동 거리(braking distance)에 기초하여 상기 차량에 대한 최대 속도를 결정하는 단계
    를 포함하는 차량 속도 제어 방법.
  19. 제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 저장매체.
  20. 차량 속도 제어 장치에 있어서,
    입력 이미지를 획득하는 센서; 및
    상기 입력 이미지로부터 도로 영역의 종점을 추출하고, 상기 종점에 대응하는 종점 위치와 차량 위치 간의 가시 거리를 결정하며, 상기 결정된 가시 거리에 기초하여, 상기 차량의 속도를 제어하는 처리부
    를 포함하는 차량 속도 제어 장치.
KR1020160160673A 2016-11-29 2016-11-29 차량 속도 제어 방법 및 장치 KR102585219B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160160673A KR102585219B1 (ko) 2016-11-29 2016-11-29 차량 속도 제어 방법 및 장치
EP17194442.4A EP3327618B1 (en) 2016-11-29 2017-10-02 Method and apparatus to control velocity of vehicle
CN201710979163.2A CN108116410B (zh) 2016-11-29 2017-10-19 用于控制车辆的速度的方法和设备
US15/799,119 US10668924B2 (en) 2016-11-29 2017-10-31 Method and apparatus to control velocity of vehicle
JP2017224793A JP2018087004A (ja) 2016-11-29 2017-11-22 車両速度制御方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160160673A KR102585219B1 (ko) 2016-11-29 2016-11-29 차량 속도 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180060782A true KR20180060782A (ko) 2018-06-07
KR102585219B1 KR102585219B1 (ko) 2023-10-05

Family

ID=60021916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160160673A KR102585219B1 (ko) 2016-11-29 2016-11-29 차량 속도 제어 방법 및 장치

Country Status (5)

Country Link
US (1) US10668924B2 (ko)
EP (1) EP3327618B1 (ko)
JP (1) JP2018087004A (ko)
KR (1) KR102585219B1 (ko)
CN (1) CN108116410B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671865B2 (en) 2017-02-16 2020-06-02 Samsung Electronics Co., Ltd. Autonomous vehicle control method and apparatus

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017202363A1 (de) * 2017-02-15 2018-08-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Festlegung einer Maximalgeschwindigkeit für ein Fahrzeug und automatisiertes Fahrsystem
US11479213B1 (en) * 2017-12-11 2022-10-25 Zoox, Inc. Sensor obstruction detection and mitigation
US10518786B2 (en) * 2018-02-22 2019-12-31 GM Global Technology Operations LLC Systems and methods for providing an operation data interface for autonomous operation of a vehicle
EP3588006B1 (en) * 2018-06-28 2021-08-11 Continental Automotive GmbH Determining visibility distances based a on dynamic field of view of a vehicle
CN110780665B (zh) * 2018-07-26 2022-02-08 比亚迪股份有限公司 车辆无人驾驶控制方法及装置
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备
CN109383289B (zh) * 2018-10-19 2020-12-22 湖北亿咖通科技有限公司 汽车限速控制方法、装置、电子设备及可读存储介质
CN109656245B (zh) * 2018-10-31 2020-10-27 百度在线网络技术（北京）有限公司 刹车位置的确定方法和装置
CN109657686B (zh) * 2018-10-31 2021-04-20 百度在线网络技术（北京）有限公司 车道线生成方法、装置、设备以及存储介质
JP7081444B2 (ja) * 2018-11-01 2022-06-07 トヨタ自動車株式会社 車両制御システム
US20200406894A1 (en) * 2019-06-28 2020-12-31 Zoox, Inc. System and method for determining a target vehicle speed
CN110667576B (zh) * 2019-10-18 2021-04-20 北京百度网讯科技有限公司 自动驾驶车辆的弯道通行控制方法、装置、设备和介质
CN111121714B (zh) * 2019-12-25 2021-10-26 中公高科养护科技股份有限公司 一种行车视距的测量方法及系统
CN111231946B (zh) * 2020-03-03 2021-08-20 安徽中科美络信息技术有限公司 一种低视距车辆安全行驶控制方法
DE102020106378A1 (de) * 2020-03-09 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem für ein Kraftfahrzeug
WO2021210133A1 (ja) 2020-04-16 2021-10-21 日本電信電話株式会社 制御装置、制御方法、及びプログラム
US11505213B2 (en) * 2020-07-24 2022-11-22 Tusimple, Inc. Visibility condition determinations for autonomous driving operations
CN112265546B (zh) * 2020-10-26 2021-11-02 吉林大学 基于时空序列信息的网联汽车车速预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110066312A1 (en) * 2009-09-15 2011-03-17 Electronics And Telecommunications Research Institute Navigation apparatus and driving route information providing method using the same and automatic driving system and method
KR20120138352A (ko) * 2011-06-15 2012-12-26 주식회사 만도 차간거리 제어시스템 및 그 제어방법
JP2016080539A (ja) * 2014-10-17 2016-05-16 トヨタ自動車株式会社 車載センサ
DE102015213190B3 (de) * 2015-07-14 2016-09-29 Bayerische Motoren Werke Aktiengesellschaft Längsführendes Fahrerassistenzsystem in einem Kraftfahrzeug

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8041483B2 (en) 1994-05-23 2011-10-18 Automotive Technologies International, Inc. Exterior airbag deployment techniques
JPH11148394A (ja) * 1997-11-14 1999-06-02 Nissan Motor Co Ltd 車両制御装置
FR2803391B1 (fr) * 2000-01-05 2002-05-03 Auscultation Multifonctionnell Procede pour determiner les distances de visibilite d'une voie de circulation
JP3878008B2 (ja) * 2001-12-07 2007-02-07 株式会社日立製作所 車両用走行制御装置及び地図情報データ記録媒体
FR2847367B1 (fr) 2002-11-19 2005-01-14 Valeo Vision Procede et dispositif de determination de la distance de visibilite du conducteur d'un vehicule
JP4882499B2 (ja) * 2006-05-10 2012-02-22 株式会社デンソー 速度情報提供装置及びプログラム
JP4933962B2 (ja) * 2007-06-22 2012-05-16 富士重工業株式会社 分岐路進入判定装置
KR100963849B1 (ko) 2008-07-15 2010-06-16 (주)미라클산업 도로 기상 종합 시스템 및 제공방법
KR101240181B1 (ko) 2008-11-10 2013-03-07 한국전자통신연구원 이동 로봇의 안전경로 생성 방법 및 장치
JP2010231561A (ja) * 2009-03-27 2010-10-14 Toyota Motor Corp 走行状態検出装置及び運転支援装置
JP5366703B2 (ja) * 2009-08-19 2013-12-11 株式会社Ｉｈｉエアロスペース 半自律型無人車両の遠隔操縦システム
KR101303528B1 (ko) 2009-08-24 2013-09-03 한국전자통신연구원 충돌위험도에 기초한 충돌방지 시스템
WO2011101949A1 (ja) * 2010-02-16 2011-08-25 トヨタ自動車株式会社 車両制御装置
JP5522005B2 (ja) * 2010-11-26 2014-06-18 トヨタ自動車株式会社 車両制御装置
KR20120062589A (ko) * 2010-12-06 2012-06-14 삼성전자주식회사 3ｄ 디스플레이 장치 및 그 방법
JP6011104B2 (ja) 2012-07-24 2016-10-19 株式会社デンソー 車両用視界支援装置
US20150316386A1 (en) * 2014-04-30 2015-11-05 Toyota Motor Engineering & Manufacturing North America, Inc. Detailed map format for autonomous driving
US9604609B2 (en) * 2014-05-12 2017-03-28 Ford Global Technologies, Llc Emergency in-lane steering assist with braking
KR102118066B1 (ko) 2014-08-20 2020-06-03 현대모비스 주식회사 주행 안전을 위한 차량 제어방법
JP5898746B1 (ja) * 2014-09-29 2016-04-06 富士重工業株式会社 車両の走行制御装置
KR102203410B1 (ko) * 2014-10-20 2021-01-18 삼성에스디에스 주식회사 관심 영역 설정 방법 및 장치
KR101628503B1 (ko) 2014-10-27 2016-06-08 현대자동차주식회사 운전자 보조장치 및 그 작동 방법
KR102326062B1 (ko) 2014-11-12 2021-11-12 현대모비스 주식회사 자율주행차량의 장애물 회피 시스템 및 방법
KR20160066854A (ko) 2014-12-03 2016-06-13 한국건설기술연구원 자율주행 차량의 기상관측 장치 및 방법
KR101692628B1 (ko) 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
DE102015224553A1 (de) * 2015-12-08 2017-06-08 Robert Bosch Gmbh Verfahren, Computerprogramm, Speichermedium und Elektronische Steuereinheit zum Betreiben eines Fahrzeugs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110066312A1 (en) * 2009-09-15 2011-03-17 Electronics And Telecommunications Research Institute Navigation apparatus and driving route information providing method using the same and automatic driving system and method
KR20120138352A (ko) * 2011-06-15 2012-12-26 주식회사 만도 차간거리 제어시스템 및 그 제어방법
JP2016080539A (ja) * 2014-10-17 2016-05-16 トヨタ自動車株式会社 車載センサ
DE102015213190B3 (de) * 2015-07-14 2016-09-29 Bayerische Motoren Werke Aktiengesellschaft Längsführendes Fahrerassistenzsystem in einem Kraftfahrzeug

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jure Zbontar, Yann LeCun,Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches,Journal of Machine Learning Research, 2016* *
Mihai Negru, Sergiu Nedevschi,Assisting Navigation in Homogenous Fog,Proceedings of the 2014 International Conference on Computer Vision Theory and Applications* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671865B2 (en) 2017-02-16 2020-06-02 Samsung Electronics Co., Ltd. Autonomous vehicle control method and apparatus

Also Published As

Publication number Publication date
KR102585219B1 (ko) 2023-10-05
EP3327618A3 (en) 2018-09-05
CN108116410B (zh) 2022-09-20
EP3327618A2 (en) 2018-05-30
EP3327618B1 (en) 2022-05-25
US20180148053A1 (en) 2018-05-31
US10668924B2 (en) 2020-06-02
JP2018087004A (ja) 2018-06-07
CN108116410A (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
KR102585219B1 (ko) 차량 속도 제어 방법 및 장치
US11288524B2 (en) Estimating object properties using visual image data
US20240286649A1 (en) Predicting and responding to cut in vehicles and altruistic responses
CN108496178B (zh) 用于估计未来路径的系统和方法
US9619719B2 (en) Systems and methods for detecting traffic signs
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
US10402665B2 (en) Systems and methods for detecting traffic signs
US11200432B2 (en) Method and apparatus for determining driving information
JP2019517089A (ja) 地面マーキングを認識するための画像処理方法、および地面マーキングを検出するためのシステム
CN110045736B (zh) 一种基于无人机的弯道障碍物避让方法
KR102051397B1 (ko) 안전운전 지원 장치 및 방법
JP6038422B1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
KR20210061069A (ko) 3차원 객체를 표시하는 방법 및 장치
CN113297881A (zh) 一种目标检测方法及相关装置
JP2023511454A (ja) 車両走行路内のデブリの検出
CN112101316A (zh) 一种目标检测方法及系统
JP7071154B2 (ja) 道路境界検出装置
JP5996421B2 (ja) 障害物検出装置及びそれを用いた車両
EP3392730B1 (en) Device for enabling a vehicle to automatically resume moving
KR20230025550A (ko) 오브젝트 검출 방법 및 그 방법을 수행하는 전자 장치
KR102601353B1 (ko) 초음파 센서의 높이 보상장치 및 그 방법
JP7216695B2 (ja) 周囲車両監視装置及び周囲車両監視方法
KR102400726B1 (ko) 이미지에 기초한 차량 검출 방법 및 장치
KR20230153207A (ko) 다양한 크기의 객체 탐지 정확도 개선 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant