KR20180090610A - 차선 정보를 출력하는 방법 및 장치. - Google Patents

차선 정보를 출력하는 방법 및 장치. Download PDF

Info

Publication number
KR20180090610A
KR20180090610A KR1020170015688A KR20170015688A KR20180090610A KR 20180090610 A KR20180090610 A KR 20180090610A KR 1020170015688 A KR1020170015688 A KR 1020170015688A KR 20170015688 A KR20170015688 A KR 20170015688A KR 20180090610 A KR20180090610 A KR 20180090610A
Authority
KR
South Korea
Prior art keywords
vehicle
lane
processor
image
objects
Prior art date
Application number
KR1020170015688A
Other languages
English (en)
Inventor
박상규
홍현석
김명식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170015688A priority Critical patent/KR20180090610A/ko
Priority to US16/482,044 priority patent/US11512973B2/en
Priority to EP18747756.7A priority patent/EP3566924B1/en
Priority to PCT/KR2018/000902 priority patent/WO2018143589A1/ko
Publication of KR20180090610A publication Critical patent/KR20180090610A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/182—Distributing information between displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/343—Illumination of matrix displays
    • B60K2360/344—Illumination of matrix displays for additionally illuminating mechanical elements, e.g. pointers or control knobs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 측면에 따른 차량 주행 보조 장치는, 주행 중인 차량의 전방을 촬영하는 센싱부; 상기 촬영된 전방 영상을 이용하여 차선을 검출하고, 상기 센싱부를 이용하여 상기 차량이 주행 중인 도로 주변의 객체들을 검출하여 차선을 추정하는 프로세서; 및 상기 추정된 차선을 출력하는 출력부;를 포함한다.

Description

차선 정보를 출력하는 방법 및 장치. {Method and apparatus for outputting information about a lane}
차선 정보를 출력하는 방법 및 장치에 관한다.
차량(vehicle)에 적용되는 기술들이 발전함에 따라, 차량의 창(window) 등에 차량의 운행과 관련된 정보를 디스플레이하는 다양한 방법들이 개발되고 있다.
한편, 비가 많이 오거나 안개가 심하게 끼거나 야간인 경우 등 차량이 운행되는 지역의 날씨 또는 차량이 운행되는 시점에 따라, 운전자가 운전하는데 필요한 충분한 시계가 확보되지 않을 수도 있다. 이에 따라, 운전자에게 차량을 운전하는데 필요한 정보(예를 들어, 차량이 위치한 차선에 대한 정보 또는 전방 원거리에서의 차선 굴곡 방향)를 제공하는 기술에 대한 수요가 증가하고 있다.
차선 정보를 출력하는 방법 및 장치를 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따른 차량 주행 보조 장치는, 주행 중인 차량의 전방을 촬영하는 센싱부; 상기 촬영된 전방 영상을 이용하여 차선을 검출하고, 상기 센싱부를 이용하여 상기 차량이 주행 중인 도로 주변의 객체들을 검출하여 차선을 추정하는 프로세서; 및 상기 추정된 차선을 출력하는 출력부;를 포함한다.
다른 측면에 따른 차선 정보를 출력하는 방법은, 차량에 포함된 센싱부를 이용하여, 차선을 검출하는 단계; 상기 센싱부를 이용하여, 상기 차량이 주행 중인 도로 주변의 객체들을 검출하여 차선을 추정하는 단계; 및 상기 검출된 차선을 표시 장치에 출력하는 단계;를 포함한다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
도 1a 내지 도 1b는 일 실시예에 따른 차선 정보가 표시된 예들을 나타내는 도면들이다.
도 2는 일 실시예에 따른 가이드 영상을 출력하는 방법의 일 예를 나타내는 흐름도이다.
도 3은 일 실시예에 따른 프로세서가 차선을 검출하고, 차량으로부터 차선까지의 거리를 획득하는 일 예를 나타내는 흐름도이다.
도 4는 일 실시예에 따른 가시 영역 및 비 가시 영역의 일 예를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 카메라가 모노 카메라인 경우에 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 카메라가 스테레오 카메라인 경우에 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 프로세서가 비 가시 영역에 포함된 차선을 추정하는 일 예를 나타내는 흐름도이다.
도 8은 프로세서가 객체들을 구분하는 일 예를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 프로세서가 비 가시 영역에 포함된 차선을 추정하는 일 예를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 프로세서가 가이드 영상을 생성하고 출력하는 일 예를 나타내는 흐름도이다.
도 11은 일 실시예에 따른 프로세서가 가이드 영상을 생성하는 일 예를 설명하기 위한 도면이다.
도 12a 및 도 12c는 일 실시예에 따른 가이드 영상이 출력되는 예들을 설명하기 위한 도면들이다.
도 13은 일 실시예에 따른 가이드 영상의 일 예를 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 가이드 영상의 다른 예를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 18은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 19 및 도 20은 일 실시예에 따른 프로세서를 포함하는 차량 주행 보조 장치의 예들을 나타내는 구성도들이다.
실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 일 실시예에 따른 차선 정보가 표시된 일 예를 나타내는 도면이다.
도 1에는 주행 중인 차량(100)에 가이드 영상(110)이 출력된 일 예가 도시되어 있다. 여기에서, 가이드 영상(110)은 차량(100)의 주행을 가이드하기 위한 정보를 포함한다. 예를 들어, 가이드 영상(110)은 차량(100)이 주행 중인 도로의 상태(예를 들어, 차선의 굴곡, 기울기 등)에 대한 정보, 차량(100)의 주변 환경(예를 들어, 날씨, 시간, 주변 객체 등)에 대한 정보를 포함할 수 있다.
운전자가 악천후 또는 밤에 차량(100)을 운행하는 경우, 운전자의 시야가 충분히 확보되지 않을 수도 있다. 예를 들어, 운전자가 흐린 날씨에 굽어 있는 도로를 따라 차량(100)을 운행하는 경우, 운전자는 도로가 어느 부분부터 굽어져 있는지 또는 어느 방향으로 얼마나 굽어져 있는지에 대한 정보를 충분히 확보하지 못할 수도 있다. 이에 따라, 사고의 위험이 높아질 수도 있고, 운전자의 피로도가 높아질 수도 있다.
차량(100)은 가이드 영상(110)을 출력함에 따라, 운전자는 주행 환경이 좋지 않은 경우에서도 안전하게 차량(100)을 운행할 수 있다. 또한, 가이드 영상(110)에 운전자가 운행하는데 필요한 다양한 정보가 포함됨으로써, 운전자의 주행 만족도가 높아질 수 있다.
차량 주행 보조 장치는 센싱부를 이용하여 가이드 영상(110)을 생성할 수 있다. 센싱부는 이미지 센서, 라이다 모듈, 레이더 모듈 등을 포함할 수 있다. 이미지 센서는 카메라를 포함할 수 있고, 카메라는 모노(mono) 카메라, 스테레오(stereo) 카메라, 적외선 카메라, 초음파 카메라 또는 열화상 카메라를 의미할 수 있으나, 이에 한정되지 않는다. 예를 들어, 차량 주행 보조 장치에 포함된 프로세서는 센싱부를 제어하고, 데이터 처리를 수행함으로써 가이드 영상(110)을 생성할 수 있다. 또한, 주행 보조 장치는 프로세서가 동작하는데 필요한 데이터 및 가이드 영상을 저장하는 메모리 및 외부 장치와 통신할 수 있는 통신부를 포함할 수 있다.
가이드 영상(110)은 차량(100) 주변의 자동차, 보행자, Cyclist, 노면표시, 표지판, 차선 등의 위치와 종류, 자기 차량의 속도 등의 주행정보, 날씨, 온도 등의 주변 환경 정보 등을 포함할 수 있다. 가이드 영상(110)은 차량(100)의 출력부를 통하여 영상으로 출력될 수 있다. 또한, 가이드 영상(110)에 포함된 정보는 차량(100)의 출력부를 통하여 소리로 출력될 수도 있다. 예를 들어, 프로세서는 가이드 영상(110)을 차량(100)에 포함된 헤드 업 디스플레이(head-up display), CID (Central Information Display), 클러스터(Cluster) 중 적어도 하나에 출력할 수 있다. 또한, 프로세서는 통신부를 통해 연결된 외부 장치에 가이드 영상(110) 또는 컨텐츠(동영상, 음악, 텍스트 등)을 출력할 수 있다.
이하, 도 2 내지 도 19를 참조하여, 차량(100)에 포함된 프로세서가 가이드 영상(110)을 생성하고, 가이드 영상(110)을 출력하는 예들을 설명한다.
도 2는 일 실시예에 따른 가이드 영상을 생성하는 방법의 일 예를 나타내는 흐름도이다.
210 단계에서, 프로세서는 차량에 포함된 센싱부를 이용하여 차량의 전방을 촬영한다. 예를 들어, 센싱부의 이미지 센서는 카메라를 포함할 수 있고, 카메라는 모노(mono) 카메라, 스테레오(stereo) 카메라, 적외선 카메라, 초음파 카메라 또는 열화상 카메라를 의미할 수 있으나, 이에 한정되지 않는다.
220 단계에서, 프로세서는 촬영된 전방 영상을 이용하여 전방 영상 내의 가시 영역에 포함된 차선을 검출한다. 예를 들어, 프로세서는 전방 영상에 포함된 차선을 분리(segmentation)함으로써, 차량이 주행 중인 도로의 차선을 검출할 수 있다. 그리고, 프로세서는 차선의 검출 결과에 기초하여 전방 영상에서 가시 영역과 비 가시 영역을 구분할 수 있다. 또한, 프로세서는 전방 영상의 가시 영역에서 차선의 끝점(endpoint)을 식별하고, 차량으로부터 차선의 끝점까지의 거리를 획득할 수 있다. 이하, 도 3 내지 도 5를 참조하여, 프로세서가 차선을 검출하고, 차량으로부터 차선의 끝점까지의 거리를 획득하는 예를 설명한다,
도 3은 일 실시예에 따른 프로세서가 차선을 검출하고, 차량으로부터 차선까지의 거리를 획득하는 일 예를 나타내는 흐름도이다.
310 단계에서, 프로세서는 전방 영상에서 차선을 검출한다. 여기에서, 전방 영상은 차량의 카메라를 통하여 촬영된 영상으로서, 차량이 주행 중인 도로를 촬영한 영상을 의미한다.
예를 들어, 프로세서는 전방 영상의 그래프를 구성하고, 구성된 그래프에 그래프 컷 알고리즘(graph cut algorithm)을 적용함으로써, 전방 영상에서 차선을 분리(segmentation)할 수 있다. 여기에서, 그래프 컷 알고리즘은 역치 값을 이용하여 그래프를 구분함(cut)으로써, 영상에 포함된 픽셀들을 객체(예를 들어, 차선)에 해당되는 픽셀들과 객체에 해당되지 않은 픽셀들로 분리하는 알고리즘을 의미한다. 다만, 프로세서가 그래프 컷 알고리즘을 이용하여 객체를 분리하는 것은 일 예에 불과하고, 프로세서는 다양한 영상 분리 방법들을 이용하여 전방 영상에서 차선을 분리할 수 있다.
또한, 프로세서는 Hand-crafted feature 기반 또는 딥러닝 기반 객체 검출 알고리즘을 이용하여 전방 영상에서 차선을 검출할 수 있다.
320 단계에서, 프로세서는 차선의 검출 결과에 기초하여 전방 영상에서 가시 영역과 비 가시 영역을 구분한다. 여기에서, 가시 영역은 영상에 나타난 객체가 무엇인지 식별될 수 있는 영역을 의미하고, 비 가시 영역은 영상에 나타난 객체가 무엇인지 식별되기 어려운 영역을 의미한다. 객체는 차량이 주행 중인 도로의 주변에 위치하는 사람, 동물, 식물 또는 사물을 의미한다. 예를 들어, 객체는 사람, 동물, 식물뿐 만 아니라 신호등, 교통 표지판, 중앙 분리대, 방음벽, 가로등, 전신주 또는 다른 차량 등이 포함될 수 있다.
예를 들어, 프로세서는 전방 영상에서 차선이 검출된 영역을 가시 영역으로 결정하고, 가시 영역을 제외한 나머지 영역을 비 가시 영역으로 결정할 수 있다.
이하, 도 4를 참조하여, 가시 영역과 비 가시 영역에 대하여 설명한다.
도 4는 일 실시예에 따른 가시 영역 및 비 가시 영역의 일 예를 설명하기 위한 도면이다.
도 4에는 카메라를 이용하여 촬영된 전방 영상(410)의 일 예가 도시되어 있다. 전방 영상(410)에는 차량이 주행 중인 도로(411) 및 도로 주변의 객체들(412, 413)이 촬영되어 있다. 또한, 전방 영상(410)은 안개가 끼는 등의 사정으로 인하여 운전자의 전방 시야가 확보되기 어려운 상황에 촬영된 것으로 가정한다.
전방 영상(410)을 참조하면, 도로(411)는 일부만 식별이 가능하다. 다시 말해, 영상(410)이 촬영된 상황(예를 들어, 안개가 낀 날씨)에 의하여, 영상(410) 내에서 차량과 인접한 영역(420)의 도로(411)는 식별 가능하나, 차량과 멀리 떨어진 영역(430)의 도로(411)는 식별이 어렵다. 따라서, 영역(430)의 도로(411)가 어느 방향으로 진행할지 또는 얼만큼의 곡률로 회전할지 등과 같은 정보는 전방 영상(410)에 기초하여 판독될 수 없다.
이하에서는, 전방 영상(410)에서 도로(411)가 식별 가능한 영역을 가시 영역(420), 전방 영상(410)에서 도로(411)가 식별되기 어려운 영역을 비 가시 영역(430)이라고 한다. 프로세서는 전방 영상(410)에서 도로(411)를 검출할 수 있는 영역을 가시 영역(420), 도로(411)를 검출할 수 없는 영역을 비 가시 영역(430)으로 결정할 수 있다. 예를 들어, 프로세서는 그래프 컷 알고리즘, Hand-crafted feature 기반 또는 딥러닝 기반 객체 검출 알고리즘 등을 이용하여 전방 영상(410)에서 도로(411)를 검출할 수 있고, 전방 영상(410)에서 도로(411)의 검출이 어려운 영역을 비 가시 영역으로 결정할 수 있다.
도 4에서는 가시 영역(420)과 비 가시 영역(430)을 구분하는 기준이 도로(411)인 것으로 설명하였다. 그러나, 전방 영상(410)에 나타난 다른 객체들(412, 413) 중 적어도 하나가 식별 가능한지 여부에 따라 전방 영상(410)이 가시 영역(420)과 비 가시 영역(430)이 구분될 수도 있다.
다시 도 3을 참조하면, 330 단계에서, 프로세서는 차량으로부터 검출된 차선의 끝점까지의 거리를 연산한다. 다시 말해, 프로세서는 차량으로부터 가시 영역 내에 포함된 차선의 끝점까지의 거리를 연산할 수 있다.
차량의 전방 영역이 편평하다고 가정하면, 프로세서는 전방 영상의 세로 방향 해상도에 기초하여 차량으로부터 소정의 지점까지의 거리를 연산할 수 있다. 예를 들어, 차선은 도로의 표면에 표시되고, 도로의 표면을 기준으로 차선의 높이는 없다고 볼 수 있다. 따라서, 전방 영상에서 차선의 끝점이 식별되면, 프로세서는 전방 영상을 촬영한 카메라로부터 식별된 끝점까지의 거리를 연산할 수 있다. 한편, 높이가 있는 객체의 경우, 프로세서는 객체의 바닥면을 기준으로 하여 카메라로부터 객체까지의 거리를 연산할 수 있다. 일반적으로, 영상의 하단에 위치하는 객체보다 상단에 위치하는 객체가 카메라로부터 더 먼 거리에 위치한다. 영상의 한 픽셀에 대응하는 실제 거리에 대한 정보는 기 저장되어 있을 수 있다. 또한, 카메라가 차량에 임베디드(embedded)된 위치에 대한 정보도 기 저장되어 있을 수 있다. 따라서, 프로세서는 영상에서 차선의 끝점이 어디에 위치하는지에 기초하여 카메라로부터 차선의 끝점까지의 거리를 연산할 수 있다. 그리고, 프로세서는 카메라로부터 차선의 끝점까지의 거리에 기초하여 차량으로부터 차선의 끝점까지의 거리도 연산할 수 있다.
한편, 차량에 포함된 카메라의 종류에 따라 차량으로부터 차선의 끝점까지의 거리를 연산하는 방법이 달라질 수도 있다. 일 예로서, 카메라가 모노 카메라인 경우, 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 예는 도 5를 참조하여 후술한다. 다른 예로서, 카메라가 스테레오 카메라인 경우, 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 예는 도 6을 참조하여 후술한다. 또 다른 예로서, 카메라가 적외선 카메라 또는 열화상 카메라인 경우, 프로세서는 카메라에서 발신된 적외선 신호의 TOA(time of arrival)을 이용하여 차량으로부터 차선의 끝점까지의 거리를 연산할 수 있다. 다시 말해, 프로세서는 적외선 신호가 차선에서 반사되어 카메라로 돌아온 시간 및 그 적외선 신호의 속도를 이용하여 차량으로부터 차선의 끝점까지의 거리를 연산할 수 있다.
도 5는 일 실시예에 따른 카메라가 모노 카메라인 경우에 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.
차량(510)에 모노 카메라(P)가 포함된 경우, 프로세서는 모노 카메라(P)로부터 객체(520, 530)까지의 거리를 연산할 수 있다. 이때, 모노 카메라(P)가 차량(510)에 임베디드(embedded)된 위치에 대한 정보는 기 저장되어 있을 수 있다. 따라서, 프로세서는 차량(510)으로부터 객체(520, 530)까지의 거리를 연산할 수 있다. 도 5에서는 설명의 편의를 위하여 객체(520, 530)가 나무 인 것으로 도시하였으나, 객체(520, 530)는 나무 이외에 차선의 끝점에 해당될 수 있다.
예를 들어, 프로세서는 아래의 수학식 1에 기초하여 차량(510)으로부터 객체(520, 530)까지의 거리를 연산할 수 있다.
Figure pat00001
수학식 1에서 y는 영상(I) 내에서의 높이를 의미한다. 또한, f는 모노 카메라(P)의 렌즈의 초점 거리를 의미하고, H는 지면으로부터 모노 카메라(P)까지의 높이를 의미한다. 그리고, Z는 모노 카메라(P)로부터 객체(520, 530)까지의 거리를 의미한다.
수학식 1의 변수들 중에서 f 및 H는 미리 설정되어 있을 수 있다. 따라서, 프로세서는 영상(I)내에서 객체(520, 530)의 아래면(바닥과 만나는 부분)의 위치(y)를 찾고, 수학식 1에 의해 위치(y)로부터 객체(520, 530)까지의 거리(Z)를 연산할 수 있다.
도 6은 일 실시예에 따른 카메라가 스테레오 카메라인 경우에 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.
차량에 스테레오 카메라(611, 612)가 포함된 경우, 프로세서는 스테레오 카메라(611, 612)로부터 객체(Q)까지의 거리를 연산할 수 있다. 이때, 스테레오 카메라(611, 612)가 차량에 임베디드(embedded)된 위치에 대한 정보는 기 저장되어 있을 수 있다. 따라서, 프로세서는 차량으로부터 객체(Q)까지의 거리를 연산할 수 있다. 도 6에서는 설명의 편의를 위하여 객체(Q)가 나무 인 것으로 도시하였으나, 객체(Q)는 나무 이외에 차선의 끝점에 해당될 수 있다.
도 6에서 스테레오 카메라(611, 612)는 왼쪽 카메라(611) 및 오른쪽 카메라(612)를 포함하고, 왼쪽 카메라(611)에 의하여 생성된 영상을 좌영상(621)이라고 하고, 오른쪽 카메라(612)에서 생성된 영상을 우영상(622)이라고 한다.
예를 들어, 프로세서는 아래의 수학식 2에 기초하여 차량으로부터 객체(Q)까지의 거리를 연산할 수 있다.
Figure pat00002
수학식 2에서 Z는 스테레오 카메라(611, 612)와 객체(Q) 사이의 거리를 의미하고, B는 왼쪽 카메라(611)와 오른쪽 카메라(612) 사이의 거리를 의미한다. 또한, f는 스테레오 카메라(611, 612)의 렌즈의 초점 거리를 의미하고, d는 좌영상(621)과 우영상(622)의 시차를 의미한다.
수학식 2의 변수들 중에서 f 및 B는 미리 설정되어 있을 수 있다. 따라서, 프로세서는 좌영상(621)과 우영상(622)의 시차(d)에 기초하여 차량으로부터 객체(Q)까지의 거리(Z)를 연산할 수 있다.
다시 도 2를 참조하면, 230 단계에서, 프로세서는 센싱부를 이용하여 차량이 주행 중인 도로 주변의 객체들을 검출한다. 예를 들어, 레이더/라이더 모듈은 발신된 신호가 객체에서 반사되어 돌아온 신호(이하, '반사 신호'라고 함)를 수신하고, 프로세서는 반사 신호를 분석하여 객체의 위치 및 객체의 종류를 판별할 수 있다. 예를 들어, 레이더/라이더 모듈의 안테나는 멀티 어레이(multi-array) 구조 또는 파라볼릭(parabolic) 구조를 갖을 수 있으나, 이에 한정되지 않는다.
프로세서는 반사 신호를 분석하여 객체가 움직이고 있는지 또는 정지하고 있는지를 판단할 수 있다. 또한, 만약 객체가 움직이고 있는 경우에는, 프로세서는 객체의 움직임을 검출하여 객체의 동선을 예측할 수도 있다. 예를 들어, 레이더/라이더 모듈은 좁은 사잇각(예를 들어, 2°이하)을 갖는 방사(radial) 신호들을 발신하고, 프로세서는 방사 신호들에 대응하는 반사 신호의 거리, 반사율, 방향각 및 도플러 주파수에 기초하여 객체의 종류, 위치, 이동 속도 및/또는 이동 방향을 추정할 수 있다. 예를 들어, 프로세서는 반사 신호의 반사율을 기반으로 하여 객체가 금속성 물체(예를 들어, 자동차, 가로등 등) 인지 비금속성 물체(예를 들어, 동식물) 인지를 구분할 수 있다.
여기에서, 객체는 차량이 주행 중인 도로의 주변에 위치하는 사람, 동물, 식물 또는 사물을 의미한다. 예를 들어, 객체는 사람, 동물, 식물뿐 만 아니라 신호등, 교통 표지판, 중앙 분리대, 전신주 또는 다른 차량 등이 포함될 수 있다.
240 단계에서, 프로세서는 검출된 객체들의 위치에 기초하여 도로의 굴곡을 추정한다. 그리고, 250 단계에서, 프로세서는 추정된 굴곡에 기초하여 전방 영상 내의 비 가시 영역에 포함된 차선을 추정한다.
예를 들어, 프로세서는 검출된 객체들의 위치에 기초하여 도로의 굴곡을 추정할 수 있다. 차선은 도로의 굴곡을 따라 그려지므로, 프로세서는 비 가시 영역 내의 도로의 굴곡 및 도로의 넓이를 이용하여 비 가시 영역 내의 차선을 추정할 수 있다.
일반적으로, 도로의 주변에는 가로수, 신호등 또는 교통 표지판 등이 위치할 수 있다. 따라서, 프로세서는 레이더/라이더 모듈을 통하여 검출된 객체들의 위치를 분석함으로써 도로의 굴곡을 파악할 수 있다. 또한, 차선은 도로의 굴곡을 따라 그려지는바, 프로세서는 도로의 굴곡에 기초하여 차선을 추정할 수 있다.
레이더/라이더 모듈의 경우, 객체가 가시 영역에 존재하는지 또는 비 가시 영역에 존재하는지 여부를 불문하고, 객체로부터 반사되는 신호를 수신할 수 있다. 따라서, 프로세서는 카메라에 의하여 촬영된 영상에서 식별하지 못한 객체라고 하더라도, 레이더/라이더 모듈에 의하여 수신된 신호를 분석하여 객체를 검출할 수 있다. 따라서, 프로세서는 카메라 및 레이더/라이더 모듈을 이용하여, 차량이 주행 중인 환경에 구애 받지 않고 도로 주변의 객체들을 검출할 수 있고, 객체들의 위치에 기초하여 도로의 굴곡 및 차선을 추정할 수 있다.
이하, 도 7 내지 도 9를 참조하여, 프로세서가 도로의 굴곡 및 비 가시 영역에 포함된 차선을 추정하는 예를 설명한다.
도 7은 일 실시예에 따른 프로세서가 비 가시 영역에 포함된 차선을 추정하는 일 예를 나타내는 흐름도이다.
710 단계에서, 프로세서는 검출된 객체들을 가시 영역 내의 객체들 및 비 가시 영역 내의 객체들로 구분한다. 프로세서는 레이더/라이더 모듈을 이용하여 차량의 전방에 위치한 객체들을 검출할 수 있다. 또한, 프로세서는 카메라에 의하여 촬영된 전방 영상을 이용하여 가시 영역에 위치한 객체를 검출할 수 있다. 따라서, 프로세서는 레이더/라이더 모듈을 이용하여 검출된 객체들 중에서 전방 영상을 통하여 검출된 객체들을 가시 영역 내의 객체들로 결정하고, 그 외의 객체들을 비 가시 영역 내의 객체들로 결정할 수 있다.
이하, 도 8을 참조하여, 프로세서가 객체들을 구분하는 예를 설명한다.
도 8은 프로세서가 객체들을 구분하는 일 예를 설명하기 위한 도면이다.
도 8에는 차량(850)이 주행하는 도로의 외곽을 따라 객체들(830, 840)이 위치한 예가 도시되어 있다. 차량(850)의 레이더/라이더 모듈은 차량(850)의 주변을 향하여 신호를 발신하고, 발신된 신호에 대응하는 반사 신호를 수신한다. 프로세서는 반사 신호를 분석하여 도로 주변에 위치하는 객체들(830, 840)을 검출할 수 있다.
한편, 프로세서는 차량(850)의 카메라에 의하여 촬영된 전방 영상을 이용하여 가시 영역(810)과 비 가시 영역(820)을 구분할 수 있다. 예를 들어, 프로세서는 그래프 컷 알고리즘, Hand-crafted feature 기반 또는 딥러닝 기반 객체 검출 알고리즘 등을 이용하여 전방 영상에서 객체를 검출할 수 있는 영역을 가시 영역으로 결정하고, 가시 영역을 제외한 나머지 영역(즉, 객체를 검출할 수 없는 영역)을 비 가시 영역으로 결정할 수 있다. 따라서, 프로세서는 카메라에 의하여 촬영된 전방 영상을 이용하여 가시 영역(810) 내의 객체들(830)을 검출할 수 있다.
프로세서는 레이더/라이더 모듈에 의하여 수신된 반사 신호를 분석하여 검출한 객체들(830, 840)과 카메라에 의하여 촬영된 전방 영상을 이용하여 검출한 객체들 (즉, 가시 영역(810) 내의 객체들(830))을 비교하여, 비 가시 영역(820) 내의 객체들(840)을 선택할 수 있다. 예를 들어, 프로세서는 영상에서 분리한 객체들의 형상과 반사 신호의 분석을 통하여 획득한 객체들의 형상을 비교하여, 동일한 형상을 갖는 객체들을 가시 영역(810) 내의 객체들(830)로 결정할 수 있다. 그리고, 프로세서는 객체들(830, 840)에서 가시 영역(810) 내의 객체들(830)을 제외한 나머지 객체들(840)을 비 가시 영역(820) 내의 객체들(840)로 결정할 수 있다.
다시 도 7을 참조하면, 720 단계에서, 프로세서는 비 가시 영역 내의 객체들 각각의 위치에 기초하여 비 가시 영역에 포함된 차선을 추정한다.
도로 주변에는 다양한 객체들이 존재할 수 있다. 예를 들어, 도로 주변에는 가로등, 교통 표지판, 중앙 분리대, 가로수 또는 신호등 등이 존재할 수 있다. 일반적으로, 가로등, 중앙 분리대, 가로수 등은 도로의 굴곡을 따라 평행하게 배치된다. 따라서, 프로세서는 가로등, 중앙 분리대, 가로수 등과 같은 비 가시 영역 내의 객체들의 위치 정보를 이용하여 비 가시 영역 내의 도로의 굴곡 및 도로의 넓이를 추정할 수 있다. 또한, 차선은 도로의 굴곡을 따라 그려지는바, 프로세서는 비 가시 영역 내의 도로의 굴곡 및 도로의 넓이를 이용하여 비 가시 영역 내의 차선을 추정할 수 있다.
이하, 도 9를 참조하여 프로세서가 비 가시 영역에 포함된 차선을 추정하는 예를 설명한다.
도 9는 일 실시예에 따른 프로세서가 비 가시 영역에 포함된 차선을 추정하는 일 예를 설명하기 위한 도면이다.
도 9에는 객체(920)의 위치를 나타내는 그래프(910)의 일 예가 도시되어 있다. 프로세서는 객체(920)에 대한 방향각 및 거리를 이용하여 좌표를 계산하여 그래프(910)에 표시할 수 있다. 또한, 프로세서는 객체(920)의 위치를 나타내는 좌표를 이용하여 도로의 굴곡(940)을 추정할 수 있다.
예를 들어, 프로세서는 레이더/라이더 모듈이 연속적으로 수신하는 반사 신호들 각각에 대응한 데이터를 누적하여 Piecewise linear 알고리즘 또는 spline 알고리즘 등을 이용하여 곡선 맞춤(curve fitting)을 수행함으로써, 도로의 굴곡(940)을 추정할 수 있다. 또한, 프로세서는 도로의 왼쪽으로부터 수신된 반사 신호들과 도로의 오른쪽으로부터 수신된 반사 신호들을 구분함으로써, 도로의 왼쪽과 오른쪽을 구분하여 굴곡(940)을 추정할 수 있다.
다시 도 2를 참조하면, 260 단계에서, 프로세서는 검출된 차선 및 추정된 차선의 형태에 기초하여 차선이 가시 영역과 비 가시 영역으로 구분된 가이드 영상을 생성한다. 여기에서, 가이드 영상은 차량의 주행을 가이드하기 위한 정보를 포함한다. 다시 말해, 가이드 영상은 차량이 주행하는데 필요한 정보를 포함한다. 예를 들어, 가이드 영상은 차량이 주행 중인 도로의 상태(예를 들어, 차선의 굴곡, 기울기 등)에 대한 정보, 차량의 주변 환경(예를 들어, 날씨, 시간, 주변 객체 등)에 대한 정보를 포함할 수 있다.
또한, 차량 주행 보조 장치에 포함된 출력부는 가이드 영상을 디스플레이할 수 있다. 구체적으로, 프로세서는 카메라에 의하여 촬영된 영상에서 가시 영역을 설정하고, 가시 영역에서 차선을 검출한다. 그리고, 프로세서는 레이더/라이더 모듈에 의하여 수신된 반사 신호를 이용하여 비 가시 영역에 포함된 도로의 굴곡을 추정한다. 그리고, 프로세서는 가시 영역에서 검출된 차선과 비 가시 영역에서 추정된 차선의 굴곡을 융합하여, 비 가시 영역에 대하여 추정된 차선을 나타내는 가이드 영상을 생성한다. 그리고, 프로세서는 출력부를 통하여 가이드 영상이 출력되도록 출력부를 제어한다.
이하, 도 10 내지 도 11을 참조하여 프로세서가 가이드 영상을 생성하는 예를 설명한다.
도 10은 일 실시예에 따른 프로세서가 가이드 영상을 생성하고 출력하는 일 예를 나타내는 흐름도이다.
1010 단계에서, 프로세서는 촬영된 도로의 영상에서 제 1 객체들을 검출한다.
예를 들어, 프로세서는 도로의 영상에서 가시 영역을 설정하고, 가시 영역 내의 제 1 객체들을 검출할 수 있다. 프로세서가 영상에서 가시 영역을 설정하고, 제 1 객체들을 검출하는 일 예는 도 3 내지 도 6을 참조하여 상술한 바와 같다.
1020 단계에서, 프로세서는 레이더/라이더 모듈을 이용하여 검출된 제 2 객체들 중에서 제 1 객체들과 동일한 제 3 객체를 획득한다.
예를 들어, 프로세서는 레이더/라이더 모듈에 의하여 수신된 반사 신호를 이용하여 제 2 객체들을 검출할 수 있다. 그리고, 프로세서는 제 2 객체들을 가시 영역 내의 객체들 및 비 가시 영역 내의 객체들로 구분할 수 있다. 프로세서가 제 2 객체들을 가시 영역 내의 객체들 및 비 가시 영역 내의 객체들로 구분하는 일 예는 도 7 내지 도 9를 참조하여 상술한 바와 같다. 그리고, 프로세서는 가시 영역 내의 객체들 중에서 제 1 객체와 동일한 제 3 객체를 획득할 수 있다.
1030 단계에서, 프로세서는 차량으로부터 제 3 객체까지의 거리를 이용하여 가이드 영상을 생성한다.
제 3 객체는 카메라를 통하여 생성된 영상에 의해서도 검출될 수 있고, 레이더/라이더 모듈을 통하여 수신된 반사 신호에 의해서도 검출될 수 있다. 따라서, 제 3 객체는 영상에 의하여 검출된 가시 영역의 차선과 반사 신호에 의하여 추정된 비 가시 영역의 차선을 정합하는데 이용될 수 있다. 이하, 도 11을 참조하여, 프로세서가 차량으로부터 제 3 객체까지의 거리를 이용하여 가이드 영상을 생성하는 일 예를 설명한다.
도 11은 일 실시예에 따른 프로세서가 가이드 영상을 생성하는 일 예를 설명하기 위한 도면이다.
도 11에는 차량(1110)과 가시 영역(1150)을 포함하는 영역(1130) 및 가시 영역(1150)과 비 가시 영역(1160)을 포함하는 영역(1140)이 도시되어 있다. 또한, 도 11에는 가시 영역(1150)에 위치한 객체(1120)가 도시되어 있다. 가시 영역(1150)은 카메라가 촬영한 영상 및 레이더/라이더 모듈이 수신한 반사 신호에 의하여 객체가 식별될 수 있는 영역이다. 따라서, 객체(1120)는 카메라가 촬영한 영상에 의해서도 식별될 수 있으며, 레이더/라이더 모듈이 수신한 반사 신호에 의해서도 식별될 수 있다.
프로세서는 차량(1110)으로부터 객체(1120)까지의 거리(d)를 이용하여 가이드 영상을 생성할 수 있다. 예를 들어, 프로세서는 카메라가 촬영한 영상에서 객체(1120) 및 차선(1151)을 식별할 수 있다. 다시 말해, 프로세서는 가시 영역(1150)에 포함된 객체(1120) 및 차선(1151)를 검출할 수 있다. 그리고, 프로세서는 영상을 이용하여 차량(1110)과 객체(1120) 사이의 거리(d)를 연산할 수 있으며, 가시 영역(1150) 내에 포함된 객체들 사이의 거리 관계도 연산할 수 있다.
또한, 프로세서는 레이더/라이더 모듈이 수신한 반사 신호를 이용하여 객체(1120)를 식별할 수 있고, 차선(1161)을 추정할 수 있다. 다시 말해, 프로세서는 가시 영역(1150)에 포함된 객체(1120)를 검출할 수 있고, 비 가시 영역(1160)의 차선(1161)을 추정할 수 있다. 그리고, 프로세서는 반사 신호를 이용하여 차량(1110)과 객체(1120) 사이의 거리(d)를 연산할 수 있으며, 가시 영역(1150) 및 비 가시 영역(1160) 내에 포함된 객체들 사이의 거리 관계도 연산할 수 있다.
따라서, 프로세서는 영상을 이용하여 연산한 거리(d)와 반사 신호를 이용하여 연산한 거리(d)를 이용하여 검출된 차선(1151)과 추정된 차선(1161)을 매핑할 수 있다. 프로세서는 차량(1110)의 주변 객체들 사이의 거리 관계도 연산할 수 있는바, 차선(1151)이 식별되지 않는 영역에 차선(1161)을 정확하게 매핑할 수 있다.
도 10 내지 도 11을 참조하여 상술한 바에 따르면, 프로세서는 차량으로부터 가시 영역 내의 제 3 객체까지의 거리를 이용하여 차선(1151)과 차선(1161)을 매핑하는 것으로 기재되었으나, 이에 한정되지 않는다. 예를 들어, 프로세서는 차량으로부터 차선의 끝점까지의 거리 및 차량 주변의 각각의 객체들과 차량 사이의 거리를 이용하여 차선(1151)과 차선(1161)을 매핑할 수도 있다.
구체적으로, 프로세서는 전방 영상을 이용하여 차량으로부터 차선의 끝점(즉, 전방 영상에서 검출 가능한 차선의 끝점)까지의 거리를 연산할 수 있다. 또한, 프로세서는 레이더/라이더 모듈에 수신된 반사 신호를 이용하여 도로의 굴곡 및 차량 주변의 객체들과 차량 사이의 거리를 연산할 수 있다. 프로세서는 차량으로부터 차선의 끝점까지의 거리와 동일한 거리를 갖는 객체를 선택한다. 그리고, 프로세서는 선택된 객체를 기준으로 차선(1151)과 차선(1161)을 매핑할 수 있다. 다시 말해, 프로세서는, 차량에서 객체의 위치까지의 영역은 차선(1151)에 대한 정보를 이용하여, 객체의 위치보다 먼 영역은 차선(1161)에 대한 정보를 이용하여 가이드 영상을 생성할 수 있다.
출력부는 가이드 영상을 출력할 수 있다. 예를 들어, 출력부는 차량에 포함된 헤드 업 디스플레이, 미러 디스플레이 및 중앙 정보 디스플레이 중 적어도 하나를 포함할 수 있다. 이하, 도 12a 및 도 12c를 참조하여 프로세서가 가이드 영상을 출력하는 예들을 설명한다.
도 12a 내지 도 12c는 일 실시예에 따른 영상이 출력되는 예들을 설명하기 위한 도면들이다.
도 12a 및 도 12c를 참조하면, 프로세서는 가이드 영상(1210)을 차량에 디스플레이 할 수 있다. 일 예로서, 프로세서는 차량의 창에 헤드 업 디스플레이 장치를 통하여 가이드 영상(1210)를 디스플레이할 수 있다. 다른 예로서, 프로세서는 미러 디스플레이 장치를 통하여 차량의 사이드 미러(side mirror)에 가이드 영상(1210)을 디스플레이할 수도 있다. 또 다른 예로서, 프로세서는 차량의 중앙 정보 디스플레이 장치의 화면에 가이드 영상(1210)을 디스플레이할 수도 있다.
한편, 프로세서가 생성하는 가이드 영상은 다양하게 구현될 수 있다. 일 예로서, 가이드 영상은 가시 영역의 검출된 차선과 비 가시 영역의 추정된 차선이 결합된 영상이 될 수도 있다. 다른 예로서, 가이드 영상은 차량의 상태 및 차량의 주변 환경에 기초하여 결정된 위험도에 대응하는 알람 영상이 될 수도 있다. 또 다른 예로서, 가이드 영상은 차량의 속도, 차량이 진행하는 방향 및 차량의 주변에 위치하는 객체를 나타내는 영상이 될 수도 있다. 이하, 도 13 내지 도 18을 참조하여 가이드 영상의 예들은 설명한다.
도 13은 일 실시예에 따른 가이드 영상의 일 예를 설명하기 위한 도면이다.
도 13에는 차량의 창에 출력된 가이드 영상(1310)의 일 예가 도시되어 있다. 가이드 영상(1310)에는 가시 영역의 차선(1321)뿐 만 아니라 비 가시 영역의 차선(1322)를 포함할 수 있다. 이때, 차선(1321)과 차선(1322)는 서로 구분되어 디스플레이될 수 있다. 일 예로서, 차선(1321)은 실제 도로의 차선과 동일하게 디스플레이되고, 차선(1322)는 차선(1321)과 구별되도록 다른 형태, 굵기 및/또는 컬러를 갖는 선으로 디스플레이될 수 있다. 다른 예로서, 차선(1321)을 포함하는 도로면과 차선(1322)을 포함하는 도로면이 다른 컬러로 디스플레이될 수도 있고, 차선(1322)을 포함하는 도로면에 그라데이션 효과가 나타나도록 디스플레이될 수도 있다.
또한, 가이드 영상(1310)에는 현재 차량의 주행 정보(1330)가 포함될 수 있다. 예를 들어, 주행 정보(1330)에는 차량의 현재 속도 및 차량이 현재 주행하는 도로의 제한 속도에 대한 정보가 포함될 수 있다. 또한, 주행 정보(1330)에는 차량이 진행하는 방향 및 목적지까지의 경로를 알려주는 내비게이션 정보가 포함될 수 있다.
한편, 도 13에 도시된 가이드 영상(1310)에 포함된 정보들(1321, 1322, 1330, 1341, 1342)은 각각 별개의 영상으로 디스플레이될 수 있다.
도 14는 일 실시예에 따른 가이드 영상의 다른 예를 설명하기 위한 도면이다.
도 14에는 차량의 창에 출력된 가이드 영상(1410)의 일 예가 도시되어 있다. 가이드 영상(1410)에는 가시 영역의 차선(1421)뿐 만 아니라 비 가시 영역의 차선(1422)를 포함할 수 있다. 또한, 차선(1421)과 차선(1422)이 서로 구분되어 디스플레이될 수 있음은 도 13을 참조하여 상술한 바와 같다.
가이드 영상(1410)에는 차량의 상태 및 차량의 주변 환경에 기초하여 결정된 위험도에 대응하는 알람 영상(1430)이 포함될 수 있다. 예를 들어, 차량이 주행 중인 도로의 제한 속도가 70km/h이라고 가정하면, 차량의 주행 속도가 70km/h를 초과하는 경우 운전자에게 속도를 줄일 것을 알리는 알람 영상(1430)이 디스플레이될 수 있다.
또한, 도 14에는 도시되지 않았으나, 차량의 주행 속도가 제한 속도를 초과하는 경우에 차량의 스피커를 통하여 알람 사운드가 출력될 수도 있다. 또한, 프로세서는 차량의 주행 속도에 따라 알람 사운드가 출력되는 시간 간격을 조절하여 출력할 수도 있다.
도 15는 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 15에는 차량의 창에 출력된 가이드 영상(1510)의 일 예가 도시되어 있다. 가이드 영상(1510)에는 가시 영역의 차선(1521)뿐 만 아니라 비 가시 영역의 차선(1522)를 포함할 수 있다. 또한, 차선(1521)과 차선(1522)이 서로 구분되어 디스플레이될 수 있음은 도 13을 참조하여 상술한 바와 같다.
가이드 영상(1510)에는 도로의 주변에 배치된 교통 표지판(1530)에 대한 정보가 포함될 수 있다. 예를 들어, 차량의 메모리에는 교통 표지판의 형상과 교통 표지판의 내용이 매핑되어 저장될 수 있다. 차량이 주행하는 중에 교통 표지판(1530)이 식별된 경우, 프로세서는 메모리에 저장된 정보를 독출하여 이를 디스플레이할 수 있다.
도 16은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 16에는 차량의 창에 출력된 가이드 영상(1610)의 일 예가 도시되어 있다. 가이드 영상(1610)에는 가시 영역의 차선(1621)뿐 만 아니라 비 가시 영역의 차선(1622)를 포함할 수 있다. 또한, 차선(1621)과 차선(1622)이 서로 구분되어 디스플레이될 수 있음은 도 13을 참조하여 상술한 바와 같다.
가이드 영상(1610)에는 차량이 주행해야 하는 방향을 나타내는 지시자(1630)가 포함될 수 있다. 예를 들어, 차량이 100m 전방에서 좌회전을 해야 하는 경우, 운전자에게 이를 알리는 지시자(1630)가 디스플레이될 수 있다.
또한, 도 16에는 도시되지 않았으나, 프로세서는 차량이 주행 방향을 변경(예를 들어, 좌회전, 우회전, 유-턴, 차선 변경 등)하는 경우, 주행 방향이 변경되었음을 알리는 정보를 차량의 창에 디스플레이할 수 있다. 또한, 전방 도로의 굴곡 정도에 따라 지시자(1630)의 형상이 다르게 디스플레이될 수 있다.
도 17은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 17에는 차량의 창에 출력된 가이드 영상(1710)의 일 예가 도시되어 있다. 가이드 영상(1710)에는 가시 영역의 차선(1721)뿐 만 아니라 비 가시 영역의 차선(1722)를 포함할 수 있다. 또한, 차선(1721)과 차선(1722)이 서로 구분되어 디스플레이될 수 있음은 도 13을 참조하여 상술한 바와 같다.
가이드 영상(1710)에는 도로에서 주행하는 다른 차량에 대한 정보(1731)가 포함될 수 있다. 예를 들어, 차량에 포함된 센서가 다른 차량의 속도, 주행 방향 등을 감지할 수 있고, 프로세서는 다른 차량에 대한 정보(1731)를 차량의 창에 디스플레이할 수 있다.
도 18은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 18에는 차량의 창에 출력된 가이드 영상(1810)의 일 예가 도시되어 있다. 가이드 영상(1810)에는 가시 영역의 차선(1821)뿐 만 아니라 비 가시 영역의 차선(1822)를 포함할 수 있다. 또한, 차선(1821)과 차선(1822)이 서로 구분되어 디스플레이될 수 있음은 도 13을 참조하여 상술한 바와 같다.
가이드 영상(1810)에는 차량의 주변 환경에 대한 정보(1830)가 포함될 수 있다. 예를 들어, 프로세서는 센서부를 통하여 차량 주변의 풍향, 풍속, 미세먼지의 농도 등에 대한 정보를 획득할 수 있고, 현재 날씨(예를 들어, 맑음, 흐림, 안개 낌, 강수, 강우 등)를 파악할 수 있다. 예를 들어, 프로세서는 환경 센서를 통하여 PM2.5~10(2.5Um~10um)크기의 미세먼지를 감지할 수 있다. 또한, 프로세서는 센서부를 통하여 차량이 주행하는 현재가 주간인지 또는 야간인지를 파악할 수 있다. 또한, 프로세서는 현재 날씨가 악천후인지 여부를 판단할 수 있다. 예를 들어, 차량이 야간에 주행 중이거나, 강수, 강우, 미세먼지, 안개 등에 의하여 카메라를 통한 차선 인식률이 50% 이하인 경우, 프로세서는 현재 날씨가 악천후인 것으로 판단할 수 있다. 그리고, 프로세서는 차량의 주변 환경에 대한 정보(1830)를 차량의 창에 디스플레이할 수 있다. 예를 들어, 프로세서는 차량의 주변 환경에 대한 정보(1830)를 구체적인 수치로 디스플레이 할 수도 있고, 다양한 컬러 또는 위험 수준을 나타내는 지시자 등으로 디스플레이할 수도 있다.
또한, 도 18에는 도시되지 않았으나, 프로세서는 차량에 포함된 카메라 및 센서를 통하여 도로가 오르막길인지 또는 내리막길인지에 대한 정보를 획득할 수 있고, 도로의 기울기를 연산할 수 있다. 그리고, 프로세서는 도로에 대한 정보를 차량의 창에 디스플레이할 수 있다.
한편, 프로세서는 차량의 주변 환경에 따라 차량의 창에 디스플레이되는 영상의 밝기, 투명도 등을 변경할 수도 있다. 또한, 도 13 내지 도 18에는 가이드 영상(1310, 1410, 1510, 1610, 1710, 1810)이 차량의 창에 팝업 창으로 디스플레이되는 예가 도시되어 있으나, 이에 제한되지 않는다.
도 19 및 도 20은 일 실시예에 따른 프로세서를 포함하는 차량 주행 보조 장치의 예들을 나타내는 구성도들이다.
도 19를 참조하면, 장치(1900)는 프로세서(1810), 메모리(1820), 센싱부(1930) 및 출력부(1940)를 포함한다.
그러나, 도 19에 도시된 구성 요소들 모두가 장치(1900)의 필수 구성 요소인 것은 아니다. 도 19에 도시된 구성 요소들보다 많은 구성 요소에 의해 장치(1900)가 구현될 수도 있고, 도 19에 도시된 구성 요소보다 적은 구성 요소들에 의해 장치(1900)가 구현될 수도 있다.
예를 들어, 도 20에 도시된 바와 같이, 장치(2000)는, 프로세서(2030), 메모리(2070), 센싱부(2040) 및 출력부(2020) 이외에 사용자 입력부(2010), 통신부(2050) 및 구동부(2060)를 더 포함할 수도 있다.
사용자 입력부(2010)는 사용자가 장치(2000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(2010)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(2010)는 사용자의 음성 입력에 대한 답변 메시지를 요청하고 답변 메시지에 관련된 동작을 실행하기 위한 사용자 입력을 수신할 수 있다.
출력부(2020)는 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있다. 출력부(2020)는 디스플레이부(2021), 음향 출력부(2021) 및 진동 모터(2023) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
디스플레이부(2021)는 장치(2000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(2021)는 사용자의 음성 입력에 대한 답변 메시지를 요청하고 답변 메시지에 관련된 동작을 실행하기 위한 사용자 인터페이스를 디스플레이할 수 있다. 또한, 디스플레이부(2021)는 차량 주변을 나타내는 3차원 영상을 디스플레이할 수 있다.
음향 출력부(2021)는 통신부(2050)로부터 수신되거나 메모리(2070)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(2021)는 장치(2000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.
프로세서(2030)는 통상적으로 장치(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2030)는 메모리(2070)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(2010), 출력부(2020), 센싱부(2040), 통신부(2050), 구동부(2060) 등을 전반적으로 제어할 수 있다. 또한, 프로세서(2030)는 메모리(2070)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 18을 참조하여 상술한 기능을 수행할 수 있다. 예를 들어, 프로세서(2030)는 MCU(micro controller unit)일 수 있다. 또한, 프로세서(2030)는 인식 프로세서(cognitive processor)의 기능을 수행할 수도 있다.
예를 들어, 프로세서(2030)는 카메라에 의하여 촬영된 도로의 영상을 이용하여 영상 내의 가시 영역에 포함된 차선을 검출할 수 있다. 그리고, 프로세서(2030)는 레이더/라이더 모듈을 이용하여 도로 주변의 객체들을 검출하고, 검출된 객체들의 위치에 기초하여 영상 내의 비 가시 영역에 포함된 차선을 추정할 수 있다. 그리고, 프로세서(2030)는 검출된 차선 및 추정된 차선의 형태에 기초하여 차량의 주행을 가이드 하기 위한 가이드 영상을 생성할 수 있다. 그리고, 프로세서(2030)는 가이드 영상을 출력할 수 있다.
또한, 프로세서(2030)는 도로의 영상에서 가시 영역 및 비 가시 영역을 구분하고, 가시 영역 내에 포함된 차선을 검출할 수 있다. 그리고, 프로세서(2030)는 가시 영역의 길이(즉, 차량으로부터 검출된 차선의 끝점까지의 거리)를 연산할 수 있다.
또한, 프로세서(2030)는 레이더/라이더 모듈을 통하여 검출된 객체들을 가시 영역 내의 객체들 및 비 가시 영역 내의 객체들로 구분할 수 있다. 그리고, 프로세서(2030)는 비 가시 영역 내의 객체들 각각의 위치에 기초하여 비 가시 영역에 포함된 차선을 추정할 수 있다.
센싱부(2040)는 장치(2000)의 상태를 감지하고, 감지된 정보를 프로세서(2030)로 전달할 수 있다. 또한, 센싱부(2040)는 사용자 또는 차량의 주변 상황(예를 들어, 객체의 유무 등)을 나타내는 컨텍스트 정보를 획득하거나 생성하는데 이용될 수 있다.
센싱부(2040)는 GPS(Global Positioning System) 모듈(2041), IMU(Inertial Measurement Unit)(2042), 레이더 모듈(2043), 라이더 모듈(2044), 이미지 센서(2045), 환경 센서(2046), 근접 센서(2047), RGB 센서(illuminance sensor)(2048), 움직임 센서(2049) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 센싱부(2040)에 포함된 구성들의 기능은 그 명칭으로부터 당해 기술 분야에서의 일반적인 지식을 가진 자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
GPS 모듈(2041)은 차량의 지리적 위치를 추정하는데 이용될 수 있다. 다시 말해, GPS 모듈(2041)는 지구 상에서의 차량의 위치를 추정하도록 구성되는 송수신기를 포함할 수 있다.
IMU(2042)는 관성 가속도에 기초하여 차량의 위치 및 배향 변화들을 감지하는데 이용될 수 있다. 예를 들어, IMU(2042)는 가속도계들 및 자이로스코프들을 포함할 수 있다.
레이더 모듈(2043)은 무선 신호를 사용하여 차량의 주변 환경 내의 객체들을 감지하는데 이용될 수 있다. 또한, 레이더 모듈(2043)은 객체들의 속도 및/또는 방향을 감지할 수 있다.
라이더 모듈(2044)은 레이저를 사용하여 차량의 주변 환경 내의 객체들을 감지하는데 이용될 수 있다. 구체적으로, 라이더 모듈(2044)은 레이저를 방출하도록 구성되는 레이저 광원 및/또는 레이저 스캐너와, 레이저의 반사를 검출하도록 구성되는 검출기를 포함할 수 잇다. 라이더 모듈(2044)은 코히런트(coherent)(예를 들어, 헤티로다인 검출을 사용함) 또는 비코히런트(incoherent) 검출 모드에서 동작하도록 구성될 수 있다.
이미지 센서(2045)는 차량의 내부 및 외부를 나타내는 영상들을 생성하는데 이용되는 카메라를 포함할 수 있다. 예를 들어, 카메라는 모노(mono) 카메라, 스테레오(stereo) 카메라, 적외선 카메라 또는 열화상 카메라를 의미할 수 있으나, 이에 한정되지 않는다. 이미지 센서(2045)는 다수의 카메라들을 포함할 수 있고, 다수의 카메라들은 차량의 내부 및 외부의 다수의 위치들에 배치될 수 있다.
환경 센서(2046)은 날씨를 포함하는 차량의 외부 환경을 감지하는데 이용될 수 있다. 예를 들어, 환경 센서(2046)는 온/습도 센서(20461), 적외선 센서(20462), 기압 센서(20463) 및 먼지 센서(20464)를 포함할 수 있다.
근접 센서(2047)는 차량에 접근하는 객체를 감지하는데 이용될 수 있다.
RGB 센서(2048)는 차량 주변의 빛의 색 농도를 감지하는데 이용될 수 있다.
움직임 센서(2049)는 차량의 움직임을 센싱하는데 이용될 수 있다. 예를 들어, 움직임 센서(2049)는 지자기 센서(Magnetic sensor)(20491), 가속도 센서(Acceleration sensor)(20492) 및 자이로스코프 센서(20493)를 포함할 수 있다.
통신부(2050)는 장치(2000)가 차량의 다른 장치, 외부 장치 또는 외부 서버와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 외부 장치는 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 한정되지 않는다. 예를 들어, 통신부(2050)는 근거리 통신부(2051), 이동 통신부(2052) 및 방송 수신부(2053) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
근거리 통신부(short-range wireless communication unit)(2051)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(2052)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(2053)는 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 장치(2000)가 방송 수신부(2053)를 포함하지 않을 수도 있다.
또한, 통신부(2050)는 사용자의 음성 입력에 대한 답변 메시지를 요청하고 답변 메시지에 관련된 동작을 실행하기 위한 필요한 정보를, 외부 장치 및 외부 서버와 송수신할 수 있다.
구동부(2060)는 차량의 구동(운행) 및 차량 내부의 장치들의 동작에 이용되는 구성들을 포함할 수 있다. 구동부(2060)는 전원 공급부(2061), 추진부(2062), 주행부(2063) 및 주변 장치부(2064) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
전원 공급부(2061)는 차량의 구성요소들 중 일부 또는 전부에 전력을 제공하도록 구성될 수 있다. 예를 들어, 전원 공급부(2061)는 재충전가능 리튬 이온 또는 납산(lead-acid) 배터리를 포함할 수 있다.
추진부(2062)는 엔진/모터, 에너지원, 변속기 및 휠/타이어를 포함할 수 있다.
엔진/모터는 내연 기관, 전기 모터, 증기 기관, 및 스틸링 엔진(stirling engine) 간의 임의의 조합이 될 수 있다. 예를 들어, 차량이 가스-전기 하이브리드 자동차(gas-electric hybrid car)인 경우, 엔진/모터는 가솔린 엔진 및 전기 모터가 될 수 있다.
에너지원은 엔진/모터에 전체적으로 또는 부분적으로 동력을 제공하는 에너지의 공급원일 수 있다. 즉, 엔진/모터는 에너지원을 기계 에너지로 변환하도록 구성될 수 있다. 에너지원의 예로는 가솔린, 디젤, 프로판, 다른 압축 가스 기반 연료들, 에탄올, 태양광 패널(solar panel), 배터리, 및 다른 전기 전력원들 중 적어도 하나가 될 수 있다. 또는, 에너지원은 연료 탱크, 배터리, 커패시터, 및 플라이휠(flywheel) 중 적어도 하나가 될 수 있다. 에너지원은 차량의 시스템 및 장치에 에너지를 제공할 수 있다.
변속기는 기계적 동력을 엔진/모터로부터 휠/타이어에 전달하도록 구성될 수 있다. 예를 들어, 변속기는 기어박스, 클러치, 차동 장치(differential), 및 구동축 중 적어도 하나를 포함할 수 있다. 변속기가 구동축들을 포함하는 경우, 구동축들은 휠/타이어에 결합되도록 구성되는 하나 이상의 차축들을 포함할 수 있다.
휠/타이어는 외발 자전거, 자전거/오토바이, 삼륜차, 또는 자동차/트럭의 사륜 형식을 포함한 다양한 형식들로 구성될 수 있다. 예를 들어, 6개 이상의 휠을 포함하는 것과 같은 다른 휠/타이어 형식이 가능할 수 있다. 휠/타이어은 변속기(213)에 고정되게 부착되어 있는 적어도 하나의 휠, 및 구동면(driving surface)과 접촉할 수 있는 휠의 림(rim)에 결합되어 있는 적어도 하나의 타이어를 포함할 수 있다.
주행부(2063)는 브레이크 유닛, 조향 유닛 및 스로틀을 포함할 수 있다.
브레이크 유닛은 차량을 감속시키도록 구성되는 매커니즘들의 조합이 될 수 있다. 예를 들어, 브레이크 유닛은 휠/타이어의 속도를 줄이기 위해 마찰을 사용할 수 있다.
조향 유닛은 차량의 방향을 조절하도록 구성되는 매커니즘들의 조합이 될 수 있다.
스로틀은 엔진/모터의 동작 속도를 제어하여, 차량의 속도를 제어하도록 구성되는 매커니즘들의 조합이 될 수 있다. 또한, 스로틀은 스로틀 개방량을 조절하여 엔진/모터로 유입되는 연료공기의 혼합 가스 양을 조절할 수 있으며, 스로틀 개방량을 조절하여 동력 및 추력을 제어할 수 있다.
주변 장치부(2064)는 네비게이션, 라이트, 방향 지시등, 와이퍼, 내부 조명, 히터 및 에어컨을 포함할 수 있다.
여기에서, 네비게이션은 차량에 대한 운행 경로를 결정하도록 구성되는 시스템일 수 있다. 네비게이션은 차량이 주행하고 있는 동안 동적으로 운행 경로를 갱신하도록 구성될 수 있다. 예를 들어, 네비게이션은 차량에 대한 운행 경로를 결정하기 위해, GPS 모듈(2041)에 의하여 수집된 데이터를 이용할 수 있다.
메모리(2070)는 프로세서(2030)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 외부 장치 또는 외부 서버로 전송되거나 외부 장치 또는 외부 서버로부터 수신되는 데이터를 저장할 수도 있다.
예를 들어, 메모리(2070)는 특정 지역 또는 공간에 포함된 도로/차선 정보 및 도로의 기하(geometric) 정보를 저장할 수 있다. 또한, 메모리(2070)는 카메라 및/또는 레이더/라이더 모듈에 의하여 검출된 객체에 대한 정보를 저장할 수 있고, 기 저장된 객체에 대한 정보를 갱신하여 저장할 수도 있다. 또한, 가시 영역의 길이 및 비 가시 영역의 길이에 대한 정보를 저장할 수 있다. 또한, 메모리(2070)는 프로세서(2030)가 연산한 도로의 곡률에 대한 정보를 저장할 수 있고, 프로세서(2030)가 동일한 도로에 대하여 곡률 연산을 복수 회 수행하는 경우, 기 저장된 곡률 정보를 갱신하여 저장할 수 있다. 또한, 메모리(2070)는 주행 환경(날씨, 주/야간 등)에 따라 확보될 수 있는 가시 영역의 길이에 대한 정보를 저장할 수도 있다.
메모리(2070)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(2070)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 메모리(2070)는 UI 모듈(2071), 터치 스크린 모듈(2072) 및 알림 모듈(2073) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
UI 모듈(2071)은, 애플리케이션 별로 장치(2000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(2072)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(2030)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(2072)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(2072)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
알림 모듈(2073)은 장치(2000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 외부 장치(2000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(2073)은 디스플레이부(2021)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(2022)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(2023)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
상술한 바에 따르면, 프로세서는 차량의 주변 환경에 구애 받지 않고, 차량이 주행하는 차선에 대한 정보를 정확하게 출력할 수 있다. 또한, 프로세서는 차량이 주행하는데 필요한 다양한 정보를 출력할 수 있다. 따라서, 주행의 안전도가 높아질 수 있고, 운전자의 주행 만족도가 높아질 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
또한, 상술한 방법은 컴퓨터로 읽을 수 있는 기록매체에 유지되는 프로그램들 중 적어도 하나의 프로그램에 포함된 명령어(instructions)의 실행을 통하여 수행될 수 있다. 상기 명령어가 컴퓨터에 의해 실행될 경우, 상기 적어도 하나의 컴퓨터는 상기 명령어에 해당하는 기능을 수행할 수 있다. 여기서, 명령어는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 본 개시에서, 컴퓨터의 일 예는, 프로세서가 될 수 있으며, 기록매체의 일 예는 메모리가 될 수 있다.
상술한 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 차량
110: 가이드 영상

Claims (20)

  1. 주행 중인 차량의 전방을 촬영하는 센싱부;
    상기 촬영된 전방 영상을 이용하여 차선을 검출하고, 상기 센싱부를 이용하여 상기 차량이 주행 중인 도로 주변의 객체들을 검출하여 차선을 추정하는 프로세서; 및
    상기 추정된 차선을 출력하는 출력부;를 포함하는 차량 주행 보조 장치.
  2. 제 1 항에 있어서,
    상기 센싱부는,
    카메라, 레이더 모듈 및 라이더 모듈 중 적어도 하나를 포함하는 장치.
  3. 제 1 항에 있어서,
    상기 출력부는,
    상기 전방 영상 내의 가시 영역(visible area) 및 상기 검출된 차선의 위치에 기초하여 결정된 위치에 가이드 영상을 출력하는 차량 주행 보조 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 전방 영상 내에 포함된 상기 차선을 검출하고, 상기 전방 영상 내의 가시 영역 및 비 가시 영역(invisible area)을 구분하고, 상기 차량으로부터 상기 검출된 차선의 끝점까지의 거리를 획득하는 차량 주행 보조 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 검출된 객체들을 가시 영역 내의 객체들 및 비 가시 영역 내의 객체들로 구분하고, 상기 비 가시 영역 내의 객체들 각각의 위치에 기초하여 상기 비 가시 영역에 포함된 차선을 추정하는 차량 주행 보조 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 차량의 상태 및 상기 차량의 주변 환경에 기초하여 결정된 위험도에 대응하는 알람(alarm) 영상을 생성하는 차량 주행 보조 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    상기 차량의 속도, 상기 차량이 진행하는 방향 및 상기 차량의 주변에 위치하는 적어도 하나의 객체를 나타내는 가이드 영상을 생성하는 차량 주행 보조 장치.
  8. 제 1 항에 있어서,
    상기 추정된 차선을 나타내는 가이드 영상을 외부 장치로 전송하는 통신부;를 더 포함하는 차량 주행 보조 장치.
  9. 제 1 항에 있어서,
    상기 출력부는,
    상기 차량에 포함된 헤드 업 디스플레이(head-up display), 미러 디스플레이(mirror display) 및 중앙 정보 디스플레이(central information display) 중 적어도 하나를 포함하는 차량 주행 보조 장치.
  10. 제 1 항에 있어서,
    상기 가이드 영상을 저장하는 메모리;를 더 포함하는 차량 주행 보조 장치.
  11. 차량에 포함된 센싱부를 이용하여, 차선을 검출하는 단계;
    상기 센싱부를 이용하여, 상기 차량이 주행 중인 도로 주변의 객체들을 검출하여 차선을 추정하는 단계; 및
    상기 검출된 차선을 표시 장치에 출력하는 단계;를 포함하는 차선 정보를 출력하는 방법.
  12. 제 11 항에 있어서,
    상기 센싱부는,
    카메라, 레이더 모듈 및 라이더 모듈 중 적어도 하나를 포함하는 방법.
  13. 제 12 항에 있어서,
    상기 출력하는 단계는,
    상기 전방 영상 내의 가시 영역(visible area) 및 상기 검출된 차선의 위치에 기초하여 결정된 위치에 가이드 영상을 출력하는 방법.
  14. 제 12 항에 있어서,
    상기 표시 장치는,
    상기 차량에 포함된 헤드 업 디스플레이(head-up display), 미러 디스플레이(mirror display) 및 투명 디스플레이 중 적어도 하나를 포함하는 방법.
  15. 제 11 항에 있어서,
    상기 검출하는 단계는,
    상기 전방 영상 내에 포함된 상기 차선을 검출하는 단계;
    상기 전방 영상 내의 가시 영역 및 비 가시 영역(invisible area)을 구분하는 단계; 및
    상기 차량으로부터 상기 검출된 차선의 끝점까지의 거리를 획득하는 단계;를 포함하는 방법.
  16. 제 11 항에 있어서,
    상기 추정하는 단계는,
    상기 검출된 객체들을 가시 영역 내의 객체들 및 비 가시 영역 내의 객체들로 구분하는 단계; 및
    상기 비 가시 영역 내의 객체들 각각의 위치에 기초하여, 상기 비 가시 영역에 포함된 차선을 추정하는 단계;를 포함하는 방법.
  17. 제 11 항에 있어서,
    상기 생성하는 단계는,
    상기 차량의 상태 및 상기 차량의 주변 환경에 기초하여 결정된 위험도에 대응하는 알람(alarm) 영상을 생성하는 방법.
  18. 제 11 항에 있어서,
    상기 생성하는 단계는,
    상기 차량의 속도, 상기 차량이 진행하는 방향 및 상기 차량의 주변에 위치하는 적어도 하나의 객체를 나타내는 가이드 영상을 생성하는 방법.
  19. 제 11 항에 있어서,
    상기 추정된 차선을 나타내는 가이드 영상을 외부 장치로 전송하는 단계;를 더 포함하는 방법.
  20. 제 11 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020170015688A 2017-02-03 2017-02-03 차선 정보를 출력하는 방법 및 장치. KR20180090610A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170015688A KR20180090610A (ko) 2017-02-03 2017-02-03 차선 정보를 출력하는 방법 및 장치.
US16/482,044 US11512973B2 (en) 2017-02-03 2018-01-19 Method and device for outputting lane information
EP18747756.7A EP3566924B1 (en) 2017-02-03 2018-01-19 Method and device for outputting lane information
PCT/KR2018/000902 WO2018143589A1 (ko) 2017-02-03 2018-01-19 차선 정보를 출력하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170015688A KR20180090610A (ko) 2017-02-03 2017-02-03 차선 정보를 출력하는 방법 및 장치.

Publications (1)

Publication Number Publication Date
KR20180090610A true KR20180090610A (ko) 2018-08-13

Family

ID=63040217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170015688A KR20180090610A (ko) 2017-02-03 2017-02-03 차선 정보를 출력하는 방법 및 장치.

Country Status (4)

Country Link
US (1) US11512973B2 (ko)
EP (1) EP3566924B1 (ko)
KR (1) KR20180090610A (ko)
WO (1) WO2018143589A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200041253A (ko) * 2018-10-11 2020-04-21 틴데이 네트워크 테크놀로지 (상하이) 컴퍼니 리미티드 이중 스트림 딥 러닝 뉴럴 네트워크를 갖는 쌍안 보행자 검출 시스템 및 이를 이용하는 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112166467B (zh) * 2018-05-22 2023-04-28 三菱化学株式会社 彩色显示装置、车辆内外饰构件、照明灯用灯、显示用广告牌和车辆
CN109540157B (zh) * 2018-11-12 2021-02-02 广东星舆科技有限公司 一种车载导航系统及控制方法
JP2022516849A (ja) * 2019-01-18 2022-03-03 ベステル エレクトロニク サナイー ベ ティカレト エー．エス． ヘッドアップディスプレイシステム、方法、データキャリア、処理システム及び車両
CN110135302B (zh) * 2019-04-30 2021-08-31 百度在线网络技术（北京）有限公司 训练车道线识别模型的方法、装置、设备和存储介质
CN113514952A (zh) * 2020-04-09 2021-10-19 华为技术有限公司 抬头显示装置和抬头显示方法
CN111959526B (zh) * 2020-06-30 2022-02-15 北京百度网讯科技有限公司 基于无人车的控制方法、装置、无人车和电子设备
US20220198200A1 (en) * 2020-12-22 2022-06-23 Continental Automotive Systems, Inc. Road lane condition detection with lane assist for a vehicle using infrared detecting device
TWI748863B (zh) * 2021-02-03 2021-12-01 宏佳騰動力科技股份有限公司 車輛的後視安全警示裝置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3045401B2 (ja) 1996-05-08 2000-05-29 ダイムラークライスラー・アクチエンゲゼルシヤフト 自動車の前方車道状況を確認する方法
DE19749086C1 (de) * 1997-11-06 1999-08-12 Daimler Chrysler Ag Vorrichtung zur Ermittlung fahrspurverlaufsindikativer Daten
JP3417381B2 (ja) 2000-05-25 2003-06-16 株式会社デンソー 道路形状認識装置、先行車両特定装置、及び記録媒体
JP4888761B2 (ja) * 2005-10-31 2012-02-29 株式会社エクォス・リサーチ 仮想車線表示装置
JP5075152B2 (ja) 2009-03-24 2012-11-14 日立オートモティブシステムズ株式会社 車両制御装置
JP5441549B2 (ja) 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
KR20140071174A (ko) * 2012-12-03 2014-06-11 현대자동차주식회사 차량의 차선 가이드 장치 및 그 방법
KR101787996B1 (ko) 2013-04-11 2017-10-19 주식회사 만도 차선 추정 장치 및 그 방법
JP2015001773A (ja) * 2013-06-13 2015-01-05 ボッシュ株式会社 車線推定装置
JP5890803B2 (ja) * 2013-07-01 2016-03-22 富士重工業株式会社 車両の運転支援制御装置
KR101582572B1 (ko) 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR101545478B1 (ko) * 2014-01-10 2015-08-19 현대모비스(주) 차량용 전방관측시스템 및 방법
US10207706B2 (en) * 2016-12-28 2019-02-19 Automotive Research & Testing Center System for detecting lane line of road and method thereof
KR20210099780A (ko) * 2020-02-05 2021-08-13 삼성전자주식회사 전자 장치 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200041253A (ko) * 2018-10-11 2020-04-21 틴데이 네트워크 테크놀로지 (상하이) 컴퍼니 리미티드 이중 스트림 딥 러닝 뉴럴 네트워크를 갖는 쌍안 보행자 검출 시스템 및 이를 이용하는 방법

Also Published As

Publication number Publication date
EP3566924A4 (en) 2020-06-17
US20200064148A1 (en) 2020-02-27
WO2018143589A1 (ko) 2018-08-09
EP3566924C0 (en) 2023-10-04
EP3566924B1 (en) 2023-10-04
EP3566924A1 (en) 2019-11-13
US11512973B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
EP3566924B1 (en) Method and device for outputting lane information
CN110349405B (zh) 利用联网汽车的实时交通监视
KR102480417B1 (ko) 전자 장치 및 전자 장치의 차량 제어 방법, 서버 및 서버의 정밀 지도 데이터 제공 방법
US20220212690A1 (en) Vehicle-mounted device information display method, apparatus, and vehicle
US10782701B2 (en) Autonomous vehicle and method of controlling the same
US11242068B2 (en) Vehicle display device and vehicle
KR101974871B1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US20190332120A1 (en) Method of determining position of vehicle and vehicle using the same
KR20180026241A (ko) 차량용 사용자 인터페이스 장치 및 차량
JP2016048550A (ja) ドライバの注意評価に基づく空間情報の提示
KR20190033975A (ko) 차량의 운행 시스템을 제어하는 방법
US11872987B2 (en) Path providing device and path providing method thereof
US11972616B2 (en) Enhanced navigation instructions with landmarks under difficult driving conditions
US11043034B2 (en) Image output device
US20240071012A1 (en) Ar service platform for providing augmented reality service
US20240157872A1 (en) External facing communications for autonomous vehicles
KR20170083798A (ko) 헤드업 디스플레이 장치 및 그 제어방법
EP3561774A1 (en) Method and device for genertating image for indicating object on periphery of vehicle
CN114842075A (zh) 数据标注方法、装置、存储介质及车辆
KR20190072239A (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US20230012932A1 (en) Vehicle control device and control method therefor
CN114842455B (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
KR102625688B1 (ko) 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템
CN109145692B (zh) 车辆驾驶辅助系统和方法
US20220383556A1 (en) Image output device and method for controlling the same

Legal Events

Date Code Title Description
A201 Request for examination