WO2018143589A1 - 차선 정보를 출력하는 방법 및 장치 - Google Patents

차선 정보를 출력하는 방법 및 장치 Download PDF

Info

Publication number
WO2018143589A1
WO2018143589A1 PCT/KR2018/000902 KR2018000902W WO2018143589A1 WO 2018143589 A1 WO2018143589 A1 WO 2018143589A1 KR 2018000902 W KR2018000902 W KR 2018000902W WO 2018143589 A1 WO2018143589 A1 WO 2018143589A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
lane
processor
image
objects
Prior art date
Application number
PCT/KR2018/000902
Other languages
English (en)
French (fr)
Inventor
박상규
홍현석
김명식
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/482,044 priority Critical patent/US11512973B2/en
Priority to EP18747756.7A priority patent/EP3566924B1/en
Publication of WO2018143589A1 publication Critical patent/WO2018143589A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B60K2360/182—
    • B60K2360/21—
    • B60K2360/31—
    • B60K2360/344—
    • B60K35/23—
    • B60K35/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • a method and apparatus for outputting lane information is provided.
  • the watch may not be secured enough for the driver to drive. Accordingly, there is an increasing demand for a technology that provides a driver with information necessary to drive a vehicle (for example, information on a lane in which the vehicle is located or a lane bending direction at a far distance in front).
  • a method and apparatus for outputting lane information are provided.
  • the present invention provides a computer-readable recording medium having recorded thereon a program for executing the method on a computer.
  • the technical problem to be solved is not limited to the above technical problems, and other technical problems may exist.
  • FIG. 1 is a diagram illustrating an example of displaying lane information, according to an exemplary embodiment.
  • FIG. 2 is a flowchart illustrating an example of a method of outputting a guide image, according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating an example in which a processor detects a lane and obtains a distance from the vehicle to the lane, according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating an example of a visible region and a non-visible region according to an embodiment.
  • FIG. 5 is a diagram for describing an example in which a processor calculates a distance from a vehicle to an end point of a lane when the camera is a mono camera according to an embodiment.
  • FIG. 6 is a diagram illustrating an example in which a processor calculates a distance from a vehicle to an end point of a lane when the camera is a stereo camera according to an embodiment.
  • FIG. 7 is a flowchart illustrating an example of estimating a lane included in a non-visible region by a processor, according to an exemplary embodiment.
  • FIG. 8 is a diagram illustrating an example in which a processor classifies objects.
  • FIG. 9 is a diagram for describing an example of estimating a lane included in a non-visible region, by a processor, according to an exemplary embodiment.
  • FIG. 10 is a flowchart illustrating an example in which a processor generates and outputs a guide image, according to an exemplary embodiment.
  • FIG. 11 is a diagram for describing an example of generating, by a processor, a guide image according to an exemplary embodiment.
  • 12A to 12C are diagrams for describing examples of outputting a guide image, according to an exemplary embodiment.
  • FIG. 13 is a diagram for describing an example of a guide image, according to an exemplary embodiment.
  • FIG. 14 is a diagram for describing another example of a guide image, according to an exemplary embodiment.
  • 15 is a diagram for describing another example of a guide image, according to an exemplary embodiment.
  • 16 is a diagram for describing another example of a guide image, according to an exemplary embodiment.
  • 17 is a diagram for describing another example of a guide image, according to an exemplary embodiment.
  • FIG. 18 is a diagram for describing another example of a guide image, according to an exemplary embodiment.
  • 19 and 20 are diagrams illustrating examples of a vehicle driving assistance apparatus including a processor, according to an exemplary embodiment.
  • a vehicle driving assistance apparatus includes: a sensing unit configured to photograph a front side of a vehicle that is driving; A processor configured to detect a lane using the photographed front image, and estimate a lane by detecting objects around a road on which the vehicle is driven by using the sensing unit; And an output unit configured to output the estimated lane.
  • a method of outputting lane information includes: detecting a lane using a sensing unit included in a vehicle; Estimating a lane by detecting objects around a road on which the vehicle is driven by using the sensing unit; And outputting the detected lane to a display device.
  • a computer-readable recording medium includes a recording medium recording a program for executing the above-described method on a computer.
  • FIG. 1 is a diagram illustrating an example of displaying lane information, according to an exemplary embodiment.
  • the guide image 110 includes information for guiding driving of the vehicle 100.
  • the guide image 110 may include information about a state of a road (for example, lane curvature and a slope of a lane) on which the vehicle 100 is driving, a surrounding environment of the vehicle 100 (eg, weather, Time, surrounding objects, etc.).
  • the driver's view may not be sufficiently secured.
  • the driver may not have enough information about where the road is bent or in which direction and how much it is bent. have. Accordingly, the risk of an accident may be increased, and the fatigue of the driver may be increased.
  • the driver may safely drive the vehicle 100 even when the driving environment is not good.
  • the guide image 110 includes various information necessary for the driver to drive, the driving satisfaction of the driver may be increased.
  • the vehicle driving assistance apparatus may generate the guide image 110 using the sensing unit.
  • the sensing unit may include an image sensor, a lidar module, a radar module, and the like.
  • the image sensor may include a camera, and the camera may mean a mono camera, a stereo camera, an infrared camera, an ultrasonic camera, or a thermal imaging camera, but is not limited thereto.
  • the processor included in the vehicle driving assistance apparatus may generate the guide image 110 by controlling the sensing unit and performing data processing.
  • the driving assistance device may include a memory for storing data and a guide image required for the processor to operate, and a communication unit capable of communicating with an external device.
  • the guide image 110 includes locations and types of vehicles, pedestrians, cyclists, road markings, signs, lanes, and the like, driving information such as the speed of a vehicle, weather information, and surrounding environment information such as temperature. can do.
  • the guide image 110 may be output as an image through the output unit of the vehicle 100.
  • the information included in the guide image 110 may be output as sound through the output unit of the vehicle 100.
  • the processor may output the guide image 110 to at least one of a head-up display, a central information display (CID), and a cluster included in the vehicle 100.
  • the processor may output the guide image 110 or content (video, music, text, etc.) to an external device connected through the communication unit.
  • FIG. 2 is a flowchart illustrating an example of a method of generating a guide image, according to an exemplary embodiment.
  • the processor photographs the front of the vehicle by using the sensing unit included in the vehicle.
  • the image sensor of the sensing unit may include a camera, and the camera may mean a mono camera, a stereo camera, an infrared camera, an ultrasonic camera, or a thermal imaging camera, but is not limited thereto.
  • the processor detects a lane included in the visible area in the front image by using the captured front image.
  • the processor may detect the lane of the road on which the vehicle is driving by segmenting the lane included in the front image.
  • the processor may distinguish between the visible region and the non-visible region in the front image based on the detection result of the lane.
  • the processor may identify an endpoint of the lane in the visible region of the front image and obtain a distance from the vehicle to the endpoint of the lane.
  • FIGS. 3 to 5 an example in which the processor detects a lane and obtains a distance from the vehicle to the end point of the lane will be described with reference to FIGS. 3 to 5.
  • FIG. 3 is a flowchart illustrating an example in which a processor detects a lane and obtains a distance from the vehicle to the lane, according to an exemplary embodiment.
  • the processor detects a lane in the front image.
  • the front image is an image photographed through the camera of the vehicle, and means an image photographing a road on which the vehicle is driving.
  • the processor may segment the lane in the front image by constructing a graph of the front image and applying a graph cut algorithm to the configured graph.
  • the graph cut algorithm cuts the graph using a threshold value, thereby separating pixels included in the image into pixels corresponding to an object (eg, a lane) and pixels not corresponding to the object.
  • the processor may separate the object using the graph cut algorithm as an example, and the processor may separate the lane from the front image using various image separation methods.
  • the processor may detect a lane in the front image using a hand-crafted feature-based or deep learning-based object detection algorithm.
  • the processor distinguishes the visible region from the non-visible region in the front image based on the detection result of the lane.
  • the visible area refers to an area in which an object shown in the image can be identified
  • the non-visible area refers to an area in which it is difficult to identify what an object in the image is.
  • An object means a person, an animal, a plant, or an object located near a road on which a vehicle is driving.
  • objects may include not only people, animals, plants, but also traffic lights, traffic signs, central dividers, sound barriers, street lamps, telephone poles or other vehicles.
  • the processor may determine an area in which the lane is detected in the front image as the visible area, and determine an area other than the visible area as the non-visible area.
  • FIG. 4 is a diagram illustrating an example of a visible region and a non-visible region according to an embodiment.
  • FIG. 4 illustrates an example of a front image 410 photographed using a camera.
  • the front image 410 the road 411 on which the vehicle is traveling and the objects 412 and 413 around the road are captured.
  • the front image 410 is photographed in a situation in which it is difficult to secure the driver's forward field of view due to the fog.
  • the road 411 of the area 420 adjacent to the vehicle in the image 410 can be identified based on a situation in which the image 410 is captured (for example, a foggy weather), but is far from the vehicle.
  • Road 411 in remote area 430 is difficult to identify. Therefore, information such as which direction the road 411 of the area 430 is traveling or how much curvature is to be rotated may not be read based on the front image 410.
  • the processor may determine an area in which the road 411 can be detected in the front image 410 as the visible area 420 and an area in which the road 411 cannot be detected as the non-visible area 430.
  • the processor may detect the road 411 in the front image 410 using a graph cut algorithm, a hand-crafted feature-based or deep learning based object detection algorithm, and the road (in the front image 410).
  • a region difficult to detect 411 can be determined as a non-visible region.
  • the reference for distinguishing the visible region 420 and the non-visible region 430 has been described as the road 411.
  • the visible region 420 and the non-visible region 430 may be divided into the front image 410 according to whether at least one of the other objects 412 and 413 shown in the front image 410 is identifiable.
  • the processor calculates a distance from the vehicle to the end point of the detected lane.
  • the processor may calculate the distance from the vehicle to the end point of the lane included in the visible area.
  • the processor can calculate the distance from the vehicle to a predetermined point based on the longitudinal resolution of the front image. For example, lanes may be displayed on the surface of a road and there may be no height of the lane relative to the surface of the road. Therefore, when the end point of the lane is identified in the front image, the processor may calculate a distance from the camera photographing the front image to the identified end point. Meanwhile, in the case of an object having a height, the processor may calculate a distance from the camera to the object based on the bottom surface of the object. In general, an object at the top is located farther from the camera than an object at the bottom of the image. Information about an actual distance corresponding to one pixel of the image may be stored in advance.
  • the processor may calculate the distance from the camera to the end point of the lane based on where the end point of the lane is located in the image.
  • the processor may also calculate the distance from the vehicle to the end point of the lane based on the distance from the camera to the end point of the lane.
  • the method of calculating the distance from the vehicle to the end point of the lane may vary according to the type of camera included in the vehicle.
  • the processor calculates the distance from the vehicle to the end point of the lane will be described later with reference to FIG. 5.
  • the processor may calculate the distance from the vehicle to the end point of the lane using the time of arrival (TOA) of the infrared signal transmitted from the camera.
  • TOA time of arrival
  • the processor may calculate the distance from the vehicle to the end point of the lane by using the time when the infrared signal is reflected from the lane and returned to the camera and the speed of the infrared signal.
  • FIG. 5 is a diagram for describing an example in which a processor calculates a distance from a vehicle to an end point of a lane when the camera is a mono camera according to an embodiment.
  • the processor may calculate a distance from the mono camera P to the objects 520 and 530.
  • the information on the position where the mono camera P is embedded in the vehicle 510 may be stored in advance. Accordingly, the processor may calculate the distance from the vehicle 510 to the objects 520 and 530.
  • the objects 520 and 530 are shown as trees, but the objects 520 and 530 may correspond to the end points of the lanes in addition to the trees.
  • the processor may calculate a distance from the vehicle 510 to the objects 520 and 530 based on Equation 1 below.
  • Equation 1 y means the height in the image (I).
  • f means the focal length of the lens of the mono camera (P)
  • H means the height from the ground to the mono camera (P).
  • Z denotes a distance from the mono camera P to the objects 520 and 530.
  • f and H may be preset. Accordingly, the processor finds the position y of the bottom surface (part of the bottom) of the objects 520 and 530 in the image I, and from the position y to the objects 520 and 530 by Equation 1 We can calculate the distance (Z) of.
  • FIG. 6 is a diagram illustrating an example in which a processor calculates a distance from a vehicle to an end point of a lane when the camera is a stereo camera according to an embodiment.
  • the processor may calculate a distance from the stereo cameras 611 and 612 to the object Q.
  • the information on the location where the stereo cameras 611 and 612 are embedded in the vehicle may be stored in advance.
  • the processor can calculate the distance from the vehicle to the object Q.
  • the object Q is illustrated as a tree for convenience of description, but the object Q may correspond to an end point of a lane in addition to the tree.
  • the stereo cameras 611 and 612 include a left camera 611 and a right camera 612, and an image generated by the left camera 611 is called a left image 621 and the right camera 612.
  • the image generated in the right image 622 is called.
  • the processor may calculate the distance from the vehicle to the object Q based on Equation 2 below.
  • Equation 2 Z denotes a distance between the stereo cameras 611 and 612 and the object Q, and B denotes a distance between the left camera 611 and the right camera 612.
  • f means the focal length of the lens of the stereo camera 611, 612
  • d means the parallax between the left image 621 and the right image 622.
  • f and B may be preset. Therefore, the processor may calculate the distance Z from the vehicle to the object Q based on the parallax d of the left image 621 and the right image 622.
  • the processor detects objects around a road on which the vehicle is driven by using the sensing unit.
  • the radar / rider module receives a signal from which the transmitted signal is reflected back from the object (hereinafter referred to as 'reflection signal'), and the processor analyzes the reflected signal to determine the position of the object and the type of the object.
  • the antenna of the radar / rider module may have a multi-array structure or a parabolic structure, but is not limited thereto.
  • the processor may analyze the reflected signal to determine whether the object is moving or stationary. In addition, if the object is moving, the processor may detect the movement of the object and predict the moving line of the object. For example, the radar / rider module emits radial signals with narrow angles (e.g., 2 ° or less), and the processor can reflect distances, reflectances, direction angles and Doppler of the reflected signals corresponding to the radiation signals. The type, position, moving speed and / or moving direction of the object may be estimated based on the frequency. For example, the processor may distinguish whether the object is a metallic object (eg, a car, a street lamp, etc.) or a nonmetallic object (eg, a plant or animal) based on the reflectance of the reflected signal.
  • a metallic object eg, a car, a street lamp, etc.
  • nonmetallic object eg, a plant or animal
  • the object refers to a person, an animal, a plant, or an object located near a road on which a vehicle is driving.
  • the object may include not only people, animals, plants, but also traffic lights, traffic signs, median, telephone poles or other vehicles.
  • step 240 the processor estimates the curvature of the road based on the position of the detected objects.
  • step 250 the processor estimates a lane included in the non-visible region in the front image based on the estimated curvature.
  • the processor may estimate the curvature of the roadway based on the location of the detected objects. Since the lane is drawn along the curvature of the road, the processor can estimate the lane in the non-visible area using the curvature of the road and the width of the road in the non-visible area.
  • the processor may determine the curvature of the road by analyzing the locations of the objects detected through the radar / rider module.
  • the lane is drawn along the curvature of the road, and the processor may estimate the lane based on the curvature of the road.
  • the processor may detect the object by analyzing a signal received by the radar / rider module even if the object is not identified in the image photographed by the camera. Accordingly, the processor may detect objects around the road regardless of the environment in which the vehicle is driven by using the camera and the radar / rider module, and estimate the curvature and the lane of the road based on the location of the objects.
  • FIG. 7 is a flowchart illustrating an example of estimating a lane included in a non-visible region by a processor, according to an exemplary embodiment.
  • the processor divides the detected objects into objects in the visible area and objects in the non-visible area.
  • the processor may detect objects located in front of the vehicle using the radar / rider module.
  • the processor may detect an object located in the visible region by using the front image captured by the camera. Accordingly, the processor may determine the objects detected through the front image among the objects detected by the radar / rider module as objects in the visible area, and determine other objects as objects in the non-viewable area.
  • FIG. 8 is a diagram illustrating an example in which a processor classifies objects.
  • the radar / rider module of the vehicle 850 transmits a signal toward the periphery of the vehicle 850 and receives a reflected signal corresponding to the transmitted signal.
  • the processor may analyze the reflected signal to detect objects 830 and 840 located around the road.
  • the processor may distinguish the visible area 810 from the non-visible area 820 by using the front image captured by the camera of the vehicle 850. For example, the processor determines a region in which the object can be detected in the front image as a visible region using a graph cut algorithm, a hand-crafted feature-based or deep learning-based object detection algorithm, and the rest of the region other than the visible region ( That is, the area where the object cannot be detected) can be determined as the non-visible area. Therefore, the processor may detect the objects 830 in the visible area 810 using the front image captured by the camera.
  • the processor analyzes the reflection signals received by the radar / rider module and detects the objects 830 and 840 and the objects detected by using the front image captured by the camera (ie, objects in the visible area 810).
  • 830 may be selected to select objects 840 within the non-visible area 820.
  • the processor may determine the objects having the same shape as the objects 830 in the visible area 810 by comparing the shapes of the objects separated from the image with the shapes of the objects obtained by analyzing the reflection signal. .
  • the processor may determine the remaining objects 840 except for the objects 830 in the visible area 810 as the objects 840 in the non-visible area 820.
  • the processor estimates a lane included in the non-visible region based on the position of each of the objects in the non-visible region.
  • Various objects may exist around the road.
  • streetlights, traffic signs, central dividers, roadside trees or traffic lights may exist around roads.
  • street lights, central separators, street trees, etc. are arranged in parallel along the curvature of the road.
  • the processor may estimate the curvature of the road in the non-visible area and the width of the road using the location information of the objects in the non-visible area such as a street lamp, a central separator, a roadside tree, and the like.
  • the lane is drawn along the curvature of the road, and the processor may estimate the lane in the non-visible area by using the curvature of the road in the non-visible area and the width of the road.
  • FIG. 9 is a diagram for describing an example of estimating a lane included in a non-visible region, by a processor, according to an exemplary embodiment.
  • the processor may calculate the coordinates using the direction angle and the distance to the object 920 and display the coordinates on the graph 910. In addition, the processor may estimate the curvature 940 of the road using coordinates indicating the position of the object 920.
  • the processor accumulates data corresponding to each of the reflection signals continuously received by the radar / rider module and performs curve fitting by using a piecewise linear algorithm or a spline algorithm, thereby performing curvature of a road. 940 can be estimated.
  • the processor may estimate the curvature 940 by dividing the reflection signals received from the left side of the road and the reflection signals received from the right side of the road.
  • the processor generates a guide image in which the lane is divided into a visible region and a non-visible region based on the detected lane and the estimated lane shape.
  • the guide image includes information for guiding driving of the vehicle.
  • the guide image includes information necessary for the vehicle to drive.
  • the guide image may include information about the state of the road on which the vehicle is driving (for example, lane curvature and inclination, etc.), and information about the surrounding environment (for example, weather, time, and surrounding objects) of the vehicle. It may include.
  • the output unit included in the vehicle driving assistance apparatus may display a guide image.
  • the processor sets a visible area in the image photographed by the camera and detects a lane in the visible area.
  • the processor estimates the curvature of the road included in the non-visible region by using the reflection signal received by the radar / rider module.
  • the processor fuses the lanes detected in the visible region with the curvature of the lane estimated in the non-visible region to generate a guide image representing the estimated lane in the non-visible region.
  • the processor controls the output unit to output the guide image through the output unit.
  • FIG. 10 is a flowchart illustrating an example in which a processor generates and outputs a guide image, according to an exemplary embodiment.
  • the processor detects first objects in the captured road image.
  • the processor may set a visible area in the image of the road and detect the first objects in the visible area.
  • An example of the processor setting the visible area in the image and detecting the first objects is as described above with reference to FIGS. 3 to 6.
  • the processor acquires a third object that is identical to the first objects among the second objects detected using the radar / rider module.
  • the processor may detect the second objects using the reflected signal received by the radar / rider module.
  • the processor may classify the second objects into objects in the visible area and objects in the non-visible area.
  • An example of the processor dividing the second objects into objects in the visible region and objects in the non-visible region is as described above with reference to FIGS. 7 to 9.
  • the processor may obtain a third object that is identical to the first object among the objects in the visible area.
  • the processor generates a guide image by using the distance from the vehicle to the third object.
  • the third object may also be detected by an image generated by the camera, and may also be detected by a reflected signal received through the radar / rider module. Therefore, the third object may be used to match the lane of the visible region detected by the image and the lane of the non-visible region estimated by the reflected signal.
  • an example of generating a guide image by using a distance from the vehicle to the third object will be described with reference to FIG. 11.
  • FIG. 11 is a diagram for describing an example of generating, by a processor, a guide image according to an exemplary embodiment.
  • FIG. 11 illustrates an object 1120 located in the visible area 1150.
  • the visible area 1150 is an area in which an object can be identified by an image captured by a camera and a reflection signal received by a radar / rider module. Accordingly, the object 1120 may also be identified by an image captured by the camera, and may also be identified by a reflected signal received by the radar / rider module.
  • the processor may generate a guide image by using the distance d from the vehicle 1110 to the object 1120. For example, the processor may identify the object 1120 and the lane 1151 in an image captured by the camera. In other words, the processor may detect the object 1120 and the lane 1151 included in the visible area 1150. In addition, the processor may calculate a distance d between the vehicle 1110 and the object 1120 using the image, and may also calculate a distance relationship between objects included in the visible area 1150.
  • the processor may identify the object 1120 using the reflected signal received by the radar / rider module and estimate the lane 1161. In other words, the processor may detect the object 1120 included in the visible area 1150 and estimate the lane 1161 of the non-visible area 1160. In addition, the processor may calculate the distance d between the vehicle 1110 and the object 1120 by using the reflected signal, and the distance between the objects included in the visible area 1150 and the non-visible area 1160. Relationships can also be calculated.
  • the processor may map the detected lane 1151 and the estimated lane 1161 using the distance d calculated using the image and the distance d calculated using the reflected signal.
  • the processor may also calculate a distance relationship between surrounding objects of the vehicle 1110, and may accurately map the lane 1161 to an area where the lane 1151 is not identified.
  • the processor is described as mapping the lane 1151 and the lane 1161 using the distance from the vehicle to the third object in the visible area, but is not limited thereto.
  • the processor may map lane 1151 and lane 1161 using the distance from the vehicle to the endpoint of the lane and the distance between each object and the vehicle around the vehicle.
  • the processor may calculate a distance from the vehicle to the end point of the lane (ie, the end point of the lane detectable in the front image) from the vehicle.
  • the processor may calculate the distance of the road and the distance between the vehicle and the objects around the vehicle by using the reflection signal received by the radar / rider module.
  • the processor selects an object with a distance equal to the distance from the vehicle to the end point of the lane.
  • the processor may map the lane 1151 and the lane 1161 based on the selected object.
  • the processor may generate the guide image by using information about the lane 1151 in the area from the vehicle to the location of the object and using information about the lane 1161 in an area farther than the location of the object. .
  • the output unit may output the guide image.
  • the output unit may include at least one of a head up display, a mirror display, and a central information display included in the vehicle.
  • the processor outputs a guide image will be described with reference to FIGS. 12A to 12C.
  • 12A to 12C are diagrams for describing examples of outputting an image according to an exemplary embodiment.
  • the processor may display the guide image 1210 on the vehicle.
  • the processor may display the guide image 1210 on the window of the vehicle through the head-up display device.
  • the processor may display the guide image 1210 in a side mirror of the vehicle through the mirror display device.
  • the processor may display the guide image 1210 on the screen of the central information display apparatus of the vehicle.
  • the guide image generated by the processor may be variously implemented.
  • the guide image may be an image in which the detected lane of the visible region and the estimated lane of the non-visible region are combined.
  • the guide image may be an alarm image corresponding to a risk determined based on the state of the vehicle and the surrounding environment of the vehicle.
  • the guide image may be an image representing the speed of the vehicle, the direction in which the vehicle is traveling, and an object located around the vehicle.
  • FIG. 13 is a diagram for describing an example of a guide image, according to an exemplary embodiment.
  • FIG. 13 illustrates an example of a guide image 1310 output to a window of a vehicle.
  • the guide image 1310 may include not only the lane 1321 of the visible region but also the lane 1322 of the non-visible region.
  • the lane 1321 and the lane 1322 may be displayed separately from each other.
  • lanes 1321 may be displayed identically to the lanes of actual roads, and lanes 1322 may be displayed in lines of different shapes, thicknesses, and / or colors to distinguish them from lanes 1321.
  • the road surface including the lane 1321 and the road surface including the lane 1322 may be displayed in different colors, or the road surface including the lane 1322 may be displayed to have a gradation effect. have.
  • the guide image 1310 may include driving information 1330 of the current vehicle.
  • the driving information 1330 may include information about a current speed of the vehicle and a speed limit of the road on which the vehicle currently runs.
  • the driving information 1330 may include navigation information indicating a direction in which the vehicle proceeds and a path to a destination.
  • the information 1321, 1322, 1330, 1341, and 1342 included in the guide image 1310 illustrated in FIG. 13 may be displayed as separate images.
  • FIG. 14 is a diagram for describing another example of a guide image, according to an exemplary embodiment.
  • the guide image 1410 illustrates an example of a guide image 1410 outputted in a window of a vehicle.
  • the guide image 1410 may include not only the lane 1421 of the visible area but also the lane 1422 of the non-visible area.
  • the lane 1421 and the lane 1422 may be displayed separately from each other as described above with reference to FIG. 13.
  • the guide image 1410 may include an alarm image 1430 corresponding to a risk determined based on the state of the vehicle and the surrounding environment of the vehicle. For example, assuming that the speed limit of the road on which the vehicle is driving is 70 km / h, an alarm image 1430 may be displayed informing the driver to reduce the speed when the driving speed of the vehicle exceeds 70 km / h.
  • an alarm sound may be output through the speaker of the vehicle when the driving speed of the vehicle exceeds the speed limit.
  • the processor may adjust the time interval during which the alarm sound is output according to the driving speed of the vehicle and output it.
  • 15 is a diagram for describing another example of a guide image, according to an exemplary embodiment.
  • FIG. 15 illustrates an example of a guide image 1510 output to a window of a vehicle.
  • the guide image 1510 may include not only the lane 1521 of the visible region but also the lane 1522 of the non-visible region.
  • the lane 1521 and the lane 1522 may be displayed separately from each other as described above with reference to FIG. 13.
  • the guide image 1510 may include information about the traffic sign 1530 disposed around the road. For example, the shape of the traffic sign and the content of the traffic sign may be mapped and stored in the memory of the vehicle.
  • the processor may read information displayed in the memory and display it.
  • 16 is a diagram for describing another example of a guide image, according to an exemplary embodiment.
  • FIG. 16 illustrates an example of the guide image 1610 output to the window of the vehicle.
  • the guide image 1610 may include not only the lane 1621 of the visible region but also the lane 1622 of the non-visible region.
  • the lanes 1621 and the lanes 1622 may be displayed separately from each other as described above with reference to FIG. 13.
  • the guide image 1610 may include an indicator 1630 indicating a direction in which the vehicle should travel. For example, when the vehicle needs to make a left turn in front of 100m, the indicator 1630 for notifying the driver may be displayed.
  • the processor displays information indicating that the driving direction has been changed in the window of the vehicle. can do.
  • the shape of the indicator 1630 may be displayed differently according to the degree of bending of the road ahead.
  • 17 is a diagram for describing another example of a guide image, according to an exemplary embodiment.
  • the guide image 1710 illustrates an example of a guide image 1710 outputted in a window of a vehicle.
  • the guide image 1710 may include not only the lane 1721 of the visible region but also the lane 1722 of the non-visible region.
  • the lane 1721 and the lane 1722 may be displayed separately from each other as described above with reference to FIG. 13.
  • the guide image 1710 may include information 1731 about another vehicle driving on the road.
  • a sensor included in the vehicle may detect a speed, a driving direction, and the like of another vehicle, and the processor may display information 1731 about the other vehicle in a window of the vehicle.
  • FIG. 18 is a diagram for describing another example of a guide image, according to an exemplary embodiment.
  • FIG. 18 illustrates an example of a guide image 1810 output to a window of a vehicle.
  • the guide image 1810 may include not only the lane 1821 of the visible region but also the lane 1822 of the non-visible region.
  • the lanes 1821 and the lanes 1822 may be displayed separately from each other as described above with reference to FIG. 13.
  • the guide image 1810 may include information 1830 about the surrounding environment of the vehicle.
  • the processor may acquire information about the wind direction, wind speed, and fine dust concentration around the vehicle through the sensor unit, and determine the current weather (eg, sunny, cloudy, foggy, precipitation, rainfall, etc.). Can be.
  • the processor may detect fine dust of PM2.5 ⁇ 10 (2.5Um ⁇ 10um) size through the environmental sensor.
  • the processor may determine whether the current state of the vehicle traveling through the sensor unit is daytime or nighttime.
  • the processor may determine whether the current weather is bad weather.
  • the processor may determine that the weather is bad weather.
  • the processor may display information 1830 about the surrounding environment of the vehicle in the window of the vehicle.
  • the processor may display information 1830 about the surrounding environment of the vehicle in a specific numerical value, or may display an indicator indicating various colors or dangerous levels.
  • the processor may acquire information on whether the road is uphill or downhill through a camera and a sensor included in the vehicle, and calculate the slope of the road.
  • the processor may display information about the road in a window of the vehicle.
  • the processor may change brightness, transparency, and the like of the image displayed on the window of the vehicle according to the surrounding environment of the vehicle.
  • 13 to 18 illustrate an example in which the guide images 1310, 1410, 1510, 1610, 1710, and 1810 are displayed as pop-up windows on the window of the vehicle, but the present invention is not limited thereto.
  • 19 and 20 are diagrams illustrating examples of a vehicle driving assistance apparatus including a processor, according to an exemplary embodiment.
  • the apparatus 1900 may include a processor 1810, a memory 1820, a sensing unit 1930, and an output unit 1940.
  • the device 1900 may be implemented by more components than the components shown in FIG. 19, and the device 1900 may be implemented by fewer components than the components shown in FIG. 19.
  • the apparatus 2000 may include a user input unit 2010 and a communication unit 2050 in addition to the processor 2030, the memory 2070, the sensing unit 2040, and the output unit 2020. And a driving unit 2060.
  • the user input unit 2010 refers to means for inputting data for the user to control the device 2000.
  • the user input unit 2010 includes a key pad, a dome switch, a touch pad (contact capacitive type, pressure resistive layer type, infrared sensing type, surface ultrasonic conduction type, and integral type). Tension measurement method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.
  • the user input unit 2010 may request a response message for a user's voice input and receive a user input for executing an operation related to the response message.
  • the output unit 2020 may output an audio signal, a video signal, or a vibration signal.
  • the output unit 2020 may include at least one of the display unit 2021, the sound output unit 2021, and the vibration motor 2023, but is not limited thereto.
  • the display unit 2021 displays and outputs information processed by the apparatus 2000.
  • the display 2021 may display a user interface for requesting an answer message to a user's voice input and executing an operation related to the answer message.
  • the display unit 2021 may display a 3D image representing the surroundings of the vehicle.
  • the sound output unit 2021 outputs audio data received from the communication unit 2050 or stored in the memory 2070. In addition, the sound output unit 2021 outputs a sound signal related to a function (for example, a call signal reception sound, a message reception sound, and a notification sound) performed in the device 2000.
  • a function for example, a call signal reception sound, a message reception sound, and a notification sound
  • the processor 2030 typically controls the overall operation of the device 2000.
  • the processor 2030 executes programs stored in the memory 2070, and thus, the processor 2030 may perform overall operations on the user input unit 2010, the output unit 2020, the sensing unit 2040, the communication unit 2050, the driver 2060, and the like. Can be controlled by
  • the processor 2030 may perform the functions described above with reference to FIGS. 1 to 18 by executing programs stored in the memory 2070.
  • the processor 2030 may be a micro controller unit (MCU).
  • the processor 2030 may perform a function of a cognitive processor.
  • the processor 2030 may detect a lane included in a visible area of the image by using an image of a road photographed by a camera.
  • the processor 2030 may detect objects around a road using a radar / rider module and estimate a lane included in a non-visible area in the image based on the position of the detected objects.
  • the processor 2030 may generate a guide image for guiding driving of the vehicle based on the detected lane and the estimated lane shape.
  • the processor 2030 may output a guide image.
  • the processor 2030 may distinguish a visible region and a non-visible region from an image of a road, and detect a lane included in the visible region.
  • the processor 2030 may calculate the length of the visible area (ie, the distance from the vehicle to the end point of the detected lane).
  • the processor 2030 may classify objects detected through the radar / rider module into objects in the visible area and objects in the non-viewable area. In addition, the processor 2030 may estimate the lane included in the non-visible region based on the position of each of the objects in the non-visible region.
  • the sensing unit 2040 may detect a state of the device 2000 and transmit the detected information to the processor 2030. In addition, the sensing unit 2040 may be used to acquire or generate context information indicating a surrounding situation (eg, presence or absence of an object) of a user or a vehicle.
  • a surrounding situation eg, presence or absence of an object
  • the sensing unit 2040 includes a GPS (Global Positioning System) module 2041, an IMU (Inertial Measurement Unit) 2042, a radar module 2043, a rider module 2044, an image sensor 2045, and an environmental sensor 2046. It may include, but is not limited to, at least one of a proximity sensor 2047, an RGB sensor 2048, and a motion sensor 2049. Since the functions of the components included in the sensing unit 2040 may be intuitively inferred from the names by those skilled in the art, a detailed description thereof will be omitted.
  • GPS Global Positioning System
  • IMU Inertial Measurement Unit
  • the GPS module 2041 may be used to estimate the geographic location of the vehicle.
  • the GPS module 2041 may include a transceiver configured to estimate the position of the vehicle on earth.
  • IMU 2042 may be used to detect changes in position and orientation of the vehicle based on inertial acceleration.
  • IMU 2042 may include accelerometers and gyroscopes.
  • the radar module 2043 may be used to detect objects in the surrounding environment of the vehicle using a wireless signal. In addition, the radar module 2043 may detect the speed and / or direction of the objects.
  • the rider module 2044 may be used to detect objects in the surrounding environment of a vehicle using a laser.
  • the rider module 2044 may include a laser light source and / or laser scanner configured to emit a laser, and a detector configured to detect reflection of the laser.
  • the rider module 2044 may be configured to operate in a coherent (eg, using hetirodyne detection) or noncoherent detection mode.
  • the image sensor 2045 may include a camera used to generate images representing the inside and the outside of the vehicle.
  • the camera may mean a mono camera, a stereo camera, an infrared camera, or a thermal imaging camera, but is not limited thereto.
  • the image sensor 2045 may include a plurality of cameras, and the plurality of cameras may be disposed at a plurality of positions inside and outside the vehicle.
  • the environmental sensor 2046 may be used to detect an external environment of a vehicle including weather.
  • the environmental sensor 2046 may include a temperature / humidity sensor 20461, an infrared sensor 20462, an air pressure sensor 20463, and a dust sensor 20464.
  • the proximity sensor 2047 may be used to detect an object approaching the vehicle.
  • the RGB sensor 2048 may be used to detect the color density of light around the vehicle.
  • the motion sensor 2049 may be used to sense the movement of the vehicle.
  • the motion sensor 2049 may include a geomagnetic sensor 20491, an acceleration sensor 20492, and a gyroscope sensor 20493.
  • the communication unit 2050 may include one or more components that allow the device 2000 to communicate with another device, an external device, or an external server of the vehicle.
  • the external device may be a computing device or a sensing device, but is not limited thereto.
  • the communication unit 2050 may include at least one of a short range communication unit 2051, a mobile communication unit 2052, and a broadcast receiving unit 2053, but is not limited thereto.
  • the short-range wireless communication unit 2051 includes a Bluetooth communication unit, a Bluetooth low energy (BLE) communication unit, a near field communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared ray ( IrDA (Infrared Data Association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit and the like, but may not be limited thereto.
  • the mobile communication unit 2052 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the broadcast receiving unit 2053 receives a broadcast signal and / or broadcast related information from the outside through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel. According to an implementation example, the apparatus 2000 may not include the broadcast receiver 2053.
  • the communication unit 2050 may transmit / receive necessary information for requesting a response message to a voice input of a user and performing an operation related to the response message with an external device and an external server.
  • the driver 2060 may include components used for driving (driving) a vehicle and operating devices in the vehicle.
  • the driving unit 2060 may include at least one of a power supply unit 2061, a driving unit 2062, a driving unit 2063, and a peripheral unit 2064, but is not limited thereto.
  • the power supply 2061 may be configured to provide power to some or all of the components of the vehicle.
  • power supply 2061 may include a rechargeable lithium ion or lead-acid battery.
  • Propulsion 2062 may include an engine / motor, an energy source, a transmission and a wheel / tire.
  • the engine / motor can be any combination between an internal combustion engine, an electric motor, a steam engine, and a stirling engine.
  • the engine / motor can be a gasoline engine and an electric motor.
  • the energy source may be a source of energy that powers the engine / motor in whole or in part. That is, the engine / motor can be configured to convert energy sources into mechanical energy. Examples of energy sources may be at least one of gasoline, diesel, propane, other compressed gas based fuels, ethanol, solar panels, batteries, and other electrical power sources. Alternatively, the energy source can be at least one of a fuel tank, a battery, a capacitor, and a flywheel. The energy source can provide energy to the systems and devices of the vehicle.
  • the transmission may be configured to transmit mechanical power from the engine / motor to the wheel / tire.
  • the transmission may include at least one of a gearbox, a clutch, a differential, and a drive shaft. If the transmission includes drive shafts, the drive shafts may include one or more axles configured to be coupled to the wheel / tire.
  • Wheels / tires can be configured in a variety of formats, including unicycles, bicycle / motorcycles, tricycles, or four-wheeled forms of cars / trucks.
  • Other wheel / tire types may be possible, such as including six or more wheels.
  • the wheel / tire may include at least one wheel fixedly attached to the transmission 213 and at least one tire coupled to a rim of the wheel that may be in contact with a driving surface.
  • the driving unit 2063 may include a brake unit, a steering unit, and a throttle.
  • the brake unit can be a combination of mechanisms configured to slow down the vehicle.
  • the brake unit may use friction to reduce the speed of the wheel / tire.
  • the steering unit can be a combination of mechanisms configured to adjust the direction of the vehicle.
  • the throttle can be a combination of mechanisms configured to control the speed of operation of the engine / motor, thereby controlling the speed of the vehicle.
  • the throttle may control the amount of mixed gas of fuel air flowing into the engine / motor by adjusting the throttle opening amount, and may control power and thrust by adjusting the throttle opening amount.
  • the peripheral unit 2064 may include navigation, lights, turn signals, wipers, internal lights, heaters, and air conditioners.
  • the navigation may be a system configured to determine a travel route for the vehicle.
  • the navigation may be configured to dynamically update the travel route while the vehicle is driving.
  • the navigation may use data collected by the GPS module 2041 to determine the route of travel for the vehicle.
  • the memory 2070 may store a program for processing and controlling the processor 2030, and may store data transmitted to or received from an external device or an external server.
  • the memory 2070 may store road / lane information and geometric information of a road included in a specific area or space.
  • the memory 2070 may store information about the object detected by the camera and / or the radar / rider module, and may update and store the information about the previously stored object.
  • information about the length of the visible region and the length of the non-visible region may be stored.
  • the memory 2070 may store information about the curvature of the road calculated by the processor 2030, and when the processor 2030 performs the curvature calculation for the same road a plurality of times, the previously stored curvature information may be updated. Can be stored.
  • the memory 2070 may store information on the length of the visible area that may be secured according to the driving environment (weather, day / night, etc.).
  • the memory 2070 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory, etc.), RAM Random Access Memory (RAM) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • Magnetic Memory Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • Programs stored in the memory 2070 may be classified into a plurality of modules according to their functions.
  • the memory 2070 may be one of the UI module 2071, the touch screen module 2082, and the notification module 2073. It may include at least one, but is not limited thereto.
  • the UI module 2071 may provide a specialized UI, GUI, or the like that is linked to the device 2000 for each application.
  • the touch screen module 2082 may detect a touch gesture on a user's touch screen and transmit information about the touch gesture to the processor 2030.
  • the touch screen module 2072 may recognize and analyze a touch code.
  • the touch screen module 2082 may be configured as separate hardware including a controller.
  • the notification module 2073 may generate a signal for notifying occurrence of an event of the device 2000. Examples of events occurring in the external device 2000 include call signal reception, message reception, key signal input, and schedule notification.
  • the notification module 2073 may output the notification signal in the form of a video signal through the display unit 2021, may output the notification signal in the form of an audio signal through the sound output unit 2022, or the vibration motor 2023. Through the notification signal may be output in the form of a vibration signal.
  • the processor may accurately output information on the lane in which the vehicle travels, regardless of the surrounding environment of the vehicle.
  • the processor may output various pieces of information necessary for the vehicle to travel. Therefore, the safety of the driving can be increased, and the driving satisfaction of the driver can be increased.
  • the above-described method can be written as a program that can be executed in a computer, it can be implemented in a general-purpose digital computer to operate the program using a computer-readable recording medium.
  • the structure of the data used in the above-described method can be recorded on the computer-readable recording medium through various means.
  • the computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, ROM, RAM, USB, floppy disk, hard disk, etc.), an optical reading medium (eg, CD-ROM, DVD, etc.). do.
  • the above-described method may be performed by executing instructions included in at least one of the programs maintained on the computer-readable recording medium.
  • the at least one computer may perform a function corresponding to the command.
  • the instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.
  • one example of a computer may be a processor, and one example of a recording medium may be a memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 측면에 따른 차량 주행 보조 장치는, 주행 중인 차량의 전방을 촬영하는 센싱부; 상기 촬영된 전방 영상을 이용하여 차선을 검출하고, 상기 센싱부를 이용하여 상기 차량이 주행 중인 도로 주변의 객체들을 검출하여 차선을 추정하는 프로세서; 및 상기 추정된 차선을 출력하는 출력부;를 포함한다. 또한, 상기 출력부를 통해 출력되는 가이드 영상은 가시 영역의 검출된 차선과 비 가시 영역의 추정된 차선이 결합된 영상이 될 수 있으며, 차량의 창에 헤드 업 디스플레이 장치를 통하여 디스플레이 되거나, 미러 디스플레이 장치를 통하여 차량의 사이드 미러에 가이드 영상을 디스플레이 할 수도 있다.

Description

차선 정보를 출력하는 방법 및 장치
차선 정보를 출력하는 방법 및 장치에 관한다.
차량(vehicle)에 적용되는 기술들이 발전함에 따라, 차량의 창(window) 등에 차량의 운행과 관련된 정보를 디스플레이하는 다양한 방법들이 개발되고 있다.
한편, 비가 많이 오거나 안개가 심하게 끼거나 야간인 경우 등 차량이 운행되는 지역의 날씨 또는 차량이 운행되는 시점에 따라, 운전자가 운전하는데 필요한 충분한 시계가 확보되지 않을 수도 있다. 이에 따라, 운전자에게 차량을 운전하는데 필요한 정보(예를 들어, 차량이 위치한 차선에 대한 정보 또는 전방 원거리에서의 차선 굴곡 방향)를 제공하는 기술에 대한 수요가 증가하고 있다.
차선 정보를 출력하는 방법 및 장치를 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
도 1은 일 실시예에 따른 차선 정보가 표시된 예를 나타내는 도면이다.
도 2는 일 실시예에 따른 가이드 영상을 출력하는 방법의 일 예를 나타내는 흐름도이다.
도 3은 일 실시예에 따른 프로세서가 차선을 검출하고, 차량으로부터 차선까지의 거리를 획득하는 일 예를 나타내는 흐름도이다.
도 4는 일 실시예에 따른 가시 영역 및 비 가시 영역의 일 예를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 카메라가 모노 카메라인 경우에 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 카메라가 스테레오 카메라인 경우에 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 프로세서가 비 가시 영역에 포함된 차선을 추정하는 일 예를 나타내는 흐름도이다.
도 8은 프로세서가 객체들을 구분하는 일 예를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 프로세서가 비 가시 영역에 포함된 차선을 추정하는 일 예를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 프로세서가 가이드 영상을 생성하고 출력하는 일 예를 나타내는 흐름도이다.
도 11은 일 실시예에 따른 프로세서가 가이드 영상을 생성하는 일 예를 설명하기 위한 도면이다.
도 12a 내지 도 12c는 일 실시예에 따른 가이드 영상이 출력되는 예들을 설명하기 위한 도면들이다.
도 13은 일 실시예에 따른 가이드 영상의 일 예를 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 가이드 영상의 다른 예를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 18은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 19 및 도 20은 일 실시예에 따른 프로세서를 포함하는 차량 주행 보조 장치의 예들을 나타내는 구성도들이다.
일 측면에 따른 차량 주행 보조 장치는, 주행 중인 차량의 전방을 촬영하는 센싱부; 상기 촬영된 전방 영상을 이용하여 차선을 검출하고, 상기 센싱부를 이용하여 상기 차량이 주행 중인 도로 주변의 객체들을 검출하여 차선을 추정하는 프로세서; 및 상기 추정된 차선을 출력하는 출력부;를 포함한다.
다른 측면에 따른 차선 정보를 출력하는 방법은, 차량에 포함된 센싱부를 이용하여, 차선을 검출하는 단계; 상기 센싱부를 이용하여, 상기 차량이 주행 중인 도로 주변의 객체들을 검출하여 차선을 추정하는 단계; 및 상기 검출된 차선을 표시 장치에 출력하는 단계;를 포함한다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 일 실시예에 따른 차선 정보가 표시된 일 예를 나타내는 도면이다.
도 1에는 주행 중인 차량(100)에 가이드 영상(110)이 출력된 일 예가 도시되어 있다. 여기에서, 가이드 영상(110)은 차량(100)의 주행을 가이드하기 위한 정보를 포함한다. 예를 들어, 가이드 영상(110)은 차량(100)이 주행 중인 도로의 상태(예를 들어, 차선의 굴곡, 기울기 등)에 대한 정보, 차량(100)의 주변 환경(예를 들어, 날씨, 시간, 주변 객체 등)에 대한 정보를 포함할 수 있다.
운전자가 악천후 또는 밤에 차량(100)을 운행하는 경우, 운전자의 시야가 충분히 확보되지 않을 수도 있다. 예를 들어, 운전자가 흐린 날씨에 굽어 있는 도로를 따라 차량(100)을 운행하는 경우, 운전자는 도로가 어느 부분부터 굽어져 있는지 또는 어느 방향으로 얼마나 굽어져 있는지에 대한 정보를 충분히 확보하지 못할 수도 있다. 이에 따라, 사고의 위험이 높아질 수도 있고, 운전자의 피로도가 높아질 수도 있다.
차량(100)은 가이드 영상(110)을 출력함에 따라, 운전자는 주행 환경이 좋지 않은 경우에서도 안전하게 차량(100)을 운행할 수 있다. 또한, 가이드 영상(110)에 운전자가 운행하는데 필요한 다양한 정보가 포함됨으로써, 운전자의 주행 만족도가 높아질 수 있다.
차량 주행 보조 장치는 센싱부를 이용하여 가이드 영상(110)을 생성할 수 있다. 센싱부는 이미지 센서, 라이다 모듈, 레이더 모듈 등을 포함할 수 있다. 이미지 센서는 카메라를 포함할 수 있고, 카메라는 모노(mono) 카메라, 스테레오(stereo) 카메라, 적외선 카메라, 초음파 카메라 또는 열화상 카메라를 의미할 수 있으나, 이에 한정되지 않는다. 예를 들어, 차량 주행 보조 장치에 포함된 프로세서는 센싱부를 제어하고, 데이터 처리를 수행함으로써 가이드 영상(110)을 생성할 수 있다. 또한, 주행 보조 장치는 프로세서가 동작하는데 필요한 데이터 및 가이드 영상을 저장하는 메모리 및 외부 장치와 통신할 수 있는 통신부를 포함할 수 있다.
가이드 영상(110)은 차량(100) 주변의 자동차, 보행자, Cyclist, 노면표시, 표지판, 차선 등의 위치와 종류, 자기 차량의 속도 등의 주행정보, 날씨, 온도 등의 주변 환경 정보 등을 포함할 수 있다. 가이드 영상(110)은 차량(100)의 출력부를 통하여 영상으로 출력될 수 있다. 또한, 가이드 영상(110)에 포함된 정보는 차량(100)의 출력부를 통하여 소리로 출력될 수도 있다. 예를 들어, 프로세서는 가이드 영상(110)을 차량(100)에 포함된 헤드 업 디스플레이(head-up display), CID (Central Information Display), 클러스터(Cluster) 중 적어도 하나에 출력할 수 있다. 또한, 프로세서는 통신부를 통해 연결된 외부 장치에 가이드 영상(110) 또는 컨텐츠(동영상, 음악, 텍스트 등)을 출력할 수 있다.
이하, 도 2 내지 도 19를 참조하여, 차량(100)에 포함된 프로세서가 가이드 영상(110)을 생성하고, 가이드 영상(110)을 출력하는 예들을 설명한다.
도 2는 일 실시예에 따른 가이드 영상을 생성하는 방법의 일 예를 나타내는 흐름도이다.
210 단계에서, 프로세서는 차량에 포함된 센싱부를 이용하여 차량의 전방을 촬영한다. 예를 들어, 센싱부의 이미지 센서는 카메라를 포함할 수 있고, 카메라는 모노(mono) 카메라, 스테레오(stereo) 카메라, 적외선 카메라, 초음파 카메라 또는 열화상 카메라를 의미할 수 있으나, 이에 한정되지 않는다.
220 단계에서, 프로세서는 촬영된 전방 영상을 이용하여 전방 영상 내의 가시 영역에 포함된 차선을 검출한다. 예를 들어, 프로세서는 전방 영상에 포함된 차선을 분리(segmentation)함으로써, 차량이 주행 중인 도로의 차선을 검출할 수 있다. 그리고, 프로세서는 차선의 검출 결과에 기초하여 전방 영상에서 가시 영역과 비 가시 영역을 구분할 수 있다. 또한, 프로세서는 전방 영상의 가시 영역에서 차선의 끝점(endpoint)을 식별하고, 차량으로부터 차선의 끝점까지의 거리를 획득할 수 있다. 이하, 도 3 내지 도 5를 참조하여, 프로세서가 차선을 검출하고, 차량으로부터 차선의 끝점까지의 거리를 획득하는 예를 설명한다,
도 3은 일 실시예에 따른 프로세서가 차선을 검출하고, 차량으로부터 차선까지의 거리를 획득하는 일 예를 나타내는 흐름도이다.
310 단계에서, 프로세서는 전방 영상에서 차선을 검출한다. 여기에서, 전방 영상은 차량의 카메라를 통하여 촬영된 영상으로서, 차량이 주행 중인 도로를 촬영한 영상을 의미한다.
예를 들어, 프로세서는 전방 영상의 그래프를 구성하고, 구성된 그래프에 그래프 컷 알고리즘(graph cut algorithm)을 적용함으로써, 전방 영상에서 차선을 분리(segmentation)할 수 있다. 여기에서, 그래프 컷 알고리즘은 역치 값을 이용하여 그래프를 구분함(cut)으로써, 영상에 포함된 픽셀들을 객체(예를 들어, 차선)에 해당되는 픽셀들과 객체에 해당되지 않은 픽셀들로 분리하는 알고리즘을 의미한다. 다만, 프로세서가 그래프 컷 알고리즘을 이용하여 객체를 분리하는 것은 일 예에 불과하고, 프로세서는 다양한 영상 분리 방법들을 이용하여 전방 영상에서 차선을 분리할 수 있다.
또한, 프로세서는 Hand-crafted feature 기반 또는 딥러닝 기반 객체 검출 알고리즘을 이용하여 전방 영상에서 차선을 검출할 수 있다.
320 단계에서, 프로세서는 차선의 검출 결과에 기초하여 전방 영상에서 가시 영역과 비 가시 영역을 구분한다. 여기에서, 가시 영역은 영상에 나타난 객체가 무엇인지 식별될 수 있는 영역을 의미하고, 비 가시 영역은 영상에 나타난 객체가 무엇인지 식별되기 어려운 영역을 의미한다. 객체는 차량이 주행 중인 도로의 주변에 위치하는 사람, 동물, 식물 또는 사물을 의미한다. 예를 들어, 객체는 사람, 동물, 식물뿐 만 아니라 신호등, 교통 표지판, 중앙 분리대, 방음벽, 가로등, 전신주 또는 다른 차량 등이 포함될 수 있다.
예를 들어, 프로세서는 전방 영상에서 차선이 검출된 영역을 가시 영역으로 결정하고, 가시 영역을 제외한 나머지 영역을 비 가시 영역으로 결정할 수 있다.
이하, 도 4를 참조하여, 가시 영역과 비 가시 영역에 대하여 설명한다.
도 4는 일 실시예에 따른 가시 영역 및 비 가시 영역의 일 예를 설명하기 위한 도면이다.
도 4에는 카메라를 이용하여 촬영된 전방 영상(410)의 일 예가 도시되어 있다. 전방 영상(410)에는 차량이 주행 중인 도로(411) 및 도로 주변의 객체들(412, 413)이 촬영되어 있다. 또한, 전방 영상(410)은 안개가 끼는 등의 사정으로 인하여 운전자의 전방 시야가 확보되기 어려운 상황에 촬영된 것으로 가정한다.
전방 영상(410)을 참조하면, 도로(411)는 일부만 식별이 가능하다. 다시 말해, 영상(410)이 촬영된 상황(예를 들어, 안개가 낀 날씨)에 의하여, 영상(410) 내에서 차량과 인접한 영역(420)의 도로(411)는 식별 가능하나, 차량과 멀리 떨어진 영역(430)의 도로(411)는 식별이 어렵다. 따라서, 영역(430)의 도로(411)가 어느 방향으로 진행할지 또는 얼만큼의 곡률로 회전할지 등과 같은 정보는 전방 영상(410)에 기초하여 판독될 수 없다.
이하에서는, 전방 영상(410)에서 도로(411)가 식별 가능한 영역을 가시 영역(420), 전방 영상(410)에서 도로(411)가 식별되기 어려운 영역을 비 가시 영역(430)이라고 한다. 프로세서는 전방 영상(410)에서 도로(411)를 검출할 수 있는 영역을 가시 영역(420), 도로(411)를 검출할 수 없는 영역을 비 가시 영역(430)으로 결정할 수 있다. 예를 들어, 프로세서는 그래프 컷 알고리즘, Hand-crafted feature 기반 또는 딥러닝 기반 객체 검출 알고리즘 등을 이용하여 전방 영상(410)에서 도로(411)를 검출할 수 있고, 전방 영상(410)에서 도로(411)의 검출이 어려운 영역을 비 가시 영역으로 결정할 수 있다.
도 4에서는 가시 영역(420)과 비 가시 영역(430)을 구분하는 기준이 도로(411)인 것으로 설명하였다. 그러나, 전방 영상(410)에 나타난 다른 객체들(412, 413) 중 적어도 하나가 식별 가능한지 여부에 따라 전방 영상(410)이 가시 영역(420)과 비 가시 영역(430)이 구분될 수도 있다.
다시 도 3을 참조하면, 330 단계에서, 프로세서는 차량으로부터 검출된 차선의 끝점까지의 거리를 연산한다. 다시 말해, 프로세서는 차량으로부터 가시 영역 내에 포함된 차선의 끝점까지의 거리를 연산할 수 있다.
차량의 전방 영역이 편평하다고 가정하면, 프로세서는 전방 영상의 세로 방향 해상도에 기초하여 차량으로부터 소정의 지점까지의 거리를 연산할 수 있다. 예를 들어, 차선은 도로의 표면에 표시되고, 도로의 표면을 기준으로 차선의 높이는 없다고 볼 수 있다. 따라서, 전방 영상에서 차선의 끝점이 식별되면, 프로세서는 전방 영상을 촬영한 카메라로부터 식별된 끝점까지의 거리를 연산할 수 있다. 한편, 높이가 있는 객체의 경우, 프로세서는 객체의 바닥면을 기준으로 하여 카메라로부터 객체까지의 거리를 연산할 수 있다. 일반적으로, 영상의 하단에 위치하는 객체보다 상단에 위치하는 객체가 카메라로부터 더 먼 거리에 위치한다. 영상의 한 픽셀에 대응하는 실제 거리에 대한 정보는 기 저장되어 있을 수 있다. 또한, 카메라가 차량에 임베디드(embedded)된 위치에 대한 정보도 기 저장되어 있을 수 있다. 따라서, 프로세서는 영상에서 차선의 끝점이 어디에 위치하는지에 기초하여 카메라로부터 차선의 끝점까지의 거리를 연산할 수 있다. 그리고, 프로세서는 카메라로부터 차선의 끝점까지의 거리에 기초하여 차량으로부터 차선의 끝점까지의 거리도 연산할 수 있다.
한편, 차량에 포함된 카메라의 종류에 따라 차량으로부터 차선의 끝점까지의 거리를 연산하는 방법이 달라질 수도 있다. 일 예로서, 카메라가 모노 카메라인 경우, 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 예는 도 5를 참조하여 후술한다. 다른 예로서, 카메라가 스테레오 카메라인 경우, 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 예는 도 6을 참조하여 후술한다. 또 다른 예로서, 카메라가 적외선 카메라 또는 열화상 카메라인 경우, 프로세서는 카메라에서 발신된 적외선 신호의 TOA(time of arrival)을 이용하여 차량으로부터 차선의 끝점까지의 거리를 연산할 수 있다. 다시 말해, 프로세서는 적외선 신호가 차선에서 반사되어 카메라로 돌아온 시간 및 그 적외선 신호의 속도를 이용하여 차량으로부터 차선의 끝점까지의 거리를 연산할 수 있다.
도 5는 일 실시예에 따른 카메라가 모노 카메라인 경우에 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.
차량(510)에 모노 카메라(P)가 포함된 경우, 프로세서는 모노 카메라(P)로부터 객체(520, 530)까지의 거리를 연산할 수 있다. 이때, 모노 카메라(P)가 차량(510)에 임베디드(embedded)된 위치에 대한 정보는 기 저장되어 있을 수 있다. 따라서, 프로세서는 차량(510)으로부터 객체(520, 530)까지의 거리를 연산할 수 있다. 도 5에서는 설명의 편의를 위하여 객체(520, 530)가 나무 인 것으로 도시하였으나, 객체(520, 530)는 나무 이외에 차선의 끝점에 해당될 수 있다.
예를 들어, 프로세서는 아래의 수학식 1에 기초하여 차량(510)으로부터 객체(520, 530)까지의 거리를 연산할 수 있다.
<수학식 1>
Figure PCTKR2018000902-appb-I000001
수학식 1에서 y는 영상(I) 내에서의 높이를 의미한다. 또한, f는 모노 카메라(P)의 렌즈의 초점 거리를 의미하고, H는 지면으로부터 모노 카메라(P)까지의 높이를 의미한다. 그리고, Z는 모노 카메라(P)로부터 객체(520, 530)까지의 거리를 의미한다.
수학식 1의 변수들 중에서 f 및 H는 미리 설정되어 있을 수 있다. 따라서, 프로세서는 영상(I)내에서 객체(520, 530)의 아래면(바닥과 만나는 부분)의 위치(y)를 찾고, 수학식 1에 의해 위치(y)로부터 객체(520, 530)까지의 거리(Z)를 연산할 수 있다.
도 6은 일 실시예에 따른 카메라가 스테레오 카메라인 경우에 프로세서가 차량으로부터 차선의 끝점까지의 거리를 연산하는 일 예를 설명하기 위한 도면이다.
차량에 스테레오 카메라(611, 612)가 포함된 경우, 프로세서는 스테레오 카메라(611, 612)로부터 객체(Q)까지의 거리를 연산할 수 있다. 이때, 스테레오 카메라(611, 612)가 차량에 임베디드(embedded)된 위치에 대한 정보는 기 저장되어 있을 수 있다. 따라서, 프로세서는 차량으로부터 객체(Q)까지의 거리를 연산할 수 있다. 도 6에서는 설명의 편의를 위하여 객체(Q)가 나무 인 것으로 도시하였으나, 객체(Q)는 나무 이외에 차선의 끝점에 해당될 수 있다.
도 6에서 스테레오 카메라(611, 612)는 왼쪽 카메라(611) 및 오른쪽 카메라(612)를 포함하고, 왼쪽 카메라(611)에 의하여 생성된 영상을 좌영상(621)이라고 하고, 오른쪽 카메라(612)에서 생성된 영상을 우영상(622)이라고 한다.
예를 들어, 프로세서는 아래의 수학식 2에 기초하여 차량으로부터 객체(Q)까지의 거리를 연산할 수 있다.
<수학식 2>
Figure PCTKR2018000902-appb-I000002
수학식 2에서 Z는 스테레오 카메라(611, 612)와 객체(Q) 사이의 거리를 의미하고, B는 왼쪽 카메라(611)와 오른쪽 카메라(612) 사이의 거리를 의미한다. 또한, f는 스테레오 카메라(611, 612)의 렌즈의 초점 거리를 의미하고, d는 좌영상(621)과 우영상(622)의 시차를 의미한다.
수학식 2의 변수들 중에서 f 및 B는 미리 설정되어 있을 수 있다. 따라서, 프로세서는 좌영상(621)과 우영상(622)의 시차(d)에 기초하여 차량으로부터 객체(Q)까지의 거리(Z)를 연산할 수 있다.
다시 도 2를 참조하면, 230 단계에서, 프로세서는 센싱부를 이용하여 차량이 주행 중인 도로 주변의 객체들을 검출한다. 예를 들어, 레이더/라이더 모듈은 발신된 신호가 객체에서 반사되어 돌아온 신호(이하, '반사 신호'라고 함)를 수신하고, 프로세서는 반사 신호를 분석하여 객체의 위치 및 객체의 종류를 판별할 수 있다. 예를 들어, 레이더/라이더 모듈의 안테나는 멀티 어레이(multi-array) 구조 또는 파라볼릭(parabolic) 구조를 갖을 수 있으나, 이에 한정되지 않는다.
프로세서는 반사 신호를 분석하여 객체가 움직이고 있는지 또는 정지하고 있는지를 판단할 수 있다. 또한, 만약 객체가 움직이고 있는 경우에는, 프로세서는 객체의 움직임을 검출하여 객체의 동선을 예측할 수도 있다. 예를 들어, 레이더/라이더 모듈은 좁은 사잇각(예를 들어, 2°이하)을 갖는 방사(radial) 신호들을 발신하고, 프로세서는 방사 신호들에 대응하는 반사 신호의 거리, 반사율, 방향각 및 도플러 주파수에 기초하여 객체의 종류, 위치, 이동 속도 및/또는 이동 방향을 추정할 수 있다. 예를 들어, 프로세서는 반사 신호의 반사율을 기반으로 하여 객체가 금속성 물체(예를 들어, 자동차, 가로등 등) 인지 비금속성 물체(예를 들어, 동식물) 인지를 구분할 수 있다.
여기에서, 객체는 차량이 주행 중인 도로의 주변에 위치하는 사람, 동물, 식물 또는 사물을 의미한다. 예를 들어, 객체는 사람, 동물, 식물뿐 만 아니라 신호등, 교통 표지판, 중앙 분리대, 전신주 또는 다른 차량 등이 포함될 수 있다.
240 단계에서, 프로세서는 검출된 객체들의 위치에 기초하여 도로의 굴곡을 추정한다. 그리고, 250 단계에서, 프로세서는 추정된 굴곡에 기초하여 전방 영상 내의 비 가시 영역에 포함된 차선을 추정한다.
예를 들어, 프로세서는 검출된 객체들의 위치에 기초하여 도로의 굴곡을 추정할 수 있다. 차선은 도로의 굴곡을 따라 그려지므로, 프로세서는 비 가시 영역 내의 도로의 굴곡 및 도로의 넓이를 이용하여 비 가시 영역 내의 차선을 추정할 수 있다.
일반적으로, 도로의 주변에는 가로수, 신호등 또는 교통 표지판 등이 위치할 수 있다. 따라서, 프로세서는 레이더/라이더 모듈을 통하여 검출된 객체들의 위치를 분석함으로써 도로의 굴곡을 파악할 수 있다. 또한, 차선은 도로의 굴곡을 따라 그려지는바, 프로세서는 도로의 굴곡에 기초하여 차선을 추정할 수 있다.
레이더/라이더 모듈의 경우, 객체가 가시 영역에 존재하는지 또는 비 가시 영역에 존재하는지 여부를 불문하고, 객체로부터 반사되는 신호를 수신할 수 있다. 따라서, 프로세서는 카메라에 의하여 촬영된 영상에서 식별하지 못한 객체라고 하더라도, 레이더/라이더 모듈에 의하여 수신된 신호를 분석하여 객체를 검출할 수 있다. 따라서, 프로세서는 카메라 및 레이더/라이더 모듈을 이용하여, 차량이 주행 중인 환경에 구애 받지 않고 도로 주변의 객체들을 검출할 수 있고, 객체들의 위치에 기초하여 도로의 굴곡 및 차선을 추정할 수 있다.
이하, 도 7 내지 도 9를 참조하여, 프로세서가 도로의 굴곡 및 비 가시 영역에 포함된 차선을 추정하는 예를 설명한다.
도 7은 일 실시예에 따른 프로세서가 비 가시 영역에 포함된 차선을 추정하는 일 예를 나타내는 흐름도이다.
710 단계에서, 프로세서는 검출된 객체들을 가시 영역 내의 객체들 및 비 가시 영역 내의 객체들로 구분한다. 프로세서는 레이더/라이더 모듈을 이용하여 차량의 전방에 위치한 객체들을 검출할 수 있다. 또한, 프로세서는 카메라에 의하여 촬영된 전방 영상을 이용하여 가시 영역에 위치한 객체를 검출할 수 있다. 따라서, 프로세서는 레이더/라이더 모듈을 이용하여 검출된 객체들 중에서 전방 영상을 통하여 검출된 객체들을 가시 영역 내의 객체들로 결정하고, 그 외의 객체들을 비 가시 영역 내의 객체들로 결정할 수 있다.
이하, 도 8을 참조하여, 프로세서가 객체들을 구분하는 예를 설명한다.
도 8은 프로세서가 객체들을 구분하는 일 예를 설명하기 위한 도면이다.
도 8에는 차량(850)이 주행하는 도로의 외곽을 따라 객체들(830, 840)이 위치한 예가 도시되어 있다. 차량(850)의 레이더/라이더 모듈은 차량(850)의 주변을 향하여 신호를 발신하고, 발신된 신호에 대응하는 반사 신호를 수신한다. 프로세서는 반사 신호를 분석하여 도로 주변에 위치하는 객체들(830, 840)을 검출할 수 있다.
한편, 프로세서는 차량(850)의 카메라에 의하여 촬영된 전방 영상을 이용하여 가시 영역(810)과 비 가시 영역(820)을 구분할 수 있다. 예를 들어, 프로세서는 그래프 컷 알고리즘, Hand-crafted feature 기반 또는 딥러닝 기반 객체 검출 알고리즘 등을 이용하여 전방 영상에서 객체를 검출할 수 있는 영역을 가시 영역으로 결정하고, 가시 영역을 제외한 나머지 영역(즉, 객체를 검출할 수 없는 영역)을 비 가시 영역으로 결정할 수 있다. 따라서, 프로세서는 카메라에 의하여 촬영된 전방 영상을 이용하여 가시 영역(810) 내의 객체들(830)을 검출할 수 있다.
프로세서는 레이더/라이더 모듈에 의하여 수신된 반사 신호를 분석하여 검출한 객체들(830, 840)과 카메라에 의하여 촬영된 전방 영상을 이용하여 검출한 객체들 (즉, 가시 영역(810) 내의 객체들(830))을 비교하여, 비 가시 영역(820) 내의 객체들(840)을 선택할 수 있다. 예를 들어, 프로세서는 영상에서 분리한 객체들의 형상과 반사 신호의 분석을 통하여 획득한 객체들의 형상을 비교하여, 동일한 형상을 갖는 객체들을 가시 영역(810) 내의 객체들(830)로 결정할 수 있다. 그리고, 프로세서는 객체들(830, 840)에서 가시 영역(810) 내의 객체들(830)을 제외한 나머지 객체들(840)을 비 가시 영역(820) 내의 객체들(840)로 결정할 수 있다.
다시 도 7을 참조하면, 720 단계에서, 프로세서는 비 가시 영역 내의 객체들 각각의 위치에 기초하여 비 가시 영역에 포함된 차선을 추정한다.
도로 주변에는 다양한 객체들이 존재할 수 있다. 예를 들어, 도로 주변에는 가로등, 교통 표지판, 중앙 분리대, 가로수 또는 신호등 등이 존재할 수 있다. 일반적으로, 가로등, 중앙 분리대, 가로수 등은 도로의 굴곡을 따라 평행하게 배치된다. 따라서, 프로세서는 가로등, 중앙 분리대, 가로수 등과 같은 비 가시 영역 내의 객체들의 위치 정보를 이용하여 비 가시 영역 내의 도로의 굴곡 및 도로의 넓이를 추정할 수 있다. 또한, 차선은 도로의 굴곡을 따라 그려지는바, 프로세서는 비 가시 영역 내의 도로의 굴곡 및 도로의 넓이를 이용하여 비 가시 영역 내의 차선을 추정할 수 있다.
이하, 도 9를 참조하여 프로세서가 비 가시 영역에 포함된 차선을 추정하는 예를 설명한다.
도 9는 일 실시예에 따른 프로세서가 비 가시 영역에 포함된 차선을 추정하는 일 예를 설명하기 위한 도면이다.
도 9에는 객체(920)의 위치를 나타내는 그래프(910)의 일 예가 도시되어 있다. 프로세서는 객체(920)에 대한 방향각 및 거리를 이용하여 좌표를 계산하여 그래프(910)에 표시할 수 있다. 또한, 프로세서는 객체(920)의 위치를 나타내는 좌표를 이용하여 도로의 굴곡(940)을 추정할 수 있다.
예를 들어, 프로세서는 레이더/라이더 모듈이 연속적으로 수신하는 반사 신호들 각각에 대응한 데이터를 누적하여 Piecewise linear 알고리즘 또는 spline 알고리즘 등을 이용하여 곡선 맞춤(curve fitting)을 수행함으로써, 도로의 굴곡(940)을 추정할 수 있다. 또한, 프로세서는 도로의 왼쪽으로부터 수신된 반사 신호들과 도로의 오른쪽으로부터 수신된 반사 신호들을 구분함으로써, 도로의 왼쪽과 오른쪽을 구분하여 굴곡(940)을 추정할 수 있다.
다시 도 2를 참조하면, 260 단계에서, 프로세서는 검출된 차선 및 추정된 차선의 형태에 기초하여 차선이 가시 영역과 비 가시 영역으로 구분된 가이드 영상을 생성한다. 여기에서, 가이드 영상은 차량의 주행을 가이드하기 위한 정보를 포함한다. 다시 말해, 가이드 영상은 차량이 주행하는데 필요한 정보를 포함한다. 예를 들어, 가이드 영상은 차량이 주행 중인 도로의 상태(예를 들어, 차선의 굴곡, 기울기 등)에 대한 정보, 차량의 주변 환경(예를 들어, 날씨, 시간, 주변 객체 등)에 대한 정보를 포함할 수 있다.
또한, 차량 주행 보조 장치에 포함된 출력부는 가이드 영상을 디스플레이할 수 있다. 구체적으로, 프로세서는 카메라에 의하여 촬영된 영상에서 가시 영역을 설정하고, 가시 영역에서 차선을 검출한다. 그리고, 프로세서는 레이더/라이더 모듈에 의하여 수신된 반사 신호를 이용하여 비 가시 영역에 포함된 도로의 굴곡을 추정한다. 그리고, 프로세서는 가시 영역에서 검출된 차선과 비 가시 영역에서 추정된 차선의 굴곡을 융합하여, 비 가시 영역에 대하여 추정된 차선을 나타내는 가이드 영상을 생성한다. 그리고, 프로세서는 출력부를 통하여 가이드 영상이 출력되도록 출력부를 제어한다.
이하, 도 10 내지 도 11을 참조하여 프로세서가 가이드 영상을 생성하는 예를 설명한다.
도 10은 일 실시예에 따른 프로세서가 가이드 영상을 생성하고 출력하는 일 예를 나타내는 흐름도이다.
1010 단계에서, 프로세서는 촬영된 도로의 영상에서 제 1 객체들을 검출한다.
예를 들어, 프로세서는 도로의 영상에서 가시 영역을 설정하고, 가시 영역 내의 제 1 객체들을 검출할 수 있다. 프로세서가 영상에서 가시 영역을 설정하고, 제 1 객체들을 검출하는 일 예는 도 3 내지 도 6을 참조하여 상술한 바와 같다.
1020 단계에서, 프로세서는 레이더/라이더 모듈을 이용하여 검출된 제 2 객체들 중에서 제 1 객체들과 동일한 제 3 객체를 획득한다.
예를 들어, 프로세서는 레이더/라이더 모듈에 의하여 수신된 반사 신호를 이용하여 제 2 객체들을 검출할 수 있다. 그리고, 프로세서는 제 2 객체들을 가시 영역 내의 객체들 및 비 가시 영역 내의 객체들로 구분할 수 있다. 프로세서가 제 2 객체들을 가시 영역 내의 객체들 및 비 가시 영역 내의 객체들로 구분하는 일 예는 도 7 내지 도 9를 참조하여 상술한 바와 같다. 그리고, 프로세서는 가시 영역 내의 객체들 중에서 제 1 객체와 동일한 제 3 객체를 획득할 수 있다.
1030 단계에서, 프로세서는 차량으로부터 제 3 객체까지의 거리를 이용하여 가이드 영상을 생성한다.
제 3 객체는 카메라를 통하여 생성된 영상에 의해서도 검출될 수 있고, 레이더/라이더 모듈을 통하여 수신된 반사 신호에 의해서도 검출될 수 있다. 따라서, 제 3 객체는 영상에 의하여 검출된 가시 영역의 차선과 반사 신호에 의하여 추정된 비 가시 영역의 차선을 정합하는데 이용될 수 있다. 이하, 도 11을 참조하여, 프로세서가 차량으로부터 제 3 객체까지의 거리를 이용하여 가이드 영상을 생성하는 일 예를 설명한다.
도 11은 일 실시예에 따른 프로세서가 가이드 영상을 생성하는 일 예를 설명하기 위한 도면이다.
도 11에는 차량(1110)과 가시 영역(1150)을 포함하는 영역(1130) 및 가시 영역(1150)과 비 가시 영역(1160)을 포함하는 영역(1140)이 도시되어 있다. 또한, 도 11에는 가시 영역(1150)에 위치한 객체(1120)가 도시되어 있다. 가시 영역(1150)은 카메라가 촬영한 영상 및 레이더/라이더 모듈이 수신한 반사 신호에 의하여 객체가 식별될 수 있는 영역이다. 따라서, 객체(1120)는 카메라가 촬영한 영상에 의해서도 식별될 수 있으며, 레이더/라이더 모듈이 수신한 반사 신호에 의해서도 식별될 수 있다.
프로세서는 차량(1110)으로부터 객체(1120)까지의 거리(d)를 이용하여 가이드 영상을 생성할 수 있다. 예를 들어, 프로세서는 카메라가 촬영한 영상에서 객체(1120) 및 차선(1151)을 식별할 수 있다. 다시 말해, 프로세서는 가시 영역(1150)에 포함된 객체(1120) 및 차선(1151)를 검출할 수 있다. 그리고, 프로세서는 영상을 이용하여 차량(1110)과 객체(1120) 사이의 거리(d)를 연산할 수 있으며, 가시 영역(1150) 내에 포함된 객체들 사이의 거리 관계도 연산할 수 있다.
또한, 프로세서는 레이더/라이더 모듈이 수신한 반사 신호를 이용하여 객체(1120)를 식별할 수 있고, 차선(1161)을 추정할 수 있다. 다시 말해, 프로세서는 가시 영역(1150)에 포함된 객체(1120)를 검출할 수 있고, 비 가시 영역(1160)의 차선(1161)을 추정할 수 있다. 그리고, 프로세서는 반사 신호를 이용하여 차량(1110)과 객체(1120) 사이의 거리(d)를 연산할 수 있으며, 가시 영역(1150) 및 비 가시 영역(1160) 내에 포함된 객체들 사이의 거리 관계도 연산할 수 있다.
따라서, 프로세서는 영상을 이용하여 연산한 거리(d)와 반사 신호를 이용하여 연산한 거리(d)를 이용하여 검출된 차선(1151)과 추정된 차선(1161)을 매핑할 수 있다. 프로세서는 차량(1110)의 주변 객체들 사이의 거리 관계도 연산할 수 있는바, 차선(1151)이 식별되지 않는 영역에 차선(1161)을 정확하게 매핑할 수 있다.
도 10 내지 도 11을 참조하여 상술한 바에 따르면, 프로세서는 차량으로부터 가시 영역 내의 제 3 객체까지의 거리를 이용하여 차선(1151)과 차선(1161)을 매핑하는 것으로 기재되었으나, 이에 한정되지 않는다. 예를 들어, 프로세서는 차량으로부터 차선의 끝점까지의 거리 및 차량 주변의 각각의 객체들과 차량 사이의 거리를 이용하여 차선(1151)과 차선(1161)을 매핑할 수도 있다.
구체적으로, 프로세서는 전방 영상을 이용하여 차량으로부터 차선의 끝점(즉, 전방 영상에서 검출 가능한 차선의 끝점)까지의 거리를 연산할 수 있다. 또한, 프로세서는 레이더/라이더 모듈에 수신된 반사 신호를 이용하여 도로의 굴곡 및 차량 주변의 객체들과 차량 사이의 거리를 연산할 수 있다. 프로세서는 차량으로부터 차선의 끝점까지의 거리와 동일한 거리를 갖는 객체를 선택한다. 그리고, 프로세서는 선택된 객체를 기준으로 차선(1151)과 차선(1161)을 매핑할 수 있다. 다시 말해, 프로세서는, 차량에서 객체의 위치까지의 영역은 차선(1151)에 대한 정보를 이용하여, 객체의 위치보다 먼 영역은 차선(1161)에 대한 정보를 이용하여 가이드 영상을 생성할 수 있다.
출력부는 가이드 영상을 출력할 수 있다. 예를 들어, 출력부는 차량에 포함된 헤드 업 디스플레이, 미러 디스플레이 및 중앙 정보 디스플레이 중 적어도 하나를 포함할 수 있다. 이하, 도 12a 내지 도 12c를 참조하여 프로세서가 가이드 영상을 출력하는 예들을 설명한다.
도 12a 내지 도 12c는 일 실시예에 따른 영상이 출력되는 예들을 설명하기 위한 도면들이다.
도 12a 및 도 12c를 참조하면, 프로세서는 가이드 영상(1210)을 차량에 디스플레이 할 수 있다. 일 예로서, 프로세서는 차량의 창에 헤드 업 디스플레이 장치를 통하여 가이드 영상(1210)를 디스플레이할 수 있다. 다른 예로서, 프로세서는 미러 디스플레이 장치를 통하여 차량의 사이드 미러(side mirror)에 가이드 영상(1210)을 디스플레이할 수도 있다. 또 다른 예로서, 프로세서는 차량의 중앙 정보 디스플레이 장치의 화면에 가이드 영상(1210)을 디스플레이할 수도 있다.
한편, 프로세서가 생성하는 가이드 영상은 다양하게 구현될 수 있다. 일 예로서, 가이드 영상은 가시 영역의 검출된 차선과 비 가시 영역의 추정된 차선이 결합된 영상이 될 수도 있다. 다른 예로서, 가이드 영상은 차량의 상태 및 차량의 주변 환경에 기초하여 결정된 위험도에 대응하는 알람 영상이 될 수도 있다. 또 다른 예로서, 가이드 영상은 차량의 속도, 차량이 진행하는 방향 및 차량의 주변에 위치하는 객체를 나타내는 영상이 될 수도 있다. 이하, 도 13 내지 도 18을 참조하여 가이드 영상의 예들은 설명한다.
도 13은 일 실시예에 따른 가이드 영상의 일 예를 설명하기 위한 도면이다.
도 13에는 차량의 창에 출력된 가이드 영상(1310)의 일 예가 도시되어 있다. 가이드 영상(1310)에는 가시 영역의 차선(1321)뿐 만 아니라 비 가시 영역의 차선(1322)를 포함할 수 있다. 이때, 차선(1321)과 차선(1322)는 서로 구분되어 디스플레이될 수 있다. 일 예로서, 차선(1321)은 실제 도로의 차선과 동일하게 디스플레이되고, 차선(1322)는 차선(1321)과 구별되도록 다른 형태, 굵기 및/또는 컬러를 갖는 선으로 디스플레이될 수 있다. 다른 예로서, 차선(1321)을 포함하는 도로면과 차선(1322)을 포함하는 도로면이 다른 컬러로 디스플레이될 수도 있고, 차선(1322)을 포함하는 도로면에 그라데이션 효과가 나타나도록 디스플레이될 수도 있다.
또한, 가이드 영상(1310)에는 현재 차량의 주행 정보(1330)가 포함될 수 있다. 예를 들어, 주행 정보(1330)에는 차량의 현재 속도 및 차량이 현재 주행하는 도로의 제한 속도에 대한 정보가 포함될 수 있다. 또한, 주행 정보(1330)에는 차량이 진행하는 방향 및 목적지까지의 경로를 알려주는 내비게이션 정보가 포함될 수 있다.
한편, 도 13에 도시된 가이드 영상(1310)에 포함된 정보들(1321, 1322, 1330, 1341, 1342)은 각각 별개의 영상으로 디스플레이될 수 있다.
도 14는 일 실시예에 따른 가이드 영상의 다른 예를 설명하기 위한 도면이다.
도 14에는 차량의 창에 출력된 가이드 영상(1410)의 일 예가 도시되어 있다. 가이드 영상(1410)에는 가시 영역의 차선(1421)뿐 만 아니라 비 가시 영역의 차선(1422)를 포함할 수 있다. 또한, 차선(1421)과 차선(1422)이 서로 구분되어 디스플레이될 수 있음은 도 13을 참조하여 상술한 바와 같다.
가이드 영상(1410)에는 차량의 상태 및 차량의 주변 환경에 기초하여 결정된 위험도에 대응하는 알람 영상(1430)이 포함될 수 있다. 예를 들어, 차량이 주행 중인 도로의 제한 속도가 70km/h이라고 가정하면, 차량의 주행 속도가 70km/h를 초과하는 경우 운전자에게 속도를 줄일 것을 알리는 알람 영상(1430)이 디스플레이될 수 있다.
또한, 도 14에는 도시되지 않았으나, 차량의 주행 속도가 제한 속도를 초과하는 경우에 차량의 스피커를 통하여 알람 사운드가 출력될 수도 있다. 또한, 프로세서는 차량의 주행 속도에 따라 알람 사운드가 출력되는 시간 간격을 조절하여 출력할 수도 있다.
도 15는 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 15에는 차량의 창에 출력된 가이드 영상(1510)의 일 예가 도시되어 있다. 가이드 영상(1510)에는 가시 영역의 차선(1521)뿐 만 아니라 비 가시 영역의 차선(1522)를 포함할 수 있다. 또한, 차선(1521)과 차선(1522)이 서로 구분되어 디스플레이될 수 있음은 도 13을 참조하여 상술한 바와 같다.
가이드 영상(1510)에는 도로의 주변에 배치된 교통 표지판(1530)에 대한 정보가 포함될 수 있다. 예를 들어, 차량의 메모리에는 교통 표지판의 형상과 교통 표지판의 내용이 매핑되어 저장될 수 있다. 차량이 주행하는 중에 교통 표지판(1530)이 식별된 경우, 프로세서는 메모리에 저장된 정보를 독출하여 이를 디스플레이할 수 있다.
도 16은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 16에는 차량의 창에 출력된 가이드 영상(1610)의 일 예가 도시되어 있다. 가이드 영상(1610)에는 가시 영역의 차선(1621)뿐 만 아니라 비 가시 영역의 차선(1622)를 포함할 수 있다. 또한, 차선(1621)과 차선(1622)이 서로 구분되어 디스플레이될 수 있음은 도 13을 참조하여 상술한 바와 같다.
가이드 영상(1610)에는 차량이 주행해야 하는 방향을 나타내는 지시자(1630)가 포함될 수 있다. 예를 들어, 차량이 100m 전방에서 좌회전을 해야 하는 경우, 운전자에게 이를 알리는 지시자(1630)가 디스플레이될 수 있다.
또한, 도 16에는 도시되지 않았으나, 프로세서는 차량이 주행 방향을 변경(예를 들어, 좌회전, 우회전, 유-턴, 차선 변경 등)하는 경우, 주행 방향이 변경되었음을 알리는 정보를 차량의 창에 디스플레이할 수 있다. 또한, 전방 도로의 굴곡 정도에 따라 지시자(1630)의 형상이 다르게 디스플레이될 수 있다.
도 17은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 17에는 차량의 창에 출력된 가이드 영상(1710)의 일 예가 도시되어 있다. 가이드 영상(1710)에는 가시 영역의 차선(1721)뿐 만 아니라 비 가시 영역의 차선(1722)를 포함할 수 있다. 또한, 차선(1721)과 차선(1722)이 서로 구분되어 디스플레이될 수 있음은 도 13을 참조하여 상술한 바와 같다.
가이드 영상(1710)에는 도로에서 주행하는 다른 차량에 대한 정보(1731)가 포함될 수 있다. 예를 들어, 차량에 포함된 센서가 다른 차량의 속도, 주행 방향 등을 감지할 수 있고, 프로세서는 다른 차량에 대한 정보(1731)를 차량의 창에 디스플레이할 수 있다.
도 18은 일 실시예에 따른 가이드 영상의 또 다른 예를 설명하기 위한 도면이다.
도 18에는 차량의 창에 출력된 가이드 영상(1810)의 일 예가 도시되어 있다. 가이드 영상(1810)에는 가시 영역의 차선(1821)뿐 만 아니라 비 가시 영역의 차선(1822)를 포함할 수 있다. 또한, 차선(1821)과 차선(1822)이 서로 구분되어 디스플레이될 수 있음은 도 13을 참조하여 상술한 바와 같다.
가이드 영상(1810)에는 차량의 주변 환경에 대한 정보(1830)가 포함될 수 있다. 예를 들어, 프로세서는 센서부를 통하여 차량 주변의 풍향, 풍속, 미세먼지의 농도 등에 대한 정보를 획득할 수 있고, 현재 날씨(예를 들어, 맑음, 흐림, 안개 낌, 강수, 강우 등)를 파악할 수 있다. 예를 들어, 프로세서는 환경 센서를 통하여 PM2.5~10(2.5Um~10um)크기의 미세먼지를 감지할 수 있다. 또한, 프로세서는 센서부를 통하여 차량이 주행하는 현재가 주간인지 또는 야간인지를 파악할 수 있다. 또한, 프로세서는 현재 날씨가 악천후인지 여부를 판단할 수 있다. 예를 들어, 차량이 야간에 주행 중이거나, 강수, 강우, 미세먼지, 안개 등에 의하여 카메라를 통한 차선 인식률이 50% 이하인 경우, 프로세서는 현재 날씨가 악천후인 것으로 판단할 수 있다. 그리고, 프로세서는 차량의 주변 환경에 대한 정보(1830)를 차량의 창에 디스플레이할 수 있다. 예를 들어, 프로세서는 차량의 주변 환경에 대한 정보(1830)를 구체적인 수치로 디스플레이 할 수도 있고, 다양한 컬러 또는 위험 수준을 나타내는 지시자 등으로 디스플레이할 수도 있다.
또한, 도 18에는 도시되지 않았으나, 프로세서는 차량에 포함된 카메라 및 센서를 통하여 도로가 오르막길인지 또는 내리막길인지에 대한 정보를 획득할 수 있고, 도로의 기울기를 연산할 수 있다. 그리고, 프로세서는 도로에 대한 정보를 차량의 창에 디스플레이할 수 있다.
한편, 프로세서는 차량의 주변 환경에 따라 차량의 창에 디스플레이되는 영상의 밝기, 투명도 등을 변경할 수도 있다. 또한, 도 13 내지 도 18에는 가이드 영상(1310, 1410, 1510, 1610, 1710, 1810)이 차량의 창에 팝업 창으로 디스플레이되는 예가 도시되어 있으나, 이에 제한되지 않는다.
도 19 및 도 20은 일 실시예에 따른 프로세서를 포함하는 차량 주행 보조 장치의 예들을 나타내는 구성도들이다.
도 19를 참조하면, 장치(1900)는 프로세서(1810), 메모리(1820), 센싱부(1930) 및 출력부(1940)를 포함한다.
그러나, 도 19에 도시된 구성 요소들 모두가 장치(1900)의 필수 구성 요소인 것은 아니다. 도 19에 도시된 구성 요소들보다 많은 구성 요소에 의해 장치(1900)가 구현될 수도 있고, 도 19에 도시된 구성 요소보다 적은 구성 요소들에 의해 장치(1900)가 구현될 수도 있다.
예를 들어, 도 20에 도시된 바와 같이, 장치(2000)는, 프로세서(2030), 메모리(2070), 센싱부(2040) 및 출력부(2020) 이외에 사용자 입력부(2010), 통신부(2050) 및 구동부(2060)를 더 포함할 수도 있다.
사용자 입력부(2010)는 사용자가 장치(2000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(2010)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(2010)는 사용자의 음성 입력에 대한 답변 메시지를 요청하고 답변 메시지에 관련된 동작을 실행하기 위한 사용자 입력을 수신할 수 있다.
출력부(2020)는 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있다. 출력부(2020)는 디스플레이부(2021), 음향 출력부(2021) 및 진동 모터(2023) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
디스플레이부(2021)는 장치(2000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(2021)는 사용자의 음성 입력에 대한 답변 메시지를 요청하고 답변 메시지에 관련된 동작을 실행하기 위한 사용자 인터페이스를 디스플레이할 수 있다. 또한, 디스플레이부(2021)는 차량 주변을 나타내는 3차원 영상을 디스플레이할 수 있다.
음향 출력부(2021)는 통신부(2050)로부터 수신되거나 메모리(2070)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(2021)는 장치(2000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.
프로세서(2030)는 통상적으로 장치(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2030)는 메모리(2070)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(2010), 출력부(2020), 센싱부(2040), 통신부(2050), 구동부(2060) 등을 전반적으로 제어할 수 있다. 또한, 프로세서(2030)는 메모리(2070)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 18을 참조하여 상술한 기능을 수행할 수 있다. 예를 들어, 프로세서(2030)는 MCU(micro controller unit)일 수 있다. 또한, 프로세서(2030)는 인식 프로세서(cognitive processor)의 기능을 수행할 수도 있다.
예를 들어, 프로세서(2030)는 카메라에 의하여 촬영된 도로의 영상을 이용하여 영상 내의 가시 영역에 포함된 차선을 검출할 수 있다. 그리고, 프로세서(2030)는 레이더/라이더 모듈을 이용하여 도로 주변의 객체들을 검출하고, 검출된 객체들의 위치에 기초하여 영상 내의 비 가시 영역에 포함된 차선을 추정할 수 있다. 그리고, 프로세서(2030)는 검출된 차선 및 추정된 차선의 형태에 기초하여 차량의 주행을 가이드 하기 위한 가이드 영상을 생성할 수 있다. 그리고, 프로세서(2030)는 가이드 영상을 출력할 수 있다.
또한, 프로세서(2030)는 도로의 영상에서 가시 영역 및 비 가시 영역을 구분하고, 가시 영역 내에 포함된 차선을 검출할 수 있다. 그리고, 프로세서(2030)는 가시 영역의 길이(즉, 차량으로부터 검출된 차선의 끝점까지의 거리)를 연산할 수 있다.
또한, 프로세서(2030)는 레이더/라이더 모듈을 통하여 검출된 객체들을 가시 영역 내의 객체들 및 비 가시 영역 내의 객체들로 구분할 수 있다. 그리고, 프로세서(2030)는 비 가시 영역 내의 객체들 각각의 위치에 기초하여 비 가시 영역에 포함된 차선을 추정할 수 있다.
센싱부(2040)는 장치(2000)의 상태를 감지하고, 감지된 정보를 프로세서(2030)로 전달할 수 있다. 또한, 센싱부(2040)는 사용자 또는 차량의 주변 상황(예를 들어, 객체의 유무 등)을 나타내는 컨텍스트 정보를 획득하거나 생성하는데 이용될 수 있다.
센싱부(2040)는 GPS(Global Positioning System) 모듈(2041), IMU(Inertial Measurement Unit)(2042), 레이더 모듈(2043), 라이더 모듈(2044), 이미지 센서(2045), 환경 센서(2046), 근접 센서(2047), RGB 센서(illuminance sensor)(2048), 움직임 센서(2049) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 센싱부(2040)에 포함된 구성들의 기능은 그 명칭으로부터 당해 기술 분야에서의 일반적인 지식을 가진 자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
GPS 모듈(2041)은 차량의 지리적 위치를 추정하는데 이용될 수 있다. 다시 말해, GPS 모듈(2041)는 지구 상에서의 차량의 위치를 추정하도록 구성되는 송수신기를 포함할 수 있다.
IMU(2042)는 관성 가속도에 기초하여 차량의 위치 및 배향 변화들을 감지하는데 이용될 수 있다. 예를 들어, IMU(2042)는 가속도계들 및 자이로스코프들을 포함할 수 있다.
레이더 모듈(2043)은 무선 신호를 사용하여 차량의 주변 환경 내의 객체들을 감지하는데 이용될 수 있다. 또한, 레이더 모듈(2043)은 객체들의 속도 및/또는 방향을 감지할 수 있다.
라이더 모듈(2044)은 레이저를 사용하여 차량의 주변 환경 내의 객체들을 감지하는데 이용될 수 있다. 구체적으로, 라이더 모듈(2044)은 레이저를 방출하도록 구성되는 레이저 광원 및/또는 레이저 스캐너와, 레이저의 반사를 검출하도록 구성되는 검출기를 포함할 수 잇다. 라이더 모듈(2044)은 코히런트(coherent)(예를 들어, 헤티로다인 검출을 사용함) 또는 비코히런트(incoherent) 검출 모드에서 동작하도록 구성될 수 있다.
이미지 센서(2045)는 차량의 내부 및 외부를 나타내는 영상들을 생성하는데 이용되는 카메라를 포함할 수 있다. 예를 들어, 카메라는 모노(mono) 카메라, 스테레오(stereo) 카메라, 적외선 카메라 또는 열화상 카메라를 의미할 수 있으나, 이에 한정되지 않는다. 이미지 센서(2045)는 다수의 카메라들을 포함할 수 있고, 다수의 카메라들은 차량의 내부 및 외부의 다수의 위치들에 배치될 수 있다.
환경 센서(2046)은 날씨를 포함하는 차량의 외부 환경을 감지하는데 이용될 수 있다. 예를 들어, 환경 센서(2046)는 온/습도 센서(20461), 적외선 센서(20462), 기압 센서(20463) 및 먼지 센서(20464)를 포함할 수 있다.
근접 센서(2047)는 차량에 접근하는 객체를 감지하는데 이용될 수 있다.
RGB 센서(2048)는 차량 주변의 빛의 색 농도를 감지하는데 이용될 수 있다.
움직임 센서(2049)는 차량의 움직임을 센싱하는데 이용될 수 있다. 예를 들어, 움직임 센서(2049)는 지자기 센서(Magnetic sensor)(20491), 가속도 센서(Acceleration sensor)(20492) 및 자이로스코프 센서(20493)를 포함할 수 있다.
통신부(2050)는 장치(2000)가 차량의 다른 장치, 외부 장치 또는 외부 서버와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 외부 장치는 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 한정되지 않는다. 예를 들어, 통신부(2050)는 근거리 통신부(2051), 이동 통신부(2052) 및 방송 수신부(2053) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
근거리 통신부(short-range wireless communication unit)(2051)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(2052)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(2053)는 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 장치(2000)가 방송 수신부(2053)를 포함하지 않을 수도 있다.
또한, 통신부(2050)는 사용자의 음성 입력에 대한 답변 메시지를 요청하고 답변 메시지에 관련된 동작을 실행하기 위한 필요한 정보를, 외부 장치 및 외부 서버와 송수신할 수 있다.
구동부(2060)는 차량의 구동(운행) 및 차량 내부의 장치들의 동작에 이용되는 구성들을 포함할 수 있다. 구동부(2060)는 전원 공급부(2061), 추진부(2062), 주행부(2063) 및 주변 장치부(2064) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
전원 공급부(2061)는 차량의 구성요소들 중 일부 또는 전부에 전력을 제공하도록 구성될 수 있다. 예를 들어, 전원 공급부(2061)는 재충전가능 리튬 이온 또는 납산(lead-acid) 배터리를 포함할 수 있다.
추진부(2062)는 엔진/모터, 에너지원, 변속기 및 휠/타이어를 포함할 수 있다.
엔진/모터는 내연 기관, 전기 모터, 증기 기관, 및 스틸링 엔진(stirling engine) 간의 임의의 조합이 될 수 있다. 예를 들어, 차량이 가스-전기 하이브리드 자동차(gas-electric hybrid car)인 경우, 엔진/모터는 가솔린 엔진 및 전기 모터가 될 수 있다.
에너지원은 엔진/모터에 전체적으로 또는 부분적으로 동력을 제공하는 에너지의 공급원일 수 있다. 즉, 엔진/모터는 에너지원을 기계 에너지로 변환하도록 구성될 수 있다. 에너지원의 예로는 가솔린, 디젤, 프로판, 다른 압축 가스 기반 연료들, 에탄올, 태양광 패널(solar panel), 배터리, 및 다른 전기 전력원들 중 적어도 하나가 될 수 있다. 또는, 에너지원은 연료 탱크, 배터리, 커패시터, 및 플라이휠(flywheel) 중 적어도 하나가 될 수 있다. 에너지원은 차량의 시스템 및 장치에 에너지를 제공할 수 있다.
변속기는 기계적 동력을 엔진/모터로부터 휠/타이어에 전달하도록 구성될 수 있다. 예를 들어, 변속기는 기어박스, 클러치, 차동 장치(differential), 및 구동축 중 적어도 하나를 포함할 수 있다. 변속기가 구동축들을 포함하는 경우, 구동축들은 휠/타이어에 결합되도록 구성되는 하나 이상의 차축들을 포함할 수 있다.
휠/타이어는 외발 자전거, 자전거/오토바이, 삼륜차, 또는 자동차/트럭의 사륜 형식을 포함한 다양한 형식들로 구성될 수 있다. 예를 들어, 6개 이상의 휠을 포함하는 것과 같은 다른 휠/타이어 형식이 가능할 수 있다. 휠/타이어은 변속기(213)에 고정되게 부착되어 있는 적어도 하나의 휠, 및 구동면(driving surface)과 접촉할 수 있는 휠의 림(rim)에 결합되어 있는 적어도 하나의 타이어를 포함할 수 있다.
주행부(2063)는 브레이크 유닛, 조향 유닛 및 스로틀을 포함할 수 있다.
브레이크 유닛은 차량을 감속시키도록 구성되는 매커니즘들의 조합이 될 수 있다. 예를 들어, 브레이크 유닛은 휠/타이어의 속도를 줄이기 위해 마찰을 사용할 수 있다.
조향 유닛은 차량의 방향을 조절하도록 구성되는 매커니즘들의 조합이 될 수 있다.
스로틀은 엔진/모터의 동작 속도를 제어하여, 차량의 속도를 제어하도록 구성되는 매커니즘들의 조합이 될 수 있다. 또한, 스로틀은 스로틀 개방량을 조절하여 엔진/모터로 유입되는 연료공기의 혼합 가스 양을 조절할 수 있으며, 스로틀 개방량을 조절하여 동력 및 추력을 제어할 수 있다.
주변 장치부(2064)는 네비게이션, 라이트, 방향 지시등, 와이퍼, 내부 조명, 히터 및 에어컨을 포함할 수 있다.
여기에서, 네비게이션은 차량에 대한 운행 경로를 결정하도록 구성되는 시스템일 수 있다. 네비게이션은 차량이 주행하고 있는 동안 동적으로 운행 경로를 갱신하도록 구성될 수 있다. 예를 들어, 네비게이션은 차량에 대한 운행 경로를 결정하기 위해, GPS 모듈(2041)에 의하여 수집된 데이터를 이용할 수 있다.
메모리(2070)는 프로세서(2030)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 외부 장치 또는 외부 서버로 전송되거나 외부 장치 또는 외부 서버로부터 수신되는 데이터를 저장할 수도 있다.
예를 들어, 메모리(2070)는 특정 지역 또는 공간에 포함된 도로/차선 정보 및 도로의 기하(geometric) 정보를 저장할 수 있다. 또한, 메모리(2070)는 카메라 및/또는 레이더/라이더 모듈에 의하여 검출된 객체에 대한 정보를 저장할 수 있고, 기 저장된 객체에 대한 정보를 갱신하여 저장할 수도 있다. 또한, 가시 영역의 길이 및 비 가시 영역의 길이에 대한 정보를 저장할 수 있다. 또한, 메모리(2070)는 프로세서(2030)가 연산한 도로의 곡률에 대한 정보를 저장할 수 있고, 프로세서(2030)가 동일한 도로에 대하여 곡률 연산을 복수 회 수행하는 경우, 기 저장된 곡률 정보를 갱신하여 저장할 수 있다. 또한, 메모리(2070)는 주행 환경(날씨, 주/야간 등)에 따라 확보될 수 있는 가시 영역의 길이에 대한 정보를 저장할 수도 있다.
메모리(2070)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(2070)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 메모리(2070)는 UI 모듈(2071), 터치 스크린 모듈(2072) 및 알림 모듈(2073) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
UI 모듈(2071)은, 애플리케이션 별로 장치(2000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(2072)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(2030)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(2072)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(2072)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
알림 모듈(2073)은 장치(2000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 외부 장치(2000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(2073)은 디스플레이부(2021)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(2022)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(2023)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
상술한 바에 따르면, 프로세서는 차량의 주변 환경에 구애 받지 않고, 차량이 주행하는 차선에 대한 정보를 정확하게 출력할 수 있다. 또한, 프로세서는 차량이 주행하는데 필요한 다양한 정보를 출력할 수 있다. 따라서, 주행의 안전도가 높아질 수 있고, 운전자의 주행 만족도가 높아질 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
또한, 상술한 방법은 컴퓨터로 읽을 수 있는 기록매체에 유지되는 프로그램들 중 적어도 하나의 프로그램에 포함된 명령어(instructions)의 실행을 통하여 수행될 수 있다. 상기 명령어가 컴퓨터에 의해 실행될 경우, 상기 적어도 하나의 컴퓨터는 상기 명령어에 해당하는 기능을 수행할 수 있다. 여기서, 명령어는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 본 개시에서, 컴퓨터의 일 예는, 프로세서가 될 수 있으며, 기록매체의 일 예는 메모리가 될 수 있다.
상술한 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 주행 중인 차량의 전방을 촬영하는 센싱부;
    상기 촬영된 전방 영상을 이용하여 차선을 검출하고, 상기 센싱부를 이용하여 상기 차량이 주행 중인 도로 주변의 객체들을 검출하여 차선을 추정하는 프로세서; 및
    상기 추정된 차선을 출력하는 출력부;를 포함하는 차량 주행 보조 장치.
  2. 제 1 항에 있어서,
    상기 센싱부는,
    카메라, 레이더 모듈 및 라이더 모듈 중 적어도 하나를 포함하는 장치.
  3. 제 1 항에 있어서,
    상기 출력부는,
    상기 전방 영상 내의 가시 영역(visible area) 및 상기 검출된 차선의 위치에 기초하여 결정된 위치에 가이드 영상을 출력하는 차량 주행 보조 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 전방 영상 내에 포함된 상기 차선을 검출하고, 상기 전방 영상 내의 가시 영역 및 비 가시 영역(invisible area)을 구분하고, 상기 차량으로부터 상기 검출된 차선의 끝점까지의 거리를 획득하는 차량 주행 보조 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 검출된 객체들을 가시 영역 내의 객체들 및 비 가시 영역 내의 객체들로 구분하고, 상기 비 가시 영역 내의 객체들 각각의 위치에 기초하여 상기 비 가시 영역에 포함된 차선을 추정하는 차량 주행 보조 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 차량의 상태 및 상기 차량의 주변 환경에 기초하여 결정된 위험도에 대응하는 알람(alarm) 영상을 생성하는 차량 주행 보조 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    상기 차량의 속도, 상기 차량이 진행하는 방향 및 상기 차량의 주변에 위치하는 적어도 하나의 객체를 나타내는 가이드 영상을 생성하는 차량 주행 보조 장치.
  8. 제 1 항에 있어서,
    상기 추정된 차선을 나타내는 가이드 영상을 외부 장치로 전송하는 통신부;를 더 포함하는 차량 주행 보조 장치.
  9. 제 1 항에 있어서,
    상기 출력부는,
    상기 차량에 포함된 헤드 업 디스플레이(head-up display), 미러 디스플레이(mirror display) 및 중앙 정보 디스플레이(central information display) 중 적어도 하나를 포함하는 차량 주행 보조 장치.
  10. 제 1 항에 있어서,
    상기 가이드 영상을 저장하는 메모리;를 더 포함하는 차량 주행 보조 장치.
  11. 차량에 포함된 센싱부를 이용하여, 차선을 검출하는 단계;
    상기 센싱부를 이용하여, 상기 차량이 주행 중인 도로 주변의 객체들을 검출하여 차선을 추정하는 단계; 및
    상기 검출된 차선을 표시 장치에 출력하는 단계;를 포함하는 차선 정보를 출력하는 방법.
  12. 제 11 항에 있어서,
    상기 센싱부는,
    카메라, 레이더 모듈 및 라이더 모듈 중 적어도 하나를 포함하는 방법.
  13. 제 12 항에 있어서,
    상기 출력하는 단계는,
    상기 전방 영상 내의 가시 영역(visible area) 및 상기 검출된 차선의 위치에 기초하여 결정된 위치에 가이드 영상을 출력하는 방법.
  14. 제 12 항에 있어서,
    상기 표시 장치는,
    상기 차량에 포함된 헤드 업 디스플레이(head-up display), 미러 디스플레이(mirror display) 및 투명 디스플레이 중 적어도 하나를 포함하는 방법.
  15. 제 11 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2018/000902 2017-02-03 2018-01-19 차선 정보를 출력하는 방법 및 장치 WO2018143589A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/482,044 US11512973B2 (en) 2017-02-03 2018-01-19 Method and device for outputting lane information
EP18747756.7A EP3566924B1 (en) 2017-02-03 2018-01-19 Method and device for outputting lane information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170015688A KR20180090610A (ko) 2017-02-03 2017-02-03 차선 정보를 출력하는 방법 및 장치.
KR10-2017-0015688 2017-02-03

Publications (1)

Publication Number Publication Date
WO2018143589A1 true WO2018143589A1 (ko) 2018-08-09

Family

ID=63040217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/000902 WO2018143589A1 (ko) 2017-02-03 2018-01-19 차선 정보를 출력하는 방법 및 장치

Country Status (4)

Country Link
US (1) US11512973B2 (ko)
EP (1) EP3566924B1 (ko)
KR (1) KR20180090610A (ko)
WO (1) WO2018143589A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109540157A (zh) * 2018-11-12 2019-03-29 广东星舆科技有限公司 一种车载导航系统及控制方法
CN111959526A (zh) * 2020-06-30 2020-11-20 北京百度网讯科技有限公司 基于无人车的控制方法、装置、无人车和电子设备
US20220198200A1 (en) * 2020-12-22 2022-06-23 Continental Automotive Systems, Inc. Road lane condition detection with lane assist for a vehicle using infrared detecting device

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3799013A4 (en) * 2018-05-22 2021-07-14 Mitsubishi Chemical Corporation COLOR DISPLAY DEVICE, VEHICLE INTERIOR / EXTERIOR ELEMENT, INDICATOR LIGHT, DISPLAY AND VEHICLE DISPLAY PANEL
US10503966B1 (en) * 2018-10-11 2019-12-10 Tindei Network Technology (Shanghai) Co., Ltd. Binocular pedestrian detection system having dual-stream deep learning neural network and the methods of using the same
US20220065649A1 (en) * 2019-01-18 2022-03-03 Vestel Elektronik Sanayi Ve Ticaret A.S. Head-up display system
CN110135302B (zh) * 2019-04-30 2021-08-31 百度在线网络技术（北京）有限公司 训练车道线识别模型的方法、装置、设备和存储介质
CN113514952A (zh) * 2020-04-09 2021-10-19 华为技术有限公司 抬头显示装置和抬头显示方法
TWI748863B (zh) * 2021-02-03 2021-12-01 宏佳騰動力科技股份有限公司 車輛的後視安全警示裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122578A (ja) * 2005-10-31 2007-05-17 Equos Research Co Ltd 仮想車線表示装置
KR20140071174A (ko) * 2012-12-03 2014-06-11 현대자동차주식회사 차량의 차선 가이드 장치 및 그 방법
KR20140122810A (ko) * 2013-04-11 2014-10-21 주식회사 만도 차선 추정 장치 및 그 방법
JP2015001773A (ja) * 2013-06-13 2015-01-05 ボッシュ株式会社 車線推定装置
KR20150074750A (ko) * 2013-12-24 2015-07-02 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59704311D1 (de) 1996-05-08 2001-09-20 Daimler Chrysler Ag Verfahren zur erkennung des vorausliegenden fahrbahnverlaufs für kraftfahrzeuge
DE19749086C1 (de) 1997-11-06 1999-08-12 Daimler Chrysler Ag Vorrichtung zur Ermittlung fahrspurverlaufsindikativer Daten
JP3417381B2 (ja) 2000-05-25 2003-06-16 株式会社デンソー 道路形状認識装置、先行車両特定装置、及び記録媒体
JP5075152B2 (ja) 2009-03-24 2012-11-14 日立オートモティブシステムズ株式会社 車両制御装置
JP5441549B2 (ja) 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP5890803B2 (ja) * 2013-07-01 2016-03-22 富士重工業株式会社 車両の運転支援制御装置
KR101545478B1 (ko) * 2014-01-10 2015-08-19 현대모비스(주) 차량용 전방관측시스템 및 방법
US10207706B2 (en) * 2016-12-28 2019-02-19 Automotive Research & Testing Center System for detecting lane line of road and method thereof
KR20210099780A (ko) * 2020-02-05 2021-08-13 삼성전자주식회사 전자 장치 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122578A (ja) * 2005-10-31 2007-05-17 Equos Research Co Ltd 仮想車線表示装置
KR20140071174A (ko) * 2012-12-03 2014-06-11 현대자동차주식회사 차량의 차선 가이드 장치 및 그 방법
KR20140122810A (ko) * 2013-04-11 2014-10-21 주식회사 만도 차선 추정 장치 및 그 방법
JP2015001773A (ja) * 2013-06-13 2015-01-05 ボッシュ株式会社 車線推定装置
KR20150074750A (ko) * 2013-12-24 2015-07-02 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109540157A (zh) * 2018-11-12 2019-03-29 广东星舆科技有限公司 一种车载导航系统及控制方法
CN111959526A (zh) * 2020-06-30 2020-11-20 北京百度网讯科技有限公司 基于无人车的控制方法、装置、无人车和电子设备
US20220198200A1 (en) * 2020-12-22 2022-06-23 Continental Automotive Systems, Inc. Road lane condition detection with lane assist for a vehicle using infrared detecting device

Also Published As

Publication number Publication date
US20200064148A1 (en) 2020-02-27
EP3566924B1 (en) 2023-10-04
EP3566924A1 (en) 2019-11-13
EP3566924C0 (en) 2023-10-04
KR20180090610A (ko) 2018-08-13
EP3566924A4 (en) 2020-06-17
US11512973B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
WO2018143589A1 (ko) 차선 정보를 출력하는 방법 및 장치
WO2019209057A1 (en) Method of determining position of vehicle and vehicle using the same
WO2020060308A1 (ko) 전자 장치 및 전자 장치의 차량 제어 방법, 서버 및 서버의 정밀 지도 데이터 제공 방법
WO2020036419A1 (en) Method of assisting autonomous vehicle, and apparatus therefor
WO2021137485A1 (en) Method and device for displaying 3d augmented reality navigation information
WO2019143040A1 (en) Device and method for assisting with driving of vehicle
WO2019097763A1 (ja) 重畳画像表示装置及びコンピュータプログラム
WO2017039047A1 (ko) 차량 및 그 제어방법
WO2017217578A1 (ko) 차량용 제어장치 및 그것의 제어방법
US11525694B2 (en) Superimposed-image display device and computer program
WO2017003013A1 (ko) 차량 주행 보조 장치, 이의 동작 방법, 및 이를 포함하는 차량
WO2021002519A1 (ko) 차량용 광고 제공 장치 및 차량용 광고 제공 방법
WO2019135537A1 (ko) 차량의 지도 상의 위치를 보정하는 전자 장치 및 방법
WO2020145441A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2020166749A1 (ko) 차량을 이용한 정보 표시 방법 및 시스템
JP2005069799A (ja) 車両用ナビゲーションシステム
US11557206B2 (en) Information provision system, server, and mobile terminal
WO2017018844A1 (ko) 자율 주행 차량 및 그의 동작 방법
WO2020138516A1 (ko) 통신 장치, 그것의 제어 방법 및 그것을 포함하는 통신 시스템
WO2018135745A1 (ko) 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치
WO2016186319A1 (ko) 차량 운전 보조 장치 및 차량
JP2023165757A (ja) 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
WO2013039273A1 (en) Driving apparatus and method using 3d sensor
WO2021010517A1 (ko) 차량용 전자 장치 및 그의 동작 방법
CN113183758A (zh) 一种基于增强现实的辅助驾驶方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18747756

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018747756

Country of ref document: EP

Effective date: 20190808