WO2018101603A1 - 스테레오 카메라를 이용한 도로객체 인식방법 및 장치 - Google Patents

스테레오 카메라를 이용한 도로객체 인식방법 및 장치 Download PDF

Info

Publication number
WO2018101603A1
WO2018101603A1 PCT/KR2017/011598 KR2017011598W WO2018101603A1 WO 2018101603 A1 WO2018101603 A1 WO 2018101603A1 KR 2017011598 W KR2017011598 W KR 2017011598W WO 2018101603 A1 WO2018101603 A1 WO 2018101603A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
stereo camera
image
road surface
object recognition
Prior art date
Application number
PCT/KR2017/011598
Other languages
English (en)
French (fr)
Inventor
김중구
구자철
유재형
Original Assignee
(주)비전에스티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비전에스티 filed Critical (주)비전에스티
Priority to US16/303,986 priority Critical patent/US20200320314A1/en
Publication of WO2018101603A1 publication Critical patent/WO2018101603A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Definitions

  • the present invention relates to a method and apparatus for recognizing road surface objects such as lanes, stop lines, pedestrian crossings, and direction indicators among main data required for autonomous driving by autonomous vehicles, and in particular, a road from an input image using a real-time binocular stereo camera.
  • the present invention relates to a road object recognition method and apparatus using a stereo camera capable of separating a surface and effectively recognizing a road surface object from a separated road image.
  • Autonomous cars are cars that drive a car automatically instead of humans, and use various sensors such as cameras, lidar, ultrasound, and GPS to recognize the surroundings and the road surface in real time and move safely to the destination. to be.
  • the driver is accompanied by a self-driving car, but a computer mounted on the vehicle drives the vehicle like a human being by real-time recognition of the surroundings of the vehicle using various sensors mounted on the vehicle.
  • Self-driving cars are currently investing heavily in research and development, not only in software-based information technology (IT) companies such as Google and Apple, but also in many global automakers.
  • IT software-based information technology
  • the technical problem to be solved by the present invention is to recognize the road surface from the road image by using a stereo camera, remove information other than the road surface, and then remove the object on the road through the algorithm to recognize the road object from the image including only the road surface
  • a stereo camera characterized in that the recognition.
  • Road object recognition method using a stereo camera the road image acquisition step of obtaining a road image using a stereo camera; A road surface recognition and separation step of recognizing and separating a road surface from the obtained road image; And a road object recognition step of recognizing a road object on the separated road surface.
  • Road object recognition apparatus using a stereo camera a stereo camera; A road image acquisition unit for acquiring a road image using the stereo camera; A road surface recognition and separation unit for recognizing and separating a road surface from the obtained road image; And a road object recognition unit recognizing a road object on the separated road surface.
  • a road surface is recognized and separated from a road image acquired using a stereo camera in a situation where a vehicle driving in front is included, There is an effect that can effectively recognize the objects on the road surface.
  • the road image taken while driving using a conventional monocular camera may cause an error in recognizing an object on the road by occupying a part of the road if there is a vehicle driving ahead, but as in the present invention, a stereo camera
  • the vehicle is separated from the road, the road surface is recognized, and then the object on the road surface is recognized. There is an advantage to recognize.
  • FIG. 1 is a conceptual diagram illustrating a process of a road object recognition method using a stereo camera according to the present invention.
  • FIG. 2 is a block diagram showing in detail the process of the road object recognition method using a stereo camera according to the present invention.
  • FIG 3 is a view showing an image obtained from a stereo camera and a stereo camera of the road object recognition apparatus according to the present invention.
  • FIG. 4 is a view showing an image separated from the output image and the road surface of the stereo camera of the road object recognition apparatus according to the present invention.
  • FIG. 5 is a block diagram of an adaptive binarization calculation applied to a road object recognition method using a stereo camera according to the present invention and an embodiment applied to an image.
  • FIG. 6 is a diagram illustrating recognizing a lane using a Lansack algorithm in a road object recognition method using a stereo camera according to the present invention.
  • FIG. 7 is a diagram illustrating an embodiment of recognizing a road object by a road object recognition method using a stereo camera according to the present invention.
  • FIG. 8 is a diagram illustrating a left image, a right color image, and a disparity map of a road obtained by a stereo camera in various road environments.
  • the monocular camera alone can remove the vehicle.
  • the color is similar to the color of the road, it is difficult to remove the vehicle.
  • it is difficult to recognize objects such as lanes, stop lines, and crosswalks printed on the road surface without separating the road surface from the road image.
  • the present patent relates to a method and apparatus for recognizing and separating a road surface from a road image including a vehicle driving ahead, and recognizing an object of a road surface from the recognized road surface. If only the road surface is separated from the road image including the vehicle, and the object is recognized only on the separated road surface, the road surface object recognition error may be reduced than when the object of the road surface is recognized by the image including the vehicle.
  • FIG. 1 is a conceptual diagram illustrating a process of a road object recognition method using a stereo camera according to the present invention
  • FIG. 2 is a block diagram illustrating a process of a road object recognition method using a stereo camera according to the present invention in detail.
  • the road object recognition method using the stereo camera according to the present invention includes a road image acquisition step S100, a road surface recognition and separation step S200, and a road object recognition step S300. .
  • a road image is obtained using a stereo camera.
  • the road image acquired using the stereo camera includes a left color image, a right color image, and a disparity map of the road.
  • the road surface is recognized and separated from the road image acquired in the road image acquisition step (S100).
  • the road surface recognition and separation step S200 may be performed by separating the road area using the disparity map and the reference disparity map at step S210, and adaptively binarizing the input image from the input image corresponding to the separated road surface. Separating the feature (S220).
  • the road object is recognized on the road surface separated in the road surface recognition and separation step (S200).
  • the road object recognition step (S300) is performed by the feature point extraction step (S310), the straight line detection step (S320), and the object recognition step (S330).
  • the feature point of the road object is extracted by using the information of the road object
  • the straight line is detected by using the extracted feature point of the road object
  • the road object is recognized among the detected straight lines.
  • the straight line detection step it is preferable to detect a straight line by applying a LANSAC algorithm to the extracted feature of the road object.
  • the object recognition step the object of the road is recognized by using the direction and the slope that each object, such as lanes, stop lines, crosswalks or direction indicator lines, among the detected straight lines.
  • Objects printed on the road surface include lanes, stop lines, pedestrian crossings, direction indicators, etc., and they are very important factors for judging the driving of autonomous vehicles. .
  • 3D information about the space in front of the vehicle is required. That is, since the road is flat and the vehicle on the road is protruding from the road surface, the vehicle can be easily removed by knowing the 3D information of the road.
  • the color of the vehicle and the color of the road may be used. However, when the color of the vehicle is similar to the road or the lack of color information at night, it is not easy to separate the road.
  • 3D of space is recognized by automatically processing the left and right visual binocular disparity information obtained from the two eyes in the second stage of the visual cortex of the brain.
  • the two eyes are slightly apart from each other, so they have different binocular parallaxes depending on the distance when looking at the same object.
  • Left and right binocular disparity is caused by the position of the eyes slightly to the left and right with respect to the same object.
  • FIG 3 is a view showing an image obtained from a stereo camera and a stereo camera of the road object recognition apparatus according to the present invention.
  • disparity map a calculation of binocular disparity values for all points (pixels) of an image. That is, the disparity map (e) means disparity of all pixels included in the image, that is, binocular parallax image.
  • the disparity map is usually denoted by "D” and has a relationship between the distance from the camera to the object (z), the distance between the left and right cameras (B: baseline), and the lens focal length (F: focal length).
  • the disparity D increases, the distance Z from the camera to the object decreases.
  • the bright part large disparity value
  • the dark part small disparity value.
  • the disparity map obtained from the actual road image when the vehicle exists on the road, the disparity value of the portion corresponding to the vehicle appears brighter than the disparity value corresponding to the portion covered by the vehicle.
  • the portion brighter than the disparity brightness value corresponding to the road surface may be determined to correspond to the vehicle. That is, by removing a portion larger than the disparity value that the road surface may have, the road area may be easily separated.
  • FIG. 4 is a view showing an image separated from the output image and the road surface of the stereo camera of the road object recognition apparatus according to the present invention.
  • the disparity value has a value at every pixel of the image, and the closer the object is, the larger the value is and brighter.
  • the distance from the disparity map to the object from the camera can be calculated using Equation 1.
  • the road surface is recognized using the disparity map, and the recognized result is applied to the left color image (or right color image) to color the road surface.
  • the road surface separation sequence proceeds as follows.
  • a disparity map is obtained from a stereo camera fixedly mounted on a vehicle. After calculating the disparity values (d_min, y_min) of the near point and the disparity values (d_max, y_max) of the far point from the vehicle, the virtual reference disparity map is calculated.
  • the reference disparity map is randomly selected and obtained from the disparity map image of the road obtained by using the actual stereo camera and the pixel coordinates of the near and far points of the vehicle, and the stereo camera is fixed and calibrated to the vehicle for the same vehicle. You only have to do it once.
  • the part corresponding to the exceeded point means that the camera is closer to the camera than the road.
  • the road object is recognized using the input color image included in the area corresponding to the road surface as the road input image.
  • FIG. 5 is a block diagram of an adaptive binarization calculation applied to a road object recognition method using a stereo camera according to the present invention and an embodiment applied to an image.
  • FIG. 6 is a road object recognition method using a stereo camera according to the present invention. It is a figure which shows a lane recognition using a Lansak algorithm.
  • Road object recognition step (S300) is a feature point extraction step (S310) for extracting a feature point of the road object using the information of the road object, a straight line detection step (S320) for detecting a straight line using the extracted feature point of the road object And an object recognition step (S330) of recognizing an object from the detected straight lines.
  • the feature point extraction step S310 performs binarization of the image as a first step for extracting the feature point from the road image in order to recognize the road object.
  • the brightness of the image is not the same according to various environments such as daytime, nighttime, bright day, cloudy day, inside the tunnel, sunset, rainy weather, etc. .
  • features such as lanes cannot be separated according to the brightness of the road surface.
  • FIG. 5A shows an adaptive binarization calculation block diagram
  • FIGS. 5B and 5C show an example in which adaptive binarization is applied to a document and a road.
  • the algorithm of adaptive binarization is conventional and a detailed description thereof will be omitted.
  • the feature point in the image is a special feature that can best express the object to be recognized by separating it from the background.In the case of a stop line, a crosswalk, and a lane, the thickness information of the line, the color, the interval, and the direction of the straight line will be the main features. Can be.
  • the basis feature points are extracted for recognizing road objects such as lanes, stop lines, direction leader lines, and crosswalks by using thickness information according to distance.
  • FIG. 6A is a diagram illustrating a general example of straight line detection using the Ransack algorithm
  • FIG. 6B is a diagram illustrating an example of feature point data for linear lane detection and a vehicle body recognition using the Ransack algorithm.
  • the linear equation is calculated as the most important information for road object recognition.
  • Straight equations are important information commonly used in lanes, stop lines, and crosswalks.
  • the slope of a straight line is positive (+) on the left side and negative (-) on the right side in the direction of the vehicle's travel.
  • characteristics such as the point where the slope is close to zero can be used for recognition. have.
  • the straight line detection algorithms include Hough Transform and Random Sample Consensus (RANSAC).
  • RANSAC Random Sample Consensus
  • the physical characteristics of the road object must be utilized. For example, in the case of lanes, there may be points that are thinned and simultaneously meet due to perspective.
  • the characteristics of each object are summarized as follows.
  • the thickness of the lane, the distance between lanes, and the color and direction of the lane may be characterized.
  • White, yellow, blue, etc. may be applied to the color of the lane, and the direction of the lane may be positive in the left direction and negative in the right direction.
  • the thickness of the line, the color, the direction and the position of the line may be characterized.
  • the color of the stop line is white, the slope is close to zero, and the location can be specified in front of the crosswalk.
  • the thickness of the line, the color, the direction and the position of the line may be characterized.
  • Directional indicator line It can be characterized by direction indication such as straight ahead, left turn, right turn, straight left turn, straight right turn and U-turn and color, thickness and position of line.
  • FIG. 7 is a diagram illustrating an embodiment of recognizing a road object by a road object recognition method using a stereo camera according to the present invention, and shows a result of recognizing a lane (a), a crosswalk (b), and a stop line (c). .
  • FIG. 8 is a diagram illustrating a left image, a right color image, and a disparity map of a road obtained by a stereo camera in various road environments.
  • FIG. 8 (A) of FIG. 8 is an image and a disparity map when a vehicle exists in the front in daytime sunny weather
  • FIG. 8 (b) is an image and a disc when the vehicle and a shadow are in front in daytime sunny weather. Parity map.
  • FIG. 8 (C) of FIG. 8 is an image and a disparity map under the illumination of the medium brightness of white light in a tunnel
  • FIG. 8 (d) is an image and disc of the case where a vehicle exists in the front under bright light of red light in a tunnel
  • 8E is an image and a disparity map in the case of leaving the tunnel of bright light of red light.
  • the apparatus for recognizing a road object using a stereo camera includes a stereo camera, a road image acquisition unit for acquiring a road image using the stereo camera, and a road surface recognition for recognizing and separating a road surface from the obtained road image. And a road object recognition unit recognizing a road object on the separated road surface and the separated road surface.
  • the road image acquisition unit obtains a left color image, a right color image, and a disparity map of a road in real time using the stereo camera.
  • the road surface recognition and separation unit separates the road area by using the disparity map and the reference disparity map and separates the features of the road surface through adaptive binarization from the input image corresponding to the separated road surface.
  • the road object recognition unit extracts a feature point of a road object using the thickness and color information of the road object, detects a straight line using a Ransac algorithm for the extracted feature of the road object, and detects a straight line from the detected straight line.
  • Objects are recognized by using the direction and inclination information of each object including a lane, a stop line, a crosswalk, or a direction line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 스테레오카메라를 이용한 도로객체 인식방법 및 장치에 관한 것으로, 스테레오카메라를 이용하여 도로 영상을 획득하는 도로영상 획득단계, 상기 획득된 도로영상으로부터 도로면을 인식하고 분리하는 도로면 인식 및 분리단계 및 상기 분리된 도로면에서 도로객체를 인식하는 도로객체 인식단계를 포함한다. 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법 및 장치에 의하면, 전방에 주행중인 차량이 포함된 상황에서 스테레오 카메라를 이용하여 획득한 도로 영상에서 도로면을 인식하여 분리하고, 인식된 도로 면에서 도로면의 객체를 효과적으로 인식할 수 있는 효과가 있다.

Description

스테레오 카메라를 이용한 도로객체 인식방법 및 장치
본 발명은 자율주행 차량이 자율 주행에 필요한 주요 데이터 중에서 차선, 정지선, 횡단보도 및 방향지시선과 같은 도로면 객체를 인식하는 방법 및 장치에 관한 것으로, 특히 실시간 양안 스테레오카메라를 이용하여 입력 영상으로부터 도로면을 분리하고, 분리된 도로 영상에서 도로면 객체를 효과적으로 인식할 수 있는 스테레오 카메라를 이용한 도로객체 인식방법 및 장치에 관한 것이다.
자율주행 자동차는 사람 대신 컴퓨터가 자동차를 자동으로 운전하는 자동차로 카메라, 라이다, 초음파, 지피에스(GPS) 등의 다양한 센서를 활용하여 자동차 주변 환경과 도로면을 실시간 인식하면서 목적지까지 안전하게 이동하는 자동차이다.
자율주행 자동차에는 운전자가 동승해 있지만, 차량에 탑재된 컴퓨터가 운전자를 대신하여 차량에 장착된 다양한 센서를 이용하여 자동차 주변을 실시간 인지하면서 마치 사람처럼 자동차를 운전한다. 자율주행 자동차는 구글, 애플 등과 같은 소프트웨어 기반의 정보기술(IT) 업체 뿐 만 아니라 여러 세계적인 자동차 제조업체에서 현재 많은 비용과 인력을 투입하여 연구개발을 진행하고 있다.
사람 운전자가 자동차를 운전하는 경우, 운전자는 두 눈으로 차량 바깥을 보고 차량 주변 상황을 재빠르게 인지하면서 운전에 필요한 정보를 실시간 획득하고 운전 한다. 자동차는 3차원 실제 공간에서 고속으로 공간 이동을 하기 때문에 차량 주변의 3차원 정보를 정확하게 획득하는 것은 매우 중요하며 절대적으로 필요하다. 특히, 다른 주행 중인 차량과 도로를 모두 포함하는 영상에서 차선, 정지선, 방향지시선, 횡단보도 등과 같이 도로에 표시된 여러 가지 객체를 인식하는 것은 자율주행을 위해 가장 기본적이고도 중요한 정보라고 할 수 있다.
순수한 도로만 존재하는 경우에 도로 면에 인쇄된 객체를 인식하는 방법은 많이 개발되어 있고 큰 어려움 없이 수행할 수 있다. 그러나, 앞에서 주행 중인 차량이 포함된 영상으로부터 도로 위의 객체를 인식해야 하는 경우에는 도로가 차량으로 인해 가려져서 정확하게 객체를 인식하는데 어려움이 발생한다.
본 발명이 해결하고자 하는 기술적 과제는 스테레오카메라를 이용하여 도로 영상에서 도로 면을 인식하고 도로 면 이외의 정보를 제거한 후, 도로 면만 포함하는 영상으로부터 도로 객체를 인식하는 알고리즘을 통해서 도로 위의 객체를 인식하는 것을 특징으로 하는 스테레오카메라를 이용한 도로객체 인식방법 및 장치를 제공하는데 있다.
본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법은, 스테레오카메라를 이용하여 도로 영상을 획득하는 도로영상 획득단계; 상기 획득된 도로영상으로부터 도로면을 인식하고 분리하는 도로면 인식 및 분리단계; 및 상기 분리된 도로면에서 도로객체를 인식하는 도로객체 인식단계;를 포함하는 것을 특징으로 한다.
본 발명에 따른 스테레오카메라를 이용한 도로객체 인식장치는, 스테레오 카메라; 상기 스테레오 카메라를 이용하여 도로 영상을 획득하는 도로영상 획득부; 상기 획득된 도로영상으로부터 도로면을 인식하고 분리하는 도로면 인식 및 분리부; 및 상기 분리된 도로면에서 도로객체를 인식하는 도로객체 인식부;를 포함하는 것을 특징으로 한다.
본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법 및 장치에 의하면, 전방에 주행 중인 차량이 포함된 상황에서 스테레오 카메라를 이용하여 획득한 도로 영상에서 도로면을 인식하여 분리하고, 인식된 도로 면에서 도로면의 객체를 효과적으로 인식할 수 있는 효과가 있다.
기존의 단안 카메라를 이용하여 얻은 주행 중 촬영한 도로 영상에는 앞서 주행 중인 차량이 있을 경우 주행 자량이 도로의 일부를 가려서 도로위의 객체를 인식하는데 오류를 일으킬 수 있으나, 본 발명에서와 같이 스테레오 카메라를 사용하는 경우는 디스패리티 맵을 이용하여 도로에서 차량을 분리한 후 도로 면을 인식한 후 도로 면에 존재하는 객체를 인식함으로써 사람이 도로 면의 객체를 인식하는 과정과 유사하게 도로 면의 객체를 인식할 수 있는 장점이 있다.
도 1은 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법의 과정을 나타내는 개념도이다.
도 2는 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법의 과정을 상세히 나타내는 블록도이다.
도 3은 본 발명에 따른 도로객체 인식장치의 스테레오 카메라 및 스테레오 카메라로부터 획득한 영상을 나타내는 도면이다.
도 4는 본 발명에 따른 도로객체 인식장치의 스테레오 카메라의 출력영상과 도로면을 분리한 영상을 나타내는 도면이다.
도 5는 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법에 적용된 적응적 이진화 계산의 블록도 및 영상에 적용된 실시예를 나타내는 도면이다.
도 6은 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법에서 랜삭 알고리즘을 이용하여 차선을 인식하는 것을 나타내는 도면이다.
도 7은 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법에 의해 도로 객체를 인식하는 실시예를 나타내는 도면이다.
도 8은 다양한 도로 환경에서 스테레오 카메라로 획득한 도로의 왼쪽영상과 오른쪽 컬러 영상 및 디스패리티 맵을 나타내는 도면이다.
이하에서 첨부된 도면을 참고하여 본 발명에 대해 상세히 설명하기로 한다.
자율주행 자동차가 도로를 주행할 때, 정확하게 도로를 인식하고 차선, 정지선, 방향지시선, 횡단보도 등과 같이 도로에 인쇄된 각종 객체 정보를 인식하는 과정은 매우 중요하다. 기존의 단안 카메라를 이용하여 도로 영상을 얻은 후 얻어진 영상에서 도로 면에 포함된 객체 정보를 찾는 방법은 주행 중인 차량 앞에 다른 차량이 존재하지 않는 경우에만 가능하며, 차량이 도로를 가리고 있는 경우에는 차량 영상으로 인해 객체 인식 오류가 발생할 수 있다. 예를 들면 전방에 주행 중인 차량이 흰색인 경우 영상 내에서 차량을 제거하지 않고 도로 객체를 인식하면 차량의 흰색 범퍼가 정지선으로 인식되는 경우가 매우 빈번히 발생한다.
차량의 색상과 도로의 색상이 다른 경우에는 단안 카메라만으로도 차량을 제거할 수는 있으나, 색상이 도로 색상과 유사한 경우에는 차량 제거가 어려우며, 어두운 환경에서는 컬러 정보가 거의 사라져서 차량 제거가 더욱 어렵게 된다. 결국 도로 영상에서 도로 면을 분리하지 않고는 도로 면에 인쇄된 차선, 정지선, 횡단보도와 같은 객체를 인식하는데 어려움이 있다.
본 특허는 전방에 주행 중인 차량이 포함된 도로 영상에서 도로 면을 인식하여 분리하고, 인식된 도로 면에서 도로면의 객체를 인식하는 방법과 그 장치에 관한 것이다. 차량이 포함된 도로 영상에서 도로 면만을 분리하고, 분리된 도로 면에서만 객체를 인식하게 된다면 차량이 포함된 영상으로 도로면의 객체를 인식할 때보다 도로면 객체인식 오류를 줄여줄 수 있을 것이다.
도 1은 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법의 과정을 나타내는 개념도이고, 도 2는 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법의 과정을 상세히 나타내는 블록도이다.
도 1 및 도 2를 참고하면 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법은 도로영상 획득단계(S100), 도로면 인식 및 분리단계(S200) 및 도로객체 인식단계(S300)를 포함하여 이루어진다.
상기 도로영상 획득단계(S100)에서는 스테레오카메라를 이용하여 도로 영상을 획득한다. 스테레오카메라를 이용하여 획득한 도로영상에는 도로의 왼쪽 컬러 영상, 오른쪽 컬러 영상 및 디스패리티 맵이 포함된다.
도로면 인식 및 분리단계(S200)에서는 도로영상 획득단계(S100)에서 획득된 도로영상으로부터 도로면을 인식하고 분리한다.
이때 도로면 인식 및 분리단계(S200)는 디스패리티 맵과 기준 디스패리티 맵을 이용하여 도로 영역을 분리하는 단계(S210)와 분리된 도로면에 해당하는 입력 영상으로부터 적응적 이진화를 통해 도로면의 특징을 분리하는 단계(S220)로 이루어진다.
도로객체 인식단계(S300)에서는 도로면 인식 및 분리단계(S200)에서 분리된 도로면에서 도로객체를 인식한다.
상기 도로객체 인식단계(S300)는, 특징점 추출단계(S310), 직선 검출 단계(S320) 및 객체 인식단계(S330)로 진행된다.
즉, 상기 도로 객체의 정보를 이용하여 도로객체의 특징점을 추출하고 추출된 도로객체의 특징점을 이용하여 직선을 검출하며 상기 검출된 직선 중에서 도로 객체를 인식한다.
이때 상기 직선 검출단계에서는 상기 추출된 도로객체의 특징점에 대해 랜삭(RANSAC) 알고리즘을 적용하여 직선을 검출하는 것이 바람직하다. 한편, 객체 인식단계에서는 상기 검출된 직선 중에서 차선, 정지선, 횡단보도 또는 방향지시선과 같은 각각의 객체가 가질 수 있는 방향성과 기울기를 이용하여 도로의 객체를 인식하게 된다.
이하에서는 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법의 과정을 구체적으로 살펴보기로 한다.
도로 면에 인쇄된 객체는 차선, 정지선, 횡단보도, 방향지시선 등이 있으며, 자율주행 차량의 주행 판단에 매우 중요한 요소로 도로 전방에 차량의 유무와 관계없이 안정적으로 검출이 되어야만 자율 주행이 가능하다.
전방에 주행 중인 차량을 포함하는 도로 영상에서 도로 만을 분리하기 위해서는 차량 전방의 공간에 대한 3D 정보가 있으면 된다. 즉, 도로는 평면이고, 도로 위에 있는 차량은 도로 면에서 돌출되어 있으므로 도로의 3D 정보를 알면 차량을 손쉽게 제거할 수 있다. 물론 차량의 색상과 도로의 색상이 다른 점을 이용할 수도 있으나, 차량의 색상이 도로와 유사한 경우 또는 야간에 색상 정보가 부족한 경우에는 도로 분리가 쉽지 않다.
사람의 경우는 두 눈을 통해 얻은 좌 우 시각 양안 시차 정보를 뇌의 시각피질 2번째 단계에서 자동 처리하여 공간의 3D를 인지하게 된다. 두 눈은 서로 약간 떨어져 있어 동일한 사물을 바라볼 때 거리에 따라 다른 양안 시차를 가진다. 좌 우 양안 시차는 동일한 물체에 대하여 좌우로 약간 떨어져 있는 눈의 위치로 인해 발생하는 것으로 가까운 물체가 멀리 떨어져 있는 물체보다 양안시차가 크다.
도 3은 본 발명에 따른 도로객체 인식장치의 스테레오 카메라 및 스테레오 카메라로부터 획득한 영상을 나타내는 도면이다.
도 3의 (a) 및 (b)에 도시된 바와 같이 차량용 스테레오카메라는 사람의 눈과 마찬가지로 공간적으로 약간 떨어진 거리에 두 개의 카메라가 위치하며, 두 대의 카메라를 이용하여 도로의 왼쪽영상(c) 및 오른쪽 영상(d)을 획득한다. 이때 두 개의 카메라로부터 얻은 영상은 거리에 따라서 다른 양안 시차 값을 가진다. 이러한 양안 시차를 디스패리티 (disparity)라고 하며, 영상의 모든 점(픽셀)에 대하여 양안 시차 값을 계산한 것을 디스패리티맵(Disparity map) 이라고 부른다. 즉, 디스패리티맵(e)은 영상에 포함된 모든 픽셀의 디스패리티, 즉 양안시차 영상을 의미한다.
디스패리티맵은 보통 "D" 로 표시하며, 카메라에서 물체까지의 거리 (z), 좌우 카메라 사이의 거리 (B : baseline), 렌즈 초점거리 (F : focal length)와 다음 식의 관계를 가진다.
Z = B x F / D. - 식 (1)
즉, 디스패리티(D) 값이 커지면 카메라에서 물체까지의 거리(Z) 값은 작아진다. 밝기 값으로 표현된 디스패리티 맵 영상에서 밝은 부분 (큰 디스패리티 값)이 어두운 부분 (작은 디스패리티 값)보다 카메라에 가깝다는 의미를 가진다. 실제 도로 영상에서 얻은 디스패리티 맵은 도로 위에 차량이 존재하는 경우 차량에 해당하는 부분의 디스패리티 값이 차량이 가린 부분에 해당하는 디스패리티 값보다 더 밝게 나타난다. 도로 면에 해당하는 디스패리티 밝기 값보다 더 밝은 부분은 차량에 해당한다고 판단할 수 있다. 즉, 도로 면이 가질 수 있는 디스패리티 값 보다 더 큰 부분을 제거하면 도로 영역을 용이하게 분리할 수 있다.
도 4는 본 발명에 따른 도로객체 인식장치의 스테레오 카메라의 출력영상과 도로면을 분리한 영상을 나타내는 도면이다.
도 4를 참조하여 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법의 도로면 인식 및 분리단계(S200)를 설명하기로 한다.
도 4에 도시된 바와 같이 디스패리티 값은 영상의 모든 픽셀에서 값을 가지며, 가까이 있는 물체일수록 더 큰 값을 가지고, 밝게 표현된다. 디스패리티맵으로부터 카메라에서 물체까지의 거리는 식 1을 이용하여 계산할 수 있다.
차량용 스테레오카메라를 이용하여 왼쪽, 오른쪽, 디스패리티맵을 획득한 후, 디스패리티맵을 이용하여 도로면을 인식하고, 인식된 결과를 왼쪽 컬러 영상 (또는 오른쪽 컬러 영상)에 적용하여 도로 면의 컬러 영상을 분리한다. 이때 노면 분리 순서는 다음과 같이 진행한다.
먼저 차량에 고정 장착된 스테레오카메라로부터 디스패리티맵을 얻는다. 차량에서 가까운 지점의 디스패리티 값 (d_min, y_min) 과 멀리 떨어진 지점의 디스패리티 값 (d_max, y_max)를 구한 후 가상의 기준 디스패리티맵(Reference disparity map)을 계산한다
기준 디스패리티맵은 차량에서 가까운 지점 및 먼 지점의 픽셀 좌표 및 실제 스테레오카메라를 이용하여 얻은 도로의 디스패리티맵 영상으로부터 사용자가 임의로 선택하여 구하며, 동일한 차량에 대하여 차량에 스테레오카메라를 고정하고 칼리브레이션 작업을 할 때 1회만 수행하면 된다.
가상의 기준 디스패리티 맵(Reference Disparity Map) 영상과 스테레오카메라 출력 디스패리티맵의 차이를 계산한 후 스테레오카메라 출력 디스패리티 맵(D)이 기준 디스패리티맵(D_ref) 보다 큰 경우 영상을 제거하고 남은 부분을 도로 면으로 판단한다.
(D - D_ref) > 0 인 경우 제거.
즉 거리에 따라서 계산될 수 있는 디스패리티 값이 기준치를 초과한 경우 초과한 지점에 해당하는 부분은 도로보다 카메라에 가깝다는 뜻이므로, 이 부분은 도로가 아닌 차량이라고 판단할 수 있다. 이어서 도로 면에 해당하는 영역에 포함된 입력 컬러 영상을 도로 입력 영상으로 사용하여 도로 객체를 인식한다.
도 5는 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법에 적용된 적응적 이진화 계산의 블록도 및 영상에 적용된 실시예를 나타내는 도면이고 도 6은 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법에서 랜삭 알고리즘을 이용하여 차선을 인식하는 것을 나타내는 도면이다.
도 5 및 도 6을 참조하여 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법의 도로객체 인식단계(S300)를 설명하기로 한다.
입력 영상에서 도로 면을 분리한 후엔 분리된 도로 영상에서 도로 객체를 인식하기 위한 과정을 진행한다. 도로 객체 인식 알고리즘은 여러 방법이 존재하며, 본 특허에서는 입력 영상의 적응적 이진화 (adaptive binarization), 객체 두께 필터링을 통한 특징점 추출 (feature extraction), 직선 및 라인 피팅, 이전 측정 결과 이용 등의 과정을 이용한다.
도로객체 인식단계(S300)는 상기 도로 객체의 정보를 이용하여 도로객체의 특징점을 추출하는 특징점 추출단계(S310), 상기 추출된 도로객체의 특징점을 이용하여 직선을 검출하는 직선 검출 단계(S320) 및 상기 검출된 직선 중에서 객체를 인식하는 객체 인식단계(S330)를 포함한다.
특징점 추출단계(S310)는 도로 객체를 인식하기 위하여 도로 영상으로부터 특징점 추출을 위한 첫 단계로 영상의 이진화를 수행한다. 도로 영상의 경우 주간, 야간, 밝은 날, 흐린 날, 터널 내부, 해질녘, 비오는 날씨 등의 다양한 환경에 따라 영상의 밝기가 동일하지 않고, 동일한 영상 내에서도 그림자가 있는 등 도로 면의 밝기가 균일하지 않다. 이 경우 일반적인 이진화를 적용하면 도로 면의 밝기 상태에 따라 차선 등의 특징을 분리해 낼 수가 없게 된다.
본 특허에서는 조명 변화에 강건한 적응적 이진화(Adaptive binarization) 방법을 이용하였다. 도 5의 (a)에는 적응적 이진화 계산 블록도가 도시되어 있고 도 5의 (b) 및 (c)에는 적응적 이진화를 문서 및 도로에 적용한 예가 도시되어 있다. 적응적 이진화(Adaptive binarization)의 알고리즘은 종래의 것으로 상세한 설명은 생략하기로 한다.
도로 면에 대한 적응적 이진화 과정을 거친 후에 도로 인식을 위한 주요한 특징점을 추출하여야 한다. 영상에서 특징점은 인식하고자 하는 대상을 배경과 분리하여 가장 잘 표현할 수 있는 특별한 특징을 의미하며, 정지선, 횡단보도, 차선의 경우는 선의 굵기 정보와 색상, 간격, 직선의 방향 등이 주요한 특징이 될 수 있다.
본 특허에서는 도로 면을 적응적 이진화 과정을 거친 후 거리에 따른 굵기 정보를 활용하여 차선, 정지선, 방향지시선, 횡단보도와 같은 도로 객체를 인식하기 위한 기초 특징점을 추출한다.
도 6의 (a)는 랜삭 알고리즘을 이용한 직선 검출의 일반적인 예를 나타내는 도면이고, 도 6의 (b)는 직선 차선 검출을 위한 특징점 데이터 및 랜삭 알고리즘을 이용한 차신 인식의 예를 나타내는 도면이다.
입력 영상으로부터 특징점을 추출한 후 도로 객체 인식을 위한 가장 중요한 정보로 직선 식을 계산한다. 직선 식은 차선, 정지선, 횡단보도에 공통으로 사용되는 중요한 정보이다. 차선의 경우 차량의 진행 방향에 대하여 직선의 기울기가 왼편은 플러스(+), 오른쪽은 마이너스(-)가 되며, 정지선의 경우는 기울기가 제로(0)에 가까운 점 등의 특성을 인식에 사용할 수 있다.
직선 검출 알고리즘은 휴 변환 (Hough Transform), 랜삭(RANSAC : Random Sample Consensus) 방식 등이 있으며, 본 과제에서는 랜삭(RANSAC) 알고리즘을 적용하였다. RANSAC 알고리즘을 이용하여 직선을 찾는 예가 도 6에 도시되어 있다.
이어서 객체를 인식하기 위해서는 도로 객체의 물리적인 특징을 활용하여야 한다. 예를 들자면 차선의 경우는 원근법으로 인해 가늘어지고 동시에 서로 만나는 점이 존재할 수 있다. 객체 별 특징을 요약하면 다음과 같다.
차선의 경우 차선의 굵기, 차선사이의 거리, 차선의 색상과 방향등이 특징이 될 수 있다. 차선의 색상에는 흰색, 노란색, 파란색 등이 적용될 수 있고 차선의 방향은 왼쪽 방향인 경우 플러스, 오른쪽 방향인 경우 마이너스를 적용할 수 있다.
정지선의 경우 선의 굵기, 선의 색상, 방향 및 위치 등이 특징이 될 수 있다. 정지선의 색상은 흰색, 기울기는 0(제로)에 가깝고 위치는 횡단보도 앞 등으로 특정될 수 있다. 횡단보도의 경우 선의 굵기, 선의 색상, 방향 및 위치 등이 특징이 될 수 있다.
방향지시선 : 직진, 좌회전, 우회전, 직진좌회전, 직진우회전 및 유턴 등의 방향표시와 선의 색상과 굵기 및 위치 등이 특징이 될 수 있다.
도 7은 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식방법에 의해 도로 객체를 인식하는 실시예를 나타내는 도면으로 차선(a), 횡단보도(b) 및 정지선(c)을 인식한 결과를 나타내고 있다.
도 8은 다양한 도로 환경에서 스테레오 카메라로 획득한 도로의 왼쪽영상과 오른쪽 컬러 영상 및 디스패리티 맵을 나타내는 도면이다.
도 8의 (a)는 주간 맑은 날씨에 전방에 차량이 존재하는 경우의 영상 및 디스패리티 맵이고, 도 8의 (b)는 주간 맑은 날씨에 전방에 차량 및 그림자가 존재하는 경우의 영상 및 디스패리티 맵이다.
도 8의 (c)는 터널내에서 백색광의 중간 밝기의 조명하에서의 영상 및 디스패리티 맵이고, 도 8의 (d)는 터널내에서 적색광의 밝은 조명하에서 전방에 차량이 존재하는 경우의 영상 및 디스패리티 맵이며, 도 8의 (e)는 적색광의 밝은 조명의 터널에서 벗어나는 경우의 영상 및 디스패리티 맵이다.
한편, 본 발명에 따른 스테레오카메라를 이용한 도로객체 인식장치는 스테레오 카메라, 상기 스테레오 카메라를 이용하여 도로 영상을 획득하는 도로영상 획득부, 상기 획득된 도로영상으로부터 도로면을 인식하고 분리하는 도로면 인식 및 분리부 및 상기 분리된 도로면에서 도로객체를 인식하는 도로객체 인식부를 포함한다.
상기 도로영상 획득부는 상기 스테레오 카메라를 이용하여 도로의 왼쪽 컬러 영상, 오른쪽 컬러 영상 및 디스패리티 맵을 실시간으로 획득한다.
상기 도로면 인식 및 분리부는 상기 디스패리티 맵과 기준 디스패리티 맵을 이용하여 도로 영역을 분리하고 분리된 도로면에 해당하는 입력 영상으로부터 적응적 이진화를 통해 도로면의 특징을 분리한다.
상기 도로객체 인식부는 상기 도로 객체의 굵기와 컬러 정보를 이용하여 도로객체의 특징점을 추출하고, 상기 추출된 도로객체의 특징점에 대해 랜삭(RANSAC) 알고리즘을 이용하여 직선을 검출하며 상기 검출된 직선 중에서 차선, 정지선, 횡단보도 또는 방향지시선을 포함하는 각각의 객체가 가질 수 있는 방향성과 기울기 정보를 이용하여 객체를 인식한다.
한편, 본 발명에 대한 연구는 미래창조과학부 및 정보통신기술진흥센터의 정보통신 및 방송 연구개발 사업의 일환으로 진행되었다.(2016-0-00004, 스마트카의 자율주행을 위한 실시간 센싱융합처리가 가능한 커넥티드 드라이빙 컴퓨팅 시스템 기술개발)
본 발명은 도면들에 도시된 실시 예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이들로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (8)

  1. 스테레오카메라를 이용하여 도로 영상을 획득하는 도로영상 획득단계;
    상기 획득된 도로영상으로부터 도로면을 인식하고 분리하는 도로면 인식 및 분리단계; 및
    상기 분리된 도로면에서 도로객체를 인식하는 도로객체 인식단계;를 포함하되,
    상기 도로영상 획득단계는
    상기 스테레오 카메라를 이용하여 도로의 왼쪽 컬러 영상, 오른쪽 컬러 영상 및 디스패리티 맵을 실시간으로 획득하는 단계이고,
    상기 도로면 인식 및 분리단계는
    상기 디스패리티 맵과 기준 디스패리티 맵을 이용하여 도로 영역을 분리하는 단계; 및
    분리된 도로면에 해당하는 입력 영상으로부터 적응적 이진화를 통해 도로면의 특징을 분리하는 단계;를 포함하는 것을 특징으로 하는 스테레오카메라를 이용한 도로객체 인식방법.
  2. 제 1항에 있어서, 상기 도로객체 인식단계는
    상기 도로 객체의 정보를 이용하여 도로객체의 특징점을 추출하는 특징점 추출단계; 및
    상기 추출된 도로객체의 특징점을 이용하여 직선을 검출하는 직선 검출 단계; 및
    상기 검출된 직선 중에서 객체를 인식하는 객체 인식단계;를 포함하는 것을 특징으로 하는 스테레오카메라를 이용한 도로객체 인식방법.
  3. 제 2항에 있어서, 상기 특징점 추출단계는
    상기 도로 객체의 굵기와 컬러 정보를 이용하여 도로객체의 특징점을 추출하는 단계인 것을 특징으로 하는 스테레오카메라를 이용한 도로객체 인식방법.
  4. 제 2항에 있어서, 상기 직선 검출단계는
    상기 추출된 도로객체의 특징점에 대해 랜삭(RANSAC) 알고리즘을 이용하여 직선을 검출하는 단계인 것을 특징으로 하는 스테레오카메라를 이용한 도로객체 인식방법.
  5. 제 2항에 있어서, 상기 객체 인식단계는
    상기 검출된 직선 중에서 각각의 객체가 가질 수 있는 방향성과 기울기를 이용하여 객체를 인식하는 단계인 것을 특징으로 하는 스테레오카메라를 이용한 도로객체 인식방법.
  6. 제 5항에 있어서, 상기 각각의 객체는
    차선, 정지선, 횡단보도 또는 방향지시선을 포함하는 것을 특징으로 하는 스테레오카메라를 이용한 도로객체 인식방법.
  7. 스테레오 카메라;
    상기 스테레오 카메라를 이용하여 도로 영상을 획득하는 도로영상 획득부;
    상기 획득된 도로영상으로부터 도로면을 인식하고 분리하는 도로면 인식 및 분리부; 및
    상기 분리된 도로면에서 도로객체를 인식하는 도로객체 인식부;를 포함하되,
    상기 도로영상 획득부는 상기 스테레오 카메라를 이용하여 도로의 왼쪽 컬러 영상, 오른쪽 컬러 영상 및 디스패리티 맵을 실시간으로 획득하고,
    상기 도로면 인식 및 분리부는 상기 디스패리티 맵과 기준 디스패리티 맵을 이용하여 도로 영역을 분리하고 분리된 도로면에 해당하는 입력 영상으로부터 적응적 이진화를 통해 도로면의 특징을 분리하는 것을 특징으로 하는 스테레오카메라를 이용한 도로객체 인식장치.
  8. 제 7항에 있어서, 상기 도로객체 인식부는,
    상기 도로 객체의 굵기와 컬러 정보를 이용하여 도로객체의 특징점을 추출하고, 상기 추출된 도로객체의 특징점에 대해 랜삭(RANSAC) 알고리즘을 이용하여 직선을 검출하며 상기 검출된 직선 중에서 차선, 정지선, 횡단보도 또는 방향지시선을 포함하는 각각의 객체가 가질 수 있는 방향성과 기울기 정보를 이용하여 객체를 인식하는 것을 특징으로 하는 스테레오카메라를 이용한 도로객체 인식장치.
PCT/KR2017/011598 2016-12-02 2017-10-19 스테레오 카메라를 이용한 도로객체 인식방법 및 장치 WO2018101603A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/303,986 US20200320314A1 (en) 2016-12-02 2017-10-19 Road object recognition method and device using stereo camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0163754 2016-12-02
KR1020160163754A KR101748780B1 (ko) 2016-12-02 2016-12-02 스테레오 카메라를 이용한 도로객체 인식방법 및 장치

Publications (1)

Publication Number Publication Date
WO2018101603A1 true WO2018101603A1 (ko) 2018-06-07

Family

ID=59279145

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011598 WO2018101603A1 (ko) 2016-12-02 2017-10-19 스테레오 카메라를 이용한 도로객체 인식방법 및 장치

Country Status (3)

Country Link
US (1) US20200320314A1 (ko)
KR (1) KR101748780B1 (ko)
WO (1) WO2018101603A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021043285A1 (zh) * 2019-09-04 2021-03-11 深圳市道通智能航空技术有限公司 一种双目立体视差确定方法、装置及无人机

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102273355B1 (ko) * 2017-06-20 2021-07-06 현대모비스 주식회사 차량 주행 정보의 보정 장치 및 방법
KR20190061153A (ko) 2017-11-27 2019-06-05 (주) 비전에스티 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법
KR102063454B1 (ko) * 2018-11-15 2020-01-09 주식회사 넥스트칩 차량들 간의 거리를 결정하는 방법 및 그 방법을 수행하는 전자 장치
KR102119687B1 (ko) 2020-03-02 2020-06-05 엔에이치네트웍스 주식회사 영상 이미지 학습장치 및 방법
CN111290396A (zh) * 2020-03-12 2020-06-16 上海圭目机器人有限公司 一种管道检测无人船自动控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090049438A (ko) * 2007-11-13 2009-05-18 포항공과대학교 산학협력단 스테레오 영상을 이용한 사람 검출 방법
JP2010072973A (ja) * 2008-09-19 2010-04-02 Hitachi Automotive Systems Ltd 走行環境認識装置
KR20110119933A (ko) * 2010-04-28 2011-11-03 주식회사 아이티엑스시큐리티 스테레오 카메라를 이용한 영상인식장치 및 방법
KR20120104711A (ko) * 2011-03-14 2012-09-24 주식회사 아이티엑스시큐리티 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법
KR20140103441A (ko) * 2013-02-18 2014-08-27 주식회사 만도 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090049438A (ko) * 2007-11-13 2009-05-18 포항공과대학교 산학협력단 스테레오 영상을 이용한 사람 검출 방법
JP2010072973A (ja) * 2008-09-19 2010-04-02 Hitachi Automotive Systems Ltd 走行環境認識装置
KR20110119933A (ko) * 2010-04-28 2011-11-03 주식회사 아이티엑스시큐리티 스테레오 카메라를 이용한 영상인식장치 및 방법
KR20120104711A (ko) * 2011-03-14 2012-09-24 주식회사 아이티엑스시큐리티 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법
KR20140103441A (ko) * 2013-02-18 2014-08-27 주식회사 만도 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021043285A1 (zh) * 2019-09-04 2021-03-11 深圳市道通智能航空技术有限公司 一种双目立体视差确定方法、装置及无人机

Also Published As

Publication number Publication date
KR101748780B1 (ko) 2017-06-19
US20200320314A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
WO2018101603A1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
CN109034047B (zh) 一种车道线检测方法及装置
EP2282295B1 (en) Object recognizing device and object recognizing method
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
EP2600329B1 (en) External environment recognition device for vehicle, and light distribution control system using same
JP2020098188A (ja) 障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体
US11004233B1 (en) Intelligent vision-based detection and ranging system and method
CN104509100B (zh) 三维物体检测装置以及三维物体检测方法
WO2015105239A1 (ko) 차량 및 차선 위치 검출 시스템 및 방법
US10180318B2 (en) Stereo camera apparatus, vehicle provided with stereo camera apparatus, and non-transitory recording medium
KR20170104287A (ko) 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법
US20170300764A1 (en) Travel Route Recognition Device, and Travel Assistance System Using Same
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2019124668A1 (ko) 도로노면 위험 정보를 제공하는 인공지능 시스템 및 그 방법
CN110088801A (zh) 可行驶区域检测装置以及行驶辅助系统
CN114556249A (zh) 用于预测车辆轨迹的系统和方法
JP2015194397A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP2009301495A (ja) 画像処理装置及び画像処理方法
KR20080004833A (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
WO2013022153A1 (en) Apparatus and method for detecting lane
JP2002321579A (ja) 警告情報生成方法及び車両側方映像生成装置
CN116403191A (zh) 一种基于单目视觉的三维车辆跟踪方法、装置和电子设备
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법
CN107292818B (zh) 一种基于环视相机的捕线器自动定位系统及方法
WO2020204350A2 (ko) 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17876164

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17876164

Country of ref document: EP

Kind code of ref document: A1