KR101190789B1 - Apparatus and method for measurementing distance of vehicle - Google Patents
Apparatus and method for measurementing distance of vehicle Download PDFInfo
- Publication number
- KR101190789B1 KR101190789B1 KR1020100138797A KR20100138797A KR101190789B1 KR 101190789 B1 KR101190789 B1 KR 101190789B1 KR 1020100138797 A KR1020100138797 A KR 1020100138797A KR 20100138797 A KR20100138797 A KR 20100138797A KR 101190789 B1 KR101190789 B1 KR 101190789B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- distance
- pixel
- vehicle
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000006073 displacement reaction Methods 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/30—Interpretation of pictures by triangulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 카메라를 통해 차량의 주행방향 또는 역방향을 촬영한 과거의 이미지와 현재의 이미지를 이용하여 차량으로부터 주변 물체까지의 거리를 측정하는 차량의 거리 측정 장치 및 방법을 제공하는 것을 목적으로 한다. 이를 위해 차량에 설치되어 상기 차량의 주행 방향 또는 역방향의 이미지를 촬영하는 하나의 카메라; 상기 카메라가 촬영한 현재 이미지와 일정 시간 전에 촬영한 과거 이미지를 이미지 프로세싱하여 현재 이미지와 과거 이미지에서 유사한 특성을 갖는 임의의 픽셀중 변위가 발생한 현재의 픽셀과 과거의 픽셀을 검출하고, 상기 검출된 픽셀을 현재 이미지상에서 매칭시켜 두 픽셀 간의 이동 변위를 검출하여 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 제공받아 상기 검출된 이동 변위에 대응하는 이동 거리를 산출하며, 상기 산출된 이동 거리와 상기 현재 이미지상에서 미리 설정된 기준점 픽셀이 상기 검출된 픽셀과 이루는 삼각형 정보에 근거하여 상기 기준점 픽셀로부터 현재 픽셀까지의 거리를 산출하는 제어부; 및 상기 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 제어부로 제공하는 운행 정보 검출부를 포함한다. 따라서 카메라를 통해 차량의 주행방향 또는 역방향을 촬영한 과거의 이미지와 현재의 이미지를 이용하여 차량으로부터 주변 물체까지의 거리를 측정하여 제공할 수 있는 장점이 있다.An object of the present invention is to provide a distance measuring apparatus and method of a vehicle for measuring the distance from the vehicle to the surrounding objects using the past image and the current image photographing the driving direction or the reverse direction of the vehicle through a camera. To this end, a camera installed in the vehicle for taking an image of the driving direction or the reverse direction of the vehicle; Image processing of the current image photographed by the camera and a past image photographed a certain time ago to detect a current pixel and a past pixel in which a displacement has occurred among any pixels having similar characteristics in the current image and the past image, and the detected Matching the pixels on the current image to detect the movement displacement between the two pixels to receive the driving information including steering angle information, distance information and speed information from the vehicle to calculate the movement distance corresponding to the detected movement displacement, the calculated movement A controller configured to calculate a distance from the reference point pixel to the current pixel based on a distance and triangle information of a reference point pixel preset on the current image with the detected pixel; And a driving information detector for detecting driving information including steering angle information, distance information, and speed information from the vehicle and providing the driving information to the controller. Therefore, there is an advantage in that the distance from the vehicle to the surrounding objects can be measured and provided by using the image of the past and the current image photographing the driving direction or the reverse direction of the vehicle through the camera.
Description
본 발명은 차량의 거리 측정 장치 및 방법에 관한 발명으로서, 더욱 상세하게는 카메라를 통해 차량의 주행방향 또는 역방향을 촬영한 과거의 이미지와 현재의 이미지를 이용하여 사각지대를 포함한 차량으로부터 주변 물체까지의 거리를 측정하는 차량의 거리 측정 장치 및 방법에 관한 것이다.
The present invention relates to a distance measuring apparatus and method of a vehicle, and more particularly, from a vehicle including a blind spot to a surrounding object using a past image and a current image photographing a driving direction or a reverse direction of the vehicle through a camera. An apparatus and method for measuring a distance of a vehicle are provided.
일반적으로 자동차의 사고를 사전에 예방하기 위하여 개발되는 충돌 방지 장치들은 대부분 빛을 이용한 비접촉방식으로 전방 물체 또는 후방 물체와의 거리를 인식함으로써, 차량과 물체와의 거리가 안전거리 이하로 인식되면 운전자에게 경보음을 출력하거나 제동 장치를 동작시켜 차량의 사고를 예방한다.In general, collision avoidance devices developed to prevent accidents in cars are mostly non-contact using light to recognize the distance between the front and rear objects, so that when the distance between the vehicle and the object is less than the safety distance, the driver Alarm sound or brake system is activated to prevent vehicle accident.
이러한 비접촉방식을 이용한 거리 인식 수단은 주로 레이저 광이나 초음파 신호 등을 이용하여 후방에 배치된 물체까지의 거리 또는 후방에서 접근하는 차량까지의 거리 정보를 측정한다.The distance recognition means using the non-contact method mainly measures the distance to an object disposed in the rear or the distance to the vehicle approaching from the rear using a laser light or an ultrasonic signal.
그러나 이러한 비접촉방식의 거리 인식 수단은 주로 차량의 전방 또는 후방의 범퍼에 위치하고 있어서 거리 인식 수단이 물체를 지나치거나 사각지대에 물체가 위치하는 경우 해당 물체까지의 거리 정보 또는 차량까지의 거리 정보를 측정할 수 없는 문제점이 있다.However, such a non-contact distance recognition means is mainly located on the bumper in front or rear of the vehicle, so if the distance recognition means passes the object or the object is located in a blind spot, the distance information to the object or the distance information to the vehicle is measured. There is a problem that cannot be done.
한편, 최근에는 주차를 보조하기 위한 주차 보조 장치들이 차량에 장착되어 보급되고 있으며, 이러한 주차 보조 장치들은 차량이 이동하는 동안 목표 트랙과 차량의 현재 위치 사이의 관계를 실시간으로 감시하여 차량을 목표 위치로 자동유도한다.Recently, parking aids for assisting parking are being installed and distributed in a vehicle, and these parking aids monitor the relationship between the target track and the current position of the vehicle in real time while the vehicle is moving to target the vehicle. Automatic induction.
일반적으로 현재의 차량 위치 추정은 스티어링 휠의 조향 각도를 검출하는 각도 센서와 바퀴의 회전을 검출하는 휠 센서와 속도 센서 등에 의해 검출된 조향각과 이동 거리를 기초로 한다.In general, current vehicle position estimation is based on a steering angle and a movement distance detected by an angle sensor detecting a steering angle of a steering wheel, a wheel sensor detecting a rotation of a wheel, a speed sensor, and the like.
그러나, 조향각이 목표 조향각에 따라 정밀하게 제어되는 경우에도 추정되는 차량의 위치와 실제 차량의 위치 사이에 차이가 존재하고, 이러한 차이로 인하여 차량이 엉뚱한 곳으로 유도되어 추돌 등의 사고가 발생하게 된다. However, even when the steering angle is precisely controlled according to the target steering angle, there is a difference between the estimated position of the vehicle and the actual position of the vehicle, and the difference causes the vehicle to be led to the wrong place and an accident such as a collision occurs. .
또한, 미끄러운 노면에서는 차량이 주행중이거나 또는 차량을 주차하는 중에 노면과 차량의 바퀴 사이에 슬립이 발생하여 추정에 의한 이동 거리와 실제 이동 거리에 차이가 발생하게 되어 장애물의 감지가 곤란하고 차량의 위치 추정이 어려운 문제점이 있다.
In addition, on slippery road surfaces, slippage occurs between the road surface and the wheels of the vehicle while the vehicle is driving or parking the vehicle, resulting in a difference between the estimated moving distance and the actual moving distance. There is a problem that is difficult to estimate.
이러한 문제점을 해결하기 위하여, 본 발명은 카메라를 통해 차량의 주행방향 이미지 또는 역방향 이미지를 촬영한 과거의 이미지와 현재의 이미지를 이용하여 사각지대를 포함한 차량으로부터 주변 물체까지의 거리를 측정하는 차량의 거리 측정 장치 및 방법을 제공하는 것을 목적으로 한다.
In order to solve this problem, the present invention is to measure the distance from the vehicle including the blind spot to the surrounding object by using the past image and the current image of the driving direction image or reverse image of the vehicle through the camera It is an object to provide a distance measuring device and method.
상기한 목적을 달성하기 위하여 본 발명은 차량의 거리 측정 장치로서,In order to achieve the above object, the present invention provides a vehicle distance measuring apparatus,
차량에 설치되어 이미지를 촬영하는 하나의 카메라; 상기 카메라가 임의의 시점에서 촬영한 제 2 이미지와 미리 설정된 일정 시간 전에 촬영한 제 1 이미지를 이미지 프로세싱하여 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀을 검출하고, 상기 검출된 픽셀을 매칭시켜 두 픽셀 간의 이동 변위를 검출하여 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 제공받아 상기 검출된 이동 변위에 대응하는 이동 거리를 산출하며, 상기 산출된 이동 거리와 상기 제 2 이미지상에서 미리 설정된 기준점 픽셀이 상기 검출된 픽셀과 이루는 삼각형 정보에 근거하여 상기 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출하는 제어부; 및 상기 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 제어부로 제공하는 운행 정보 검출부를 포함한다.One camera installed in the vehicle to take an image; The camera image-processes the second image photographed at an arbitrary time point and the first image photographed before a predetermined time, and performs the processing of the pixels of the first image and the pixels of the second image having a displacement among any pixels having similar characteristics. Detect the movement displacement between the two pixels by matching the detected pixels, and receive driving information including steering angle information, distance information, and speed information from the vehicle to calculate a movement distance corresponding to the detected movement displacement; A controller configured to calculate a distance from the reference point pixel to the second image pixel based on the calculated moving distance and triangle information that the reference point pixel preset on the second image forms the detected pixel; And a driving information detector for detecting driving information including steering angle information, distance information, and speed information from the vehicle and providing the driving information to the controller.
또한, 본 발명에 따른 상기 제어부는 일정 시간 경과 후에 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면, 제 1 및 제 2 이미지 픽셀 간의 이동 변위를 추정하여 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 것을 특징으로 한다.In addition, the control unit according to the present invention, if the second image pixel is located in a blind spot not visible beyond the shooting range of the camera after a predetermined time, the second image pixel by estimating the movement displacement between the first and second image pixels It is characterized by providing the estimated distance to provide.
또한, 본 발명에 따른 상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 한다.In addition, the estimated distance to the second image pixel according to the present invention is calculated based on the relative speed of the second image pixel estimated by the speed of the vehicle and the movement displacement.
또한, 본 발명은 차량의 거리 측정 장치로서,In addition, the present invention is a vehicle distance measuring device,
차량에 설치되어 이미지를 촬영하는 복수의 카메라; 및 상기 카메라가 임의의 시점에 촬영한 제 2 이미지와 미리 설정된 일정 시간 전에 촬영한 제 1 이미지를 각각 스테레오 비전을 이용한 이미지 프로세싱을 수행하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 검출하고, 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면 상기 제 1 및 제 2 이미지 픽셀 간의 이동 변위를 추정하여 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 제어부를 포함한다.A plurality of cameras installed in the vehicle to take an image; And performing image processing using stereo vision, respectively, on the second image photographed by the camera at an arbitrary time point and the first image photographed before a predetermined time, and random pixels having similar characteristics in the first and second images. Detects a displacement between the pixel of the first image and the second image pixel in which the displacement occurs, and if the second image pixel is located in a blind spot out of the camera's shooting range, the displacement of the displacement between the first and second image pixels And a controller for estimating a and calculating and providing an estimated distance to the second image pixel.
또한, 본 발명에 따른 상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 한다.In addition, the estimated distance to the second image pixel according to the present invention is calculated based on the relative speed of the second image pixel estimated by the speed of the vehicle and the movement displacement.
또한, 본 발명에 따른 상기 카메라는 룸미러, 전조등, 라디에이터 그릴, 차량의 실내측 전/후방, 차량의 좌/우측 차체의 측면, 사이드 미러, 후미등, 트렁크 덮개 및 리어 스포일러 중 적어도 어느 하나에 설치되는 것을 특징으로 한다.In addition, the camera according to the present invention is installed on at least one of a room mirror, a headlight, a radiator grill, a front / rear of a vehicle interior, a side of a vehicle body, a side mirror, a rear light, a trunk cover, and a rear spoiler. It is characterized by.
또한, 본 발명은 차량의 거리 측정 방법으로서,In addition, the present invention is a distance measuring method of the vehicle,
a) 제어부가 카메라에서 일정 시간 이전에 촬영한 제 1 이미지 정보를 검출하는 단계; b) 상기 제어부가 상기 카메라에서 임의의 시점에 촬영한 제 2 이미지 정보를 검출하는 단계; c) 상기 제어부가 상기 카메라가 촬영한 제 1 및 제 2 이미지를 이미지 프로세싱하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀을 각각 검출하고, 상기 검출된 픽셀을 매칭 시켜 두 픽셀 간의 이동 변위를 검출하는 단계; d) 상기 제어부가 운행 정보 검출부를 통해 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하는 단계; 및 e) 상기 제어부가 상기 c) 단계에서 검출한 이동 변위에 대응하는 이동 거리를 상기 d) 단계에서 검출한 운행 정보에 근거하여 산출하고, 상기 산출된 이동 거리와 상기 제 2 이미지상에서 미리 설정된 기준점 픽셀이 상기 검출된 픽셀과 이루는 삼각형 정보에 근거하여 상기 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출하는 단계를 포함한다.a) detecting, by the control unit, first image information photographed before a predetermined time by the camera; b) detecting, by the control unit, second image information captured by the camera at any point in time; c) the control unit performs image processing on the first and second images photographed by the camera so that any one of the pixels having a displacement among the pixels having similar characteristics in the first and second images has occurred; Respectively detecting and detecting the shift displacement between the two pixels by matching the detected pixels; d) detecting, by the controller, driving information including steering angle information, distance information, and speed information from the vehicle through the driving information detection unit; And e) calculating a moving distance corresponding to the moving displacement detected by the controller in step c) based on the driving information detected in step d), and setting a preset reference point on the calculated moving distance and the second image. Calculating a distance from the reference point pixel to the second image pixel based on the triangle information that the pixel makes with the detected pixel.
또한, 본 발명에 따른 상기 e) 단계는 일정 시간 경과 후에 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하는 경우 제 1 이미지 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 추정하여 상기 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 단계를 더 포함하는 것을 특징으로 한다.Also, the step e) according to the present invention may estimate the displacement of the displacement between the first image pixel and the second image pixel when the second image pixel is located in the invisible blind spot outside the photographing range of the camera. And calculating and providing an expected distance to the second image pixel.
또한, 본 발명은 과거 이미지와 현재 이미지를 이용한 거리 측정 방법으로서,In addition, the present invention is a distance measuring method using the past image and the current image,
i) 제어부가 복수의 카메라에서 일정 시간 이전에 촬영한 제 1 이미지 정보를 검출하는 단계; ii) 상기 제어부가 상기 복수의 카메라에서 임의의 시점에 촬영한 제 2 이미지 정보를 검출하는 단계; iii) 상기 제어부는 상기 카메라가 촬영한 제 1 및 제 2 이미지를 각각 스테레오 비전을 이용한 이미지 프로세싱을 수행하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀까지의 거리와 두 픽셀 간의 이동 변위를 검출하는 단계; 및 iv) 상기 제어부가 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면 상기 제 1 이미지 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 추정하여 상기 제 2 이미지 픽셀까지의 예상 거리를 산출하는 단계를 포함한다.i) detecting, by the control unit, first image information captured by the plurality of cameras before a predetermined time; ii) detecting, by the control unit, second image information captured by the plurality of cameras at an arbitrary time point; iii) the controller performs image processing using stereo vision on the first and second images photographed by the camera, respectively, to determine the displacement of the first image in which the displacement occurs in any pixel having similar characteristics in the first and second images. Detecting a distance between the pixel and the pixel of the second image and a displacement of movement between the two pixels; And iv) the controller estimates a displacement between the first image pixel and the second image pixel when the second image pixel is located in a blind spot not visible outside the photographing range of the camera, and estimates a distance to the second image pixel. Comprising the step of calculating.
또한, 본 발명에 따른 상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 한다.
In addition, the estimated distance to the second image pixel according to the present invention is calculated based on the relative speed of the second image pixel estimated by the speed of the vehicle and the movement displacement.
본 발명은 카메라를 통해 차량의 주행방향 또는 역방향을 촬영한 과거의 이미지와 현재의 이미지를 이용하여 사각지대를 포함한 차량으로부터 주변 물체까지의 거리를 측정하여 제공할 수 있는 장점이 있다.The present invention has an advantage of providing a distance from a vehicle including a blind spot to a surrounding object by using a past image and a current image photographing a driving direction or a reverse direction of the vehicle through a camera.
또한, 본 발명은 차량의 차체에 가려져 운전자의 시야 확보가 어려운 차량의 전방, 후방 및 측면의 사각 지대에 위치한 물체까지의 거리 정보를 운전자에게 제공할 수 있는 장점이 있다.
In addition, the present invention has the advantage that it is possible to provide the driver with the distance information to the object located in the blind spots of the front, rear and side of the vehicle that is obscured by the vehicle body of the vehicle is difficult to secure the driver's view.
도 1 은 본 발명에 따른 차량의 거리 측정 장치의 일 실시예를 나타낸 블록도.
도 2 는 도 1에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 예시도.
도 3 은 도 1에 따른 차량의 거리 측정 장치의 과거 이미지와 현재 이미지를 이용한 이미지 프로세싱을 나타낸 예시도.
도 4 는 도 3에 따른 이미지 프로세싱 결과를 통해 물체까지의 거리 측정을 나타낸 예시도.
도 5 는 도 1에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 흐름도.
도 6 은 본 발명에 따른 차량의 거리 측정 장치의 다른 실시예를 나타낸 블록도.
도 7 은 도 6에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 흐름도.1 is a block diagram showing an embodiment of an apparatus for measuring a distance of a vehicle according to the present invention;
2 is an exemplary view showing an operation process of the apparatus for measuring a distance of the vehicle according to FIG. 1;
3 is an exemplary view illustrating image processing using a past image and a current image of a distance measuring apparatus of a vehicle according to FIG. 1.
4 is an exemplary view showing a distance measurement to an object through the image processing result according to FIG.
5 is a flowchart illustrating an operation process of the apparatus for measuring a distance of the vehicle according to FIG. 1.
6 is a block diagram showing another embodiment of a distance measuring apparatus for a vehicle according to the present invention;
7 is a flowchart illustrating an operation process of a vehicle distance measuring apparatus according to FIG. 6.
이하, 첨부된 도면을 참조하여 본 발명에 따른 차량의 거리 측정 장치 및 방법의 바람직한 실시예를 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the vehicle distance measuring apparatus and method according to the present invention.
도 1은 본 발명에 따른 차량의 거리 측정 장치의 일 실시예를 나타낸 블록도이고, 도 2는 도 1에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 예시도이며, 도 3은 도 1에 따른 차량의 거리 측정 장치의 과거 이미지와 현재 이미지를 이용한 이미지 프로세싱을 나타낸 예시도이고, 도 4는 도 3에 따른 이미지 프로세싱 결과를 통해 물체까지의 거리 측정을 나타낸 예시도이며, 도 5는 도 1에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 흐름도이다.
1 is a block diagram showing an embodiment of a distance measuring apparatus of a vehicle according to the present invention, FIG. 2 is an exemplary view showing an operation process of the distance measuring apparatus of a vehicle according to FIG. 1, and FIG. 4 is an exemplary diagram illustrating image processing using a past image and a current image of a vehicle distance measuring apparatus. FIG. 4 is an exemplary diagram illustrating a distance measurement to an object through the image processing result of FIG. 3, and FIG. 5 is illustrated in FIG. 1. It is a flowchart showing the operation of the vehicle distance measuring apparatus according to the.
(제 1 실시예)(Embodiment 1)
도 1 내지 도 5에 나타낸 바와 같이, 본 발명의 제 1 실시예 따른 차량의 거리 측정 장치(100)는 카메라(110)와, 제어부(120)와, 운행 정보 검출부(130)를 포함하여 구성된다.1 to 5, the vehicle
상기 카메라(110)는 차량(200)에 설치되어 이미지를 촬영하여 출력하는 구성으로서, 주행중인 차량의 전방 또는 후방의 주변 영상을 촬영하고, 더욱 상세하게는 차량이 주행하는 방향의 영상 이미지 또는 상기 주행 방향의 역방향을 촬영한 영상 이미지를 출력한다.The
또한, 상기 카메라(110)는 차량의 실내에 설치된 룸미러(또는 룸미러의 전측면), 전조등 조립체의 내부, 라디에이터 그릴, 차량의 실내측 전/후방, 차량의 좌/우측 차체의 측면(예를 들면 좌/우측의 휀더), 차량의 양쪽 사이드 미러, 후미등, 트렁크 덮개 및 리어 스포일러 중 적어도 어느 하나에 설치되어 차량의 주행방향 또는 역방향의 주행 이미지를 촬영하여 제공한다.In addition, the
또한, 상기 카메라(110)는 CMOS 타입의 영상 센서, CCD 타입의 영상 센서 또는 제 3 타입의 영상 센서 중 어느 것을 사용해도 무방하다.In addition, the
상기 제어부(120)는 카메라(110)가 촬영한 현재 시점의 주행방향 이미지(또는 역방향 이미지)와 일정 시간 이전 과거에 촬영한 주행방향 이미지(또는 역방향 이미지)를 검출한다.The
예를 들면, 도 2와 같이 차량(200)이 전진하는 경우 상기 제어부(120)는 일정 시간 이전인 과거 시점의 위치에서 차량(200')에 설치된 카메라(110')를 통해 촬영한 과거의 후방 영역(B) 이미지(제 1 이미지)를 검출하여 메모리(미도시) 등의 저장수단에 저장하고, 이후 전진을 계속하여 일정 거리를 이동한 임의의 시점(이하, 설명의 편의를 위해 현재 시점이라 함)의 위치에서 차량(200)에 설치된 카메라(110)를 통해 촬영한 현재의 후방 영역(A) 이미지(제 2 이미지)를 검출한다.For example, when the
또한, 상기 제어부(120)는 카메라(110)가 촬영한 현재 시점의 제 2 이미지와 일정 시간 이전 과거 시점에 촬영한 제 1 이미지를 미리 저장된 이미지 프로세싱 프로그램을 통해 제 1 이미지와 제 2 이미지에서 유사한 특성(예를 들면, 픽셀의 밝기, 에지의 유무 등)을 갖는 물체의 픽셀을 찾아서 변위가 발생한 임의의 픽셀을 각각 검출한다.In addition, the
상기 이미지 프로세싱은 관심 있는 두 개의 이미지를 비교하여 벡터로 정의된 화소들의 이동 변위와 각도 변위 등을 통해 유사도를 검출하여 물체를 인식하거나, 물체의 경계선 또는 윤곽선 등의 에지나 물체의 윤곽에 근사하는 선분, 곡선 등을 구하여 이용하기도 하고, 이미지 내에 존재하는 모서리점, 불변인 점, 또는 회전변환이나 크기 변화 등에 대하여 불변인 특징점을 이용한 인식을 수행할 수도 있으며, 이미지에 포함된 물체의 특징점을 추출하여 인식을 수행할 수도 있다.The image processing compares two images of interest to detect similarity through movement displacement and angular displacement of pixels defined as a vector, and recognizes an object or approximates an edge or an outline of an object, such as a boundary line or an outline of an object. It can be used to obtain line segments, curves, and the like.It can also recognize edge points, invariant points, or invariant feature points, such as rotation transformations or size changes, and extract feature points of objects in an image. Recognition may be performed.
상기 제어부(120)는 상기 제 2 이미지에서 검출된 제 2 이미지의 픽셀 위치와 제 1 이미지에서 검출한 제 1 이미지의 픽셀 위치 간의 이동 변위(벡터)를 검출하고, 차량의 ECU, TCU, 휠 센서 또는 스티어링 각도 센서 등으로부터 제공되는 차량의 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 두 픽셀의 이동 변위에 대응하는 이동 거리를 산출한다.The
즉 상기 제어부(120)는 제 2 이미지상에 제 2 이미지의 픽셀 위치와 제 1 이미지의 픽셀 위치가 표시되도록 하고, 두 픽셀 간의 차이 값은 차량이 이동한 거리를 이용하여 두 픽셀 간의 이동 거리로 설정되도록 한다.That is, the
또한, 상기 제어부(120)는 제 2 이미지상에 미리 설정된 기준점 픽셀과 제 2 이미지의 픽셀 및 제 1 이미지의 픽셀까지의 변위를 검출하며, 상기 기준점 픽셀과 제 1 이미지의 픽셀 및 제 2 이미지의 픽셀이 이루는 삼각형 정보 즉 상기 제 1 이미지의 픽셀과 제 2 이미지의 픽셀 간의 이동 변위를 기준변으로 하고, 상기 기준점 픽셀이 제 1 및 제 2 이미지의 픽셀과 각각 이루는 변위를 다른 두 변으로 하며, 이들이 이루는 각을 각각 산출하여 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출한다.In addition, the
이를 더욱 상세하게 설명하면, 도 3(a)와 같이 촬영된 제 1 이미지와 도 3(b)와 같이 촬영된 제 2 이미지를 이미지 프로세싱 프로그램에서 소정의 이미지 처리과정을 수행하여 유사한 특성을 갖는 임의의 픽셀 중에서 변위가 발생한 제 1 이미지의 픽셀 정보(300)와 제 2 이미지의 픽셀 정보(300')를 각각 추출한다.In more detail, the first image photographed as shown in FIG. 3 (a) and the second image photographed as shown in FIG. The
이렇게 추출한 제 1 이미지의 픽셀 정보(300) 중에서 선택한 임의의 제 1 이미지 픽셀(P1)과, 제 2 이미지의 픽셀 정보(300') 중에서 선택한 임의의 제 2 이미지 픽셀(P2)을 제 2 이미지상에 각각 배치하고, 두 픽셀(P1, P2)간의 차이 값을 산출하여 상기 두 이미지 사이에 경과한 시간 동안 차량이 이동한 거리를 입력받아 두 픽셀(P1, P2) 간의 차이에 대한 이동 거리(d1)로 설정한다.The first image pixel P1 selected from the
또한, 제 2 이미지상에서 미리 설정된 임의의 기준점 픽셀(P0)로부터 제 1 이미지의 픽셀(P1)과 제 2 이미지의 픽셀(P2)이 이루는 삼각형에서 상기 두 픽셀(P1, P2) 사이의 이동 거리(d1)를 기준 값으로 설정하면, 상기 기준점 픽셀(P0)과 두 픽셀(P1, P2)이 이루는 사잇각(θ)을 이용하거나 또는 상기 기준점 픽셀(P0)과 두 픽셀(P1, P2)이 각각 이루는 변의 길이(d2, d3)를 이용한 삼각 측량법을 통해 제 2 이미지의 픽셀(P2)까지의 거리(d2)를 계산할 수 있다.Also, the moving distance between the two pixels P1 and P2 in a triangle formed by the pixel P1 of the first image and the pixel P2 of the second image from an arbitrary reference point pixel P0 preset on the second image. When d1) is set as the reference value, the reference angle pixel θ formed by the reference point pixel P0 and the two pixels P1 and P2 is used, or the reference point pixel P0 and the two pixels P1 and P2 respectively form a reference value. The distance d2 to the pixel P2 of the second image may be calculated by triangulation using the lengths d2 and d3 of the sides.
따라서 차량이 전방으로 주행중이고 물체가 정지해 있는 경우 물체는 차량으로부터 멀어지게 되고, 차량으로부터 제 2 이미지 픽셀(P2)까지의 거리는 커지게 된다.Therefore, when the vehicle is driving forward and the object is stationary, the object moves away from the vehicle, and the distance from the vehicle to the second image pixel P2 becomes large.
한편, 상기 제어부(120)는 산출되는 제 2 이미지 픽셀까지의 거리가 시간이 경과함에 따라 순차적으로 작아져서 제 2 이미지 픽셀까지의 거리가 미리 설정된 사각지대 판단용 기준 값에 도달하였는지 여부를 판단하고, 그 결과 상기 사각지대 판단용 기준 값에 도달하면 상기 제 1 이미지 픽셀과 제 2 이미지 픽셀의 이동 변위를 추정하여 상기 추정된 이동 변위에 따라 일정 시간 경과 후에 보이지 않는 사각지대에 위치한 물체까지의 거리 값을 산출하여 제공한다.On the other hand, the
즉 차량이 전진을 하거나 또는 후진을 하는 경우 차량으로 접근하는 물체까지의 거리는 점점 작아지게 되고, 어느 순간에는 카메라의 촬영 범위를 벗어난 사각지대에 물체가 위치하게 된다.That is, when the vehicle moves forward or reverses, the distance to the object approaching the vehicle becomes smaller, and at some point, the object is located in a blind spot outside the camera's shooting range.
이러한 경우 카메라의 촬영 범위에서는 벗어나 있지만 차량 주변의 사각지대에는 물체가 존재하므로 상기 제어부(120)는 제 1 이미지의 픽셀과 제 2 이미지 픽셀의 이동 변위를 추정하고, 운행 정보 검출부(130')를 통해 검출한 차량의 속도와 상기 이동 변위로부터 검출한 제 2 이미지 픽셀의 상대 속도 등에 기초하여 차량의 사각지대에 위치한 물체까지의 예상 거리를 산출한다.In this case, since the object exists in the blind spot around the vehicle, although the camera is out of the photographing range, the
또한, 상기 제어부(120)는 산출된 상기 사각지대에 위치한 물체까지의 거리에 기초하여 상기 물체의 예상 위치와 거리를 미리 설정된 배경 화면상에 가상의 차량을 중심으로 표시되도록 디스플레이수단(미도시)을 통해 출력하는 것도 가능하다.In addition, the
상기 운행 정보 검출부(130)는 차량의 ECU, TCU, 휠 센서 또는 스티어링 각도 센서 등으로부터 제공되는 차량의 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 제어부(120)로 제공한다.
The driving
다음은 본 발명에 따른 차량의 거리 측정 장치의 동작 과정을 상세하게 설명한다.Next, the operation process of the apparatus for measuring a distance of a vehicle according to the present invention will be described in detail.
제어부(120)가 카메라(110)에서 일정 시간 이전 과거에 차량의 주행방향 이미지 또는 역방향의 이미지를 촬영한 제 1 이미지를 검출(S100)한다.The
상기 S100 단계에서 검출하는 제 1 이미지는 현재 시점으로부터 일정 시간 이전의 과거 이미지로서, 상기 카메라(110)가 촬영한 이미지를 저장하는 메모리(미도시) 등의 저장수단으로부터 검출한다.The first image detected in step S100 is a past image before a certain time from a current time point, and is detected from a storage means such as a memory (not shown) that stores the image photographed by the
상기 S100 단계의 이미지 검출이 완료되면, 상기 제어부(120)가 현재 시점에서 상기 카메라(110)가 촬영한 제 2 이미지 정보를 검출(S110)한다.When the image detection of the step S100 is completed, the
과거의 이미지인 제 1 이미지와 현재의 이미지인 제 2 이미지의 검출이 완료되면, 상기 제어부(120)는 상기 검출된 제 1 및 제 2 이미지를 미리 저장된 이미지 프로세싱 프로그램을 통해 이미지 프로세싱 과정을 수행하고, 상기 제 1 및 제 2 이미지에서 유사한 특성(예를 들면, 픽셀의 밝기, 에지의 유무 등)을 갖는 물체의 픽셀 중에서 변위가 발생한 임의의 픽셀을 각각 검출하여 상기 제 2 이미지에서 상기 검출된 현재의 픽셀과 과거의 픽셀 간의 이동 변위를 검출(S120)한다.When the detection of the first image of the past image and the second image of the current image is completed, the
즉 상기 S120 단계에서 상기 제어부(120)는 제 2 이미지에서 검출된 제 2 이미지의 픽셀 위치와 제 1 이미지에서 검출한 제 1 이미지의 픽셀 위치 간의 이동 변위(벡터)를 검출하고, 제 2 이미지상에 상기 제 2 이미지의 픽셀 위치와 제 1 이미지의 픽셀 위치가 표시되도록 한다.That is, in step S120, the
상기 S120 단계를 수행한 후 상기 제어부(120)는 운행 정보 검출부(130)를 통해 차량의 ECU, TCU, 휠 센서 또는 스티어링 각도 센서 등으로부터 제공되는 차량의 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출(S130)한다.After performing the step S120, the
상기 제어부(120)는 상기 S130 단계에서 검출한 운행 정보로부터 일정 시간 동안 차량이 이동한 거리를 산출하고, 상기 산출된 차량의 이동 거리를 상기 S120 단계에서 검출한 제 1 이미지의 픽셀과 제 2 이미지 픽셀 간의 이동 변위에 대응시켜 제 2 이미지상에서 물체가 이동한 거리를 결정하며, 상기 제 2 이미지상에 미리 설정된 기준점 픽셀과 상기 제 1 및 제 2 이미지의 픽셀이 이루는 삼각형 정보에서 상기 결정된 제 1 및 제 2 이미지 픽셀 간의 이동 거리에 기초하여 상기 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출(S140)한다.The
또한, 상기 제어부(120)는 상기 S140 단계에서 산출된 제 2 이미지 픽셀까지의 거리가 시간이 경과함에 따라 순차적으로 작아져서 차량으로 접근하는 경우, 미리 설정된 사각지대 접근 판단용 기준값에 도달하는지 여부를 판단(S150)한다.In addition, the
상기 S150 단계에서 제 2 이미지 픽셀까지의 거리가 점차 작아져 사각지대 접근 판단용 기준 값(예를 들면, '0')에 도달하면, 상기 제어부(120)는 제 1 및 제 2 이미지 픽셀 간의 이동 변위로부터 시간에 따른 제 2 이미지 픽셀의 예상 이동 변위를 추정하고, 상기 S130 단계에서 검출한 차량의 속도 정보와 상기 제 2 이미지 픽셀의 이동 변위로부터 검출한 상대 속도에 기초하여 제 2 이미지 픽셀의 이동 변위를 추정하며 그 추정된 이동 변위에 따른 예상 위치와 상기 예상 위치까지의 거리를 산출(S160)한다.When the distance to the second image pixel is gradually reduced in step S150 to reach the blind spot approach determination reference value (eg, '0'), the
상기 제어부(120)는 상기 S160 단계에서 산출된 제 2 이미지 픽셀의 예상 위치 및 거리가 미리 설정된 배경 화면상에 가상의 차량을 중심으로 표시되도록 디스플레이수단(미도시)을 통해 출력(S170)되도록 한다.The
한편, 상기 S150 단계에서 제 2 이미지 픽셀까지의 거리가 사각지대 접근 판단용 기준값에 도달하지 않으면 검출된 현재 위치와 거리가 출력(S170)되도록 한다.Meanwhile, if the distance to the second image pixel does not reach the blind spot approach determination reference value in step S150, the detected current position and distance are output (S170).
따라서 하나의 카메라를 이용하여 촬영한 두 개의 이미지를 통해 차량 주변의 물체까지의 거리를 산출할 수 있게 되고, 또한 카메라의 촬영 범위에서 벗어나 사각지대에 위치한 물체까지의 거리도 산출할 수 있게 된다.
Therefore, it is possible to calculate the distance to the object around the vehicle through the two images taken using one camera, and also to calculate the distance to the object located in the blind spot away from the shooting range of the camera.
(제 2 실시예)(Second Embodiment)
도 6은 본 발명에 따른 차량의 거리 측정 장치의 다른 실시예를 나타낸 블록도이고, 도 7은 도 6에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 흐름도이다.6 is a block diagram showing another embodiment of the apparatus for measuring the distance of the vehicle according to the present invention, and FIG. 7 is a flowchart illustrating an operation process of the apparatus for measuring the distance of the vehicle according to FIG. 6.
도 6에 나타낸 바와 같이, 본 발명의 제 2 실시예 따른 차량의 거리 측정 장치(100')는 카메라 1(110')과, 카메라 2(100")와, 제어부(120')와, 운행 정보 검출부(130')를 포함하여 구성된다.As shown in FIG. 6, the vehicle
상기 카메라 1(110') 및 카메라 2(110")는 차량의 전조등 또는 후미등에 한 쌍으로 설치되어 차량의 주행방향 또는 주행방향의 역방향 이미지를 촬영한다.The camera 1 110 ′ and the camera 2 110 ″ are installed in a pair of headlights or taillights of the vehicle to capture a reverse direction image of the driving direction or the driving direction of the vehicle.
상기 카메라 1 및 2(110' 및 110")는 카메라의 렌즈 축이 서로 평행하게 대칭으로 설치된다.The cameras 1 and 2 (110 'and 110 ") are symmetrically installed in parallel with the lens axis of the camera.
상기 카메라 1 및 2(110' 및 110")는 CMOS 타입의 영상 센서, CCD 타입의 영상 센서 또는 제 3 타입의 영상 센서 중 어느 것을 사용해도 무방하다.The cameras 1 and 2 110 ′ and 110 ″ may use any one of a CMOS type image sensor, a CCD type image sensor, and a third type image sensor.
상기 제어부(120')는 미리 설치된 스테레오 비전 프로그램과 이미지 프로세싱 프로그램을 통해 상기 카메라 1 및 2(110' 및 110")가 촬영한 과거 영상인 제 1 이미지와 상기 카메라 1 및 2(110' 및 110")가 촬영한 현재 시점의 영상인 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중에서 변위가 발생한 픽셀을 검출하고, 각 픽셀까지의 거리를 산출한다.The control unit 120 'is a first image and a camera 1 and 2 (110' and 110) which are past images captured by the cameras 1 and 2 (110 'and 110 ") through a pre-installed stereo vision program and an image processing program. In the second image, which is an image of the current view point taken by "
상기 스테레오 비전 프로그램은 차량의 전조등 또는 후미등의 좌측 및 우측에 각각 설치된 카메라 1 및 2(110' 및 110")를 통해 좌측 및 우측의 이미지가 입력되면 좌측 및 우측 이미지에 대한 밝기 및 에피폴라 라인(epipolar line)을 일치시키는 스테레오 이미지 입력에 대한 전처리 과정을 수행하고, 동일한 물체로 판단되는 좌측 및 우측 이미지의 픽셀간 양안차(disparity)를 생성하는 스테레오 매칭을 수행하며, 이러한 양안차의 결과에서 노이즈 성분을 제거한 후에 그 스테레오 이미지의 거리 정보에 대한 프로젝션(projection), 세그멘테이션(segmentation), 필터링(filtering) 등의 후처리 과정을 수행하여 스테레오 이미지 정보를 획득함으로써 이러한 스테레오 이미지를 통해 물체의 거리, 모양, 방향 등의 정보를 검출하게 된다.The stereo vision program is configured to display brightness and epipolar lines for the left and right images when the left and right images are inputted through cameras 1 and 2 (110 'and 110 ") installed at the left and right sides of the headlight or taillight of the vehicle, respectively. Performs preprocessing on stereo image inputs that match epipolar lines, and performs stereo matching to generate pixel-to-pixel disparity of left and right images determined to be the same object, and noise in the result of these binocular differences After removing the components, post-processing such as projection, segmentation, filtering, etc. of the distance information of the stereo image is performed to acquire stereo image information. Information such as direction and direction is detected.
상기 스테레오 비전 프로그램은 하나의 실시예로서, 공지의 다양한 스테레오 비전 프로그램을 사용할 수도 있다.The stereo vision program may use various known stereo vision programs as an embodiment.
또한, 상기 제어부(120')는 산출되는 제 2 이미지 픽셀까지의 거리가 시간이 경과함에 따라 순차적으로 작아져서 제 2 이미지 픽셀까지의 거리가 미리 설정된 사각지대 판단용 기준 값에 도달하였는지 여부를 판단하고, 그 결과 상기 사각지대 판단용 기준 값에 도달하면 상기 제 1 및 제 2 이미지 픽셀 사이의 이동 변위를 추정하여 상기 추정된 이동 변위에 따라 일정 시간 경과 후에 보이지 않는 사각지대에 위치한 물체까지의 거리 값을 산출하여 제공한다.In addition, the
또한, 상기 제어부(120')는 제 1 및 제 2 이미지 픽셀 사이의 이동 변위를 추정하고, 운행 정보 검출부(130')를 통해 검출한 차량의 속도와 상기 이동 변위로부터 검출한 제 2 이미지 픽셀의 상대 속도 등에 기초하여 차량의 사각지대에 위치한 물체까지의 예상 거리를 산출한다.In addition, the
또한, 상기 제어부(120')는 산출된 상기 사각지대에 위치한 물체까지의 거리에 기초하여 상기 물체의 예상 위치와 거리를 미리 설정된 배경 화면상에 가상의 차량을 중심으로 표시되도록 디스플레이수단(미도시)을 통해 출력되도록 한다.In addition, the
또한, 상기 제어부(120')는 상기 스테레오 비전을 통한 물체까지의 거리를 산출하면, 상기 산출된 제 1 이미지 픽셀과 제 2 이미지 픽셀의 거리 차로부터 이동 거리를 산출하고, 상기 산출된 이동 거리를 운행 정보 검출부(130')에서 제공하는 이동 거리와 대비되도록 하여 보정 값으로 사용될 수 있도록 한다.In addition, when the
즉 차량이 주행중이거나 또는 주차하는 중에 노면과 차량의 바퀴 사이에 슬립이 발생하면 휠 센서 등에 의해 추출된 이동 거리를 상기 제어부(120')가 산출한 이동 거리와 대비하여 보정되도록 한다.That is, when a slip occurs between the road surface and the wheel of the vehicle while the vehicle is driving or parking, the movement distance extracted by the wheel sensor or the like is corrected in comparison with the movement distance calculated by the controller 120 '.
상기 운행 정보 검출부(130')는 차량의 ECU, TCU, 휠 센서 또는 스티어링 각도 센서 등으로부터 제공되는 차량의 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 제어부(120')로 제공한다.
The driving
다음은 제 2 실시예에 따른 차량의 거리 측정 장치의 동작 과정을 상세하게 설명한다.Next, an operation process of the apparatus for measuring a distance of the vehicle according to the second embodiment will be described in detail.
제어부(120')가 카메라 1(110')과 카메라 2(110")를 통해 일정 시간 이전 과거에 차량의 주행방향 이미지 또는 역방향의 이미지를 촬영한 제 1 이미지를 검출(S200)한다.The
상기 S200 단계에서 검출하는 제 1 이미지는 현재 시점으로부터 일정 시간 이전의 과거 이미지로서, 상기 카메라 1 및 2(110' 및 110")가 촬영한 이미지를 저장하는 메모리(미도시) 등의 저장수단으로부터 검출한다.The first image detected in step S200 is a past image before a certain time from a current time point, and is stored from a storage means such as a memory (not shown) for storing images captured by the cameras 1 and 2 (110 ′ and 110 ″). Detect.
상기 S200 단계의 이미지 검출이 완료되면, 상기 제어부(120')가 임의의 시점(현재 시점)에서 상기 카메라 1 및 2(110' 및 110")가 촬영한 제 2 이미지 정보를 검출(S210)한다.When the image detection of the step S200 is completed, the controller 120 'detects the second image information captured by the cameras 1 and 2 110' and 110 "at an arbitrary time point (current time point) (S210). .
상기 제어부(120')는 미리 설치된 스테레오 비전 프로그램과 이미지 프로세싱 프로그램을 통해 상기 카메라 1 및 2(110' 및 110")가 촬영한 과거 이미지인 제 1 이미지와 상기 카메라 1 및 2(110' 및 110")가 촬영한 현재 이미지인 제 2 이미지에서 유사한 특성(예를 들면, 픽셀의 밝기, 에지의 유무 등)을 갖는 임의의 픽셀 중에서 변위가 발생한 픽셀을 검출하고, 상기 제 1 이미지상에서 변위가 발생한 픽셀(제 1 이미지 픽셀)까지의 거리와 제 2 이미지상에서 변위가 발생한 픽셀(제 2 이미지 픽셀)까지의 거리를 산출(S220, S230)한다.The
상기 제어부(120')는 제 2 이미지상에서 변위가 발생한 제 2 이미지 픽셀까지의 거리를 미리 설정된 사각지대 판단용 기준 값과 대비하여 상기 기준값에 도달하였는지 여부를 판단(S240)한다.The
상기 S240 단계의 판단 결과, 상기 제 2 이미지 픽셀까지의 거리가 상기 사각지대 판단용 기준 값에 도달하였으면 상기 제어부(120')는 제 1 이미지 픽셀과 제 2 이미지 픽셀 간의 이동 변위 정보를 검출하고, 상기 검출된 이동 변위로부터 시간에 따른 제 2 이미지 픽셀의 예상 이동 변위를 추정하며, 운행 정보 검출부(130')로부터 검출한 차량의 속도 정보와 상기 제 2 이미지 픽셀에 대한 이동 변위로부터 검출한 제 2 이미지 픽셀의 상대 속도에 기초하여 제 2 이미지 픽셀의 예상 이동 변위에 따른 예상 위치와 그 예상 위치까지의 거리를 산출(S250)한다.As a result of the determination in step S240, when the distance to the second image pixel reaches the blind spot determination reference value, the
상기 제어부(120')는 상기 S250 단계에서 산출된 제 2 이미지 픽셀의 예상 위치 및 거리가 미리 설정된 배경 화면상에 가상의 차량을 중심으로 표시되도록 디스플레이수단(미도시)을 통해 출력(S260)되도록 한다.The
한편, 상기 S240 단계에서 제 2 이미지 픽셀까지의 거리가 사각지대 접근 판단용 기준값에 도달하지 않았으면 검출된 현재의 위치와 거리가 출력(S170)되도록 한다.Meanwhile, if the distance to the second image pixel does not reach the blind spot approach determination reference value in step S240, the detected current position and distance are output (S170).
따라서 복수의 카메라를 이용하여 촬영한 과거 이미지인 제 1 이미지와 임의의 시점에서 촬영한 제 2 이미지를 통해 차량 주변의 물체까지의 거리를 산출할 수 있게 되고, 또한 카메라의 촬영 범위에서 벗어나 사각지대에 위치한 물체까지의 거리도 산출할 수 있게 된다.
Therefore, the distance to the object around the vehicle can be calculated using the first image, which is a past image photographed using a plurality of cameras, and the second image, which is photographed at an arbitrary point of view, and is also outside the shooting range of the camera. It can also calculate the distance to the object located at.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It can be understood that
100 : 거리 측정 장치 110 : 카메라
110' : 카메라 1 110" : 카메라 2
120 : 제어부 130 : 운행 정보 검출부
200 : 현재 위치의 차량 200' : 과거 위치의 차량
300 : 과거의 픽셀 300' : 현재의 픽셀100: distance measuring device 110: camera
110 ': Camera 1 110 ": Camera 2
120: control unit 130: driving information detection unit
200: vehicle in current position 200 ': vehicle in past position
300: past pixel 300 ': current pixel
Claims (9)
차량에 설치되어 이미지를 촬영하는 하나의 카메라;
상기 카메라가 임의의 시점에서 촬영한 제 2 이미지와 미리 설정된 일정 시간 전에 촬영한 제 1 이미지를 이미지 프로세싱하여 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀을 검출하고, 상기 검출된 픽셀을 매칭시켜 두 픽셀 간의 이동 변위를 검출하여 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 제공받아 상기 검출된 이동 변위에 대응하는 이동 거리를 산출하며, 상기 산출된 이동 거리와 상기 제 2 이미지상에서 미리 설정된 기준점 픽셀이 상기 검출된 픽셀과 이루는 삼각형 정보에 근거하여 상기 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출하는 제어부; 및
상기 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 제어부로 제공하는 운행 정보 검출부를 포함하는 차량의 거리 측정 장치.As a distance measuring device of a vehicle,
One camera installed in the vehicle to take an image;
The camera image-processes the second image photographed at an arbitrary time point and the first image photographed before a predetermined time, and performs the processing of the pixels of the first image and the pixels of the second image having a displacement among any pixels having similar characteristics. Detect the movement displacement between the two pixels by matching the detected pixels, and receive driving information including steering angle information, distance information, and speed information from the vehicle to calculate a movement distance corresponding to the detected movement displacement; A controller configured to calculate a distance from the reference point pixel to the second image pixel based on the calculated moving distance and triangle information that the reference point pixel preset on the second image forms the detected pixel; And
And a driving information detector for detecting driving information including steering angle information, distance information, and speed information from the vehicle and providing the driving information to the controller.
상기 제어부는 일정 시간 경과 후에 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면, 제 1 및 제 2 이미지 픽셀 간의 이동 변위를 추정하여 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 것을 특징으로 하는 차량의 거리 측정 장치.The method of claim 1,
The controller calculates an estimated distance to the second image pixel by estimating the displacement of the movement between the first and second image pixels when the second image pixel is located in the invisible blind spot outside the photographing range of the camera after a predetermined time. Distance measuring device of a vehicle, characterized in that provided by.
상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 하는 차량의 거리 측정 장치.The method of claim 2,
And an expected distance to the second image pixel is calculated based on the speed of the vehicle and the relative speed of the second image pixel estimated by the movement displacement.
차량에 설치되어 이미지를 촬영하는 복수의 카메라; 및
상기 카메라가 임의의 시점에 촬영한 제 2 이미지와 미리 설정된 일정 시간 전에 촬영한 제 1 이미지를 각각 스테레오 비전을 이용한 이미지 프로세싱을 수행하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 검출하고, 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면 상기 제 1 및 제 2 이미지 픽셀 간의 이동 변위를 추정하여 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 제어부를 포함하는 차량의 거리 측정 장치.As a distance measuring device of a vehicle,
A plurality of cameras installed in the vehicle to take an image; And
Among the pixels having similar characteristics in the first and second images by performing image processing using stereo vision, respectively, on the second image photographed at an arbitrary time point and the first image photographed before a predetermined time. When the displacement is detected between the pixel of the first image and the second image pixel in which the displacement occurs, and the second image pixel is located in an invisible blind spot outside the photographing range of the camera, the displacement of the displacement between the first and second image pixels is determined. And a controller which estimates and calculates and provides an estimated distance to the second image pixel.
상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 하는 차량의 거리 측정 장치.The method of claim 4, wherein
And an expected distance to the second image pixel is calculated based on the speed of the vehicle and the relative speed of the second image pixel estimated by the movement displacement.
a) 제어부가 카메라에서 일정 시간 이전에 촬영한 제 1 이미지 정보를 검출하는 단계;
b) 상기 제어부가 상기 카메라에서 임의의 시점에 촬영한 제 2 이미지 정보를 검출하는 단계;
c) 상기 제어부가 상기 카메라가 촬영한 제 1 및 제 2 이미지를 이미지 프로세싱하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀을 각각 검출하고, 상기 검출된 픽셀을 매칭 시켜 두 픽셀 간의 이동 변위를 검출하는 단계;
d) 상기 제어부가 운행 정보 검출부를 통해 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하는 단계; 및
e) 상기 제어부가 상기 c) 단계에서 검출한 이동 변위에 대응하는 이동 거리를 상기 d) 단계에서 검출한 운행 정보에 근거하여 산출하고, 상기 산출된 이동 거리와 상기 제 2 이미지상에서 미리 설정된 기준점 픽셀이 상기 검출된 픽셀과 이루는 삼각형 정보에 근거하여 상기 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출하는 단계를 포함하는 차량의 거리 측정 방법.As a distance measuring method of a vehicle,
a) detecting, by the control unit, first image information photographed before a predetermined time by the camera;
b) detecting, by the control unit, second image information captured by the camera at any point in time;
c) the control unit performs image processing on the first and second images photographed by the camera so that any one of the pixels having a displacement among the pixels having similar characteristics in the first and second images has occurred; Respectively detecting and detecting the shift displacement between the two pixels by matching the detected pixels;
d) detecting, by the controller, driving information including steering angle information, distance information, and speed information from the vehicle through the driving information detection unit; And
e) the control unit calculates a movement distance corresponding to the movement displacement detected in step c) based on the driving information detected in step d), and sets a reference point pixel preset on the calculated movement distance and the second image. And calculating a distance from the reference point pixel to the second image pixel based on the triangle information formed with the detected pixel.
상기 e) 단계는 일정 시간 경과 후에 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하는 경우 제 1 이미지 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 추정하여 상기 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 단계를 더 포함하는 것을 특징으로 하는 차량의 거리 측정 방법.The method according to claim 6,
In the step e), if the second image pixel is located in the invisible blind spot outside the photographing range of the camera after a predetermined time elapses, the step e) estimates a shift of displacement between the first image pixel and the second image pixel to the second image pixel. Comprising a step of calculating the estimated distance of the vehicle further comprises the step of providing.
i) 제어부가 복수의 카메라에서 일정 시간 이전에 촬영한 제 1 이미지 정보를 검출하는 단계;
ii) 상기 제어부가 상기 복수의 카메라에서 임의의 시점에 촬영한 제 2 이미지 정보를 검출하는 단계;
iii) 상기 제어부는 상기 카메라가 촬영한 제 1 및 제 2 이미지를 각각 스테레오 비전을 이용한 이미지 프로세싱을 수행하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀까지의 거리와 두 픽셀 간의 이동 변위를 검출하는 단계; 및
iv) 상기 제어부가 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면 상기 제 1 이미지 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 추정하여 상기 제 2 이미지 픽셀까지의 예상 거리를 산출하는 단계를 포함하는 차량의 거리 측정 방법.Distance measuring method using past image and present image,
i) detecting, by the control unit, first image information captured by the plurality of cameras before a predetermined time;
ii) detecting, by the control unit, second image information captured by the plurality of cameras at an arbitrary time point;
iii) the controller performs image processing using stereo vision on the first and second images photographed by the camera, respectively, to determine the displacement of the first image in which the displacement occurs in any pixel having similar characteristics in the first and second images. Detecting a distance between the pixel and the pixel of the second image and a displacement of movement between the two pixels; And
iv) when the second image pixel is located in a blind spot not visible outside the photographing range of the camera, the controller estimates a displacement between the first image pixel and the second image pixel to determine an expected distance to the second image pixel. Distance measuring method of a vehicle comprising the step of calculating.
상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 하는 차량의 거리 측정 방법.The method according to any one of claims 6 to 8,
And an expected distance to the second image pixel is calculated based on a relative speed of the second image pixel estimated by the speed of the vehicle and the movement displacement.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100138797A KR101190789B1 (en) | 2010-12-30 | 2010-12-30 | Apparatus and method for measurementing distance of vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100138797A KR101190789B1 (en) | 2010-12-30 | 2010-12-30 | Apparatus and method for measurementing distance of vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120076999A KR20120076999A (en) | 2012-07-10 |
KR101190789B1 true KR101190789B1 (en) | 2012-10-11 |
Family
ID=46710558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100138797A KR101190789B1 (en) | 2010-12-30 | 2010-12-30 | Apparatus and method for measurementing distance of vehicle |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101190789B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101400635B1 (en) | 2013-11-28 | 2014-05-29 | 박종현 | System of laser displacement sensor |
KR101916779B1 (en) | 2017-06-29 | 2018-11-09 | 현대오트론 주식회사 | Apparatus and method for measuring distance of obstacle based on single rear view camera |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016161104A1 (en) * | 2015-04-01 | 2016-10-06 | Vayavision, Ltd. | Generating 3-dimensional maps of a scene using passive and active measurements |
KR102184418B1 (en) * | 2019-02-21 | 2020-12-01 | 주식회사 와이즈오토모티브 | Apparatus and method for detecting blind spot |
CN111091077B (en) * | 2019-12-03 | 2022-11-11 | 华中科技大学 | Vehicle speed detection method based on image correlation and template matching |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1038561A (en) | 1996-07-22 | 1998-02-13 | Fujitsu Ltd | Device for measuring distance to front car |
JP2002022411A (en) | 2000-07-11 | 2002-01-23 | Kanomax Japan Inc | Apparatus and method of measuring displacement |
KR100916291B1 (en) | 2008-06-16 | 2009-09-10 | 주식회사신도리코 | Apparatus and method for detecting approaching vehicle and outside mirror |
-
2010
- 2010-12-30 KR KR1020100138797A patent/KR101190789B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1038561A (en) | 1996-07-22 | 1998-02-13 | Fujitsu Ltd | Device for measuring distance to front car |
JP2002022411A (en) | 2000-07-11 | 2002-01-23 | Kanomax Japan Inc | Apparatus and method of measuring displacement |
KR100916291B1 (en) | 2008-06-16 | 2009-09-10 | 주식회사신도리코 | Apparatus and method for detecting approaching vehicle and outside mirror |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101400635B1 (en) | 2013-11-28 | 2014-05-29 | 박종현 | System of laser displacement sensor |
KR101916779B1 (en) | 2017-06-29 | 2018-11-09 | 현대오트론 주식회사 | Apparatus and method for measuring distance of obstacle based on single rear view camera |
Also Published As
Publication number | Publication date |
---|---|
KR20120076999A (en) | 2012-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11836989B2 (en) | Vehicular vision system that determines distance to an object | |
CN109219546B (en) | Parking assistance device and parking assistance method | |
KR101243108B1 (en) | Apparatus and method for displaying rear image of vehicle | |
JP4763250B2 (en) | Object detection device | |
JP5421072B2 (en) | Approaching object detection system | |
US10000210B2 (en) | Lane recognition apparatus | |
EP2093129B1 (en) | Parking assist apparatus and method | |
JP6416293B2 (en) | Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car | |
WO2017090410A1 (en) | Stereo camera device | |
EP2578464A1 (en) | Video-based warning system for a vehicle | |
KR101097063B1 (en) | Apparatus and method for displaying blind spot | |
US20160320477A1 (en) | Method for detecting a mark made on a ground, driver assistance device and motor vehicle | |
US20100045448A1 (en) | Obstacle detection apparatus | |
US20090052742A1 (en) | Image processing apparatus and method thereof | |
KR101190789B1 (en) | Apparatus and method for measurementing distance of vehicle | |
KR20060021922A (en) | Two camera based obstacle detection method and device | |
JP6778620B2 (en) | Road marking device, road marking system, and road marking method | |
WO2011016257A1 (en) | Distance calculation device for vehicle | |
JP4798576B2 (en) | Attachment detection device | |
KR101295618B1 (en) | Apparatus and method for displaying blind spot | |
JP5717416B2 (en) | Driving support control device | |
JP2007286873A (en) | On-vehicle surrounding vehicle detector | |
CN107117105B (en) | Vehicle rearview mirror control method and device | |
WO2020036039A1 (en) | Stereo camera device | |
JP6429101B2 (en) | Image determination apparatus, image processing apparatus, image determination program, image determination method, moving object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20151005 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20161004 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20181002 Year of fee payment: 7 |