KR101266059B1 - Rear view camera of vehicles using distance information - Google Patents
Rear view camera of vehicles using distance information Download PDFInfo
- Publication number
- KR101266059B1 KR101266059B1 KR1020110107172A KR20110107172A KR101266059B1 KR 101266059 B1 KR101266059 B1 KR 101266059B1 KR 1020110107172 A KR1020110107172 A KR 1020110107172A KR 20110107172 A KR20110107172 A KR 20110107172A KR 101266059 B1 KR101266059 B1 KR 101266059B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- distance
- vehicle
- camera
- information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
Abstract
본 발명은 차량용 후방 카메라에 관한 것으로, 본 발명에 따르면, 카메라로 촬영된 영상의 픽셀로부터 계산된 대략적인 거리만을 전달할 수 있고 측정된 거리를 단순히 선으로만 표시하여 운전자의 식별이 용이하지 못했던 종래의 차량용 후방 감시 카메라의 단점을 해결하기 위해, 거리정보를 획득 가능한 센서를 이용하여 정확한 거리정보를 운전자에게 전달할 수 있는 동시에, 화면에 표시되는 객체별로 색을 부여하고 거리에 따른 위험도를 색깔별로 나타냄으로써, 차량 후방의 상황을 운전자가 보다 용이하게 식별할 수 있고 긴급 상황시 신속하게 반응할 수 있도록 하는 차량용 후방 감시 카메라가 제공된다. The present invention relates to a rear camera for a vehicle, and according to the present invention, it is possible to transmit only an approximate distance calculated from a pixel of an image photographed by a camera, and to display a measured distance by simply displaying a line, which makes it difficult to identify a driver. In order to solve the shortcomings of the rear view camera of the vehicle, it is possible to deliver accurate distance information to the driver by using a sensor that can obtain distance information, and to give color to each object displayed on the screen and to indicate the risk according to distance by color. Thereby, a rearview surveillance camera for a vehicle is provided that allows the driver to more easily identify a situation behind the vehicle and to react quickly in an emergency situation.
Description
본 발명은 감시 카메라에 관한 것으로, 더 상세하게는, 차량용 후방 카메라를 거리정보가 획득 가능한 센서와 결합하여 거리별로 차량 후방의 물체에 색을 입힘으로 시각적인 효과를 부여하여 운전자의 편의를 도모하기 위한 거리정보를 이용한 차량 후방 카메라에 관한 것이다.
The present invention relates to a surveillance camera, and more particularly, by combining a rear camera for a vehicle with a sensor capable of obtaining distance information, to provide a visual effect by coloring objects on the rear of the vehicle for each distance to facilitate driver's convenience. It relates to a vehicle rear camera using the distance information for.
즉, 본 발명은, 픽셀(Pixel) 당 거리로 계산하는 종래의 차량용 후방 카메라의 계산방식을 개선하여, 거리정보를 획득 가능한 센서로 물체의 거리를 계산하고, 계산된 거리에 따라 거리별 위험도를 색으로 구분하여 표현함으로써, 운전자가 식별이 용이하고 보다 신속히 반응할 수 있도록 하는 차량용 후방 카메라에 관한 것이다.
That is, the present invention improves the calculation method of the conventional vehicle rear camera that calculates the distance per pixel, calculates the distance of the object with a sensor that can obtain the distance information, and calculates the risk for each distance according to the calculated distance. The present invention relates to a rear camera for a vehicle, by which color-coded representations allow a driver to easily identify and react more quickly.
최근, 자동차의 보급이 보편화됨에 따라 1 가구 1 차량의 비율을 상회할 정도로 자동차의 대수가 크게 증가하였으며, 자동차 관련기술이 발전함에 따라, 최근에는 차량에 각종 첨단 전자장치를 장착하거나, 그러한 전자장치를 내장한 차량들이 출시되고 있다.
In recent years, the number of automobiles has greatly increased, so that the number of automobiles is more than the ratio of one household and one vehicle as the popularity of automobiles is widespread. Recently, with the development of automobile-related technology, various advanced electronic devices are installed in vehicles, Vehicles with built-in have been released.
즉, 예를 들면, 최근에는, 길안내를 위한 내비게이션이나, 운행상황을 기록하는 차량용 블랙박스 및 운전자의 사각을 보완하기 위한 차량용 감시 카메라 등을 장착한 차량들이 보편화되고 있다.
That is, for example, recently, vehicles equipped with navigation for navigation, vehicle black boxes for recording driving conditions, and vehicle surveillance cameras for compensating driver's blind spots have become commonplace.
여기서, 차량용 감시 카메라는, 일반적으로, 주로 운전자가 확인하기 어려운 차량의 뒤쪽을 확인할 수 있도록 하는 후방 감시 카메라가 널리 이용되고 있으며, 상기한 네비게이션이나 블랙박스의 경우에도, 자체적으로 후방 감시 카메라의 기능을 가지거나 또는 후방 감시 카메라와 연동되는 기능을 탑재하는 경우도 있다.
In this case, the vehicle surveillance camera is generally widely used as a rear surveillance camera that enables the driver to check the back of a vehicle that is hard to be identified by the driver. In the case of the above-described navigation and a black box, the rear surveillance camera functions by itself. In some cases, the camera may be equipped with a function of interlocking with a rear view camera.
이러한 차량용 후방 감시 카메라는, 운전자가 눈으로 확인할 수 없는 차량의 뒤쪽에 대한 시야를 확보해 줌으로써, 단순하게는 주차시에 도움을 줄 뿐만 아니라, 차량 뒤에 어린 아이나 동물 등이 있는 것을 미처 발견하지 못하고 차량을 후진시켜 사고가 발생하는 위험을 방지할 수 있으므로, 최근에는 운전자에게 있어 필수적인 장비가 되고 있다.
Such a rear surveillance camera for a vehicle secures a view of the rear of a vehicle that cannot be seen by the driver, and thus helps not only to park, but also to discover that a child or an animal is behind the vehicle. In order to prevent the risk of accidents by reversing the vehicle, it has recently become an essential equipment for the driver.
아울러, 상기한 바와 같은 차량용 감시 카메라에 대한 종래기술의 예로는, 예를 들면, 한국 공개특허 제10-2004-0029218호(2004.04.06. 공개)에 개시된 바와 같은 "차량 측, 후방의 영상정보를 제공하는 시스템"이 있다.
In addition, as an example of the prior art for the vehicle surveillance camera as described above, for example, as disclosed in Korean Patent Laid-Open No. 10-2004-0029218 (published on April 6, 2004), "vehicle side, rear image information There is a system that provides.
더 상세하게는, 상기한 공개특허 제10-2004-0029218호의 "차량 측, 후방의 영상정보를 제공하는 시스템"은, 차량의 주, 정차 상태에서 뒷좌석 탑승자가 하차하기 전에 미리 차량 측, 후방의 상황을 확인할 수 있도록 하여 하차시 후방차량에 의해 사고를 당하는 것을 방지하기 위한 차량 측, 후방의 영상정보를 제공하는 시스템에 관한 것이다.
More specifically, the "system for providing image information on the vehicle side and the rear" of the above-described Patent Publication No. 10-2004-0029218, the vehicle side, rear of the vehicle in advance before the rear seat occupant in the main, stop state of the vehicle The present invention relates to a system for providing image information of a vehicle side and a rear to prevent an accident caused by a rear vehicle when getting off.
이를 위해, 상기한 공개특허 제10-2004-0029218호는, 차량의 측, 후방을 향하도록 설치되는 촬영수단, 상기 촬영수단에 의해 포착된 영상을 전기적 신호로 변환하는 A/V장치, 상기 A/V장치로부터 인가된 전기적 신호를 영상신호로 변환하여 화상으로 디스플레이하는 모니터, 차량의 주행 여부를 감지하는 속도센서, 도어 손잡이 또는 도어 개폐용 레버에 구비되어 탑승자에 의한 도어 개폐 여부를 감지하는 도어센서 및 상기 속도센서에 의해 인가된 차량의 주행 여부에 따라 상기 A/V장치의 작동을 제어하는 전자제어장치를 포함하고, 상기 전자제어장치는 차량의 주행중에는 A/V장치를 제어하여 모니터를 통한 다양한 영상이 디스플레이되도록 하고, 차량이 주, 정차한 상태에서는 상기 도어센서에 의해 도어 개폐 순간이 감지되면 촬영수단을 작동시키고 상기 A/V장치를 제어하여 상기 촬영수단에 의해 포착된 차량 측, 후방의 영상이 모니터를 통해 디스플레이되도록 하는 것을 특징으로 하는 차량 측, 후방의 영상정보를 제공하는 시스템을 개시하고 있다.
To this end, the above-mentioned Patent Publication No. 10-2004-0029218, the photographing means is installed to face the rear, the rear of the vehicle, the A / V device for converting the image captured by the photographing means into an electrical signal, the A A monitor for converting an electric signal applied from the / V device into an image signal and displaying the image, a speed sensor for detecting whether the vehicle is running, a door handle or a door opening lever, and a door for detecting whether the door is opened or closed by the occupant And an electronic controller for controlling the operation of the A / V device according to whether the vehicle is applied by a sensor and the speed sensor, wherein the electronic controller controls the A / V device while driving the vehicle to monitor the monitor. Display various images through the vehicle, and when the vehicle is stopped or stopped when the moment of opening and closing the door is detected by the door sensor, the photographing means is operated and the Disclosed is a system for providing image information of the vehicle side and the rear side, wherein the image of the vehicle side and the rear side captured by the photographing means is displayed on the monitor by controlling the A / V device.
그러나 상기한 공개특허 제10-2004-0029218호의 "차량 측, 후방의 영상정보를 제공하는 시스템"은, 단지 도어 개폐시에 차량 측, 후방의 영상을 그대로 디스플레이하는 것일 뿐, 장애물의 유무나 거리를 측정 및 판단하는 기술내용에 대하여는 언급된 바 없었다.
However, the above-described system for providing image information on the vehicle side and the rear of the Patent Publication No. 10-2004-0029218 is merely displaying the image of the vehicle side and the rear as it is when the door is opened and closed, the presence or absence of the obstacle There is no mention of the technical details of measuring and judging.
또한, 상기한 바와 같은 차량용 감시 카메라에 대한 종래기술의 다른 예로서, 예를 들면, 한국 등록특허 제10-0364279호(2002.11.28. 등록)에 개시된 바와 같은 "차량의 후방 모니터링 장치"가 있다.
In addition, as another example of the prior art for a vehicle surveillance camera as described above, there is, for example, a "vehicle rear monitoring apparatus" as disclosed in Korean Patent No. 10-0364279 (registered November 28, 2002). .
더 상세하게는, 상기한 등록특허 제10-0364279호의 "차량의 후방 모니터링 장치"는, 차량의 후방을 카메라로 촬영하여 그 촬영 영상을 후방 차폭 연장선 및 거리 표시선과 함께 모니터에 표시하며, 이때, 차폭 연장선과 거리 표시선을 차량의 전후 부하에 따라서 가변하여 표시함으로써, 운전자가 모니터 화면을 통해서 후방의 상황을 좀더 정밀하게 인식할 수 있도록 하는 차량의 후방 모니터링 장치에 관한 것이다.
More specifically, the "rear monitoring apparatus of the vehicle" of the above-mentioned Patent No. 10-0364279, photographs the rear of the vehicle with a camera and displays the captured image on the monitor together with the rear vehicle width extension line and the distance display line, The vehicle width monitoring line and the distance display line vary in accordance with the front and rear load of the vehicle, thereby allowing the driver to more accurately recognize the situation behind the vehicle through the monitor screen.
이를 위해, 상기한 등록특허 제10-0364279호는, 차량의 후방을 촬영하기 위한 카메라와, 시프트레버 후진 위치센서로부터 변속레버의 후진 위치신호가 입력되면 상기 카메라에서 촬영된 영상에 기 저장되어 있는 차폭 연장선과 거리 표시선을 중첩하여 모니터로 출력하는 제어유니트와, 상기 제어유니트의 출력 영상을 표시하는 모니터를 구비한 차량의 후방 모니터링 장치에 있어서, 상기 차량의 앞쪽과 뒤쪽의 부하를 검출하는 차고센서를 더 포함하여 구성되고, 상기 제어유니트는 차량의 기울기와 후방 차폭 연장선 및 거리 표시선 데이터를 맵핑하여 가지고 있으며, 상기 후진 위치신호 입력시에 상기 차고센서의 검출신호에 근거하여 차량의 기울기를 연산하고 그 연산된 기울기에 대응하는 상기 기 저장되어 있는 차폭 연장선 및 거리 표시선 데이터를 읽어내어 상기 카메라에서 촬영된 영상과 중첩하는 것을 특징으로 하는 차량의 후방 모니터링 장치를 개시하고 있다.
To this end, the registered Patent No. 10-0364279 is a camera for photographing the rear of the vehicle, and when the reverse position signal of the shift lever is input from the shift lever backward position sensor, the pre-stored in the image photographed by the camera A rear monitoring device of a vehicle having a control unit for superimposing a vehicle width extension line and a distance display line and outputting the same to a monitor, and a monitor for displaying an output image of the control unit, wherein the vehicle height sensor detects loads of the front and rear of the vehicle. The control unit further comprises mapping the inclination of the vehicle, the rear vehicle width extension line and the distance indication data, and calculating the inclination of the vehicle based on the detection signal of the garage sensor when the reverse position signal is input. The previously stored vehicle width extension line and distance display line data corresponding to the calculated slope. Disclosed is a rear monitoring apparatus of a vehicle, characterized in that overlapping with the image captured by the camera.
그러나 상기한 등록특허 제10-0364279호는, 단순히 미리 저장된 연장선 및 표시선을 영상에 중첩하는 것일 뿐, 실제로 장애물의 정확한 거리를 측정하여 제공하거나 하는 구성은 개시된 바 없었다.
However, the above-mentioned Patent No. 10-0364279 simply overlaps a pre-stored extension line and a display line in an image, and has not been disclosed to actually measure and provide an accurate distance of an obstacle.
아울러, 상기한 바와 같은 차량용 감시 카메라에 대한 종래기술의 또 다른 예로서, 예를 들면, 한국 등록특허 제10-0369163호(2003.01.09. 등록)에 개시된 바와 같은 "차량용 모니터링 시스템 및 그 방법"이 있다.
In addition, as another example of the prior art for the vehicle surveillance camera as described above, for example, "vehicle monitoring system and method thereof" as disclosed in Korean Patent No. 10-0369163 (registered on Jan. 2003. 2003) There is this.
더 상세하게는, 상기한 등록특허 제10-0369163호(2003.01.09. 등록)의 "차량용 모니터링 시스템 및 그 방법"은, 실시간으로 처리가 가능하고, 후진시에 운전자에게 핸들각에 따른 후방영상과 함께 장애물과의 거리 등을 시각적으로 확인할 수 있도록 하기 위한 차량용 모니터링 시스템 및 그 방법에 관한 것이다.
More specifically, the "vehicle monitoring system and method" of the above-mentioned Patent No. 10-0369163 (registered on Jan. 9, 2003) can be processed in real time, and the rear image according to the steering wheel angle to the driver when reversing. In addition, the present invention relates to a vehicle monitoring system and method for visually confirming a distance from an obstacle and the like.
이를 위해, 상기한 등록특허 제10-0369163호는, 시프트 레버가 'R' 위치에서 차량의 운전자가 핸들을 조작함에 따라 스티어링각을 감지토록 상기 차량에 설치된 스티어링 센서와; 상기 차량의 후방에 설치되어 상기 차량의 후진 궤적을 따라 촬영 방향을 바꾸며 촬영하는 시시디 카메라와; 상기 스티어링 센서와 상기 시시디 카메라로부터 신호를 입력받아 이를 제어토록 하는 컨트롤 유니트와; 상기 시시디 카메라가 촬영한 영상을 상기 운전자에게 디스플레이하는 디스플레이 모니터와; 상기 시시디 카메라를 상기 컨트롤 유니트의 제어에 따라 구동토록 하는 카메라 서보모터;를 포함하는 것을 특징으로 하는 차량용 모니터링 시스템을 개시하고 있다.
To this end, the registered Patent No. 10-0369163 is a steering sensor installed in the vehicle to detect the steering angle as the shift lever is operated by the driver of the vehicle in the 'R'position; A CD camera installed at the rear of the vehicle and photographing while changing a photographing direction along a backward trajectory of the vehicle; A control unit which receives a signal from the steering sensor and the CD camera and controls the signal; A display monitor configured to display an image captured by the CD camera to the driver; Disclosed is a vehicular monitoring system, comprising: a camera servomotor for driving the CD camera under the control of the control unit.
그러나 상기한 등록특허 제10-0369163호도, 상기한 등록특허 제369163호와 마찬가지로, 실제로 장애물의 정확한 거리를 측정하여 운전자에게 제공하는 구성에 대하여는 개시된 바 없었다.
However, the above-mentioned Patent No. 10-0369163, like the Patent No. 369163 described above, has not been disclosed about the configuration of actually measuring the exact distance of the obstacle and providing it to the driver.
상기한 바와 같이, 종래, 다양한 차량용 감시 카메라가 제안되었으나, 이러한 종래의 차량용 감시 카메라들은 다음과 같은 문제점이 있는 것이었다.
As described above, various conventional vehicle surveillance cameras have been proposed, but such conventional vehicle surveillance cameras have the following problems.
즉, 더 상세하게는, 종래의 차량용 후방 감시 카메라는, 일반적으로, 한 대의 카메라로부터 얻어진 영상정보로부터 픽셀(pixel) 당 거리를 계산하여 차량 후방의 거리를 선으로 표시하고 있다.
That is, more specifically, the conventional vehicle rear monitoring camera generally displays the distance behind the vehicle by calculating the distance per pixel from the image information obtained from one camera.
따라서 이러한 방식으로는 거리의 계산에 대한 정확도가 떨어지게 되고, 화면에 표시되는 내용도 단순히 선으로만 표시되므로 운전자가 식별이 용이하지 못하며, 그에 따라 긴급 상황시 신속한 대처가 어려울 수 있는 위험성이 있는 것이었다.
In this way, the accuracy of the distance calculation is reduced, and the contents displayed on the screen are simply displayed as lines, which makes it difficult for the driver to identify them, and therefore, there is a risk that it may be difficult to respond quickly in an emergency situation. .
따라서 상기한 바와 같은 종래의 차량용 후방 감시 카메라의 단점을 개선하기 위하여는, 카메라로 촬영된 영상의 픽셀로부터 계산된 대략적인 거리가 아닌, 정확한 거리정보를 획득 가능한 센서를 이용하여 운전자에게 정확한 정보를 전달할 수 있는 동시에, 그와 같이 측정된 거리를 단순히 선으로만 표시하는 것이 아니라, 화면에 표시되는 객체별로 색을 입히고 거리에 따른 위험도를 색깔별로 나타냄으로써 운전자가 용이하게 식별할 수 있고 신속하게 반응할 수 있는 차량용 후방 감시 카메라를 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족하는 장치나 방법은 제공되지 못하고 있는 실정이다.
Therefore, in order to improve the disadvantages of the conventional vehicle rear surveillance camera as described above, the accurate information to the driver by using a sensor that can obtain accurate distance information, rather than the approximate distance calculated from the pixels of the image taken by the camera. At the same time, the measured distance is not simply displayed as a line, but is colored by the objects displayed on the screen and the risks of the distance are displayed by color, allowing the driver to easily identify and react quickly. It is desirable to provide a rear view surveillance camera for a vehicle, but an apparatus or method that satisfies all such requirements has not been provided.
본 발명은 상기한 바와 같은 종래의 차량용 후방 감시 카메라의 단점들을 개선하고자 하는 것으로, 따라서 본 발명의 목적은, 거리정보를 획득 가능한 센서를 이용하여 카메라로 촬영된 영상의 픽셀로부터 계산된 대략적인 거리가 아닌 정확한 거리정보를 운전자에게 전달할 수 있는 차량용 후방 감시 카메라를 제공하고자 하는 것이다.
SUMMARY OF THE INVENTION The present invention seeks to remedy the shortcomings of a conventional vehicular rear surveillance camera as described above. Accordingly, an object of the present invention is to provide an approximate distance calculated from a pixel of an image photographed by a camera using a sensor capable of obtaining distance information. Instead of providing a rear view camera for a vehicle that can deliver accurate distance information to the driver.
또한, 본 발명의 다른 목적은, 상기한 바와 같이 측정된 거리를 단순히 선으로만 표시하는 것이 아니라, 화면에 표시되는 객체별로 색을 입히고 거리에 따른 위험도를 색깔별로 나타냄으로써, 운전자가 보다 용이하게 식별할 수 있고 긴급 상황시 신속하게 반응할 수 있도록 하는 차량용 후방 감시 카메라를 제공하고자 하는 것이다.
In addition, another object of the present invention is to not only display the measured distance as a line as described above, but to color each object displayed on the screen and to indicate the risk according to the distance by color, the driver more easily. It is to provide a rearview surveillance camera for a vehicle that can be identified and responds quickly in an emergency.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 거리정보를 이용한 차량용 후방 카메라에 있어서, 차량 후방의 영상 및 장애물의 거리정보를 취득하는 정보취득부; 및 상기 정보취득부로부터 얻어진 거리정보를 이용하여, 상기 차량 후방의 영상 내에서 인식된 물체에 대하여 거리에 따라 미리 지정된 색을 지정하는 처리를 수행하는 정보처리부;를 포함하는 차량 후방 카메라가 제공된다.
In order to achieve the above object, according to the present invention, a vehicle rear camera using the distance information, the information acquisition unit for acquiring the distance information of the image and the obstacle behind the vehicle; And an information processor configured to designate a predetermined color according to a distance with respect to an object recognized in the image behind the vehicle, by using the distance information obtained from the information acquirer. .
여기서, 상기한 차량 후방 카메라는, 상기 정보처리부에서 처리된 영상을 표시하는 표시부를 더 포함하는 것을 특징으로 한다.
The vehicle rear camera may further include a display unit which displays an image processed by the information processor.
또한, 상기 정보취득부는, 차량 후방의 영상을 촬영하여 영상정보를 취득하는 영상취득부; 및 차량 후방의 장애물에 대한 거리정보를 취득하는 거리측정 센서;를 포함하는 것을 특징으로 한다.
The information acquisition unit may include an image acquisition unit that acquires image information by capturing an image of the rear of the vehicle; And a distance measuring sensor for obtaining distance information on an obstacle behind the vehicle.
여기서, 상기 영상취득부는 카메라를 포함하여 구성되고, 상기 거리측정 센서는 적외선 센서를 포함하여 구성되는 것을 특징으로 한다.
Here, the image acquisition unit is configured to include a camera, the distance measuring sensor is characterized in that it comprises an infrared sensor.
아울러, 상기 정보처리부는, 상기 영상취득부로부터 얻어진 상기 영상정보와 상기 거리측정 센서로부터 얻어진 상기 거리정보를 수신하여, 상기 물체의 거리에 따라 미리 지정된 색이 표시된 영상으로 구성하는 처리를 수행하는 영상처리부;를 포함하는 것을 특징으로 한다.
In addition, the information processing unit, the image information obtained from the image acquisition unit and the distance information obtained from the distance measuring sensor, and performs an image processing to configure the image displayed in the predetermined color according to the distance of the object It is characterized in that it comprises a processing unit.
여기서, 상기 영상처리부는, 상기 영상취득부와 상기 거리측정 센서에 전원이 공급되도록 하여 상기 카메라와 상기 거리측정 센서의 작동이 개시되도록 하고, 상기 거리측정 센서에 의해 상기 차량 후방의 일정 영역의 모든 객체에 대한 거리를 측정하여 얻어진 거리정보 및 상기 영상취득부에 의해 상기 일정 영역의 영상을 촬영하여 얻어진 영상정보를 이용하여, 거리에 따라 미리 지정된 색을 각각의 상기 물체에 지정하며, 상기 영상취득부와 상기 거리측정 센서의 각 화상 사이의 차이를 보상하는 캘리브레이션(calibration) 처리를 수행하여, 상기 영상취득부를 통해 얻어진 영상 내에서 상기 물체의 위치를 결정하고, 상기 물체의 색 및 위치가 결정된 영상을 상기 표시부를 통해 표시하도록 하는 것을 특징으로 한다.
Here, the image processing unit, so that power is supplied to the image acquisition unit and the distance measuring sensor so that the operation of the camera and the distance measuring sensor is started, and all of the predetermined area of the rear of the vehicle by the distance measuring sensor By using distance information obtained by measuring a distance to an object and image information obtained by capturing an image of the predetermined area by the image acquisition unit, a predetermined color is assigned to each of the objects according to the distance, and the image acquisition is performed. A calibration process for compensating for a difference between the image of the distance sensor and the image sensor, to determine the position of the object in the image obtained through the image acquisition unit, and to determine the color and the position of the object. It characterized in that to display through the display.
상기한 바와 같이, 본 발명에 따르면, 카메라로 촬영된 영상의 픽셀로부터 계산된 대략적인 거리만을 전달할 수 있었던 종래의 차량용 후방 감시 카메라의 단점을 해결하여, 거리정보를 획득 가능한 센서를 이용하여 정확한 거리정보를 운전자에게 전달할 수 있는 차량용 후방 감시 카메라를 제공할 수 있다.
As described above, according to the present invention, it solves the disadvantage of the conventional vehicle rear surveillance camera that was able to deliver only the approximate distance calculated from the pixels of the image taken by the camera, the accurate distance using the sensor to obtain the distance information It is possible to provide a vehicle rearview surveillance camera capable of transmitting information to the driver.
또한, 본 발명에 따르면, 측정된 거리를 단순히 선으로만 표시하여 운전자의 식별이 용이하지 못했던 종래의 차량용 후방 감시 카메라의 단점을 해결하여, 화면에 표시되는 객체별로 색을 입히고 거리에 따른 위험도를 색깔별로 나타냄으로써 운전자가 보다 용이하게 식별할 수 있고 긴급 상황시 신속하게 반응할 수 있도록 하는 차량용 후방 감시 카메라를 제공할 수 있다.
In addition, according to the present invention, by solving the shortcomings of the conventional rear surveillance camera for the vehicle was not easy to identify the driver by simply displaying the measured distance by a line, to color each object displayed on the screen and the risk according to the distance Color-coded representations provide a vehicle rearview camera that allows the driver to more easily identify and respond quickly in an emergency.
따라서 상기한 바와 같이, 본 발명에 따르면, 대략적인 픽셀당 미터 거리가 아닌 적외선 센서로 측정한 정확한 거리를 운전자에게 제공할 수 있고, 거리가 표시되는 선만이 아니라 물체별로 색을 입힘으로써 운전자가 더욱 쉽게 알아볼 수 있으며, 거리정보를 획득 가능한 센서를 이용하여 차량 후방의 물체 거리를 측정할 수 있으므로, 차량 후방 센서와 같은 다른 센서가 필요 없게 되어 그만큼 비용도 절감할 수 있다.
Therefore, as described above, according to the present invention, it is possible to provide the driver with an accurate distance measured by an infrared sensor, rather than an approximate meter distance per pixel, and the driver can further color the object by not only the line on which the distance is displayed. The distance of the object behind the vehicle can be measured using a sensor that can be easily recognized and obtains distance information, thereby eliminating the need for other sensors such as the vehicle rear sensor, thereby reducing the cost.
도 1은 본 발명의 실시예에 따른 차량용 후방 감시 카메라의 전체적인 동작을 나타내는 플로차트이다.
도 2는 도 1에 나타낸 본 발명의 실시예에 따른 차량용 후방 감시 카메라의 전체적인 동작을 나타내는 플로차트이다.
도 3은 도 1에 나타낸 본 발명의 실시예에 따른 차량용 후방 감시 카메라의 영상처리부에서 영상을 처리하는 처리의 흐름을 나타내는 도면이다.
도 4는 도 1에 나타낸 본 발명의 실시예에 따른 차량용 후방 감시 카메라의 거리측정 센서를 통하여 얻어진 영상을 나타내는 도면이다.
도 5a 및 도 5b는 종래의 일반적인 차량용 후방 카메라의 영상과 도 1에 나타낸 본 발명의 실시예에 따른 차량용 후방 감시 카메라를 이용하여 촬영된 영상을 각각 나타내는 도면이다. 1 is a flowchart showing the overall operation of a rear view surveillance camera for a vehicle according to an embodiment of the present invention.
FIG. 2 is a flowchart showing the overall operation of the vehicle rear view surveillance camera according to the embodiment of the present invention shown in FIG. 1.
3 is a diagram illustrating a flow of a process of processing an image by an image processing unit of a rear view surveillance camera for a vehicle according to an exemplary embodiment of the present invention shown in FIG. 1.
FIG. 4 is a diagram illustrating an image obtained through a distance measuring sensor of a rear surveillance camera for a vehicle according to an exemplary embodiment of the present invention illustrated in FIG. 1.
5A and 5B are views illustrating images of a conventional general vehicle rear camera and an image photographed using the vehicle rear surveillance camera according to the embodiment of the present invention shown in FIG. 1.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 거리정보를 이용한 차량 후방 카메라의 상세한 내용에 대하여 설명한다.
Hereinafter, with reference to the accompanying drawings, the details of the vehicle rear camera using the distance information according to the present invention will be described.
여기서, 이하의 설명에서는, 종래기술과 동일한 내용이나 당업자에게 있어서 자명한 내용들은, 설명을 간략히 하기 위해 그 상세한 내용에 대한 설명을 생략하고 다른 점만을 설명하였음에 유의해야 한다.
Here, in the following description, it should be noted that the same contents as those in the prior art or the contents obvious to those skilled in the art have been described in detail for the purpose of simplifying the description and omitting the description thereof.
또한, 이하에 설명하는 내용은 본 발명을 실시하기 위한 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
It should be noted that the contents described below are only examples for carrying out the present invention, and the present invention is not limited only to the contents of the embodiments described below.
즉, 본 발명에 따른 거리정보를 이용한 차량 후방 카메라는, 후술하는 바와 같이, 카메라로 촬영된 영상의 픽셀로부터 계산된 대략적인 거리를 제시하는 대신에, 거리측정 센서를 이용하여 정확한 거리정보를 운전자에게 정확한 정보를 전달할 수 있도록 구성된 차량용 후방 감시 카메라에 관한 것이다.
That is, the vehicle rear camera using the distance information according to the present invention, as described later, instead of presenting the approximate distance calculated from the pixels of the image captured by the camera, the driver uses the distance sensor to provide accurate distance information. The present invention relates to a vehicle rearview camera configured to convey accurate information to a vehicle.
또한, 본 발명은, 후술하는 바와 같이, 거리측정 센서로 측정된 거리를 단순히 선으로만 표시하는 대신에, 화면에 표시되는 객체별로 색을 부여하고 거리에 따른 위험도를 색깔별로 나타냄으로써, 운전자가 한눈에 용이하게 식별할 수 있도록 하여 긴급 상황에도 신속하게 반응할 수 있는 차량용 후방 감시 카메라에 관한 것이다.
In addition, the present invention, instead of simply displaying the distance measured by the distance measuring sensor as a line, as described below, by giving a color for each object displayed on the screen and by displaying the risk according to the distance by color, The present invention relates to a rear surveillance camera for a vehicle that can be easily identified at a glance and reacts quickly to an emergency situation.
즉, 최근에는, 다양한 서비스 및 제품들이 개발되면서 움직임 감지, 보안, 인식 데이터 처리에 걸친 광범위한 분야에서 거리 정보의 사용이 증가하는 추세이며, 이에 따라 거리 정보의 필요성 및 중요성이 점점 증대되고 있으며, 이러한 거리 정보를 얻기 위한 수단으로서는, 예를 들면, 적외선 센서, 초음파 센서, GPS, 위치 센서, 동작 센서, 레이저 스캐너, 스테레오 카메라 등이 사용되고 있다.
That is, in recent years, as various services and products are developed, the use of distance information is increasing in a wide range of fields including motion detection, security, and recognition data processing. Accordingly, the necessity and importance of distance information is gradually increasing. As means for obtaining distance information, for example, an infrared sensor, an ultrasonic sensor, a GPS, a position sensor, a motion sensor, a laser scanner, a stereo camera, or the like is used.
여기서, 상기한 수단들 중에서, 레이저 스캐너와 스테레오 카메라만이 면 정보를 인식하고, 나머지 센서들은 특정 영역에 대한 점 정보만을 인식하며, 또한, 자동차에 거리정보가 사용된 사례로는, 예를 들면, 초음파 센서를 이용하여 물체가 가까워지면 경보음을 발생하는 후방 감지 센서가 있다.
Here, among the above means, only the laser scanner and the stereo camera recognize the surface information, the remaining sensors recognize only the point information for the specific area, and, in the case where the distance information is used in the vehicle, for example There is a rear sensing sensor that generates an alarm sound when an object is approached using an ultrasonic sensor.
이러한 초음파 센서는, 음파를 발생시키고 파동을 수신하여 거리 정보를 추출하는 것으로, 점 정보를 얻을 수는 있으나 면 정보를 얻는 것은 불가능하며, 아울러, 경보음을 발생하는 것 이외에는 거리정보를 시각적으로 표시하는 것과 같이 시각적인 효과를 부여하는 기능은 없었다.
The ultrasonic sensor generates sound waves and receives waves to extract distance information. The ultrasonic sensor can obtain point information but cannot obtain surface information, and visually displays the distance information except for generating an alarm sound. There was no such thing as a visual effect.
더 상세하게는, 종래, 자동차 후진시 운전자가 사이드 미러와 룸 미러에만 의존하게 되면, 트렁크 정 후방의 식별이 불가능하고 사각지대가 형성되기 때문에 갑작스럽게 나타나는 돌출부에 당황하여 사고를 일으키는 경우가 많고, 이러한 상황은 후방 감지 센서를 사용하여도 크게 해결되지 않는다.
More specifically, when the driver relies on only the side mirrors and the room mirrors when reversing the vehicle, it is often embarrassing to cause sudden accidents due to the inability to identify the rear of the trunk and the formation of blind spots. This situation is not largely solved by using a rear sensor.
즉, 초음파로 후방의 돌출부를 감지하는 종래의 후방 감지기는, 센서의 장착 위치와 성능에 따라 사물을 식별하나, 근거리에 대한 거리인식이 불명확하고 센서의 측면 사물 감지력이 떨어진다.
That is, the conventional rear detector which detects the rear projection by ultrasonic waves, identifies objects according to the mounting position and the performance of the sensor, but the distance recognition for the near distance is unclear and the side object sensing power of the sensor is inferior.
상기한 바와 같은 단점을 개선하기 위해, 카메라를 이용하여 차량 후방의 영상을 표시하는 후방 카메라가 제안되었으며, 이러한 후방 카메라는, 광각 렌즈를 사용하여 사각을 줄이고 차량과 사물간의 거리를 직접 나타내므로 최근 큰 인기를 얻고 있다.
In order to remedy the above disadvantages, a rear camera for displaying an image of the rear of the vehicle by using a camera has been proposed. Since the rear camera uses a wide-angle lens to reduce blind spots and directly display the distance between the vehicle and the object, It is gaining great popularity.
또한, 이에 더하여, 최근에는, 후진시 후방 카메라의 후방 영상을 차량에 장착된 디스플레이에 자동으로 변환시켜 주는 장치나, 각각의 차량에 맞도록 주차라인의 폭, 각도, 위치, 거리를 임의로 조정하여 표시할 수 있도록 한 주차라인 생성장치 및 차량 타입별로 주차시 진행해야 하는 각도와 거리정보를 나타내는 주차 유도라인을 표시하는 장치들도 제안되어 있다.
In addition, in recent years, a device that automatically converts the rear view image of the rear camera when the vehicle is reversed to a vehicle-mounted display, or arbitrarily adjusts the width, angle, position, and distance of the parking line to suit each vehicle. Parking line generating devices and display devices for displaying parking guidance lines indicating angles and distance information to be parked for each vehicle type have also been proposed.
그러나 상기한 바와 같은 기능들은 카메라의 영상에 주차라인을 표시하여 단순히 운전자가 주차를 용이하게 하도록 하기 위한 것일 뿐, 후방에 있는 물체들의 거리 정보까지 시각적으로 표시하여 주는 것은 없었다.
However, the above functions are merely to make the driver easily park the parking line by displaying the parking line on the image of the camera, and do not visually display the distance information of the objects in the rear.
따라서 본 발명자들은, 후술하는 바와 같이 하여, 상기한 바와 같은 기존의 방식과는 달리, 거리정보와 영상정보를 동시에 이용하여 거리정보에 따라 물체를 인식하고 물체의 거리에 따라 각각의 물체를 서로 다른 색깔로 표현함으로써, 운전자에게 보다 정확하고 보다 시각적인 정보를 전달할 수 있는 시스템을 구현하였다.
Therefore, the present inventors, unlike the conventional method as described above, as described later, by using the distance information and the image information at the same time to recognize the object according to the distance information, and each object is different according to the distance of the object By expressing in color, we have implemented a system that can convey more accurate and visual information to the driver.
또한, 본 발명자들은, 상기한 바와 같은 시스템을 구현하기 위해, 후술하는 바와 같이 하여, 입력영상 관리, 위치보정, 관심영역 또는 관심물체 선택방법에 관련된 알고리즘을 구성하고 실험을 통해 그 효과를 검증하였다.
In addition, the present inventors, in order to implement the system as described above, as described below, the algorithm related to the input image management, position correction, region of interest or object selection method and verified the effect through the experiment. .
계속해서, 본 발명에 따른 거리정보를 이용한 차량 후방 카메라의 상세한 내용에 대하여 설명한다.
Next, the details of the vehicle rear camera using the distance information according to the present invention will be described.
먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 차량용 후방 감시 카메라의 전체적인 구성을 개략적으로 나타내는 블록도이다.
First, referring to FIG. 1, FIG. 1 is a block diagram schematically illustrating an overall configuration of a rear view surveillance camera for a vehicle according to an exemplary embodiment of the present invention.
즉, 도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 차량용 후방 감시 카메라(10)는, 차량 후방의 영상을 얻기 위한 카메라(11)와, 거리정보를 획득 가능한 거리측정 센서(12)와, 카메라(11)로부터 얻어진 영상정보와 거리측정 센서(12)로부터 얻어진 거리정보를 수신하여 운전자에게 표시되는 영상으로 구성하는 처리를 수행하는 영상처리부(13) 및 영상처리부(13)에서 처리된 영상을 표시하는 표시부(14)를 포함하여 구성된다.
That is, as shown in Figure 1, the vehicle
여기서, 카메라(11)는, 일반적으로, 운전자가 차량 후방의 영상을 인식하는데 무리가 없을 정도의 화질이나 해상도를 만족한다면 장치 구성 및 설계 비용 등에 따라 다양한 형태의 카메라를 이용할 수 있으며, 거리측정 센서(12)는, 예를 들면, 적외선 센서를 이용할 수 있다.
Here, in general, the
또한, 표시부(14)는, 별도의 디스플레이 장치를 구성할 수도 있고, 또는, 차량에 설치된 네비게이션이나 휴대용 TV 등을 이용하여 해당 장치의 화면에 영상을 출력하도록 구성할 수도 있다.
In addition, the
계속해서, 도 2를 참조하여, 상기한 바와 같이 구성된 본 발명의 실시예에 따른 차량용 후방 감시 카메라(10)의 구체적인 동작에 대하여 설명한다.
Next, with reference to FIG. 2, the specific operation | movement of the vehicle
도 2를 참조하면, 도 2는 도 1에 나타낸 본 발명의 실시예에 따른 차량용 후방 감시 카메라(10)의 전체적인 동작을 나타내는 플로차트이다.
Referring to FIG. 2, FIG. 2 is a flowchart showing the overall operation of the vehicular
도 2에 나타낸 바와 같이, 먼저, 후진기어가 들어오면, 차량의 후방에 설치되는 카메라(11)와 거리측정 센서(12)에 전원이 공급되어 카메라(11)와 거리측정 센서(12)가 작동된다.
As shown in FIG. 2, first, when the reverse gear enters, power is supplied to the
여기서, 거리측정 센서(12)는, 후방의 일정 영역의 모든 거리를 측정하게 되고, 카메라(11)는 그러한 영역의 영상을 획득한다.
Here, the
또한, 영상처리부(13)는, 거리측정 센서(12)를 통해 얻어진 측정 결과로부터 같은 거리에 있는 연결된 면을 인식함으로써 물체를 인식하고, 그러한 물체의 거리에 따라 각각 다른 색을 지정한다.
In addition, the
계속해서, 영상처리부(13)는, 카메라(11)와 거리측정 센서(12)의 위치 차이에 따른 화상의 차이를 보상하여 각각의 화면을 동기시키는 캘리브레이션(calibration) 처리를 통하여 카메라(11)를 통해 얻어진 영상 내에서 상기한 거리측정 센서(12)의 측정결과로부터 인식된 물체의 위치를 결정하고, 그러한 물체에 각각 다른 색을 부여하여 표시부(14)를 통해 사용자에게 표시한다.
Subsequently, the
또한, 차량이 후진기어 상태인 경우는 상기한 동작을 반복하여 영상출력을 유지하고, 전진기어로 변경되면 동작을 종료한다.
In addition, when the vehicle is in the reverse gear state, the above operation is repeated to maintain image output, and when the vehicle is changed to the forward gear, the operation ends.
계속해서, 상기한 바와 같은 영상처리부(13)에서 영상을 처리하는 알고리즘의 더욱 상세한 내용에 대하여 설명한다.
Subsequently, further details of an algorithm for processing an image in the
일반적으로, RGB 영상에서 물체를 식별하고 추출하는 알고리즘은 여러 가지가 제안되어 있으나, 기존의 알고리즘들의 가장 큰 문제는 인식 속도이다.
In general, various algorithms for identifying and extracting objects from RGB images have been proposed, but the biggest problem of existing algorithms is recognition speed.
즉, 더 상세하게는, 기존의 알고리즘들을 통하여 전체 영상에서 사용자가 원하는 물체를 식별해 내는 것은 여러 과정을 거쳐 진행되기 때문에 속도 면에서 문제가 발생하고, 따라서 카메라 하나 만을 이용하여 물체를 식별하고 실시간으로 작동되어야 하는 기존의 차량용 후방 카메라에서는 사용하기가 어렵다.
More specifically, the problem of speed arises because the identification of the object that the user wants in the whole image through the existing algorithms is progressed through several processes. Therefore, the object is identified and the real time is detected using only one camera. It is difficult to use in the existing vehicle rear camera that must be operated as.
이에 대하여 본 발명자들은, 다음과 같이 하여 거리에 따라 색으로 시각적 효과를 부여함으로써 RGB 영상에서 다른 처리과정을 거치지 않도록 하여 처리속도를 향상하여 실시간으로 동작하여야 하는 차량 후방 카메라에 적합한 알고리즘을 제안하였다.
On the other hand, the present inventors have proposed an algorithm suitable for a rear camera of a vehicle which should be operated in real time by improving the processing speed by not performing other processing in an RGB image by giving a visual effect in color according to a distance as follows.
먼저, 도 3을 참조하면, 도 3은 영상처리부(13)에서 영상을 처리하는 처리의 흐름을 나타내는 도면이다.
First, referring to FIG. 3, FIG. 3 is a diagram illustrating a process of processing an image by the
도 3에 나타낸 바와 같이, 영상처리부(13)는, 각 색깔별로 임계치를 설정하고, 거리측정 센서(12)로 읽어들인 영상의 값들을 이용하여 그러한 임계치 사이에 있는 값들에는 카메라(11)로 촬영된 RGB 영상에서 미리 정해진 일정한 색을 부가하여 표시부(14)에 표시한다.
As shown in FIG. 3, the
여기서, 상기한 임계치는, 예를 들면, 각각의 색에 따라 미리 지정된 값을 저장하여 두도록 구성할 수 있다.
In this case, the threshold may be configured to store, for example, a predetermined value according to each color.
따라서 상기한 바와 같이, 다른 계산은 하지 않고 단지 임계치를 이용하여 대소 계산만 수행함으로써, 실시간으로 정보를 받아들여 처리해야 하는 차량 후방 카메라와 같은 분야에 적합한 효율적인 처리속도를 구현할 수 있게 된다.
Therefore, as described above, by performing only the case calculation using a threshold value without performing other calculations, it is possible to implement an efficient processing speed suitable for a field such as a vehicle rear camera that needs to receive and process information in real time.
다음으로, 도 4를 참조하여, 거리를 계산하는 처리에 대하여 설명한다.
Next, with reference to FIG. 4, the process of calculating a distance is demonstrated.
도 4를 참조하면, 도 4는 적외선 센서로 구성된 거리측정 센서(12)를 통하여 얻어진 거리 영상을 나타내는 도면이며, 도 4에 있어서, 색이 진한(검은) 부분은 배경을 의미하고, 상대적으로 색이 흐린(회색) 부분은 물체가 있는 곳을 의미한다.
Referring to FIG. 4, FIG. 4 is a diagram illustrating a distance image obtained through the
또한, 도 4에 나타낸 바와 같이, 물체가 표시되는(회색) 부분도 거리별로 명암의 차가 존재하며, 이러한 명암의 차이는 거리가 멀어질수록 더 진하게 변화하게 된다.
In addition, as shown in FIG. 4, there is a difference in contrast between distances in which an object is displayed (gray), and the difference in contrast is changed more and more as the distance increases.
따라서 거리측정 센서(12)의 수신부에서 수신된 영상과 발신부에서 출력한 적외선을 읽어들여, 이미 기억하고 있는 패턴의 정보와 비교하여 왜곡된 정보를 찾아 깊이 정보를 계산할 수 있으며, 계산된 깊이 정보를 각 색에 따라 미리 지정된 임계값과 비교하여 깊이, 즉, 거리에 따른 색의 지정이 가능해진다.
Therefore, by reading the image received from the receiver of the
계속해서, 거리측정 센서(12)의 적외선 센서 영상과 카메라(11) RGB 영상을 보정하는 처리에 대하여 설명한다.
Subsequently, a process of correcting the infrared sensor image of the
즉, 상기한 바와 같은 과정을 통하여 거리 변환된 값의 화소값을 RGB 영상에서 동일한 위치에 있는 화소 값으로 구하기 위해서는, 적외선 센서와 카메라의 거리로 인해 발생하는 오차값과, RGB 영상의 해상도(예를 들면, 640×480)와 적외선 센서 영상의 해상도(예를 들면, 320×240)의 차이로 인한 오차를 수정하여야 하며, 거리에 따른 오차 수정은 이하의 [수학식 1]을 이용하여 수행될 수 있다.
That is, in order to obtain the pixel value of the distance-converted value as the pixel value at the same position in the RGB image through the above process, an error value generated by the distance between the infrared sensor and the camera and the resolution of the RGB image (eg For example, the error due to the difference between the resolution of the 640 × 480 and the infrared sensor image (for example, 320 × 240) should be corrected, and the error correction according to the distance may be performed using Equation 1 below. Can be.
[수학식 1]
[Equation 1]
여기서, 상기한 [수학식 1]은, 임계치에 따른 거리를 계산하여 거리정보를 RGB 영상에 추가할 때 거리 영상을 RGB 영상에 정합시키기 위한 전처리 과정에서 사용된다.
Here, Equation 1 is used in a preprocessing process for matching the distance image to the RGB image when calculating the distance according to the threshold and adding the distance information to the RGB image.
또한, IR.x, IR.y는 각각 3차원 적외선 영상의 x 및y 좌표값이고, IR.z는 깊이에 해당하는 값이다.
In addition, IR.x and IR.y are x and y coordinate values of the 3D infrared image, respectively, and IR.z is a value corresponding to the depth.
아울러, fxd, fyd, cxd 및 cyd는 적외선 카메라에서 얻을 수 있는 특성값들이고, xd, yd 값은 거리 영상에서의 픽셀 값이며, 나머지 변수는 이하의 [표 1] 과 같은 값을 가진다.
In addition, fx d , fy d , cx d and cy d are characteristic values obtained from an infrared camera, x d and y d are pixel values in a distance image, and the remaining variables are shown in [Table 1] below. Has a value.
또한, 상기한 바와 같이 하여 계산된 적외선 영상의 3차원 데이터 IR의 x, y, z축 값을 카메라 영상의 2차원 데이터 RGB의 x, y로 정합시키기 위한 과정은, 이하의 [수학식 2]에 의해 수행된다.
In addition, a process for matching the x, y, z axis values of the three-dimensional data IR of the infrared image calculated as described above with the x, y of the two-dimensional data RGB of the camera image is as follows. Is performed by.
[수학식 2]
&Quot; (2) "
여기서, IR 및 IR'은 각각 적외선 영상의 3차원 데이터이고, RGB.x 및 RGB.y는 각각 카메라의 2차원 영상의 좌표값이다.
Here, IR and IR 'are three-dimensional data of an infrared image, respectively, and RGB.x and RGB.y are coordinate values of a two-dimensional image of a camera, respectively.
즉, 적외선 센서와 카메라 사이의 거리 및 특성값이 차이로 인해 발생하는 값을 교정하기 위해 변환(Translation) 배열(T)과 회전(Rotation) 배열(R)을 이용하여 어긋난 값을 교정하고, 3차원 데이터 IR을 2차원 데이터 RGB로 정합하기 위해 [수학식 2]의 두 번째와 세 번째 식을 이용한다.
In other words, in order to correct the value caused by the difference between the distance and the characteristic value between the infrared sensor and the camera, the misalignment value is corrected using the translation array T and the rotation array R, and 3 The second and third equations of [Equation 2] are used to match the dimensional data IR to the two-dimensional data RGB.
또한, [수학식 2]에 있어서도, [수학식 1]과 마찬가지로, 각 변수들은 미리 측정된 값을 가지며, 상기한 [수학식 2]에서 사용되는 변수들의 값은 이하의 [표 2]에 나타낸 바와 같다.
In addition, in [Equation 2], as in [Equation 1], each variable has a value measured in advance, and the values of the variables used in [Equation 2] are shown in Table 2 below. As shown.
-1.7487233004436643e-02, -1.4779096108364480e-03,
9.9992385683542895e-01, -1.2251380107679535e-02,
1.7470421412464927e-02, 1.2275341476520762e-02,
9.9977202419716948e-01](9.9984628826577793e-01, 1.2635359098409581e-03,
-1.7487233004436643e-02, -1.4779096108364480e-03,
9.9992385683542895e-01, -1.2251380107679535e-02,
1.7470421412464927e-02, 1.2275341476520762e-02,
9.9977202419716948e-01]
-1.0916736334336222e-02 ][1.9985242312092553e-02, -7.4423738761617583e-04,
-1.0916736334336222e-02]
따라서 상기한 바와 같은 과정을 통하여 물체에 색이 부여된 영상을 표시할 수 있으며, 그러한 영상의 예가 도 5에 나타나 있다.
Accordingly, an image to which an object is given color can be displayed through the above-described process, and an example of such an image is shown in FIG. 5.
즉, 도 5를 참조하면, 도 5는 기존의 차량용 후방 카메라의 영상과 본 발명에 따른 차량용 후방 카메라의 영상을 비교하여 나타내는 도면이다.
That is, referring to FIG. 5, FIG. 5 is a view illustrating a comparison of an image of a conventional vehicle rear camera and an image of a vehicle rear camera according to the present invention.
도 5에 있어서, 도 5a는 일반적인 종래의 후방 카메라의 영상이고, 도 5b는 상기한 바와 같은 알고리즘을 구현하도록 구성된 본 발명에 따른 차량용 후방 카메라의 영상을 각각 나타내고 있다.
In FIG. 5, FIG. 5A is an image of a general conventional rear camera, and FIG. 5B shows an image of a vehicle rear camera according to the present invention configured to implement the algorithm as described above.
여기서, 색을 구별하는 임계치 값은 상기한 바와 같이 하여 각각의 물체가 떨어진 거리를 계산하여 적용하였으며, 가까운 곳부터 빨강, 주황, 노랑의 순으로 색 분배가 이루어졌고, 또한, 색을 부여할 때에는, 운전자가 물체를 인식할 수 있도록 투명도를 조정하여 물체 위에 투명한 색이 칠해지도록 구성되었다.
Here, the threshold value for distinguishing colors was calculated and applied to the distance of each object as described above, and the color was distributed in the order of red, orange, and yellow from the nearest place. In addition, the transparency is adjusted so that the driver can recognize the object so that the transparent color is painted on the object.
아울러, 상기한 임계치 값은 임의로 설정하거나 미리 지정하여 저장된 값을 이용하는 것도 가능하다.
In addition, the threshold value may be arbitrarily set or previously designated and used.
따라서 도 5a 및 5b를 비교하면, 기존의 일반적인 후방 카메라의 영상에 비하여 확실히 사용자가 인식하기 용이하도록 변환된 것을 알 수 있으며, 또한, 본 발명자들이 실험한 결과, 처리 속도는 평균 26fps로 실제 사용에 큰 지장이 없을 정도의 성능을 보였다.
Therefore, comparing FIG. 5A and FIG. 5B, it can be seen that the image is converted to be easily recognized by the user compared to the image of a conventional general rear camera. Also, as a result of experiments by the present inventors, the processing speed is 26 fps on average. The performance was so great that there is no big problem.
따라서 상기한 바와 같은 과정을 통하여, 종래에 비하여 정확한 거리의 측정이 가능한 동시에, 화면상에 물체에 대하여 물체의 거리에 따라 각기 다른 색이 부여된 영상을 운전자에게 표시할 수 있다.
Therefore, through the above-described process, it is possible to accurately measure the distance as compared to the conventional, and at the same time it is possible to display to the driver an image in which different colors are given according to the distance of the object with respect to the object.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 거리정보를 이용한 차량 후방 카메라의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 예를 들면, 임베디드 보드를 이용하여 소형 디스플레이 시스템을 구축하고 기존의 후방 감지 센서도 통합하여, 시각적인 효과와 청각적인 효과를 동시에 제공하도록 구성할 수도 있는 등, 다양한 수정이나 변경이 가능한 것이다.
As described above, the details of the rear camera of the vehicle using the distance information according to the present invention have been described through the embodiments of the present invention as described above, but the present invention is not limited to the contents described in the above embodiments. For example, an embedded board can be used to build a small display system and integrate the existing rear sensing sensor, which can be configured to provide both visual and audio effects at the same time.
따라서 본 발명은, 본 발명의 상세한 설명 및 청구의 범위에 기재된 내용만으로 한정되는 것이 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
Therefore, the present invention is not limited to the contents described in the detailed description and claims of the present invention, and various modifications may be made by those skilled in the art according to design needs and various other factors. Of course, changes, combinations and substitutions are possible.
10. 거리정보를 이용한 차량 후방 카메라
11. 카메라
12. 거리측정 센서
13. 영상처리부
14. 표시부 10. Rear view camera using distance information
11. Camera
12. Distance measuring sensor
13. Image Processing Unit
14. Display
Claims (6)
차량 후방의 영상 및 장애물의 거리정보를 취득하는 정보취득부;
상기 정보취득부로부터 얻어진 거리정보를 이용하여, 상기 차량 후방의 영상 내에서 인식된 물체에 대하여 거리에 따라 미리 지정된 색을 지정하는 처리를 수행하는 정보처리부; 및
상기 정보처리부에서 처리된 영상을 표시하는 표시부;를 포함하고,
상기 정보취득부는,
상기 차량 후방의 영상을 촬영하여 영상정보를 취득하는 영상취득부; 및
차량 후방의 장애물에 대한 거리정보를 취득하는 거리측정 센서;를 포함하며, 상기 영상취득부는 카메라를 포함하여 구성되고, 상기 거리측정 센서는 적외선 센서를 포함하고,
상기 정보처리부는,
상기 영상취득부로부터 얻어진 상기 영상정보와 상기 거리측정 센서로부터 얻어진 상기 거리정보를 수신하여, 상기 물체의 거리에 따라 미리 지정된 색이 표시된 영상으로 구성하는 처리를 수행하는 영상처리부;를 포함하고,
상기 영상처리부는,
상기 영상취득부와 상기 거리측정 센서에 전원이 공급되도록 하여 상기 카메라와 상기 거리측정 센서의 작동이 개시되도록 하고,
상기 거리측정 센서에 의해 상기 차량 후방의 일정 영역의 모든 객체에 대한 거리를 측정하여 얻어진 거리정보 및 상기 영상취득부에 의해 상기 일정 영역의 영상을 촬영하여 얻어진 영상정보를 이용하여, 거리에 따라 미리 지정된 색을 각각의 상기 물체에 지정하며,
상기 영상취득부와 상기 거리측정 센서의 각 화상 사이의 차이를 보상하는 캘리브레이션(calibration) 처리를 수행하여, 상기 영상취득부를 통해 얻어진 영상 내에서 상기 물체의 위치를 결정하고,
상기 물체의 색 및 위치가 결정된 영상을 상기 표시부를 통해 표시하도록 하는 거리정보를 이용한 차량 후방 카메라.In the vehicle rear camera using the distance information,
An information acquisition unit for acquiring the image of the rear of the vehicle and the distance information of the obstacle;
An information processor configured to designate a predetermined color according to a distance with respect to an object recognized in the image behind the vehicle, using the distance information obtained from the information acquirer; And
And a display unit which displays an image processed by the information processing unit.
The information acquisition unit,
An image acquisition unit which captures an image of the rear of the vehicle and acquires image information; And
A distance measuring sensor for obtaining distance information on an obstacle behind the vehicle, wherein the image acquisition unit includes a camera, and the distance measuring sensor includes an infrared sensor,
The information processing unit,
And an image processing unit configured to receive the image information obtained from the image acquisition unit and the distance information obtained from the distance measuring sensor, and to configure an image in which a predetermined color is displayed according to the distance of the object.
Wherein the image processing unit comprises:
Power is supplied to the image acquisition unit and the distance measuring sensor so that the operation of the camera and the distance measuring sensor is started.
The distance information obtained by measuring the distance to all the objects of the certain area behind the vehicle by the distance measuring sensor and the image information obtained by photographing the image of the predetermined area by the image acquisition unit in advance, according to the distance Assigns each color to the object,
Performing a calibration process to compensate for the difference between each image of the image acquisition unit and the distance measuring sensor, thereby determining the position of the object within the image obtained through the image acquisition unit,
The rear camera of the vehicle using the distance information to display the image of the color and position of the object determined through the display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110107172A KR101266059B1 (en) | 2011-10-19 | 2011-10-19 | Rear view camera of vehicles using distance information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110107172A KR101266059B1 (en) | 2011-10-19 | 2011-10-19 | Rear view camera of vehicles using distance information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130042987A KR20130042987A (en) | 2013-04-29 |
| KR101266059B1 true KR101266059B1 (en) | 2013-05-21 |
Family
ID=48441438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110107172A KR101266059B1 (en) | 2011-10-19 | 2011-10-19 | Rear view camera of vehicles using distance information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101266059B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015068943A1 (en) * | 2013-11-11 | 2015-05-14 | 멀티펠스 주식회사 | Camera image automatic switching system for vehicle |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101453481B1 (en) * | 2014-05-07 | 2014-11-04 | 주식회사 디오엔지니어링 | Apparatus for displaying distance using closed circuit television camera |
| KR101867182B1 (en) * | 2016-11-16 | 2018-07-20 | 한국철도기술연구원 | Train Configuration Safety Device Using Image Processing and Distance Sensing and its Contol Method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000142284A (en) * | 1998-11-13 | 2000-05-23 | Nissan Shatai Co Ltd | Obstruction detecting display device |
| JP2004064150A (en) * | 2002-07-24 | 2004-02-26 | Sumitomo Electric Ind Ltd | Image conversion system and image processor |
| JP2007062649A (en) | 2005-09-01 | 2007-03-15 | Clarion Co Ltd | Distance information display device for vehicle |
-
2011
- 2011-10-19 KR KR1020110107172A patent/KR101266059B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000142284A (en) * | 1998-11-13 | 2000-05-23 | Nissan Shatai Co Ltd | Obstruction detecting display device |
| JP2004064150A (en) * | 2002-07-24 | 2004-02-26 | Sumitomo Electric Ind Ltd | Image conversion system and image processor |
| JP2007062649A (en) | 2005-09-01 | 2007-03-15 | Clarion Co Ltd | Distance information display device for vehicle |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015068943A1 (en) * | 2013-11-11 | 2015-05-14 | 멀티펠스 주식회사 | Camera image automatic switching system for vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130042987A (en) | 2013-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10532698B2 (en) | Trailer angle detection using rear backup camera | |
| US20210001774A1 (en) | Method for determining misalignment of a vehicular camera | |
| US11270134B2 (en) | Method for estimating distance to an object via a vehicular vision system | |
| US11315348B2 (en) | Vehicular vision system with object detection | |
| CN101068344B (en) | Object detection apparatus | |
| US9823340B2 (en) | Method for time of flight modulation frequency detection and illumination modulation frequency adjustment | |
| US8320628B2 (en) | Method and system for assisting driver | |
| US6172601B1 (en) | Three-dimensional scope system with a single camera for vehicles | |
| CN109085598A (en) | Detection system for obstacle for vehicle | |
| KR101656162B1 (en) | Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle | |
| US20170140542A1 (en) | Vehicular image processing apparatus and vehicular image processing system | |
| US20070242944A1 (en) | Camera and Camera System | |
| EP2200312A1 (en) | Video display device and video display method | |
| KR101449160B1 (en) | Apparatus and method for providing information of blind spot | |
| KR20150051735A (en) | Parking Guide System and the Method | |
| US10846833B2 (en) | System and method for visibility enhancement | |
| KR20120077309A (en) | Apparatus and method for displaying rear image of vehicle | |
| KR20060021922A (en) | Two camera based obstacle detection method and device | |
| KR101266059B1 (en) | Rear view camera of vehicles using distance information | |
| KR20100134154A (en) | Device and method for display image around a vehicle | |
| KR20130053605A (en) | Apparatus and method for displaying around view of vehicle | |
| WO2008037473A1 (en) | Park assist system visually marking up dangerous objects | |
| KR102036593B1 (en) | Forward and back ward detecting system for emergency vehicle on bad visuality | |
| JP6429101B2 (en) | Image determination apparatus, image processing apparatus, image determination program, image determination method, moving object | |
| US11832019B2 (en) | Method for harmonizing images acquired from non overlapping camera views |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160404 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170223 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180406 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190510 Year of fee payment: 7 |