KR20210090126A - Apparatus for vehicle alarm - Google Patents

Apparatus for vehicle alarm Download PDF

Info

Publication number
KR20210090126A
KR20210090126A KR1020210088106A KR20210088106A KR20210090126A KR 20210090126 A KR20210090126 A KR 20210090126A KR 1020210088106 A KR1020210088106 A KR 1020210088106A KR 20210088106 A KR20210088106 A KR 20210088106A KR 20210090126 A KR20210090126 A KR 20210090126A
Authority
KR
South Korea
Prior art keywords
image
vehicle
camera
unit
matrix
Prior art date
Application number
KR1020210088106A
Other languages
Korean (ko)
Other versions
KR102448629B1 (en
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020210088106A priority Critical patent/KR102448629B1/en
Publication of KR20210090126A publication Critical patent/KR20210090126A/en
Application granted granted Critical
Publication of KR102448629B1 publication Critical patent/KR102448629B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

The present invention relates to a vehicle alarm system. The vehicle alarm system of the present invention comprises: a plurality of vehicle front images acquisition step; a camera motion estimation step of detecting a movement degree of a vehicle having an abnormality using an image in front of the vehicle and movement information of the vehicle and outputting a movement matrix and a basic matrix; a camera image calibration step of outputting a corrected image in which the vehicle moves forward by using the movement matrix in a deflection image; a distance output step of calculating disparity in the corrected image and outputting distance information; and an alerting step of alerting a driver when an object in front of the vehicle is detected in consideration of the distance information. An object of the present invention is to provide the vehicle alarm apparatus which alerts the driver when the object is detected.

Description

차량 경보 장치{Apparatus for vehicle alarm}Apparatus for vehicle alarm

본 발명은 차량 경보 장치에 관한 것으로, 보다 상세하게는 차량 전방 영상에서 전체 및 부분의 변화를 고려하여 카메라의 정상 여부를 감지하고, 카메라에 이상이 존재하면 이상이 존재하는 차량 전방 영상을 교정한 교정영상에서 시차를 계산하여 정확한 거리 정보를 획득하여 차량 전방의 물체를 감지하고, 물체를 감지하면 운전자에게 경보하는 차량 경보 장치에 관한 것이다.The present invention relates to a vehicle warning device, and more particularly, it detects whether a camera is normal in consideration of changes in whole and parts in an image in front of a vehicle, and corrects an image in front of the vehicle in which an abnormality exists if there is an abnormality in the camera. The present invention relates to a vehicle warning device that detects an object in front of a vehicle by calculating a parallax from a corrected image to obtain accurate distance information, and alerts a driver when an object is detected.

주행 중인 차량의 주변에 존재하는 물체의 유무 및 존재하는 물체까지의 거리 정보 획득은 무인 자율 차량 관련 핵심 기술이다. 차량 밀도가 높은 지역에서 차량이 운행될 때 거리 정보를 획득하는 것은 운전자의 안전과 관련된 필수적인 요소이다. 특히 최근 스테레오 카메라를 이용하여 차량 전방의 물체 존재 유무를 판단하는 방법이 많이 개발되고 있다.Acquisition of information about the presence or absence of objects in the vicinity of a moving vehicle and the distance to existing objects is a key technology related to unmanned autonomous vehicles. Acquiring distance information when a vehicle is operating in an area with high vehicle density is an essential element related to driver safety. In particular, recently, many methods have been developed to determine the presence or absence of an object in front of a vehicle using a stereo camera.

그런데 차량 운행 중에 카메라의 렌즈에 오물이 점착되면 물체와 차량의 거리 정보를 획득할 수 없다. 결국 차량 전방의 물체를 감지하지 못하게 되어 운전자의 안전에 위협이 된다. However, if dirt adheres to the lens of the camera while the vehicle is running, distance information between the object and the vehicle cannot be obtained. As a result, objects in front of the vehicle cannot be detected, posing a threat to the safety of the driver.

최근에는 카메라의 렌즈가 오염되거나 카메라가 충격으로 인해 잘못된 방향을 촬영하고 있을 때, 카메라 이상을 감지하여 영상을 교정하고, 거리 정보를 획득하는 기술이 연구 중에 있다.Recently, when the lens of the camera is contaminated or the camera is shooting in the wrong direction due to an impact, a technology for detecting an abnormality in the camera, correcting the image, and acquiring distance information is being researched.

본 발명이 해결하고자 하는 과제는 차량 전방 영상에서 전체 및 부분의 변화를 고려하여 카메라의 정상 여부를 감지하고, 카메라에 이상이 존재하면 이상이 존재하는 차량 전방 영상을 교정한 교정영상에서 시차를 계산하여 정확한 거리 정보를 획득하여 차량 전방의 물체를 감지하고, 물체를 감지하면 운전자에게 경보하는 차량 경보 장치를 제공함에 있다.The problem to be solved by the present invention is to detect whether the camera is normal in consideration of changes in the whole and parts in the image in front of the vehicle, and if there is an abnormality in the camera, calculate the parallax from the corrected image in which the image in front of the vehicle in which the abnormality exists An object of the present invention is to obtain accurate distance information to detect an object in front of the vehicle, and to provide a vehicle warning device that alerts a driver when an object is detected.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 차량 경보 방법은,복수의 차량 전방 영상을 획득하는 단계; 상기 차량 전방 영상 및 상기 차량의 움직임 정보를 이용하여 이상이 있는 상기 차량의 이동 정도를 검출하여 이동행렬 및 기본행렬을 출력하는 카메라움직임추정 단계; 편향영상에서 상기 이동행렬을 이용하여 상기 차량이 전진한 교정영상을 출력하는 카메라영상교정 단계; 상기 교정영상에서 시차를 계산하여 거리 정보를 출력하는 거리출력 단계; 및 상기 거리 정보를 고려하여 차량 전방의 물체를 감지할 때 운전자에게 경보하는 경보 단계를 포함한다. In order to achieve the above object, a vehicle warning method according to an embodiment of the present invention includes: acquiring a plurality of vehicle front images; a camera motion estimation step of detecting a movement degree of the vehicle having an abnormality using the image in front of the vehicle and movement information of the vehicle and outputting a movement matrix and a basic matrix; a camera image calibration step of outputting a corrected image in which the vehicle moves forward by using the movement matrix in the deflection image; a distance output step of calculating disparity in the corrected image and outputting distance information; and an alerting step of alerting the driver when an object in front of the vehicle is detected in consideration of the distance information.

상기 복수의 차량 영상을 획득하는 단계 이후에, 상기 영상의 전체 및 부분의 변화를 고려하여 상기 카메라부의 정상 여부를 판단하는 단계를 더 포함할 수 있다. After the acquiring of the plurality of vehicle images, the method may further include determining whether the camera unit is normal in consideration of changes in all and parts of the images.

본 발명의 다른 면에 따라, 복수의 차량 전방 영상을 출력하는 카메라부; 상기 차량 전방 영상 및 상기 차량의 움직임 정보를 이용하여 이상이 있는 상기 차량의 이동 정도를 검출하여 이동행렬 및 기본행렬을 출력하는 카메라움직임추정부; 편향영상에서 상기 이동행렬을 이용하여 상기 차량이 전진한 교정영상을 출력하는 카메라영상교정부; 상기 교정영상에서 시차를 계산하여 거리 정보를 출력하는 거리출력부; 및 상기 거리 정보를 고려하여 차량 전방의 물체를 감지할 때 운전자에게 경보하는 경보부를 포함하는 차량 경보 장치가 제공된다. According to another aspect of the present invention, a camera unit for outputting a plurality of front images of the vehicle; a camera motion estimation unit that detects the degree of movement of the vehicle having an abnormality using the image in front of the vehicle and the movement information of the vehicle and outputs a movement matrix and a basic matrix; a camera image correction unit for outputting a correction image in which the vehicle moves forward by using the movement matrix in the deflection image; a distance output unit calculating the disparity from the corrected image and outputting distance information; and an alarm unit configured to alert the driver when an object in front of the vehicle is detected in consideration of the distance information.

또한, 상기 복수의 차량 전방 영상의 전체 및 부분의 변화를 고려하여 상기 카메라부의 정상 여부를 출력하는 카메라이상감지부를 더 포함할 수 있다. In addition, the camera may further include an abnormality detection unit for outputting whether the camera unit is normal in consideration of changes in all and parts of the plurality of images in front of the vehicle.

상기 카메라이상감지부는 상기 영상의 밝기 히스토그램을 고려하여 상기 영상의 정상 여부를 출력한다.The camera abnormality detection unit outputs whether the image is normal in consideration of the brightness histogram of the image.

상기 카메라이상감지부는 상기 영상의 주파수 파워 스펙트럼을 고려하여 상기 영상의 정상 여부를 출력한다.The camera abnormality detection unit outputs whether the image is normal in consideration of the frequency power spectrum of the image.

상기 카메라이상감지부는 상기 영상에서 확산점의 위치를 고려하여 상기 영상의 정상 여부를 출력한다.The camera abnormality detection unit outputs whether the image is normal in consideration of the location of the diffusion point in the image.

상기 카메라움직임추정부는 상기 편향영상에서 특징점 간의 대응점 매칭을 수행하여 이동행렬을 산출한다.The camera motion estimation unit calculates a movement matrix by matching corresponding points between feature points in the biased image.

상기 카메라영상교정부는 상기 기본 행렬 및 상기 카메라부의 내부 행렬 중 적어도 하나를 고려하여 현재 프레임의 영상을 병진 이동한 영상으로 변환한다.The camera image correction unit converts the image of the current frame into a translational image in consideration of at least one of the basic matrix and the internal matrix of the camera unit.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

*본 발명의 차량 경보 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.* According to the vehicle warning device of the present invention, there are one or more of the following effects.

첫째,　영상의 전체 및 부분의 변화를 고려함으로써 카메라부의 정상 여부를 출력하는 장점이 있다.First, 　 has the advantage of outputting whether the camera unit is normal by considering the change of the whole or part of the image.

둘째,　편향영상에서 이동행렬을 이용하여 차량이 전진한 교정영상을 출력하는 장점도 있다.Second, there is also an advantage of outputting a correction image in which the vehicle moves forward using the movement matrix in the 　 deflection image.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명인 차량 경보 장치의 일실시례에 따른 구성을 도시한 구성도이다.
도 2는 일실시례에 따른 카메라이상감지부가 영상에 변화가 있을 때 고려하는 밝기 히스토그램 및 주파수 파워 스펙트럼을 도시한 것이다.
도 3는 일실시례에 따른 카메라이상감지부가 영상에서 고려하는 확산점(focus of expansion)을 도시한 것이다.
도 4는 카메라의 움직임이 추정되는 모습과 편향영상에서 이동행렬을 이용하여 차량이 전진한 교정영상을 도시한 것이다.
도 5는 교정영상에서 시차를 계산하여 거리 정보를 출력하는 모습을 도시한 것이다.1 is a configuration diagram illustrating a configuration of a vehicle warning device according to an embodiment of the present invention.
2 is a diagram illustrating a brightness histogram and a frequency power spectrum that the camera abnormality detection unit considers when there is a change in an image according to an embodiment.
3 is a diagram illustrating a focus of expansion considered in an image by a camera anomaly detection unit according to an exemplary embodiment.
4 is a view showing a state in which the movement of the camera is estimated and a corrected image in which the vehicle moves forward using a movement matrix in the deflection image.
5 is a diagram illustrating a state of outputting distance information by calculating a disparity in a correction image.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 본 발명의 실시예들에 의하여 차량 경보 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.Hereinafter, the present invention will be described with reference to the drawings for explaining a vehicle warning device according to embodiments of the present invention.

도 1은 본 발명인 차량 경보 장치의 일실시례에 따른 구성을 도시한 구성도이다. 본 발명의 일실시례에 따른 차량 경보 장치는 카메라부(100), 카메라이상감지부(200), 카메라움직임추정부(300), 카메라영상교정부(400), 거리출력부(500) 및 경보부(600)를 포함한다.1 is a configuration diagram illustrating a configuration of a vehicle warning device according to an embodiment of the present invention. A vehicle warning device according to an embodiment of the present invention includes a camera unit 100, a camera abnormality detection unit 200, a camera motion estimation unit 300, a camera image correction unit 400, a distance output unit 500, and an alarm unit. (600).

일실시례에 따른 카메라부(100)는 스테레오카메라이다. 카메라부(100)는 복수일 수 있다. 카메라부(100)는 차량 전방 영상을 출력한다. 카메라부(100)는 차량의 전방을 방해없이 촬영할 수 있는 위치 중 어느 한 곳에 설치된다. 카메라부(100)는 복수의 차량 전방 영상을 출력한다. 일실시례에 따른 카메라부(100)는 좌측 카메라(LC) 및 우측 카메라(RC)를 포함한다.The camera unit 100 according to an embodiment is a stereo camera. The camera unit 100 may be plural. The camera unit 100 outputs an image in front of the vehicle. The camera unit 100 is installed at any one of positions capable of photographing the front of the vehicle without obstruction. The camera unit 100 outputs a plurality of vehicle front images. The camera unit 100 according to an embodiment includes a left camera LC and a right camera RC.

카메라이상감지부(200)는 카메라의 물리적인 고장을 감지한다. 카메라이상감지부(200)는 카메라부(100)의 입출력 전압을 점검하여 회로가 고장인지 점검한다. 카메라이상감지부(200)는 카메라의 물리적인 고장을 감지하면 경보부(600)에 카메라 고장 신호를 출력할 수 있다. 카메라이상감지부(200)는 카메라부(100)의 렌즈의 가려짐에 의한 이상을 감지한다. 카메라이상감지부(200)는 밝기 히스토그램 및 주파수 파워 스펙트럼 중 적어도 하나를 고려하여 카메라부(100)의 렌즈의 가려짐에 의한 이상을 감지한다. 카메라이상감지부(200)가 렌즈의 가려짐에 의한 이상은 도 2에서 추후 설명한다.The camera abnormality detection unit 200 detects a physical failure of the camera. The camera abnormality detection unit 200 checks whether the circuit is faulty by checking the input/output voltage of the camera unit 100 . When the camera abnormality detection unit 200 detects a physical failure of the camera, it may output a camera failure signal to the alarm unit 600 . The camera abnormality detection unit 200 detects an abnormality due to the occlusion of the lens of the camera unit 100 . The camera abnormality detection unit 200 detects abnormalities due to the occlusion of the lens of the camera unit 100 in consideration of at least one of a brightness histogram and a frequency power spectrum. The abnormality caused by the camera abnormality detection unit 200 blocking the lens will be described later with reference to FIG. 2 .

카메라이상감지부(200)는 카메라부(100)가 출력한 차량 전방 영상에서 확산점(P)의 위치를 고려하여 영상의 정상 여부를 출력한다. 카메라이상감지부(200)는 카메라부(100)의 위치가 틀어진 것을 감지하여 차량 전방 영상이 정상이 아님을 감지한다. 추후, 도 3에서 카메라이상감지부(200)가 확산점(P)을 고려하여 차량 전방 영상이 정상이 아님을 판단하는 방법을 설명한다.The camera abnormality detection unit 200 outputs whether the image is normal in consideration of the location of the diffusion point P in the image in front of the vehicle output by the camera unit 100 . The camera abnormality detection unit 200 detects that the position of the camera unit 100 is misaligned and detects that the image in front of the vehicle is not normal. Hereinafter, a method in which the camera abnormality detection unit 200 determines that the image in front of the vehicle is not normal in consideration of the diffusion point P will be described in FIG. 3 .

카메라움직임추정부(300)는 정상인 카메라부(100)가 출력한 전방 영상 및 차량의 움직임 정보를 이용하여 이상이 있는 카메라부(100)의 이동 정도를 검출하여 이동행렬 및 기본행렬을 출력한다.The camera motion estimation unit 300 detects the degree of movement of the camera unit 100 having an abnormality using the front image and vehicle motion information output by the normal camera unit 100 and outputs a movement matrix and a basic matrix.

카메라움직임추정부(300)는 편향영상의 연속된 영상에서 특징점(x, x')을 추출하여 이동행렬(F)을 산출한다. 카메라움직임추정부(300)는 카메라부(100) 구동 전에 캘리브레이션(Calibration)을 통해 얻어진 정상인 카메라부(100)의 내부 파라미터(K) 및 정상인 카메라부(100)의 내부 파라미터(K')를 산출한다. 카메라움직임추정부(300)는 이동행렬(F) 및 내부 파라미터(K)를 이용하여 이전 프레임((t-1) 프레임)과 현재 프레임(t 프레임) 사이에 카메라부(100)의 회전 정도 및 카메라부(100)의 이동 정도를 나타내는 기본행렬(E)를 산출한다. 카메라움직임추정부(300)가 이동행렬 및 기본행렬을 출력하는 과정은 도 4에서 추후 설명한다.The camera motion estimation unit 300 calculates a movement matrix (F) by extracting feature points (x, x') from the continuous images of the biased image. The camera motion estimation unit 300 calculates the internal parameter (K) of the normal camera unit 100 and the internal parameter (K') of the normal camera unit 100 obtained through calibration before the camera unit 100 is driven. do. The camera motion estimation unit 300 uses the movement matrix F and the internal parameter K to determine the degree of rotation of the camera unit 100 between the previous frame ((t-1) frame) and the current frame (t frame) and A basic matrix E indicating the degree of movement of the camera unit 100 is calculated. A process in which the camera motion estimation unit 300 outputs the movement matrix and the basic matrix will be described later with reference to FIG. 4 .

카메라영상교정부(400)는 카메라움직임추정부(300)가 산출한 기본행렬(E)을 특이값분해법(SVD, Singular Value Decomposition)으로 분해한다. 카메라영상교정부(400)는 기본행렬(E)를 분해하여 회전행렬(R) 및 병진벡터(t)를 산출한다.The camera image correction unit 400 decomposes the basic matrix E calculated by the camera motion estimation unit 300 by singular value decomposition (SVD). The camera image correction unit 400 decomposes the basic matrix E to calculate a rotation matrix R and a translation vector t.

카메라영상교정부(400)는 회전행렬(R)의 전치행렬(RT) 및 카메라부(100)의 내부 파라미터(K)를 이용하여 영상의 현재 프레임(t 프레임)을 회전 성분이 보상된 x^'로 변환시키는 호모그래피(homography) 행렬(H)를 구한다. 카메라영상교정부(400)는 호모그래피 행렬(H)을 이용하여 회전 성분이 보상된 x^'를산출한다. 카메라영상교정부(400)는 현재 프레임(t 프레임)의 영상을 이전 프레임((t-1) 프레임)의 카메라부(100) 위치에서 병진 이동만 수행한 영상을 출력한다. 카메라영상교정부(400)는 병진 이동에 의해 연속된 영상 프레임의 카메라부(100) 위치를 가상의 직선으로 정렬시켜 교정영상을 출력한다. The camera image correction unit 400 converts the current frame (t frame) of the image using the transpose matrix (R T ) of the rotation matrix (R) and the internal parameter (K) of the camera unit 100 to the rotation component x Find the homography matrix (H) that converts to ^'. The camera image correction unit 400 calculates x^' in which the rotation component is compensated using the homography matrix (H). The camera image correction unit 400 outputs an image obtained by performing only translational movement of the image of the current frame (frame t) at the position of the camera unit 100 of the previous frame (frame (t-1)). The camera image correction unit 400 aligns the position of the camera unit 100 of successive image frames by translational movement in a virtual straight line to output a correction image.

거리출력부(500)는 교정영상의 3차원 좌표상에서 거리 정보(Z')를 추출한다. 거리출력부(500)는 교정영상에서 시차를 계산하여 거리 정보(Z')를 산출한다. 거리출력부(500)가 이용하는 dZ는 차량의 속도(V) 및 카메라부(100)의 촬영 프레임 주기(T)를 이용하여 산출할 수 있다. 거리출력부(500)가 교정영상에서 시차를 계산하여 거리 정보(Z')를 출력하는 과정은 도 5에서 추후 설명한다.The distance output unit 500 extracts the distance information (Z') on the three-dimensional coordinates of the correction image. The distance output unit 500 calculates the disparity in the corrected image to calculate the distance information (Z'). The dZ used by the distance output unit 500 may be calculated using the vehicle speed (V) and the photographing frame period (T) of the camera unit 100 . A process in which the distance output unit 500 calculates the disparity in the correction image and outputs the distance information Z' will be described later with reference to FIG. 5 .

경보부(600)는 거리 정보(Z')를 고려하여 차량 전방의 물체를 감지할 때 운전자에게 경보한다. 일실시례에 따른 경보부(600)는 차량 주변의 물체를 감지하는 장치일 수 있다. 경보부(600)는 거리출력부(500)가 출력한 거리 정보(Z')를 이용하여 물체와 차량 사이의 거리를 산출한다. 경보부(600)는 물체와 차량 사이의 거리를 이용하여 차량 전방의 물체 유무를 감지한다.The alarm unit 600 alerts the driver when detecting an object in front of the vehicle in consideration of the distance information Z'. The alarm unit 600 according to an embodiment may be a device for detecting an object around the vehicle. The alarm unit 600 calculates the distance between the object and the vehicle by using the distance information Z' output from the distance output unit 500 . The alarm unit 600 detects the presence of an object in front of the vehicle by using the distance between the object and the vehicle.

도 2는 일실시례에 따른 카메라이상감지부(200)가 영상에 변화가 있을 때 고려하는 밝기 히스토그램 및 주파수 파워 스펙트럼을 도시한 것이다. 카메라이상감지부(200)는 복수의 차량 전방 영상을 수신한다. 카메라이상감지부(200)는 밝기 히스토그램 및 주파수 파워 스펙트럼 중 적어도 하나를 고려하여 카메라부(100)의 렌즈의 가려짐에 의한 이상을 감지한다. 도 2(a)에서 복수의 카메라부(100)의 차량 전방 영상을 도시하고 있다. 이중 좌측 카메라(LC)는 정상인 화면을 출력하며, 우측 카메라(RC)는 오물에 의한 가려짐에 의해 정상이 아닌 화면을 출력한다.2 illustrates a brightness histogram and a frequency power spectrum that the camera abnormality detection unit 200 considers when there is a change in an image according to an embodiment. The camera abnormality detection unit 200 receives a plurality of images in front of the vehicle. The camera abnormality detection unit 200 detects abnormalities due to the occlusion of the lens of the camera unit 100 in consideration of at least one of a brightness histogram and a frequency power spectrum. In FIG. 2( a ), a vehicle front image of a plurality of camera units 100 is shown. The double left camera LC outputs a normal screen, and the right camera RC outputs a non-normal screen due to being obscured by dirt.

도 2(b)는 정상인 화면의 밝기 히스토그램을 도시한 그래프 및 정상이 아닌 화면의 히스토그램을 도시한 그래프이다. 카메라이상감지부(200)는 밝기 히스토그램의 변화를 감지하여 카메라부(100)의 렌즈가 가려짐에 의해 방해되는 것을 감지한다. 카메라이상감지부(200)는 밝기 히스토그램의 분산 및 평균을 고려하여 카메라부(100)가 출력한 영상이 정상이 아님을 감지한다.2B is a graph showing a histogram of the brightness of a normal screen and a graph showing a histogram of a screen that is not normal. The camera abnormality detection unit 200 detects a change in the brightness histogram and detects that the lens of the camera unit 100 is obstructed by occlusion. The camera abnormality detection unit 200 detects that the image output by the camera unit 100 is not normal in consideration of the variance and average of the brightness histogram.

도 2(c)는 좌측 카메라(LC)가 출력한 차량 전방 영상의 주파수 파워 스펙트럼 및 우측 카메라(RC)가 출력한 차량 전방 영상의 주파수 파워 스펙트럼을 도시한 것이다. 카메라이상감지부(200)는 주파수 파워 스펙트럼의 변화를 감지하여 카메라부(100)의 렌즈가 가려짐에 의해 방해되는 것을 감지한다.2( c ) shows a frequency power spectrum of an image in front of the vehicle output by the left camera LC and a frequency power spectrum of an image in front of the vehicle output by the right camera RC. The camera abnormality detection unit 200 detects a change in the frequency power spectrum and detects that the lens of the camera unit 100 is obstructed by occlusion.

도 3은 일실시례에 따른 카메라이상감지부(200)가 영상에서 고려하는 확산점(P)을 도시한 것이다. 카메라이상감지부(200)는 카메라부(100)의 장착위치가 틀어짐에 따라 확산점(P)의 위치가 바뀌게 되는 것을 감지한다. 일실시례에 따른 카메라이상감지부(200)는 광류(optical flow)를 계산하여 영상 내의 확산점(P)의 위치가 바뀌는 것을 감지할 수 있다. 카메라이상감지부(200)는 정상인 차량 전방 영상의 확산점(P)의 초기 위치를 저장한다. 카메라이상감지부(200)는 확산점(P)의 위치를 모니터링한다. 카메라이상감지부(200)는 확산점(P)의 위치가 바뀌는 것을 감지하여 카메라부(100)의 장착 위치가 틀어진 것을 감지한다. 도 3에서 좌측 카메라(LC)는 정상 이며 카메라이상감지부(200)는 정상인 영상에서 확산점(P)을 저장한다. 우측 카메라(RC)가 비틀어진 상태가 되면 카메라이상감지부(200)는 영상에서 확산점(P)의 위치가 바뀐 것을 감지한다. 카메라이상감지부(200)는 확산점(P)의 위치가 바뀐 것을 감지하여 카메라부(100)의 장착위치가 틀어진 것을 감지한다.3 is a diagram illustrating a diffusion point P that the camera anomaly detection unit 200 considers in an image according to an exemplary embodiment. The camera abnormality detection unit 200 detects that the position of the diffusion point P is changed as the mounting position of the camera unit 100 is shifted. The camera abnormality detection unit 200 according to an embodiment may detect a change in the position of the diffusion point P in the image by calculating an optical flow. The camera abnormality detection unit 200 stores the initial position of the diffusion point P of the normal vehicle front image. The camera abnormality detection unit 200 monitors the location of the diffusion point P. The camera abnormality detection unit 200 detects that the position of the diffusion point P is changed, and detects that the mounting position of the camera unit 100 is misaligned. In FIG. 3 , the left camera LC is normal, and the camera abnormality detection unit 200 stores the diffusion point P in the normal image. When the right camera RC is in a twisted state, the camera abnormality detection unit 200 detects that the position of the diffusion point P is changed in the image. The camera abnormality detection unit 200 detects that the position of the diffusion point P is changed, and detects that the mounting position of the camera unit 100 is misaligned.

도 4는 카메라의 움직임이 추정되는 모습(도 4(a))과 편향영상에서 이동행렬을 이용하여 차량이 전진한 교정영상(도 4(b))을 도시한 것이다. 도 4(a)에서 카메라움직임추정부(300)는 편향영상의 연속된 영상에서 이전 프레임((t-1) 프레임) 영상의 특징점(x)을 추출한다. 카메라움직임추정부(300)는 편향영상의 연속된 영상에서 현재 프레임(t 프레임) 영상의 특징점(x')을 추출한다. 카메라움직임추정부(300)는 특징점(x) 및 특징점(x')의 대응점 매칭을 수행함으로써 RANSAC 기반의 8-point 알고리즘 및/또는 RANSAC 기반의 2-point 알고리즘을 적용하여 (수학식 1)과 같이 이동행렬(F)을 산출한다.FIG. 4 shows a state in which camera motion is estimated (FIG. 4(a)) and a correction image (FIG. 4(b)) in which the vehicle moves forward using a movement matrix in the deflection image. In FIG. 4A , the camera motion estimation unit 300 extracts the feature point (x) of the previous frame ((t-1) frame) image from the continuous images of the biased image. The camera motion estimation unit 300 extracts the feature point (x') of the current frame (t frame) image from the continuous images of the biased image. The camera motion estimation unit 300 applies the RANSAC-based 8-point algorithm and/or the RANSAC-based 2-point algorithm by performing matching point matching of the feature point (x) and the feature point (x') (Equation 1) and Similarly, a movement matrix (F) is calculated.

Figure pat00001
Figure pat00001

카메라움직임추정부(300)는 카메라부(100) 구동 전에 캘리브레이션(Calibration)을 통해 얻어진 카메라부(100) 내부 파라미터(K)를 산출한다. 카메라움직임추정부(300)는 (수학식 2)와 같이 이동행렬(F), 정상인 카메라부(100)의 내부 파라미터(K) 및 현재 프레임(t 프레임)의 정상 카메라부(100)의 내부 파라미터(K)인 K'의 전치행렬을 이용하여 이전 프레임((t-1) 프레임)과 현재 프레임(t 프레임) 사이에 카메라부(100)의 회전 정도 및 카메라부(100)의 이동 정도를 나타내는 기본행렬(E)를 산출한다.The camera motion estimation unit 300 calculates an internal parameter K of the camera unit 100 obtained through calibration before the camera unit 100 is driven. The camera motion estimation unit 300 includes a movement matrix F, an internal parameter K of the normal camera unit 100, and an internal parameter of the normal camera unit 100 of the current frame (t frame) as shown in Equation 2 (Equation 2). Using the transpose matrix of K', which is (K), the rotation degree of the camera unit 100 and the movement degree of the camera unit 100 are indicated between the previous frame ((t-1) frame) and the current frame (t frame). Calculate the basic matrix (E).

Figure pat00002
Figure pat00002

카메라움직임추정부(300)는 대응점 매칭 수행 시 아웃라이어 대응점 매칭을 제거한다. 카메라움직임추정부(300)는 아웃라이어 대응점 매칭을 제거하기 위해 영상에 RANSAC 기반의 8-point 알고리즘 및/또는 RANSAC 기반의 2-point 알고리즘을 적용한다. 카메라움직임추정부(300)는 아웃라이어 대응점 매칭 제거 시 차량의 요레이트, 조향각값 및 차량 속도와 비교하여 설정된 제한값을 초과하는 카메라부(100)의 움직임을 나타내는 대응점 매칭 결과가 이용되는 것을 배제할 수 있다.The camera motion estimation unit 300 removes the outlier corresponding point matching when the corresponding point matching is performed. The camera motion estimation unit 300 applies a RANSAC-based 8-point algorithm and/or a RANSAC-based 2-point algorithm to an image in order to remove outlier correspondence point matching. When the outlier correspondence point matching is removed, the camera motion estimation unit 300 compares the vehicle's yaw rate, the steering angle value, and the vehicle speed to the corresponding point matching result indicating the movement of the camera unit 100 exceeding the set limit value to exclude from being used. can

도 5는 교정영상에서 편향영상과 정상인 영상 간의 시간의 차이를 계산하여 거리 정보(Z')가 출력되는 모습을 도시한 것이다. 카메라영상교정부(400)는 카메라움직임추정부(300)가 산출한 기본행렬(E)을 특이값분해법(SVD, Singular Value Decomposition)을 이용하여 분해한다. 카메라영상교정부(400)는 기본행렬(E)를 분해하여 (수학식 3)과 같이 회전행렬(R) 및 병진벡터(t)를 산출한다.5 is a diagram illustrating a state in which distance information (Z') is output by calculating a time difference between a deflected image and a normal image in a correction image. The camera image correction unit 400 decomposes the basic matrix E calculated by the camera motion estimation unit 300 using Singular Value Decomposition (SVD). The camera image correction unit 400 decomposes the basic matrix E and calculates a rotation matrix R and a translation vector t as shown in Equation 3 (Equation 3).

Figure pat00003
Figure pat00003

카메라영상교정부(400)는 (수학식 4)와 같이 회전행렬(R)의 전치행렬(RT) 및 정상인 카메라부(100)의 내부 파라미터(K)를 이용하여 영상의 현재 프레임(t 프레임)을 회전 성분이 보상된 x^'로 변환시키는 호모그래피(homography) 행렬(H)를 구한다.The camera image correction unit 400 uses the transpose matrix (R T ) of the rotation matrix (R) and the internal parameter (K) of the normal camera unit 100 as shown in (Equation 4) to the current frame (t frame) of the image. ) to obtain a homography matrix (H) that transforms the rotation component into x^' compensated for.

Figure pat00004
Figure pat00004

카메라영상교정부(400)는 호모그래피 행렬(H)을 이용하여 (수학식 5)에와 같이 회전 성분이 보상된 x^'를 산출한다.The camera image correction unit 400 calculates x^' in which the rotation component is compensated as in (Equation 5) using the homography matrix H.

Figure pat00005
Figure pat00005

카메라영상교정부(400)는 현재 프레임(t 프레임)의 영상을 이전 프레임((t-1)프레임)의 카메라부(100) 위치에서 병진 이동만 수행한 영상을 출력한다. 카메라영상교정부(400)는 병진 이동에 의해 연속된 영상 프레임의 카메라부(100) 위치를 가상의 직선으로 정렬시켜 교정영상을 출력한다. The camera image correction unit 400 outputs an image obtained by performing only translational movement of the image of the current frame (frame t) at the position of the camera unit 100 of the previous frame (frame (t-1)). The camera image correction unit 400 aligns the position of the camera unit 100 of successive image frames by translational movement in a virtual straight line to output a correction image.

거리출력부(500)는 교정영상의 3차원 좌표상에서 거리 정보(Z')를 추출한다. 거리출력부(500)는 교정영상에서 (수학식 6)과 같이 시차를 계산하여 거리 정보(Z')를 산출한다.The distance output unit 500 extracts the distance information (Z') on the three-dimensional coordinates of the correction image. The distance output unit 500 calculates the disparity in the calibration image as in (Equation 6) to calculate the distance information (Z').

Figure pat00006
Figure pat00006

거리출력부(500)가 이용하는 (수학식 6)에서 dZ는 다음 (수학식 7)과 같이 차량의 속도(V) 및 카메라부(100)의 촬영 프레임 주기(T)를 이용하여 산출할 수 있다.In (Equation 6) used by the distance output unit 500, dZ can be calculated using the vehicle speed V and the shooting frame period T of the camera unit 100 as shown in Equation 7 below. .

Figure pat00007
Figure pat00007

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

100 : 카메라부
200 : 카메라이상감지부
300 : 카메라움직임추정부
400 : 카메라영상교정부
500 : 거리출력부
600 : 경보부100: camera unit
200: camera abnormality detection unit
300: camera motion estimation unit
400: camera image correction unit
500: distance output unit
600: alarm unit

Claims (10)

복수의 차량 전방 영상을 획득하는 단계;
상기 차량 전방 영상 및 상기 차량의 움직임 정보를 이용하여 이상이 있는 상기 차량의 이동 정도를 검출하여 이동행렬 및 기본행렬을 출력하는 카메라움직임추정 단계;
편향영상에서 상기 이동행렬을 이용하여 상기 차량이 전진한 교정영상을 출력하는 카메라영상교정 단계;
상기 교정영상에서 시차를 계산하여 거리 정보를 출력하는 거리출력 단계; 및
상기 거리 정보를 고려하여 차량 전방의 물체를 감지할 때 운전자에게 경보하는 경보 단계;
를 포함하는 차량 경보 방법.acquiring a plurality of vehicle front images;
a camera motion estimation step of detecting a movement degree of the vehicle having an abnormality using the image in front of the vehicle and the movement information of the vehicle and outputting a movement matrix and a basic matrix;
a camera image calibration step of outputting a corrected image in which the vehicle moves forward by using the movement matrix in the deflection image;
a distance output step of calculating disparity in the corrected image and outputting distance information; and
an alerting step of alerting the driver when an object in front of the vehicle is detected in consideration of the distance information;
A vehicle warning method comprising: 제1항에 있어서, 상기 복수의 차량 영상을 획득하는 단계 이후에,
상기 영상의 전체 및 부분의 변화를 고려하여 상기 카메라부의 정상 여부를 판단하는 단계를 더 포함하는 차량 경보 방법.According to claim 1, After acquiring the plurality of vehicle images,
The method further comprising the step of determining whether the camera unit is normal in consideration of a change in the whole or a part of the image. 제2항에 있어서, 상기 카메라부의 정상 여부를 판단하는 단계는
상기 영상의 밝기 히스토그램을 고려하여 상기 영상의 정상 여부를 출력하는 단계를 포함하는 것인 차량 경보 방법.The method of claim 2, wherein the step of determining whether the camera unit is normal
and outputting whether the image is normal in consideration of a brightness histogram of the image. 제2항에 있어서, 상기 카메라부의 정상 여부를 판단하는 단계는
상기 영상의 주파수 파워 스펙트럼을 고려하여 상기 영상의 정상 여부를 출력하는 단계를 포함하는 것인 차량 경보 방법.The method of claim 2, wherein the step of determining whether the camera unit is normal
and outputting whether the image is normal in consideration of the frequency power spectrum of the image. 제2항에 있어서, 상기 카메라부의 정상 여부를 판단하는 단계는
상기 영상에서 확산점의 위치를 고려하여 상기 영상의 정상 여부를 출력하는 단계를 포함하는 것인 차량 경보 방법.The method of claim 2, wherein the step of determining whether the camera unit is normal
and outputting whether the image is normal in consideration of the location of the diffusion point in the image. 제1항에 있어서, 상기 카메라움직임추정 단계는
상기 편향영상에서 특징점 간의 대응점 매칭을 수행하여 이동행렬을 산출하는 단계를 포함하는 것인 차량 경보 방법.The method of claim 1, wherein the camera motion estimation step
and calculating a movement matrix by matching corresponding points between feature points in the deflected image. 제1항에 있어서, 상기 카메라영상교정 단계는
상기 기본 행렬 및 상기 카메라부의 내부 행렬 중 적어도 하나를 고려하여 현재 프레임의 영상을 병진 이동한 영상으로 변환하는 단계를 포함하는 것인 차량 경보 방법.According to claim 1, wherein the camera image calibration step
and converting an image of the current frame into a translational image in consideration of at least one of the basic matrix and the internal matrix of the camera unit. 복수의 차량 전방 영상을 출력하는 카메라부;
상기 차량 전방 영상 및 상기 차량의 움직임 정보를 이용하여 이상이 있는 상기 차량의 이동 정도를 검출하여 이동행렬 및 기본행렬을 출력하는 카메라움직임추정부;
편향영상에서 상기 이동행렬을 이용하여 상기 차량이 전진한 교정영상을 출력하는 카메라영상교정부;
상기 교정영상에서 시차를 계산하여 거리 정보를 출력하는 거리출력부; 및
상기 거리 정보를 고려하여 차량 전방의 물체를 감지할 때 운전자에게 경보하는 경보부
를 포함하는 차량 경보 장치.a camera unit for outputting a plurality of images in front of the vehicle;
a camera motion estimation unit that detects the degree of movement of the vehicle having an abnormality using the image in front of the vehicle and the movement information of the vehicle and outputs a movement matrix and a basic matrix;
a camera image correction unit for outputting a correction image in which the vehicle moves forward by using the movement matrix in the deflection image;
a distance output unit calculating the disparity from the corrected image and outputting distance information; and
An alarm unit that alerts the driver when an object in front of the vehicle is detected in consideration of the distance information
A vehicle warning device comprising a. 제8항에 있어서,
상기 복수의 차량 전방 영상의 전체 및 부분의 변화를 고려하여 상기 카메라부의 정상 여부를 출력하는 카메라이상감지부를 더 포함하는 차량 경보 장치.9. The method of claim 8,
The vehicle warning device further comprising a camera abnormality detection unit for outputting whether the camera unit is normal in consideration of changes in all and parts of the plurality of images in front of the vehicle. 제8항에 있어서, 상기 카메라영상교정부는
상기 기본 행렬 및 상기 카메라부의 내부 행렬 중 적어도 하나를 고려하여 현재 프레임의 영상을 병진 이동한 영상으로 변환하는 것인 차량 경보 장치.The method of claim 8, wherein the camera image correction unit
and converting an image of a current frame into a translational image in consideration of at least one of the basic matrix and an internal matrix of the camera unit.
KR1020210088106A 2014-10-30 2021-07-05 Apparatus for vehicle alarm KR102448629B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210088106A KR102448629B1 (en) 2014-10-30 2021-07-05 Apparatus for vehicle alarm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140149628A KR102288399B1 (en) 2014-10-30 2014-10-30 Apparatus for vehicle alarm
KR1020210088106A KR102448629B1 (en) 2014-10-30 2021-07-05 Apparatus for vehicle alarm

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140149628A Division KR102288399B1 (en) 2014-10-30 2014-10-30 Apparatus for vehicle alarm

Publications (2)

Publication Number Publication Date
KR20210090126A true KR20210090126A (en) 2021-07-19
KR102448629B1 KR102448629B1 (en) 2022-09-29

Family

ID=56025640

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140149628A KR102288399B1 (en) 2014-10-30 2014-10-30 Apparatus for vehicle alarm
KR1020210088106A KR102448629B1 (en) 2014-10-30 2021-07-05 Apparatus for vehicle alarm

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020140149628A KR102288399B1 (en) 2014-10-30 2014-10-30 Apparatus for vehicle alarm

Country Status (1)

Country Link
KR (2) KR102288399B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102044703B1 (en) * 2018-02-14 2019-12-02 엘지전자 주식회사 Autonomous vehicle and method of controlling the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013001155A (en) * 2011-06-13 2013-01-07 Alpine Electronics Inc Apparatus and method for detecting posture of on-vehicle camera
KR20130093991A (en) * 2012-02-15 2013-08-23 케이디씨 주식회사 Method and apparatus for recognizing distance of object using stereo camera
JP2014074632A (en) * 2012-10-03 2014-04-24 Isuzu Motors Ltd Calibration apparatus of in-vehicle stereo camera and calibration method
KR20140049361A (en) * 2012-10-17 2014-04-25 한국과학기술원 Multiple sensor system, and apparatus and method for three dimensional world modeling using the same
KR20140090872A (en) * 2013-01-10 2014-07-18 (주)팜비젼 Camera Calibration Apparatus and Method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4601376B2 (en) * 2004-10-04 2010-12-22 ダイハツ工業株式会社 Image abnormality determination device
JP4321591B2 (en) * 2007-01-11 2009-08-26 株式会社デンソー In-vehicle fog determination device
JP5864984B2 (en) * 2011-09-26 2016-02-17 東芝アルパイン・オートモティブテクノロジー株式会社 In-vehicle camera image correction method and in-vehicle camera image correction program
JP5497248B1 (en) * 2012-07-10 2014-05-21 本田技研工業株式会社 Failure judgment device
KR101406208B1 (en) * 2013-07-23 2014-06-12 현대오트론 주식회사 Fail-safe system and method for sensor of vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013001155A (en) * 2011-06-13 2013-01-07 Alpine Electronics Inc Apparatus and method for detecting posture of on-vehicle camera
KR20130093991A (en) * 2012-02-15 2013-08-23 케이디씨 주식회사 Method and apparatus for recognizing distance of object using stereo camera
JP2014074632A (en) * 2012-10-03 2014-04-24 Isuzu Motors Ltd Calibration apparatus of in-vehicle stereo camera and calibration method
KR20140049361A (en) * 2012-10-17 2014-04-25 한국과학기술원 Multiple sensor system, and apparatus and method for three dimensional world modeling using the same
KR20140090872A (en) * 2013-01-10 2014-07-18 (주)팜비젼 Camera Calibration Apparatus and Method

Also Published As

Publication number Publication date
KR20160050741A (en) 2016-05-11
KR102448629B1 (en) 2022-09-29
KR102288399B1 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
EP3149656B1 (en) Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems
JP5644097B2 (en) Image processing apparatus, image processing method, and program
US9862417B2 (en) Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system
KR101093316B1 (en) Method and System for Image Matching While Driving Vehicle
KR101439052B1 (en) Apparatus and method for detecting obstacle
JP2009005198A (en) Image monitoring system
US9122936B2 (en) Detecting device, detection method, and computer program product
WO2018047400A1 (en) Vehicle display control device, vehicle display system, vehicle display control method, and program
US10005392B2 (en) Object alarm device and object alarm method
KR102448629B1 (en) Apparatus for vehicle alarm
CN110751685B (en) Depth information determination method, determination device, electronic device and vehicle
KR101427032B1 (en) Apparatus and method for recognizing pedestrian in vehicle, and apparatus and method for warning and preventing collision with pedestrian in vehicle using thereof
KR101537559B1 (en) Device for detecting object, device for detecting object for vehicle and method thereof
WO2020157901A1 (en) Driving assistance device
US9928430B2 (en) Dynamic stixel estimation using a single moving camera
US20120056995A1 (en) Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety
JP2015025730A (en) Stereo camera apparatus, mobile object control system, mobile object, and program
KR101519261B1 (en) Monitoring method and automatic braking apparatus
KR101491305B1 (en) Apparatus and method for detecting obstacle
JP2015179066A (en) Parallax value derivation device, apparatus control system, moving body, robot, parallax value derivation method and program
KR101729030B1 (en) Apparatus and method for warning a dangerous element of surrounding of vehicle
KR101664297B1 (en) Around view monitoring system and method for vehicle
JP2018201146A (en) Image correction apparatus, image correction method, attention point recognition apparatus, attention point recognition method, and abnormality detection system
US20130027549A1 (en) Method and device for video surveillance
EP3605015A1 (en) Stereo image processing device

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)