KR101344066B1 - Apparatus for illumination controlling of black box using car and method thereof - Google Patents

Apparatus for illumination controlling of black box using car and method thereof Download PDF

Info

Publication number
KR101344066B1
KR101344066B1 KR1020120023510A KR20120023510A KR101344066B1 KR 101344066 B1 KR101344066 B1 KR 101344066B1 KR 1020120023510 A KR1020120023510 A KR 1020120023510A KR 20120023510 A KR20120023510 A KR 20120023510A KR 101344066 B1 KR101344066 B1 KR 101344066B1
Authority
KR
South Korea
Prior art keywords
image
lighting
black box
brightness
vehicle
Prior art date
Application number
KR1020120023510A
Other languages
Korean (ko)
Other versions
KR20130102336A (en
Inventor
이태윤
Original Assignee
(주) 세인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 세인 filed Critical (주) 세인
Priority to KR1020120023510A priority Critical patent/KR101344066B1/en
Publication of KR20130102336A publication Critical patent/KR20130102336A/en
Application granted granted Critical
Publication of KR101344066B1 publication Critical patent/KR101344066B1/en

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/302Detection related to theft or to other events relevant to anti-theft systems using recording means, e.g. black box
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D41/00Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/304Acceleration sensors
    • B60Y2400/3042Collision sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

차량용 블랙박스에서 주차 감시중 필요에 따라 자동으로 조명을 점등시켜 저조도에서도 최적의 사고 영상을 획득할 수 있도록 한 차량용 블랙박스의 조명 제어장치 및 그 방법이 개시된다.
개시된 차량용 블랙박스의 조명 제어장치는, 카메라를 통해 획득한 영상을 입력받는 영상 입력부와; 차량의 충격을 감지하고, 중력을 이용해 물체의 움직임을 감지하고, 움직임 감지신호를 주행신호로 출력하는 G센서부와; 주행신호로 주차 모드인지 주행모드인지를 판단하고, 주차모드일 경우 영상 입력부에서 출력되는 영상의 저장을 제어하며, 영상의 밝기가 어두운 경우 조명 점등을 위한 제어신호를 발생하는 제어부와; 영상으로부터 영상의 밝기를 감지하고, 움직이는 물체를 감지하여, 감지결과를 제어부에 전달하는 영상 처리부와; 조명 점등을 위한 제어신호에 따라 조명을 점등하는 조명부를 구비한다.
Disclosed is a lighting control device and a method of a vehicle black box, which automatically obtains an optimal accident image even in low light by automatically lighting a light as required during parking monitoring in a vehicle black box.
The lighting control apparatus of the disclosed vehicle black box includes an image input unit configured to receive an image acquired through a camera; A G-sensor for detecting a shock of the vehicle, detecting a movement of an object by using gravity, and outputting a motion detection signal as a driving signal; A control unit for determining whether the parking mode is the driving mode or the driving mode, controlling the storage of the image output from the image input unit in the parking mode, and generating a control signal for lighting lighting when the brightness of the image is dark; An image processor which senses brightness of the image from the image, detects a moving object, and transmits a detection result to the controller; The lighting unit for lighting the light according to the control signal for lighting the light is provided.

Description

차량용 블랙박스의 조명 제어장치 및 그 방법{Apparatus for illumination controlling of black box using car and method thereof}Apparatus for illumination controlling of black box using car and method

본 발명은 차량용 블랙박스의 조명 제어장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 차량용 블랙박스에서 주차 감시중 필요에 따라 자동으로 조명을 점등시켜 저조도에서도 최적의 사고 영상을 획득할 수 있도록 한 차량용 블랙박스의 조명 제어장치 및 그 방법에 관한 것이다.
The present invention relates to a light control device and a method of a black box for a vehicle, and more particularly, for a vehicle in which a black box for a vehicle can automatically turn on lighting as needed during parking monitoring to obtain an optimal accident image even in low light. The present invention relates to a lighting control device of a black box and a method thereof.

근래에 차량에 적용된 블랙박스는 주차시 발생할 수 있는 차량의 도난이나 파손에 대비할 수 있도록 주차중에도 감시 영상을 저장할 수 있는 기능을 제공하고 있다. 이러한 감시 영상이 사고 당시의 상황을 재연하는 데 가장 중요하게 사용되고 있음은 자명한 사실이다.Recently, a black box applied to a vehicle provides a function of storing surveillance images while parking to prepare for theft or damage of the vehicle. It is obvious that such surveillance images are most importantly used to reenact the situation at the time of the accident.

감시 영상을 획득하기 위해서 일반적인 차량용 블랙박스에는 CMOS센서를 이용하게 되는 데, 이러한 CMOS센서는 그 특성상 저조도에서 특성이 현저히 저하되어, 조도가 낮은 상황(특히, 야간)에서 CMOS센서를 이용하여 감시 영상을 획득하여도 영상 판독이 불가능한 경우가 자주 발생하였다.In order to acquire a surveillance image, a CMOS sensor is used in a general vehicle black box. Such a CMOS sensor has a characteristic deterioration at a low light level due to its characteristics, and thus a monitoring image using a CMOS sensor in low light conditions (especially at night) is used. Even when the image was obtained, it was often impossible to read the image.

이렇게 조도가 낮은 상황에서 획득한 감시 영상의 판독 문제를 해결하기 위해서 종래에 제안된 기술이 대한민국특허청 공개특허공보 공개번호 10-2011-0055779호(2011.5.26. 공개)(발명의 명칭: 외부의 조명 환경에 동적으로 대응하여 영상 데이터를 기록하는 방법 및 장치)(이하, "종래기술"이라 약칭함)에 개시되어 있다.In order to solve the problem of reading a surveillance image obtained in such a low light situation, a conventionally proposed technique is disclosed in Republic of Korea Patent Application Publication No. 10-2011-0055779 (2011.5.26. Publication) (name of the invention: A method and apparatus for recording image data dynamically corresponding to an illumination environment) (hereinafter, abbreviated as "prior art").

개시된 종래기술은 외부의 화상 정보를 감지하며 동폭의 제어가 가능한 화상 센서, 외부의 조도 정보를 감지하는 조도 센서, 화상 정보와 조도 정보를 이용하여 조도 모드를 설정하는 조도 감응 제어부를 구비하고, 조도가 낮은 상황에서 근적외선 생성기를 통해 근적외선을 생성하도록 한다. 생성된 근적외선은 주변의 물체로부터 반사되면 반사된 적외선은 화상 센서에 의해 감지되어 이를 화상 정보와 결합하는 등 영상의 가시성을 높이게 된다.
The disclosed prior art includes an image sensor capable of detecting external image information and controlling the same width, an illuminance sensor detecting external illuminance information, and an illuminance sensitive control unit for setting an illuminance mode using image information and illuminance information, In the low situation, the NIR generator generates NIR. When the generated near infrared rays are reflected from the surrounding objects, the reflected infrared rays are detected by the image sensor and combined with the image information to increase the visibility of the image.

1. 대한민국특허청 공개특허공보 공개번호 10-2011-0055779호(2011.5.26. 공개)(발명의 명칭: 외부의 조명 환경에 동적으로 대응하여 영상 데이터를 기록하는 방법 및 장치)1. Republic of Korea Patent Publication No. 10-2011-0055779 (2011.5.26. Published) (name of the invention: a method and apparatus for recording image data by dynamically responding to the external lighting environment)

그러나 상기와 같은 종래 기술은 조도 감지를 위한 조도 센서와 저조도에서 근적외선 발생을 위한 근적외선 발생기 및 근적외선 생성기를 블랙박스에 추가로 구비하게 되므로, 블랙박스의 구성이 복잡해짐은 물론 블랙박스의 원가 향상을 초래하여 블랙박스를 보편화하는 데 문제점으로 작용하였다.However, the prior art as described above is equipped with a near-infrared generator and a near-infrared generator for generating near-infrared at low light and an illuminance sensor for detecting the illuminance, thus complicating the configuration of the black box and improving the cost of the black box. As a result, it acted as a problem in the generalization of the black box.

또한, 종래기술은 조도 센서에 의해 검출한 조도가 낮은 것으로 판단될 경우, 영상 촬영 여부와 무관하게 무조건 근적외선 생성기를 구동하기 때문에 전원 낭비가 심하며, 이로 인해 사고로 영상 촬영이 필요한 경우에 전원 부족으로 블랙박스를 구동시키지 못해 감시 영상을 획득하지 못하는 경우도 발생하였다.
In addition, in the prior art, when it is determined that the illuminance detected by the illuminance sensor is low, power consumption is severe because the near-infrared generator is unconditionally driven regardless of image capturing, which leads to insufficient power in case of accidental image capturing. In some cases, it could not acquire a surveillance image because the black box could not be driven.

이에 본 발명은 상기와 같은 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서,Accordingly, the present invention has been made to solve the above-mentioned problems occurring in the prior art,

본 발명이 해결하고자 하는 과제는 차량용 블랙박스에서 주차 감시중 필요에 따라 자동으로 조명을 점등시켜 저조도에서도 최적의 사고 영상을 획득할 수 있도록 한 차량용 블랙박스의 조명 제어장치 및 그 방법을 제공하는 데 있다.The problem to be solved by the present invention is to provide a lighting control device and a method of the vehicle black box to obtain an optimal accident image even in low light by automatically lighting the light as needed during parking monitoring in the vehicle black box have.

본 발명이 해결하고자 하는 다른 과제는 차량용 블랙박스에서 주차 감시중 조명을 효율적으로 제어하여 배터리의 낭비를 방지하도록 한 차량용 블랙박스의 조명 제어장치 및 그 방법을 제공하는 데 있다.Another problem to be solved by the present invention is to provide a lighting control apparatus and method for a vehicle black box to prevent the waste of the battery by efficiently controlling the lighting during parking monitoring in the vehicle black box.

본 발명이 해결하고자 하는 또 다른 과제는 소프트웨어적으로 조명이 없는 상황에서도 영상으로부터 동작 감지를 할 수 있도록 하고, 가시광선 영역의 조명을 이용함으로써 고가의 적외선 카메라(IR카메라)를 사용하지 않고 기존 블랙박스에 장착된 카메라를 그대로 활용하여 전력 소모를 최소화함은 물론 최상으로 감시 영상을 획득할 수 있도록 한 차량용 블랙박스의 조명 제어장치 및 그 방법을 제공하는 데 있다.
Another problem to be solved by the present invention is to enable the motion detection from the image even in the absence of lighting in software, and by using the illumination of the visible light region without using an expensive infrared camera (IR camera) existing black The present invention provides a lighting control device and a method of a vehicle black box, which minimize power consumption by using a camera mounted on a box as well as obtain the best surveillance image.

상기와 같은 과제들을 해결하기 위한 본 발명에 따른 차량용 블랙박스의 조명 제어장치는,Lighting control device for a vehicle black box according to the present invention for solving the above problems,

카메라를 통해 획득한 영상을 입력받는 영상 입력부와;An image input unit receiving an image acquired through a camera;

차량의 충격을 감지하고, 중력을 이용해 물체의 움직임을 감지하고, 움직임 감지신호를 주행신호로 출력하는 G센서부와;A G-sensor for detecting a shock of the vehicle, detecting a movement of an object by using gravity, and outputting a motion detection signal as a driving signal;

상기 G센서부에서 출력되는 주행신호로 주차 모드인지 주행모드인지를 판단하고, 주차모드일 경우 영상 입력부에서 출력되는 영상의 저장을 제어하며, 영상의 밝기가 어두운 경우 조명 점등을 위한 제어신호를 발생하는 제어부와;The driving signal output from the G sensor unit determines whether the parking mode or the driving mode, and in the parking mode, controls the storage of the image output from the image input unit, and generates a control signal for lighting lighting when the brightness of the image is dark. A control unit;

상기 영상 입력부에서 출력되는 영상으로부터 영상의 밝기를 감지하고, 움직이는 물체를 감지하여, 감지결과를 상기 제어부에 전달하는 영상 처리부와;An image processor which senses brightness of an image from an image output from the image input unit, detects a moving object, and transmits a detection result to the controller;

상기 제어부에서 발생하는 조명 점등을 위한 제어신호에 따라 조명을 점등하는 조명부를 포함하는 것을 특징으로 한다.
It characterized in that it comprises a lighting unit for lighting the light in accordance with a control signal for lighting the light generated by the control unit.

상기에서 제어부는In the above, the control unit

상기 영상 처리부에서 전달되는 감지결과를 기초로 조명의 점등 시기와 영상 입력부에서 출력되는 영상의 저장 시기를 결정하는 것을 특징으로 한다.
The lighting timing of the lighting and the storage timing of the image output from the image input unit may be determined based on the detection result transmitted from the image processing unit.

상기에서 영상 처리부는The image processing unit in the above

입력 영상의 밝기를 감지하여 조명의 점등 시기를 결정하기 위한 신호와 입력 영상으로부터 움직이는 물체를 감지하여 영상이 저장되어야 할 시기를 결정하기 위한 신호를 감지결과로 생성하여, 상기 제어부에 전달하는 것을 특징으로 한다.
It detects the brightness of the input image to determine when to turn on the light and detects a moving object from the input image to generate a signal for determining when the image should be stored as a detection result, and transmits it to the control unit It is done.

상기에서 조명부는 피사체를 입력받는 렌즈와 각도를 다르게 하기 위해 조명 각도를 조절하기 위한 회전 부재를 포함하는 것을 특징으로 한다.
The illumination unit may include a rotating member for adjusting an illumination angle to change an angle with a lens receiving an object.

상기와 같은 과제들을 해결하기 위한 본 발명에 따른 차량용 블랙박스의 조명 제어방법은,Lighting control method of the vehicle black box according to the present invention for solving the above problems,

(a) G센서로부터 출력되는 주행신호를 기초로 주차 모드를 판별하고, 주차 모드일 경우 차량에 충격이 발생하는가를 검출하는 단계와;(a) determining a parking mode based on a driving signal output from the G sensor and detecting whether a shock occurs in the vehicle in the parking mode;

(b) 차량에 충격이 발생하지 않을 경우 촬영된 영상으로부터 움직임을 감지하는 단계와;(b) detecting a movement from the captured image when the impact does not occur in the vehicle;

(c) 상기 촬영된 영상으로부터 움직임이 감지되거나 상기 차량에 충격이 발생한 경우, 상기 촬영된 영상으로부터 밝기를 감지하는 단계와;(c) detecting brightness from the captured image when motion is detected from the captured image or an impact occurs in the vehicle;

(d) 밝기 감지 결과 영상의 밝기가 어두운 경우 조명을 점등시키는 단계와;(d) turning on illumination when the brightness of the image is dark as a result of the brightness detection;

(e) 상기 조명 점등 후 촬영된 영상 또는 조명 점등 이전에 촬영된 영상을 이벤트 정보와 함께 저장하는 단계를 포함하는 것을 특징으로 한다.
(e) storing the image photographed after the lighting is turned on or the image photographed before the lighting is turned on together with event information.

상기에서 (b) 단계는 (b-1) 카메라로부터 입력되는 영상에서 영상 프레임을 생성하는 단계, (b-2) 상기 생성한 영상 프레임에 적응 임계값을 적용하여 전경 영상을 생성하는 단계, (b-3) 생성한 전경 영상을 레이블링(labeling)을 하여 물체를 분류한 후, 분류한 물체의 움직임을 감지하는 단계를 포함한다.
In the step (b), (b-1) generating an image frame from an image input from the camera, (b-2) generating a foreground image by applying an adaptive threshold value to the generated image frame, ( b-3) classifying objects by labeling the generated foreground image, and then detecting movement of the classified objects.

상기에서 (b-1)단계는 카메라로부터 입력받은 영상에서 Y성분을 추출하여 W×H 해상도의 8비트 그레이 영상을 생성하고, 8비트 그레이 영상을 pyramidic downsampling을 통해 해상도를 줄여 영상 프레임을 생성하는 것을 특징으로 한다.
In the step (b-1), the Y component is extracted from the image input from the camera to generate an 8-bit gray image having a W × H resolution, and an image frame is generated by reducing the resolution through pyramidic downsampling the 8-bit gray image. It is characterized by.

상기에서 (b-3)단계는 분류한 레이블의 최외각 사각형(bounding box)을 관심영역(ROI: Region of interest)으로 정의하고, 관심영역 크기를 움직임 여부를 판단하기 위해 미리 설정된 임계치와 비교하여, 상기 관심영역의 크기가 임계치보다 클 경우 물체가 움직이는 것으로 판단하는 것을 특징으로 한다.
In the step (b-3), the outermost rectangle (bounding box) of the classified label is defined as a region of interest (ROI), and the size of the region of interest is compared with a preset threshold to determine whether to move. When the size of the ROI is larger than a threshold, the object is determined to move.

상기에서 (c) 단계는 (c-1) 전경 영상에 가변 가중지수 이동평균 필터를 이용하여 배경 영상을 갱신하는 단계, (c-2) 갱신한 배경 영상의 밝기를 측정하는 단계를 포함하는 것을 특징으로 한다.
Wherein (c) step (c-1) updating the background image using a variable weighted index moving average filter to the foreground image, (c-2) comprising the step of measuring the brightness of the updated background image It features.

상기에서 (c-1) 단계는 이전의 프레임들을 버퍼에 저장하고 각 데이터를 동일한 가중치로 평균하는 이동 평균 필터와 항상 최근의 데이터일수록 더 큰 가중값을 갖고 평균하는 가중 지수 이동평균 필터를 조합하여 배경 영상을 갱신하는 것을 특징으로 한다.
In step (c-1), a background is obtained by combining a moving average filter for storing previous frames in a buffer and averaging each data with the same weight, and a weighted exponential moving average filter for averaging more recent data with a larger weight value. And updating the image.

본 발명에 따르면 차량용 블랙박스에서 주차 감시중 필요에 따라 자동으로 조명을 점등시켜 저조도에서도 최적의 사고 영상을 획득할 수 있는 장점이 있다.According to the present invention, there is an advantage in that the vehicle black box automatically turns on lighting as needed during parking monitoring to obtain an optimal accident image even in low light.

또한, 본 발명에 따르면 차량용 블랙박스에서 주차 감시중 조명을 효율적으로 제어하여 배터리의 낭비를 방지할 수 있는 장점이 있다.In addition, according to the present invention there is an advantage that can effectively control the lighting during parking monitoring in the vehicle black box to prevent waste of the battery.

또한, 본 발명에 따르면 소프트웨어적으로 조명이 없는 상황에서도 영상으로부터 동작 감지를 할 수 있으며, 가시광선 영역의 조명을 이용함으로써 고가의 적외선 카메라(IR카메라)를 사용하지 않고 기존 블랙박스에 장착된 카메라를 그대로 활용하여 전력 소모를 최소화함은 물론 최상으로 감시 영상을 획득할 수 있는 장점이 있다.
In addition, according to the present invention can be detected from the image even in the absence of lighting in software, by using the illumination of the visible light region, the camera mounted on the existing black box without using an expensive infrared camera (IR camera) By using it as it is, it has the advantage of minimizing power consumption and obtaining the best surveillance image.

도 1은 본 발명에 따른 차량용 블랙박스의 조명 제어장치의 구성도.
도 2는 본 발명에 따른 차량용 블랙박스의 조명 제어방법을 보인 흐름도.
도 3은 도 2의 동작 감지를 위한 영상처리 과정의 실시 예를 보인 흐름도.
도 4는 도 2의 영상으로부터 밝기를 검출하기 위한 과정의 실시 예를 보인 흐름도.
1 is a block diagram of a lighting control device for a vehicle black box according to the present invention.
Figure 2 is a flow chart showing a lighting control method of a vehicle black box according to the present invention.
3 is a flowchart illustrating an embodiment of an image processing process for detecting the motion of FIG. 2.
4 is a flowchart illustrating an embodiment of a process for detecting brightness from the image of FIG. 2.

이하 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다. 본 발명을 설명하기에 앞서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

도 1은 본 발명에 따른 차량용 블랙박스의 조명 제어장치의 구성도로서, 영상 입력부(10), G센서부(2), 제어부(30), 영상 저장부(40), 영상 처리부(50) 및 조명부(60)로 구성된다.1 is a block diagram of a lighting control device for a vehicle black box according to the present invention, the image input unit 10, the G sensor unit 2, the control unit 30, the image storage unit 40, the image processing unit 50 and The lighting unit 60 is configured.

영상 입력부(10)는 카메라를 통해 획득한 영상을 입력받는 역할을 하는 부분이며, G센서부(20)는 차량의 충격을 감지하고, 중력을 이용해 물체의 움직임을 감지하고, 움직임 감지신호를 주행신호로 출력하여 제어부(30)에 전달하는 역할을 한다. 이러한 G센서부(20)는 3축 G센서를 이용하며, 이러한 3축 G센서에 가해진 힘은 중력과 3차원 벡터 합으로 표현되며, 센서는 각각 x축, y축, z축의 스칼라를 G단위로 출력하여 힘을 나타낸다.The image input unit 10 is a part that receives the image obtained through the camera, the G sensor unit 20 detects the impact of the vehicle, detects the movement of the object using gravity, and drives the motion detection signal It outputs a signal and transmits it to the control unit 30. The G-sensor unit 20 uses a three-axis G-sensor, the force applied to the three-axis G-sensor is expressed by the gravity and the three-dimensional vector sum, the sensor is a unit of the scalar of the x-axis, y-axis, and z-axis respectively Output to indicate the force.

제어부(30)는 상기 G센서부(20)에서 출력되는 주행신호로 주차 모드인지 주행모드인지를 판단하고, 주차모드일 경우 영상 입력부(10)에서 출력되는 영상의 저장을 제어하며, 영상의 밝기가 어두운 경우 조명 점등을 위한 제어신호를 발생하게 된다. 이러한 제어부(30)는 상기 영상 처리부((50)에서 전달되는 감지결과를 기초로 조명의 점등 시기와 영상의 저장 시기를 결정하게 된다.The controller 30 determines whether the vehicle is in the parking mode or the driving mode by the driving signal output from the G sensor unit 20, and controls the storage of the image output from the image input unit 10 in the parking mode, and the brightness of the image. If is dark, the control signal for lighting the illumination is generated. The controller 30 determines the lighting time and the storage time of the image based on the detection result transmitted from the image processing unit 50.

영상 처리부(50)는 상기 영상 입력부(10)에서 출력되는 영상으로부터 영상의 밝기를 감지하고, 움직이는 물체를 감지하여, 감지결과를 상기 제어부(30)에 전달하는 역할을 한다. 이러한 영상 처리부(50)는 입력 영상의 밝기를 감지하여 조명의 점등 시기를 결정하기 위한 신호와 입력 영상으로부터 움직이는 물체를 감지하여 영상이 저장되어야 할 시기를 결정하기 위한 신호를 감지결과로 생성하여, 상기 제어부(30)에 전달한다.The image processor 50 detects the brightness of the image from the image output from the image input unit 10, detects a moving object, and delivers the detection result to the controller 30. The image processing unit 50 detects the brightness of the input image and generates a signal for determining when to turn on the illumination and a signal for determining when the image should be stored by detecting a moving object from the input image, as a detection result. Transfer to the control unit 30.

조명부(60)는 상기 제어부(30)에서 발생하는 조명 점등을 위한 제어신호에 따라 조명을 점등하는 역할을 한다. 여기서 조명부(60)는 피사체를 입력받는 렌즈와 각도를 다르게 하기 위해 조명 각도를 조절하기 위한 회전 부재를 포함하는 것이 바람직하다.The lighting unit 60 serves to light the lighting according to a control signal for lighting lighting generated from the control unit 30. In this case, the lighting unit 60 preferably includes a rotating member for adjusting the lighting angle so as to change the angle with the lens receiving the subject.

영상 저장부(40)는 제어부(30)의 제어에 따라 영상 입력부(10)를 통해 입력된 영상을 저장하는 역할을 한다.The image storage unit 40 stores the image input through the image input unit 10 under the control of the controller 30.

이와 같이 구성된 본 발명에 따른 차량용 블랙박스의 조명 제어장치는, 영상 입력부(10)에서 카메라를 통해 획득한 영상을 제어부(30)에 전달한다.The lighting control device for a vehicle black box according to the present invention configured as described above transmits the image acquired through the camera from the image input unit 10 to the controller 30.

제어부(30)는 영상 입력이 되면 현재 차량의 모드가 주행 모드인지 주차모드인지를 판단하고, 이러한 모드 판단 결과에 따라 입력 영상의 저장 시기를 제어하게 된다.When the image is input, the controller 30 determines whether the current vehicle mode is a driving mode or a parking mode, and controls the storage time of the input image according to the mode determination result.

여기서 차량의 모드 판단은 G센서부(20)에서 출력되는 주행신호에 기반한다.The mode determination of the vehicle is based on the driving signal output from the G sensor unit 20.

예컨대, G센서부(20)는 3축 G센서를 이용하며, 이러한 3축 G센서에 가해진 힘은 중력과 3차원 벡터 합으로 표현되며, 센서는 각각 x축, y축, z축의 스칼라를 G단위로 출력하여 힘을 나타낸다. 사고 판단과 주차 모드 진입 판단을 위해서는 종축 성분인 중력

Figure 112012018654966-pat00001
를 제외하고 횡축 성분인
Figure 112012018654966-pat00002
Figure 112012018654966-pat00003
의 합의 노름(norm)을 사용하며, 이를 수식으로 표현하면 아래의 수학식 1로 표현할 수 있다.For example, the G-sensor unit 20 uses a three-axis G-sensor, the force applied to the three-axis G-sensor is represented by the sum of gravity and three-dimensional vector, the sensor is a scalar of the x-axis, y-axis, and z-axis, respectively Output power in units. In order to judge the accident and enter the parking mode, gravity
Figure 112012018654966-pat00001
Except for the transverse component
Figure 112012018654966-pat00002
Wow
Figure 112012018654966-pat00003
, Which can be represented by the following equation (1). &Quot; (1) "

Figure 112012018654966-pat00004
Figure 112012018654966-pat00004

따라서 제어부(30)는 상기 G센서부(20)에서 출력되는 출력신호와 사고(이벤트)를 판단하기 위해 미리 설정된 임계값(

Figure 112012018654966-pat00005
)과 비교하여,
Figure 112012018654966-pat00006
가 되면 사고(이벤트) 발생으로 판단을 한다. 아울러 상기 출력 값을 주차 모드를 판단하기 위한 임계값(
Figure 112012018654966-pat00007
)과 비교하여, 상기
Figure 112012018654966-pat00008
인 상태가 지속하는 시간을 카운트하여, 상기
Figure 112012018654966-pat00009
인 상태가 일정 시간 이상 지속하면 주차 모드로 판단을 한다. 또한,
Figure 112012018654966-pat00010
가 되면 주행 모드로 판단을 한다.Therefore, the control unit 30 is set in advance to determine the output signal and the accident (event) output from the G sensor unit 20 (
Figure 112012018654966-pat00005
),
Figure 112012018654966-pat00006
It is judged that an accident (event) has occurred. The output value is used as a threshold value for determining the parking mode
Figure 112012018654966-pat00007
),
Figure 112012018654966-pat00008
Counts the time that the in-state continues,
Figure 112012018654966-pat00009
The parking mode is determined. Also,
Figure 112012018654966-pat00010
It is determined that the vehicle is in the traveling mode.

판단 결과 주행 모드일 경우에는, 일반적인 블랙박스의 영상 저장 제어와 동일하게 영상 저장부(40)를 제어하여 상시 녹화가 이루어지도록 하고, 아울러 G센서부(20)에 의해 충격 감지(사고)가 되면 이벤트를 트리거로 녹화를 하도록 제어를 한다.As a result of the determination, in the driving mode, the video storage unit 40 is controlled in the same manner as the image storage control of the general black box so that the recording is always performed, and when the shock is detected (accident) by the G sensor unit 20. Control to record the event as a trigger.

한편, 상기 판단 결과 주차 모드라고 판단될 경우에는, 영상 처리부(50)에서 영상 처리를 수행한 후 전달되는 감지결과에 기반하여, 조명 점등 시기를 판단하고 영상 저장 시기를 판단하게 된다.On the other hand, if it is determined that the parking mode, the image processing unit 50 determines the lighting time and the image storage time based on the detection result transmitted after performing the image processing.

상기 영상 처리부(50)는 상기 영상 입력부(10)에서 출력되는 영상으로부터 영상의 밝기를 감지하고, 움직이는 물체를 감지하여, 감지결과를 상기 제어부(30)에 전달하는 역할을 한다. The image processor 50 detects brightness of an image from an image output from the image input unit 10, detects a moving object, and transmits a detection result to the controller 30.

이러한 영상 처리부(50)는 임베디드 시스템을 고려하여 필요한 메모리 영상과 연산 량이 작아야 하고 조명이 거의 없는 야간에도 동작 감지를 할 수 있어야 한다. 이후에 언급되는 시간 t의 단위는 1프레임이며, 영상 처리부(50)는 시간(t+1)에서의 영상 처리 알고리즘이다.Such an image processing unit 50 should be able to detect motion even at night with little lighting and memory amount required in consideration of an embedded system and little lighting. The unit of time t mentioned later is one frame, and the image processor 50 is an image processing algorithm at time t + 1.

예컨대, 영상 처리부(50)는 카메라로부터 입력받은 영상에서 Y 성분을 추출하여 W×H 해상도의 8비트ㅡ그레이(Gray) 영상을 생성한다. 동작 감지(Motion Detect)는 해상도에 따른 성능의 차이가 크지 않기 때문에 빠른 연산을 위해 생성된 영상을 Pyramidic Downsampling를 통해 해상도를 W/2×H/2로 줄여 영상 프레임 Ft+1을 생성하며, 영상 프레임 Ft +1가 차지하는 메모리 크기를 W/2×H/2×8bits로 줄였다.For example, the image processor 50 extracts the Y component from the image input from the camera to generate an 8-bit gray image having a W × H resolution. Since Motion Detect does not have a large performance difference depending on the resolution, the video frame F t + 1 is generated by reducing the resolution to W / 2 × H / 2 through Pyramidic Downsampling. The memory size occupied by the image frame F t +1 is reduced to W / 2 × H / 2 × 8 bits.

다음으로, 적응 임계값을 이용하여 전경 레이블링(Foreground labeling with adaptive threshold)을 수행하게 되며, 이를 수식으로 표현하면 아래의 수학식 2가 된다.Next, foreground labeling with adaptive threshold is performed using the adaptive threshold value, which is expressed by Equation 2 below.

Figure 112012018654966-pat00011
Figure 112012018654966-pat00011

Figure 112012018654966-pat00012
Figure 112012018654966-pat00012

여기서 ∋ght는 밤(Night)을 의미하며, O는 동작이 감지된 물체가 포함된 영상이며, Fet +1은 시간 t+1에서 입력 영상의 에지 영상, Bet는 시간 t에서 배경 영상의 에지 영상, Fdrt +1은 시간 t+1에서 입력 영상의 DC 성분을 제거한 영상, Bdrt는 시간 t에서 배경 영상의 DC 성분을 제거한 영상이다. w는 3×3 크기의 서브 마스크이며, w=

Figure 112012018654966-pat00013
이다. M은 마스크 영상으로 영상 O와 서브 마스크 w와 Dilation 연산을 통해 구한다. 주간에는 영상의 윤곽이 뚜렷이 나타나기 때문에 Background subtraction을 위하여 에지 영상(Fet+1, Bet)를 사용하고, 조명이 없는 야간에는 노이즈가 많이 발생하고 물체가 뚜렷이 보이지 않기 때문에 노이즈가 포함된 DC 성분을 제거하고 영상의 AC 성분만 남은 영상(Fdrt +1, Bdrt)을 사용하여 물체의 윤곽을 두드러지게 한다. 이때 영상이 안정적인 주간에는 고정 임계값(Threshold)을 사용할 수 있지만, 야간에는 주변의 밝기에 따라 가변하도록 하는 적응 임계값을 사용하여야 조명이 있는 야간과 거의 없는 야간 상황을 구분하여 동작 감지를 수행할 수 있다. 따라서 야간 임계값인 ObjThnight에 계수 k를 곱하여 사용하되, k는 영상의 밝기에 따라 가변하는 값이지만 선형적으로 변하지는 않는다. 이는 사용된 카메라와 렌즈, 센서에 따라 heuristic하며 밝기 값에 따라 몇 가지 단계로 구분하여 사용한다.Where ∋ght means Night, O is the image containing the motion detected object, Fe t +1 is the edge image of the input image at time t + 1, and Be t is the background image at time t. The edge image, Fdr t +1 is an image from which the DC component of the input image is removed at time t + 1, and Bdr t is an image from which the DC component of the background image is removed at time t. w is a 3 × 3 submask, w =
Figure 112012018654966-pat00013
to be. M is a mask image and is obtained by dilation operation with image O and sub mask w. The edge of the image (Fe t + 1 , Be t ) is used for background subtraction because the outline of the image appears clearly during the day, and the DC component that contains noise because there is a lot of noise and the object is not visible at night without lighting. Remove the image and use the image (Fdr t +1 , Bdr t ) where only the AC component of the image is left to make the outline of the object stand out. At this time, a fixed threshold can be used during the day when the image is stable. However, at night, an adaptive threshold that can vary according to the brightness of the surroundings must be used to distinguish motion at night with little or no lighting. Can be. Therefore, ObjTh night , which is a night threshold value, is used by multiplying the coefficient k, where k is a value that varies depending on the brightness of the image, but does not change linearly. It is heuristic depending on the camera, lens and sensor used, and it is divided into several steps according to the brightness value.

마스크 영상 M을 레이블링(Labeling)을 통해 물체를 분류하고 분류된 레이블의 최외각 사각형(Bounding box)을 관심영역(ROI: Region of Interest)으로 정의하고, ROI의 크기가 w×h로 표현될 때, w > Thw 이고 h > Thh이면 해당 레이블을 전경(Foreground: 움직이는 물체)으로 판단하고 이벤트를 발생시켜 제어부(30)에 전달한다.When the mask image M is classified through labeling, the outermost rectangle of the classified label is defined as a region of interest (ROI), and the size of the ROI is expressed as w × h. When w> Th w and h> Th h, the corresponding label is determined as a foreground (moving object), an event is generated, and transmitted to the controller 30.

또한, 영상 처리부(50)는 가변 가중 지수 이동 평균 필터(Exponentially Variable Weighted Moving Average filter)를 이용하여 배경 영상을 갱신하고, 갱신한 배경 영상으로부터 밝기를 측정하게 된다.In addition, the image processor 50 updates the background image using an Exponentially Variable Weighted Moving Average filter and measures the brightness from the updated background image.

여기서 가변 가중 지수 이동 평균 필터는 기존의 이동 평균 필터와 가중 지수 이동 평균 필터를 조합하여 만든 것이다.The variable weighted exponential moving average filter is a combination of the existing moving average filter and the weighted exponential moving average filter.

이전 n 프레임에 대한 이동 평균 필터(Moving Average filter)는 아래의 수식 3으로 표현된다.The moving average filter for the previous n frames is expressed by Equation 3 below.

Figure 112012018654966-pat00014
Figure 112012018654966-pat00014

이동 평균 필터는 이전의 프레임들을 버퍼에 저장하고 각 데이터를 동일한 가중치로 평균하기 때문에 버퍼의 크기에 영향을 받으며 빠른 동적 시스템에는 적합하지 않으며, 버퍼는 프레임 사이즈의 n배의 메모리 공간을 필요로 한다. 버퍼의 크기가 크면 시간 지연이 발생하고 필요 메모리 공간이 늘어나며 작으면 노이즈에 취약해진다.The moving average filter is affected by the size of the buffer because it stores previous frames in the buffer and averages each data with the same weight, and is not suitable for fast dynamic systems. The buffer requires n times the memory size of the frame size. . Larger buffers introduce time delays, increase the required memory space, and smaller ones are susceptible to noise.

가중 지수 이동 평균 필터(Exponentially Weighted Moving Average filter)는 아래의 수식 4로 표현된다.Exponentially Weighted Moving Average filter is expressed by Equation 4 below.

Figure 112012018654966-pat00015
Figure 112012018654966-pat00015

여기서 α는 learning rate로서 0보다 크고 1보다 작은 상수이며, 항상 최근의 데이터로 올수록 더 큰 가중값을 갖게 된다. α값의 특징은 α가 클 때는 과거 데이터의 비중이 낮아져 노이즈에 취약해지고 시간 지연이 적어진다. α가 작을 때는 과거 데이터의 비중이 커져 노이즈 제거 능력이 좋아지고 시간 지연이 커진다. 이 방법은 배경 영상 외에 추가로 필요한 메모리가 없다.Where α is a constant that is greater than 0 and less than 1 as the learning rate, and always has a larger weight as the latest data comes. The characteristic of the value of α is that when the value of α is large, the weight of the past data becomes low, which makes it vulnerable to noise and reduces the time delay. When α is small, the weight of the past data is increased, which improves the noise removing ability and increases the time delay. This method does not have additional memory besides the background image.

따라서 상기와 같은 이동 평균 필터와 가중 지수 이동 평균 필터의 특성을 조합한 가변 가중 지수 이동 평균 필터는 아래의 수식 5로 표현할 수 있다.Therefore, the variable weighted exponential moving average filter combining the characteristics of the moving average filter and the weighted exponential moving average filter as described above may be expressed by Equation 5 below.

Figure 112012018654966-pat00016
Figure 112012018654966-pat00016

Figure 112012018654966-pat00017
Figure 112012018654966-pat00017

주차 모드 진입 이후 블랙박스 전방에 주차한 차량의 경우 최초 이동체로 판단되어 전경으로 분류되나 시간이 지나면서 배경으로 변환된다. 단일 α(learning rate)로는 전경 및 배경의 갱신 지연 시간이 동일하기 때문에 잠시 정차하였다 다시 출발한 차량의 경우 차량의 빈자리가 다시 이동체로 분류되는 문제가 발생할 수 있다. 이 문제를 해결하기 위하여 (x, y) 좌표가 전경일 경우 배경과는 달리 계수 k에 의해 learning rate 값이 가변하여 전경의 시간 지연을 크게 한다. 계수 k는 전경이 탐지된 최초 프레임에서 0의 초기값을 가지며 머무른 시간에 따라 k값이 점차 증가하여 일정 시간 후 1에 도달하면 배경과 같은 가중치로 갱신한다.Vehicles parked in front of the black box after entering the parking mode are classified as the first moving object and classified as the foreground, but are converted to the background as time passes. Since the update delay time of the foreground and the background is the same at a single α (learning rate), the vehicle may be temporarily stopped and the vehicle may be classified again as a moving object. In order to solve this problem, when the (x, y) coordinate is the foreground, the learning rate value is changed by the coefficient k, unlike the background, thereby increasing the time delay of the foreground. The coefficient k has an initial value of 0 in the first frame in which the foreground is detected, and the value of k is gradually increased as the time to stay and reaches 1 after a certain time is updated with the same weight as the background.

이후 갱신된 영상 프레임 Bt +1에서 영상의 밝기(Brightness)를 측정한다. 시간 t+1에서의 밝기는 Bt +1의 모든 픽셀 밝기의 평균값이며, 이를 수식으로 표현하면 아래의 수식 6과 같다.Then, the brightness of the image is measured in the updated image frame B t +1 . The brightness at time t + 1 is the average value of all the pixel brightnesses of B t +1 , which is expressed by Equation 6 below.

Figure 112012018654966-pat00018
Figure 112012018654966-pat00018

Figure 112012018654966-pat00019
Figure 112012018654966-pat00019

여기서 야간 모드와 주간 모드의 진입 조건은 다음과 같다.Here, the entry conditions of night mode and day mode are as follows.

BrightThday > BrightThnight BrightTh day > BrightTh night

따라서 Brightnesst +1 < BrightThnight일 경우 야간 모드로 진입하며, Brightnesst+1 > BrightThday일 경우 주간 모드로 진입한다.Therefore, if Brightness t +1 <BrightTh night , it enters night mode, and if Brightness t + 1 > BrightTh day Enter the day mode.

이러한 영상 처리부(50)에서 처리되어 제공되는 물체 움직임 감지신호 및 영상 밝기 신호를 기반으로, 조명 점등 시기와 영상 저장 시기를 제어하게 된다. 예컨대, 제어부(30)는 주차모드일 경우 영상 입력부(10)에서 출력되는 영상의 저장을 제어하며, 영상의 밝기가 어두운 경우 조명 점등을 위한 제어신호를 발생하게 된다.Based on the object motion detection signal and the image brightness signal processed and provided by the image processor 50, the lighting lighting timing and the image storage timing are controlled. For example, the controller 30 controls the storage of the image output from the image input unit 10 in the parking mode, and generates a control signal for lighting lighting when the brightness of the image is dark.

조명부(60)는 상기 제어부(30)에서 발생하는 조명 점등을 위한 제어신호에 따라 조명을 점등하는 역할을 한다. 여기서 조명부(60)는 최소 한 개 이상의 LED 플래시로 구성된다. LED 플래시는 전력 소모가 적으며 구동 회로가 차지하는 공간도 적으며, 지속적인 광원으로의 이용도 가능하기 때문에 블랙박스의 조명 장치로 충분하다. The lighting unit 60 serves to light the lighting according to a control signal for lighting lighting generated from the control unit 30. The lighting unit 60 is composed of at least one LED flash. The LED flashlight consumes less power, requires less space in the drive circuit, and can be used as a continuous light source, which is enough for a black box lighting device.

LED 플래시를 블랙박스 본체에 내장시킬 경우 고려하여야 할 점은 광원의 각도이다. 블랙박스 특성상 차량의 전면 유리 바로 뒤쪽에 장치되는 경우가 대부분이기 때문에 광원의 빛이 유리에 반사되어 다시 카메라 렌즈로 들어가게 되면 제대로 된 영상을 촬영할 수 없기 때문이다. 또한, 전면 유리의 각도가 차량마다 다르기 때문에 광원의 각도를 고정하여 사용하기에는 문제가 발생할 여지가 많다.The point to consider when the LED flash is embedded in the black box body is the angle of the light source. Because most of the black box is installed directly behind the windshield of the vehicle, if the light from the light source is reflected on the glass and enters the camera lens, it is impossible to capture a proper image. In addition, since the angle of the windshield is different for each vehicle, there is a lot of problems to use the fixed angle of the light source.

따라서 블랙박스에 가시광선 영역의 조명을 설치할 경우는 렌즈와 조명의 각도를 다르게 조정할 수 있는 구조로 되어야 이러한 문제점을 회피할 수 있으며, 이를 위해서 본 발명에서는 피사체를 입력받는 렌즈와 각도를 다르게 하기 위해 조명 각도를 조절하기 위한 회전 부재를 구비시켜, 조명부만을 렌즈의 각도와 다르게 조절한다. 이러한 회전 부재는 사용자의 수동 조작에 의해 회전되어 각도가 조절되는 방식도 가능하고, 구동 모터를 이용하고 제어부(30)에서 구동 모터를 제어하기 위한 구동 신호를 발생하여 회전 부재를 자동으로 동작시켜 조명부(60)의 각도를 자동 조절하는 것도 가능하다.Therefore, when the illumination of the visible light region is installed in the black box, the structure of the lens and the illumination angle should be adjusted to avoid such a problem, in order to prevent the problem in the present invention in order to change the angle with the lens receiving the subject A rotating member for adjusting the illumination angle is provided to adjust only the illumination part differently from the angle of the lens. The rotating member may be rotated by a user's manual operation to adjust an angle. The rotating member may automatically drive the rotating member by using a driving motor and generating a driving signal for controlling the driving motor by the controller 30. It is also possible to automatically adjust the angle of 60.

영상 저장부(40)는 상기 제어부(30)의 제어에 따라 상시 녹화를 하거나, 동작 감지 이벤트(움직임 감지)와 차량 충격 감지 이벤트를 트리거로 녹화를 하게 된다.The image storage unit 40 records at all times under the control of the controller 30, or records a motion detection event (motion detection) and a vehicle shock detection event as a trigger.

도 2는 본 발명에 따른 차량용 블랙박스의 조명 제어방법을 보인 흐름도로서, S는 단계(Step)를 나타내며, 도 1의 제어부(30)에서 소프트웨어적으로 수행하는 알고리즘을 나타낸 것이다.2 is a flowchart illustrating a lighting control method of a vehicle black box according to the present invention, in which S represents a step and illustrates an algorithm performed by software in the controller 30 of FIG. 1.

이에 도시된 바와 같이, (a) G센서로부터 출력되는 주행신호를 기초로 주차 모드를 판별하고, 주차 모드일 경우 차량에 충격이 발생하는가를 검출하는 단계(S11 ~ S12)와; (b) 차량에 충격이 발생하지 않을 경우 촬영된 영상으로부터 움직임을 감지하는 단계(S13)와; (c) 상기 촬영된 영상으로부터 움직임이 감지되거나 상기 차량에 충격이 발생한 경우, 상기 촬영된 영상으로부터 밝기를 감지하는 단계(S14 ~ S15)와; (d) 밝기 감지 결과 영상의 밝기가 어두운 경우 조명을 점등시키는 단계(S16 ~ S17)와; (e) 상기 조명 점등 후 촬영된 영상 또는 조명 점등 이전에 촬영된 영상을 이벤트 정보와 함께 저장하는 단계(S18)로 이루어진다.As shown therein, (a) determining whether the parking mode is generated based on the driving signal output from the G sensor, and detecting whether a shock occurs in the vehicle in the parking mode (S11 to S12); (b) detecting a movement from the captured image when the impact does not occur in the vehicle (S13); (c) detecting brightness from the captured image when motion is detected from the captured image or an impact occurs in the vehicle (S14 to S15); (d) lighting the illumination when the brightness of the image is dark as a result of the brightness detection (S16 to S17); (e) storing the image photographed after the lighting is turned on or the image photographed before the lighting is turned on together with event information (S18).

이와 같이 이루어지는 본 발명에 따른 차량용 블랙박스의 조명 제어방법은, 먼저, 단계 S11에서 G센서로부터 출력되는 주행신호를 기초로 주차모드 또는 주행모드를 판별한다. 이 판별 결과 주행모드일 경우에는 기존 블랙박스에서 영상을 저장하는 방식과 동일하게 영상의 녹화를 제어하게 되고, 이와는 달리 주차모드일 경우에는 단계 S12로 이동하여 차량에 충격이 발생했는지를 판단한다. 여기서 차량의 충격 발생 여부는 주지한 <수학식 1>에 의해 산출한 값과 충격을 판단하기 위해 미리 설정한 임계치를 비교하여 판단하게 된다.In the lighting control method of the vehicle black box according to the present invention, the parking mode or the driving mode is first determined based on the driving signal output from the G sensor in step S11. As a result of the determination, in the driving mode, the recording of the image is controlled in the same way as the image is stored in the existing black box. In contrast, in the parking mode, the control proceeds to step S12 to determine whether an impact occurs in the vehicle. The impact of the vehicle may be determined by comparing a value calculated by the well-known <Equation 1> with a threshold set in advance to determine the impact.

이 판단 결과 차량에 충격이 발생하지 않은 경우에는 단계 S13으로 이동하여 동작 감지를 위한 영상 처리를 수행하게 된다. 여기서 동작 감지를 위한 영상 처리는 도 3에 도시한 바와 같이, 카메라로부터 입력되는 영상에서 영상 프레임을 생성한다(S21 ~ S22). 예컨대, 카메라로부터 입력받은 영상에서 Y성분을 추출하여 W×H 해상도의 8비트 그레이 영상을 생성하고, 8비트 그레이 영상을 pyramidic downsampling을 통해 해상도를 줄여 영상 프레임을 생성한다. As a result of this determination, if no impact occurs in the vehicle, the process moves to step S13 to perform image processing for motion detection. In the image processing for motion detection, as shown in FIG. 3, an image frame is generated from an image input from a camera (S21 to S22). For example, an Y component is extracted from an image input from a camera to generate an 8-bit gray image having a W × H resolution, and an image frame is generated by reducing the resolution through pyramidic downsampling the 8-bit gray image.

다음으로, 상기 생성한 영상 프레임에 적응 임계값을 적용하여 전경 영상(

Figure 112012018654966-pat00020
을 생성하게 된다(S23). 이후 생성한 전경 영상을 레이블링(labeling)을 하여 물체를 분류한 후, 분류한 물체의 움직임을 감지하게 된다(S24). 예컨대, 분류한 레이블의 최외각 사각형(bounding box)을 관심영역(ROI: Region of interest)으로 정의하고, 관심영역 크기를 움직임 여부를 판단하기 위해 미리 설정된 임계치와 비교하여, 상기 관심영역의 크기가 임계치보다 클 경우 물체가 움직이는 것으로 판단하게 된다.Next, the foreground image (
Figure 112012018654966-pat00020
It will generate (S23). After the object is classified by labeling the generated foreground image, the motion of the classified object is detected (S24). For example, the outermost rectangle of the sorted label is defined as a region of interest (ROI), and the size of the region of interest is compared with a preset threshold to determine whether the region of interest moves. If it is larger than the threshold, it is determined that the object is moving.

한편, 상기 물체의 움직임을 감지한 결과 동작이 감지되거나(S14), 차량에 충격이 발생한 경우에는 단계 S15로 이동하여 밝기 검출을 위한 영상 처리를 수행하게 된다. 여기서 밝기 검출을 위한 영상 처리 과정은 도 4에 도시한 바와 같이, 전경 영상에 가변 가중지수 이동평균 필터를 이용하여 배경 영상(B(t+1))을 갱신하고(S31), 갱신한 배경 영상의 밝기를 측정하게 된다(S32).On the other hand, if the motion is detected as a result of detecting the movement of the object (S14), or if an impact occurs in the vehicle, the process moves to step S15 to perform image processing for brightness detection. As shown in FIG. 4, the image processing process for detecting the brightness is performed by updating the background image B (t + 1) using the variable weighted index moving average filter to the foreground image (S31) and updating the background image. Measure the brightness of (S32).

여기서 가변 가중지수 이동평균 필터는 이전의 프레임들을 버퍼에 저장하고 각 데이터를 동일한 가중치로 평균하는 이동 평균 필터와 항상 최근의 데이터로 올수록 더 큰 가중값을 갖고 평균하는 가중 지수 이동평균 필터를 조합한 것으로서, 전술한 <수학식 5>와 같이 구현되므로, 중복 설명을 회피하기 위해서 자세한 설명은 생략한다.Here, the variable weighted index moving average filter is a combination of a moving average filter that stores previous frames in a buffer and averages each data with the same weight, and a weighted exponential moving average filter that averages with a larger weight as the latest data always comes up. Since it is implemented as in Equation 5, detailed description is omitted in order to avoid redundant description.

이후 갱신된 영상 프레임 Bt +1에서 영상의 밝기(Brightness)를 측정한다. 시간 t+1에서의 밝기는 Bt +1의 모든 픽셀 밝기의 평균값이며, 전술한 <수학식 6>을 이용하여 밝기를 측정한다.Then, the brightness of the image is measured in the updated image frame B t +1 . Brightness at the time of t + 1 is the average of all the pixel brightness of the B t +1, and measure the brightness by using the aforementioned <Equation 6>.

그리고 측정한 밝기값을 비교하여 야간 모드와 주간 모드의 진입 여부를 판단하게 되는 데, 여기서 야간 모드와 주간 모드의 진입 조건은 다음과 같다.The measured brightness values are compared to determine whether the night mode and the day mode are entered. Here, the entry conditions of the night mode and the day mode are as follows.

BrightThday > BrightThnight BrightTh day > BrightTh night

따라서 Brightnesst +1 < BrightThnight일 경우 야간 모드로 진입하며, Brightnesst+1 > BrightThday일 경우 주간 모드로 진입한다.Therefore, if Brightness t +1 <BrightTh night , it enters night mode, and if Brightness t + 1 > BrightTh day Enter the day mode.

영상의 밝기가 어두운 것으로 판단이 되면(야간 모드) 단계 S17로 이동하여 조명 점등을 하고, 이후 단계 S18로 이동하여 이벤트 발생 정보와 영상을 함께 저장하게 된다. 이와는 달리 영상의 밝기가 밝은 것으로 판단이 되면(주간 모드) 조명 점등 없이 바로 단계 S18로 이동하여 이벤트 발생 정보와 영상을 함께 저장하게 되는 것이다.If it is determined that the brightness of the image is dark (night mode), the control unit proceeds to step S17 to illuminate the light, and then, to step S18, the event occurrence information and the image are stored together. On the other hand, if it is determined that the brightness of the image is bright (weekly mode), the control unit immediately moves to step S18 without lighting, and stores the event occurrence information and the image together.

이와 같이 본 발명은 주차 모드인지 주행 모드인지를 판단하여 주차 모드일 경우, 소프트웨어적으로 영상의 동작 감지를 통해 영상 저장 시기를 결정하고, 영상의 밝기 검출을 통해 조명 점등을 자동으로 제어하되, 야간에는 자동으로 조명을 점등하고 영상을 촬영하여 야간에 촬영된 영상도 추후 정확하게 판독할 수 있도록 도모해주는 장점이 있다.As such, the present invention determines whether the parking mode or driving mode, and when the parking mode, by determining the image storage time through the motion detection of the image by software, and automatically controls the lighting lighting by detecting the brightness of the image, at night It has the advantage of automatically lighting the lights and taking images so that the images taken at night can be accurately read later.

본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims and their equivalents. Of course, such modifications are within the scope of the claims.

10… 영상 입력부
20… G센서부
30… 제어부
40… 영상 저장부
50… 영상 처리부
60… 조명부
10... Image input section
20... G sensor unit
30 ... The control unit
40 ... The image storage unit
50 ... The image processor
60 ... Illumination unit

Claims (10)

카메라를 통해 획득한 영상을 입력받는 영상 입력부와;
차량의 충격을 감지하고, 중력을 이용해 물체의 움직임을 감지하고, 움직임 감지신호를 주행신호로 출력하는 G센서부와;
상기 G센서부에서 출력되는 주행신호로 주차 모드인지 주행모드인지를 판단하고, 주차모드일 경우 영상 입력부에서 출력되는 영상의 저장을 제어하며, 영상의 밝기가 어두운 경우 조명 점등을 위한 제어신호를 발생하는 제어부와;
상기 영상 입력부에서 출력되는 영상으로부터 영상의 밝기를 감지하고, 움직이는 물체를 감지하여, 감지결과를 상기 제어부에 전달하는 영상 처리부와;
상기 제어부에서 발생하는 조명 점등을 위한 제어신호에 따라 조명을 점등하는 조명부를 포함하며,
상기 조명부는 피사체를 입력받는 렌즈와 각도를 다르게 하기 위해 조명 각도를 조절하기 위한 회전 부재를 포함하는 것을 특징으로 하는 차량용 블랙박스의 조명 제어장치.
An image input unit receiving an image acquired through a camera;
A G-sensor for detecting a shock of the vehicle, detecting a movement of an object by using gravity, and outputting a motion detection signal as a driving signal;
The driving signal output from the G sensor unit determines whether the parking mode or the driving mode, and in the parking mode, controls the storage of the image output from the image input unit, and generates a control signal for lighting lighting when the brightness of the image is dark. A control unit;
An image processor which senses brightness of an image from an image output from the image input unit, detects a moving object, and transmits a detection result to the controller;
Including a lighting unit for lighting the light according to the control signal for lighting the light generated by the control unit,
The lighting unit lighting control device of a vehicle black box, characterized in that it comprises a rotating member for adjusting the angle of illumination in order to change the angle with the lens receiving the subject.
청구항 1에 있어서, 상기 제어부는
상기 영상 처리부에서 전달되는 감지결과를 기초로 조명의 점등 시기와 영상 입력부에서 출력되는 영상의 저장 시기를 결정하는 것을 특징으로 하는 차량용 블랙박스의 조명 제어장치.
The apparatus of claim 1,
The lighting control device of the vehicle black box, characterized in that for determining the lighting time and the storage time of the image output from the image input unit based on the detection result transmitted from the image processing unit.
청구항 1에 있어서, 상기 영상 처리부는
입력 영상의 밝기를 감지하여 조명의 점등 시기를 결정하기 위한 신호와 입력 영상으로부터 움직이는 물체를 감지하여 영상이 저장되어야 할 시기를 결정하기 위한 신호를 감지결과로 생성하여, 상기 제어부에 전달하는 것을 특징으로 하는 차량용 블랙박스의 조명 제어장치.
The method of claim 1, wherein the image processing unit
It detects the brightness of the input image to determine when to turn on the light and detects a moving object from the input image to generate a signal for determining when the image should be stored as a detection result, and transmits it to the control unit Lighting control device of the vehicle black box.
삭제delete (a) G센서로부터 출력되는 주행신호를 기초로 주차 모드를 판별하고, 주차 모드일 경우 차량에 충격이 발생하는가를 검출하는 단계와;
(b) 차량에 충격이 발생하지 않을 경우 촬영된 영상으로부터 움직임을 감지하는 단계와;
(c) 상기 촬영된 영상으로부터 움직임이 감지되거나 상기 차량에 충격이 발생한 경우, 상기 촬영된 영상으로부터 밝기를 감지하는 단계와;
(d) 밝기 감지 결과 영상의 밝기가 어두운 경우 조명을 점등시키는 단계와;
(e) 상기 조명 점등 후 촬영된 영상 또는 조명 점등 이전에 촬영된 영상을 이벤트 정보와 함께 저장하는 단계를 포함하며,
상기 (c) 단계는, (c-1) 전경 영상에 가변 가중지수 이동평균 필터를 이용하여 배경 영상을 갱신하는 단계, (c-2) 갱신한 배경 영상의 밝기를 측정하는 단계를 포함하는 것을 특징으로 하는 차량용 블랙박스의 조명 제어방법.
(a) determining a parking mode based on a driving signal output from the G sensor and detecting whether a shock occurs in the vehicle in the parking mode;
(b) detecting a movement from the captured image when the impact does not occur in the vehicle;
(c) detecting brightness from the captured image when motion is detected from the captured image or an impact occurs in the vehicle;
(d) turning on illumination when the brightness of the image is dark as a result of the brightness detection;
(e) storing the image photographed after the lighting is turned on or the image photographed before the lighting is turned on with event information,
The step (c) includes updating the background image by using the variable weighted index moving average filter on the foreground image, and (c-2) measuring the brightness of the updated background image. Lighting control method of the vehicle black box characterized in that.
청구항 5에 있어서, 상기 (b) 단계는 (b-1) 카메라로부터 입력되는 영상에서 영상 프레임을 생성하는 단계, (b-2) 상기 생성한 영상 프레임에 적응 임계값을 적용하여 전경 영상을 생성하는 단계, (b-3) 생성한 전경 영상을 레이블링(labeling)을 하여 물체를 분류한 후, 분류한 물체의 움직임을 감지하는 단계를 포함하는 것을 특징으로 하는 차량용 블랙박스의 조명 제어방법.
The method of claim 5, wherein the step (b) comprises: (b-1) generating an image frame from an image input from the camera; and (b-2) generating an foreground image by applying an adaptive threshold value to the generated image frame. And (b-3) classifying objects by labeling the generated foreground image, and detecting the movement of the classified objects.
청구항 6에 있어서, 상기 (b-1)단계는 카메라로부터 입력받은 영상에서 Y성분을 추출하여 8비트 그레이 영상을 생성하고, 8비트 그레이 영상을 pyramidic downsampling을 통해 해상도를 줄여 영상 프레임을 생성하는 것을 특징으로 하는 차량용 블랙박스의 조명 제어방법.
The method of claim 6, wherein the step (b-1) extracts the Y component from the image input from the camera to generate an 8-bit gray image, and generates an image frame by reducing the resolution through pyramidic downsampling the 8-bit gray image. Lighting control method of the vehicle black box characterized in that.
청구항 6에 있어서, 상기 (b-3)단계는 분류한 레이블의 최외각 사각형(bounding box)을 관심영역(ROI: Region of interest)으로 정의하고, 관심영역 크기를 움직임 여부를 판단하기 위해 미리 설정된 임계치와 비교하여, 상기 관심영역의 크기가 임계치보다 클 경우 물체가 움직이는 것으로 판단하는 것을 특징으로 하는 차량용 블랙박스의 조명 제어방법.
The method of claim 6, wherein the step (b-3) defines a region of interest (ROI) as the outermost bounding box of the classified label, and is set in advance to determine whether the region of interest moves. Compared with a threshold value, when the size of the region of interest is larger than the threshold value control method of the vehicle black box, characterized in that the moving object.
삭제delete 청구항 5에 있어서, 상기 (c-1) 단계는 이전의 프레임들을 버퍼에 저장하고 각 데이터를 동일한 가중치로 평균하는 이동 평균 필터와 항상 최근의 데이터일수록 더 큰 가중값을 갖고 평균하는 가중 지수 이동평균 필터를 조합하여 배경 영상을 갱신하는 것을 특징으로 하는 차량용 블랙박스의 조명 제어방법.The method of claim 5, wherein the step (c-1) comprises: a moving average filter for storing previous frames in a buffer and averaging each data with the same weight, and a weighted exponential moving average filter for always averaging with a larger weight value for more recent data. Lighting control method of a vehicle black box, characterized in that for updating the background image by combining.
KR1020120023510A 2012-03-07 2012-03-07 Apparatus for illumination controlling of black box using car and method thereof KR101344066B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120023510A KR101344066B1 (en) 2012-03-07 2012-03-07 Apparatus for illumination controlling of black box using car and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120023510A KR101344066B1 (en) 2012-03-07 2012-03-07 Apparatus for illumination controlling of black box using car and method thereof

Publications (2)

Publication Number Publication Date
KR20130102336A KR20130102336A (en) 2013-09-17
KR101344066B1 true KR101344066B1 (en) 2013-12-24

Family

ID=49452126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120023510A KR101344066B1 (en) 2012-03-07 2012-03-07 Apparatus for illumination controlling of black box using car and method thereof

Country Status (1)

Country Link
KR (1) KR101344066B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101617604B1 (en) 2014-08-28 2016-05-03 (주)태일전자 lighting apparatus for car

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101433928B1 (en) * 2013-10-11 2014-08-29 박규진 Security lamp apparatus for vehicle blackbox
CN106910354A (en) * 2016-10-25 2017-06-30 韩明 One kind automation pedestrian crosswalk signal lamp

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004088976A1 (en) * 2003-03-31 2004-10-14 Fujitsu Limited Illumination control device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004088976A1 (en) * 2003-03-31 2004-10-14 Fujitsu Limited Illumination control device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101617604B1 (en) 2014-08-28 2016-05-03 (주)태일전자 lighting apparatus for car

Also Published As

Publication number Publication date
KR20130102336A (en) 2013-09-17

Similar Documents

Publication Publication Date Title
JP5228439B2 (en) Operation input device
US10791252B2 (en) Image monitoring device, image monitoring method, and recording medium
JP5421999B2 (en) Ambient monitoring device for vehicles
KR20200041991A (en) Generation of static images using event cameras
CN106611510A (en) Parking stall detecting device and method and electronic equipment
KR101344066B1 (en) Apparatus for illumination controlling of black box using car and method thereof
CN105530404A (en) Image recognizing apparatus and image recognizing method
US20150254517A1 (en) Vehicular image processing apparatus
US8818093B2 (en) Method and device for analyzing an image of an image recording device for a vehicle
KR101969856B1 (en) Method and system for detecting ambient light
CN112888603B (en) System for a variable transmittance mirror
KR101696647B1 (en) Data processing method of vehicle image recording apparatus having a motion detection.
KR101686244B1 (en) Accident record apparatus for the use of a vehicle to recognize day and night and accident record method of the same
JP7262043B2 (en) Anomaly detection system, moving body, anomaly detection method, and program
KR20160040335A (en) Low Power Vehicle Video Recorder with Infrared Lighting Functions for Vision Recognition Enhancement in Low Level Light Environment and Vehicle Video Recording Method thereof
JPH11219493A (en) Method for processing traffic information
JP2008164537A (en) Adhesive detection device and method
EP4191998A1 (en) Infrared image capturing device, and infrared image capturing system
CN112351211B (en) Method, apparatus, system, medium, and apparatus for adjusting incident light of image pickup device
CN113657427B (en) In-vehicle multi-source image fusion recognition method and device
JP2010252212A (en) In-vehicle image capturing apparatus
KR102668130B1 (en) Generating static images with an event camera
JP2010147876A (en) Imaging apparatus and imaging system
JP2010264856A (en) Image processing device
KR100405039B1 (en) Frame grabber with iris control facility

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee