KR101826715B1 - System and method for detecting vehicle invasion using room camera - Google Patents

System and method for detecting vehicle invasion using room camera Download PDF

Info

Publication number
KR101826715B1
KR101826715B1 KR1020160137912A KR20160137912A KR101826715B1 KR 101826715 B1 KR101826715 B1 KR 101826715B1 KR 1020160137912 A KR1020160137912 A KR 1020160137912A KR 20160137912 A KR20160137912 A KR 20160137912A KR 101826715 B1 KR101826715 B1 KR 101826715B1
Authority
KR
South Korea
Prior art keywords
intrusion
image
still image
unit
mask
Prior art date
Application number
KR1020160137912A
Other languages
Korean (ko)
Inventor
이동희
김성훈
Original Assignee
한국오므론전장 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국오므론전장 주식회사 filed Critical 한국오므론전장 주식회사
Priority to KR1020160137912A priority Critical patent/KR101826715B1/en
Application granted granted Critical
Publication of KR101826715B1 publication Critical patent/KR101826715B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The present invention relates to a system and a method for detecting vehicle invasion. More particularly, the present invention relates to a system and a method for detecting vehicle invasion using a room camera. Images of the entire interior of a vehicle are analyzed to generate a mask including a minimum region that necessarily passes at the time of penetration through a vehicle window in a non-vehicle window region, which is a region excluding a vehicle window region. After that, the generated mask is compared with an image including the monitored vehicle window region and a motion object in an invasion determined region by the mask is detected to determine invasion.

Description

실내 카메라를 이용한 차량 침입 검출 시스템 및 방법{System and method for detecting vehicle invasion using room camera}TECHNICAL FIELD [0001] The present invention relates to a system and method for detecting a vehicle intrusion using an indoor camera,

본 발명은 차량 침입 검출 시스템 및 방법에 관한 것으로, 보다 상세하게는 차량 내부 전체를 촬영한 영상을 분석하여 차량 창문(이하 "차창"이라 함)영역을 제외한 영역인 비차창영역 중 차창을 통해 침입 시 반드시 통과하는 최소한의 영역을 포함하는 마스크를 생성한 후, 생성된 마스크와 모니터링되는 차창영역을 포함하는 영상을 비교하여 마스크에 의한 침입 판단영역에서의 움직임 물체를 검출하여 침입을 판단하는 실내 카메라를 이용한 차량 침입 검출 시스템 및 방법에 관한 것이다.The present invention relates to a vehicle intrusion detection system and method. More particularly, the present invention relates to a vehicle intrusion detection system and method, and more particularly to a vehicle intrusion detection system and method, An indoor camera for detecting a motion object in the intrusion determination area by a mask and comparing the generated mask with an image including the monitored window area to generate an image of an indoor camera And more particularly, to a system and method for detecting intruders using a vehicle.

일반적으로, 차량 및 차량 내의 물품의 도난을 방지하기 위해 차량에는 침입 검출 장치가 설치되고 있다. 통상적으로 침입 검출 장치는 초음파 센서, 적외선 센서 등을 이용한다. 그러나 최근에는 이미지 처리 기술이 발전함에 따라 비전 기반의 차량 침입 검출 장치가 많은 주목을 끌고 있다. 2. Description of the Related Art In general, an intrusion detection device is installed in a vehicle in order to prevent theft of articles in a vehicle and a vehicle. Generally, an intrusion detection device uses an ultrasonic sensor, an infrared sensor, or the like. In recent years, however, vision-based vehicle intrusion detection devices have attracted much attention as image processing technology develops.

이러한 영상을 이용한 침입 검출 장치는 영상(비디오) 감시 기술이 중요하다. 영상 감시 기술은 컴퓨터 기술, 특히 이미지 분할 방법과, 배경 및 전경 검출 방법의 빠른 발전에 따라 뜨거운 연구 주제가 되어 왔다. 차량 침입 검출 시스템은 주로, 지하 주차 영역, 개방된 차량 주차, 도로 양측 등과 같은 정상적 상황 하에서의 침입을 검출하는데 초점을 맞추고 있다.The video (video) surveillance technology is important for intrusion detection devices using such images. Video surveillance technology has become a hot topic of study due to the rapid advancement of computer technology, especially image segmentation methods and background and foreground detection methods. Vehicle intrusion detection systems are primarily focused on detecting intrusions under normal conditions such as underground parking areas, open vehicle parking, and both sides of the road.

비디오 감시는 모션(Motion: 움직임) 검출, 모션 추적 및 모션 인식을 포함하는 세 가지 부분으로 더 분할될 수 있다. 비디오 감시의 기본 부분인 모션 검출은 비디오 내 움직이는 물체의 추출을 의미한다. 일반적인 모션 검출 알고리즘들은 배경 종속 알고리즘, 프레임 차분 알고리즘 및 광학적 플로우 알고리즘의 세 가지 카테고리들로 분할될 수 있다.Video surveillance can be further divided into three parts, including motion detection, motion tracking and motion recognition. Motion detection, which is the basic part of video surveillance, refers to the extraction of moving objects in video. Common motion detection algorithms can be divided into three categories: background dependent algorithms, frame differential algorithms, and optical flow algorithms.

대부분의 일반적인 모션 검출 알고리즘으로서, 배경 종속 알고리즘은 모션 영역을 검출하기 위해 구성된 배경 프레임과 현재의 프레임의 감산을 이용한다.As most common motion detection algorithms, the background dependent algorithm uses the subtraction of the current frame and the background frame configured to detect the motion region.

프레임 차분 알고리즘은 모션 영역을 검출하기 위해 현재의 프레임을 이전 프레임과 비교하므로, 동적 상황에 강력하다.The frame difference algorithm compares the current frame with the previous frame in order to detect the motion area, so it is robust to dynamic situations.

광학적 플로우 방식은 주로, 이동하는 물체들의 광학적 플로우 특성을 이용하며, 다른 시간대에서의 픽셀들의 세기 값을 산출하여 객체들의 이동 속도 및 방향을 검출한다.The optical flow method mainly uses the optical flow characteristics of moving objects and calculates the intensity values of pixels at different time zones to detect the moving speed and direction of the objects.

차량 운영 시스템에 병합되기 위해, 영상 기반 차량 침입 검출 알고리즘은 낮은 메모리 공간 비용 및 낮은 계산 비용이라는 이점을 가져야 한다. 또한, 그 알고리즘은 조도 변화 및 복잡한 배경에 대해 강해야 한다.To be incorporated into a vehicle operating system, an image-based vehicle intrusion detection algorithm must have the advantages of low memory space cost and low computational cost. In addition, the algorithm must be robust against background variations and complex backgrounds.

상술한 방법들은 어느 정도까지는 차량 침입 검출을 수행할 수 있다. 그러나 예컨대 다음과 같은 몇 가지 한계와 결함을 가진다.The methods described above can perform vehicle intrusion detection to some extent. However, for example, it has some limitations and deficiencies as follows.

먼저, 주요 간섭이 상이한 조도의 영향이다. 예컨대, 낮밤의 조도는 완전히 상이하다. 또한, 차량 침입 검출 알고리즘은 동적인 미약한 조도를 극복할 수 있어야 한다. 배경 종속 알고리즘과 같은 어떤 알고리즘들은 그것의 배경 모델에 민감하다. 앞서 구축된 배경이 현재의 배경과 상이하면, 침입 검출 시 더 많은 오류들이 발생할 것이다. First, the main interference is the effect of different illuminance. For example, nighttime illumination is completely different. In addition, vehicle intrusion detection algorithms should be able to overcome dynamic, low illumination. Some algorithms, such as background dependency algorithms, are sensitive to its background model. If the established background differs from the current background, more errors will be detected in the intrusion detection.

둘째, 차창 밖의 상황이 자주 변한다. 예를 들어, 움직이는 보행자, 움직이는 차량 및 움직이는 나뭇잎들이 있을 것이다. 단순히 프레임 차분 알고리즘을 이용하면 변화하는 상황으로 인해 많은 경보 오작동이 있을 것이다. 그리고 광학적 플로우 방식들의 계산 비용은 프레임 차분 알고리즘 보다 훨씬 더 높다. Second, the situation outside the car changes frequently. For example, there will be moving pedestrians, moving vehicles, and moving leaves. If you simply use a frame difference algorithm, there will be many alarm malfunctions due to changing circumstances. And the computational cost of optical flow schemes is much higher than the frame differential algorithm.

따라서 조도의 변화에 영향이 적고, 차창 밖의 상황의 변화에 적응적이며, 계산이 빠른 실시간 및 고효율 차량 침입 검출 시스템의 개발이 요구되어지고 있다.Therefore, it is required to develop a real - time and high - efficiency vehicle intrusion detection system that is less influenced by the change of illumination, adaptable to changes in the situation outside the windshield, and fast in calculation.

또한, 차량의 배터리는 제한적인데 반하여, 침입검출시스템은 차량 배터리의 전원을 사용하여야 하는 차량주차 상태에서 지속적으로 동작하여 실시간 감시를 수행하고 차량 내부의 전체 영상에 대해 침입 여부를 판단하므로, 차량 배터리의 전력 많이 사용한다. 이에 따라 차량 배터리가 빈번하게 방전될 수 있는 문제점이 있었다.In addition, while the vehicle battery is limited, the intrusion detection system continuously operates in the vehicle parking state in which the power of the vehicle battery is to be used, performs real-time monitoring, Of power. Accordingly, there has been a problem that the vehicle battery may be frequently discharged.

따라서 차량 배터리에만 의존하는 차량의 시동 오프 상태에서 실시간 모니터링을 수행하면서도 전력 소모를 최소화할 수 있는 차량 침입 검출 시스템의 개발이 요구되어지고 있다.Therefore, development of a vehicle intrusion detection system capable of minimizing power consumption while real-time monitoring is performed in a start-off state of a vehicle that depends only on a vehicle battery is required.

등록특허 제1510948호Patent No. 1510948

따라서 본 발명의 목적은 차량 내부 전체를 촬영한 영상을 분석하여 차량 차창영역을 제외한 영역인 비차창영역 중 차창을 통해 침입 시 반드시 통과하는 최소한의 영역을 포함하는 마스크를 생성한 후, 생성된 마스크와 모니터링되는 차창영역을 포함하는 영상을 비교하여 마스크에 의한 침입 판단영역에서의 움직임 물체를 검출하여 침입을 판단하는 실내 카메라를 이용한 차량 침입 검출 시스템 및 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide an image processing apparatus, an image processing method, an image processing method, an image processing method, an image processing method, The present invention also provides a system and method for detecting a vehicle intrusion using an indoor camera for detecting an intruder by detecting a moving object in an intrusion determination area by a mask by comparing images including a monitored window region.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 실내 카메라를 이용한 차량 침입 검출 시스템은: 영상을 촬영하여 출력하는 카메라를 포함하는 영상 획득부; 침입 검출을 경보하는 경보부; 및 차량 내부의 차창영역 및 비차창영역을 분리 추출하고, 상기 차창영역의 경계에 형성되고 분리 추출된 비차창영역 중 상기 차창영역을 통해 차량 실내로 침입 시 침입물체가 통과하는 영역에 형성되는 침입 판단영역인 마스킹 영역을 포함하는 마스크를 구비하고 있으며, 상기 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하고, 상기 정지 이미지에 상기 마스크를 적용하여 침입 판단영역을 검출하고, 검출된 침입 판단영역에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 생성하며, 상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하고 침입 검출 시 상기 경보부를 통해 경보를 발생시키는 제어부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a vehicle intrusion detection system using an indoor camera, comprising: an image acquisition unit including a camera for capturing and outputting an image; An alarm unit for alarming intrusion detection; And a control unit for controlling the operation of the control unit so as to control the operation of the control unit so that the control unit controls the operation of the control unit, And a mask including a masking region as a determination region. The image processing apparatus includes a mask generating unit that generates a still image by capturing an image input from the camera, detects the intrusion determination region by applying the mask to the still image, A control unit for generating an intrusion item still image including information on a moving object in the intruding still image, determining an intrusion by information on a moving object of the intrusion item still image, and generating an alarm through the alarm unit upon intrusion detection .

상기 제어부는, 상기 마스크를 구비하고 있으며, 상기 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하는 이미지 생성부; 상기 정지 이미지에 상기 마스크를 적용하여 침입 판단영역을 검출하여 침입 판단영역 정지 이미지를 출력하는 침입 판단영역 검출부; 검출된 침입 판단영역 정지 이미지에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력하는 침입 항목 검출부; 및 상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하고 침입 검출 시 상기 경보부를 통해 경보를 발생시키는 침입 판단부를 포함하는 것을 특징으로 한다.Wherein the control unit comprises: an image generating unit having the mask and capturing an image input from the camera to generate a still image; An intrusion determination area detector for detecting an intrusion determination area by applying the mask to the still image and outputting an intrusion determination area still image; An intrusion item detector for outputting an intrusion item still image including information on a moving object in the detected intrusion determination area still image; And an intrusion judging unit for judging an intrusion by information on a moving object of the intrusion item still image and generating an alarm through the alarm unit when intrusion is detected.

상기 시스템은: 밝기를 측정하는 밝기 검출부를 더 포함하고, 상기 영상 획득부는 적외선 광의 세기를 조절할 수 있는 적외선 라이트를 더 포함하되, 상기 제어부는, 상기 밝기 검출부에 의해 측정되는 밝기에 의해 낮인지 밤인지를 판단하고, 낮이면 상기 적외선 라이트를 오프하고, 밤이면 상기 적외선 라이트를 온하는 주야 판단부를 더 포함하는 것을 특징으로 한다.The system may further include: a brightness detector for measuring brightness; and the image acquiring unit may further include an infrared light capable of adjusting an intensity of infrared light, wherein the control unit controls the brightness of the night And a day / night determiner for determining whether the infrared light is on when the infrared light is on, turning off the infrared light when the day is off, and turning on the infrared light when the night is off.

상기 이미지 생성부는, 생성된 정지 이미지의 그레이 값을 검출하고 미리 가지고 있는 상기 그레이 값에 대응하는 적외선 광세기 값에 따라 상기 적외선 라이트의 적외선 광세기를 조절하는 적외선 세기 조절부를 더 포함하는 것을 특징으로 한다.The image generating unit may further include an infrared intensity adjusting unit for detecting a gray value of the generated still image and adjusting an infrared light intensity of the infrared light according to an infrared light intensity value corresponding to the gray value previously stored do.

상기 제어부는, 정지 이미지를 입력받고 상기 정지 이미지로부터 차창영역을 0으로, 침입 판단영역인 마스킹 영역을 1로 변환하여 바이너리 이미지인 마스크를 생성하여 저장하고, 상기 침입 판단영역 검출부로 정지 이미지의 출력 시마다 상기 마스크를 상기 침입 판단영역 검출부로 출력하는 이미지 마스크 획득부; 및 상기 이미지 생성부로부터 생성된 정지 이미지를 입력받고, 미리 정의된 마스크 설정 플래그의 셋 여부를 판단하여 초기 구동인지 아닌지를 판단하고, 초기 구동이 아니면 상기 정지 이미지를 상기 침입 판단영역 검출부로 출력하고, 초기 구동이면 상기 이미지 마스크 획득부로 출력하는 초기 구동 판단부를 더 포함하는 것을 특징으로 한다.The control unit receives a still image and generates and stores a mask that is a binary image by converting a window region to 0 from the still image and a masking region that is an intrusion determination region to 1 and outputs the still image to the intrusion determination region detection unit An image mask acquisition unit for outputting the mask to the intrusion determination region detection unit every time; And a still image generated from the image generating unit, determines whether or not it is an initial drive by determining whether a predetermined mask setting flag is set, and outputs the still image to the intrusion determination area detecting unit And an initial drive determination unit for outputting the image data to the image mask acquisition unit if the initial drive is performed.

상기 시스템은: 차문의 닫힘 및 잠금 중 적어도 하나를 검출하는 도어 닫힘 검출부를 더 포함하되, 상기 제어부는, 상기 도어 닫힘 검출부를 통해 도어 닫힘 여부를 판단하는 도어 닫힘 판단부를 더 포함하고, 상기 이미지 마스크 획득부는 상기 도어 닫힘 검출부에 의해 도어의 닫힘 및 잠금 중 하나의 상태일 때 상기 마스크를 생성하는 것을 특징으로 한다.The system may further include: a door closing detector for detecting at least one of closing and locking of the car door, wherein the controller further comprises a door closing determiner for determining whether the door is closed through the door closing detector, And the acquiring unit generates the mask when the door is closed and locked by the door closing detecting unit.

상기 침입 항목 검출부는, 상기 침입 판단영역 검출부에서 출력되는 침입 판단영역 정지 이미지에 다음 수학식 3을 적용하여 상기 침입 판단영역 정지 이미지에서 움직이는 물체를 검출하되, 문턱값 T가 20인 것을 특징으로 한다.The intrusion item detection unit detects an object moving in the intrusion determination area still image by applying the following Equation 3 to the intrusion determination area still image output from the intrusion determination area detection unit, and has a threshold value T of 20 .

[수학식 3]&Quot; (3) "

Figure 112016102715287-pat00001
Figure 112016102715287-pat00001

I(t)는 시간 t에 캡처된 이미지의 비차창영역이다. T는 문턱치이다.I (t) is the non-binning area of the image captured at time t. T is the threshold.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 실내 카메라를 이용한 차량 침입 검출 방법은: 제어부가 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하는 이미지 생성 과정; 상기 제어부가 차량 내부의 차창영역 및 비차창영역을 분리 추출하고, 상기 차창영역의 경계에 형성되고 분리 추출된 비차창영역 중 상기 차창영역을 통해 차량 실내로 침입 시 침입물체가 통과하는 영역에 형성되는 침입 판단영역인 마스킹 영역을 포함하는 마스크를 적용하여 침입 판단영역을 검출하여 침입 판단영역 정지 이미지를 생성하는 침입 판단영역 검출 과정; 검출된 상기 침입 판단영역 정지 이미지에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력하는 침입 항목 검출 과정; 상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하는 침입 판단 과정; 및 침입 검출 시 경보부를 통해 경보를 발생시키는 경보 과정을 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for detecting a vehicle intrusion using an indoor camera, comprising: generating an image by capturing an image input from a camera and generating a still image; The control unit separates and extracts a window region and a non-window region inside the vehicle. The control unit forms the window region through which the intruding object passes when the vehicle enters the vehicle room through the window region of the non- An intrusion judgment area detecting step of detecting an intrusion judgment area by applying a mask including a masking area as an intrusion judgment area to generate an intrusion judgment area still image; An intrusion item detection step of outputting an intrusion item still image including information on a moving object in the detected intrusion determination area still image; An intrusion judging step of judging an intrusion by information on a moving object of the intrusion item still image; And an alarm process for generating an alarm through the alarm unit upon detection of an intrusion.

상기 방법은: 상기 제어부가 카메라 구동 시 낮이면 적외선 라이트를 오프시키고 밤이면 적외선 라이트를 온시켜 구동하는 적외선 라이트 구동 과정을 더 포함하는 것을 특징으로 한다.The method further comprises: an infrared light driving step of driving the infrared light by turning on the infrared light when the control unit is low when the camera is low and turning on the infrared light when the camera is low during the camera driving.

상기 이미지 생성 과정은, 상기 정지 이미지 생성 시 생성된 정지 이미지의 그레이 값을 검출하고, 검출된 그레이 값에 따라 적외선 라이트의 적외선 광세기를 조절하는 적외선 광세기 조절 단계; 및 상기 적외선 라이트의 적외선 광 세기가 조절된 후 상기 적외선 광 세기가 적용된 영상으로부터 정지 이미지를 생성하여 출력하는 정지 이미지 출력 단계를 포함하는 것을 특징으로 한다.The image generating step may include: an infrared light intensity adjusting step of detecting a gray value of a still image generated at the time of generating the still image and adjusting an infrared light intensity of the infrared light according to the detected gray value; And a still image output step of generating and outputting a still image from the image to which the infrared light intensity is applied after the infrared light intensity of the infrared light is adjusted.

상기 방법은: 상기 제어부가 영상획득부의 구동 시 미리 정의된 마스크 설정 플래그의 셋 여부를 판단하여 초기 구동인지 아닌지를 판단하는 초기 구동 판단 과정; 및 상기 초기 구동 여부 판단 결과 초기 구동이면 상기 정지 이미지로부터 차창영역 및 침입 판단영역을 검출하고, 검출된 차창영역을 0으로, 침입 판단영역을 1로 변환하여 바이너리 이미지인 마스크를 생성하여 저장하고, 침입 판단영역 검출부로 정지 이미지의 출력 시마다 상기 마스크를 출력하는 이미지 마스크 획득 과정을 더 포함하되, 상기 침입 판단영역 검출 과정은, 상기 초기 구동 여부 판단 결과 초기 구동이 아닌 경우 수행되는 것을 특징으로 한다.The method may further include: an initial drive determining step of determining whether an initial drive is performed by determining whether a predetermined mask setting flag is set upon driving the image acquiring unit; And if it is determined in the initial driving state that the initial driving is performed, a window region and an intrusion determination region are detected from the still image, a detected window region is changed to 0, an intrusion determination region is changed to 1 to generate and store a mask, And an image mask acquiring step of outputting the mask every time the still image is output to the intrusion determining region detecting unit. The intrusion determining region detecting process is performed when the initial driving is not the result of the initial driving determination.

상기 방법은: 상기 제어부가 도어 닫힘 검출부를 통해 도어의 닫힘 및 잠금 중 적어도 하나의 검출에 의한 도어 닫힘 여부를 판단하는 도어 닫힘 판단 과정을 더 포함하되, 상기 이미지 생성 과정은 상기 도어 닫힘 판단 과정에서 도어 닫힘으로 판단될 때 수행되는 것을 특징으로 한다.The method may further include: a door closing determination process for determining whether the door is closed by detecting at least one of closing and locking of the door through the door closing detection unit, And when it is determined that the door is closed.

본 발명은 조도, 즉 밝기에 따라 적외선 라이트를 온 또는 오프함으로써 급격한 조도의 변화에 따른 영향을 최소화할 수 있는 효과를 갖는다.The present invention has the effect of minimizing the influence of a sudden change in illuminance by turning the infrared light on or off according to illuminance, that is, brightness.

또한, 본 발명은 획득된 이미지의 그레이 값에 따라 적외선의 광세기를 조정하므로 조도 변화의 영향을 적게 받는 효과를 갖는다.Further, the present invention adjusts the light intensity of the infrared ray according to the gray value of the obtained image, so that it has the effect of receiving less influence of the illumination change.

또한, 본 발명은 비차창영역에 대한 마스크를 적용함으로 차창영역, 즉 차창 밖의 상황의 변화에 영향을 받지 않는 효과를 갖는다.Further, the present invention has the effect of being unaffected by the change of the situation in the window region, that is, outside the window by applying the mask to the non-window region.

또한, 본 발명은 조도 변화에 영향을 적게 받고 차창 밖의 상황 변화에 영향을 받지 않으므로 실시간으로 고효율의 침입 검출을 수행할 수 있는 효과를 갖는다.In addition, the present invention has an effect of being able to perform intrusion detection with high efficiency in real time because it is less influenced by a change in illuminance and is not affected by a change in a situation outside the windshield.

또한, 본 발명은 마스크의 영역을 최소화함으로써 마스크에 의해 모니터링되는 영역을 최소화하여 전력소모를 최소화할 수 있는 효과를 가지며, 이에 따라 차량 배터리의 방전을 최소화할 수 있는 효과를 갖는다.In addition, the present invention minimizes the area of the mask by minimizing the area of the mask, thereby minimizing the power consumption, thereby minimizing the discharge of the vehicle battery.

도 1은 본 발명에 따른 실내 카메라를 이용한 침입 검출 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 카메라의 차량 내 설치 위치를 나타낸 도면이다.
도 3은 본 발명에 따른 실내 카메라를 이용한 침입 검출 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일실시예에 따른 적외선 라이트가 오프된 낮의 소프트웨어 인터페이스 수단을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따라 낮에 차창을 통한 침입 시의 침입 검출 결과를 일반 영상 및 흑백(그레이스케일)으로 나타낸 도면이다.
도 6은 본 발명에 따른 실내 카메라를 이용한 침입 검출 방법의 마스크 생성 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일실시예에 따른 그랩컷 알고리즘의 차창영역 및 비차창영역의 설정에 따른 마스크 생성 예를 나타낸 도면이다.
1 is a block diagram of an intrusion detection system using an indoor camera according to the present invention.
2 is a view showing an installation position of a camera in a vehicle according to an embodiment of the present invention.
3 is a flowchart illustrating an intrusion detection method using an indoor camera according to the present invention.
4 is a diagram illustrating a daytime software interface unit in which an infrared light is turned off according to an embodiment of the present invention.
FIG. 5 is a diagram showing an intrusion detection result during intrusion through a windshield in a daytime according to an embodiment of the present invention, in a general image and black and white (gray scale).
6 is a flowchart illustrating a mask generation method of an intrusion detection method using an indoor camera according to the present invention.
FIG. 7 is a view showing an example of generating a mask according to the setting of the in-vehicle region and the non-in-vehicle region of the grab-cut algorithm according to an embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 실내 카메라를 이용한 차량 침입 검출 시스템의 구성 및 동작을 설명하고, 상기 시스템에서의 차량 침입 검출 방법을 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a vehicle intrusion detection system using an indoor camera according to the present invention will be described with reference to the accompanying drawings, and a vehicle intrusion detection method in the system will be described.

도 1은 본 발명에 따른 실내 카메라를 이용한 침입 검출 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 일실시예에 따른 카메라의 차량 내 설치 위치를 나타낸 도면이다. 이하 도 1 및 도 2를 참조하여 설명한다.FIG. 1 is a view illustrating a configuration of an intrusion detection system using an indoor camera according to the present invention, and FIG. 2 is a view illustrating an installation position of a camera in a vehicle according to an embodiment of the present invention. Hereinafter, description will be made with reference to Figs. 1 and 2. Fig.

본 발명에 따른 실내 카메라를 이용한 침입 검출 시스템은 제어부(10), 카메라(21) 및 적외선 라이트(22)를 포함하는 영상획득부(20), 밝기 검출부(30), 도어 닫힘 검출부(40) 및 경보부(50)를 포함하고, 표시부(60) 및 입력부(70)를 선택적으로 포함할 수 있을 것이다.An intrusion detection system using an indoor camera according to the present invention includes an image acquisition unit 20 including a control unit 10, a camera 21 and an infrared light 22, a brightness detection unit 30, a door close detection unit 40, And may include an alarm unit 50, and may optionally include a display unit 60 and an input unit 70.

제어부(10)는 본 발명에 따른 침입 검출 시스템의 전반적인 동작을 제어한다. 제어부(10)의 상세 구성 및 동작은 후술한다.The control unit 10 controls the overall operation of the intrusion detection system according to the present invention. The detailed configuration and operation of the control unit 10 will be described later.

영상획득부(20)는 카메라(21), 적외선 라이트(22) 및 영상 처리부(23)를 포함한다.The image acquisition unit 20 includes a camera 21, an infrared light 22, and an image processing unit 23.

카메라(21)는 렌즈에 들어오는 장면을 촬영한 영상신호를 출력한다. 카메라(21)는 차량 내부에 설치되어 차량 내부의 모든 차창영역(Window Area)이 촬영되도록 설치되는 것이 바람직하다. 그리고 상기 카메라(21)에 의해 촬영되는 영상의 해상도는 640*480인 것이 바람직하고 프레임 레이트는 30fps인 것이 바람직할 것이다.The camera 21 outputs a video signal of a scene captured on the lens. The camera 21 is preferably installed inside the vehicle so that all window areas within the vehicle are photographed. The resolution of the image captured by the camera 21 is preferably 640 * 480 and the frame rate is preferably 30 fps.

적외선 라이트(22)는 상기 카메라(21) 렌즈의 주변에 일체로 구성되고, 제어부(10)의 제어를 받아 온(On)/오프(Off)되며, 태양광이 있는 오전/오후(설명의 편의상 "낮", "주" 또는 "주간"이라 함)에는 오프(Off)되고, 태양광이 없는 밤(또는 "야", "야간"이라 함)에는 온(On)되도록 구성된다. 또한 적외선 라이트(22)는 제어부(10)의 제어를 받아 적외선 광세기를 조절한다. 통상 적외선 라이트(22)가 구성되는 렌즈를 적외선 렌즈라 한다.The infrared light 22 is integrally formed around the lens of the camera 21 and is turned on / off under the control of the control unit 10 and is illuminated in the morning / afternoon with sunlight (I.e., "day", "week", or "week"), and is turned on when there is no sunlight (or "night" or "night"). The infrared light 22 is controlled by the controller 10 to adjust the intensity of the infrared light. The lens in which the infrared light 22 is normally constituted is called an infrared lens.

상기 적외선 렌즈를 구비하는 카메라(21)는 일예로, 도 2에서와 같이 차량 내측 천정 중앙에 설치될 수 있으며, 렌즈의 화각은 차량 내부 차창영역을 모두 촬영할 수 있도록 180도인 것이 바람직하다.For example, the camera 21 having the infrared lens may be installed at the center of the in-vehicle ceiling as shown in FIG. 2, and the angle of view of the lens is preferably 180 degrees so as to photograph all the in-vehicle window region.

영상 처리부(23)는 촬영되는 영상신호를 미리 설정된 영상 포맷으로 변환하여 제어부(10)로 출력한다.The image processor 23 converts a video signal to be captured into a predetermined video format and outputs the video signal to the controller 10.

밝기 검출부(30)는 조도계 등이 사용될 수 있으며, 빛의 세기를 검출하여 제어부(10)로 출력한다.The brightness detector 30 may be an illuminometer or the like and detects the intensity of the light and outputs the detected intensity to the controller 10.

도어 닫힘 검출부(40)는 도어의 닫힘 및 잠김 중 적어도 하나 이상을 검출하고, 도어 닫힘 및 잠김 중 하나일 경우 도어 닫힘 신호를 제어부(10)로 출력한다.The door closing detection unit 40 detects at least one of closing and locking of the door, and outputs a door closing signal to the control unit 10 when the door is closed or locked.

경보부(50)는 제어부(10)의 제어를 받아 경보를 발생한다. 상기 경보는 알람음이 될 수도 있고, 차량 전조등 등의 라이트의 점멸이 될 수도 있으며, 통신수단을 통해 차량 관리자의 휴대폰, 스마트폰 등의 이동통신단말기로 전송되는 메시지 송신 등이 될 수도 있을 것이다.The alarm unit 50 generates an alarm under the control of the control unit 10. The alarm may be an alarm sound, blinking of a light of a vehicle headlight or the like, transmission of a message to a mobile terminal of a vehicle manager, a smart phone, or the like through communication means.

표시부(60)는 액정표시장치(Liquid Crystal Display: LCD) 및 LCD와 터치패드가 일체로 구성된 터치스크린 등이 될 수 있으며, 차량 침입 검출 시스템과 일체로 구성될 수도 있고, 착탈 방식으로 구성될 수 있으며, 케이블 연결 방식으로 구성될 수도 있을 것이다. 표시부(60)는 제어부(10)의 제어를 받아 차량 침입 검출 시스템의 다양한 동작 상태 정보, 동영상 및 정지 영상 등을 표시한다.The display unit 60 may be a liquid crystal display (LCD), a touch screen including an LCD and a touch pad, or may be integrally formed with a vehicle intrusion detection system, And may be configured as a cable connection. Under the control of the control unit 10, the display unit 60 displays various operation state information, moving images, still images, and the like of the vehicle intrusion detection system.

입력부(70)는 상기 표시부(60)의 화면에 일체로 구성되어 터치스크린을 구성하는 터치패드, 다수의 기능선택 및 정보 입력 수단을 가지는 키패드, 키보드 등이 될 수 있을 것이다.The input unit 70 may be a touch pad constituting a touch screen, a keypad having a plurality of function selection and information input means, and a keyboard, which are integrally formed on the screen of the display unit 60.

제어부(10)의 구성 및 동작을 상세히 설명하면, 제어부(10)는 주야 판단부(11), 도어 닫힘 판단부(12), 이미지 생성부(13), 초기 구동 판단부(14), 이미지 마스크 획득부(15), 침입 판단영역 검출부(16), 침입 항목 검출부(17) 및 침입 판단부(19)를 포함하며, 실시예에 따라 잡음 제거부(18)를 더 포함할 수 있을 것이다.The control unit 10 includes a day / night determining unit 11, a door closing determining unit 12, an image generating unit 13, an initial driving determining unit 14, An acquisition unit 15, an intrusion determination region detection unit 16, an intrusion item detection unit 17 and an intrusion determination unit 19, and may further include a noise removing unit 18 according to an embodiment.

주야 판단부(11)는 밝기 검출부(30)로부터 입력되는 빛의 세기에 의해 낮(주간)인지 밤(야간)인지를 판단하고, 낮인 경우 적외선 라이트(22)를 오프(Off)하고, 밤인 경우 적외선 라이트(22)를 온(On)한다. 여기서 주간이란 빛의 세기가 일정 세기 이상인 경우를 나타내는 것으로 밤이라도 밝은 곳에 있다면 주간으로 판단될 수도 있고, 낮이라도 어두운 건물 내에 있다면 밤으로 판단될 것이다.The day / night determining unit 11 determines whether the daylight is night (nighttime) or not (nighttime) based on the intensity of light input from the brightness detector 30, turns off the infrared light 22 when the daylight is low, The infrared light 22 is turned on. Here, daytime means the case where the intensity of light is more than a certain century, and it may be judged as a day if it is in a bright place at night or night if it is in a dark building at daytime.

도어 닫힘 판단부(12)는 도어 닫힘 검출부(40)로부터 도어 닫힘 신호의 입력여부를 판단하여 도어가 닫혔는지 열려 있는지를 판단한다. 여기서 닫힘이란 말 그대로 도어의 닫힘 상태일 수도 있고, 도어의 잠김 상태가 될 수도 있을 것이다. 도어 닫힘 판단부(12)는 도어가 닫혀있는 경우 이미지 생성부(13)를 구동한다.The door close determination unit 12 determines whether a door close signal is input from the door close detection unit 40 and determines whether the door is closed or open. Closing may be a closed state of the door or a locked state of the door. The door closing determination unit 12 drives the image generation unit 13 when the door is closed.

또한, 도면에 포함되지는 않았으나 제어부(10)는 차량의 키박스(Key Box), 차체제어모듈(Body Control Module: BCM) 등과 연결되어 시동 온(On)/오프(Off)를 검출하는 시동 온/오프 판단부(미도시)를 더 포함하여 시동이 오프(Off)되고 차량 도어가 닫히는 경우에 이미지 생성부(13)를 구동하도록 구성될 수도 있을 것이다.The control unit 10 is connected to a key box of a vehicle, a body control module (BCM), and the like, and controls the start-up (On) / off Off determination unit (not shown) so as to drive the image generating unit 13 when the start is turned off and the vehicle door is closed.

이미지 생성부(13)는 구동 시 상기 영상 처리부(23)를 통해 영상을 로드하고 로드된 영상으로부터 정지 이미지(또는 "정지영상", "이미지"라 한다)를 획득하여 주기적으로 출력한다.The image generating unit 13 loads an image through the image processing unit 23 at the time of driving and acquires a still image (or a "still image" or an "image") from the loaded image to periodically output the image.

또한, 이미지 생성부(13)는 적외선 광세기 조절 이벤트 발생 시마다 생성된 이미지의 그레이 값을 검출하고, 검출된 그레이 값에 따라 적외선 라이트(22)의 적외선 광세기를 조절하는 적외선 세기 조절부(13-1)를 더 포함할 수도 있을 것이다. 상기 적외선 광세기 조절 이벤트는 주야 판단부(11)에 의한 주야 판단 시마다 발생될 수도 있고, 일정 주기 또는 일정 개수의 정지 이미지 생성 시마다 발생될 수도 있으며, 차량 관리자에 의해 발생될 수도 있을 것이다. 상기 그레이 값별 적외선 광세기는 실험치에 의해 획득될 수 있을 것이다.The image generating unit 13 includes an infrared intensity adjusting unit 13 for detecting a gray value of an image generated at every occurrence of an infrared light intensity adjusting event and adjusting an infrared light intensity of the infrared light 22 in accordance with the detected gray value -1). ≪ / RTI > The infrared light intensity control event may be generated every day or night by the day / night determiner 11, or may be generated every time a certain period or a certain number of still images are generated or may be generated by the vehicle manager. The infrared light intensity for each gray value may be obtained by an experiment.

초기 구동 판단부(14)는 상기 이미지 생성부(13)로부터 출력되는 정지 이미지를 입력받고, 마스크 설정 플래그가 셋(1 or 0)되어 있는지 리셋(0 or 1)되어 있는지를 검사하여 마스크가 생성되지 않은 상태인 초기 구동 여부를 판단하고, 초기 구동인 경우 상기 정지 이미지를 이미지 마스크 획득부(15)로 출력하고, 마스크가 획득되어 있는 경우, 즉 초기 구동이 아닌 경우, 상기 정지 이미지를 침입 판단영역 검출부(16)로 출력한다.The initial drive determination unit 14 receives the still image output from the image generation unit 13 and checks whether the mask setting flag is set to 1 or 0 or not (0 or 1) And outputs the still image to the image mask acquiring unit 15. If the mask is acquired, that is, if it is not the initial drive, the still image is judged as an intrusion judgment And outputs it to the area detection unit 16. [

이미지 마스크 획득부(15)는 상기 이미지 생성부(13)로부터 출력되는 이미지에 다음 수학식 1이 적용되는 그랩컷(GrabCut) 알고리즘을 적용하여 차량 내부의 상기 이미지로부터 차창영역과 비차창영역을 분리하여 추출하고, 추출된 비차창영역 중 침입 시 반드시 통과해야 하는 영역을 최소로 하는 침입 판단영역인 마스킹 영역을 가지는 마스크를 생성하여 저장하며, 이미지 생성부(13)로부터 이미지 생성 시마다 마스크를 침입 판단영역 검출부(16)로 출력한다. 상기 마스크는 차창영역이 0으로 표시되고 비차창영역이 1로 표시되는 바이너리 이미지일 수 있을 것이다. 상기 마스킹 영역을 선택하는 방법으로는 자동모드 및 수동모드가 있다.The image mask obtaining unit 15 applies a GrabCut algorithm to the image output from the image generating unit 13 to apply the following Equation 1 to separate the in-vehicle and non-in-vehicle regions from the image in the vehicle And generates and stores a mask having a masking area, which is an intrusion determination area that minimizes an area that must pass through the extracted non-windowing area, and stores the generated mask in an image And outputs it to the area detection unit 16. [ The mask may be a binary image in which the window region is denoted by 0 and the non-window region is denoted by 1. As the method of selecting the masking area, there are an automatic mode and a manual mode.

수동모드는 침입 검출 시스템 설치자 또는 사용자가 입력부(70) 및 표시부(60)를 통해 직접 마스킹 영역을 선택하는 모드이다.The manual mode is a mode in which the intruder detection system installer or the user directly selects the masking area through the input unit 70 and the display unit 60. [

그리고 자동모드는 상기 이미지 마스크 획득부(15)가 미리 설정된 픽셀 깊이에 따라 비차창영역 중 차창 영역의 경계로부터 상기 픽셀 깊이만큼의 넓이를 가지는 영역을 마스킹 영역으로 자동 선택하는 모드이다.The automatic mode is a mode in which the image mask obtaining unit 15 automatically selects an area having a width corresponding to the pixel depth from the boundary of the window region in the non-window area according to a preset pixel depth as a masking area.

Figure 112016102715287-pat00002
Figure 112016102715287-pat00002

여기서 E는 에너지 함수이다. 그랩컷 알고리즘은 에너지 함수를 최소화하여 이미지 내 배경 및 전경을 검출한다. 배경은 침입 검출 알고리즘에서 유리, 즉 차창영역을 나타내고, 전경은 이미지의 나머지 부분인 비차창영역을 가리킨다.Where E is an energy function. The grab-cut algorithm minimizes the energy function to detect the background and foreground in the image. The background indicates a window in the intrusion detection algorithm, that is, a window region, and the foreground indicates a non-window region that is the remainder of the image.

따라서 이미지가 촬영될 때 차량의 도어들이 닫혀 있어야 한다. 이미지의 목적은 모션 검출을 수행하기 위해 차량 내 비차창영역의 위치를 분할하는 것이다. 그래서 도어들이 닫혀 있어야 하며, 차량의 창문이 가려지지 않는 한 차량의 내부 뷰(View)는 관련이 없다. 또한 차량 밖의 배경은 분할에 영향을 미치지 않을 것이다. 이 단계는 상기 초기 구동 판단부(14)에 의해 카메라가 고정된 후 또는 시스템 초기화 시 한 번만 수행될 것이다.Therefore, the doors of the vehicle must be closed when the image is taken. The purpose of the image is to partition the position of the non-window region in the vehicle to perform motion detection. So the doors must be closed and the inside view of the vehicle is not relevant unless the vehicle window is covered. Also, the background outside the vehicle will not affect the partition. This step may be performed only once after the camera is fixed by the initial drive determination unit 14 or at system initialization.

침입 판단영역 검출부(16)는 상기 이미지 생성부(13)에서 생성된 이미지에 상기 이미지 마스크 획득부(15)에서 출력되는 마스크를 곱하여 침입 판단영역을 검출하고 검출된 침입 판단영역을 포함하는 침입 판단영역 정지 이미지를 출력한다.The intrusion determination area detecting unit 16 detects the intrusion determination area by multiplying the image generated by the image generating unit 13 by the mask output from the image mask obtaining unit 15 and detects an intrusion determination area including the detected intrusion determination area Area Output a still image.

침입 항목 검출부(17)는 상기 침입 판단영역 검출부(16)에서 출력되는 침입 판단영역 정지 이미지에 이전 침입 판단영역 정지 이미지에 따른 프레임 차분 알고리즘을 적용하여 침입 항목, 즉 움직이는 물체를 검출하고, 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력한다.The intrusion item detection unit 17 detects an intrusion item, i.e., a moving object, by applying a frame difference algorithm according to the previous intrusion determination area still image to the intrusion determination area still image output from the intrusion determination area detection unit 16, And outputs an intrusion item still image including information on the intrusion item.

상기 침입 항목 검출부(17)는 배경 모델을 가진 현재의 프레임의 감산 시 문턱치를 이용하여 비차창영역 내 움직이는 물체를 검출한다. 프레임 차분 내 배경 모델은 이전 프레임과 동일하다. 그 이론은 다음 수학식 2와 같다. The intrusion item detector 17 detects a moving object in a non-window area using a threshold value at the time of subtraction of a current frame having a background model. The background model in the frame difference is the same as the previous frame. The theory is shown in Equation 2 below.

Figure 112016102715287-pat00003
Figure 112016102715287-pat00003

I(t)는 시간 t에 캡처된 이미지의 비차창영역이다. T는 문턱치이다.I (t) is the non-binning area of the image captured at time t. T is the threshold.

상술한바와 같이 마스크는 차창영역이 0인 값을 가지고 침입 판단영역이 1의 값을 가지는 바이너리 이미지이다. 새로운 촬영 이미지 내 침입 판단영역은 그것을 이미지 마스크와 곱함으로써 얻어진다. 그런 다음 프레임 차분 알고리즘이 침입 판단영역 내 움직이는 물체들을 검출하기 위해 사용된다. 차 밖에서 움직이는 물체들의 영향은 차량의 침입 판단영역 검출에 의해서 제거된다. 움직이는 물체들은 값이 20인 문턱치를 결과 이미지에 적용함으로써 검출된다.As described above, the mask is a binary image in which the window region has a value of 0 and the intrusion determination region has a value of 1. The intrusion detection area in the new captured image is obtained by multiplying it by the image mask. The frame difference algorithm is then used to detect moving objects in the intrusion detection area. The influence of moving objects outside the car is removed by detecting the intrusion detection area of the vehicle. Moving objects are detected by applying a threshold value of 20 to the resulting image.

잡음 제거부(18)는 상기 침입 항목 검출부(17)에서 수행된 프레임 차분 알고리즘에 의해 야기된 침입 항목 정지 이미지의 잡음을 제거한 후 출력한다.The noise removing unit 18 removes the noise of the intrusion item still image caused by the frame difference algorithm performed by the intrusion item detecting unit 17 and outputs the noise.

구체적으로 설명하면, 잡음 제거부(18)는 잡음을 제거하기 위해 캡처된 침입 항목 정지 이미지에 컨볼루션할 3x3 또는 5x5 컨볼루션 커널을 적용하고, 컨볼루션이 적용된 정지 침입 항목 정지 이미지에 문턱치 필터를 적용하여 필터링된 필터링 이미지를 침입 판단부(18)로 출력한다. 상기 문턱치 필터의 문턱값으로는 200이 적용될 수 있을 것이다. 다시 설명하면, 상기 3x3 컨볼루션 커널이 적용되는 경우 필터 문턱치를 4로 설정하고, 상기 5x5 컨볼루션 커널이 적용되는 경우 필터 문턱치를 12로 설정하며, 침입 항목 정지 이미지의 움직임 물체에 대한 픽셀들의 합 값에 대한 필터 문턱치는 200으로 설정될 수 있을 것이다.More specifically, the noise eliminator 18 applies a 3x3 or 5x5 convolution kernel to be convolved with the captured intent still image to remove noise, and applies a threshold filter to the still invaded still image with convolution And outputs the filtered image to the intrusion determining unit 18. The threshold value of the threshold filter may be 200. In other words, the filter threshold is set to 4 when the 3x3 convolution kernel is applied, the filter threshold is set to 12 when the 5x5 convolution kernel is applied, and the sum of the pixels The filter threshold for the value may be set to 200.

침입 판단부(19)는 상기 필터링 이미지 내 남은 픽셀들의 합을 산출하여 침입을 판단한다. 구체적으로, 침입 판단부(19)는 필터링 이미지 픽셀들의 합 값이 문턱치보다 크면, 침입이 일어난 것으로 판단하여 경보부(50)를 통해 경보를 발생한다.The intrusion determining unit 19 determines the intrusion by calculating the sum of the remaining pixels in the filtered image. Specifically, if the sum of the filtered image pixels is greater than the threshold value, the intrusion determining unit 19 determines that an intrusion has occurred, and generates an alarm through the alarm unit 50.

보다 구체적으로, 차량의 차창영역이 제거되어도, 프레임 차분 알고리즘 이후 여전히 잡음이 있는 픽셀들이 존재할 것이다. 따라서 상기 잡은 제거부(18)는 두 개의 컨볼루션 커널들에 의해 그러한 잡음 있는 픽셀들을 제거한다. 두 컨볼루션 커널들의 크기는 각각 3x3 및 5x5이다. 커널들 안의 픽셀들의 값들은 1이다. 3x3 커널에 있어서, 컨볼루션 결과 이미지를 필터링하기 위해 문턱치 4가 사용된다. 5x5 커널에 있어서, 컨볼루션 결과 이미지를 필터링하기 위해 문턱치 12가 사용된다. 마지막으로, 침입 판단부(19)는 컨볼루션 결과 이미지 이후 남은 픽셀들을 산출하여 침입을 판단한다.More specifically, even if the vehicle window region is removed, there will still be noise pixels after the frame difference algorithm. Thus, the culling removal 18 removes such noise pixels by two convolution kernels. The two convolution kernels are 3x3 and 5x5, respectively. The values of the pixels in the kernels are 1. For the 3x3 kernel, threshold 4 is used to filter the convolution result image. For the 5x5 kernel, the threshold 12 is used to filter the convolution result image. Finally, the intrusion judging unit 19 calculates remaining pixels after the convolution result image to judge the intrusion.

도 3은 본 발명에 따른 실내 카메라를 이용한 침입 검출 방법을 나타낸 흐름도이고, 도 4는 본 발명의 일실시예에 따른 적외선 라이트가 오프된 낮의 소프트웨어 인터페이스 수단을 나타낸 도면이고, 도 5는 본 발명의 일실시예에 따라 낮에 차창을 통한 침입 시의 침입 검출 결과를 일반 영상 및 흑백(그레이스케일)으로 나타낸 도면이다. 이하 도 3 내지 도 5를 참조하여 설명한다.FIG. 3 is a flowchart illustrating an intrusion detection method using an indoor camera according to the present invention, FIG. 4 is a diagram illustrating a daytime software interface means in which an infrared light is turned off according to an embodiment of the present invention, (Gray scale) of the intrusion detection result during the daytime through the window according to one embodiment of the present invention. This will be described below with reference to Figs. 3 to 5. Fig.

우선, 제어부(10)는 침입 검출 시스템이 구동되면 밝기 검출부(30)를 통해 빛의 밝기, 즉 조도를 검출하여(S111) 낮인지 밤인지를 판단한다(S113).First, when the intrusion detection system is activated, the control unit 10 detects the brightness or lightness of light through the brightness detection unit 30 (S111) and determines whether it is day or night (S113).

낮이면 제어부(10)는 영상획득부(20)의 적외선 라이트(22)를 오프시키고(S115), 밤이면 적외선 라이트(22)를 온시켜 구동한다(S117).The control unit 10 turns off the infrared light 22 of the image obtaining unit 20 in step S115 and turns on the infrared light 22 in step S117.

제어부(10)는 적외선 라이트(22)의 조작이 완료되면 카메라(21)를 통해 촬영되는 영상을 리드한다(S119).When the operation of the infrared light 22 is completed, the control unit 10 reads the image photographed through the camera 21 (S119).

영상이 리드되면 제어부(10)는 마스크 설정 플래그가 셋(1 or 0)되어 있는지 리셋(0 or 1) 되어 있는지를 판단하여 최초 구동인지를 판단한다(S121). 상기 마스크 설정 플래그는 마스크 생성 과정에 의해 마스크가 생성되어 저장되어 있는지의 여부를 나타내는 플래그로, 마스크가 생성되어 저장되는 경우 셋 될 수 있을 것이다.When the image is read, the control unit 10 determines whether the mask setting flag is set (1 or 0) or reset (0 or 1) and determines whether it is the first drive (S121). The mask setting flag is a flag indicating whether or not a mask is generated and stored by a mask generation process, and may be set when a mask is generated and stored.

최초 구동인 것으로 판단되면 제어부(10)는 리드되는 영상으로부터 그랩컷 알고리즘에 의한 차창영역 및 비차창영역을 분리 추출하고, 비차창영역 중 침입 판단영역을 가지는 마스크를 생성한다(S123). 마스크를 생성하기 위한 정지 이미지는 낮에 획득하는 것이 바람직할 것이다. 상기 마스크 생성과정은 후술할 도 4를 참조하여 상세히 설명한다.If it is determined that the vehicle is the first drive, the control unit 10 separates and extracts a window region and a non-window region according to the grab-cut algorithm from the image to be read, and generates a mask having an intrusion determination region in the non-window region (S123). The still image for generating the mask would preferably be acquired in the daytime. The mask generation process will be described in detail with reference to FIG. 4, which will be described later.

반면, 최초 구동이 아니면 제어부(10)는 바로 도 4의 프로그램 인터페이스 수단에 표시된 것과 같이 차창영역을 모두 포함하는 정지 이미지를 획득할 수도 있고(S125), 그레이값 검출에 의한 광세기 조절 후 정지 이미지를 획득할 수도 있을 것이다(S127~S135).On the other hand, if it is not the first drive, the control unit 10 may acquire a still image including all the window regions as indicated by the program interface means of FIG. 4 (S125). After adjusting the light intensity by gray value detection, (S127 to S135).

S127 내지 S135를 좀 더 상세히 설명하면, 제어부(10)는 입력되는 영상으로부터 획득되는 정지 이미지(S121)에서 그레이 값을 검출하고(S127), 검출된 그레이 값에 따른 적외선 광세기 값을 로드한다(S129). 상기 적외선 광세기 값은 그레이 값별로 미리 정의되어 있는 것이 바람직하며, 실험에 의해 구해질 수 있을 것이다.S127 to S135 will be described in more detail. The control unit 10 detects a gray value in a still image S121 obtained from an input image (S127), and loads an infrared light intensity value corresponding to the detected gray value ( S129). It is preferable that the infrared light intensity value is previously defined for each gray value, and it can be obtained by experiment.

적외선 광세기 값이 로드되면 제어부(10)는 로드된 광세기 값이 허용 가능한 세기인지를 판단한다(S131).When the infrared light intensity value is loaded, the controller 10 determines whether the light intensity value is an allowable intensity (S131).

판단결과, 적외선 광세기 값이 허용 가능한 세기가 아니면 상기 S111 단계 이후의 과정을 다시 수행하도록 구성되고, 이때, 적외선 광세기 값이 허용 세기보다 작으면 적외선 광세기 값을 커지도록 조절을 유도하고, 적외선 광세기 값이 허용 세기보다 크면 광세기 값이 작아지도록 조절 유도하도록 구성될 수도 있을 것이다.As a result of the determination, if the infrared light intensity value is not an allowable intensity, the process after step S111 is performed again. If the infrared light intensity value is less than the allowable intensity, the infrared light intensity value is increased. If the infrared light intensity value is larger than the allowable intensity, the light intensity value may be adjusted to be lowered.

로드된 적외선 광세기 값이 허용 가능한 세기이면 제어부(10)는 적외선 라이트(22)를 제어하여 상기 로드된 적외선 광세기 값으로 적외선 광세기를 조절한다(S133).If the loaded infrared light intensity value is an allowable intensity, the controller 10 controls the infrared light 22 to adjust the infrared light intensity to the loaded infrared light intensity value (S133).

적외선 광세기 조절 후 제어부(10)를 상기 조절된 세기의 적외선이 적용된 정지 이미지를 획득한다(S135).After the infrared light intensity is adjusted, the control unit 10 obtains a still image to which the infrared ray of the adjusted intensity is applied (S135).

상술한 바와 같이 최초 구동 판단 후 바로 또는 광세기 조절 후 정지 이미지가 획득되면 제어부(10)는 획득된 정지 이미지에 상기 마스크를 곱하여 침입 항목을 포함할 수 있는 침입 판단영역을 포함하는 침입 판단영역 정지 이미지를 생성한다(S137).As described above, if a still image is obtained immediately after the initial driving determination or after the light intensity is adjusted, the control unit 10 multiplies the obtained still image by the mask to determine an intrusion determination area including an intrusion determination area And generates an image (S137).

침입 판단영역 정지 이미지가 생성되면 제어부(10)는 프레임 차분 알고리즘을 비차창영역 정지 이미지에 적용하여 침입 판단영역에서 움직이는 물체(침입 항목)가 있는지의 정보를 포함하는 도 5의 (가) 및 (나)의 우측과 같은 침입 항목이 포함된 침입 항목 정지 이미지를 생성한다(S139).When the intrusion determination region still image is generated, the control unit 10 applies the frame difference algorithm to the non-window region still image to determine whether there is a moving object (intrusion item) in the intrusion determination region, An intrusion item still image including an intrusion item as shown on the right side of FIG. 2 (b) is generated (S139).

상기와 같이 침입 항목이 포함된 침입 항목 정지 이미지가 생성되면 제어부(10)는 3x3 또는 5x5 컨벌루션 커널을 상기 이미지에 컨볼루션하여 필터링을 수행하여 필터링 이미지를 생성한다(S141).When an intrusion item still image including an intrusion item is generated as described above, the controller 10 convolutes a 3x3 or 5x5 convolution kernel to the image to generate a filtered image (S141).

필터링 이미지가 생성되면 제어부(10)는 상술한 바와 같이 필터링 이미지 내의 픽셀들의 합을 산출하고, 산출된 픽셀들의 합 값이 필터 문턱치를 초과하는지의 여부에 따라 침입 여부를 판단한다(S143).When the filtered image is generated, the controller 10 calculates the sum of the pixels in the filtered image as described above, and determines whether the sum of the calculated pixels exceeds the filter threshold (S143).

침입이 발생된 것으로 판단되면 제어부(10)는 경보부(50)를 통해 경보를 발생시킨다(S145).If it is determined that an intrusion has occurred, the control unit 10 generates an alarm through the alarm unit 50 (S145).

도 6은 본 발명에 따른 실내 카메라를 이용한 침입 검출 방법의 마스크 생성 방법을 나타낸 흐름도이고, 도 7은 본 발명의 일실시예에 따른 그랩컷 알고리즘의 차창영역 및 비차창영역의 설정에 따른 마스크 생성 예를 나타낸 도면이다. 이하 도 6 및 도 7을 참조하여 마스크 생성 방법을 설명한다.FIG. 6 is a flowchart illustrating a mask generation method of an intrusion detection method using an indoor camera according to the present invention. FIG. 7 is a flowchart illustrating a method of generating a mask according to the setting of a vehicle window region and a non- Fig. Hereinafter, a mask generation method will be described with reference to FIGS. 6 and 7. FIG.

우선, 제어부(10)는 영상획득부(20)로부터 입력되는 영상신호로부터 정지 이미지를 획득한다(S211). 상기 제어부(10)는 상기 정지 이미지 획득 시 상술한 도 3의 S127 내지 S133의 과정을 적용한 후 획득할 수도 있을 것이다.First, the control unit 10 acquires a still image from a video signal input from the image acquisition unit 20 (S211). The control unit 10 may acquire the still image after acquiring the still image by applying the processes of S127 to S133 of FIG.

제어부(10)는 그랩컷 알고리즘을 적용하여 차창영역(701) 및 상기 차창영역(701)을 제외한 영역인 비차창영역을 분리하여 추출한다(S213, S215). The control unit 10 separates and extracts the non-windower regions, which are regions excluding the windshield region 701 and the windshield region 701, by applying the grab-cut algorithm (S213, S215).

차창영역(701)과 비차창영역이 분리 추출되면 제어부(10)는 침입 판단영역 선택모드가 자동모드인지 수동모드인지를 판단한다(S217).If the window region 701 and the non-window region are separated and extracted, the control unit 10 determines whether the intrusion determination region selection mode is the automatic mode or the manual mode (S217).

자동모드이면 제어부(10)는 차창영역(701)을 통해 침입 시 반드시 통과해야하는 최소 영역을 검색한다(S219). 상기 차창영역(701)을 통해 차량 내부로 침입 시 침입 물체기 반드시 통과해야 하는 검색영역은 도 7의 (나)의 711이 될 수 있을 것이다.In the automatic mode, the control unit 10 searches through the window region 701 for the minimum area that must pass through the window region 701 (S219). A search area through which the intruding object must pass when entering the inside of the vehicle through the window region 701 may be 711 in FIG. 7 (B).

검색영역(711)이 검색되면 제어부(10)는 검색영역 중 미리 설정된 픽셀 깊이의 검색영역을 침입 판단영역으로 설정하고(S221), 도 7의 (다)와 같이 설정된 침입 판단영역을 포함하는 마스크를 생성한다(S223). 마스크는 침입 판단 영역을 최소화하기 위해 도 7의 (다)와 같이 창별로 생성되는 것이 바람직할 것이다. 즉, 도 7의 (나)의 검색영역(711-1), 검색영역(711-2), 검색영역(711-3) 및 검색영역(711-4) 각각에 대한 마스크(721-1), 마스크(721-2: 미도시), 마스크(721-3:미도시), 마스크(721-4: 미도시)를 구비할 것이다. 또한, 상기 마스크(721-1), 마스크(721-2: 미도시), 마스크(721-3:미도시), 마스크(721-4: 미도시)들이 하나로 포함된 결합될 수도 있을 것이다.When the search area 711 is searched, the controller 10 sets the search area having the preset pixel depth as the intrusion determination area in the search area (S221), and the mask including the intrusion determination area set as shown in (S223). It is preferable that the mask is generated for each window as shown in (c) of Fig. 7 in order to minimize the intrusion judgment area. That is, the masks 721-1 and 721-2 for the search area 711-1, the search area 711-2, the search area 711-3, and the search area 711-4 in FIG. 7B, A mask 721-2 (not shown), a mask 721-3 (not shown), and a mask 721-4 (not shown). In addition, the mask 721-1, the mask 721-2 (not shown), the mask 721-3 (not shown), and the mask 721-4 (not shown) may be combined.

상기 검색영역(711) 검색 시에도 영역을 결정하기 위한 픽셀 깊이가 설정되어 있을 수 있으며, 이때의 픽셀 깊이와 침입 판단 영역의 픽셀 길이가 동일할 수 있을 것이다. 이 경우 검색영역(711)이 침입 판단 영역이 될 수 있을 것이다.A pixel depth for determining an area may be set even when searching the search area 711. The pixel depth at this time and the pixel length of the intrusion determination area may be the same. In this case, the search area 711 may be an intrusion determination area.

반면, 수동모드이면 제어부(10)는 표시부(60)를 통해 침입 판단영역인 마스킹 영역을 선택할 것을 요청한(S225) 후, 입력부(70)를 통해 마스킹 영역이 선택되는지를 검색한다(S227).On the other hand, in the manual mode, the controller 10 requests the masking area to be selected through the display unit 60 (S225), and then the masking area is selected through the input unit 70 (S227).

마스킹 영역이 선택되면 제어부(10)는 마스크 생성 명령이 발생되는지를 검사한다(S229). 상기 마스크 생성 명령은 입력부(70)로부터 발생될 수도 있고, 상기 마스킹 영역의 선택 후 일정 시간 뒤 자동으로 발생될 수도 있을 것이다.If the masking area is selected, the control unit 10 checks whether a mask generation command is generated (S229). The mask generation command may be generated from the input unit 70 or may be generated automatically after a predetermined time after the selection of the masking area.

마스크 생성 명령이 발생되면 제어부(10)는 상기 마스킹 영역을 포함하는 마스크를 생성한다(S231).When a mask generation command is generated, the controller 10 generates a mask including the masking area (S231).

수동 시에도 마스킹 영역의 픽셀 깊이가 미리 설정되어 있을 수 있으며, 사용자가 상기 픽셀 깊이 이내로 마스킹 영역을 선택한 경우, 제어부(10)는 표시부(60)를 통해 마스킹 영역을 다시 선택하도록 요청할 수도 있을 것이다.The pixel depth of the masking area may be preset in manual mode and when the user selects the masking area within the pixel depth, the control unit 10 may request to select the masking area again through the display unit 60. [

한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다. While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. It will be easily understood. It is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, it is intended to cover various modifications within the scope of the appended claims.

10: 제어부 11: 주야 판단부
12: 도어 닫힘 판단부 13: 이미지 생성부
13-1 적외선 세기 조절부 14: 초기 구동 판단부
15: 이미지 마스크 획득부 16: 침입 판단영역 검출부
17: 침입 항목 검출부 18: 잡음 제거부
19: 침입 판단부 20: 영상 획득부
21: 카메라 22: 적외선 라이트
23: 영상 처리부 30: 밝기 검출부
40: 도어 닫힘 검출부 50: 경보부
60: 표시부 70: 입력부
10: control unit 11: day /
12: door closing determination unit 13:
13-1 Infrared intensity controller 14: Initial drive determiner
15: Image mask acquisition unit 16: Intrusion determination area detection unit
17: Intrusion item detecting unit 18: Noise removing unit
19: Intrusion judging unit 20: Image acquiring unit
21: Camera 22: Infrared light
23: image processor 30: brightness detector
40: door closing detection part 50: alarm part
60: display section 70: input section

Claims (12)

영상을 촬영하여 출력하는 카메라를 포함하는 영상 획득부;
침입 검출을 경보하는 경보부; 및
차량 내부의 차창영역 및 비차창영역을 분리 추출하고, 상기 차창영역의 경계에 형성되고 분리 추출된 비차창영역 중 상기 차창영역을 통해 차량 실내로 침입 시 침입물체가 통과하는 영역에 형성되는 침입 판단영역인 마스킹 영역을 포함하는 마스크를 구비하고 있으며, 상기 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하고, 상기 정지 이미지에 상기 마스크를 적용하여 침입 판단영역을 검출하고, 검출된 침입 판단영역에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 생성하며, 상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하고 침입 검출 시 상기 경보부를 통해 경보를 발생시키는 제어부를 포함하되,
상기 제어부는,
상기 마스크를 구비하고 있으며, 상기 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하는 이미지 생성부;
상기 정지 이미지에 상기 마스크를 적용하여 침입 판단영역을 검출하여 침입 판단영역 정지 이미지를 출력하는 침입 판단영역 검출부;
검출된 침입 판단영역 정지 이미지에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력하는 침입 항목 검출부; 및
상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하고 침입 검출 시 상기 경보부를 통해 경보를 발생시키는 침입 판단부를 포함하는 것을 특징으로 하는 실내 카메라를 이용한 차량 침입 검출 시스템.
An image acquisition unit including a camera for capturing and outputting an image;
An alarm unit for alarming intrusion detection; And
A method of detecting an intrusion of an intruder, comprising the steps of: extracting a windshield area and a non-windshield area inside a vehicle; And a mask including a masking area, wherein the camera includes a camera for capturing an image input from the camera to generate a still image, detecting the intrusion determination area by applying the mask to the still image, And a control unit for generating an alarm through the alarm unit upon detecting an intrusion by detecting information on a moving object of the intrusion item still image, wherein the intrusion item still image includes information on a moving object of the intrusion item,
Wherein,
An image generating unit having the mask and capturing an image input from the camera to generate a still image;
An intrusion determination area detector for detecting an intrusion determination area by applying the mask to the still image and outputting an intrusion determination area still image;
An intrusion item detector for outputting an intrusion item still image including information on a moving object in the detected intrusion determination area still image; And
And an intrusion determination unit for determining an intrusion based on information on a moving object of the intrusion item still image and generating an alarm through the alarm unit when an intrusion is detected.
삭제delete 제1항에 있어서,
밝기를 측정하는 밝기 검출부를 더 포함하고,
상기 영상 획득부는 적외선 광의 세기를 조절할 수 있는 적외선 라이트를 더 포함하되,
상기 제어부는,
상기 밝기 검출부에 의해 측정되는 밝기에 의해 낮인지 밤인지를 판단하고, 낮이면 상기 적외선 라이트를 오프하고, 밤이면 상기 적외선 라이트를 온하는 주야 판단부를 더 포함하는 것을 특징으로 하는 실내 카메라를 이용한 차량 침입 검출 시스템.
The method according to claim 1,
Further comprising a brightness detector for measuring brightness,
The image acquiring unit may further include an infrared light capable of adjusting the intensity of infrared light,
Wherein,
Further comprising a day / night judging section for judging whether the time is night or night by the brightness measured by the brightness detecting section, turning off the infrared light when it is low, and turning on the infrared light when it is nighttime Intrusion detection system.
제3항에 있어서,
상기 이미지 생성부는,
생성된 정지 이미지의 그레이 값을 검출하고 미리 가지고 있는 상기 그레이 값에 대응하는 적외선 광세기 값에 따라 상기 적외선 라이트의 적외선 광세기를 조절하는 적외선 세기 조절부를 더 포함하는 것을 특징으로 하는 실내 카메라를 이용한 차량 침입 검출 시스템.
The method of claim 3,
The image generation unit may include:
Further comprising an infrared intensity adjusting unit for detecting a gray value of the generated still image and adjusting an infrared light intensity of the infrared light according to an infrared light intensity value corresponding to the gray value that is held in advance Vehicle intrusion detection system.
제1항에 있어서,
상기 제어부는,
정지 이미지를 입력받고 상기 정지 이미지로부터 차창영역을 0으로, 침입 판단영역인 마스킹 영역을 1로 변환하여 바이너리 이미지인 마스크를 생성하여 저장하고, 상기 침입 판단영역 검출부로 정지 이미지의 출력 시마다 상기 마스크를 상기 침입 판단영역 검출부로 출력하는 이미지 마스크 획득부; 및
상기 이미지 생성부로부터 생성된 정지 이미지를 입력받고, 미리 정의된 마스크 설정 플래그의 셋 여부를 판단하여 초기 구동인지 아닌지를 판단하고, 초기 구동이 아니면 상기 정지 이미지를 상기 침입 판단영역 검출부로 출력하고, 초기 구동이면 상기 이미지 마스크 획득부로 출력하는 초기 구동 판단부를 더 포함하는 것을 특징으로 하는 실내 카메라를 이용한 차량 침입 검출 시스템.
The method according to claim 1,
Wherein,
A still image is received, and a mask, which is a binary image, is generated by converting a window region to 0 and an intrusion determination region to 1 from the still image, and stores the generated mask as an intrusion determination region detection portion. An image mask obtaining unit outputting the image mask image to the intrusion determination region detecting unit; And
Wherein the control unit receives the still image generated from the image generating unit, determines whether the predefined mask setting flag is set to determine whether it is an initial drive, outputs the still image to the intrusion determination area detecting unit, Further comprising an initial drive determination unit for outputting the initial image data to the image mask acquisition unit if the initial camera is an initial drive.
제5항에 있어서,
차문의 닫힘 및 잠금 중 적어도 하나를 검출하는 도어 닫힘 검출부를 더 포함하되,
상기 제어부는,
상기 도어 닫힘 검출부를 통해 도어 닫힘 여부를 판단하는 도어 닫힘 판단부를 더 포함하고,
상기 이미지 마스크 획득부는 상기 도어 닫힘 검출부에 의해 도어의 닫힘 및 잠금 중 하나의 상태일 때 상기 마스크를 생성하는 것을 특징으로 하는 실내 카메라를 이용한 차량 침입 검출 시스템.
6. The method of claim 5,
Further comprising a door closing detecting portion for detecting at least one of closing and locking of the car door,
Wherein,
Further comprising a door closing determination unit for determining whether the door is closed through the door closing detection unit,
Wherein the image mask obtaining unit generates the mask when the door is closed or locked by the door close detecting unit.
제1항에 있어서,
상기 침입 항목 검출부는,
상기 침입 판단영역 검출부에서 출력되는 침입 판단영역 정지 이미지에 다음 수학식 3을 적용하여 상기 침입 판단영역 정지 이미지에서 움직이는 물체를 검출하되, 문턱값 T가 20인 것을 특징으로 하는 실내 카메라를 이용한 차량 침입 검출 시스템.

[수학식 3]
Figure 112017095778963-pat00004

I(t)는 시간 t에 캡처된 이미지의 비차창영역이다. T는 문턱치이다.
The method according to claim 1,
Wherein the intrusion item detecting unit comprises:
Wherein a moving object is detected in the intrusion determination area still image by applying the following Equation (3) to the intrusion determination area still image output from the intrusion determination area detection unit, and the threshold value T is 20. [ Detection system.

&Quot; (3) "
Figure 112017095778963-pat00004

I (t) is the non-binning area of the image captured at time t. T is the threshold.
제어부가 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하는 이미지 생성 과정;
상기 제어부가 차량 내부의 차창영역 및 비차창영역을 분리 추출하고, 상기 차창영역의 경계에 형성되고 분리 추출된 비차창영역 중 상기 차창영역을 통해 차량 실내로 침입 시 침입물체가 통과하는 영역에 형성되는 침입 판단영역인 마스킹 영역을 포함하는 마스크를 적용하여 침입 판단영역을 검출하여 침입 판단영역 정지 이미지를 생성하는 침입 판단영역 검출 과정;
검출된 상기 침입 판단영역 정지 이미지에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력하는 침입 항목 검출 과정;
상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하는 침입 판단 과정; 및
침입 검출 시 경보부를 통해 경보를 발생시키는 경보 과정을 포함하되,
상기 이미지 생성 과정은,
상기 정지 이미지 생성 시 생성된 정지 이미지의 그레이 값을 검출하고, 검출된 그레이 값에 따라 적외선 라이트의 적외선 광세기를 조절하는 적외선 광세기 조절 단계; 및
상기 적외선 라이트의 적외선 광 세기가 조절된 후 상기 적외선 광 세기가 적용된 영상으로부터 정지 이미지를 생성하여 출력하는 정지 이미지 출력 단계를 포함하는 것을 특징으로 하는 실내 카메라를 이용한 차량 침입 검출 방법.
An image generating process of capturing an image input from a camera and generating a still image;
The control unit separates and extracts a window region and a non-window region inside the vehicle. The control unit forms the window region through which the intruding object passes when the vehicle enters the vehicle room through the window region of the non- An intrusion judgment area detecting step of detecting an intrusion judgment area by applying a mask including a masking area as an intrusion judgment area to generate an intrusion judgment area still image;
An intrusion item detection step of outputting an intrusion item still image including information on a moving object in the detected intrusion determination area still image;
An intrusion judging step of judging an intrusion by information on a moving object of the intrusion item still image; And
And an alarm process for generating an alarm through the alarm unit upon detection of an intrusion,
The image generation process includes:
An infrared light intensity adjusting step of detecting a gray value of the still image generated at the time of generating the still image and adjusting an infrared light intensity of the infrared light according to the detected gray value; And
And a still image outputting step of generating and outputting a still image from the image to which the infrared light intensity is applied after the infrared light intensity of the infrared light is adjusted and outputting the still image.
제8항에 있어서,
상기 제어부가 카메라 구동 시 낮이면 적외선 라이트를 오프시키고 밤이면 적외선 라이트를 온시켜 구동하는 적외선 라이트 구동 과정을 더 포함하는 것을 특징으로 하는 실내 카메라를 이용한 차량 침입 검출 방법.
9. The method of claim 8,
Further comprising an infrared light driving step of driving the infrared light by turning on the infrared light when the controller is low when the camera is low and turning on the infrared light when the camera is low when the camera is driving.
삭제delete 제어부가 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하는 이미지 생성 과정;
상기 제어부가 차량 내부의 차창영역 및 비차창영역을 분리 추출하고, 상기 차창영역의 경계에 형성되고 분리 추출된 비차창영역 중 상기 차창영역을 통해 차량 실내로 침입 시 침입물체가 통과하는 영역에 형성되는 침입 판단영역인 마스킹 영역을 포함하는 마스크를 적용하여 침입 판단영역을 검출하여 침입 판단영역 정지 이미지를 생성하는 침입 판단영역 검출 과정;
검출된 상기 침입 판단영역 정지 이미지에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력하는 침입 항목 검출 과정;
상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하는 침입 판단 과정; 및
침입 검출 시 경보부를 통해 경보를 발생시키는 경보 과정을 포함하되,
상기 제어부가 영상획득부의 구동 시 미리 정의된 마스크 설정 플래그의 셋 여부를 판단하여 초기 구동인지 아닌지를 판단하는 초기 구동 판단 과정; 및
상기 초기 구동 여부 판단 결과 초기 구동이면 상기 정지 이미지로부터 차창영역 및 침입 판단영역을 검출하고, 검출된 차창영역을 0으로, 침입 판단영역을 1로 변환하여 바이너리 이미지인 마스크를 생성하여 저장하고, 침입 판단영역 검출부로 정지 이미지의 출력 시마다 상기 마스크를 출력하는 이미지 마스크 획득 과정을 더 포함하되,
상기 침입 판단영역 검출 과정은,
상기 초기 구동 여부 판단 결과 초기 구동이 아닌 경우 수행되는 것을 특징으로 하는 실내 카메라를 이용한 차량 침입 검출 방법.
An image generating process of capturing an image input from a camera and generating a still image;
The control unit separates and extracts a window region and a non-window region inside the vehicle. The control unit forms the window region through which the intruding object passes when the vehicle enters the vehicle room through the window region of the non- An intrusion judgment area detecting step of detecting an intrusion judgment area by applying a mask including a masking area as an intrusion judgment area to generate an intrusion judgment area still image;
An intrusion item detection step of outputting an intrusion item still image including information on a moving object in the detected intrusion determination area still image;
An intrusion judging step of judging an intrusion by information on a moving object of the intrusion item still image; And
And an alarm process for generating an alarm through the alarm unit upon detection of an intrusion,
An initial drive determining step of determining whether an initial drive is performed by determining whether a mask setting flag is predefined when the image acquiring unit is driven; And
If the initial drive is determined to be the initial drive, it detects an in-car region and an intrusion determination region from the still image, converts the detected in-car region to 0, converts the intrusion determination region to 1 to generate and store a mask that is a binary image, And an image mask acquiring step of outputting the mask at each output of the still image to the determination area detecting unit,
The intrusion determination region detecting process may include:
The method of detecting a vehicle intrusion using an indoor camera according to claim 1,
제어부가 카메라로부터 입력되는 영상을 캡처하여 정지 이미지를 생성하는 이미지 생성 과정;
상기 제어부가 차량 내부의 차창영역 및 비차창영역을 분리 추출하고, 상기 차창영역의 경계에 형성되고 분리 추출된 비차창영역 중 상기 차창영역을 통해 차량 실내로 침입 시 침입물체가 통과하는 영역에 형성되는 침입 판단영역인 마스킹 영역을 포함하는 마스크를 적용하여 침입 판단영역을 검출하여 침입 판단영역 정지 이미지를 생성하는 침입 판단영역 검출 과정;
검출된 상기 침입 판단영역 정지 이미지에서의 움직임 물체에 대한 정보를 포함하는 침입 항목 정지 이미지를 출력하는 침입 항목 검출 과정;
상기 침입 항목 정지 이미지의 움직임 물체에 대한 정보에 의해 침입을 판단하는 침입 판단 과정; 및
침입 검출 시 경보부를 통해 경보를 발생시키는 경보 과정을 포함하되,
상기 제어부가 도어 닫힘 검출부를 통해 도어의 닫힘 및 잠금 중 적어도 하나의 검출에 의한 도어 닫힘 여부를 판단하는 도어 닫힘 판단 과정을 더 포함하되,
상기 이미지 생성 과정은 상기 도어 닫힘 판단 과정에서 도어 닫힘으로 판단될 때 수행되는 것을 특징으로 하는 실내 카메라를 이용한 차량 침입 검출 방법.
An image generating process of capturing an image input from a camera and generating a still image;
The control unit separates and extracts a window region and a non-window region inside the vehicle. The control unit forms the window region through which the intruding object passes when the vehicle enters the vehicle room through the window region of the non- An intrusion judgment area detecting step of detecting an intrusion judgment area by applying a mask including a masking area as an intrusion judgment area to generate an intrusion judgment area still image;
An intrusion item detection step of outputting an intrusion item still image including information on a moving object in the detected intrusion determination area still image;
An intrusion judging step of judging an intrusion by information on a moving object of the intrusion item still image; And
And an alarm process for generating an alarm through the alarm unit upon detection of an intrusion,
Further comprising a door closing determining step of determining whether the door is closed by detecting at least one of closing and locking of the door through the door closing detecting unit,
Wherein the image generating process is performed when it is determined that the door is closed in the door closing determination process.
KR1020160137912A 2016-10-21 2016-10-21 System and method for detecting vehicle invasion using room camera KR101826715B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160137912A KR101826715B1 (en) 2016-10-21 2016-10-21 System and method for detecting vehicle invasion using room camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160137912A KR101826715B1 (en) 2016-10-21 2016-10-21 System and method for detecting vehicle invasion using room camera

Publications (1)

Publication Number Publication Date
KR101826715B1 true KR101826715B1 (en) 2018-02-07

Family

ID=61203770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160137912A KR101826715B1 (en) 2016-10-21 2016-10-21 System and method for detecting vehicle invasion using room camera

Country Status (1)

Country Link
KR (1) KR101826715B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110113580A (en) * 2019-06-06 2019-08-09 天津艾思科尔科技有限公司 A kind of platform crosses the border detection system
WO2020222319A1 (en) * 2019-04-29 2020-11-05 엘지전자 주식회사 Electronic device for vehicle and method for operating electronic device for vehicle

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020222319A1 (en) * 2019-04-29 2020-11-05 엘지전자 주식회사 Electronic device for vehicle and method for operating electronic device for vehicle
CN110113580A (en) * 2019-06-06 2019-08-09 天津艾思科尔科技有限公司 A kind of platform crosses the border detection system
CN110113580B (en) * 2019-06-06 2024-04-09 天津艾思科尔科技有限公司 Platform crossing detection system

Similar Documents

Publication Publication Date Title
US10032283B2 (en) Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
US20100141806A1 (en) Moving Object Noise Elimination Processing Device and Moving Object Noise Elimination Processing Program
US20130147951A1 (en) Infrared camera detection systems and methods
US20060002586A1 (en) Method and apparatus for detecting left objects
US20190180137A1 (en) Methods and devices for image change detection
WO2014002534A1 (en) Object recognition device
JP4542929B2 (en) Image signal processing device
US20150085118A1 (en) Method and camera assembly for detecting raindrops on a windscreen of a vehicle
KR101823655B1 (en) System and method for detecting vehicle invasion using image
US20160232415A1 (en) Detection detection of cell phone or mobile device use in motor vehicle
JP2007326380A (en) Security device and monitoring method
JP4999794B2 (en) Still region detection method and apparatus, program and recording medium
KR101826715B1 (en) System and method for detecting vehicle invasion using room camera
WO2013093771A1 (en) Monitoring a scene
JP4491360B2 (en) Image signal processing device
FR2865826A1 (en) HUMAN IMAGE RECOGNITION SYSTEM
US9443150B2 (en) Device and method for detecting objects from a video signal
KR20190047243A (en) Apparatus and method for warning contamination of camera lens
TWI476735B (en) Abnormal classification detection method for a video camera and a monitering host with video image abnormal detection
JP3567114B2 (en) Image monitoring apparatus and image monitoring method
Cai et al. Embedded vision based automotive interior intrusion detection system
KR101858625B1 (en) Apparatus and method for detecting window opening of vehicle using room camera
CN112243089B (en) Camera HDR image effect switch control method and device, rearview mirror, vehicle and storage medium
JP6124739B2 (en) Image sensor
JP5027646B2 (en) Combined intrusion detection device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant