KR101589719B1 - Method for detecting motion in low light level enviroment - Google Patents

Method for detecting motion in low light level enviroment Download PDF

Info

Publication number
KR101589719B1
KR101589719B1 KR1020150085962A KR20150085962A KR101589719B1 KR 101589719 B1 KR101589719 B1 KR 101589719B1 KR 1020150085962 A KR1020150085962 A KR 1020150085962A KR 20150085962 A KR20150085962 A KR 20150085962A KR 101589719 B1 KR101589719 B1 KR 101589719B1
Authority
KR
South Korea
Prior art keywords
image
frequency
low
filter
frame images
Prior art date
Application number
KR1020150085962A
Other languages
Korean (ko)
Inventor
김대현
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020150085962A priority Critical patent/KR101589719B1/en
Application granted granted Critical
Publication of KR101589719B1 publication Critical patent/KR101589719B1/en

Links

Images

Classifications

    • G06T7/2053
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

According to an embodiment of the present invention, a method for detecting motion in a low light level environment improves a detection error in monitoring equipment, and comprises: a step of receiving an image from a camera; a step of using a bilateral filter to remove noise of a first and a second frame image in the received image; a step of converting the first and the second frame image from which the noise is removed into a frequency domain; a step of filtering the first and the second frame image converted into the frequency domain using a contrast sensitivity function filter; a step of restoring the filtered first and second frame images in the frequency domain into a spatial domain; a step of calculating a difference image between the restored first and second frame images; and a step of comparing pixel values of the calculated difference image with a motion occurrence threshold to detect a motion occurrence.

Description

저조도 환경에서의 모션 검출 방법{METHOD FOR DETECTING MOTION IN LOW LIGHT LEVEL ENVIROMENT}TECHNICAL FIELD [0001] The present invention relates to a motion detection method in a low-

본 명세서는 저조도 환경에서의 모션 검출 방법에 관한 것으로서, 더욱 상세하게는 저조도 환경에서의 감시 장비에서 모션 검출 오차를 개선한 모션 검출 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion detection method in a low-illuminance environment, and more particularly, to a motion detection method in which motion detection error is improved in a monitoring apparatus in a low-illuminance environment.

일반적인 모션 검출 기술은 CCTV(Closed circuit television) 시스템에서 첫 번째 프레임과 두 번째 프레임의 화소값 차이가 사용자가 설정한 임계치보다 높으면, 모션이 발생했다고 알려주는 방식이다.A general motion detection technique is a method of notifying that a motion has occurred when a pixel value difference between a first frame and a second frame in a closed circuit television (CCTV) system is higher than a threshold set by the user.

구체적으로 살펴보면, CCTV 카메라에서 사용되는 모션 검출 방식은 현재 프레임과 이전 프레임의 픽셀 값을 비교한다. 이러한 모션 검출 방식은 사용자가 정한 임계치보다 높으면 이를 모션 발생으로 인식한다. 이어서, 모션 검출 방식은 사용자에게 경고 신호를 주는 방식을 주로 사용한다.Specifically, the motion detection method used in the CCTV camera compares the pixel values of the current frame and the previous frame. If the motion detection method is higher than the threshold value set by the user, it is recognized as a motion occurrence. Next, the motion detection method mainly uses a method of giving a warning signal to the user.

보안에 사용되는 CCTV 카메라의 이미지 센서가 CCD(Charge coupled device)에서 CMOS로 급격히 변하고 있다. 이는 CMOS 이미지 센서가 CCD 이미지 센서에 비해 디지털 신호로 변환하기가 용이하기 때문이다. 또한, CMOS 이미지 센서는 화소수를 늘리기 쉽고, 가격도 저렴하기 때문이다. CMOS 이미지 센서는 조도가 높은 환경에서는 이러한 모션 검출 방식은 문제가 없다. 하지만, 조도가 낮은 밤이나 실내인 저조도 환경의 경우, CMOS(Complementary metal-oxide semiconductor) 이미지 센서의 노이즈가 자주 발생하여 사용자가 원하지 않는 경고를 발생시킨다.The image sensor of CCTV camera used for security is changing rapidly from CCD (charge coupled device) to CMOS. This is because CMOS image sensors are easier to convert to digital signals than CCD image sensors. In addition, the CMOS image sensor is easy to increase the number of pixels and is inexpensive. In a CMOS image sensor, such a motion detection method is not problematic in a high-illuminance environment. However, in the case of a low-illuminance night or an indoor low-illuminance environment, a noise of a CMOS (Complementary Metal-Oxide Semiconductor) image sensor frequently occurs, resulting in an unexpected warning by a user.

즉, CMOS 이미지 센서를 사용한 경우, 저조도 환경에서 노이즈가 발생하면 이 노이즈를 모션으로 인식하는 문제가 발생한다. CMOS 이미지 센서는 저조도에서 노이즈가 자주 발생하는 문제점이 있기 때문에 모션 검출 시, 원치 않거나(Unwanted) 잘못된 경고를 발생시킬 가능성이 있다.That is, when a CMOS image sensor is used, if noise occurs in a low-illuminance environment, the noise is recognized as a motion. CMOS image sensors have the problem of frequent occurrence of noise at low illumination, and therefore there is a possibility of generating false alarms (unwanted) when detecting motion.

저조도 환경에서는 저주파 영역 즉, 평탄한 이미지에서 솔트-페퍼(Salt-Pepper) 노이즈가 발생한다. 그러면, CMOS 이미지 센서가 구비된 감시정찰 장비는 모션이 없는 장면을 모션으로 인식하여 사용자에게 잘못된 경고를 알려준다.In a low-light environment, Salt-Pepper noise occurs in a low-frequency region, that is, a flat image. Then, the surveillance and reconnaissance device provided with the CMOS image sensor recognizes a motionless scene as a motion and notifies the user of a false alarm.

본 명세서의 실시 예들은 모션 검출을 위한 첫 번째 프레임과 그 다음 프레임에 이미지 처리를 하여 정확한 모션 발생 값을 산출함으로써, 노이즈로 인한 모션 발생의 검출 오류를 줄일 수 있는, 저조도 환경에서의 모션 검출 방법을 제공하고자 한다.Embodiments of the present invention provide a motion detection method in a low illumination environment that can reduce errors in detection of motion due to noise by calculating an accurate motion generation value by performing image processing on a first frame and a subsequent frame for motion detection .

본 명세서에 따르면, 카메라로부터 영상을 입력받는 단계; 상기 입력된 영상에서 제1 및 제2 프레임 이미지의 노이즈를 바이레터럴(Bilateral) 필터를 이용하여 각각 제거하는 단계; 상기 노이즈가 제거된 제1 및 제2 프레임 이미지를 주파수 영역으로 각각 변환하는 단계; 상기 변환된 주파수 영역의 제1 및 제2 프레임 이미지를 대비감도함수(Contrast Sensitivity Function) 필터를 통해 필터링하는 단계; 상기 필터링된 주파수 영역의 제1 및 제2 프레임 이미지를 공간 영역으로 복원하는 단계; 상기 복원된 제1 및 제2 프레임 이미지 간의 차영상을 산출하는 단계; 및 상기 산출된 차영상의 화소값을 모션 발생 임계치와 비교하여 모션 발생을 검출하는 단계를 포함하는 모션 검출 방법이 제공될 수 있다.According to the present invention, there is provided an image processing method comprising: receiving an image from a camera; Removing noise of the first and second frame images from the input image using a bilateral filter, respectively; Transforming the noise-removed first and second frame images into a frequency domain, respectively; Filtering the first and second frame images of the transformed frequency domain through a Contrast Sensitivity Function filter; Restoring the first and second frame images of the filtered frequency domain into a spatial domain; Calculating a difference image between the restored first and second frame images; And comparing the pixel value of the calculated difference image with a motion occurrence threshold to detect motion occurrence.

상기 영상을 입력받는 단계는 CMOS(Complementary metal-oxide semiconductor) 이미지 센서가 구비된 카메라로부터 영상을 획득하여 입력받을 수 있다.The receiving of the image may be performed by acquiring an image from a camera equipped with a complementary metal-oxide semiconductor (CMOS) image sensor.

상기 방법은, 상기 입력된 영상에서 사용자에 의해 선택 영상 영역을 선택받는 단계를 더 포함하고, 상기 제거하는 단계는 상기 선택된 선택 영상 영역에서의 제1 및 제2 프레임 이미지의 노이즈를 제거할 수 있다.The method may further include the step of selecting a selected image region by the user in the input image, and the removing may remove noise of the first and second frame images in the selected selected image region .

상기 방법은, 상기 입력된 영상에서 조도를 계산하는 단계; 및 상기 계산된 조도가 기설정된 조도 미만인 저조도 영상 영역을 상기 입력된 영상으로부터 추출하는 단계를 더 포함하고, 상기 제거하는 단계는 상기 추출된 저조도 영상 영역에서의 제1 및 제2 프레임 이미지의 노이즈를 제거할 수 있다.The method includes: calculating an illuminance on the input image; And extracting a low-illuminance image region in which the calculated illuminance is less than a preset illuminance from the input image, wherein the removing includes removing noise of the first and second frame images in the extracted low- Can be removed.

상기 제거하는 단계는 상기 제1 및 제2 프레임 이미지의 선명한 에지 성분을 유지하면서 상기 제1 및 제2 프레임 이미지에서 저주파 영역의 솔트-페퍼(Salt-Pepper) 노이즈를 고속 바이레터럴 필터(Fast-Bilateral Filter)를 이용하여 각각 제거할 수 있다.The method of claim 1, wherein the step of removing the salt-pepper noise in the first and second frame images is performed by using a Fast-by-Letter filter in a low frequency region while maintaining a sharp edge component of the first and second frame images. Bilateral Filter), respectively.

상기 고속 바이레터럴 필터는 저주파 노이즈를 공간 영역의 가우시안 필터와 빛의 강도 영역의 가우시안 필터에 따른 가중치가 적용된 하기 [수학식 1]에 따라 상기 제1 및 제2 프레임 이미지에서 저주파 영역의 솔트-페퍼(Salt-Pepper) 노이즈를 각각 제거할 수 있다.The high-speed by-product filter converts the low-frequency noise into a low-frequency region in the first and second frame images according to Equation (1), which is weighted by a Gaussian filter of a spatial domain and a Gaussian filter of a light intensity domain, Pepper noise can be removed, respectively.

[수학식 1][Equation 1]

Figure 112015058631384-pat00001
Figure 112015058631384-pat00001

(여기서, p, q는 픽셀 위치, I p 는 입력 이미지 Ip픽셀 값, Ω는 픽셀 p의 주변 값, k p 는 정규화(Normalizing) 팩터, f, gσ s , σ r 에 의한 가우시안 함수, J p 는 필터링된 이미지를 나타낸다.)(Wherein, p, q is the pixel location, I p is p pixel values of the input image I, Ω is a pixel near the value of p, k p is normalized (Normalizing) factor, f, g are Gaussian by σ s, σ r Function, J p represents the filtered image.)

상기 필터링하는 단계는 상기 변환된 주파수 영역의 제1 및 제2 프레임 이미지를 필터링하여 상기 바이레터럴 필터에 의해 손실된 에지(Edge) 성분을 보상할 수 있다.The filtering may filter the first and second frame images of the transformed frequency domain to compensate for edge components lost by the bi-lateral filter.

상기 필터링하는 단계는 저주파 로브(lobe)의 주파수, 고주파 로브의 주파수 및 저주파 로브의 가중치를 이용한 대비감도함수 필터를 통해 하기 [수학식 2]에 따라 상기 바이레터럴 필터에 의해 손실된 에지(Edge) 성분을 보상할 수 있다.Wherein the filtering is performed using a contrast sensitivity function filter using a frequency of a low-frequency lobe, a frequency of a high-frequency lobe, and a weight of a low-frequency lobe according to Equation (2) ) ≪ / RTI >

[수학식 2]&Quot; (2) "

Figure 112015058631384-pat00002
Figure 112015058631384-pat00002

(여기서, f 0 은 저주파 영역의 로브(lobe)이고, f 1 은 고주파 영역의 로브, α는 저주파 영역의 가중치를 나타낸다.) ( Where f 0 is a lobe in a low frequency region, f 1 is a lobe in a high frequency region, and ? Is a weight in a low frequency region).

본 명세서의 실시 예들은 보안 시스템에서 정확한 경고 발생은 사용자에게 중요한 문제인데, CMOS 이미지 센서를 사용하는 카메라에서 저조도 환경의 모션 검출 오류를 방지할 수 있다.Embodiments of the present invention can prevent a motion detection error in a low-illuminance environment in a camera using a CMOS image sensor, since accurate alerting in a security system is an important issue for a user.

본 명세서의 실시 예들은 저조도 환경에서 사용되는 감시정찰 장비 및 CCTV 카메라 등에 정확한 모션 검출 방법으로 이용될 수 있다. Embodiments of the present disclosure can be used as precise motion detection methods for monitoring surveillance equipment and CCTV cameras used in low-light environments.

본 명세서의 실시 예들은 카메라가 바라보는 장면에서 모션 등의 이벤트가 발생하면, 사용자에게 경고를 주는 기능이 있기 때문에 저조도 환경에서의 노이즈로 인해 잘못된 경고를 발생하는 문제를 해결할 수 있다.Embodiments of the present invention solve the problem of generating a false alarm due to noise in a low-illuminance environment because a function of giving a warning to a user when an event such as a motion occurs in a scene viewed by a camera.

도 1은 본 명세서의 일 실시 예에 따른 저조도 환경에서의 모션 검출 장치의 구성도이다.
도 2는 본 명세서에 적용된 바튼 모델의 대비감도함수에 대한 설명도이다.
도 3은 본 명세서의 일 실시 예에 따른 대비감도함수에 대한 설명도이다.
도 4는 종래의 모션 검출 장치에서의 검출 오차에 대한 설명도이다.
도 5는 본 명세서에 일 실시 예에 따른 모션 검출 장치에서의 모션 검출에 대한 설명도이다.
도 6은 본 명세서에 일 실시 예에 따른 모션 검출 장치에서의 모션 발생 이벤트에 대한 설명도이다.
도 7은 본 명세서의 일 실시 예에 따른 저조도 환경에서의 모션 검출 방법에 대한 흐름도이다.
1 is a block diagram of a motion detection apparatus in a low-illuminance environment according to an embodiment of the present invention.
2 is an explanatory diagram of the contrast sensitivity function of the Barton model applied to the present specification.
3 is an explanatory diagram of a contrast sensitivity function according to an embodiment of the present invention.
FIG. 4 is an explanatory diagram of a detection error in a conventional motion detection apparatus. FIG.
5 is an explanatory diagram of motion detection in a motion detection apparatus according to an embodiment of the present invention.
6 is an explanatory diagram of a motion generation event in the motion detection apparatus according to an embodiment of the present invention.
7 is a flowchart of a motion detection method in a low-illuminance environment according to an embodiment of the present invention.

이하, 본 명세서의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

실시 예를 설명함에 있어서 본 명세서가 속하는 기술 분야에 익히 알려져 있고 본 명세서와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 명세서의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.In describing the embodiments, descriptions of techniques which are well known in the technical field to which this specification belongs and which are not directly related to this specification are not described. This is for the sake of clarity without omitting the unnecessary explanation and without giving the gist of the present invention.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.For the same reason, some of the components in the drawings are exaggerated, omitted, or schematically illustrated. Also, the size of each component does not entirely reflect the actual size. In the drawings, the same or corresponding components are denoted by the same reference numerals.

도 1은 본 명세서의 일 실시 예에 따른 저조도 환경에서의 모션 검출 장치의 구성도이다.1 is a block diagram of a motion detection apparatus in a low-illuminance environment according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 명세서의 일 실시 예에 따른 모션 검출 장치(100)는 영상 입력부(110), 양방향 필터부(120), 영상 변환부(130), 대비감도 필터부(140), 영상 복원부(150), 차영상 산출부(160) 및 모션 검출부(170)를 포함한다.1, the motion detection apparatus 100 according to an exemplary embodiment of the present invention includes an image input unit 110, a bidirectional filter unit 120, an image conversion unit 130, a contrast sensitivity filter unit 140, An image restoration unit 150, a difference image calculation unit 160, and a motion detection unit 170.

이하, 본 명세서의 일 실시 예에 따른 모션 검출 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.Hereinafter, the specific configuration and operation of each component of the motion detection apparatus 100 according to the embodiment of the present invention will be described.

우선, 모션 검출 장치(100)는 저조도 환경에서 영상을 획득하여, 각 프레임별로 나눠서 처리한다. 모션 검출 장치(100)가 적용된 감시 장비는 야간에 명확한 영상 신호 획득을 위해 컬러가 아닌, 휘도 성분만을 사용한 영상을 사용할 수 있다.First, the motion detection apparatus 100 acquires an image in a low-illuminance environment, and divides the image for each frame. The surveillance apparatus to which the motion detection apparatus 100 is applied can use an image using only a luminance component rather than a color for obtaining a clear image signal at night.

구체적으로, 영상 입력부(110)는 카메라로부터 영상을 입력받는다. 영상 입력부(110)는 CMOS(Complementary metal-oxide semiconductor) 이미지 센서가 구비된 카메라로부터 영상을 획득하여 입력받을 수 있다. 즉, 영상 입력부(110)는 CMOS 이미지 센서를 사용하는 카메라의 영상을 입력받는다.More specifically, the image input unit 110 receives images from the camera. The image input unit 110 may acquire an image from a camera equipped with a CMOS (Complementary Metal-Oxide Semiconductor) image sensor and receive the image. That is, the image input unit 110 receives the image of the camera using the CMOS image sensor.

일례로, 영상 입력부(110)는 입력된 영상에서 사용자에 의해 선택된 선택 영상 영역을 양방향 필터부(120)로 전달할 수 있다. 다른 예로, 영상 입력부(110)는 입력된 영상에서 조도를 계산하고, 그 계산된 조도가 기설정된 조도 미만인 저조도 영상 영역을 상기 입력된 영상으로부터 추출하여 양방향 필터부(120)로 전달할 수 있다.For example, the video input unit 110 may transmit the selected video region selected by the user to the bidirectional filter unit 120 in the input video. As another example, the image input unit 110 may calculate the illuminance on the input image, extract the low illuminance image region having the calculated illuminance less than the preset illuminance from the input image, and transmit the extracted low illuminance image region to the bidirectional filter unit 120.

양방향 필터부(120)는 영상 입력부(110)에서 입력된 영상에서 제1 및 제2 프레임 이미지의 노이즈를 바이레터럴(Bilateral) 필터를 이용하여 각각 제거한다. 즉, 양방향 필터부(120)는 영상 입력부(110)에서 입력된 영상의 제1 프레임 이미지를 바이레터럴(Bilateral) 필터에 통과시켜, 영상의 모서리와 같은 고주파 부분을 최대한 유지하고, 저주파 영역의 솔트-페퍼(Salt-Pepper) 노이즈를 제거할 수 있다. 일례로, 양방향 필터부(120)는 바이레터럴 필터(bilateral filter)로 이루어진다. 여기서, 제1 및 제2 프레임 이미지의 노이즈를 각각 제거하기 위해 2개의 바이레터럴 필터로 이루어질 수 있으나, 특정 개수의 바이레이터럴 필터로 한정되지 않는다. 바이레이터럴 필터는 비선형 필터(Non-linear filter)로 이루어질 수 있다. 일례로, 바이레이터럴 필터는 2개의 가우시안 필터(Gaussian filter)로 이루어질 수 있다. 2개의 가우시안 필터는 공간 도메인(Spatial domain) 및 명도 도메인(Intensity domain)의 필터일 수 있다.The bidirectional filter unit 120 removes noise of the first and second frame images from the image input from the image input unit 110 using a bilateral filter. That is, the bidirectional filter unit 120 passes the first frame image of the image input from the image input unit 110 to the bilateral filter, thereby maintaining the high frequency part such as the edge of the image as much as possible, Salt-Pepper Noise can be removed. For example, the bidirectional filter unit 120 may be a bilateral filter. Here, to remove the noise of the first and second frame images, two bilateral filters may be used. However, the present invention is not limited to a specific number of binary filters. The bi-linear filter may be a non-linear filter. For example, the bifurcated filter may be composed of two Gaussian filters. The two Gaussian filters may be filters of a spatial domain and an intensity domain.

구체적으로 살펴보면, 양방향 필터부(120)는 제1 및 제2 프레임 이미지의 선명한 에지 성분을 유지하면서 제1 및 제2 프레임 이미지에서 저주파 영역의 솔트-페퍼(Salt-Pepper) 노이즈를 고속 바이레터럴 필터(Fast-Bilateral Filter)를 이용하여 각각 제거할 수 있다. 이때, 양방향 필터부(120)는 영상처리 속도를 위해 고속 바이레터럴 필터를 이용한다. 여기서, 고속 바이레터럴 필터는 저주파 노이즈를 공간 영역의 가우시안 필터와 빛의 강도 영역의 가우시안 필터에 따른 가중치가 적용된 하기 [수학식 1]에 따라 제1 및 제2 프레임 이미지에서 저주파 영역의 솔트-페퍼(Salt-Pepper) 노이즈를 각각 제거할 수 있다.Specifically, the bidirectional filter unit 120 may be configured to store the Salt-Pepper noise in the low frequency region in the first and second frame images while maintaining the sharp edge components of the first and second frame images, Can be removed using a filter (Fast-Bilateral Filter). At this time, the bidirectional filter unit 120 uses a fast by-product filter for image processing speed. Here, the high-speed by-productal filter is a low-speed, high-resolution filter that extracts low-frequency noise from a low-frequency region in the first and second frame images according to the following Equation 1 to which a weight according to a Gaussian filter of a spatial region and a Gaussian filter of a light intensity region is applied: Pepper noise can be removed, respectively.

Figure 112015058631384-pat00003
Figure 112015058631384-pat00003

여기서, p, q는 픽셀 위치, I p 는 입력 이미지 Ip픽셀 값, Ω는 픽셀 p의 주변 값, k p 는 정규화(Normalizing) 팩터, f, gσ s , σ r 에 의한 가우시안 함수, J p 는 필터링된 이미지를 나타낸다.Wherein, p, q is the pixel location, I p is p pixel values of the input image I, Ω is close to the value of pixel p, k p is normalized (Normalizing) factor, f, g is a Gaussian function by σ s, σ r , J p represents the filtered image.

상기 [수학식 1]과 같이, 바이레터럴 필터는 예리한 에지 성분을 유지하면서 저주파수 노이즈를 제거하기 위한 비선형(Non-linear) 필터로 이루어질 수 있다. 바이레터럴 필터는 입력 이미지의 픽셀의 명암도(Intensity)를 2차 항과 곱하여 공간 스무딩 커널(Spatial smoothing kernel)을 형성할 수 있다. 여기서, 2차 항은 일반적으로 레인지 항으로 나타나진다. As shown in Equation (1), the bi-linear filter may be a non-linear filter for eliminating low-frequency noise while maintaining a sharp edge component. The bilateral filter can form a spatial smoothing kernel by multiplying the intensity of a pixel of an input image with a quadratic term. Here, the second term is generally expressed as a range term.

영상 변환부(130)는 양방향 필터부(120)를 통해 노이즈가 제거된 제1 및 제2 프레임 이미지를 주파수 영역으로 각각 변환한다. 영상 변환부(130)는 제1 및 제2 프레임 이미지를 FFT 공간으로 이동시킨다. 이는 대비감도 필터부(140)에서 대비감도함수 필터를 적용시키기 위함이다.The image converting unit 130 converts the first and second frame images, from which noise has been removed, into the frequency domain through the bidirectional filter unit 120, respectively. The image transform unit 130 moves the first and second frame images into the FFT space. This is for applying the contrast sensitivity function filter in the contrast sensitivity filter unit 140.

일례로, 영상 변환부(130)는 고속 푸리에 변환(FFT: Fast Fourier Transform)으로 이루어진다. 여기서, 제1 및 제2 프레임 이미지를 주파수 영역으로 변환하기 위해, 2개의 FFT로 이루어질 수 있으나, 특정 개수의 FFT로 한정되지 않는다.For example, the image transforming unit 130 may be implemented by Fast Fourier Transform (FFT). Here, in order to convert the first and second frame images into the frequency domain, it may be composed of two FFTs, but is not limited to a specific number of FFTs.

양방향 필터부(120)에서의 고속 바이레터럴 필터를 통과한 영상은 고주파 부분의 손상을 가져 오기 때문에 이를 보상해주는 작업이 요구된다.Since the image passed through the fast by-product filter in the bidirectional filter unit 120 causes damage to the high frequency portion, an operation for compensating the high frequency portion is required.

이러한 보상 작업을 위해, 대비감도 필터부(140)는 영상 변환부(130)에서 변환된 주파수 영역의 제1 및 제2 프레임 이미지를 대비감도함수(CSF: Contrast Sensitivity Function) 필터를 통해 필터링한다. 여기서, 대비감도함수(CSF) 필터는 인간 시각 특성을 고려한 필터이다. 대비감도함수(CSF) 필터는 노이즈 성분이 아닌 사람에게 가장 민감한 영역만을 향상시켜주는 기능을 수행한다. 또한, 대비감도는 콘트라스트 감도로 지칭될 수 있으며, 휘도대비 또는 명암대비의 감도를 의미한다. 즉, 밝은 것과 어두운 것과의 강도 차이를 의미한다. 콘트라스트는 색상(Color) 또는 밝기(Brightness) 차이나 대비의 강도를 말한다.For this compensation operation, the contrast sensitivity filter unit 140 filters the first and second frame images in the frequency domain converted by the image conversion unit 130 through a contrast sensitivity function (CSF) filter. Here, the contrast sensitivity function (CSF) filter is a filter considering human visual characteristics. The contrast sensitivity function (CSF) filter performs the function of improving only the region most sensitive to the non-noise component. Also, the contrast sensitivity can be referred to as a contrast sensitivity, and it means a sensitivity of brightness contrast or contrast. That is, it means a difference in intensity between bright and dark. Contrast refers to the difference in color or brightness or the intensity of contrast.

대비감도 필터부(140)는 영상 변환부(130)에서 변환된 주파수 영역의 제1 및 제2 프레임 이미지를 필터링하여 바이레터럴 필터에 의해 손실된 에지(Edge) 성분을 보상할 수 있다. 대비감도 필터부(140)는 저주파 로브(lobe)의 주파수, 고주파 로브의 주파수 및 저주파 로브의 가중치를 이용한 대비감도함수 필터를 통해 하기 [수학식 2]에 따라 바이레터럴 필터에 의해 손실된 에지 성분을 보상할 수 있다.The contrast sensitivity filter unit 140 may filter the first and second frame images of the frequency domain converted by the image conversion unit 130 to compensate for the edge components lost by the bilateral filter. The contrast sensitivity filter unit 140 performs a contrast sensitivity function filter using a frequency of a low-frequency lobe, a frequency of a high-frequency lobe, and a weight of a low-frequency lobe according to Equation (2) Components can be compensated.

Figure 112015092295805-pat00020
Figure 112015092295805-pat00020

여기서, f0 은 저주파 영역의 로브(lobe)이고, f1 은 고주파 영역의 로브, α는 저주파 영역의 가중치,

Figure 112015092295805-pat00021
는 가우시안 함수를 나타낸다.Here, f 0 is a lobe in a low frequency region, f 1 is a lobe in a high frequency region, α is a weight in a low frequency region,
Figure 112015092295805-pat00021
Represents a Gaussian function.

영상 복원부(150)는 대비감도 필터부(140)를 통해 필터링된 주파수 영역의 제1 및 제2 프레임 이미지를 공간 영역으로 복원한다. 영상 복원부(150)는 역고속 푸리에 변환(IFFT: Inverse Fast Fourier Transform)으로 이루어진다. 즉, 영상 복원부(150)는 FFT 공간의 이미지를 다시 IFFT로 원영상으로 복원시킨다. 여기서, 제1 및 제2 프레임 이미지를 공간 영역으로 복원하기 위해, 2개의 IFFT로 이루어질 수 있으나, 특정 개수의 IFFT로 한정되지 않는다.The image reconstruction unit 150 reconstructs the first and second frame images of the filtered frequency domain through the contrast sensitivity filter unit 140 into a spatial domain. The image restoring unit 150 is made of Inverse Fast Fourier Transform (IFFT). That is, the image restoring unit 150 restores the image of the FFT space to the original image by IFFT again. Here, in order to recover the first and second frame images into the spatial domain, they may be composed of two IFFTs, but are not limited to a specific number of IFFTs.

차영상 산출부(160)는 영상 복원부(150)에서 복원된 제1 및 제2 프레임 이미지 간의 차영상을 산출한다. 차영상 산출부(160)는 양방향 필터부(120), 영상 변환부(130), 대비감도 필터부(140) 및 영상 복원부(150)를 통해 영상 처리된 제1 프레임 및 제2 프레임의 이미지의 차영상(Difference image)을 구한다. 여기서, 도 1에 도시된 바와 같이, 모션 검출 장치(100)는 제1 및 제2 프레임 이미지를 프레임별로 나눠서 각각 동시에 처리할 수 있다. 다른 예로, 모션 검출 장치(100)는 제1 프레임 이미지에 대해서 영상 처리를 수행하고, 제1 프레임 이미지의 영상 처리가 완료되면 제2 프레임 이미지에 대한 영상 처리를 수행할 수 있다. 이후, 모션 검출 장치(100)의 차영상 산출부(160)는 동시에 처리되거나 순차적으로 처리된 제1 및 제2 프레임 이미지 간의 차영상을 산출한다.The difference image calculating unit 160 calculates a difference image between the first and second frame images reconstructed by the image reconstructing unit 150. The difference image calculating unit 160 calculates the difference image of the first frame and the second frame image-processed through the bidirectional filter unit 120, the image conversion unit 130, the contrast sensitivity filter unit 140, (Difference image). Here, as shown in FIG. 1, the motion detection apparatus 100 may process the first and second frame images separately for each frame and simultaneously process them. As another example, the motion detection apparatus 100 may perform image processing on the first frame image, and may perform image processing on the second frame image when the image processing of the first frame image is completed. Then, the difference image calculation unit 160 of the motion detection apparatus 100 calculates a difference image between the first and second frame images processed at the same time or sequentially.

모션 검출부(170)는 차영상 산출부(160)에서 산출된 차영상의 화소값을 모션 발생 임계치와 비교하여 모션 발생을 검출한다. 이때, 차영상에는 저주파 영역의 저주파 노이즈가 제거되고, 고주파 영역의 모션 만이 남아 있다. 따라서, 모션 검출부(170)는 차영상의 화소값을 임계치와 비교하여 모션 발생을 판단할 수 있다.The motion detecting unit 170 compares the pixel value of the difference image calculated by the difference image calculating unit 160 with a motion occurrence threshold to detect motion occurrence. At this time, the low frequency noise in the low frequency region is removed from the difference image, and only the motion in the high frequency region remains. Therefore, the motion detector 170 can compare the pixel value of the difference image with a threshold value to determine the occurrence of motion.

즉, 모션 검출부(170)는 차영상 산출부(160)에서 산출된 두 영상의 차 즉, 차영상의 화소값을 사용자가 미리 설정한 임계치와 비교한다. 만약, 차영상의 화소값이 임계치 이상이면, 모션 검출부(170)는 모션 발생을 사용자에게 알려줄 수 있다. 반면, 차영상의 화소값이 임계치 미만이면, 모션 검출부(170)는 모션 이벤트가 발생하지 않는다고 판단하여 사용자에게 경고하지 않는다. 여기서, 모션 발생 임계치는 미리 사용자가 원하는 모션 발생 임계치가 미리 설정될 수 있다. 또한, 모션 발생 임계치는 모션 검출 장치(100)의 초기 값으로 미리 설정되어 모션 검출부(170)에 저장될 수 있다.That is, the motion detector 170 compares the pixel value of the difference between the two images calculated by the difference image calculating unit 160 with a threshold preset by the user. If the pixel value of the difference image is equal to or larger than the threshold value, the motion detector 170 can inform the user of the motion occurrence. On the other hand, if the pixel value of the difference image is less than the threshold value, the motion detector 170 determines that the motion event does not occur and does not warn the user. Here, the motion generation threshold value may be preset in advance by the motion generation threshold desired by the user. In addition, the motion generation threshold may be preset to an initial value of the motion detection apparatus 100 and stored in the motion detection unit 170. [

도 2는 본 명세서에 적용된 바튼 모델의 대비감도함수에 대한 설명도이다.2 is an explanatory diagram of the contrast sensitivity function of the Barton model applied to the present specification.

바튼 모델의 대비감도함수(Contrast Sensitivity Function)는 2가지의 모델들로 개발되었다. 하나의 모델은 상대적으로 복잡하고 생리학적으로 영감을 가진다. 다른 모델은 상대적으로 간단하고, 경험적으로 정신 물리학 데이터에 적합하다. 후자의 모델은 하기의 [수학식 3]과 같이 나타내진다.The Contrast Sensitivity Function of the Barton model was developed in two models. One model is relatively complex and physiologically inspirational. Other models are relatively simple and empirically fit for psychophysical data. The latter model is expressed by the following equation (3).

Figure 112015058631384-pat00005
Figure 112015058631384-pat00005

여기서,

Figure 112015058631384-pat00006
, here,
Figure 112015058631384-pat00006
,

Figure 112015058631384-pat00007
,
Figure 112015058631384-pat00008
를 나타낸다.
Figure 112015058631384-pat00007
,
Figure 112015058631384-pat00008
.

여기서, f는 자극의 공간 주파수(spatial frequency of the stimulus)[cycle/degree], w 는 시각의 각도에서의 자극 크기(stimulus size in degrees of visual angle), L은 평균 휘도(mean luminance)[cd/m2]를 나타낸다.Where f is the spatial frequency of the stimulus [cycle / degree], w is the stimulus size in degrees of visual angle, L is mean luminance [cd / m 2 ].

대비감도함수는 X축의 공간 주파수와 Y축의 콘트라스트 감도로 이루어져 있다. 자극의 크기(Stimulus of size)가 10 [cycle/degree]이고, 평균 휘도가 50(점선), 2.5(대시 라인), 0.025 (굵은 실선)[cd/m2]인 경우에 대한 예시가 도 2에 도시되어 있다.The contrast sensitivity function consists of the spatial frequency of the X axis and the contrast sensitivity of the Y axis. An example of the case where the stimulus size is 10 [cycle / degree] and the average luminance is 50 (dashed line), 2.5 (dash line), 0.025 (thick solid line) [cd / m 2 ] Respectively.

도 3은 본 명세서의 일 실시 예에 따른 대비감도함수에 대한 설명도이다.3 is an explanatory diagram of a contrast sensitivity function according to an embodiment of the present invention.

본 명세서의 일 실시 예에 따른 대비감도 필터부(140)에 적용되는 대비감도함수(Contrast Sensitivity Function)는 상기 [수학식 2]와 같이 나타내진다.The Contrast Sensitivity Function applied to the contrast sensitivity filter unit 140 according to an embodiment of the present invention is expressed by Equation (2).

대비감도함수 필터는 2차원 이산 푸리에 변환(DFT) 도메인(Domain)에서 1차원 CSF를 샘플링하여 생성된 이산 디지털(Discrete digital)의 유한 임펄스 응답(FIR: finite impulse response)로 이루어질 수 있다. The contrast sensitivity function filter can be made of a discrete digital finite impulse response (FIR) generated by sampling a one-dimensional CSF in a two-dimensional discrete Fourier transform (DFT) domain.

대비감도 필터부(140)는 선명도 보상을 위해 경사 효과 필터(OEF: Oblique Effect Filter)를 이용할 수 있다. 경사 효과는 경사 방향들에서 콘트라스트 감도는 감소하는 것을 의미한다. 모델-페스트 데이터(Model-fest data)는 이러한 효과를 효과적으로 제한하기 위해 변화하는 주파수들에서 충분한 경사 패턴들(oblique patterns)을 포함하지 않는다. 그래서 본 명세서의 일 실시 예에 따른 대비감도함수 필터는 경사 효과 모델을 기초로 한다.The contrast sensitivity filter unit 140 may use an oblique effect filter (OEF) for sharpness compensation. The slope effect means that the contrast sensitivity decreases in the oblique directions. Model-fest data does not include sufficient oblique patterns at varying frequencies to effectively limit this effect. Thus, the contrast sensitivity function filter according to one embodiment of the present disclosure is based on a slope effect model.

도 3에 도시된 바와 같이, 대비감도함수는 X축의 공간 주파수와 Y축의 이득으로 이루어져 있다. As shown in FIG. 3, the contrast sensitivity function is composed of the spatial frequency of the X-axis and the gain of the Y-axis.

여기서, 본 명세서의 일 실시 예에 따른 대비감도함수 필터는 저주파 영역의 로브인 f 0 가 0.3이고, 고주파 영역의 로브인 f 1 가 2이고, 저주파 영역의 가중치인 α가 0.688이다. 이러한 경우에 대한 예시가 도 3에 도시되어 있다.Here, the contrast sensitivity function filters according to one embodiment of the disclosure is a lobe of the low frequency f 0 to 0.3 region, and the lobe of the high frequency f 1 of the area 2, the weight of α in the low frequency area 0.688. An example of such a case is shown in Fig.

도 4는 종래의 모션 검출 장치에서의 검출 오차에 대한 설명도이다.FIG. 4 is an explanatory diagram of a detection error in a conventional motion detection apparatus. FIG.

종래의 모션 검출 장치는 저조도 환경에서 제1 프레임 이미지(401) 및 제2 프레임 이미지(402)를 입력받는다. 이때, 저조도 환경에서의 저주파수 노이즈가 제1 프레임 이미지(401) 또는 제2 프레임 이미지(402)에 발생할 수 있다.The conventional motion detection apparatus receives the first frame image 401 and the second frame image 402 in a low-illuminance environment. At this time, low-frequency noise in a low-illuminance environment may occur in the first frame image 401 or the second frame image 402.

그리고 종래의 모션 검출 장치는 제1 프레임 이미지(401) 및 제2 프레임 이미지(402) 간의 차영상(403)을 산출한다.Then, the conventional motion detection apparatus calculates the difference image 403 between the first frame image 401 and the second frame image 402.

이어서, 종래의 모션 검출 장치는 산출된 차영상(403)의 화소값을 미리 설정된 모션 발생 임계치와 비교한다. Then, the conventional motion detection apparatus compares the pixel value of the calculated difference image 403 with a preset motion occurrence threshold value.

종래의 모션 검출 장치는 상기 비교 결과, 산출된 차영상(403)의 화소값이 모션 발생 임계치 이상으로 판단되어 모션 발생에 대한 경고를 사용자에게 알리게 된다.In the conventional motion detection apparatus, as a result of the comparison, the pixel value of the calculated difference image 403 is determined to be equal to or greater than the motion occurrence threshold, and the user is alerted to the motion occurrence.

종래의 모션 검출 장치는 도 4에 도시된 바와 같이, 저조도 환경에서는 제1 프레임 이미지(401) 및 제2 프레임 이미지(402)에서 모션이 발생하지 않은 경우에도 저주파수 노이즈를 통해 모션이 발생한 것으로 잘못 판단하게 된다.In the conventional motion detection apparatus, as shown in FIG. 4, even in the case where no motion occurs in the first frame image 401 and the second frame image 402 in a low-illuminance environment, it is determined that motion is generated through low- .

도 5는 본 명세서에 일 실시 예에 따른 모션 검출 장치에서의 모션 검출에 대한 설명도이다.5 is an explanatory diagram of motion detection in a motion detection apparatus according to an embodiment of the present invention.

본 명세서에 일 실시 예에 따른 모션 검출 장치(100)는 저조도 환경에서 제1 프레임 이미지(501) 및 제2 프레임 이미지(502)를 입력받는다. 그리고 모션 검출 장치(100)는 양방향 필터부(120), 영상 변환부(130), 대비감도 필터부(140) 및 영상 복원부(150)를 통해 노이즈를 제거하면서 에지 성분을 보상한다. 이때, 저조도 환경에서의 저주파수 노이즈가 제1 프레임 이미지(501) 또는 제2 프레임 이미지(502)에 발생할 수 있다.The motion detection apparatus 100 according to an embodiment receives a first frame image 501 and a second frame image 502 in a low-illuminance environment. The motion detection apparatus 100 compensates for edge components while removing noise through the bidirectional filter unit 120, the image transformation unit 130, the contrast sensitivity filter unit 140, and the image reconstruction unit 150. At this time, low-frequency noise in a low-illuminance environment may occur in the first frame image 501 or the second frame image 502.

그리고 본 명세서에 따른 모션 검출 장치(100)는 영상 처리된 제1 프레임 이미지(501) 및 제2 프레임 이미지(502) 간의 차영상(503)을 산출한다.Then, the motion detection apparatus 100 according to the present invention calculates a difference image 503 between the first frame image 501 and the second frame image 502 subjected to image processing.

이어서, 모션 검출 장치(100)는 산출된 차영상(503)의 화소값을 미리 설정된 모션 발생 임계치와 비교한다. Subsequently, the motion detection apparatus 100 compares the pixel value of the calculated difference image 503 with a predetermined motion generation threshold.

본 명세서에 따른 모션 검출 장치(100)는 상기 비교 결과, 산출된 차영상(503)의 화소값이 모션 발생 임계치 미만으로 판단되어 모션이 발생하지 않아 사용자에게 경고하지 않게 된다.As a result of the comparison, the motion detection apparatus 100 according to the present invention does not warn the user because motion is not generated because the pixel value of the calculated difference image 503 is determined to be less than the motion occurrence threshold value.

본 명세서에 따른 모션 검출 장치(100)는 도 5에 도시된 바와 같이, 저조도 환경에서는 제1 프레임 이미지(401) 또는 제2 프레임 이미지(402)에서 저주파수 노이즈가 발생하더라도 영상 처리를 통해 노이즈를 제거함으로써, 검출 오차를 방지할 수 있다.5, in the low-illuminance environment, the motion detection apparatus 100 according to the present invention can remove noise through image processing even if low-frequency noise occurs in the first frame image 401 or the second frame image 402 Detection error can be prevented.

한편, 종래의 모션 검출 장치와 본 명세서에 따른 모션 검출 장치(100) 간의 신호대잡음비(SNR: Signal-to-noise ratio)를 도 4 및 도 5에 대한 실험 영상으로 측정한 결과를 비교하면 다음과 같다.4 and 5, the signal-to-noise ratio (SNR) between the conventional motion detection apparatus and the motion detection apparatus 100 according to the present invention is measured. same.

Figure 112015058631384-pat00009
Figure 112015058631384-pat00009

여기서,

Figure 112015058631384-pat00010
를 나타낸다.here,
Figure 112015058631384-pat00010
.

신호대잡음비(SNR)는 상기 [수학식 4]와 같이 산출된다. 그 산출된 신호대잡음비(SNR)은 하기 [표 1]과 같이 나타내진다.The signal-to-noise ratio (SNR) is calculated according to Equation (4). The calculated signal-to-noise ratio (SNR) is shown in Table 1 below.

구분division SNR [dB]SNR [dB] 도 4의 모션 검출 장치(종래)The motion detection device (conventional) 1.101.10 도 5의 모션 검출 장치(본 발명)The motion detection apparatus of FIG. 5 (present invention) 1.591.59

상기 [표 1]과 같이, 종래의 모션 검출 장치에서 산출된 차영상의 신호대잡음비가 1.10로서 저주파수 노이즈가 제거되지 않은 것을 알 수 있다. 이에 반하여, 본 명세서에 따른 모션 검출 장치(100)에서 산출된 차영상의 신호대잡음비는 1.59로서 종래 대비 저주파수 노이즈가 감소된 것으로 확인된다.As shown in Table 1, it can be seen that the signal-to-noise ratio of the difference image calculated by the conventional motion detection apparatus is 1.10, so that the low-frequency noise is not removed. In contrast, the signal-to-noise ratio of the difference image calculated by the motion detection apparatus 100 according to the present invention is 1.59, which indicates that the low-frequency noise is reduced compared to the conventional method.

도 6은 본 명세서에 일 실시 예에 따른 모션 검출 장치에서의 모션 발생 이벤트에 대한 설명도이다.6 is an explanatory diagram of a motion generation event in the motion detection apparatus according to an embodiment of the present invention.

본 명세서에 일 실시 예에 따른 모션 검출 장치(100)는 저조도 환경에서 제1 프레임 이미지(601) 및 제2 프레임 이미지(602)를 입력받는다. 여기서, 저조도 환경에서의 저주파수 노이즈가 제1 프레임 이미지(601) 또는 제2 프레임 이미지(602)에 발생할 수 있다. 또한, 제2 프레임 이미지(602)에는 모션이 발생한 것으로 식별된다.The motion detection apparatus 100 according to an embodiment receives a first frame image 601 and a second frame image 602 in a low-illuminance environment. Here, low-frequency noise in a low-illuminance environment may occur in the first frame image 601 or the second frame image 602. [ Also, in the second frame image 602, motion is identified as occurring.

도 5와 동일한 영상 처리 결과, 모션 검출 장치(100)는 저주파 노이즈를 제거하면서 에지 성분을 보상한다.5, the motion detection apparatus 100 compensates for edge components while eliminating low-frequency noise.

그리고 본 명세서에 따른 모션 검출 장치(100)는 영상 처리된 제1 프레임 이미지(601) 및 모션이 발생한 제2 프레임 이미지(502) 간의 차영상(603)을 산출한다.The motion detection apparatus 100 according to the present invention calculates the difference image 603 between the first frame image 601 subjected to the image processing and the second frame image 502 where motion occurs.

이어서, 모션 검출 장치(100)는 산출된 차영상(603)의 화소값을 미리 설정된 모션 발생 임계치와 비교한다.Subsequently, the motion detection apparatus 100 compares the pixel value of the calculated difference image 603 with a preset motion occurrence threshold value.

본 명세서에 따른 모션 검출 장치(100)는 상기 비교 결과, 산출된 차영상(603)의 모션 발생 영역(604)으로 인해 화소값이 모션 발생 임계치 이상으로 판단되어 모션 발생 이벤트를 사용자에게 경고하게 된다.As a result of the comparison, the motion detection apparatus 100 according to the present invention determines that the pixel value is greater than or equal to the motion generation threshold due to the motion generation region 604 of the calculated difference image 603, thereby alerting the user of the motion generation event .

따라서 본 명세서에 따른 모션 검출 장치(100)는 도 6에 도시된 바와 같이, 저조도 환경에서의 저주파 노이즈를 제거하면서 모션 발생 이벤트를 정확하게 검출할 수 있다.Therefore, the motion detection apparatus 100 according to the present invention can accurately detect a motion occurrence event while eliminating low-frequency noise in a low-illuminance environment, as shown in FIG.

도 7은 본 명세서의 일 실시 예에 따른 저조도 환경에서의 모션 검출 방법에 대한 흐름도이다.7 is a flowchart of a motion detection method in a low-illuminance environment according to an embodiment of the present invention.

본 명세서에 따른 모션 검출 장치(100)는 카메라의 영상을 획득한다(S702).The motion detection apparatus 100 according to the present invention acquires an image of the camera (S702).

그리고 모션 검출 장치(100)는 모션 발생의 임계치를 설정한다(S704). 여기서, 모션 발생의 임계치는 사용자에 의해 미리 설정될 수도 있고, 모션 검출시에 설정될 수 있다.Then, the motion detection apparatus 100 sets a threshold value of motion generation (S704). Here, the threshold value of motion generation may be preset by the user or may be set at motion detection.

이후, 모션 검출 장치(100)는 첫 번째 프레임의 이미지(제1 프레임 이미지)에 대해서 S706 내지 S712 단계에 따라 영상 처리를 수행한다.Thereafter, the motion detection apparatus 100 performs image processing according to steps S706 to S712 for the first frame image (first frame image).

S706 내지 S712 단계에 대해서 살펴보면, 모션 검출 장치(100)는 첫 번째 프레임의 이미지의 노이즈를 양방향 필터(바이레터럴 필터)를 이용하여 노이즈 제거한다(S706).Referring to steps S706 to S712, the motion detection apparatus 100 removes noise of an image of the first frame using a bidirectional filter (a bilateral filter) (S706).

그리고 모션 검출 장치(100)는 S706 단계에서 노이즈 제거된 첫 번째 프레임의 이미지를 주파수 공간으로 변환한다(S708).In operation S706, the motion detection apparatus 100 converts the image of the noise-removed first frame into a frequency space.

이어서, 모션 검출 장치(100)는 S708 단계에서 변환된 첫 번째 프레임의 이미지를 대비감도함수(CSF) 필터를 통해 필터링한다(S710).Subsequently, the motion detection apparatus 100 filters the image of the first frame converted in step S708 through a contrast sensitivity function (CSF) filter (step S710).

이후, 모션 검출 장치(100)는 필터링된 주파수 공간의 첫 번째 프레임의 이미지를 원영상으로 복구한다(S712).Then, the motion detection apparatus 100 restores the original image of the first frame of the filtered frequency space (S712).

한편, 모션 검출 장치(100)는 두 번째 프레임의 이미지(제2 프레임 이미지)에 대해서 S714 내지 S720 단계에 따라 영상 처리를 수행한다.On the other hand, the motion detection apparatus 100 performs image processing according to steps S714 to S720 for the image of the second frame (second frame image).

S714 내지 S720 단계에 대해서 살펴보면, 모션 검출 장치(100)는 두 번째 프레임의 이미지의 노이즈를 양방향 필터(바이레터럴 필터)를 이용하여 노이즈 제거한다(S714).Referring to steps S714 to S720, the motion detection apparatus 100 removes noise of the image of the second frame using a bidirectional filter (a bilateral filter) (S714).

그리고 모션 검출 장치(100)는 S706 단계에서 노이즈 제거된 두 번째 프레임의 이미지를 주파수 공간으로 변환한다(S716).In operation S716, the motion detection apparatus 100 converts the image of the noise-removed second frame into a frequency space.

이어서, 모션 검출 장치(100)는 S708 단계에서 변환된 두 번째 프레임의 이미지를 대비감도함수(CSF) 필터를 통해 필터링한다(S710).Subsequently, the motion detection apparatus 100 filters the image of the second frame converted in step S708 through a contrast sensitivity function (CSF) filter (step S710).

이후, 모션 검출 장치(100)는 필터링된 주파수 공간의 두 번째 프레임의 이미지를 원영상으로 복구한다(S712).Then, the motion detection apparatus 100 restores the original image of the image of the second frame of the filtered frequency space (S712).

여기서, 첫 번째 프레임의 이미지(제1 프레임 이미지)에 대해서 S706 내지 S712 단계에 따른 영상 처리 과정과 두 번째 프레임의 이미지(제2 프레임 이미지)에 대해서 S714 내지 S720 단계에 따른 영상 처리 과정은 동시에 병렬적으로 수행될 수 있고, 순차적으로 수행될 수도 있다. Here, with respect to the image of the first frame (the first frame image), the image processing according to the steps S706 to S712 and the image processing according to the steps S714 to S720 with respect to the image of the second frame (the second frame image) And may be performed sequentially.

첫 번째 및 두 번째 프레임의 이미지에 대한 영상 처리 과정이 모두 완료된 이후, 모션 검출 장치(100)는 영상 처리된 첫 번째 및 두 번째 프레임의 영상의 차 영상을 구한다(S722).After all the image processing processes for the images of the first and second frames are completed, the motion detection apparatus 100 obtains difference images of the images of the first and second frames subjected to the image processing (S722).

모션 검출 장치(100)는 차 영상의 화소값을 기설정된 모션 발생의 임계치와 비교하여 모션 발생을 인식한다(S724). 즉, 모션 검출 장치(100)는 저주파수 노이즈가 발생하더라도 영상 처리를 통해 저주파수 노이즈를 제거된 경우에 차 영상의 화소값이 모션 발생 임계치 미만이면, 모션이 발생하지 않은 것으로 판단하여 사용자에게 경고하지 않는다. 반면, 모션 검출 장치(100)는 차 영상의 화소값이 모션 발생 임계치 이상이면, 모션이 발생한 것으로 판단하여 사용자에게 경고한다.The motion detection apparatus 100 compares the pixel value of the difference image with a predetermined threshold value of motion generation to recognize motion occurrence (S724). That is, when the low frequency noise is removed through the image processing even if the low frequency noise occurs, the motion detection apparatus 100 does not warn the user when the pixel value of the difference image is less than the motion generation threshold, . On the other hand, when the pixel value of the difference image is equal to or larger than the motion occurrence threshold value, the motion detection apparatus 100 determines that motion has occurred and warns the user.

본 명세서가 속하는 기술분야의 통상의 지식을 가진 자는 본 명세서가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 명세서의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 명세서의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that the present specification may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present specification is defined by the appended claims rather than the foregoing detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents are included in the scope of the present specification Should be interpreted.

한편, 본 명세서와 도면에는 본 명세서의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 명세서의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 명세서의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 명세서의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It is not intended to limit the scope of the specification. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

100: 모션 검출 장치
110: 영상 입력부
120: 양방향 필터부
130: 영상 변환부
140: 대비감도 필터부
150: 영상 복원부
160: 차영상 산출부
170: 모션 검출부
100: Motion detection device
110:
120: bidirectional filter unit
130:
140: Contrast sensitivity filter section
150:
160: car image calculation unit
170:

Claims (8)

카메라로부터 영상을 입력받는 단계;
상기 입력된 영상에서 사용자에 의해 선택 영상 영역을 선택받는 단계;
상기 선택된 선택 영상 영역에서의 제1 및 제2 프레임 이미지의 노이즈를 제거하되, 상기 선택된 선택 영상 영역에서 제1 및 제2 프레임 이미지의 노이즈를 바이레터럴(Bilateral) 필터를 이용하여 각각 제거하는 단계;
상기 노이즈가 제거된 제1 및 제2 프레임 이미지를 주파수 영역으로 각각 변환하는 단계;
상기 변환된 주파수 영역의 제1 및 제2 프레임 이미지를 대비감도함수(Contrast Sensitivity Function) 필터를 통해 필터링하는 단계;
상기 필터링된 주파수 영역의 제1 및 제2 프레임 이미지를 공간 영역으로 복원하는 단계;
상기 복원된 제1 및 제2 프레임 이미지 간의 차영상을 산출하는 단계; 및
상기 산출된 차영상의 화소값을 모션 발생 임계치와 비교하여 모션 발생을 검출하는 단계
를 포함하는 모션 검출 방법.
Receiving an image from a camera;
Receiving a selected image region from the input image by a user;
Removing noise of the first and second frame images in the selected image region by using a bilateral filter, removing noises of the first and second frame images in the selected image region, respectively, ;
Transforming the noise-removed first and second frame images into a frequency domain, respectively;
Filtering the first and second frame images of the transformed frequency domain through a Contrast Sensitivity Function filter;
Restoring the first and second frame images of the filtered frequency domain into a spatial domain;
Calculating a difference image between the restored first and second frame images; And
Detecting a motion occurrence by comparing the calculated pixel value of the difference image with a motion occurrence threshold value
Gt;
제1항에 있어서,
상기 영상을 입력받는 단계는
CMOS(Complementary metal-oxide semiconductor) 이미지 센서가 구비된 카메라로부터 영상을 획득하여 입력받는 모션 검출 방법.
The method according to claim 1,
The step of receiving the image
A motion detection method for acquiring and inputting an image from a camera equipped with a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
삭제delete 제1항에 있어서,
상기 입력된 영상에서 조도를 계산하는 단계; 및
상기 계산된 조도가 기설정된 조도 미만인 저조도 영상 영역을 상기 입력된 영상으로부터 추출하는 단계를 더 포함하고,
상기 제거하는 단계는 상기 추출된 저조도 영상 영역에서의 제1 및 제2 프레임 이미지의 노이즈를 제거하는 모션 검출 방법.
The method according to claim 1,
Calculating illuminance from the input image; And
Further comprising extracting a low-illuminance image region in which the calculated illuminance is less than a preset illuminance from the input image,
Wherein the eliminating step removes noise of the first and second frame images in the extracted low-illuminance image area.
제1항에 있어서,
상기 제거하는 단계는
상기 제1 및 제2 프레임 이미지의 선명한 에지 성분을 유지하면서 상기 제1 및 제2 프레임 이미지에서 저주파 영역의 솔트-페퍼(Salt-Pepper) 노이즈를 고속 바이레터럴 필터(Fast-Bilateral Filter)를 이용하여 각각 제거하는 모션 검출 방법.
The method according to claim 1,
The step of removing
The Salt-Pepper noise of the low-frequency region in the first and second frame images while maintaining a sharp edge component of the first and second frame images using a Fast-Bilateral Filter Respectively.
제5항에 있어서,
상기 고속 바이레터럴 필터는
저주파 노이즈를 공간 영역의 가우시안 필터와 빛의 강도 영역의 가우시안 필터에 따른 가중치가 적용된 하기 [수학식 1]에 따라 상기 제1 및 제2 프레임 이미지에서 저주파 영역의 솔트-페퍼(Salt-Pepper) 노이즈를 각각 제거하는 모션 검출 방법.
[수학식 1]
Figure 112015058631384-pat00011

(여기서, p, q는 픽셀 위치, I p 는 입력 이미지 Ip픽셀 값, Ω는 픽셀 p의 주변 값, k p 는 정규화(Normalizing) 팩터, f, gσ s , σ r 에 의한 가우시안 함수, J p 는 필터링된 이미지를 나타낸다.)
6. The method of claim 5,
The high speed by-product filter
In the first and second frame images according to the following Equation (1), the low-frequency noise is weighted according to the Gaussian filter of the spatial domain and the Gaussian filter of the intensity domain of the light, and the Salt-Pepper noise Respectively.
[Equation 1]
Figure 112015058631384-pat00011

(Wherein, p, q is the pixel location, I p is p pixel values of the input image I, Ω is a pixel near the value of p, k p is normalized (Normalizing) factor, f, g are Gaussian by σ s, σ r Function, J p represents the filtered image.)
제1항에 있어서,
상기 필터링하는 단계는
상기 변환된 주파수 영역의 제1 및 제2 프레임 이미지를 필터링하여 상기 바이레터럴 필터에 의해 손실된 에지(Edge) 성분을 보상하는 모션 검출 방법.
The method according to claim 1,
The filtering step
And filtering the first and second frame images of the transformed frequency domain to compensate for edge components lost by the bidirectional filter.
제7항에 있어서,
상기 필터링하는 단계는
저주파 로브(lobe)의 주파수, 고주파 로브의 주파수 및 저주파 로브의 가중치를 이용한 대비감도함수 필터를 통해 하기 [수학식 2]에 따라 상기 바이레터럴 필터에 의해 손실된 에지(Edge) 성분을 보상하는 모션 검출 방법.
[수학식 2]
Figure 112015092295805-pat00022

(여기서, f0 은 저주파 영역의 로브(lobe)이고, f1 은 고주파 영역의 로브, α는 저주파 영역의 가중치,
Figure 112015092295805-pat00023
는 가우시안 함수를 나타낸다.)
8. The method of claim 7,
The filtering step
The edge component lost by the bidirectional filter is compensated by the contrast sensitivity function filter using the frequency of the low-frequency lobe, the frequency of the high-frequency lobe, and the weight of the low-frequency lobe according to Equation (2) A motion detection method.
&Quot; (2) "
Figure 112015092295805-pat00022

( Where f 0 is a lobe in a low frequency region, f 1 is a lobe in a high frequency region, α is a weight in a low frequency region,
Figure 112015092295805-pat00023
Represents a Gaussian function.)
KR1020150085962A 2015-06-17 2015-06-17 Method for detecting motion in low light level enviroment KR101589719B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150085962A KR101589719B1 (en) 2015-06-17 2015-06-17 Method for detecting motion in low light level enviroment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150085962A KR101589719B1 (en) 2015-06-17 2015-06-17 Method for detecting motion in low light level enviroment

Publications (1)

Publication Number Publication Date
KR101589719B1 true KR101589719B1 (en) 2016-01-28

Family

ID=55310002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150085962A KR101589719B1 (en) 2015-06-17 2015-06-17 Method for detecting motion in low light level enviroment

Country Status (1)

Country Link
KR (1) KR101589719B1 (en)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mantiuk, Rafal, et al. "Predicting visible differences in high dynamic range images: model and its calibration." Electronic Imaging 2005. International Society for Optics and Photonics, 2005. *

Similar Documents

Publication Publication Date Title
US20200374461A1 (en) Still image stabilization/optical image stabilization synchronization in multi-camera image capture
KR101298642B1 (en) Method and apparatus for eliminating image noise
KR101574733B1 (en) Image processing apparatus for obtaining high-definition color image and method therof
KR101901602B1 (en) Apparatus and method for noise removal in a digital photograph
US9324153B2 (en) Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program
KR101695247B1 (en) Moving detection method and system based on matrix using frequency converting and filtering process
Singh et al. A comparative study to noise models and image restoration techniques
US9628751B2 (en) Method, device, and system for pre-processing a video stream for subsequent motion detection processing
KR102106537B1 (en) Method for generating a High Dynamic Range image, device thereof, and system thereof
CA2989188A1 (en) Method for ir or thermal image enchancement based on scene information for video analysis
CN111601011A (en) Automatic alarm method and system based on video stream image
US9552629B2 (en) Medical thermal image processing for subcutaneous detection of veins, bones and the like
KR101589717B1 (en) Apparatus for detecting motion in low light level enviroment
CN110689486A (en) Image processing method, device, equipment and computer storage medium
CN117934897A (en) Equipment abnormality detection method, device, equipment and storage medium
KR101589719B1 (en) Method for detecting motion in low light level enviroment
KR20160038683A (en) Method and apparatus for processing super resolution image using adaptive pre/post-filtering
Gokilavani et al. Comparative results performance analysis of various filters used to remove noises in retinal images
KR102517323B1 (en) Up-sampling system and method using multiple images
KR20200099834A (en) Imaging processing device for motion detection and method thereof
RU2016115562A (en) IMAGE CAPTURE DEVICE, IMAGE CAPTURE SYSTEM AND IMAGE CAPTURE METHOD
CN108734669A (en) Image denoising method based on wavelet transformation Wiener filtering and edge detection
Zamani et al. Image quality assessments and restoration for face detection and recognition system images
WO2020126452A1 (en) Movement indication
AU2021105709A4 (en) Convolutional neural Networks based image compression for high quality mutifocus fused Images

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 5