KR102078419B1 - Driver assistance system and method thereof - Google Patents
Driver assistance system and method thereof Download PDFInfo
- Publication number
- KR102078419B1 KR102078419B1 KR1020130085889A KR20130085889A KR102078419B1 KR 102078419 B1 KR102078419 B1 KR 102078419B1 KR 1020130085889 A KR1020130085889 A KR 1020130085889A KR 20130085889 A KR20130085889 A KR 20130085889A KR 102078419 B1 KR102078419 B1 KR 102078419B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- display image
- sky
- area
- intensity
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
운전자 지원 시스템이 제공된다. 본 발명의 운전자 지원 시스템은 적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 영상 전처리부, 상기 제1 디스플레이 영상 중 하늘 영역을 검출하여 지상 영역과 구별하는 하늘 영역 처리부 및 상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화한 제2 디스플레이 영상을 생성하는 히스토그램 이퀄라이저를 포함한다.Driver assistance systems are provided. The driver assistance system of the present invention includes an image preprocessor configured to preprocess a thermal image captured by an infrared camera to generate a first display image, a sky region processor configured to detect a sky region from the first display image and distinguish it from a ground region; And a histogram equalizer for generating a second display image in which the intensity values of the terrestrial region of the first display image are equally smoothed to all regions.
Description
본 발명은 운전자 지원 시스템(Advanced Driver Assistant System)에 관한 것으로, 보다 상세하게는 차량의 야간 주행시 보행자를 인식하는 운전자 지원 시스템에 관한 것이다.The present invention relates to an advanced driver assistant system, and more particularly, to a driver assistance system for recognizing a pedestrian during night driving of a vehicle.
최근 차량용 운전자 지원 시스템에 대한 연구 개발이 활발히 진행되고 있다. 제한된 가시성 조건 및 제한된 구조적 클리어런스, 현혹 효과, 거의 보이지 않거나 전혀 보이지 않는 사람, 도로에 갑자기 나타나는 동물 또는 물체 등은 사고의 주된 원인이 된다. 운전자 지원 시스템은 인간의 지각력이 제한되는 경우에 운전자를 지원하여 사고의 위험을 줄일 수 있도록 한다.Recently, research and development on a driver support system for a vehicle is actively progressing. Limited visibility conditions and limited structural clearances, deceptive effects, people who are barely or completely invisible, animals or objects that suddenly appear on the road, and so on, are major causes of accidents. The driver assistance system assists the driver in the event of a limited human perception and reduces the risk of an accident.
최근의 운전자 지원 시스템에서는 보행자를 사전에 인식하고 운전자에게 경보를 해주거나 차량을 제어하여 제동하는 등의 기능을 통해 보행자 사고를 미연에 방지한다. 특히 야간 주행시 운전자의 시야가 급격히 감소하기 때문에 보행자를 인지하지 못하는 경우가 종종 발생한다. 이를 위해 차량에 근적외선 카메라나 원적외선 카메라 등을 탑재하여 운전자가 야간주행시에도 시야를 확보할 수 있도록 야간 뷰(View)를 제공하는 방법 또는 야간 보행자를 인식하고 사전 경보하는 방법 등의 나이트 비젼(Night Vision) 시스템 연구가 활발히 진행되고 있다.In recent driver assistance systems, pedestrian accidents are prevented through functions such as the recognition of pedestrians in advance and alerting the driver or controlling and braking the vehicle. In particular, when driving at night, the visibility of the driver is sharply reduced, so that the pedestrian is often not recognized. To this end, night vision, such as providing a near-infrared camera or a far-infrared camera in the vehicle to provide a night view for the driver to secure a vision even at night, or to recognize and proactively alert night pedestrians. System research is actively underway.
본 발명은 원적외선 영상의 노이즈 개선을 통해 향상된 인식률의 영상을 운전자에게 디스플레이하는 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법을 제공한다.The present invention provides a driver assistance system and a method of operating the same for pedestrian recognition during night driving to display an image of an improved recognition rate to the driver through noise improvement of the far infrared image.
상술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 운전자 지원 시스템은 적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 영상 전처리부, 상기 제1 디스플레이 영상 중 하늘 영역을 검출하여 지상 영역과 구별하는 하늘 영역 처리부 및 상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화한 제2 디스플레이 영상을 생성하는 히스토그램 이퀄라이저를 포함한다.In order to solve the above technical problem, the driver assistance system according to an embodiment of the present invention, the image pre-processing unit for pre-processing the thermal image raw image captured by the infrared camera to generate a first display image, of the first display image And a histogram equalizer for detecting a sky area and distinguishing the sky area from the ground area, and generating a second display image in which the intensity values of the ground area of the first display image are equalized to all areas.
상기 하늘 영역 처리부는 상기 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성하고, 상기 이진화 영상의 모폴로지 연산을 수행하여 상기 하늘 영역의 경계라인을 검출한다.The sky area processor generates a processed binary image by comparing the intensity values of the pixels in the first display image with a predetermined threshold value, and performs a morphology operation of the binarized image to detect a boundary line of the sky area. .
상기 하늘 영역 처리부는 상기 모폴로지 연산 결과 상기 이진화 영상의 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단하고, 상기 제1 디스플레이 영상에서 상기 최소 밝기값을 가지는 픽셀들을 연결한 라인을 상기 경계라인으로 검출한다.The sky area processor determines the minimum brightness value of the binarized image as the lowest value of the sky area of the image as a result of the morphology calculation, and connects a line connecting pixels having the minimum brightness value in the first display image to the boundary line. Detect by
상기 히스토그램 이퀄라이저는 상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을 
상술한 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 운전자 지원 시스템의 동작방법은 적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 단계, 상기 제1 디스플레이 영상 중 하늘 영역을 검출하는 단계 및 상기 제1 디스플레이 영상 중 상기 하늘 영역을 제외한 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화하는 단계를 포함한다.In order to solve the above technical problem, the operation method of the driver assistance system according to another embodiment of the present invention comprises the steps of pre-processing the thermal image raw image captured by the infrared camera to generate a first display image, the first display image Detecting an empty sky area and smoothing the intensity values of the ground area except the sky area of the first display image to all areas.
본 발명의 운전자 지원 시스템 및 그 동작방법에 따르면, 원적외선 영상의 포화 노이즈 현상을 제거함으로써 운전자에게 디스플레이하는 영상의 인식률을 향상시키고, 안전한 도로 주행을 보장한다.According to the driver assistance system and its operation method of the present invention, by removing the saturation noise phenomenon of the far-infrared image improves the recognition rate of the image displayed to the driver, and ensures safe road driving.
도 1은 원적외선 영상의 포화 노이즈 현상을 설명하기 위한 그림이다.
도 2는 본 발명의 일 실시예에 따른 운전자 지원 시스템의 블럭도이다.
도 3은 본 발명의 실시예에 따라 하늘 영역의 포함여부에 따른 포화 노이즈 현상을 설명하기 위한 그림 및 그래프이다.
도 4는 본 발명의 실시예에 따라 하늘영역 라인을 검출하는 과정을 설명하는 그림이다.
도 5는 본 발명의 다른 실시예에 따른 운전자 지원 시스템의 동작방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따라 포화 노이즈 현상을 제거하기 전후의 영상을 비교한 그림이다.1 is a diagram illustrating a saturation noise phenomenon of a far infrared image.
2 is a block diagram of a driver assistance system according to an embodiment of the present invention.
3 is a diagram and a graph for describing a saturation noise phenomenon according to whether the sky region is included according to an embodiment of the present invention.
4 is a diagram illustrating a process of detecting an empty region line according to an exemplary embodiment of the present invention.
5 is a flowchart illustrating a method of operating a driver assistance system according to another exemplary embodiment of the present invention.
6 is a diagram comparing images before and after removing a saturation noise phenomenon according to an embodiment of the present invention.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the inventive concept disclosed herein are provided for the purpose of describing the embodiments according to the inventive concept only. It may be embodied in various forms and is not limited to the embodiments described herein.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Embodiments according to the inventive concept may be variously modified and have various forms, so embodiments are illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments in accordance with the concept of the invention to the specific forms disclosed, and includes all changes, equivalents, or substitutes included in the spirit and scope of the present invention.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but the components should not be limited by the terms. The terms are only for the purpose of distinguishing one component from another, for example, without departing from the scope of the rights according to the inventive concept, the first component may be called a second component and similarly The second component may also be referred to as the first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in the middle. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between. Other expressions describing the relationship between components, such as "between" and "immediately between" or "neighboring to" and "directly neighboring", should be interpreted as well.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. As used herein, the terms "comprise" or "having" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof that is described, and that one or more other features or numbers are present. It should be understood that it does not exclude in advance the possibility of the presence or addition of steps, actions, components, parts or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and, unless expressly defined herein, are not construed in ideal or excessively formal meanings. Do not.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 원적외선 영상의 포화 노이즈 현상을 설명하기 위한 그림이다.1 is a diagram illustrating a saturation noise phenomenon of a far infrared image.
도 1을 참조하면, 좌측에 나타낸 영상은 원적외선 카메라 또는 근적외선 카메라에 의해 촬상된 열화상 영상이다. 좌측 영상과 같이 하늘이 흐린 경우 또는 겨울날씨인 경우 하늘 영역의 온도가 촬상이 제대로 안되면, 지표면과 지상의 물체 간에 온도 간극이 좁아져서 지상영역의 영상이 뿌옇게 보이는 포화 노이즈 현상이 나타난다. Referring to FIG. 1, the image shown on the left is a thermal image captured by a far infrared camera or a near infrared camera. When the sky is cloudy or winter weather as shown in the left image, if the temperature of the sky region is not properly captured, the temperature gap between the surface of the earth and the ground becomes narrow, resulting in a saturation noise phenomenon in which the image of the ground region appears cloudy.
즉, 좌측 영상에서 하늘 영역을 포함하는 전체 영상의 온도에 따른 인텐시티(Intensity) 분포를 기준으로 보면, 온도를 센싱하여 촬상하는 원적외선 또는 근적외선 카메라의 특성상 영상이 하얗게 포화되는 현상이 나타난다. 이는 하늘영역의 온도가 원적외선로 센싱할 수 있는 온도 중 제일 낮은 온도 값으로 센싱됨으로써 영상으로 표현할 수 있는 온도의 깊이(Depth)가 넓어지게 되기 때문이다. 그 결과 하늘 영역과 비교하여 보행자나 건물의 온도는 상대적으로 하늘 온도와 대비하여 센싱되는 온도 깊이(Depth) 차이가 좁아져서 인텐시티 레벨 차이가 작은 하얗게 포화된 이미지로 생성된다.That is, based on the intensity distribution according to the temperature of the entire image including the sky region in the left image, a phenomenon in which the image is saturated is white due to the characteristics of the far-infrared or near-infrared camera sensing the temperature. This is because the temperature of the sky region is sensed as the lowest temperature value that can be sensed by far-infrared rays, thereby increasing the depth of the temperature that can be expressed in the image. As a result, compared to the sky area, the pedestrian or building temperature is relatively narrow compared to the sky temperature, and the difference in temperature depth is narrowed, resulting in a white saturated image having a small difference in intensity level.
따라서 전체 영상에서 지상 영역만을 검출하여 온도 히스토그램 균등화를 통해서 온도 깊이의 인텐시티를 평활화(Equalize)하여 노이즈를 제거한 이미지를 생성해야 한다. Therefore, only the terrestrial area should be detected in the entire image to equalize the temperature depth through the temperature histogram equalization to generate an image without noise.
도 2는 본 발명의 일 실시예에 따른 운전자 지원 시스템의 블럭도이다.2 is a block diagram of a driver assistance system according to an embodiment of the present invention.
도 2를 참조하면, 운전자 지원 시스템(100)은 영상 전처리부(10), 하늘 영역 처리부(20) 및 히스토그램 이퀄라이저(30)를 포함한다.Referring to FIG. 2, the
영상 전처리부(10)는 원적외선 카메라 또는 근적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 보정작업을 수행한다. The
하늘 영역 처리부(20)는 제1 디스플레이 영상 중 하늘 영역을 검출하여 하늘 영역과 지상 영역으로 분리한다. 예를 들어, 하늘 영역 검출 동작은 제1 디스플레이 영상을 위에서부터 아래로 수평방향으로 내려오면서 각 수평라인의 인텐시티 평균값을 계산한다. 각 수평라인 대비 상기 인텐시티 평균값 레벨 그래프의 모양이 직각 삼각형 라인을 따라서 올라가면 하늘 영역이 제1 디스플레이 영상에 포함되었다고 판단한다. 보다 자세한 설명은 도 3에서 설명하기로 한다.The
하늘 영역이 포함된 경우, 하늘 영역 처리부(20)는 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성한다. 즉, 하늘 영역 처리부(20)는 수학식 1과 같이 임계치보다 큰 인텐시티 값은 1로, 임계치보다 작은 인텐시티 값은 0으로 하여 이진화 영상을 생성한다.When the sky area is included, the
이때 Ix,y는 제1 디스플레이 영상 내 각 픽셀의 인텐시티 값, θ는 기설정된 임계치, Bx,y는 이진화 영상의 픽셀값이다. In this case, I x, y is an intensity value of each pixel in the first display image, θ is a predetermined threshold value, B x, y is a pixel value of the binarized image.
하늘 영역 처리부(20)는 이진화 영상의 모폴로지 연산을 수행하고, 모폴로지 연산 결과 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단한다. 이때 모폴로지 연산은 제1 디스플레이 영상에서 하늘 영역의 모양, 즉 하늘 영역의 경계라인을 검출하기 위한 영상처리기법이다. 모폴로지 연산의 예로 침식 연산 및 팽창 연산이 있다. 하늘 영역 처리부(20)는 하늘 영역의 최소 밝기값들을 가진 픽셀들을 연결한 라인을 하늘의 경계 라인으로 검출한다.The
히스토그램 이퀄라이저(30)는 제1 디스플레이 영상의 인텐시티 값들이 특정 레벨 영역 안에 밀집해 있을 때, 수학식 2에 따라 밀집된 인텐시티 값을 균등하게 모든 영역으로 퍼지도록 한다. When the intensity values of the first display image are concentrated in a specific level region, the
이때 ki는 i번째 정규화된 인텐시티 값, ni는 총 픽셀의 개수, H(i)는 i번째까지의 누적 히스토그램, gmax는 히스토그램 중 최대 밝기값이다.Where k i is the i th normalized intensity value, n i is the total number of pixels, H (i) is the cumulative histogram up to the i th, and g max is the maximum brightness value among the histograms.
즉, 하늘 영역을 제외한 나머지 지상 영역의 인텐시티 값은 도 1에 도시된 바와 같이 흰색 측의 인텐시티 값 주변에 밀집되어 있으므로 히스토그램 이퀄라이저(30)은 지상 영역의 인텐시티 값에 대한 평활화(또는 균등화)를 수행한다. 보다 자세한 설명은 도 6을 참조한다.That is, since the intensity values of the ground regions other than the sky region are concentrated around the intensity values of the white side, as shown in FIG. 1, the
도 3은 본 발명의 실시예에 따라 하늘 영역의 포함여부에 따른 포화 노이즈 현상을 설명하기 위한 그림 및 그래프이다. 3 is a diagram and a graph for describing a saturation noise phenomenon according to whether the sky region is included according to an embodiment of the present invention.
도 3을 참조하면, (a)와 (b)의 좌측 영상은 하늘 영역이 포함된 경우 및 포함되지 않은 경우 각각의 적외선 카메라로 촬상된 제1 디스플레이 영상이다. Referring to FIG. 3, the left images of (a) and (b) are first display images captured by respective infrared cameras when the sky region is included and when the sky region is not included.
하늘 영역 처리부는 촬상된 이미지의 수평라인 인텐시티 레벨의 그래프를 기준으로 하늘 영역 포함 여부를 검출한다.The sky area processor detects whether a sky area is included based on a graph of a horizontal line intensity level of the captured image.
(a)와 (b)의 가운데 그래프는 각 좌측 영상에 대해 위에서 아래 방향으로 내려오며 수평라인의 인텐시티 평균값을 측정한 그래프이다. 각각의 가운데 그래프를 살펴보면, (a)하늘 영역이 있는 경우 수평라인의 인텐시티 평균값들은 그래프 전체적으로 삼각형 모양을 그린다. 이와 대비하여, (b)하늘 영역을 포함하지 않은 경우 수평라인의 인텐시티 평균값들은 불규칙적인 형태의 인텐시티 레벨을 그린다. The middle graph of (a) and (b) is a graph measuring the intensity average value of the horizontal line descending from the top to the bottom for each left image. Looking at each center graph, (a) If there is a sky area, the intensity average values of the horizontal lines draw a triangular shape as a whole. In contrast, (b) when the sky region is not included, the intensity average values of the horizontal lines draw irregular levels of intensity.
(a)와 (b)의 우측 그래프는 좌측 영상에서 설정된 레퍼런스 라인과 수평라인의 인텐시티 평균값들의 차이를 나타낸다. (a)하늘 영역이 포함된 경우 레퍼런스 라인을 중심으로 수평라인의 인텐시티 평균값들이 몰려있으나, (b)하늘 영역이 포함되지 않은 경우 레퍼런스 라인과 관계없이 수평라인의 인텐시티 평균값들이 분포한다. 즉, 하늘 영역 처리부는 레퍼런스 라인을 기준으로 인텐시티 평균값과의 차이를 확인하여 기설정된 임계치 이상이면 하늘 영역이 포함되어 있다고 판단하고, 상기 임계치 이하이면 하늘 영역이 포함되어 있지 않다고 판단한다. 예를 들어 도 3에 도시된 각각의 그래프는 (a)의 경우 16.9%, (b)의 경우 55.4%의 차이(difference)가 계산된다.The right graphs of (a) and (b) show the difference between the intensity average values of the reference line and the horizontal line set in the left image. (a) If the sky area is included, the intensity average values of the horizontal line are concentrated around the reference line. (b) If the sky area is not included, the intensity average values of the horizontal line are distributed regardless of the reference line. That is, the sky area processor determines the difference from the intensity average value based on the reference line, and determines that the sky area is included if the threshold value is greater than or equal to the predetermined threshold value. For example, in each graph shown in FIG. 3, a difference of 16.9% for (a) and 55.4% for (b) is calculated.
도 4는 본 발명의 실시예에 따라 하늘영역 라인을 검출하는 과정을 설명하는 그림이다.4 is a diagram illustrating a process of detecting an empty region line according to an exemplary embodiment of the present invention.
하늘 영역 처리부는 도 3과 같이 하늘 영역 포함여부를 검출한 후, 하늘 영역이 포함되어 있다고 판단한 경우, 도 4에 도시된 바와 같이 하늘 영역 라인을 검출할 수 있다. 즉, (a)제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 (b)이진화 영상을 생성한다. 즉, 하늘 영역 처리부(20)는 상기 수학식 1과 같이 임계치보다 큰 인텐시티 값은 1로, 임계치보다 작은 인텐시티 값은 0으로 하여 이진화 영상을 생성한다.When the sky area processor detects whether the sky area is included as shown in FIG. 3 and determines that the sky area is included, the sky area processor may detect the sky area line as shown in FIG. 4. That is, (b) a binarized image is generated by processing the intensity value of each pixel in the first display image by comparing it with a preset threshold. That is, the
하늘 영역 처리부(20)는 이진화 영상의 모폴로지 연산을 수행하고, 모폴로지 연산 결과 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단한다. 이때 모폴로지 연산은 제1 디스플레이 영상에서 하늘 영역의 모양, 즉 하늘 영역의 경계라인을 검출하기 위한 영상처리기법이다. 모폴로지 연산은 원시 이미지보다 이진화 영상을 기초로 할 경우 침식 또는 팽창 연산이 용이하다. 따라서 하늘 영역 처리부(20)는 이진화 영상을 기초로 모폴로지 연산을 하여 하늘 영역의 제일 낮은 값들을 연결한 라인을 하늘의 경계 라인으로 검출한다.The
히스토그램 이퀄라이저(30)는 하늘의 경계 라인 아래 영역의 픽셀들의 인텐시티 레벨에 대해 평활화(균등화)하여 이미지를 보정한다.The
도 5는 본 발명의 다른 실시예에 따른 운전자 지원 시스템의 동작방법을 나타낸 흐름도이다.5 is a flowchart illustrating a method of operating a driver assistance system according to another exemplary embodiment of the present invention.
도 5를 참조하면, 운전자 지원 시스템의 동작방법은 먼저 원시 이미지가 적외선 카메라에 의해 촬상되면, 촬상된 원시 이미지에 대한 영상전처리 과정을 거친다(S10). Referring to FIG. 5, in the operating method of the driver assistance system, when an original image is captured by an infrared camera, an image preprocessing process is performed on the captured original image (S10).
그리고, 운전자 지원 시스템은 영상전처리 후의 제1 디스플레이 영상에 대해 위에서 아래 방향으로 수평라인의 인텐시티 평균값을 계산한다(S20). 계산된 인텐시티 값들에 기초하여 하늘 영역의 포함 여부를 검출하고(S30), 제1 디스플레이 영상에 대해 영상 이진화 작업을 수행한다(S40). 운전자 지원 시스템은 이진화 영상으로부터 하늘 영역의 경계라인을 검출한다(S50). In operation S20, the driver assistance system calculates an intensity average value of the horizontal line from the top to the bottom of the first display image after the image preprocessing. On the basis of the calculated intensity values, it is detected whether the sky region is included (S30), and image binarization is performed on the first display image (S40). The driver assistance system detects a boundary line of the sky area from the binarized image (S50).
이후, 하늘 영역의 경계라인보다 아래에 있는 영역, 즉 지상 영역에 대해서만 인텐시티 히스토그램을 균등화(평활화)(S60)한다. 히스토그램을 균등화한 제2 디스플레이 영상을 결과 이미지로 한다.Subsequently, the intensity histogram is equalized (smooth) only for the area below the boundary line of the sky area, that is, the ground area (S60). A second display image in which the histogram is equalized is used as the result image.
도 6은 본 발명의 실시예에 따라 포화 노이즈 현상을 제거하기 전후의 영상을 비교한 그림이다.6 is a diagram comparing images before and after removing a saturation noise phenomenon according to an embodiment of the present invention.
도 6을 참조하면, 운전자 지원 시스템은 히스토그램 평활화(Equalize)를 통해 이미지를 보정한다. 즉, 히스토그램 이퀄라이저는 정규화된 누적 히스토그램을 사상함수로 하여 밝기 레벨을 0 내지 gmax(히스토그램의 최대 밝기값)까지 선형 증가하도록 매핑한다. Referring to FIG. 6, the driver assistance system corrects an image through histogram equalization. That is, the histogram equalizer uses the normalized cumulative histogram as a mapping function to map the brightness level to increase linearly from 0 to g max (maximum brightness value of the histogram).
히스토그램 균등화(또는 평활화)는 인텐시티 레벨이 소정의 영역 내에 밀집해 있을 때 이를 균등하게 모든 영역으로 퍼지도록 수학식 2와 같은 연산을 하는 영상 처리 기법이다. Histogram equalization (or smoothing) is an image processing technique that performs an operation as shown in Equation 2 so that when the intensity level is concentrated in a predetermined area, it is spread evenly to all areas.
도 6에 도시한 바와 같이, 지상 영역에만 히스토그램 균등화를 수행하면 (a)제1 디스플레이 영상보다 보정된 (b)제2 디스플레이 영상에서의 보행자 라인이 더 선명해진다. 그 결과 더 좋은 화질의 영상을 얻을 수 있어 인식률 향상 및 시인성이 개선되는 장점이 있다.As shown in FIG. 6, when the histogram equalization is performed only in the ground region, the pedestrian line in the corrected (b) second display image is clearer than in the first display image. As a result, it is possible to obtain a higher quality image, thereby improving recognition rate and improving visibility.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to one embodiment shown in the drawings, this is merely exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
100 : 운전자 지원 시스템
10 : 영상 전처리부
20 : 하늘 영역 처리부
30 : 히스토그램 이퀄라이저100: Driver Assistance System
10: image preprocessing unit
20: sky area processing unit
30: histogram equalizer
Claims (9)
상기 제1 디스플레이 영상 중 하늘 영역을 검출하여 지상 영역과 구별하는 하늘 영역 처리부; 및
상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화한 제2 디스플레이 영상을 생성하는 히스토그램 이퀄라이저를 포함하며,
상기 히스토그램 이퀄라이저는
상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을
A sky area processing unit which detects a sky area of the first display image and distinguishes it from a ground area; And
A histogram equalizer for generating a second display image in which the intensity values of the ground region of the first display image are equally smoothed to all regions,
The histogram equalizer is
Intensity values of the ground area of the first display image
상기 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성하고, 상기 이진화 영상의 모폴로지 연산을 수행하여 상기 하늘 영역의 경계라인을 검출하는 운전자 지원 시스템.The method of claim 1, wherein the sky area processing unit
And generating a binary image processed by comparing the intensity values of the pixels in the first display image with a preset threshold, and performing a morphology operation of the binarized image to detect a boundary line of the sky area.
상기 모폴로지 연산 결과 상기 이진화 영상의 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단하고, 상기 제1 디스플레이 영상에서 상기 최소 밝기값을 가지는 픽셀들을 연결한 라인을 상기 경계라인으로 검출하는 운전자 지원 시스템.The method of claim 2, wherein the sky area processing unit
As a result of the morphology calculation, the driver may determine the minimum brightness value of the binarized image as the lowest value of the sky area of the image, and detect a line connecting pixels having the minimum brightness value as the boundary line in the first display image. system.
상기 제1 디스플레이 영상 중 하늘 영역을 검출하는 단계; 및
상기 제1 디스플레이 영상 중 상기 하늘 영역을 제외한 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화하는 단계를 포함하며,
상기 평활화하는 단계는
상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을
Detecting an empty area of the first display image; And
Smoothing the intensity values of the ground area except the sky area of the first display image to all areas equally;
The smoothing step
Intensity values of the ground area of the first display image
상기 제1 디스플레이 영상의 위에서 아래 방향으로 내려오며 계산된 수평라인의 인텐시티 평균값에 기초하여 상기 하늘 영역의 포함여부를 판단하는 운전자 지원 시스템의 동작방법.The method of claim 5, wherein the detecting step
And a method of operating the driver assistance system based on the intensity average value of the horizontal line calculated downward from the top of the first display image.
상기 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성하는 단계; 및
상기 이진화 영상에 대한 모폴로지 연산을 수행하여 상기 하늘 영역의 경계라인을 검출하는 단계를 포함하는 운전자 지원 시스템의 동작방법.The method of claim 6, wherein the detecting step
Generating a processed binary image by comparing an intensity value of each pixel in the first display image with a preset threshold; And
And detecting a boundary line of the sky area by performing a morphology operation on the binarized image.
상기 모폴로지 연산 결과 상기 이진화 영상의 최소 밝기값을 영상의 하늘영역의 최소 인텐시티 값으로 판단하고, 상기 제1 디스플레이 영상에서 상기 최소 밝기값을 가지는 픽셀들을 연결한 라인을 상기 경계라인으로 검출하는 운전자 지원 시스템의 동작방법.The method of claim 7, wherein detecting the boundary line
As a result of the morphology calculation, the driver may determine the minimum brightness value of the binarized image as the minimum intensity value of the sky region of the image, and detect a line connecting pixels having the minimum brightness value as the boundary line in the first display image. How the system works.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130085889A KR102078419B1 (en) | 2013-07-22 | 2013-07-22 | Driver assistance system and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130085889A KR102078419B1 (en) | 2013-07-22 | 2013-07-22 | Driver assistance system and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150011097A KR20150011097A (en) | 2015-01-30 |
| KR102078419B1 true KR102078419B1 (en) | 2020-02-17 |
Family
ID=52482560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130085889A KR102078419B1 (en) | 2013-07-22 | 2013-07-22 | Driver assistance system and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102078419B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USD847317S1 (en) | 2017-03-10 | 2019-04-30 | Samsung Electronics Co., Ltd. | Air conditioner |
| USD847962S1 (en) | 2017-03-10 | 2019-05-07 | Samsung Electronics Co., Ltd. | Air conditioner grille |
| KR101877683B1 (en) * | 2017-08-18 | 2018-07-12 | 연세대학교 산학협력단 | Face Recognition Apparatus and Method Using Learning |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007189432A (en) | 2006-01-12 | 2007-07-26 | Nissan Motor Co Ltd | Imaging apparatus for vehicle |
| JP2011153850A (en) * | 2010-01-26 | 2011-08-11 | Nec Corp | Infrared image pickup device and infrared image displaying method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100522203B1 (en) * | 2003-05-26 | 2005-10-18 | 삼성탈레스 주식회사 | Methode for processing of contrast in infrared thermal imaging system |
-
2013
- 2013-07-22 KR KR1020130085889A patent/KR102078419B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007189432A (en) | 2006-01-12 | 2007-07-26 | Nissan Motor Co Ltd | Imaging apparatus for vehicle |
| JP2011153850A (en) * | 2010-01-26 | 2011-08-11 | Nec Corp | Infrared image pickup device and infrared image displaying method |
Non-Patent Citations (1)
| Title |
|---|
| 이종규 외 3명,"적외선 이미지 기반 야간 보행자 인식", 한국컴퓨터정보학회 하계학술대회 논문집 제20권 제2호, pp.83-86, 11 July 2012(2012.07.11.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150011097A (en) | 2015-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101472615B1 (en) | System and method for warning lane departure | |
| JP5016073B2 (en) | White line recognition device | |
| CN105303524B (en) | Image defogging device and method | |
| KR101204556B1 (en) | Method for removing image noise and night-vision system using the same | |
| JP5792376B2 (en) | Vehicle and method of operating camera device for vehicle | |
| KR101546700B1 (en) | System and method for recognizing road pothole area using image | |
| JP6158779B2 (en) | Image processing device | |
| KR101498975B1 (en) | Lane Departure Warning System | |
| KR101279712B1 (en) | Apparatus and method for providing real-time lane detection, recording medium thereof | |
| US8983126B2 (en) | Method and system for detecting vehicle position by employing polarization image | |
| KR100901353B1 (en) | Image processing apparatus and method thereof | |
| CN104657735A (en) | Lane line detection method and system, as well as lane departure early warning method and system | |
| JP2014215877A (en) | Object detection device | |
| JP5760090B2 (en) | Biological recognition device | |
| KR102078419B1 (en) | Driver assistance system and method thereof | |
| US20180181819A1 (en) | Demarcation line recognition device | |
| JP2011090556A (en) | Far-infrared pedestrian detection device | |
| JP6432296B2 (en) | Device and method for detecting zebra crossings in images | |
| KR102066290B1 (en) | Image recognition apparatus and method thereof | |
| JPWO2013133086A1 (en) | White line detection device, white line detection filter device, and white line detection method | |
| CN109785251A (en) | A kind of picture quality method for improving, device and automated driving system | |
| KR20130070210A (en) | Method for removing noise of image | |
| KR101744409B1 (en) | Method and apparatus for detecting water level based on camera in low illumination environment | |
| JP2007189432A (en) | Imaging apparatus for vehicle | |
| KR101463513B1 (en) | Method for Estimating Front Traveling Vehicle Distance and Apparatus using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |