KR20110063212A - 전방 카메라를 이용한 차량의 기후 상황 감지 방법 - Google Patents

전방 카메라를 이용한 차량의 기후 상황 감지 방법 Download PDF

Info

Publication number
KR20110063212A
KR20110063212A KR1020090120167A KR20090120167A KR20110063212A KR 20110063212 A KR20110063212 A KR 20110063212A KR 1020090120167 A KR1020090120167 A KR 1020090120167A KR 20090120167 A KR20090120167 A KR 20090120167A KR 20110063212 A KR20110063212 A KR 20110063212A
Authority
KR
South Korea
Prior art keywords
situation
fog
threshold value
input image
value
Prior art date
Application number
KR1020090120167A
Other languages
English (en)
Other versions
KR101154552B1 (ko
Inventor
정교영
박세경
이쾌희
김병성
Original Assignee
현대자동차주식회사
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 서강대학교산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020090120167A priority Critical patent/KR101154552B1/ko
Publication of KR20110063212A publication Critical patent/KR20110063212A/ko
Application granted granted Critical
Publication of KR101154552B1 publication Critical patent/KR101154552B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

한 대의 전방 차량 카메라를 이용하여 차량이 위치한 곳의 조명 상황, 기후적 상황 및 터널 통과 여부를 감지할 수 있는 전방 카메라를 이용한 차량의 기후 상황 감지 방법이 제공된다. 전방 카메라를 이용한 차량의 기후 상황 감지 방법은, a) 한 대의 전방 차량 카메라를 이용하여 주행중인 차량 전방의 입력 영상을 획득하는 단계; b) 입력 영상에 대해 적어도 하나 이상의 관심영역(Region Of Interest: ROI)을 지정하는 단계; c) 지정된 관심영역(ROI)에서 입력 영상의 특징을 상황별로 추출하는 단계; d) 지정된 관심영역에서 추출된 입력 영상의 특징 중 밝기정보 및 노을정보에 따라 낮/밤/노을 상황으로 구분되는 조명 상황을 판단하는 단계; e) 추출된 입력 영상의 특징 중 주파수 크기 값을 안개변수로 이용하여 낮/노을 상황별로 안개/우천/역광/맑음 상황으로 구분되는 기후적 상황을 판단하는 단계; 및 f) 추출된 입력 영상의 특징 중 주파수 크기 값을 안개변수로 이용하여 밤 상황에서의 안개 상황을 판단하는 단계를 포함한다.
기후 상황, 전방 카메라, 입력 영상, 특징 추출, 관심 영역

Description

전방 카메라를 이용한 차량의 기후 상황 감지 방법 {Climate situation sensing method of car using front camera}
본 발명은 차량의 기후 상황 감지에 관한 것으로, 보다 구체적으로, 차량의 전방에 설치한 한 대의 전방 카메라로부터 획득된 입력 영상에 근거하여 차량의 기후 상황을 감지하는 전방 카메라를 이용한 차량의 기후 상황 감지 방법에 관한 것이다.
기존의 기후적 상황을 감지하기 위한 방법들의 경우, 통상적으로 각 기후 상황의 특성에 따른 다수의 측정 센서들이 각각 구비된 방법을 사용하므로, 많은 장치가 부수적으로 필요하여 비용적인 면에서 낮은 효율성을 나타낸다.
이러한 문제점을 해결하도록 차량에서 한 대의 CMOS/CCD 카메라를 이용한 기후 감지 방법들의 경우, 대부분의 우천(비) 상황에 대해서만 감지하고 있는데, 예를 들면, 기존의 방법들은 한 장의 영상에서 에지(edge)를 추출하여 비를 감지하였다. 그런데, 이러한 기후 감지 방법의 경우, 차량 유리창에 맺히지 않는 적은 량의 우천 상황에 대해서는 감지하기 어렵다는 문제점이 있다. 또한, 통상적으로 낮과 밤 상황에 대한 등 다양한 조명 환경에서의 비에 대한 감지 알고리즘이 달라질 수 있는데, 다양한 조명 환경의 구분을 위한 알고리즘이 도 1에 예시된 바와 같이 구현된다.
도 1은 종래의 기술에 따른 차량의 조명 환경에 대한 구별 방법의 동작흐름도이다.
도 1을 참조하면, 종래의 기술에 따른 차량의 조명 환경에 대한 구별 방법은, 먼저, 차량 후드(Hood) 밝기가 충분한지 판단하고(S1), 차량 후드(Hood) 밝기가 충분하지 않은 경우, 도로 밝기가 충분한지를 판단한다(S2).
다음으로, 차량 후드(Hood) 밝기가 충분하고, 도로 밝기가 충분한 경우, 현재 설정된 모드가 기설정된 임계값, 예를 들면, 기설정된 밝기 값보다 큰지 판단한다(S3).
현재 설정된 모드가 임계값보다 크지 않은 경우, 야간(밤) 알고리즘을 적용하고(S4), 현재 설정된 모드가 임계값보다 큰 경우, 주간(낮) 알고리즘을 적용한다(S5). 종래의 기술에 따른 차량의 조명 환경에 대한 구별 방법은, 단지 밝기 정보에 근거하여 주간 또는 야간 알고리즘을 적용하고 있다.
종래의 기술에 따른 기후 감지 방법의 경우, 매우 간단한 방법으로 처리됨으로써 도로 환경에 따라서 오인식될 확률이 높아지는 문제점을 가지고 있다.
전술한 문제점을 해결하기 위한 본 발명이 이루고자 하는 기술적 과제는, 한 대의 전방 차량 카메라를 이용하여 차량이 위치한 곳의 조명 상황, 기후적 상황 및 터널 통과 여부를 감지할 수 있는 전방 카메라를 이용한 차량의 기후 상황 감지 방법을 제공하기 위한 것이다.
또한, 본 발명이 이루고자 하는 다른 기술적 과제는, 전방 차량 카메라의 색 정보와 밝기 값, 그리고 이에 대한 변화량 등을 이용하여 주행시의 날씨와 주행 구간의 특이 사항을 감지하여 이를 표시할 수 있는 전방 카메라를 이용한 차량의 기후 상황 감지 방법을 제공하기 위한 것이다.
전술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법은, a) 한 대의 전방 차량 카메라를 이용하여 주행중인 차량 전방의 입력 영상을 획득하는 단계; b) 상기 입력 영상에 대해 적어도 하나 이상의 관심영역(Region Of Interest: ROI)을 지정하는 단계; c) 상기 지정된 관심영역(ROI)에서 상기 입력 영상의 특징을 상황별로 추출하는 단계; d) 상기 지정된 관심영역에서 추출된 입력 영상의 특징 중 밝기정보 및 노을정보에 따라 낮/밤/노을 상황으로 구분되는 조명 상황을 판단하는 단계; e) 상기 추출된 입력 영상의 특징 중 주파수 크기 값을 안개변수로 이용하여 상기 낮/노을 상황별로 안개/우천/역광/맑음 상황으로 구분되는 기후적 상황을 판단하는 단계; 및 f) 상기 추출된 입력 영상의 특징 중 주파수 크기 값을 안개변수로 이용하여 상기 밤 상황에서의 안개 상황을 판단하는 단계를 포함하여 이루어진다.
여기서, 상기 조명 상황 및 기후적 상황 각각에서 상기 입력 영상의 YCbCr 색공간 중 Cb 채널만을 이용하여 터널 입구와 터널 출구에서의 Cb 변화량이 크다는 점을 이용하여 터널 상황을 감지하는 것을 특징으로 한다.
여기서, 상기 c) 단계는, 상기 지정된 관심영역(ROI)에서 상기 입력 영상을 주파수 특성, 에지 특성, 밝기 특성, 색상 특성 및 이전영상 차이를 추출하는 것을 특징으로 한다.
여기서, 상기 d) 단계는, d-1) 상기 입력영상의 지정된 관심영역에서 밝기정보를 추출하는 단계; d-2) 상기 밝기정보가 기설정된 제1 임계값보다 큰지 판단하는 단계; d-3) 상기 밝기정보가 제1 임계값보다 크지 않은 경우, 밤 상황으로 인식하는 단계; d-4) 상기 밝기정보가 제1 임계값보다 큰 경우, 낮/노을 상황으로 인식하고, 상기 관심영역에서 노을정보를 추출하는 단계; d-5) 상기 노을정보가 기설정된 제2 임계값보다 큰지 판단하는 단계; d-6) 상기 노을정보가 제2 임계값보다 큰 경우, 노을 상황으로 인식하는 단계; 및 d-7) 상기 노을정보가 제2 임계값보다 크지 않은 경우, 낮 상황으로 인식하는 단계를 포함할 수 있다.
여기서, 상기 d-1) 단계의 밝기정보는 밝기 평균값/(밝기 분산+1)로 주어지고, 상기 d-2) 단계의 제1 임계값은 0.4로 주어지고, 상기 d-4) 단계의 노을정보는 0~1의 Cb값으로 주어지며, 상기 d-5) 단계의 제2 임계값은 입력 영상의 크기와 카메라 장착 위치에 따라 달라지는 것을 특징으로 한다.
여기서, 상기 e) 단계는, e-1) 상기 낮/노을 상황에서, 주파수 크기 값을 안개변수로 지정하는 단계; e-2) 상기 안개변수가 기설정된 제3 임계값보다 작은지 판단하는 단계; e-3) 상기 안개변수가 제3 임계값보다 작은 경우, 빛의 산란에 의해서 고주파수 성분이 적은 안개 상황으로 인식하는 단계; e-4) 상기 안개변수가 제3 임계값보다 작지 않은 경우, 밝은 영역과 어두운 영역의 밝기 차이를 추출하는 단계; e-5) 상기 밝기 차이가 기설정된 제4 임계값보다 큰지 판단하는 단계; e-6) 상기 밝기 차이가 제4 임계값보다 큰 경우, 밝은 영역과 어두운 영역의 밝기 차이가 큰 역광 상황으로 인식하는 단계; e-7) 상기 밝기 차이가 제4 임계값보다 크지 않은 경우, 상기 입력 영상의 이전 영상과 현재 영상의 차이의 합을 산출하는 단계; 및 e-8) 상기 입력 영상의 이전 영상과 현재 영상의 차이의 합이 기설정된 제5 임계값보다 큰 경우 우천 상황으로 인식하는 단계를 포함할 수 있다.
여기서, 상기 f) 단계는, f-1) 상기 밤 상황에서, 주파수 크기 값을 안개변수로 지정하는 단계; f-2) 상기 안개변수가 기설정된 제6 임계값보다 작은지 판단하는 단계; f-3) 상기 안개변수가 제6 임계값보다 작은 경우, 안개 상황으로 인식하는 단계; f-4) 상기 안개변수가 제6 임계값보다 작지 않은 경우, 상기 입력 영상의 추출된 특징 중에서 중앙 관심영역(ROI)의 색상 분산값을 추출하는 단계; f-5) 상기 색상 분산값이 기설정된 제7 임계값보다 큰지 판단하는 단계; f-6) 상기 색상 분산값이 제7 임계값보다 크지 않은 경우, 일반적인 밤 상황으로 인식하는 단계; 및 f-7) 상기 색상 분산값이 제7 임계값보다 큰 경우, 조명에 의한 번짐으로 인해 주파수 및 에지 성분이 증가한 밤안개 상황으로 인식하는 단계를 포함할 수 있다.
여기서, 상기 f-5) 단계의 색상 분산값은 조명 성분으로 인해 중심 ROI에서 강도(Intensity)의 변화량이 많고, 조명 번짐이 발생할 때 높은 값을 갖는 것을 특징으로 한다.
본 발명에 따르면, 한 대의 전방 차량 카메라를 이용하여 차량이 위치한 곳의 조명 상황, 기후적 상황 및 터널 통과 여부를 감지할 수 있다.
본 발명에 따르면, 전방 차량 카메라의 색 정보와 밝기 값, 그리고 이에 대한 변화량 등을 이용하여 주행시의 날씨와 주행 구간의 특이 사항을 감지하여 이를 표시할 수 있다.
본 발명에 따르면, 터널 감지를 통해, 차량의 헤드라이트를 자동으로 온시킬 수 있다.
본 발명에 따르면, 안개/우천/역광/맑음 상황으로 구분되는 기후적 상황을 감지하여 각 상황에 맞는 화질 개선 알고리즘을 적용하며, 우천 및 안개 상황인 경우, 강수량 및 안개에 따라 차량의 와이퍼를 자동으로 조절할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분 에 대해서는 유사한 도면 부호를 붙였다.
본 발명의 실시예로서, 전방 차량 카메라의 색 정보와 밝기 값, 그리고 이에 대한 변화량 등을 이용하여 주행시의 날씨와 주행 구간의 특이 사항을 감지하여 이를 표시할 수 있는, 전방 카메라를 이용한 차량의 기후 상황 감지 방법이 제공된다.
도 2는 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법의 동작흐름도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법은, 먼저, 한 대의 전방 차량 카메라를 이용하여 주행중인 차량 전방의 입력 영상을 획득한다(S10).
다음으로, 상기 입력 영상에 대해 적어도 하나 이상의 관심영역(Region Of Interest: ROI)을 지정한다(S20).
다음으로, 상기 지정된 관심영역(ROI)에서 상기 입력 영상의 특징을 상황별로 추출한다(S30). 이때, 상기 지정된 관심영역(ROI)에서 상기 입력 영상을 주파수 특성, 에지 특성, 밝기 특성, 색상 특성 및 이전영상 차이를 추출할 수 있다.
다음으로, 상기 지정된 관심영역에서 추출된 입력 영상의 특징 중 밝기정보 및 노을정보에 따라 낮/밤/노을 상황으로 구분되는 조명 상황을 판단한다(S40).
다음으로, 상기 추출된 입력 영상의 특징 중 주파수 크기 값을 안개변수로 이용하여 상기 낮/노을 상황별로 안개/우천/역광/맑음 상황으로 구분되는 기후적 상황을 판단한다(S50).
다음으로, 상기 추출된 입력 영상의 특징 중 주파수 크기 값을 안개변수로 이용하여 상기 밤 상황에서의 안개 상황을 판단한다(S60).
또한, 상기 조명 상황 및 기후적 상황 각각에서 상기 입력 영상의 YCbCr 색공간 중 Cb 채널만을 이용하여 터널 입구와 터널 출구에서의 Cb 변화량이 크다는 점을 이용하여 터널 상황을 감지한다(S70).
본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법은, 한 대의 CCD/CMOS 카메라를 이용하여 낮/밤/노을 상황을 감지하는 제1 과정, 2안개/비/맑음 상황을 감지하는 제2 과정, 터널을 감지하는 제3 과정으로 크게 구분될 수 있다. 여기서, 제1 과정에서 감지된 낮/밤/노을은 기본적으로 상황별 차량 기능 응용에 사용할 수 있고, 제2 및 제3 과정에서 감지된 안개/비/맑음 상황 또는 터널 감지 상황은 조명 환경에 따른 상황 분류의 기초 정보로 사용될 수 있다.
따라서 전술한 과정을 통해 일차적으로 안개/비/맑음 기후적 상황 감지를 통해 각 상황에 맞는 화질 개선 알고리즘을 적용할 수 있고, 비와 안개의 경우, 강수량에 따라 와이퍼를 자동으로 조절하는 기능을 제공할 수 있다.
또한, 터널 감지를 통해, 자동으로 차량의 헤드라이트를 켜주는 기능을 구현할 수 있다.
도 3은 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법을 수행하기 위한 시스템을 개략적으로 나타낸 도면이다.
도 3을 참조하면, 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법을 수행하기 위한 시스템은, 크게 입력 영상을 제공하는 CCD/CMOS 카메라(100) 및 상황 인식부(200)를 포함하며, 상황 인식부(200)는 제1 내지 제5 ROI 지정부(211~215), 주파수 특성 추출부(221), 에지 특성 추출부(222), 밝기 특성 추출부(223), 색상 특성 추출부(224) 및 이전영상 차이 추출부(225)를 포함할 수 있다.
입력 영상 특징 추출 시, 영상 전체에 대해서 처리하면 시간 소요가 많아지고 특징의 구별성도 모호해지기 때문에, 제1 내지 제5 ROI 지정부(211~215)는 각 상황별로 ROI를 지정하여 처리한다.
또한, 주파수 특성 추출부(221)에서 추출된 주파수 크기 값 및 에지 특성 추출부(222)에서 추출된 에지 크기 값은 안개 상황을 판단하는데 사용된다. 또한, 밝기 특성 추출부(223)에서 추출된 밝기정보는 역광 상황을 판단하는데 사용된다. 또한, 상기 색상 특성 추출부(224)에서 추출된 색상 특성은 안개중 조명 번짐 및 터널 상황을 판단하는데 사용될 수 있고, 상기 이전영상 차이 추출부(225)에서 추출된 이전영상 차이값은 우천(비) 상황을 판단하는데 사용될 수 있다.
본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법을 수행하기 위한 시스템은, 한 대의 카메라(100)를 차량의 백미러 뒤에 부착하여 영상 정보를 획득하고, 획득한 영상에서 각 상황별 특징이 잘 나타나는 관심영역(Region of Interest: ROI)을 미리 설정하여, 각 상황에 대한 정보에 대응되는 ROI에서만 영상 정보를 이용하여 기후 상황을 감지한다.
이때, 본 발명의 실시예에 따른 구분하려는 상황은 낮(주간)/노을/밤(야간)을 기본적으로 구분하고, 기후적 구분은 안개/비/역광/맑음을 구분한다. 그리고 주행 중의 특이 상황인 터널과 상황에 대해서도 감지할 수 있다. 이러한 구체적인 기후 감지 방법은 도 4 내지 도 11b를 참조하여 구체적으로 설명될 것이다.
도 4는 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 낮, 노을 및 밤 상황을 인식하는 동작흐름도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 낮, 노을 및 밤 상황을 인식하는 방법은, 먼저, 한 대의 전방 차량 카메라를 이용하여 주행중인 차량 전방의 YCbCr 입력 영상을 획득한다(S101).
다음으로, 상기 YCbCr 입력영상의 지정된 관심영역에서 밝기정보를 추출한다(S102). 이때, 상기 밝기정보는 밝기 평균값/(밝기 분산+1)로 주어질 수 있다.
다음으로, 상기 밝기정보가 기설정된 제1 임계값보다 큰지 판단한다(S103). 이때, 상기 제1 임계값은 0.4로 주어질 수 있다.
다음으로, 상기 밝기정보가 제1 임계값보다 크지 않은 경우, 밤 상황으로 인식한다(S104).
다음으로, 상기 밝기정보가 제1 임계값보다 큰 경우, 낮/노을 상황으로 인식하고(S105), 후속적으로 상기 관심영역에서 노을정보를 추출한다(S106). 이때, 상기 노을정보는 0~1의 Cb값으로 주어질 수 있다.
다음으로, 상기 노을정보가 기설정된 제2 임계값보다 큰지 판단한다(S107). 이때, 상기 제2 임계값은 입력 영상의 크기와 카메라 장착 위치에 따라 달라질 수 있다.
다음으로, 상기 노을정보가 제2 임계값보다 크지 않은 경우, 낮 상황으로 인식한다(S108).
다음으로, 상기 노을정보가 제2 임계값보다 큰 경우, 노을 상황으로 인식한다(S109).
도 5는 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 밤/낮 감지 및 노을 감지를 위해 획득된 신호 파형도로서, 각각의 신호에 따라 밤/낮 감지 및 노을 감지를 할 수 있는 것을 예시한다.
한편, 도 6은 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 낮 및 노을 상황의 구체적인 동작흐름도이다.
도 6을 참조하면, 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 낮 및 노을 상황 감지 방법은, 먼저, 상기 낮/노을 상황에서, 주파수 크기 값을 안개변수로 지정한다(S201).
다음으로, 상기 안개변수가 기설정된 제3 임계값보다 작은지 판단하고(S202), 상기 안개변수가 제3 임계값보다 작은 경우, 빛의 산란에 의해서 고주파수 성분이 적은 안개 상황으로 인식한다(S203).
다음으로, 상기 안개변수가 제3 임계값보다 작지 않은 경우, 맑은 상황으로 인식하고(S204), 이후 밝은 영역과 어두운 영역의 밝기 차이를 추출한다(S205).
다음으로, 상기 밝기 차이가 기설정된 제4 임계값보다 큰지 판단하고(S206), 상기 밝기 차이가 제4 임계값보다 큰 경우, 밝은 영역과 어두운 영역의 밝기 차이가 큰 역광 상황으로 인식한다(S207).
다음으로, 상기 밝기 차이가 제4 임계값보다 크지 않은 경우, 맑은 상황으로 인식하고(S208), 상기 입력 영상의 이전 영상과 현재 영상의 차이의 합을 산출한다(S209).
다음으로, 상기 입력 영상의 이전 영상과 현재 영상의 차이의 합이 기설정된 제5 임계값보다 큰지 확인하고(S210), 이전 영상과 현재 영상의 차이의 합이 기설정된 제5 임계값보다 큰 경우, 우천 상황으로 인식한다(S211).
본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 낮 및 노을 상황 감지 방법은, 낮/밤/노을 상황에서의 안개/역광/비 상황을 구분하고, 안개 상황에서는 빛의 산란에 의해서 고주파수 성분이 적음을 통해 구분한다. 또한, 역광 상황에서는 밝은 영역과 어두운 영역의 밝기 차가 큼을 이용해 구분하고, 이전 영상과 현재 영상의 차에 대한 합을 이용하여 비 상황을 구분하게 된다.
도 7은 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 안개 판단 및 역광 판단을 위해 획득된 신호 파형도로서, 도면부호 A로 도시된 바와 같이 안개를 판단하며, 또한, 도면부호 B로 도시된 바와 같이 역광을 판단할 수 있다.
한편, 도 8은 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 밤 상황의 구체적인 동작흐름도이다.
도 8을 참조하면, 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 밤 상황 감지 방법은, 먼저, 상기 밤 상황에서, 주파수 크 기 값을 안개변수로 지정한다(S301).
다음으로, 상기 안개변수가 기설정된 제6 임계값보다 작은지 판단하고(S302), 상기 안개변수가 제6 임계값보다 작은 경우, 안개 상황으로 인식한다(S303).
다음으로, 상기 안개변수가 제6 임계값보다 작지 않은 경우, 상기 입력 영상의 추출된 특징 중에서 중앙 관심영역(ROI)의 색상 분산값을 추출한다(S304). 이때, 상기 색상 분산값은 조명 성분으로 인해 중심 ROI에서 강도(Intensity)의 변화량이 많고, 조명 번짐이 발생할 때 높은 값을 갖는다.
다음으로, 상기 색상 분산값이 기설정된 제7 임계값보다 큰지 판단하고(S305), 상기 색상 분산값이 제7 임계값보다 크지 않은 경우, 일반적인 밤 상황으로 인식한다(S306).
다음으로, 상기 색상 분산값이 제7 임계값보다 큰 경우, 조명에 의한 번짐으로 인해 주파수 및 에지 성분이 증가한 밤안개 상황으로 인식한다(S307).
도 9는 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 밤 상황시 밤안개 판단을 위해 획득된 신호 파형도로서, 도면부호 E로 도시된 바와 같은 신호 파형이 획득될 수 있다. 또한, 도 10a 및 도 10b는 각각 본 발명의 실시예에 따른 밤 상황시 밤안개 판단을 위한 도면으로서, 도 10a는 안개상황임에 불구하고, 조명 성분으로 인해 중심 ROI에서 Intensity의 변화량이 많은 것을 나타내며, 도 10b는 밤안개 상황 중에 조명 번짐이 발생할 때 상기 색상 분산값이 높은 값을 갖는 것을 나타낸다.
본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 밤 상황 감지 방법은, 밤의 안개 상황의 경우, 조명에 의한 번짐으로 인해 주파수 및 edge 성분이 증가하는데, 이를 구별하기 위해 중앙 ROI(Region Of Interest)에서의 색상 분산값을 통해 밤 상황의 안개 상황을 구분한다.
한편, 도 11a 및 도 11b는 각각 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 터널을 지나는 상황을 인식하는 것을 설명하기 위한 도면으로서, 도 11a는 제1 ROI에서 Cb의 변화량에 의해 터널을 감지하는 것을 나타내며, 도 11b는 터널용 ROI 영역에서 Cb의 분산(Variance)에 의해 터널 출구를 감지할 수 있는 것을 나타낸다.
본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법은 전술한 각각의 상황에서 차량이 터널을 지나는 상황을 구분할 수 있는데, 차량이 터널에 진입할 경우, 색상의 변화가 크게 일어나고, Hue channel에서 회전이 30ㅀ 이상 나타난다. 이를 YCbCr 입력 영상에서 Cb 채널만을 이용하여 터널 입구와 터널 출구에서의 Cb 변화량이 크다는 점을 이용하여 터널 상황을 감지할 수 있다.
결국, 본 발명의 실시예는 한 대의 카메라를 이용하여 빗방울 감지 센서 또는 안개 감지 센서와 같은 추가적 부품이 없이 다양한 기후 및 주행 상황에 대한 구분을 지원하는 방법으로서, 구체적으로, CMOS/CCD 카메라 장치를 차량 전방 백미러 뒤에 장착하여, 차량 전방의 영상을 획득한다. 이와 같이 획득한 영상에 대해서 낮/밤/노을, 안개/비/맑음, 그리고 터널과 같은 특이 상황을 감지한다.
또한, 기존의 방법들은 대부분 우천(비) 상황과 같은 한 가지 상황에 대해서 만 감지를 하지만, 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서는 다양한 상황에 대해서 3단계에 따라 낮/밤/노을 상황을 구별하고, 이에 따른 각각의 낮/밤/노을 상황에서의 기후적 상황인 안개/비/맑음을 구별하게 된다. 그리고 추가적으로 터널에 대한 상황도 감지할 수 있다.
본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 종래의 기술에 따른 차량의 조명 환경에 대한 구별 방법의 동작흐름도이다.
도 2는 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법의 동작흐름도이다.
도 3은 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법을 수행하기 위한 시스템을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 낮, 노을 및 밤 상황을 인식하는 동작흐름도이다.
도 5는 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 밤/낮 감지 및 노을 감지를 위해 획득된 신호 파형도이다.
도 6은 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 낮 및 노을 상황의 구체적인 동작흐름도이다.
도 7은 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 안개 판단 및 역광 판단을 위해 획득된 신호 파형도이다.
도 8은 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 밤 상황의 구체적인 동작흐름도이다.
도 9는 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 밤 상황시 밤안개 판단을 위해 획득된 신호 파형도이다.
도 10a 및 도 10b는 각각 본 발명의 실시예에 따른 밤 상황시 밤안개 판단을 위한 도면이다.
도 11a 및 도 11b는 각각 본 발명의 실시예에 따른 전방 카메라를 이용한 차량의 기후 상황 감지 방법에서 터널을 지나는 상황을 인식하는 것을 설명하기 위한 도면이다.
* 도면부호의 간단한 설명 *
100: CCD/CMOS 카메라 200: 상황 인식부
211~215: ROI 지정부
221: 주파수 특성 추출부 222: 에지 특성 추출부
223: 밝기 특성 추출부 224: 색상 특성 추출부
225: 이전영상 차이 추출부

Claims (8)

  1. a) 한 대의 전방 차량 카메라를 이용하여 주행중인 차량 전방의 입력 영상을 획득하는 단계;
    b) 상기 입력 영상에 대해 적어도 하나 이상의 관심영역(Region Of Interest: ROI)을 지정하는 단계;
    c) 상기 지정된 관심영역(ROI)에서 상기 입력 영상의 특징을 상황별로 추출하는 단계;
    d) 상기 지정된 관심영역에서 추출된 입력 영상의 특징 중 밝기정보 및 노을정보에 따라 낮/밤/노을 상황으로 구분되는 조명 상황을 판단하는 단계;
    e) 상기 추출된 입력 영상의 특징 중 주파수 크기 값을 안개변수로 이용하여 상기 낮/노을 상황별로 안개/우천/역광/맑음 상황으로 구분되는 기후적 상황을 판단하는 단계; 및
    f) 상기 추출된 입력 영상의 특징 중 주파수 크기 값을 안개변수로 이용하여 상기 밤 상황에서의 안개 상황을 판단하는 단계
    를 포함하는 전방 카메라를 이용한 차량의 기후 상황 감지 방법.
  2. 제1항에 있어서,
    상기 조명 상황 및 기후적 상황 각각에서 상기 입력 영상의 YCbCr 색공간 중 Cb 채널만을 이용하여 터널 입구와 터널 출구에서의 Cb 변화량이 크다는 점을 이용 하여 터널 상황을 감지하는 것을 특징으로 하는 전방 카메라를 이용한 차량의 기후 상황 감지 방법.
  3. 제1항에 있어서,
    상기 c) 단계는, 상기 지정된 관심영역(ROI)에서 상기 입력 영상을 주파수 특성, 에지 특성, 밝기 특성, 색상 특성 및 이전영상 차이를 추출하는 것을 특징으로 하는 전방 카메라를 이용한 차량의 기후 상황 감지 방법.
  4. 제3항에 있어서, 상기 d) 단계는,
    d-1) 상기 입력영상의 지정된 관심영역에서 밝기정보를 추출하는 단계;
    d-2) 상기 밝기정보가 기설정된 제1 임계값보다 큰지 판단하는 단계;
    d-3) 상기 밝기정보가 제1 임계값보다 크지 않은 경우, 밤 상황으로 인식하는 단계;
    d-4) 상기 밝기정보가 제1 임계값보다 큰 경우, 낮/노을 상황으로 인식하고, 상기 관심영역에서 노을정보를 추출하는 단계;
    d-5) 상기 노을정보가 기설정된 제2 임계값보다 큰지 판단하는 단계;
    d-6) 상기 노을정보가 제2 임계값보다 큰 경우, 노을 상황으로 인식하는 단계; 및
    d-7) 상기 노을정보가 제2 임계값보다 크지 않은 경우, 낮 상황으로 인식하는 단계
    를 포함하는 전방 카메라를 이용한 차량의 기후 상황 감지 방법.
  5. 제4항에 있어서,
    상기 d-1) 단계의 밝기정보는 밝기 평균값/(밝기 분산+1)로 주어지고, 상기 d-2) 단계의 제1 임계값은 0.4로 주어지고, 상기 d-4) 단계의 노을정보는 0~1의 Cb값으로 주어지며, 상기 d-5) 단계의 제2 임계값은 입력 영상의 크기와 카메라 장착 위치에 따라 달라지는 것을 특징으로 하는 전방 카메라를 이용한 차량의 기후 상황 감지 방법.
  6. 제3항에 있어서, 상기 e) 단계는,
    e-1) 상기 낮/노을 상황에서, 주파수 크기 값을 안개변수로 지정하는 단계;
    e-2) 상기 안개변수가 기설정된 제3 임계값보다 작은지 판단하는 단계;
    e-3) 상기 안개변수가 제3 임계값보다 작은 경우, 빛의 산란에 의해서 고주파수 성분이 적은 안개 상황으로 인식하는 단계;
    e-4) 상기 안개변수가 제3 임계값보다 작지 않은 경우, 밝은 영역과 어두운 영역의 밝기 차이를 추출하는 단계;
    e-5) 상기 밝기 차이가 기설정된 제4 임계값보다 큰지 판단하는 단계;
    e-6) 상기 밝기 차이가 제4 임계값보다 큰 경우, 밝은 영역과 어두운 영역의 밝기 차이가 큰 역광 상황으로 인식하는 단계;
    e-7) 상기 밝기 차이가 제4 임계값보다 크지 않은 경우, 상기 입력 영상의 이전 영상과 현재 영상의 차이의 합을 산출하는 단계; 및
    e-8) 상기 입력 영상의 이전 영상과 현재 영상의 차이의 합이 기설정된 제5 임계값보다 큰 경우 우천 상황으로 인식하는 단계
    를 포함하는 전방 카메라를 이용한 차량의 기후 상황 감지 방법.
  7. 제3항에 있어서, 상기 f) 단계는,
    f-1) 상기 밤 상황에서, 주파수 크기 값을 안개변수로 지정하는 단계;
    f-2) 상기 안개변수가 기설정된 제6 임계값보다 작은지 판단하는 단계;
    f-3) 상기 안개변수가 제6 임계값보다 작은 경우, 안개 상황으로 인식하는 단계;
    f-4) 상기 안개변수가 제6 임계값보다 작지 않은 경우, 상기 입력 영상의 추출된 특징 중에서 중앙 관심영역(ROI)의 색상 분산값을 추출하는 단계;
    f-5) 상기 색상 분산값이 기설정된 제7 임계값보다 큰지 판단하는 단계;
    f-6) 상기 색상 분산값이 제7 임계값보다 크지 않은 경우, 일반적인 밤 상황으로 인식하는 단계; 및
    f-7) 상기 색상 분산값이 제7 임계값보다 큰 경우, 조명에 의한 번짐으로 인해 주파수 및 에지 성분이 증가한 밤안개 상황으로 인식하는 단계
    를 포함하는 전방 카메라를 이용한 차량의 기후 상황 감지 방법.
  8. 제7항에 있어서,
    상기 f-5) 단계의 색상 분산값은 조명 성분으로 인해 중심 ROI에서 강도(Intensity)의 변화량이 많고, 조명 번짐이 발생할 때 높은 값을 갖는 것을 특징으로 하는 전방 카메라를 이용한 차량의 기후 상황 감지 방법.
KR1020090120167A 2009-12-04 2009-12-04 전방 카메라를 이용한 차량의 기후 상황 감지 방법 KR101154552B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090120167A KR101154552B1 (ko) 2009-12-04 2009-12-04 전방 카메라를 이용한 차량의 기후 상황 감지 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090120167A KR101154552B1 (ko) 2009-12-04 2009-12-04 전방 카메라를 이용한 차량의 기후 상황 감지 방법

Publications (2)

Publication Number Publication Date
KR20110063212A true KR20110063212A (ko) 2011-06-10
KR101154552B1 KR101154552B1 (ko) 2012-06-08

Family

ID=44397233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090120167A KR101154552B1 (ko) 2009-12-04 2009-12-04 전방 카메라를 이용한 차량의 기후 상황 감지 방법

Country Status (1)

Country Link
KR (1) KR101154552B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949155B1 (ko) * 2017-11-17 2019-02-18 주식회사 영국전자 도로 침수 감시 cctv 및 방법, 및 도로 침수 감시 cctv를 포함하는 도로 침수 감시 시스템
CN113829847A (zh) * 2021-10-29 2021-12-24 海信集团控股股份有限公司 车辆及其车窗除雾方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101219659B1 (ko) 2012-07-27 2013-01-09 한국건설기술연구원 Ｃｃｔｖ 영상을 이용한 안개 검지 시스템 및 그 방법
KR101564394B1 (ko) 2013-12-26 2015-10-30 모본주식회사 입력영상의 주간 및 야간 인식 방법 및 그 기록 매체
KR20180025591A (ko) 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4506576B2 (ja) 2005-06-20 2010-07-21 株式会社デンソー 車載霧状態判定装置、およびオートフォグランプシステム
JP4321591B2 (ja) 2007-01-11 2009-08-26 株式会社デンソー 車載霧判定装置
JP4241834B2 (ja) 2007-01-11 2009-03-18 株式会社デンソー 車載霧判定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949155B1 (ko) * 2017-11-17 2019-02-18 주식회사 영국전자 도로 침수 감시 cctv 및 방법, 및 도로 침수 감시 cctv를 포함하는 도로 침수 감시 시스템
CN113829847A (zh) * 2021-10-29 2021-12-24 海信集团控股股份有限公司 车辆及其车窗除雾方法
CN113829847B (zh) * 2021-10-29 2023-09-19 海信集团控股股份有限公司 车辆及其车窗除雾方法

Also Published As

Publication number Publication date
KR101154552B1 (ko) 2012-06-08

Similar Documents

Publication Publication Date Title
CN104050620B (zh) 对象检测设备
EP2026313B1 (en) A method and a system for the recognition of traffic signs with supplementary panels
JP5423631B2 (ja) 画像認識装置
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
JP4985394B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5879219B2 (ja) 車載用環境認識装置
KR101810727B1 (ko) 차량 및 차량용 카메라 장치를 작동시키는 방법
US20150085118A1 (en) Method and camera assembly for detecting raindrops on a windscreen of a vehicle
KR101154552B1 (ko) 전방 카메라를 이용한 차량의 기후 상황 감지 방법
JP2014215877A (ja) 物体検出装置
US20150294167A1 (en) Method and system for detecting traffic lights
CN113246846B (zh) 车辆灯光控制方法、装置及车辆
JP2016196233A (ja) 車両用道路標識認識装置
CN107886033B (zh) 识别圆形交通灯的方法、装置及车辆
CN111046741A (zh) 车道线识别的方法和装置
CN104008518B (zh) 对象检测设备
JP6267493B2 (ja) 矢印信号灯検出装置
CN115690441A (zh) 交通信号灯区域检测方法、装置及设备
KR101823655B1 (ko) 영상을 이용한 차량 침입 검출 시스템 및 방법
CN107408202B (zh) 用于检测环境光的方法和系统
JP2008028478A (ja) 障害物検出システム、及び障害物検出方法
JPH11219493A (ja) 交通情報処理方法
CN107506686B (zh) 一种基于显著性检测的夜间车辆检测方法
KR100660561B1 (ko) 비전기반 지능형 스마트 와이퍼 시스템 및 그 제어방법
KR101451070B1 (ko) 그림자에 의한 인식 오류를 제거하여 차량 번호를 인식하는 방법 및 차량 번호 인식 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190528

Year of fee payment: 8