KR20080004833A - 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치 - Google Patents

주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치 Download PDF

Info

Publication number
KR20080004833A
KR20080004833A KR1020060063647A KR20060063647A KR20080004833A KR 20080004833 A KR20080004833 A KR 20080004833A KR 1020060063647 A KR1020060063647 A KR 1020060063647A KR 20060063647 A KR20060063647 A KR 20060063647A KR 20080004833 A KR20080004833 A KR 20080004833A
Authority
KR
South Korea
Prior art keywords
vehicle
state
image
detecting
day
Prior art date
Application number
KR1020060063647A
Other languages
English (en)
Other versions
KR101134857B1 (ko
Inventor
김광수
오세영
김삼용
김진원
박상철
Original Assignee
삼성전자주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 포항공과대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020060063647A priority Critical patent/KR101134857B1/ko
Publication of KR20080004833A publication Critical patent/KR20080004833A/ko
Application granted granted Critical
Publication of KR101134857B1 publication Critical patent/KR101134857B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/55—Radiosity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0002—Type of accident
    • B60R2021/0004—Frontal collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량 주위를 비추는 카메라를 이용하여 조도 상태에 따라 주행 차량을 검출한 후 추적할 수 있도록 하는 차량 검출 기능을 구현한다. 이를 위해 본 발명은 조도 상태가 주간상태인지 야간상태인지 새벽이나 우천시, 터널내부 등과 같은 중간상태에 해당하는지를 판단하고, 조도 상태에 적합한 차량 검출 방법을 이용하여 차량을 검출한다. 상세하게는 조도 상태가 주간상태일 경우에는 차량의 특징점과 그림자를 이용하여 차량을 검출하고, 야간상태일 경우에는 광원의 분류를 통해 차량을 검출하고, 중간상태일 경우에는 이전상태에 따른 방법을 적용하여 차량을 검출한다. 이렇게 함으로써, 주야간을 포함하는 다양한 조도환경에서 카메라를 이용한 차량 검출 방법을 사용할 수 있기 때문에 특정한 환경에서만 적용가능했던 한계를 극복할 수 있으며, 관련 시스템의 개발을 기대할 수 있게 된다.
차량 검출, 주간, 야간, 조도

Description

주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법 및 장치{APPARATUS AND METHOD FOR DETECTING A NAVIGATION VEHICLE IN DAY AND NIGHT ACCORDING TO LUMINOUS STATE}
도 1은 본 발명의 실시 예에 따른 차량 검출 장치의 내부블록구성도,
도 2는 본 발명의 실시 예에 따라 조도 상태에 따른 차량 검출을 수행하기 위한 제어흐름도,
도 3은 본 발명의 실시 예에 따라 조도 지수를 산출하는 과정을 보여주는 예시도,
도 4는 본 발명의 실시 예에 따라 주간 상태에서의 차량 검출 과정을 설명하기 위한 도면,
도 6는 본 발명의 실시 예에 따라 1차 차량 후보 영역을 설정하는 과정을 보여주는 화면예시도,
도 6은 본 발명의 실시 예에 따라 2차 차량 후보 영역을 설정하는 과정을 보여주는 화면예시도,
도 7은 본 발명의 실시 예에 따라 야간 상태에서의 차량 검출 과정을 설명하기 위한 도면,
도 8은 본 발명의 실시 예에 따른 광원 추출 과정을 설명하기 위한 예시도,
도 9는 본 발명의 실시 예에 따라 조도 상태에 따른 차량 검출 예시도.
본 발명은 차량 검출 방법 및 장치에 관한 것으로, 특히 카메라를 이용하여 주야간에 주행하는 차량을 검출하는 방법 및 장치에 관한 것이다.
차량 운행 시 운전자의 부주의나 시계의 불량 등으로 앞에서 주행하는 차량을 추돌하는 경우가 빈번하게 발생하고 있다. 즉, 장거리 운전 시, 우천 시, 야간 운전 시 시계 불량 및 운전자의 집중력 부족 등으로 인한 차선 이탈과 주행 차량과의 추돌에 의한 교통사고가 끊임없이 발생하고 있다. 상기와 같은 추돌을 방지하기 위하여 차량 검출을 통해 차량간 위치와 속도를 파악하여 차량간 충돌경보, 충돌회피, 순항제어와 같은 정보를 제공할 수 있는 운전자 보조시스템이 제공되고 있다.
통상적으로 전방의 차량을 검출하는 방법에는 레이더, 카메라 등을 사용한 방법이 있으며, 사각지대 또는 후방주차 시 장애물 또는 차량을 검출하는 방법에는 초음파 센서를 이용한 방법이 있다.
그 중에서도 최근에는 카메라를 이용한 차량 검출 방법은 카메라 모듈의 가격 하락과 영상 처리 성능의 향상으로 인해 카메라를 이용한 차량 검출 방법이 운전자 보조 시스템에 확대 응용되고 있는 실정이다. 이러한 방법은 양질의 영상확보가 가능한 주간에는 주로 그림자, 에지, 도로색깔, 대칭성, 차량형태 모델 등 차량 에 대한 선행지식을 특징점으로 사용하여 차량을 검출한다.
한편, 야간에는 낮은 조도에서도 동작하는 저조도 카메라를 사용하고 자동차의 전조등, 미등, 브레이크등이나 다른 광원에 반사되어 밝아진 차체 등의 밝은 영역을 특징점으로 사용하여 차량을 검출한다.
그런데 상기의 방법은 각각 주간과 야간 상태로 구분되어 사용되며, 조도변화를 고려하지 않은 특정 환경에만 적용 가능한 방법으로 실제 주행중에 비가 오는 환경, 터널 내부, 주간, 야간, 새벽이나 석양녘 등과 같은 다양한 조도 환경에 적용하기에는 한계가 있다.
상기한 바와 같이 기존의 카메라를 이용한 차량 검출 방법은 주간과 야간 상태 각각을 위한 검출 기술로만 사용되고 있다. 따라서, 비가 오는 환경 등 다양한 환경이 있을지라도 어느 하나의 검출 방법만이 사용될 뿐이었다. 게다가 단순히 주간 차량 검출 방법 및 야간 차량 검출 방법을 결합하여 상기 환경에 적용하게 되면, 더 많은 오류를 발생시키기 때문에 대표적인 환경에서 차량의 특징점을 정의하고 이를 검출하여 차량으로 검증할 수 있도록 하는 기술과 각 기술을 다양한 환경에 맞게 적용시킬 수 있는 기술이 요구된다.
따라서, 본 발명은 차량에 장착된 카메라를 이용하여 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법 및 장치를 제공한다.
상술한 바를 달성하기 위한 본 발명은 자기 차량에 장착된 카메라를 이용하여 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법에 있어서, 상기 카메라를 통해 입력되는 영상으로부터 조도 지수를 산출하는 과정과, 상기 산출된 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단하는 과정과, 판단 결과 중간 상태에 해당하는 경우 상기 영상에서 이전 상태에 대응하는 차량 검출을 수행하는 과정을 포함함을 특징으로 한다.
또한 본 발명은 자기 차량에 장착된 카메라를 이용하여 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치는, 상기 카메라를 통해 영상을 수신하는 영상수신부와, 상기 영상수신부로부터 상기 영상을 제공받아 상기 영상에서 배경 부분을 설정하고, 설정된 배경 부분의 평균명암도를 측정하여 조도 지수를 산출하는 조도인식부와, 상기 조도인식부로부터 제공되는 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단하여 하나의 상태를 결정하는 조정자부와, 상기 결정된 상태에 대응하는 차량 검출을 수행하는 차량위치 검출부를 포함함을 특징으로 한다.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면의 참조와 함께 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
본 발명은 차량 주위를 비추는 카메라를 이용하여 조도 상태에 따라 주행 차량을 검출한 후 추적할 수 있도록 하는 차량 검출 기능을 구현한다. 이를 위해 본 발명은 조도 상태가 주간상태인지 야간상태인지 새벽이나 우천시, 터널내부 등과 같은 중간상태에 해당하는지를 판단하고, 조도 상태에 적합한 차량 검출 방법을 이용하여 차량을 검출한다. 상세하게는 조도 상태가 주간상태일 경우에는 차량의 특징점과 그림자를 이용하여 차량을 검출하고, 야간상태일 경우에는 광원의 분류를 통해 차량을 검출하고, 중간상태일 경우에는 이전상태에 따른 방법을 적용하여 차량을 검출한다. 이렇게 함으로써, 주야간을 포함하는 다양한 조도환경에서 카메라를 이용한 차량 검출 방법을 사용할 수 있기 때문에 특정한 환경에서만 적용가능했던 한계를 극복할 수 있으며, 관련 시스템의 개발을 기대할 수 있게 된다.
상기한 바와 같은 기능이 구현된 차량 검출 장치의 기능을 도 1을 참조하여 설명한다. 도 1은 본 발명의 실시 예에 따른 차량 검출 장치의 내부블록구성도이다.
도 1을 참조하면, 본 발명에 따른 차량 검출 장치는 영상 수신부(101), 조도 인식부(102), 조정자부(103) 및 차량위치 검출부(104)를 포함하여 구성된다.
먼저, 영상수신부(101)는 차량에 장착된 카메라를 말하며, 그 카메라에 의해 촬영된 영상을 입력받아 조도인식부(102)에 전달한다. 그러면 조도인식부(102)는 영상에서 배경 부분을 분리하여 분리된 배경 부분의 평균명암도를 측정하고, 측정된 평균명암도를 조도 지수로 변환하여 산출한다. 이어, 조도인식부(102)는 산출된 조도 지수를 검출방법의 조정을 위한 조정자부(103)에 전달한다. 이에 따라 조정자부(103)는 산출된 조도 지수가 주간, 야간, 중간 상태 중 어느 하나에 해당하는지를 판단하여 하나의 상태를 결정한다. 즉, 산출된 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단하여 하나의 상태를 결정하게 된다.
만일 어느 하나의 상태가 결정되면 이를 차량위치 검출부(104)에 전달한다. 이에 따라 차량위치 검출부(104)에서는 결정된 상태에 대응하는 차량 검출 방법 예컨대, 주간 차량 검출 방법 또는 야간 차량 검출 방법 중 어느 하나를 선택적으로 이용하여 차량 검출을 수행한다.
상기한 바와 같은 구성을 가지는 차량 검출 장치에서 조도 상태에 따라 선택적으로 차량 검출 방법을 변경하여 적용하는 과정을 도 2 및 도 3을 참조하여 설명한다. 도 2는 본 발명의 실시 예에 따라 조도 상태에 따른 차량 검출을 수행하기 위한 제어흐름도이고, 도 3은 본 발명의 실시 예에 따라 조도 지수를 산출하는 과정을 보여주는 예시도이다.
도 2를 참조하면, 차량 검출 장치는 200단계에서 카메라를 이용하여 영상을 획득하고, 205단계에서 획득한 영상으로부터 현재 조도 지수를 산출한다. 이때, 조도 지수를 산출하는 과정을 상세히 설명하기 위해 도 3을 참조한다. 도 3(a)는 주간 주행 차량을 촬영한 화면예시도이고, 도 3(b)는 야간 주행 차량을 촬영한 화면예시도이다. 먼저, 조도 지수를 산출하기 위해서는 영상을 차량이 주행하는 도로부분과 배경부분으로 구분해야 하는데, 전체 영상에 대한 움직임을 계산하여 움직임 이 있는 영역을 움직이는 차량이 있는 영역으로 간주하고, 움직임이 없는 영역을 배경으로 분리할 수 있다. 이때, 영상에서 움직임이 있는 영역과 움직임이 없는 영역을 분리하는 방법에는 여러 가지 방법이 있을 수 있는데, 본 발명에서는 도 3(a)의 도면부호 10에 의해 지시되는 바와 같이 영상의 상단 부분에 일정 크기를 가지는 블록을 설정한 후, 이를 배경 부분이라고 가정하여 조도 지수를 산출한다. 이와 마찬가지로 차량 검출 장치는 도 3(b)에서도 도면부호 20에 의해 지시되는 블록에 대한 조도 지수를 산출할 수 있다.
이와 같은 배경 부분에 대한 조도 지수는 하기 수학식 1을 통해 산출된다.
Figure 112006048636850-PAT00001
상기 수학식 1에서,
Figure 112006048636850-PAT00002
는 배경 부분의 평균 명암값이며,
Figure 112006048636850-PAT00003
는 조도 지수이다. 상기 수학식 1을 통해서는 영상으로부터 배경 부분의 명암의 평균값
Figure 112006048636850-PAT00004
이 [0.255]까지의 자연수로 표현되는 조도 지수
Figure 112006048636850-PAT00005
를 얻을 수 있다. 이러한 조도 지수는 초당 10개의 영상을 획득하는 장치에서는 10개 영상 획득 시마다 갱신된다. 이와 같이 조도 지수는 영상에서 배경 부분으로 설정된 영역의 평균명암값으로부터 산출되는 것이며, 매 영상이 획득될 때마다 갱신되게 된다.
상기 수학식 1을 통해 조도 지수가 산출되면, 차량 검출 장치는 210단계에서 조도 지수에 대응하는 조도 상태를 판단한다. 즉, 상기 산출된 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단한다. 본 발명에서는 조도 상태는 크게 주간 상태, 야간 상태, 중간 상태로 구분되며, 중간 상태는 주야간의 특징점이 동시에 나타나거나 주야간이 전환되는 상태로 새벽이나 석양녘, 터널내부, 우천 시 등이 이에 해당한다. 이와 같이 상태전환을 위한 조도지수의 범위에 따라 상태를 구분해보면 표 1과 같이 나타낼 수 있다.
[표 1]
야간상태
Figure 112006048636850-PAT00006
:[0, 70]
중간상태
Figure 112006048636850-PAT00007
:[71, 180]
주간상태
Figure 112006048636850-PAT00008
:[181, 255]
본 발명에서는 조도 상태를 상기 표 1과 같은 조도 지수의 범위에 따라 구분하였으나, 카메라의 성능에 따라 임의적으로 조절 가능함은 물론이며, 중간영역이 새벽이나 석양녘과 같이 주야간이 겹치는 영역을 포함할 수 있도록 조도지수의 범위를 설정할 수 있다.
이어, 차량 검출 장치는 상기 표 1에 근거하여 산출된 조도 지수에 대응하는 조도 상태를 판단하여 215단계에서 현재 조도 상태가 주간 상태, 야간 상태, 중간 상태 중 어느 상태에 해당하는지를 판단한다. 만일 주간 상태일 경우에는 차량 검출 장치는 도 4의 400단계로 진행한다. 한편, 차량 검출 장치는 주간 상태로 판단 되는 경우 도 4의 제어 흐름의 400단계로 진행하는데, 도 2 및 도 4에서 215단계 또는 220단계가 도 5의 400단계에 연결되어 있음을 나타내기 위해 심볼 B를 사용하였으며, 도 2의 200단계가 도 4의 420단계와 연결되어 있음을 나타내기 위해서는 심볼 A를 사용하였다. 한편, 도 4에서는 주간 상태에서의 차량 검출 방법을 설명하고 있는데, 그 차량 검출 방법을 개략적으로 설명하면 다음과 같다.
먼저, 주간 상태에서의 차량 검출은 영상에서 주간에서의 차량 특징점과 차량과 도로 사이에서 나타나는 그림자를 이용해서 차량 후보를 추출한 후, 차량의 좌우 에지정보, 대칭성, 차량의 너비를 이용하여 차량 후보를 검증하고, 검증된 차량 후보가 위치한 관심영역을 중심으로 다음 차례의 영상에서 이전과 비슷한 영역을 추적함으로써 이루어진다. 한편, 이러한 차량 검출 동작은 차량위치 검출부에 의해 이루어지게 되며, 도 4에 대한 보다 상세한 설명은 하기에서 후술하기로 한다.
이와 달리 조도 상태가 야간 상태일 경우에는 차량 검출 장치는 도 7의 700단계로 진행한다. 여기서, 도 2의 215단계 또는 220단계가 도 7의 700단계에 연결되어 있음을 나타내기 위해 심볼 C를 사용하였으며, 도 2의 200단계가 도 7의 730단계와 연결되어 있음을 나타내기 위해서는 심볼 A를 사용하였다. 야간 상태일 경우의 차량 검출 과정을 설명하기 위한 도면인 도 7에 대한 설명도 하기에서 후술하기로 한다. 한편, 도 7에서는 야간 상태에서의 차량 검출 방법을 설명하고 있는데, 그 차량 검출 방법을 개략적으로 설명하면 다음과 같다. 야간 상태에서의 차량 검출은 영상에서 전조등이나 미등에 의해 밝혀지는 광원 영역을 추출하고, 그 추출된 광원의 크기를 이용하여 차량 후보를 검증하여 추적함으로써 이루어진다.
한편, 조도 상태가 중간 상태일 경우에는 차량 검출 장치는 220단계로 진행하여 이전 상태가 주간 상태였는지를 판단하여 주간 상태였을 경우에는 도 4의 400단계로 진행하여 주간 주행 차량을 검출하는 동작을 수행한다. 이때, 초기의 조도 상태는 디폴트(default)로 주간 상태가 설정될 수 있으며, 최초에 조도 상태가 중간 상태로 판단되는 경우에는 바로 주간 상태로 간주되어 220단계는 도 4의 400단계로 이어질 수 있다.
상기한 바와 같은 과정을 거쳐 조도 상태가 주간 상태에 해당할 경우에는 주간 상태에서의 차량 검출 방법을 적용하다가 중간 상태가 되더라도 이전에 주간 상태에서의 차량 검출 방법으로 차량이 추적되고 있으므로 그대로 주간상태에서의 차량 검출 방법이 적용되게 된다. 이때, 차량을 제외한 배경 부분에 대해서는 주간 상태와 야간 상태에서의 차량 검출 방법이 매영상마다 번갈아가면서 적용될 수 있다. 이와 마찬가지로 조도 상태가 야간 상태이다가 중간 상태가 되더라도 일단 추적되는 차량에 대해서는 야간 상태에서의 차량 검출 방법이 계속 적용되다가 배경 부분의 조도 상태가 주간 상태로 바뀌게 되면 비로소 주간 상태에서의 차량 검출 방법이 적용될 수 있게 된다. 이와 같이 본 발명에 따른 차량 검출 장치는 조도 상태에 따라 선택적으로 주간 또는 야간 상태에서의 차량 검출 방법을 병행하여 차량을 추적한다.
이하, 조도 지수에 의해 나누어진 상태가 주간 상태인 경우 본 발명의 실시 예에 따라 그 주간 상태에서의 차량 검출 과정을 도 4를 참조하여 설명한다. 하기 에서는 이해를 돕기 위해 도 5 및 도 6을 예시하여 설명한다.
도 4를 참조하면, 차량 검출 장치는 400단계에서 영상에서 차량 후보를 추출하고, 410단계에서 추출된 차량 후보를 검증하고, 420단계에서 최종 차량을 검출하는 동작을 수행한다.
우선, 400단계를 구체적으로 설명하면, 차량과 도로 상에 생기는 그림자 영역 검출을 효과적으로 하기 위해 차량 검출 장치는 전체 영상(502)에서 배경 부분을 제거하고 움직임이 있는 영역 즉, 관심영역(501)안에서 배경 부분을 제거하고 관심영역(501)안에서 히스토그램 평준화를 통해 비교적 어두운 명암을 갖고 있는 포장도로와 그림자영역의 명암차를 크게 하여 도 5(a)와 같은 정규화된 영상(502)과 도 5(b)와 같은 이진화 영상(503)을 생성한다. 이때, 이진화 영상에서는 도로 부분이 제거되게 된다.
그리고나서 차량 검출 장치는 도 5(c)의 도면부호 505에 의해 지시되는 화살표 방향으로 즉, 영상의 하단에서 상단방향으로 일정한 두께를 갖는 윈도우(window)(304)로 스캐닝(Scaning)하여 그림자 영역을 검색한다. 이 윈도우는 영상에서 그림자가 어느 부분에 있는지를 서치(search)하는 역할을 하며, 원근에 따라 윈도우 사이즈가 달라진다. 이때, 차량 검출 장치는 관심영역(501) 전체에 대한 스캐닝을 하기 위해 윈도우를 하단에서 상단방향으로 이동시키면서 도면부호 506에 의해 지시되는 화살표 방향으로도 이동시킨다. 이와 같이 아래에서 위로 이동시키면서 동시에 좌에서 우로 윈도우를 이동시켜 관심영역(501)에 대해 모두 스캐닝함으로써 차량 검출 장치는 명암이 크게 감소하면서도 일정 이하의 어두운 명암을 갖 는 영역을 도 5(c)에서와 같이 그림자영역(507)으로 검출하여 그 그림자 영역(507)을 차량 후보 영역으로 설정한다. 이와 같이 그림자 영역을 이용해서는 1차적인 차량 후보 영역이 설정된다.
그리고나서 보다 정밀한 차량 후보 영역을 설정하기 위해 2차적으로 차량 후보 영역을 설정하는 동작을 수행한다. 이를 도 6를 참조하여 설명하면, 도 6에서는 1차로 설정된 차량 후보 영역들을 평면상의 실제 좌표로 변환한 후, 그 평면상에서 가상 차선 밖의 무리지어진 차량 후보 영역들은 제거하여 2차 차량 후보 영역을 설정하는 과정을 보여준다.
도 6에 도시된 바와 같이 차량 후보 영역들은 원근감을 제거하여 평면상에 적어도 하나 이상의 점들로 무리지어 보여지는데, 차량 후보 영역들은 가상 차선(603)에 의해 여러 무리(601, 602)로 구분된다. 이 무리들(601, 602) 중 가상 차선(603)의 관심영역 밖에 위치한 무리(602)는 제거되며, 나머지 무리(601)가 2차 차량 후보 영역으로 설정된다. 이와 같이 도 6에서는 영상에서 추출된 차량 후보 영역들을 평면상의 실제 좌표로 변환하여 처리한 결과를 예시하고 있다. 여기서, 상기 좌표 변환은 하기 수학식 2를 통해 이루어진다.
Figure 112006048636850-PAT00009
상기 수학식 2는 영상좌표와 실제 좌표 사이의 변환을 나타내는 3×3행렬로서, 영상에서 나타나는 원근효과를 없애서 영상좌표(r i ,c i )를 평면상의 3차원 실제좌표(x i , y i )로 변환한다.
상기한 바와 같은 과정을 통해 1차로 추출된 차량 후보 영역에서 다시 수학식 1을 통해 1차 추출된 차량 후보 영역들 중에서 다시 유효하지 않은 차량 후보 영역들은 제거하여 2차로 차량 후보 영역을 생성하게 된다.
이하, 2차 차량 후보 영역에 대한 검증 과정을 설명하기로 한다. 차량 후보 영역에 대한 검증은 차량이 있다고 간주한 영역에 실제로 차량이 위치하는지를 판단하기 위함이다. 예를 들어, 2차 차량 후보 영역을 얻었더라도 차량이 아닌 장애물 등이 검출되는 경우도 있을 수 있기 때문에 그 차량 후보 영역에 대한 검증을 수행해야 하는 것이다.
2차 차량 후보 영역은 차량의 사전지식으로 적용되는 대칭성과 좌우 수직에지 성분, 차량의 폭에 의해 검증된다. 2차 차량후보의 종방향 위치는 그림자 영역에 의해 설정되므로 비교적 정확하나 횡방향 위치는 부정확하기 때문에 하기 수학식 3과 같은 에지의 대칭성을 통해서 대칭성이 우수한 영역으로 재설정된다.
Figure 112006048636850-PAT00010
상기 수학식 3에서, s는 에지의 각도가 같거나 부호가 반대인 에지의 개수이 며 n은 에지의 전체 개수이다. 이와 같이 수학식 3을 통해 얻어지는 에지 성분을 근거로 차량 검출 장치는 어느 위치에 차량이 위치하는지를 판단할 수 있다. 예를 들어, 에지 성분이 가운데 있을 경우에는 차량의 위치도 가운데에 있다고 판단할 수 있게 된다. 이와 같이 좌우 에지의 히스토그램과 실제 차폭 정보를 이용하여 차량 후보 영역을 다시 검증함으로써 영상에서의 최종 차량 위치가 출력되게 된다. 이러한 과정을 거쳐 검출된 차량은 차량 추적을 통해 연속된 영상에서 안정적으로 검출된다. 검출된 차량은 실시간 차량 모형으로 설정하여 신뢰도를 통해서 매프레임마다 갱신되며, 이러한 추적을 위해서 통상의 방법인 루카스-카나데 방법을 이용할 수 있다. 만일 높은 신뢰도를 갖는 차량의 추적에 실패할 경우에는 신뢰도에 의해 설정된 한계값을 낮춤으로써 차량을 복원할 수도 있다.
이하, 야간 상태에서의 차량 검출 과정을 도 7을 참조하여 설명한다. 이에 대한 이해를 돕기 위해 광원을 추출하는 과정을 보인 도 8을 참조하여 설명한다. 도 8은 본 발명의 실시 예에 따른 광원 추출 과정을 설명하기 위한 예시도이다.
도 7의 차량 검출 동작은 차량 검출 장치의 구성부인 차량위치 검출부에서 이루어지며, 이하 도 7에서는 설명의 편의를 위해 차량 검출 장치로 칭한다. 도 7을 참조하면, 차량 검출 장치는 700단계에서 야간 상태의 영상에서 전조등, 미등, 브레이크 등과 같은 광원을 각각 묶는다. 광원은 영상에서 250 이상의 높은 명암도를 가지므로 차량 검출 장치는 이를 이용하여 영상을 이진화한다. 이때, 도 8(a)에서와 같이 번지는 광원, 작은 헤드라이트등이 나타내는 영상에서 광원들을 묶을 경우 도 8(b)의 녹색 부분에 의해 표시되는 바와 같이 표시될 수 있다.
그리고나서 차량 검출 장치는 710단계로 진행하여 각 묶음의 광원들을 보고 번지는 광원인지 미등같은 작은 광원인지 등 광원의 크기를 대(大), 중(中), 소(小)로 각 광원의 묶음을 분류한다. 각 광원은 미등, 브레이크 등과 같이 광원의 왜곡없이 나타나는 경우, 주변광원이 차량에 반사되어 나타나는 경우, 전조등이 크게 왜곡되어 보이는 경우 등에 의해 각각 소, 중, 대의 크기를 가질 수 있다. 따라서, 차량 검출 장치는 이러한 광원 분류를 통해 광원의 크기가 미리 정해진 크기 이상으로 큰 광원일 경우에는 도 8(c)의 도면부호 800에 의해 지시되는 바와 같이 하나의 차량에 해당하는 광원으로 간주하고, 도 8(c)의 도면부호 810에 의해 지시되는 바와 같이 작은 미등들은 합쳐서 하나의 차량으로 간주한다. 이때, 각 광원의 크기를 분류하는 임계값은 해당 광원의 무게중심에서의 실제 광원의 크기 대 예상 차량의 크기의 비에 의해 설정될 수 있다. 즉, 해당 광원의 무게중심점에서의 광원의 크기 대 차량의 크기에 비에 의해 묶어진 광원들이 대(大), 중(中), 소(小)로 분류되게 된다. 만일 광원이 대로 분류되는 경우 차량 검출 장치는 광원의 잡음 부분 예컨대, 일그러진 부분을 제거하여 차량 후보를 검출하고 소로 분류되는 광원은 주변 광원과 합친다.
이와 같이 분류된 광원을 근거로 차량 검출 장치는 720단계에서 차량 후보를 추출한다. 즉, 광원의 크기에 의해 차량 후보 영역을 생성한다. 그리고나서 차량 검출 장치는 730단계에서 차량 추출의 안정성을 위해 다음 차례의 영상에서도 이전에 설정된 관심 영역안에서 광원을 재추출함으로써 광원을 추적한다.
한편, 중간 상태에서의 차량 검출 방법을 설명하기 위해 도 9를 참조한다. 도 9는 본 발명의 실시 예에 따라 조도 상태에 따른 차량 검출 예시도이다. 도 9(a)는 주간 주행 차량에 관한 예시도로, 터널 입구에서는 주간 상태에 있으므로 차량 검출 장치는 차량에 대해 주간 상태에서의 차량 검출 방법을 적용한다. 이어, 도 9(b)에서와 같이 차량이 터널에 진입할 때에는 조도 지수가 중간 상태에 해당할 수 있는데, 조도 지수가 중간 상태로 바뀌게 되더라도 차량 검출 장치는 차량에 대해서는 주간 상태에서의 차량 검출 방법을 계속 적용하여 검출한다. 이때, 도 9(b)에서 차량을 제외한 나머지 영역에 대해서는 주간 차량 검출 방법과 야간 차량 검출 방법을 매영상마다 번갈아 적용한다.
한편, 도 9(c) 추적하고 있던 차량 대신 새로운 차량이 검출되는 상황을 설명하기 위한 예시도로, 차량 검출 장치는 터널 안에서 이미 차량을 야간 차량 검출 방법을 이용하여 추적하고 있는 상태이므로 새로운 차량이 검출되더라도 야간 차량 검출 방법을 그대로 이용하여 새로운 차량을 추적하게 된다.
상기한 바와 같이 본 발명에 따르면, 주간과 야간을 포함하는 다양한 조도 환경에서 적용할 수 있는 차량 검출 방법을 제시함으로써 카메라를 이용한 차량 검출 방법이 특정한 환경에서만 적용가능했던 한계를 극복하여 관련 시스템의 개발을 도모할 수 있게 된다.

Claims (14)

  1. 자기 차량에 장착된 카메라를 이용하여 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법에 있어서,
    상기 카메라를 통해 입력되는 영상으로부터 조도 지수를 산출하는 과정과,
    상기 산출된 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단하는 과정과,
    판단 결과 중간 상태에 해당하는 경우 상기 영상에서 이전 상태에 대응하는 차량 검출을 수행하는 과정을 포함함을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.
  2. 제 1항에 있어서,
    상기 이전 상태가 없을 경우 상기 주간 상태에 해당한다고 간주하여 상기 영상에서 주간 상태에 대응하는 차량 검출을 수행하는 과정을 더 포함함을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.
  3. 제 1항에 있어서, 상기 이전 상태에 대응하는 차량 검출을 수행하는 과정은,
    상기 이전 상태가 주간 상태일 경우 상기 영상에서 차량과 도로 상에 생기는 그림자 영역을 이용하여 차량 후보를 검출하는 과정과,
    상기 검출된 차량 후보를 차량에 대한 좌우 에지성분 및 차량폭에 대한 사전지식을 적용해서 상기 차량 후보를 검증하여 최종 차량을 검출하는 과정임을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.
  4. 제 1항에 있어서, 상기 이전 상태에 대응하는 차량 검출을 수행하는 과정은,
    상기 이전 상태가 주간 상태일 경우 상기 영상에서 검출된 차량 후보에 대해서는 상기 주간 상태에 대응하는 차량 검출을 수행하고, 상기 영상의 배경 부분에 대해서는 상기 주간 상태 및 야간 상태에 대응하는 차량 검출 수행을 매영상마다 번갈아가면서 수행하는 과정임을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.
  5. 제 1항에 있어서, 상기 이전 상태에 대응하는 차량 검출을 수행하는 과정은,
    상기 이전 상태가 야간 상태일 경우 상기 영상에서 광원들을 묶어서 상기 광원들의 크기별로 분류하는 과정과,
    상기 영상에서 상기 분류된 광원들을 근거로 차량 후보를 검출하는 과정임을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.
  6. 제 5항에 있어서, 상기 분류된 광원들을 근거로 차량 후보를 검출하는 과정은,
    상기 광원들을 해당 광원의 무게중심점에서의 광원의 크기 대 차량의 크기에 비에 의해 대(大), 중(中), 소(小) 중 어느 하나의 크기로 분류하고, 상기 영상에서 상기 대(大)로 분류되는 광원의 잡음 부분을 제거하여 차량 후보를 검출하고, 상기 영상에서 상기 소(小)로 분류되는 광원은 주변 광원과 다시 묶어서 차량 후보를 검출하는 과정임을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.
  7. 제 1항에 있어서, 상기 조도 지수는
    상기 영상에서 배경 부분으로 설정된 영역의 평균명암값으로부터 산출되는 것이며, 매영상이 획득될 때마다 갱신되는 것임을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.
  8. 자기 차량에 장착된 카메라를 이용하여 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치는,
    상기 카메라를 통해 영상을 수신하는 영상수신부와,
    상기 영상수신부로부터 상기 영상을 제공받아 상기 영상에서 배경 부분을 설정하고, 설정된 배경 부분의 평균명암도를 측정하여 조도 지수를 산출하는 조도인식부와,
    상기 조도인식부로부터 제공되는 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단하여 하나의 상태를 결정하는 조정자부와,
    상기 결정된 상태에 대응하는 차량 검출을 수행하는 차량위치 검출부를 포함함을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.
  9. 제 8항에 있어서, 상기 차량위치 검출부는
    상기 결정된 상태가 중간 상태에 해당하는 경우 상기 영상에서 이전 상태에 대응하는 차량 검출을 수행하는 것을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.
  10. 제 9항에 있어서, 상기 차량위치 검출부는
    상기 이전 상태가 주간 상태일 경우 상기 영상에서 차량과 도로 상에 생기는 그림자 영역을 이용하여 차량 후보를 검출하고, 상기 검출된 차량 후보를 차량에 대한 좌우 에지성분 및 차량폭에 대한 사전지식을 적용해서 상기 차량 후보를 검증 하여 최종 차량을 검출하는 것을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.
  11. 제 9항에 있어서, 상기 차량위치 검출부는
    상기 이전 상태가 없을 경우 주간 상태로 간주하여 상기 영상에서 차량과 도로 상에 생기는 그림자 영역을 이용하여 차량 후보를 검출하고, 상기 검출된 차량 후보를 차량에 대한 좌우 에지성분 및 차량폭에 대한 사전지식을 적용해서 상기 차량 후보를 검증하여 최종 차량을 검출하는 것을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.
  12. 제 8항에 있어서, 상기 차량위치 검출부는
    상기 결정된 상태가 주간 상태일 경우 상기 영상에서 차량과 도로 상에 생기는 그림자 영역을 이용하여 차량 후보를 검출하고, 상기 검출된 차량 후보를 차량에 대한 좌우 에지성분 및 차량폭에 대한 사전지식을 적용해서 상기 차량 후보를 검증하여 최종 차량을 검출하는 것을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.
  13. 제 8항에 있어서, 상기 차량위치 검출부는
    상기 결정된 상태가 야간 상태일 경우 상기 영상에서 광원들을 묶어서 상기 광원들의 크기별로 분류하고, 상기 영상에서 상기 분류된 광원들을 근거로 차량 후보를 검출하는 것을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.
  14. 제 13항에 있어서, 상기 차량위치 검출부는
    상기 광원들을 해당 광원의 무게중심점에서의 광원의 크기 대 차량의 크기에 비에 의해 대(大), 중(中), 소(小) 중 어느 하나의 크기로 분류하고, 상기 영상에서 상기 대(大)로 분류되는 광원의 잡음 부분을 제거하여 차량 후보를 검출하고, 상기 영상에서 상기 소(小)로 분류되는 광원은 주변 광원과 다시 묶어서 차량 후보를 검출하는 것을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.
KR1020060063647A 2006-07-06 2006-07-06 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치 KR101134857B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060063647A KR101134857B1 (ko) 2006-07-06 2006-07-06 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060063647A KR101134857B1 (ko) 2006-07-06 2006-07-06 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치

Publications (2)

Publication Number Publication Date
KR20080004833A true KR20080004833A (ko) 2008-01-10
KR101134857B1 KR101134857B1 (ko) 2012-04-13

Family

ID=39215422

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060063647A KR101134857B1 (ko) 2006-07-06 2006-07-06 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치

Country Status (1)

Country Link
KR (1) KR101134857B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100947284B1 (ko) * 2010-01-19 2010-03-12 에코텍 주식회사 방수 기능을 갖춘 미끄럼 방지제
CN101909697B (zh) * 2008-12-18 2012-07-04 3M创新有限公司 具有设置在面罩主体上的凸缘的平折式呼吸器
KR101327256B1 (ko) * 2013-09-11 2013-11-08 (주)나인정보시스템 Ptz 카메라에 의한 차량 그림자 영역 탐지를 이용한 차량 검지 시스템 및 방법
KR101352723B1 (ko) * 2011-12-02 2014-01-16 가부시키가이샤 덴소 운전 지원 장치
KR101373625B1 (ko) * 2012-09-04 2014-03-12 전자부품연구원 차량 후보 영역 보완에 의한 전방 차량 검출방법 및 장치
KR20150125818A (ko) * 2014-04-30 2015-11-10 전자부품연구원 차량의 브레이크등을 이용한 야간 전방 차량 인식 방법 및 시스템
EP2879384A4 (en) * 2012-07-27 2016-04-20 Nissan Motor DEVICE FOR DETECTING THREE-DIMENSIONAL OBJECTS AND METHOD FOR DETECTING THREE-DIMENSIONAL OBJECTS
KR20160101513A (ko) * 2015-02-17 2016-08-25 현대자동차주식회사 전방 또는 전전방 차량을 인식하는 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339498A (ja) * 1995-06-09 1996-12-24 Yazaki Corp 車両周辺監視装置
JPH0935059A (ja) * 1995-07-14 1997-02-07 Aisin Seiki Co Ltd 移動体上照度識別装置
KR19980083932A (ko) * 1997-05-20 1998-12-05 홍종만 야간주행 차량간 거리판별장치 및 방법
KR100335884B1 (ko) 1999-12-23 2002-05-08 이계안 위성 안테나 추적 속도 향상 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101909697B (zh) * 2008-12-18 2012-07-04 3M创新有限公司 具有设置在面罩主体上的凸缘的平折式呼吸器
KR100947284B1 (ko) * 2010-01-19 2010-03-12 에코텍 주식회사 방수 기능을 갖춘 미끄럼 방지제
KR101352723B1 (ko) * 2011-12-02 2014-01-16 가부시키가이샤 덴소 운전 지원 장치
EP2879384A4 (en) * 2012-07-27 2016-04-20 Nissan Motor DEVICE FOR DETECTING THREE-DIMENSIONAL OBJECTS AND METHOD FOR DETECTING THREE-DIMENSIONAL OBJECTS
US9558546B2 (en) 2012-07-27 2017-01-31 Nissan Motor Co., Ltd. Three-dimensional object detection device, and three-dimensional object detection method
RU2619059C2 (ru) * 2012-07-27 2017-05-11 Ниссан Мотор Ко., Лтд. Устройство обнаружения трехмерных объектов и способ обнаружения трехмерных объектов
KR101373625B1 (ko) * 2012-09-04 2014-03-12 전자부품연구원 차량 후보 영역 보완에 의한 전방 차량 검출방법 및 장치
KR101327256B1 (ko) * 2013-09-11 2013-11-08 (주)나인정보시스템 Ptz 카메라에 의한 차량 그림자 영역 탐지를 이용한 차량 검지 시스템 및 방법
KR20150125818A (ko) * 2014-04-30 2015-11-10 전자부품연구원 차량의 브레이크등을 이용한 야간 전방 차량 인식 방법 및 시스템
KR20160101513A (ko) * 2015-02-17 2016-08-25 현대자동차주식회사 전방 또는 전전방 차량을 인식하는 방법

Also Published As

Publication number Publication date
KR101134857B1 (ko) 2012-04-13

Similar Documents

Publication Publication Date Title
TWI302879B (en) Real-time nighttime vehicle detection and recognition system based on computer vision
USRE48106E1 (en) Detection of obstacles at night by analysis of shadows
EP2549457B1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
US8064643B2 (en) Detecting and recognizing traffic signs
JP5892876B2 (ja) 車載用環境認識装置
KR101134857B1 (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
CN105981042B (zh) 车辆探测系统及方法
RU2636120C2 (ru) Устройство обнаружения трехмерных объектов
US8670592B2 (en) Clear path detection using segmentation-based method
US7566851B2 (en) Headlight, taillight and streetlight detection
RU2571368C1 (ru) Устройство обнаружения трехмерных объектов, способ обнаружения трехмерных объектов
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
JP5747549B2 (ja) 信号機検出装置及びプログラム
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
EP2172873A2 (en) Bundling of driver assistance systems
JP5065172B2 (ja) 車両灯火判定装置及びプログラム
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
CN109948552B (zh) 一种复杂交通环境中的车道线检测的方法
RU2635280C2 (ru) Устройство обнаружения трехмерных объектов
DE102006055906A1 (de) Verfahren zur Erkennung von Reflektoren, Schildern und Fahrzeuglichtern
Cualain et al. Multiple-camera lane departure warning system for the automotive environment
JPH08193831A (ja) 接近車両検出装置
JP2011025894A (ja) 車両灯火認識装置及びプログラム
KR20140103441A (ko) 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee