KR102109841B1 - 주행 영상으로부터 차량을 검출하는 방법 및 장치 - Google Patents

주행 영상으로부터 차량을 검출하는 방법 및 장치 Download PDF

Info

Publication number
KR102109841B1
KR102109841B1 KR1020180152818A KR20180152818A KR102109841B1 KR 102109841 B1 KR102109841 B1 KR 102109841B1 KR 1020180152818 A KR1020180152818 A KR 1020180152818A KR 20180152818 A KR20180152818 A KR 20180152818A KR 102109841 B1 KR102109841 B1 KR 102109841B1
Authority
KR
South Korea
Prior art keywords
area
candidate
region
vehicle
lane
Prior art date
Application number
KR1020180152818A
Other languages
English (en)
Inventor
구형일
김용균
조범근
Original Assignee
아주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교 산학협력단 filed Critical 아주대학교 산학협력단
Priority to KR1020180152818A priority Critical patent/KR102109841B1/ko
Application granted granted Critical
Publication of KR102109841B1 publication Critical patent/KR102109841B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

주행 영상으로부터 적어도 하나의 차량을 검출하는 방법에 있어서, 주행 영상의 밝기를 추정하여 추정 밝기를 계산하는 단계, 추정 밝기에 기초하여 주행 영상의 밝기를 정규화(normalizing)함으로써 보정 영상을 생성하는 단계, 차량에 대한 적어도 하나의 후보를 나타내는 후보 영역, 차도 상의 적어도 하나의 차선을 나타내는 차선 영역 및 적어도 하나의 차량 미등을 나타내는 미등 영역을 보정 영상으로부터 설정하는 단계, 및 후보 영역, 차선 영역 및 미등 영역 상호간의 위치 관계에 기초하여 후보 영역 중 적어도 하나를 차량으로 검출하는 단계를 포함하는 방법이 개시된다.

Description

주행 영상으로부터 차량을 검출하는 방법 및 장치{Method and apparatus for detecting vehicle from driving image}
본 개시는 주행 영상으로부터 차량을 검출하는 방법 및 장치에 관한 것이다. 보다 상세하게는, 본 개시는 주행 영상의 밝기를 보정하고, 차선 및 차량 미등의 위치를 고려하여 주행 영상으로부터 차량을 검출하는 방법 및 장치에 관한 것이다.
주행 중인 차량들 간의 충돌을 방지하기 위한 시스템 등 운전자를 보조하는 각종 시스템들에 대한 연구가 진행되고 있다. 운전자 보조 시스템이 동작하기 위해서는 주행 중인 차량에서 다른 차량들을 검출하는 과정이 필수적으로 요구될 수 있다.
기계 학습 등 다량의 데이터에 대한 반복적인 학습을 통해 패턴을 파악하는 기법이 발달함에 따라, 다른 차량들의 외관을 식별하여 차량을 검출하는 방식에 대한 연구가 진행되고 있다. 다만, 야간에는 다른 차량들의 외관을 식별하기에 충분한 밝기가 제공되지 않을 수 있어, 차량 검출의 정확도가 감소할 수 있다.
따라서, 주변이 충분히 밝지 않은 야간 또는 기상 환경이 악화되는 상황에서도 각종 운전자 보조 시스템이 동작할 수 있도록, 다른 차량들을 검출하는 정확도를 개선하기 위한 기술이 요구될 수 있다.
다양한 실시예들은 주행 영상으로부터 차량을 검출하는 방법 및 장치를 제공하기 위한 것이다. 본 개시가 이루고자 하는 기술적 과제는 전술한 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 개시의 일 측면에 따른 주행 영상으로부터 적어도 하나의 차량을 검출하는 방법은, 상기 주행 영상의 밝기를 추정하여 추정 밝기를 계산하는 단계; 상기 추정 밝기에 기초하여 상기 주행 영상의 밝기를 정규화(normalizing)함으로써 보정 영상을 생성하는 단계; 상기 차량에 대한 적어도 하나의 후보를 나타내는 후보 영역, 차도 상의 적어도 하나의 차선을 나타내는 차선 영역 및 적어도 하나의 차량 미등을 나타내는 미등 영역을 상기 보정 영상으로부터 설정하는 단계; 및 상기 후보 영역, 상기 차선 영역 및 상기 미등 영역 상호간의 위치 관계에 기초하여 상기 후보 영역 중 적어도 하나를 상기 차량으로 검출하는 단계를 포함할 수 있다.
본 개시의 다른 측면에 따른 주행 영상으로부터 적어도 하나의 차량을 검출하는 장치는, 적어도 하나의 프로그램을 저장하는 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 상기 차량을 검출하는 프로세서를 포함하고, 상기 프로세서는, 상기 주행 영상의 밝기를 추정하여 추정 밝기를 계산하고, 상기 추정 밝기에 기초하여 상기 주행 영상의 밝기를 정규화함으로써 보정 영상을 생성하고, 상기 차량에 대한 적어도 하나의 후보를 나타내는 후보 영역, 차도 상의 적어도 하나의 차선을 나타내는 차선 영역 및 적어도 하나의 차량 미등을 나타내는 미등 영역을 상기 보정 영상으로부터 설정하고, 상기 후보 영역, 상기 차선 영역 및 상기 미등 영역 상호간의 위치 관계에 기초하여 상기 후보 영역 중 적어도 하나를 상기 차량으로 검출할 수 있다.
본 개시에 따른 방법 및 장치에 의해, 주행 영상의 밝기가 충분히 확보되지 못하는 경우에도 밝기를 정규화하여 보정 영상이 생성될 수 있고, 보정 영상으로부터 차량에 대한 후보, 차선 및 차량 미등이 파악될 수 있으며, 차선 및 차량 미등과의 관계를 토대로 차량이 검출될 수 있으므로, 차량 검출의 정확도가 향상될 수 있다.
도 1은 일부 실시예에 따른 주행 영상으로부터 적어도 하나의 차량을 검출하는 방법을 구성하는 단계들을 나타내는 흐름도이다.
도 2는 일부 실시예에 따른 주행 영상의 밝기를 보정하는 과정을 설명하기 위한 도면이다.
도 3은 일부 실시예에 따른 주행 영상으로부터 후보 영역, 차선 영역 및 미등 영역을 설정하는 과정을 설명하기 위한 도면이다.
도 4는 일부 실시예에 따른 주행 영상으로부터 적어도 하나의 차량을 검출하는 장치를 구성하는 요소들을 나타내는 블록도이다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다. 아래의 설명은 실시예들을 구체화하기 위한 것일 뿐 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시예로부터 당해 기술분야의 전문가가 용이하게 유추할 수 있는 것은 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 '구성된다' 또는 '포함한다' 등의 용어는 명세서 상에 기재된 여러 구성 요소들 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수 있고, 또는 추가적인 구성 요소들 또는 단계들이 더 포함될 수 있는 것으로 해석되어야 한다.
본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같은 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있으나, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않아야 한다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소들로부터 구별하기 위한 목적으로만 사용된다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되는 일반적인 용어들로 선택되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당하는 발명의 설명 부분에서 그 의미가 상세하게 기재될 것이다. 따라서, 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 실시예들은 주행 영상으로부터 차량을 검출하는 방법 및 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 일부 실시예에 따른 주행 영상으로부터 적어도 하나의 차량을 검출하는 방법을 구성하는 단계들을 나타내는 흐름도이다.
도 1을 참조하면, 주행 영상으로부터 적어도 하나의 차량을 검출하는 방법은 단계 110 내지 단계 140을 포함할 수 있다. 다만 이에 제한되는 것은 아니고, 도 1에 도시되는 단계들 외에 다른 범용적인 단계들이 주행 영상으로부터 적어도 하나의 차량을 검출하는 방법에 더 포함될 수 있다.
도 1의 단계들을 수행하는 장치는 후술할 도 4의 장치(400)일 수 있다. 도 4의 장치(400)는 각종 운전자 보조 시스템을 구성하는 장치에 해당할 수 있다. 예를 들면, 장치(400)는 운전자 보조 시스템을 구비하는 차량의 전장을 구성하는 전자 장치일 수 있다.
운전자 보조 시스템은 운전자의 차량에서 다른 차량들을 검출하여 다양한 보조 기능을 수행하는 시스템일 수 있다. 예를 들면, 운전자 보조 시스템은 차량 충돌 방지 시스템, 차선 이탈 방지 시스템과 같은 보조 시스템일 수 있고, 자율 주행 시스템일 수도 있다.
단계 110에서, 장치(400)는 주행 영상의 밝기를 추정하여 추정 밝기를 계산할 수 있다.
주행 영상은 주행 중인 운전자의 차량의 전방의 시야에 대한 영상일 수 있다. 장치(400)는 운전자의 차량에 포함되는 영상 촬영 수단으로부터 주행 영상을 제공받을 수 있다. 주행 영상은 복수 개의 정지 영상들이거나, 초당 30 프레임 이상의 동영상일 수 있다.
주행 영상은 다양한 수치의 밝기를 가질 수 있다. 운전자의 차량이 주행하는 주변 환경에 따라 주행 영상의 밝기가 달라질 수 있다. 운전자의 차량이 주간에 주행하는 경우, 주행 영상은 높은 밝기를 가질 수 있고, 야간의 경우 주행 영상의 밝기가 낮을 수 있다.
장치(400)는 주행 영상의 밝기를 추정할 수 있다. 장치(400)는 주행 영상을 구성하는 정지 영상 또는 동영상의 각 프레임으로부터 주행 영상의 밝기를 추정할 수 있다. 예를 들면, 장치(400)는 정지 영상에 포함되는 픽셀들의 수치를 기준으로 주행 영상의 밝기를 추정할 수 있다.
장치(400)는 주행 영상의 밝기를 추정하여 추정 밝기를 계산할 수 있다. 추정 밝기는 다양한 스케일로 계산될 수 있다. 예를 들면, 장치(400)는 추정 밝기를 주간 또는 야간의 2단계로 구분할 수 있다. 2단계 구분의 경우 주행 영상의 밝기 및 기준값을 비교하여 추정 밝기를 주간 또는 야간으로 구분할 수 있다.
또는, 장치(400)는 추정 밝기를 2단계 이상의 연속적인 값으로 계산할 수도 있다. 장치(400)는 주행 영상의 밝기를 세분하여 추정 밝기를 0부터 1 사이의 임의의 값으로 계산할 수 있다. 이에 따르면, 추정 밝기는 0.2, 0.7 등일 수 있다.
단계 120에서, 장치(400)는 추정 밝기에 기초하여 주행 영상의 밝기를 정규화(normalizing)함으로써 보정 영상을 생성할 수 있다.
주행 영상의 밝기에 대한 정규화는 주행 영상의 밝기를 단일화하는 것을 의미할 수 있다. 장치(400)는 주행 영상이 어떠한 수치의 밝기 값을 갖는지를 불문하고, 모든 주행 영상의 밝기를 특정 수치로 변경시킴으로써 정규화를 수행할 수 있다.
주행 영상의 밝기에 대한 정규화는 추정 밝기를 기반으로 수행될 수 있다. 장치(400)는 추정 밝기 값을 기준으로 주행 영상의 밝기를 증가시키거나 감소시킴으로써 정규화를 수행할 수 있다. 그에 따라, 정규화되는 주행 영상은 운전자의 차량이 주행하는 환경과는 무관하게 동일한 밝기를 가질 수 있다.
장치(400)는 주행 영상의 밝기를 정규화함으로써 보정 영상을 생성할 수 있다. 보정 영상은 기준 밝기를 가질 수 있다. 모든 주행 영상들의 밝기는 정규화를 통해 기준 밝기로 설정될 수 있다. 예를 들면, 추정 밝기가 기준 밝기보다 작은 주행 영상에 대해서는 밝기를 증가시키는 방식으로 주행 영상의 밝기를 기준 밝기로 변경시킬 수 있다.
주행 영상의 밝기는 주행 영상의 대비(contrast)를 조정하는 방식으로 수행될 수 있다. 장치(400)는 주행 영상의 대비 조정을 통해 주행 영상의 밝기를 기준 밝기로 설정하여 보정 영상을 생성할 수 있다.
장치(400)는 히스토그램 균일화(histogram equalization)를 통해 주행 영상의 대비를 조정할 수 있다. 특정 이미지 또는 영상의 프레임에서, 히스토그램이 특정 영역에 과도하게 집중되어 있는 경우 이미지 또는 프레임의 대비가 낮을 수 있다. 따라서, 과도하게 집중되어 있는 히스토그램을 균일하게 분포시키는 과정을 통해 주행 영상의 대비가 조정될 수 있다.
장치(400)에 의해 주행 영상이 정규화되어 보정 영상이 생성됨에 따라, 운전자의 차량이 주행하는 환경에 따른 영상의 밝기 편차가 줄어들 수 있다. 따라서, 주행 환경에 무관하게 동일한 밝기를 갖는 보정 영상이 생성될 수 있어, 주야간 편차 등 주행 환경에 따라 차량 검출의 정확도에 차이가 생기는 문제가 해소될 수 있다.
단계 130에서, 장치(400)는 차량에 대한 적어도 하나의 후보를 나타내는 후보 영역, 차도 상의 적어도 하나의 차선을 나타내는 차선 영역 및 적어도 하나의 차량 미등을 나타내는 미등 영역을 보정 영상으로부터 설정할 수 있다.
후보 영역은 차량에 대한 적어도 하나의 후보를 나타낼 수 있다. 보정 영상에 나타나는 각종 물체들 중에서 어느 것이 차량을 나타내는지에 관하여, 후보 영역의 물체가 차량에 대한 후보가 될 수 있다. 즉, 운전자의 차량이 주행하는 경우에 보정 영상에 포착되는 물체들 중 다른 차량들에 해당하는 것으로 예상되는 물체가 위치하는 영역이 후보 영역으로 설정될 수 있다.
동일한 방식으로, 차선 영역 및 미등 영역이 설정될 수 있다. 보정 영상 중 도로 상에 형성되는 차선이 위치하는 것으로 예상되는 영역이 차선 영역으로 설정될 수 있고, 보정 영상 중 다른 차량들의 미등이 위치하는 것으로 예상되는 영역이 미등 영역으로 설정될 수 있다.
장치(400)는 기계 학습(machine learning)을 통해 보정 영상으로부터 후보 영역, 차선 영역 및 미등 영역을 설정할 수 있다. 기계 학습은 다량의 자료들에 대한 학습을 통해 특정 목적에 관한 패턴을 형성하는 과정을 의미할 수 있다. 예를 들면, 다량의 보정 영상에 대한 기계 학습을 통해 어떠한 형상이 차량, 차선 및 미등을 나타내는지를 분류하는 패턴이 형성될 수 있다.
기계 학습의 한 방식으로서, 신경망 알고리즘(neural network algorithm)이 활용될 수 있다. 신경망 알고리즘은 인간이 특정 대상을 학습할 때 두뇌가 작동하는 양상을 모방하여 기계 학습을 수행하는 알고리즘을 의미할 수 있다. 보정 영상에 대한 기계 학습을 신경망 알고리즘을 활용하여 수행하는 경우 보정 영상으로부터 각 영역을 분류하기 위한 복수의 레이어들(layers)이 형성될 수 있고, 레이어들 각각에 포함되는 노드들(nodes) 상호간의 연결 관계가 지속적으로 업데이트되며 보정 영상으로부터 각 영역을 분류하는 패턴이 형성될 수 있다.
보정 영상으로부터 후보 영역이 설정되는 과정에서, 장치(400)는 보정 영상에 나타나는 물체들의 외관을 기준으로 후보 영역을 설정할 수 있다. 즉, 차량들이 다양한 각도에서 비추어지는 외관을 구별하는 패턴이 형성될 수 있고, 그로부터 장치(400)는 보정 영상에서 후보 영역을 분류해낼 수 있다.
보정 영상으로부터 차선 영역이 설정되는 과정에서, 장치(400)는 경계선(edge) 및 색상 중 적어도 하나를 기반으로 하는 세그먼테이션(segmentation) 방식으로 차선 영역을 설정할 수 있다. 세그먼테이션 방식은 특정 성질을 공유하는 대상들을 하나의 덩어리로 묶는 방식을 의미할 수 있다. 차선의 경우, 차도 상에서 일정 간격으로 이격되어 배치될 수 있고, 차선의 색상 또는 경계선을 기준으로 차선의 배치가 파악될 수 있으므로, 그로부터 차선 영역이 설정될 수 있다.
보정 영상으로부터 미등 영역이 설정되는 과정에서, 장치(400)는 색상에 대한 필터링 및 형태학(morphology) 중 적어도 하나에 기초하여 미등 영역을 설정할 수 있다. 차량에 구비되는 미등(tail lamp)은 일반적으로 적색광의 램프일 수 있다. 그에 따라, 장치(400)는 보정 영상을 필터링하여 적색만을 검출하고, 그에 기초하여 미등 영역을 설정할 수 있다. 또한, 다양한 차량들의 미등 디자인으로부터 미등의 다양한 형상들에 대한 패턴이 학습될 수 있으므로, 동일한 적색광에 대해서도 차량의 미등에 의한 적색광과 다른 광원에 의한 적색광이 구별될 수 있다.
보정 영상으로부터 설정되는 후보 영역, 차선 영역 및 미등 영역은 각각이 실제로 차량, 차선 및 미등에 해당할 확률을 가질 수 있다. 장치(400)는 이와 같은 확률을 나타내는 신뢰도를 계산할 수 있다. 예를 들면, 신경망 알고리즘을 통한 기계 학습에 의해 장치(400)는 보정 영상으로부터 후보 영역, 차선 영역 및 미등 영역을 분류할 수 있고, 분류되는 후보 영역, 차선 영역 및 미등 영역의 신뢰도를 함께 출력할 수 있다.
단계 140에서, 장치(400)는 후보 영역, 차선 영역 및 미등 영역 상호간의 위치 관계에 기초하여 후보 영역 중 적어도 하나를 상기 차량으로 검출할 수 있다.
보정 영상 내부에서, 후보 영역, 차선 영역 및 미등 영역은 상호간에 컨텍스트(context)를 가질 수 있다. 예를 들면, 미등은 차량에 부착되는 것이므로 차량에 대한 후보 영역 내부에 미등 영역이 위치할 것이 예상될 수 있고, 또한 차량은 차선을 따라 주행한다는 점에서, 차량에 대한 후보 영역 및 차선 영역의 거리가 가까울 것이 예상될 수 있다. 이와 같은 컨텍스트를 기반으로 후보 영역 중에서 실제로 차량을 나타낼 확률이 높은 것들이 선택될 수 있고, 그로 인해 차량 검출의 정확도가 개선될 수 있다.
후보 영역, 차선 영역 및 미등 영역이 상호간에 갖는 컨텍스트는 위치 관계로 나타날 수 있다. 전술한 바와 같이, 차선 영역 및 미등 영역에 인접한 후보 영역일수록 실제 차량에 해당할 확률이 높을 수 있다. 따라서, 장치(400)는 상호간 위치 관계를 고려하여 후보 영역 중 적어도 하나를 차량으로 선별할 수 있다.
장치(400)는 후보 영역, 차선 영역 및 미등 영역의 신뢰도를 기반으로 후보 영역 중 적어도 하나를 차량으로 결정할 수 있다. 신뢰도 수치는 각 영역이 얼마나 정확한지에 대한 예상치를 반영하는 수치이므로, 신뢰도가 고려되는 경우 차량이 검출되는 정확도가 향상될 수 있다.
한편, 후보 영역과 차선 영역 간의 거리가 차량 검출에 활용될 수 있다. 차선 영역은 다른 영역들에 비해 비교적 정확하게 검출될 수 있다는 점에서, 후보 영역으로부터 차량을 검출하는 과정에서 차선 영역 및 후보 영역 간의 거리가 활용될 수 있다. 예를 들면, 장치(400)는 보정 영상 내에서 차선 영역의 중심 픽셀로부터 후보 영역의 중심 픽셀까지의 거리를 계산할 수 있고, 거리의 역수를 구할 수 있다. 거리의 역수가 클수록 차선 영역이 후보 영역과 가깝다는 것을 의미할 수 있으므로, 거리의 역수는 후보 영역이 차량을 나타낼 확률을 반영할 수 있다.
전술한 바와 같이, 후보 영역 및 미등 영역은 신뢰도를 가질 수 있고, 신뢰도 및 차선 영역 및 후보 영역 간의 거리의 역수가 함께 고려될 수도 있다. 구체적으로, 차선 영역 및 후보 영역 간의 거리의 역수, 후보 영역의 신뢰도 및 미등 영역의 신뢰도에 대한 합산된 수치가 임계치를 넘는지 여부에 따라 차량이 검출될 수 있다. 이 경우 미등 영역은 후보 영역 내에 포함되는 미등 영역을 의미할 수 있다.
예를 들면, 차선 영역 및 후보 영역 간의 거리의 역수는 0부터 1 사이의 값을 갖도록 스케일링될 수 있고, 후보 영역의 신뢰도 및 미등 영역의 신뢰도 또한 0부터 1 사이의 값을 가질 수 있다. 따라서, 세 값들에 대한 합은 0부터 3 사이의 값을 가질 수 있고, 임계치가 2.5인 경우 2.5부터 3 사이에 해당하는 후보 영역이 차량으로 결정될 수 있다. 한편, 임계치는 설계에 따라 변경될 수 있다.
장치(400)가 보정 영상을 생성할 수 있고, 보정 영상으로부터 설정되는 후보 영역, 차선 영역 및 미등 영역이 활용됨에 따라, 단지 차량의 외관만을 고려하여 차량을 검출하는 방식 대비 차량 검출의 정확도가 상승할 수 있다. 또한, 야간 등 밝기가 부족한 환경에서는 차량의 미등이 차량 식별에 주요하게 활용될 수 있다는 점 및 차선 과의 관계가 고려되는 경우 차량이 아닌 다른 물체가 차량으로 검출되는 오류가 감소할 수 있다는 점이 고려되는 경우, 단지 후보 영역만을 고려하는 경우 대비 차량을 검출하는 오류가 현저히 감소할 수 있다.
한편, 장치(400)는 운전자의 차량이 주행하는 경우 전방을 촬영함으로써 주행 영상을 생성하는 영상 촬영 수단을 더 포함할 수 있다. 장치(400)에 영상 촬영 수단이 더 포함되는 경우 장치(400)는 단계 110에서 추정 밝기를 계산하기 이전에, 영상 촬영 수단을 통해 주행 영상을 생성할 수 있다. 영상 촬영 수단은 운전자의 차량에 부착되는 블랙박스 등의 카메라일 수 있다.
도 2는 일부 실시예에 따른 주행 영상의 밝기를 보정하는 과정을 설명하기 위한 도면이다.
도 2를 참조하면, 야간에 생성되는 주행 영상(210) 및 주행 영상(210)의 추정 밝기에 기초하여 수행되는 정규화 과정을 통해 생성되는 보정 영상(220)이 도시되어 있다.
보정 영상(220)은 주행 영상(210)보다 밝기가 상승되었고, 대비가 개선되었음이 확인될 수 있다. 장치(400)에 의해 주행 영상(210)이 보정 영상(220)으로 보정될 수 있음에 따라, 야간 또는 기상 환경이 악화되는 경우에도 주간의 경우와 동일한 밝기 및 대비를 갖는 보정 영상(220)이 제공될 수 있다. 따라서, 주간뿐만 아니라 야간 또는 기상 환경이 악화되는 상황에서도 차량 검출이 보다 정확하게 수행될 수 있다.
도 3은 일부 실시예에 따른 보정 영상으로부터 후보 영역, 미등 영역 및 차선 영역을 설정하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 보정 영상(310)으로부터 후보 영역(320), 미등 영역(330) 및 차선 영역(340)이 설정되는 예시가 도시되어 있다.
보정 영상(310)에서, 미등 영역(330)은 차량의 후미등이 아닌 다른 광원에 의해서도 설정될 수 있다. 다만, 미등 영역(330)을 설정하는 과정에서 색상에 대한 필터링 등이 고려될 수 있으므로, 미등 영역(330) 중 적색광을 나타내는 영역의 신뢰도가 상대적으로 높을 수 있다.
도 3의 경우 후보 영역(320)이 전방의 다른 차량을 나타내는 영역에 정확하게 설정되었으나, 야간 또는 기상 환경이 악화되는 경우에는 차량 외의 다른 물체에 후보 영역(320)이 설정되어 노이즈가 발생할 가능성도 있다. 다만, 다른 물체에 후보 영역(320)이 설정되더라도 미등 영역(330) 및 차선 영역(340)이 함께 고려되는 경우에는 다른 물체에 대한 후보 영역(320)이 차량으로 검출되지 않고, 그에 따라 노이즈가 필터링될 수 있다.
한편, 차선 영역(340)은 일반적으로 차도 상에 위치하고, 보정 영상(310) 내부에서 일반적으로 하부에 위치한다는 점을 고려하면, 차선 영역(340)은 하부에만 위치하도록 설정될 수 있고, 보정 영상(310)의 상부에 차선 영역(340)이 위치하는 경우 장치(400)는 이를 노이즈로 판단하여 제거할 수 있다.
도 4는 일부 실시예에 따른 주행 영상으로부터 적어도 하나의 차량을 검출하는 장치를 구성하는 요소들을 나타내는 블록도이다.
도 4를 참조하면, 주행 영상으로부터 적어도 하나의 차량을 검출하는 장치(400)는 메모리(410) 및 프로세서(420)를 포함할 수 있다. 다만 이에 제한되는 것은 아니고, 도 4에 도시되는 구성 요소들 외에 다른 범용적인 구성 요소들이 장치(400)에 더 포함될 수도 있다.
도 4의 장치(400)는 도 1 내지 도 3을 통해 설명된 주행 영상으로부터 적어도 하나의 차량을 검출하는 방법을 구성하는 단계들을 수행하는 장치일 수 있다. 따라서, 아래에서 생략되는 내용이라 하더라도, 도 1 내지 도 3의 방법에 대해 설명된 내용은 도 4의 장치(400)에 대해서도 적용될 수 있다.
메모리(410)는 장치(400)에서 처리된 데이터 및 처리될 데이터로서 주행 영상, 보정 영상, 후보 영역, 차선 영역 및 미등 영역에 대한 데이터를 저장할 수 있다. 메모리(410)는 적어도 하나의 프로그램을 저장할 수 있다. 메모리(410)에 저장되는 적어도 하나의 프로그램은 프로세서(420)에 의해 실행될 수 있다.
메모리(410)는 DRAM(dynamic random access memory), SRAM(static random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이(blu-ray) 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리로 구현될 수 있으나, 이에 한정되는 것은 아니다.
프로세서(420)는 다수의 논리 게이트들의 어레이로 구현될 수 있고, 범용적인 마이크로 프로세서와 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 프로세서(420)는 복수 개의 프로세싱 엘리먼트들(processing elements)로 구성될 수도 있다.
프로세서(420)는 메모리(410)에 저장되는 적어도 하나의 프로그램을 실행함으로써 주행 영상으로부터 적어도 하나의 차량을 검출할 수 있다.
프로세서(420)는 주행 영상의 밝기를 추정하여 추정 밝기를 계산할 수 있다.
프로세서(420)는 추정 밝기에 기초하여 주행 영상의 밝기를 정규화함으로써 보정 영상을 생성할 수 있다.
프로세서(420)는 차량에 대한 적어도 하나의 후보를 나타내는 후보 영역, 차도 상의 적어도 하나의 차선을 나타내는 차선 영역 및 적어도 하나의 차량 미등을 나타내는 미등 영역을 보정 영상으로부터 설정할 수 있다.
프로세서(420)는 후보 영역, 차선 영역 및 미등 영역 상호간의 위치 관계에 기초하여 후보 영역 중 적어도 하나를 차량으로 검출할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
400: 주행 영상으로부터 적어도 하나의 차량을 검출하는 장치
410: 메모리
420: 프로세서

Claims (7)

  1. 주행 영상으로부터 적어도 하나의 차량을 검출하는 방법에 있어서,
    상기 주행 영상의 밝기를 추정하여 추정 밝기를 계산하는 단계;
    상기 추정 밝기에 기초하여 상기 주행 영상의 밝기를 정규화(normalizing)함으로써 보정 영상을 생성하는 단계;
    상기 차량에 대한 적어도 하나의 후보를 나타내는 후보 영역, 차도 상의 적어도 하나의 차선을 나타내는 차선 영역 및 적어도 하나의 차량 미등을 나타내는 미등 영역을 상기 보정 영상으로부터 설정하는 단계; 및
    상기 후보 영역, 상기 차선 영역 및 상기 미등 영역 상호간의 위치 관계에 기초하여 상기 후보 영역 중 적어도 하나를 상기 차량으로 검출하는 단계를 포함하고,
    상기 검출하는 단계에서,
    상기 후보 영역과 상기 차선 영역의 신뢰도는, 상기 차선 영역과 후보 영역 간 거리가 가까울 경우에 증가하고,
    상기 후보 영역과 상기 미등 영역의 신뢰도는, 상기 후보 영역 내부에 상기 미등 영역이 위치할 경우에 증가하고,
    상기 미등 영역의 신뢰도는, 상기 미등 영역이 적색광을 포함할 경우에 증가하고,
    상기 차선 영역의 신뢰도는, 상기 보정 영상의 하부에 상기 차선 영역이 위치할 경우에 증가하는,
    방법.
  2. 제 1항에 있어서,
    상기 설정하는 단계는,
    기계 학습(machine learning)을 수행하여 상기 후보 영역, 상기 차선 영역 및 상기 미등 영역을 추출하는 신경망 알고리즘(neural network algorithm)을 통해 상기 후보 영역, 상기 차선 영역 및 상기 미등 영역을 설정하는 단계를 포함하는, 방법.
  3. 제 1항에 있어서,
    상기 설정하는 단계는,
    경계선(edge) 및 색상 중 적어도 하나를 기반으로 하는 세그먼테이션(segmentation) 방식으로 상기 차선 영역을 설정하는 단계를 포함하는, 방법.
  4. 제 1항에 있어서,
    상기 설정하는 단계는,
    색상에 대한 필터링에 기초하여 상기 미등 영역을 설정하는 단계를 포함하는, 방법.
  5. 제 1항에 있어서,
    상기 설정하는 단계는,
    미등의 형태에 기초하여 상기 미등 영역을 설정하는 단계를 포함하는, 방법.
  6. 제 1항에 있어서,
    상기 생성하는 단계는,
    히스토그램 균일화(histogram equalization)를 통해 상기 주행 영상의 대비(contrast)를 조정하는 단계를 포함하는, 방법.
  7. 주행 영상으로부터 적어도 하나의 차량을 검출하는 장치에 있어서,
    적어도 하나의 프로그램을 저장하는 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써 상기 차량을 검출하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 주행 영상의 밝기를 추정하여 추정 밝기를 계산하고,
    상기 추정 밝기에 기초하여 상기 주행 영상의 밝기를 정규화함으로써 보정 영상을 생성하고,
    상기 차량에 대한 적어도 하나의 후보를 나타내는 후보 영역, 차도 상의 적어도 하나의 차선을 나타내는 차선 영역 및 적어도 하나의 차량 미등을 나타내는 미등 영역을 상기 보정 영상으로부터 설정하고,
    상기 후보 영역, 상기 차선 영역 및 상기 미등 영역 상호간의 위치 관계에 기초하여 상기 후보 영역 중 적어도 하나를 상기 차량으로 검출하고,
    상기 후보 영역과 상기 차선 영역의 신뢰도를, 상기 차선 영역과 후보 영역 간 거리가 가까울 경우에 증가시키고,
    상기 후보 영역과 상기 미등 영역의 신뢰도를, 상기 후보 영역 내부에 상기 미등 영역이 위치할 경우에 증가시키고,
    상기 미등 영역의 신뢰도를, 상기 미등 영역이 적색광을 포함할 경우에 증가시키고,
    상기 차선 영역의 신뢰도를, 상기 보정 영상의 하부에 위치하는 차선 영역이 위치할 경우에 증가시키는,
    장치.
KR1020180152818A 2018-11-30 2018-11-30 주행 영상으로부터 차량을 검출하는 방법 및 장치 KR102109841B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180152818A KR102109841B1 (ko) 2018-11-30 2018-11-30 주행 영상으로부터 차량을 검출하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180152818A KR102109841B1 (ko) 2018-11-30 2018-11-30 주행 영상으로부터 차량을 검출하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102109841B1 true KR102109841B1 (ko) 2020-05-28

Family

ID=70920314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180152818A KR102109841B1 (ko) 2018-11-30 2018-11-30 주행 영상으로부터 차량을 검출하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102109841B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576691A (zh) * 2024-01-17 2024-02-20 泰安万川电器设备有限公司 一种基于深度学习的有轨矿车调度方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254044A (ja) * 2003-02-19 2004-09-09 Denso Corp 運転支援方法、表示システム及び報知システム
JP2009041972A (ja) * 2007-08-07 2009-02-26 Toshiba Corp 画像処理装置及びその方法
KR20110059184A (ko) * 2009-11-27 2011-06-02 주식회사 좋은정보기술 센서정보를 이용한 지능형 주행안전 예방 시스템 및 방법
JP2013241065A (ja) * 2012-05-18 2013-12-05 Denso Corp 走行環境検出装置、走行環境検出プログラム、およびライト制御装置
KR20180097966A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254044A (ja) * 2003-02-19 2004-09-09 Denso Corp 運転支援方法、表示システム及び報知システム
JP2009041972A (ja) * 2007-08-07 2009-02-26 Toshiba Corp 画像処理装置及びその方法
KR20110059184A (ko) * 2009-11-27 2011-06-02 주식회사 좋은정보기술 센서정보를 이용한 지능형 주행안전 예방 시스템 및 방법
JP2013241065A (ja) * 2012-05-18 2013-12-05 Denso Corp 走行環境検出装置、走行環境検出プログラム、およびライト制御装置
KR20180097966A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576691A (zh) * 2024-01-17 2024-02-20 泰安万川电器设备有限公司 一种基于深度学习的有轨矿车调度方法及系统
CN117576691B (zh) * 2024-01-17 2024-03-29 泰安万川电器设备有限公司 一种基于深度学习的有轨矿车调度方法及系统

Similar Documents

Publication Publication Date Title
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
US20190122059A1 (en) Signal light detection
US10025998B1 (en) Object detection using candidate object alignment
US10380434B2 (en) Vehicle detection system and method
US10102435B2 (en) Lane departure warning system and associated methods
Kosaka et al. Vision-based nighttime vehicle detection using CenSurE and SVM
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
US11108970B2 (en) Flicker mitigation via image signal processing
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
US10318824B2 (en) Algorithm to extend detecting range for AVM stop line detection
US10579883B2 (en) Method and apparatus for detecting a vehicle in a driving assisting system
CN110334634A (zh) 一种车道线类别的检测方法和预警装置
Suddamalla et al. A novel algorithm of lane detection addressing varied scenarios of curved and dashed lanemarks
CN112597846A (zh) 车道线检测方法、装置、计算机设备和存储介质
EP3726421A2 (en) Recognition method and apparatus for false detection of an abandoned object and image processing device
US11069049B2 (en) Division line detection device and division line detection method
Lee et al. Traffic light detection and recognition based on Haar-like features
KR102109841B1 (ko) 주행 영상으로부터 차량을 검출하는 방법 및 장치
US20110019000A1 (en) Vehicular image processing device and vehicular image processing program
US20180262678A1 (en) Vehicle camera system
Lu A lane detection, tracking and recognition system for smart vehicles
US9811744B2 (en) Fast and robust stop line detector
KR102045026B1 (ko) 차선 인식 장치 및 방법
KR20220014193A (ko) 가려짐을 고려한 차량 추적 방법 및 장치
WO2019013253A1 (ja) 検出装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant