KR20230084287A - 이미지 처리 방법 - Google Patents

이미지 처리 방법 Download PDF

Info

Publication number
KR20230084287A
KR20230084287A KR1020237015769A KR20237015769A KR20230084287A KR 20230084287 A KR20230084287 A KR 20230084287A KR 1020237015769 A KR1020237015769 A KR 1020237015769A KR 20237015769 A KR20237015769 A KR 20237015769A KR 20230084287 A KR20230084287 A KR 20230084287A
Authority
KR
South Korea
Prior art keywords
light emitting
image
threshold
region
segmentation
Prior art date
Application number
KR1020237015769A
Other languages
English (en)
Inventor
베르트랑 고드로
소피 로니
티볼트 카론
비랄 히자지
Original Assignee
콘티넨탈 오토노머스 모빌리티 저머니 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티넨탈 오토노머스 모빌리티 저머니 게엠베하 filed Critical 콘티넨탈 오토노머스 모빌리티 저머니 게엠베하
Publication of KR20230084287A publication Critical patent/KR20230084287A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G06V10/89—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 우선순위 자동차(4)를 검출하기 위해 컬러 카메라(2)에 의해 캡처되고 자동차(1)에 탑재된 컴퓨터(3)에 의해 사용되는 이미지의 비디오 스트림을 처리하는 방법으로서, 상기 방법은, - 이미지 시퀀스를 취득하는 단계(100); 이미지 시퀀스의 각 이미지에 대해, - 컬러 발광 영역을 검출할 수 있게 하는, 임계값 기반 비색 분할을 수행하는 단계(200); - 각각의 분할된 발광 영역을 추적하는 단계(300); - 각각의 분할된 발광 영역의 비색 분류를 수행하는 단계(400); - 발광 영역의 섬광 특성을 결정할 수 있게 하는, 각각의 분할된 발광 영역의 주파수 분석을 수행하는 단계(500); - 발광 영역이 섬광등임을 선언할 수 있게 하는, 이미지 시퀀스의 각 이미지에 대한 전체 신뢰 지수를 계산하는 단계(700)를 포함하는, 이미지의 비디오 스트림을 처리하는 방법에 관한 것이다.

Description

이미지 처리 방법
본 발명은 특히 긴급 자동차를 검출하기 위한 이미지 처리 방법에 관한 것이다.
오늘날, 일반적으로 ADAS("Advanced Driver Assistance System")라고 불리는 운전 지원 시스템을 자동차에 장착하는 것이 알려져 있다. 이러한 시스템은 알려진 바와 같이 자동차의 환경을 나타내는 일련의 이미지를 생성할 수 있게 하는, 자동차에 장착된 카메라와 같은 이미징 디바이스를 포함한다. 예를 들어, 자동차 후방에 장착된 카메라는 자동차 후방, 특히 뒤따르는 자동차의 환경을 촬영할 수 있게 한다. 그런 다음 이러한 이미지는 예를 들어 장애물(보행자, 정지된 자동차, 도로 위의 물체 등)을 검출하거나, 장애물과 충돌하는 시간을 추정하여 운전자를 지원하기 위해 처리 디바이스에서 사용된다. 따라서 카메라가 취득한 이미지가 제공하는 정보는 시스템이 자동차 운전자를 지원할 수 있을 만큼 충분히 신뢰성 있고 관련성이 있어야 한다.
특히, 대부분의 국제법은 운전자가 운행 중인 우선순위 자동차(소방차, 구급차, 경찰차 등과 같은 긴급 자동차라고도 함)의 통행을 막지 말고 통행을 용이하게 하여야 한다고 규정하고 있다. 따라서 ADAS 시스템은 특히 우선순위 자동차의 조명(섬광등(flashing light))이 활성화될 때 우선순위 자동차의 호출(call-out)을 방해하지 않도록 이러한 우선순위 자동차를 인식할 수 있는 것이 적절하다.
자동차의 전방 또는 후방을 촬영하는 카메라를 포함하는 현재 ADAS 시스템에서 우선순위 자동차는 다른 표준(비우선순위) 자동차와 동일한 방식으로 검출된다. 이러한 시스템은 일반적으로 기계 학습 접근 방식과 기하학적 인식 접근 방식의 조합을 구현한다. 이러한 카메라의 이미지는 긴급 자동차를 포함하여 임의의 유형의 자동차(승용차, 트럭, 버스, 오토바이 등) 주변에서 경계 박스를 추출하도록 처리되는 데, 이는 기존의 ADAS 시스템은 뒤따르는 우선순위 자동차와 뒤따르는 표준 자동차 간을 신뢰성 있게 구분할 수 없다는 것을 의미한다.
또한, 이러한 시스템에는 우선순위 자동차가 일반 교통 규칙을 준수할 필요가 없으며 차로 사이를 지그재그로 이동하거나 안전 거리를 줄이거나 두 차로 사이를 이동할 수 있다는 사실과 연계된, 카메라에 의해 취득된 이미지의 부분적 또는 전체적 시간적 은폐 문제가 있는 데, 이는 기존의 시스템은 이러한 거동과 상황에 적합하지 않다는 것을 의미한다.
다시, 우선순위 자동차의 유형은 매우 다양하기 때문에 우선순위 자동차나 긴급 자동차를 검출하는 것은 어렵다. 실제로, 이러한 자동차의 섬광등은 LED 기반이거나 전구 기반이고, 고정식이거나 회전식일 수 있고, 색상이 다르고, 자동차 상의 배열이 가변적인 것을 특징으로 한다. 예를 들어, 일부 자동차에는 단일 섬광등이 장착되어 있고, 다른 자동차에는 한 쌍의 섬광등이 장착되어 있으며, 또 다른 자동차에는 두 개 초과의 섬광등을 포함하는 바아(bar)가 장착되어 있다. 이러한 가변적인 문제는 기존의 ADAS 시스템이 우선순위 자동차를 신뢰성 있게 검출하는 것을 더욱 어렵게 한다.
이는 또한 다른 자동차의 전조등과 후미등 및 자동차 뒤 환경에 존재하는 다른 모든 조명을 포함하는 장면에 대한 검출 문제에 의해 악화되어, 우선순위 자동차의 섬광등을 검출하는 어려움을 증가시킬 수 있다.
따라서 본 발명은 특히 이러한 자동차의 조명(섬광등)을 검출함으로써 주행하는 우선순위 자동차의 유형과 주행 조건에 관계없이 우선순위 자동차를 빠르고 신뢰성 있게 검출하기 위한 이미지 처리 방법을 제안한다.
본 발명에 따르면, 본 목적은 자동차에 탑재된 적어도 하나의 컬러 카메라에 의해 캡처된 이미지의 비디오 스트림을 처리하는 방법으로서, 상기 이미지는 자동차의 환경에 위치된 우선순위 자동차를 검출하기 위해 상기 자동차에 탑재된 컴퓨터에 의해 사용되고, 적어도 하나의 카메라는 자동차의 후방을 향하고 있고, 상기 방법은,
- 이미지 시퀀스를 취득하는 단계;
이미지 시퀀스의 각 이미지에 대해,
- 섬광등일 가능성이 있는 이미지의 컬러 발광 영역을 검출할 수 있게 하는, 임계값 기반 비색 분할을 수행하는 분할 단계;
- 분할 단계에서 분할된 각각의 발광 영역이 동일한 색상의 예측 발광 영역과 연관되는, 각 분할된 발광 영역을 추적하는 단계;
- 이전에 훈련된 분류기를 사용하여 각각의 분할된 발광 영역에 비색 분류를 수행하는 단계;
- 상기 분할된 영역의 섬광 특성을 결정할 수 있게 하는, 각각의 분할된 발광 영역의 주파수 분석을 수행하는 단계; 및
- 분할된 발광 영역이 섬광등임을 선언할 수 있게 하는, 이미지 시퀀스의 각 이미지에 대한 전체 신뢰 지수를 계산하는 단계를 포함하는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법에 의해 달성된다.
따라서 본 발명에 따른 방법은 밝기 및 날씨 조건에 관계없이 긴급 자동차의 섬광등을 신뢰성 있게 검출하고 최대 150 미터의 거리를 검출할 수 있게 한다.
하나의 예시적인 실시형태에 따르면, 분할 단계에서, 미리 정해진 분할 임계값은, 하기 네 가지 범주, 즉,
- 적색,
- 주황색,
- 청색, 및
- 보라색
에 따라 발광 영역을 분할하기 위해 사용된다.
일 실시형태에 따르면, 분할 단계 후에, 방법은 분할 단계로부터의 결과를 필터링할 수 있게 하는 소위 분할 후 필터링 단계를 더 포함하고, 분할 후 단계는 위치 및/또는 크기 및/또는 색상 및/또는 세기에 관한 미리 결정된 기준에 따라 수행된다. 이 필터링 단계를 통해 오검출(false detection)을 줄일 수 있다.
하나의 예시적인 실시형태에 따르면, 분할 후 단계는 수평선과 소실점에서 멀리 떨어져 있고 미리 결정된 치수 임계값보다 작은 크기를 갖는 이미지 부분에 위치된 발광 영역을 필터링하는 치수 필터링 하위 단계를 포함한다. 이 단계를 통해 측정 노이즈에 해당하는 카메라가 인식하는 물체에 해당하는 후보를 제거할 수 있다.
하나의 예시적인 실시형태에 따르면, 분할 후 단계는 미리 결정된 치수 임계값보다 큰 크기 및 미리 결정된 광도 임계값보다 작은 광도를 갖는 발광 영역을 필터링하는 하위 단계를 포함한다. 이 단계를 통해 자동차에 가깝지만 섬광등인 것에 필요한 광도가 없는 후보를 제거할 수 있다.
하나의 예시적인 실시형태에 따르면, 분할 후 단계는 이미지 시퀀스의 이미지에 형성된 수평선 아래에 위치된 발광 영역을 필터링하는 위치 필터링 하위 단계를 포함한다. 이 단계를 통해 뒤따르는 자동차의 전조등에 해당하는 후보를 제거할 수 있다.
일 실시형태에 따르면, 분할 후 단계는 분할된 발광 영역에 대해 지향성 색 임계값 기반 필터링을 수행하는 하위 단계를 포함한다. 이 특정 필터링을 통해 색상을 보다 정확하게 필터링할 수 있다. 예를 들어, 청색의 경우, 뒤따르는 자동차의 전조등에서 방출되는 백색광이 카메라에 의해 청색으로 인식될 수 있기 때문에 청색으로 분류된 발광 영역을 검출할 때 많은 수의 거짓 양성(false positive)을 필터링한다.
일 실시형태에 따르면, 방법은 추적하는 단계의 끝에서 연관성이 발견되지 않은 각각의 분할된 발광 영역에 대해 제2 분할 단계를 더 포함한다.
하나의 예시적인 실시형태에 따르면, 제2 분할 단계는,
- 분할 임계값을 확장하고, 새로운 확장된 분할 임계값을 사용하여 이미지 시퀀스의 각 이미지에 대해 분할 단계와 추적하는 단계를 반복하는 제1 하위 단계로서, 분할 임계값은 분할된 발광 영역의 색상에 해당하는 값인, 제1 하위 단계, 및
- 제1 하위 단계의 끝에서 연관성이 발견되지 않은 경우 백색의 임계값에 대응하도록 분할 임계값을 수정하는 제2 하위 단계를 포함한다.
이 단계를 통해 분할할 때 분할(검출)된 발광 영역을 확인할 수 있다. 실제로, 이 마지막 점검을 통해 오검출이 실제로 오검출이었는지 그리고 예를 들어, 이것이 뒤따르는 자동차의 전조등인 것은 아닌지 확인할 수 있다.
하나의 예시적인 실시형태에 따르면, 주파수 분석 단계에서, 각각의 분할된 발광 영역의 섬광 주파수는 제1 주파수 임계값, 및 제1 주파수 임계값보다 큰 제2 주파수 임계값과 비교되고, 두 임계값은 미리 결정되고, 분할 발광 영역은,
- 섬광 주파수가 제1 주파수 임계값보다 작아서 분할된 발광 영역이 깜박이지 않거나 약하게 깜박이거나 섬광등이 아닌 것으로 간주되는 경우;
- 섬광 주파수가 제2 주파수 임계값보다 커서 발광 영역이 또한 섬광등이 아닌 것으로 간주되는 경우 필터링된다.
하나의 예시적인 실시형태에 따르면, 제1 주파수 임계값은 1Hz이고, 제2 주파수 임계값은 5Hz이다.
하나의 예시적인 실시형태에 따르면, 방법은 각각의 분할된 발광 영역의 방향성 분석을 수행하는 단계를 더 포함하여 상기 분할된 발광 영역의 변위를 결정할 수 있게 한다.
하나의 예시적인 실시형태에 따르면, 방향 분석 단계에서 획득된 변위 방향이,
- 자동차에 대해 분할된 발광 영역이 움직이지 않는다고;
- 자동차에 대해 분할된 발광 영역에서 멀어지고 있다고 결론 내릴 수 있게 하는 경우, 분할된 발광 영역은 필터링된다.
본 발명은 또한 명령어를 포함하는 컴퓨터 프로그램 제품으로서, 명령어는, 컴퓨터에 의해 실행될 때,
- 이미지 시퀀스를 취득하는 단계;
이미지 시퀀스의 각 이미지에 대해,
- 섬광등일 가능성이 있는 이미지의 컬러 발광 영역을 검출할 수 있게 하는, 임계값 기반 비색 분할을 수행하는 분할 단계;
- 분할 단계에서 분할된 각각의 발광 영역이 동일한 색상의 예측 발광 영역과 연관되는, 각각의 분할된 발광 영역을 추적하는 단계;
- 이전에 훈련된 분류기를 사용하여 각각의 분할된 발광 영역의 비색 분류를 수행하는 단계;
- 분할된 발광 영역의 섬광 특성을 결정할 수 있게 하는, 각각의 분할된 발광 영역의 주파수 분석을 수행하는 단계; 및
- 발광 영역이 섬광등임을 선언할 수 있게 하는, 이미지 시퀀스의 각 이미지에 대한 전체 신뢰 지수를 계산하는 단계를 포함하는 방법을 구현하는, 컴퓨터 프로그램 제품에 관한 것이다.
본 발명은 또한 자동차로서, 자동차의 후방을 향하고 자동차 뒤 환경의 이미지의 비디오 스트림을 취득할 수 있는 적어도 하나의 컬러 카메라와 적어도 하나의 컴퓨터를 포함하고, 컴퓨터는,
- 이미지 시퀀스를 취득하는 단계;
이미지 시퀀스의 각 이미지에 대해,
- 섬광등일 가능성이 있는 이미지의 컬러 발광 영역을 검출할 수 있게 하는, 임계값 기반 비색 분할을 수행하는 분할 단계;
- 분할 단계에서 분할된 각각의 발광 영역이 동일한 색상의 예측 발광 영역과 연관되는, 각각의 분할된 발광 영역을 추적하는 단계;
- 이전에 훈련된 분류기를 사용하여 각각의 분할된 발광 영역에 비색 분류를 수행하는 단계;
- 분할된 발광 영역의 섬광 특성을 결정할 수 있게 하는, 각각의 분할된 발광 영역의 주파수 분석을 수행하는 단계; 및
- 분할된 발광 영역이 섬광등임을 선언할 수 있게 하는, 이미지 시퀀스의 각 이미지에 대한 전체 신뢰 지수를 계산하는 단계를 구현하도록 구성된, 자동차에 관한 것이다.
이하의 상세한 설명을 읽고 첨부된 도면을 조사함으로써 다른 특징, 세부 사항 및 이점이 명백해질 것이다.
도 1은 본 발명에 따른 자동차 및 우선순위 자동차의 개략도이다.
도 2는 본 발명에 따른 방법의 하나의 예시적인 구현예를 도시한다.
도 3은 본 발명에 따른 방법의 분할 후 단계의 하나의 예시적인 실시형태를 도시한다.
도 4는 본 발명에 따른 방법의 제2 분할 단계의 하나의 예시적인 실시형태를 도시한다.
도 5a는 본 발명에 따른 방법에 의해 처리된 이미지 시퀀스의 제1 이미지를 도시한다.
도 5b는 본 발명에 따른 방법에 의해 처리된 이미지 시퀀스의 제2 이미지를 도시한다.
도 5c는 본 발명에 따른 방법에 의해 처리된 이미지 시퀀스의 제3 이미지를 도시한다.
도 6은 히스테리시스 형태의 상태 기계(state machine)를 도시한다.
도 7은 히스테리시스 형태의 다른 상태 기계를 도시한다.
도 8은 색 공간(color space)(U, V)을 도시한다.
도 1은 자동차(1)의 후방을 향하고 자동차(1) 뒤의 환경 이미지를 취득할 수 있는 컬러 카메라(2)와, 이 카메라(2)에 의해 취득된 이미지를 사용하도록 구성된 적어도 하나의 컴퓨터(3)를 구비한 자동차(1)를 개략적으로 도시한다. 이 도 1에서 긴급 자동차 또는 우선순위 자동차(4)는 카메라(2)의 시야에서 자동차(1) 뒤에 위치된다. 도 1에 도시된 자동차(1)와 긴급 자동차(4) 사이의 이러한 상대적 위치는 본 발명을 제한하는 것이 아니라는 점에 유의해야 한다.
우선순위 자동차는 청색, 적색 또는 주황색을 방출하는 섬광등이라고도 불리는 발광점(luminous spot)(5, 6)을 특징으로 한다. 이들 색상은 모든 국가에서 우선순위 자동차에 사용된다. 우선순위 자동차는 하나 이상의 섬광등을 포함할 수 있으며, 그 배열은 자동차에 장착된 섬광등(하나의 섬광등 또는 서로 이격되어 있는 한 쌍의 별개의 섬광등, 또는 서로 가까이 정렬되어 있는 복수의 섬광등)의 수와, 우선순위 자동차 차체에서 이러한 섬광등의 위치(우선순위 자동차의 지붕, 우선순위 자동차의 전방 범퍼 등)에 따라 변할 수 있다. 또한 많은 종류의 섬광등이 있다. 이 섬광등은 LED 기반 또는 전구 기반일 수 있다.
우선순위 자동차의 섬광등은 켜짐(on) 단계와 꺼짐(off) 단계를 번갈아 가며 깜박이는 특성으로 정의된다.
본 발명에 따른 방법은 이제 도 2 내지 도 8을 참조하여 설명될 것이다.
본 발명에 따른 방법은 예를 들어, 제1 이미지(I1), 이 제1 이미지(I1) 다음에 오는 제2 이미지(I2), 및 이 제2 이미지(I2) 다음에 오는 제3 이미지(I3)를 포함하는 이미지 시퀀스를 취득하는 단계(100)를 포함한다. 이러한 이미지(I1, I2 및 I3)는 각각 도 5a, 도 5b 및 도 5c에 도시되어 있다.
본 발명에 따른 방법은 임계값 기반 비색 분할을 수행하는 분할 단계(200)를 포함한다.
이 분할 단계(200)는 미리 정해진 분할 임계값을 사용하여 이미지 선택의 각각의 이미지에서 발광 영역(ZLi)을 검출하고 분할할 수 있게 한다. 이 비색 분할은 하기 네 가지 색상 범주, 즉,
- 적색,
- 주황색,
- 청색, 및
- 보라색
에 따라 수행된다.
보라색은 특히 색도(chromaticity)가 다른 특정 섬광등을 검출하는 데 사용된다. 예를 들어, 육안으로는 청색으로 인식되는 전구 기반의 섬광등은 카메라에서는 보라색으로 인식될 수 있다.
우선순위 자동차의 섬광등이 상당히 가변하는 것에 적응하기 위해, 분할 단계(200)에서 사용되는 임계값은 예를 들어 신호등 인식에 일반적으로 사용되는 임계값에 비해 확장된다. 이러한 분할 임계값은 각각의 색상, 채도(saturation), 광도 및 색차(chrominance)에 대해 미리 정해진다.
분할 단계(200)는 긴급 자동차의 분할된 발광 영역(ZLi)이 켜져 있을 때 이미지에서 분할된 발광 영역의 위치, 세기 및 색상을 제공한다.
도 5a에 도시된 바와 같이, 비색 분할 단계(200)의 끝에서, 복수의 컬러 발광 영역(ZL1, ZL2, ZL3, ZL4, ZL5 및 ZL6)은 제1 이미지(I1)에서 검출되고, 이들 영역은 우선순위 자동차의 섬광등일 가능성이 있다.
분할 단계에서 사용되는 임계값을 확장하면 더 넓은 범위의 색조(color shade)에 민감하기 위해 우선순위 자동차의 섬광등이 가변하는 것에 적응할 수 있다. 그러나, 이러한 확장은 분할 단계(200)에서 상당한 노이즈를 생성한다.
우선순위 자동차의 섬광등을 검출하기 위한 잠재적인 후보의 수를 줄이기 위해, 다시 말해, 거짓 양성의 수를 줄이기 위해, 본 발명에 따른 방법은 분할 후 단계(210)를 포함한다. 이 분할 후 단계(210)는 고려 중인 이미지에서 발광 영역(ZLi)의 위치 및/또는 발광 영역(ZLi)의 크기 및/또는 발광 영역(ZLi)의 색상 및/또는 발광 영역(ZLi)의 세기에 관한 미리 결정된 기준에 기초하여 필터링을 수행할 수 있게 한다.
도 3을 참조하면, 분할 후 단계(210)는 미리 결정된 치수 임계값보다 작은 크기, 예를 들어, 20 픽셀보다 작은 크기(작은 사이즈라고 함)를 갖는 발광 영역(ZLi)을 필터링하는 치수 필터링 하위 단계(211)를 포함한다. 이 치수 필터링은 특히 무한대를 나타내는 수평선(H)과 소실점(F)에서 멀리 떨어진 이미지 부분, 특히 이미지의 가장자리 부분에서 수행된다. 다시 말해, 이 필터는 작은 크기의 발광 영역(ZLi)을 만나는 것이 일반적이지 않은 이미지 부분에 존재하는 작은 크기의 발광 영역(ZLi)을 제거하는 것을 가능하게 한다. 실제로, 작은 크기의 발광 영역(ZLi)이 이미지에 존재하는 경우, 이 발광 영역(ZLi)이 수평선(H)에 가까울 때 이 발광 영역은 자동차(1)에서 멀리 있는 조명에 해당한다. 따라서, 수평선(H)에 가깝지 않을 수 있는 작은 크기의 발광 영역(ZLi)은 자동차(1)에서 멀리 떨어진 환경으로부터의 조명에 대응하지 않고 측정 노이즈에 대응할 것이며, 이에 따라 이러한 발광 영역(ZLi)을 필터링하는 이점이 있다. 따라서 이는 도 5a에 도시된 발광 영역(ZL1)에 대한 경우이다.
또한, 전술한 바와 같이 멀리 있는 조명에 대응하는 발광 영역은 수평선(H) 및 이미지(I1)의 소실점(F) 부근에 위치된다. 이 수평선(H) 및 이 소실점(F)으로부터 너무 멀리 위치된, 특히 이미지(I1)의 측방 에지에 위치된 발광 영역은 이에 의해 또한 미리 결정된 치수 임계값보다 작은 크기를 가질 때 필터링된다. 따라서 이는 도 5a에 도시된 발광 영역(ZL4)에 대한 경우이다.
분할 후 단계(210)는 이러한 발광 영역(ZLi)이 미리 결정된 임계값보다 큰 크기, 예를 들어, 40 픽셀보다 큰 크기를 가질 때 미리 결정된 광도 임계값보다 작은 광도, 예를 들어, 1000 럭스(lux) 미만의 광도를 갖는 발광 영역을 필터링하는 하위 단계(212)를 포함한다. 실제로, 하위 단계(212)에서 필터링된 발광 영역은 카메라(2)에 의해 촬영된 후방 장면에서 자동차(1)에 대해 조명이 근접한 것에 해당하는 이미지의 크기를 갖지만, 이 발광 영역은 우선순위 자동차의 섬광등이 되기 위한 관심 후보가 되기 위해 필요한 광도를 가지고 있지 않다. 세기는 낮지만 이미지에서 소위 큰 크기를 갖도록 자동차(1)에 충분히 가까운 분할된 발광 영역(ZLi)은 예를 들어 지지체로부터의 태양 광선이 단순히 반사한 것에 대응할 수 있다.
분할 후 단계(210)는 수평선(H) 아래에 위치된 발광 영역을 필터링하는 위치 필터링 하위 단계(213)를 더 포함한다. 따라서 이는 도 5a에 도시된 발광 영역(ZL2 및 ZL3)에 대한 경우이다. 실제로, 발광 영역의 이러한 위치(수평선(H) 아래 위치)는 특히 뒤따르는 자동차의 전방 전조등의 특징이며, 수평선(H) 위에 위치된 우선순위 자동차의 섬광등의 특징은 아니다.
분할 후 단계(210)는 또한 충돌하는 발광 영역을 필터링하는 하위 단계(214)를 포함할 수 있다. 적어도 2개의 발광 영역이 가깝거나 교차하거나 하나가 다른 하나에 포함된 경우 충돌한다. 이러한 충돌이 관찰되면 이 두 발광 영역 중 하나만이 유지되고 다른 발광 영역은 필터링된다. 2개의 충돌 영역 중 제거될 발광 영역은 이 영역의 밝기, 크기 및 색상에 관한 미리 결정된 기준에 따라 그 자체로 알려진 방식으로 결정된다.
분할 후 단계(210)는 분할된 발광 영역에 대해 지향성 색 임계값 기반 필터링을 수행하는 하위 단계(215)를 포함한다.
도 8을 참조하면, 0 내지 255의 색 공간(U, V)이 도시되어 있다. R은 적색, V는 보라색, B는 청색, O는 주황색인 각각의 색상은 임계값(Umax, Umin, Vmax, Vmin)에 따라 이 색 공간에서 결정된다. 예를 들어, 청색의 경우 Umax(B), Umin(B), Vmax(B), Vmin(B)이다.
U 축과 V 축의 최소값과 최대값으로 색상을 정의하면 직사각형 색상 블록이 생성되지만 이는 현실을 나타내지 않아 적합하지 않다. 따라서 각각의 색상에 대해 색 필터링을 수행해야 한다. 지향성 색 임계값 기반 필터링은 각각의 색상에 대해 색상 블록의 색 공간의 U 축과 V 축의 최소값과 최대값을 조정하는 것과 같다. 따라서 색상 블록의 근접성(색 공간(U, V)의 색상 사이 U 값과 V 값의 근접성)으로 인한 오검출의 위험이 줄어든다. 예를 들어, 이 지향성 색 필터를 사용하여 보라색(V)에 매우 가까운 청색(B) 색상, 주황색(O)에 매우 가까운 적색(R) 색상 등을 필터링하는 것이 추구된다.
이 지향성 색 필터링을 통해 색상의 정의를 세분화할 수 있으므로 발광 영역을 검출할 때 많은 수의 거짓 양성을 필터링할 수 있다.
따라서, 분할 후 단계(210)의 전술된 하위 단계를 구현한 후에, 우선순위 자동차의 섬광등이 되기 위한 잠재적인 후보로서 유지되는 모든 것은,
- 충분히 큰 크기(20 픽셀 초과);
- 수평선(H) 위에 위치;
- 충분한 광도(광도가 1000 럭스 초과); 및
- 색도 보장(거짓 양성을 피하기 위해 적절한 U 값과 V 값 사용)
을 갖는 발광 영역(ZLi)이다.
본 발명에 따른 방법을 수행하기 위해 모든 하위 단계가 반드시 구현되어야 하는 것은 아니고, 이 중 일부만이 처리된 이미지의 복잡성에 따라 사례에 따라 단독으로 또는 조합으로 유지될 수 있다는 점에 유의해야 한다.
단계(300)는 각각의 이미지에서 검출된 각각의 발광 영역(ZLi)을 추적하는 단계이다. 당업자에 알려진 방식으로, 분할 단계(200)에서 이미지에서 분할된 발광 영역(ZLi)의 예상 위치는 컴퓨터(3)에 의해 계산되고, 이미지(In)에서 검출된 조명이 실제로 이전 이미지(In-1)에서 하나의 동일한 분할된 발광 영역에 해당하고 이동했을 수 있음을 보장하는 데 사용된다. 발광 영역의 예상 위치는 예측을 사용하여 결정된다. 현재 이미지(In)에서 분할된 발광 영역의 예상 위치는 자동차(1)의 변위를 고려하여 이전 이미지(In-1)의 발광 영역의 위치에 이미지(In-2)와 이미지(In-1) 사이의 발광 영역의 변위에 대응하는 벡터를 더한 것에 기초하여 계산된다.
더욱이, 아래에서 설명되는 바와 같이, 우선순위 자동차의 섬광등은 특히 섬광등의 섬광 주파수에 의해 특징지어진다. 이제 섬광등의 섬광 주파수를 추정할 수 있기 위해 시간에 따른 밝기 변화(조명 단계와 비-조명 단계의 교대)를 추정할 수 있어야 한다. 분할 단계(200)는 섬광등이 켜져 있는 단계에 해당하는 경우에만 이미지에서 이러한 분할된 발광 영역(ZLi)의 위치, 세기 및 색상을 제공한다. 추적 단계(300)는 섬광등을 하나의 이미지에서 다른 이미지로 연관시키고 또한 비-조명 단계(꺼짐)에 있을 때 그 위치를 외삽할 수 있게 한다.
종래 기술에 알려진 이러한 추적 단계(300)는 섬광등의 섬광 특성에 맞게 조정된 임계값을 가지며, 특히 하나의 이미지로부터 다른 이미지로 섬광등의 발광 영역을 연관시키고 또한 섬광등이 꺼진 상태(이미지에 해당 발광 영역이 없음에 해당)에 있을 때 그 위치를 외삽할 수 있게 한다.
분할 단계(200)에서 분할된 각각의 발광 영역(ZLi)은 그 자체로 알려진 방식으로 동일한 색상의 예측 발광 영역(ZPi)과 연관된다.
추적 단계(300)에서 예측 발광 영역(ZPi)과의 연관성이 발견되지 않은 각각의 분할된 발광 영역(ZLi)에 대해 추적 단계(300)의 끝에서 제2 분할 단계(310)가 구현된다.
이러한 제2 분할 단계(310)는, 분할 임계값을 확장시키고 (다시 말해, 덜 엄격하고 덜 필터링되도록 분할 임계값을 정하고), 새로운 확장된 분할 임계값을 사용하여 이미지 시퀀스의 각각의 이미지에 대해 분할 단계(200)와 추적 단계(300)를 반복하는 제1 하위 단계(311)를 포함한다. 이 단계는 예측 분할 영역(ZPi)에서 분할된 발광 영역(ZLi)을 검출할 수 있게 한다.
이 제1 하위 단계(311)의 끝에서 처리된 분할된 발광 영역(ZLi)과 예측 발광 영역(ZPi) 사이의 연관성이 여전히 발견되지 않는 경우, 백색에 대응하도록 분할 임계값을 수정하는 제2 하위 단계(312)가 구현된다. 실제로, 이 마지막 점검을 통해 오검출이 실제로 오검출이었고 뒤따르는 자동차의 전조등이 아닌 것을 보장할 수 있게 한다.
이 제2 하위 단계(312)는 특히 백색광이 예를 들어 청색을 포함할 수 있는 뒤따르는 자동차의 전조등을 검출할 수 있게 한다.
그런 다음 본 발명에 따른 방법은 각각의 발광 영역(ZLi)의 비색 분류를 수행하는 단계(400)를 포함한다.
이 분류 단계(400)는 분할 단계(200)로부터 생성된 발광 영역(ZLi)을 선택할 수 있게 한다. 각각의 색상에 대해, 양성 데이터(검출될 섬광등을 나타냄)를 음성 데이터(자동차의 전조등이나 후미등, 태양광의 반사, 신호등 등과 같이 섬광등이 아니어서 검출하지 않는 것이 바람직한, 분할 단계(200)에서 발생하는 모든 노이즈를 나타냄)와 구별하기 위해 (이전에 오프라인 훈련 단계라고 불리는 것에서) 분류기를 훈련한다.
분류 단계에서, 분할된 발광 영역(ZLi)이 분류기에 의해 분류(인식)될 수 없는 경우, 이 발광 영역은 필터링된다.
한편, 발광 영역(ZLi)이 분류기에 의해 인식되는 경우, 발광 영역은 섬광등이 되기 위한 심각한 후보로 유지된다. 분류 단계(400)의 끝에서, 후보 발광 영역(ZCi)의 목록이 획득되고, 이들 후보 발광 영역(ZCi)은 다음의 파라미터, 즉,
- 섬광 상태;
- 분류 신뢰 지수(ICC);
- 이미지 내 위치; 및
- 색상
에 의해 특징지어진다.
섬광 상태는 섬광등이 깜박이는 것을 검출하여 획득된다. 이 검출은,
- 섬광등이 켜져 있어서, 대응하는 발광 영역(ZL5 및 ZL6)이 검출된 이미지(도 5a와 관련된 이미지(I1))의 수를 세고,
- 섬광등이 꺼져 있어서, 대응하는 발광 영역(ZL5 및 ZL6)이 검출되지 않은 이미지(도 5b와 관련된 이미지(I2))의 수를 세고,
- 섬광등이 다시 켜져서, 대응하는 발광 영역(ZL5 및 ZL6)이 다시 검출된 이미지(도 5c와 관련된 이미지(I3))의 수를 세는 것에 있다.
신뢰 지수(ICC)는 단계(400)에서 분류기에 의한 양성인 분류 및 섬광(섬광 상태)에 관한 정보로 획득된다. 일 실시형태에 따르면, 분류 단계(400) 후에, 각각의 분할된 발광 영역(ZLi)의 신뢰 지수는 업데이트된다.
분류가 양성이면 시간(t)의 이미지에 대한 분류 신뢰 지수(ICC)는 다음 수식을 사용하여 시간(t-1)의 이미지에 대한 분류 신뢰 지수(ICC)에 대해 업데이트된다:
[수식 1]
Figure pct00001
여기서 FA는 미리 결정된 증가 계수이다.
분류가 음성이면 시간(t)의 이미지에 대한 분류 신뢰 지수(ICC)는 다음 수식을 사용하여 시간(t-1)의 이미지에 대한 분류 신뢰 지수(ICC)에 대해 업데이트된다:
[수식 2]
Figure pct00002
여기서 FR은 미리 결정된 감소 계수이다.
위치 및 색상 정보는 기능상 분류 단계(200)에 의해 주어진다.
분류 단계(400)의 끝에서, 후보 발광 영역(ZCi)이 긴급 자동차의 섬광등일 가능성이 있는지 판단하기 위해, 방법은 분할된 발광 영역(ZLi)의 섬광 주파수를 계산하고, 임계값을 결정하기 위해 주파수 분석을 수행하는 단계와, 분류기 응답의 시간 적분을 계산하는 단계를 포함한다. 이러한 단계는 아래에 상세히 설명된다.
단계(500)에서, 각각의 분할된 발광 영역(ZLi)의 주파수 분석을 수행하면 분할된 발광 영역(ZLi)의 깜박이거나 깜박이지 않는 특성을 결정할 수 있다.
유리하게는, 이 단계(500) 전에, 분할된 발광 영역(ZLi)이 나타낼 수 있는 불일치가 보정된다. 특히, 이 보정은 분할된 발광 영역(ZLi)의 색상, 크기 또는 세기에 대해 수행된다. 과도하게 큰 색상 변동이 검출되면, 예를 들어, 분할된 발광 영역(ZLi)이 하나의 이미지로부터 다른 이미지로 가면서 적색에서 주황색으로 변하는 경우, 이 분할된 발광 영역(ZLi)이 필터링된다. 또 다른 대안으로서, 분할된 발광 영역(ZLi)의 크기가 하나의 이미지로부터 다른 이미지로 가면서 너무 많이(예를 들어, 2보다 큰 변동) 변하는 경우, 이 분할된 발광 영역(ZLi)이 필터링된다.
섬광등의 켜짐 단계와 꺼짐 단계를 검출한 것에 기초하여, 섬광등의 켜짐 상태와 꺼짐 상태를 검출할 수 있게 하는, 그 자체로 알려진 방식으로 고속 푸리에 변환(FFT)을 통해 섬광을 결정할 수 있다.
주파수 분석 단계(500)에서, 각각의 분할된 발광 영역(ZLi)의 이 섬광 주파수는 제1 주파수 임계값(SF1)과, 이 제1 주파수 임계값(SF1)보다 큰 제2 주파수 임계값(SF2)과 비교되며, 두 임계값은 미리 결정된다. 섬광 주파수가 제1 주파수 임계값(SF1)보다 작으면, 분할된 발광 영역(ZLi)은 섬광이 없어서 섬광등이 아닌 것으로 간주되어 필터링된다. 섬광 주파수가 제2 주파수 임계값(SF2)보다 크면, 분할된 발광 영역(ZLi)도 섬광등이 아닌 것으로 간주되어 필터링된다.
이렇게 섬광 주파수를 분석하면 분할된 발광 영역(ZLi)이 일정하거나 너무 느리게 깜박이거나 반대로 너무 빠르게 깜박여서 우선순위 자동차의 섬광등이 될 수 있는 부분을 필터링할 수 있다. 따라서, 관심 후보로 유지되는 모든 것은 주파수 임계값(SF1 및 SF2) 사이의 섬광 주파수를 갖는 분할된 발광 영역(ZLi)이다.
하나의 예시적인 실시형태에 따르면, 제1 주파수 임계값(SF1)은 1Hz이고, 제2 주파수 임계값(SF2)은 5Hz이다. 더욱이, 일례에 따르면, 경찰 자동차 및 긴급 자동차에 장착된 섬광등은 일반적으로 60 내지 240 FPM(flash per minute)의 주파수를 갖는다. FPM은 1분 동안 발생하는 사이클의 수에 해당하는 섬광등의 섬광 주파수를 정량화하는 데 사용되는 측정 단위이다. FPM으로 측정한 값은 60으로 나누어 헤르츠로 변환될 수 있다. 다시 말해, 이러한 우선순위 자동차의 경우 주파수는 1Hz 내지 6Hz이다.
이러한 주파수 임계값(SF1 및 SF2)은 특히
- 카메라에 적응하는 것(실제로 시각(vision)의 지속성은 택시 지붕에 있는 조명의 경우처럼 특정 조명이 깜박이는 것을 볼 수 있게 하지 않지만 카메라의 해상도는 이를 검출할 수 있음);
- 분할 단계(200)에서 임의의 에러에도 불구하고 보다 견고한 결과를 획득하는 것을 가능하게 한다.
선택적인 단계(600)에서, 카메라에 의해 취득된 이미지 시퀀스에서 발광 영역을 추적하는 것에 의해 자동차(1)에 대해 이 분할된 발광 영역(ZLi)의 변위를 결정하기 위해 각각의 분할된 발광 영역(ZLi)의 방향 분석을 수행한다. 따라서, 분할된 발광 영역(ZLi)이 자동차(1)에서 멀어지는 경우(다시 말해, 분할된 발광 영역(ZLi)이 이미지의 소실점(F) 또는 수평선(H)에 접근하는 경우) 분할된 발광 영역(ZLi)은 필터링된다. 이는 분할된 발광 영역(ZLi)이 움직이지 않는 경우에도 해당될 수 있다. 이 단계는 특히 자동차(1)의 방향과 반대 방향으로 이동하는 우선순위 자동차의 섬광등에 효과적으로 대응하는 분할된 발광 영역(ZLi)을 필터링할 수 있게 하는 데, 이는 자동차(1)가 이러한 우선순위 자동차를 고려할 필요가 없음을 의미한다. 이 단계를 통해 자동차(1)의 차로와 반대 차로에서 주행하는 자동차의 후미등도 필터링할 수 있다.
이 단계를 통해 분할된 발광 영역(ZLi)에 대한 정보를 융합함으로써 긴급 자동차의 섬광등을 검출하는 검출 성능(참 양성 및 거짓 양성)을 향상시킬 수 있다. 실제로, (이미지 시퀀스의 모든 이미지에서) 분할된 발광 영역(ZLi)을 개별적으로가 아니라 전체적으로 연구함으로써 만족스러운 검출률을 유지하면서 거짓 양성률을 줄일 수 있다.
본 방법의 이 단계에서, 분할된 발광 영역(ZLi) 세트가 이미지 시퀀스의 이미지에서 검출된다. 이러한 검출된 분할된 발광 영역(ZLi)은 각각의 분할된 발광 영역(ZLi)과 관련된 식별자, 및 또한 이러한 분할된 발광 영역(ZLi)의 파라미터, 즉,
- 이미지에서 발광 영역의 위치;
- 크기;
- 색상;
- 세기;
- 섬광 상태; 및
- 이와 연관된 분류 신뢰 지수(ICC)
를 포함하는 목록의 형태로 컴퓨터(3)의 메모리에 저장된다.
이 단계에서, 검출되어 유지된 분할된 모든 발광 영역(ZLi)은 긴급 자동차의 잠재적인 섬광등으로 간주된다. 장면(카메라(2)에서 취득한 이미지 시퀀스에 해당하는 자동차 뒤의 환경)에서 긴급 자동차의 섬광등의 존재 유무를 결정하기 위해, 방법은 최종적으로 적색, 주황색, 청색 및 보라색 각각에 대해 이미지 시퀀스의 각 이미지에 대한 전체 신뢰도 지수(ICG)를 계산하는 것으로 구성된 장면을 분석하는 단계(700)를 포함한다. 일 예시적인 실시형태에 따르면, 전체 신뢰 지수는 색상에 따라 그룹화될 수 있다. 예를 들어, 보라색에 대한 신뢰 지수는 청색에 대한 신뢰 지수와 통합된다.
이를 위해, 이미지 시퀀스의 각 이미지에서 적색, 주황색, 청색 및 보라색 각각에 대해 순간 신뢰 지수(ICI)가 계산된다.
순간 신뢰도는 이미지 시퀀스의 현재 이미지의 분할된 발광 영역(ZLi)의 파라미터에 기초하여 계산된다. 섬광 상태와 충분한 분류 신뢰 지수(ICC)가 있는 분할된 발광 영역(ZLi)이 먼저 고려된다.
고려하기에 충분한 분류 신뢰 지수(ICC)를 갖는 분할된 발광 영역(ZLi)을 결정하기 위해 히스테리시스 형태의 상태 기계가 도 7에 설명된다.
발광 영역(ZLi)의 상태는 "OFF" 상태에서 초기화(Ei)된다:
- 분류 신뢰 지수(ICC)가 미리 결정된 임계값(C3)보다 큰 경우 "OFF" 상태로부터 "ON" 상태로 전이가 발생하고;
- 분류 신뢰 지수(ICC)가 미리 결정된 임계값(C4)보다 작은 경우 "ON" 상태로부터 "OFF" 상태로 전이가 발생한다. 이미지에서 색상에 대한 이 순간 신뢰 지수(ICI)를 계산하는 일례는 이미지 시퀀스의 이미지에서 이 색상에 대해 검출된 모든 분할된 발광 영역(ZLi)의 분류 신뢰 지수(ICC)의 합일 수 있다. 예를 들어 적색의 경우,
[수식 3]
Figure pct00003
이 순간 신뢰도는 다음 수식을 사용하여 이미지 시퀀스의 각 이미지에서 적색, 주황색, 청색 및 보라색 각각에 대해 전체 신뢰 지수를 획득하기 위해 시간에 따라 필터링된다:
[수식 4]
Figure pct00004
- Ici는 고려 중인 색상의 순간 신뢰 지수이다;
- α는 색상과 관련된 미리 결정된 계수이고, 이는 전체 신뢰 지수(ICG)를 계산할 때 순간 신뢰 지수(Ici)의 가중치를 결정할 수 있게 하고, 예를 들어, 계수(α)의 값은 0 내지 1, 바람직하게는 0.02 내지 0.15이다.
계수(α)의 값이 높을수록 전체 신뢰 지수(ICG)를 계산할 때 순간 신뢰 지수(Ici)의 가중치가 커진다.
하나의 예시적인 실시형태에 따르면 계수(α)는 분할된 발광 영역(ZLi)의 파라미터에 따라 변한다. 예를 들어 계수(α)는,
- 다수의 분할된 발광 영역(ZLi)이 미리 결정된 임계값보다 큰 분류 신뢰 지수(ICC)를 가질 때 증가하고;
- 컴퓨터(3)가 장면에서 긴급 자동차의 존재를 이미 나타낼 때 감소하며, 이를 통해 분할된 발광 영역(ZLi)의 검출 체인에서 순간 검출 손실이 발생한 경우, 예를 들어, 폐색, 과도한 밝기 또는 과도한 측정 노이즈로부터 이 순간 검출 손실이 발생한 경우 방법의 결과를 안정화하고 강화할 수 있게 한다.
하나의 예시적인 실시형태에 따르면, 계수(α)는 이미지에서 분할된 발광 영역(ZLi)의 위치의 함수로서 변한다. 특히 계수(α)는,
- 이미지가 수평선(H) 아래에 위치된 격리된 분할된 발광 영역(ZLi)을 포함하는 경우 감소하고(다시 말해, 통합 속도가 낮을 것임);
- 복수의 분할된 발광 영역(ZLi)이 수평선(H) 위에 위치된 경우 증가한다(이는 높은 통합 속도에 대응한다).
하나의 예시적인 실시형태에 따르면, 계수(α)는 이미지에서 서로에 대해 분할된 발광 영역(ZLi)의 상대 위치의 함수로서 변한다. 특히, 계수(α)는 다수의 분할된 발광 영역(ZLi)이 하나의 동일한 라인(L)에서 정렬되는 경우 증가한다.
파라미터(α)의 변화는 방법의 감도를 조정하는 것을 가능하게 하여, 분할된 발광 영역(ZLi)의 파라미터에 따라 더 빠르게 또는 더 느리게 이벤트를 검출할 수 있게 한다.
또한 이미지 시퀀스의 현재 이미지의 각 분할된 발광 영역(ZLi)에 다른 파라미터에 따라 변하는 가중치를 할당하는 것도 가능하고, 예를 들어,
- 이 가중치의 값은 분할된 발광 영역(ZLi)이 작은 크기(즉, 예를 들어, 20픽셀 미만의 크기를 가짐) 및/또는 수평선(H)에 가까운 경우 감소하고;
- 이 가중치의 값은 분할된 발광 영역이 그다지 밝지 않은 경우(예를 들어, 광도가 1000 럭스 미만인 경우) 감소하고;
- 이 가중치의 값은 조명의 색상이 명확하지 않은 경우(예를 들어, 포화된 백색광인 경우) 감소하고;
- 이 가중치의 값은 분할된 발광 영역(ZLi)이 유사한 다른 분할된 발광 영역(ZLi)에 (크기, 위치, 세기, 색상 면에서) 근접한 경우 증가한다.
이 가중치를 사용하면 다수의 분할된 발광 영역(ZLi)이 위치, 밝기 및 색상과 밀접한 관련이 있을 때 전체 신뢰 지수(ICG)의 증가 속도를 높일 수 있다. 조명의 크기가 작고 세기가 낮을 때 전체 신뢰 지수(ICG)의 증가를 늦추면 멀리 있는 긴급 자동차를 검출하는 속도가 느려지지만 거짓 양성률을 줄일 수 있어서 허용될 수 있다.
단계(700)는 긴급 자동차의 섬광등에 대해 만족스러운 검출률을 여전히 유지하면서 검출된 거짓 양성률을 상당히 줄일 수 있게 한다.
단계(700)의 끝에서, 컴퓨터(3)는 카메라(2)에 의해 취득된 이미지 시퀀스에 대응하는, 자동차(1) 뒤의 환경에 긴급 자동차가 존재하는 것을 나타내고, 특히 예를 들어 그 자체로 알려진 히스테리시스 임계값을 사용하여 발광 영역(ZLi)이 긴급 자동차의 섬광등임을 선언할 수 있다.
히스테리시스 형태의 상태 기계가 도 6에 도시되어 있다.
발광 영역(ZLi)의 상태는 "OFF" 상태에서 초기화(Ei)된다:
- 전체 신뢰 지수(ICG)가 미리 결정된 임계값(C1)보다 큰 경우 "OFF" 상태로부터 "ON" 상태로 전이가 발생한다.
- 전체 신뢰 지수(ICG)가 미리 결정된 임계값(C2) 미만인 경우 "ON" 상태로부터 "OFF" 상태로 전이가 발생한다.
자동차(자율 자동차의 경우) 또는 자동차(1)의 운전자는 긴급 자동차의 움직임을 용이하게 하고 방해하지 않도록 필요한 조치를 취할 수 있다.

Claims (15)

  1. 자동차(1)에 탑재된 적어도 하나의 컬러 카메라(2)에 의해 캡처된 이미지의 비디오 스트림을 처리하는 방법으로서,
    상기 이미지는 상기 자동차(1)의 환경에 위치된 우선순위 자동차(4)를 검출하기 위해 상기 자동차에 탑재된 컴퓨터(3)에 의해 사용되고, 상기 적어도 하나의 카메라는 상기 자동차의 후방을 향하고 있고, 상기 방법은,
    - 이미지 시퀀스를 취득하는 단계(100);
    상기 이미지 시퀀스의 각 이미지에 대해,
    - 섬광등(5, 6)일 가능성이 있는 이미지의 컬러 발광 영역(ZLi)을 검출할 수 있게 하는, 임계값 기반 비색 분할을 수행하는 분할 단계(200);
    - 상기 분할 단계(200)에서 분할된 각각의 발광 영역이 동일한 색상의 예측 발광 영역(ZPi)과 연관되는, 각 분할된 발광 영역(ZLi)을 추적하는 단계(300);
    - 이전에 훈련된 분류기를 사용하여 각각의 분할된 발광 영역(ZLi)에 비색 분류를 수행하는 단계(400);
    - 상기 분할된 영역의 섬광 특성을 결정할 수 있게 하는, 각각의 분할된 발광 영역(ZLi)의 주파수 분석을 수행하는 단계(500); 및
    - 분할된 발광 영역(ZLi)이 섬광등임을 선언할 수 있게 하는, 상기 이미지 시퀀스의 각 이미지에 대한 전체 신뢰 지수(ICG)를 계산하는 단계(700)
    를 포함하는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  2. 제1항에 있어서, 상기 분할 단계(200)에서, 하기 네 가지 범주:
    - 적색,
    - 주황색,
    - 청색, 및
    - 보라색
    에 따라 발광 영역(ZLi)을 분할하기 위해 미리 정해진 분할 임계값을 사용하는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 분할 단계(200) 후에, 상기 방법은 상기 분할 단계(200)로부터의 결과를 필터링할 수 있게 하는 소위 분할 후 필터링 단계(210)를 더 포함하고, 상기 분할 후 단계는 위치 및/또는 크기 및/또는 색상 및/또는 세기에 관한 미리 결정된 기준에 따라 수행되는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  4. 제3항에 있어서, 상기 분할 후 단계(210)는 수평선(H)과 소실점(F)에서 멀리 떨어져 있고 미리 결정된 치수 임계값보다 작은 크기를 갖는 이미지 부분에 위치된 발광 영역(ZLi)을 필터링하는 치수 필터링 하위 단계(211)를 포함하는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  5. 제3항에 있어서, 상기 분할 후 단계(210)는 미리 결정된 치수 임계값보다 큰 크기 및 미리 결정된 광도 임계값보다 작은 광도를 갖는 발광 영역(ZLi)을 필터링하는 하위 단계(212)를 포함하는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  6. 제3항에 있어서, 상기 분할 후 단계(210)는 이미지 시퀀스의 이미지에 형성된 수평선(H) 아래에 위치된 발광 영역(ZLi)을 필터링하는 위치 필터링 하위 단계(213)를 포함하는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  7. 제3항에 있어서, 상기 분할 후 단계(210)는 분할된 발광 영역(ZLi)에 대해 지향성 색 임계값 기반 필터링을 수행하는 하위 단계(215)를 포함하는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 추적하는 단계(300)의 끝에서 연관성이 발견되지 않은 각각의 분할된 발광 영역(ZLi)에 대해 제2 분할 단계(310)를 더 포함하는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  9. 제8항에 있어서, 상기 제2 분할 단계(310)는,
    - 상기 분할 임계값을 확장하고, 새로운 확장된 분할 임계값을 사용하여 상기 이미지 시퀀스의 각 이미지에 대해 상기 분할 단계(200)와 상기 추적하는 단계(300)를 반복하는 제1 하위 단계(311)로서, 상기 분할 임계값은 분할된 발광 영역의 색상에 해당하는 값인, 상기 제1 하위 단계, 및
    - 상기 제1 하위 단계의 끝에서 연관성이 발견되지 않은 경우 백색의 임계값에 대응하도록 상기 분할 임계값을 수정하는 제2 하위 단계(312)
    를 포함하는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 주파수 분석 단계(500)에서, 각각의 분할된 발광 영역(ZLi)의 섬광 주파수는 제1 주파수 임계값(SF1) 및 상기 제1 주파수 임계값(SF1)보다 큰 제2 주파수 임계값(SF2)과 비교되고, 두 임계값은 미리 결정되고, 상기 분할 발광 영역(ZLi)은,
    - 섬광 주파수가 상기 제1 주파수 임계값(SF1)보다 작아서 분할된 발광 영역이 깜박이지 않거나 약하게 깜박이거나 섬광등이 아닌 것으로 간주되는 경우;
    - 섬광 주파수가 상기 제2 주파수 임계값(SF2)보다 커서 발광 영역이 또한 섬광등이 아닌 것으로 간주되는 경우
    필터링되는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  11. 제10항에 있어서, 상기 제1 주파수 임계값(SF1)은 1Hz이고, 상기 제2 주파수 임계값(SF2)은 5Hz인 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 각각의 분할된 발광 영역(ZLi)의 방향성 분석을 수행하는 단계(600)를 더 포함하여 상기 분할된 발광 영역의 변위를 결정할 수 있게 하는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  13. 제12항에 있어서, 상기 방향 분석 단계(600)에서 획득된 변위 방향이,
    - 상기 자동차(1)에 대해 상기 분할된 발광 영역(ZLi)이 움직이지 않는다고;
    - 상기 자동차(1)에 대해 상기 분할된 발광 영역(ZLi)에서 멀어지고 있다고
    결론 내릴 수 있게 하는 경우 상기 분할된 발광 영역(ZLi)을 필터링하는 것을 특징으로 하는 이미지의 비디오 스트림을 처리하는 방법.
  14. 명령어를 포함하는 컴퓨터 프로그램 제품으로서, 상기 명령어는, 컴퓨터에 의해 실행될 때,
    - 이미지 시퀀스를 취득하는 단계(100);
    상기 이미지 시퀀스의 각 이미지에 대해,
    - 섬광등(5, 6)일 가능성이 있는 이미지의 컬러 발광 영역(ZLi)을 검출할 수 있게 하는, 임계값 기반 비색 분할을 수행하는 분할 단계(200);
    - 상기 분할 단계(200)에서 분할된 각각의 발광 영역(ZLi)이 동일한 색상의 예측 발광 영역(ZPi)과 연관되는, 각각의 분할된 발광 영역(ZLi)을 추적하는 단계(300);
    - 이전에 훈련된 분류기를 사용하여 각각의 분할된 발광 영역(ZLi)의 비색 분류를 수행하는 단계(400);
    - 분할된 발광 영역의 섬광 특성을 결정할 수 있게 하는, 각각의 분할된 발광 영역(ZLi)의 주파수 분석을 수행하는 단계(500); 및
    - 발광 영역(ZLi)이 섬광등임을 선언할 수 있게 하는, 상기 이미지 시퀀스의 각 이미지에 대한 전체 신뢰 지수(ICG)를 계산하는 단계(700)
    를 포함하는 방법을 구현하는, 컴퓨터 프로그램 제품.
  15. 자동차(1)로서,
    자동차의 후방을 향하고 상기 자동차 뒤 환경의 이미지의 비디오 스트림을 취득할 수 있는 적어도 하나의 컬러 카메라(2)와 적어도 하나의 컴퓨터(3)를 포함하고, 상기 컴퓨터(3)는,
    - 이미지 시퀀스를 취득하는 단계(100);
    상기 이미지 시퀀스의 각 이미지에 대해,
    - 섬광등(5, 6)일 가능성이 있는 이미지의 컬러 발광 영역(ZLi)을 검출할 수 있게 하는, 임계값 기반 비색 분할을 수행하는 분할 단계(200);
    - 상기 분할 단계(200)에서 분할된 각각의 발광 영역(ZLi)이 동일한 색상의 예측 발광 영역(ZPi)과 연관되는, 각각의 분할된 발광 영역(ZLi)을 추적하는 단계(300);
    - 이전에 훈련된 분류기를 사용하여 각각의 분할된 발광 영역(ZLi)에 비색 분류를 수행하는 단계(400);
    - 분할된 발광 영역의 섬광 특성을 결정할 수 있게 하는, 각각의 분할된 발광 영역(ZLi)의 주파수 분석을 수행하는 단계(500); 및
    - 분할된 발광 영역(ZLi)이 섬광등임을 선언할 수 있게 하는, 상기 이미지 시퀀스의 각 이미지에 대한 전체 신뢰 지수(ICG)를 계산하는 단계(700)
    를 구현하도록 구성된, 자동차(1).
KR1020237015769A 2020-10-13 2021-10-13 이미지 처리 방법 KR20230084287A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR2010472A FR3115144B1 (fr) 2020-10-13 2020-10-13 Procédé de traitement d’images
FRFR2010472 2020-10-13
PCT/EP2021/078342 WO2022079113A1 (fr) 2020-10-13 2021-10-13 Procédé de traitement d'images

Publications (1)

Publication Number Publication Date
KR20230084287A true KR20230084287A (ko) 2023-06-12

Family

ID=73793454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237015769A KR20230084287A (ko) 2020-10-13 2021-10-13 이미지 처리 방법

Country Status (7)

Country Link
US (1) US20230368545A1 (ko)
EP (1) EP4229544A1 (ko)
JP (1) JP2023546062A (ko)
KR (1) KR20230084287A (ko)
CN (1) CN116438584A (ko)
FR (1) FR3115144B1 (ko)
WO (1) WO2022079113A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024011733A (ja) * 2022-07-15 2024-01-25 株式会社Subaru 車両の配光制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002319091A (ja) * 2001-04-20 2002-10-31 Fuji Heavy Ind Ltd 後続車両認識装置
EP2523173B1 (en) * 2011-05-10 2017-09-20 Autoliv Development AB Driver assisting system and method for a motor vehicle

Also Published As

Publication number Publication date
EP4229544A1 (fr) 2023-08-23
US20230368545A1 (en) 2023-11-16
CN116438584A (zh) 2023-07-14
FR3115144A1 (fr) 2022-04-15
FR3115144B1 (fr) 2023-04-28
JP2023546062A (ja) 2023-11-01
WO2022079113A1 (fr) 2022-04-21

Similar Documents

Publication Publication Date Title
TWI302879B (en) Real-time nighttime vehicle detection and recognition system based on computer vision
EP2698777B1 (en) Vehicle-mounted peripheral object recognition device and driving assistance device using same
US20070221822A1 (en) Headlight, Taillight And Streetlight Detection
US9336447B2 (en) Ambient environment determination apparatus
JP5855272B2 (ja) ブレーキ状況を認識する方法および装置
CN108357418B (zh) 一种基于尾灯识别的前车驾驶意图分析方法
US9042600B2 (en) Vehicle detection apparatus
JP5879219B2 (ja) 車載用環境認識装置
US20120233841A1 (en) Adjustable camera mount for a vehicle windshield
EP3480057A1 (en) Rear obstruction detection
JP6034923B1 (ja) 車外環境認識装置
KR101908158B1 (ko) 차량 카메라의 시야 내 에어로졸의 강도 인식 방법 및 그 장치
US11068729B2 (en) Apparatus and method for detecting a traffic light phase for a motor vehicle
JP6236039B2 (ja) 車外環境認識装置
JP2014515893A (ja) 車両のカメラによって撮影した画像を評価するための方法および画像評価装置
JP2010512271A (ja) カメラによる車両電灯の識別
JP6420650B2 (ja) 車外環境認識装置
CN110249338B (zh) 用于检测与交通信号灯相关的假阳性误报的方法
KR20230084287A (ko) 이미지 처리 방법
KR101859201B1 (ko) 카메라 센서 기반의 자동차 상향등 자동 조절 시스템 및 그 방법
JP6259335B2 (ja) 車外環境認識装置
JP6329417B2 (ja) 車外環境認識装置
US20190318175A1 (en) Street marking color recognition
WO2021161443A1 (ja) 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム
Bogacki et al. Selected methods for increasing the accuracy of vehicle lights detection