KR102039814B1 - 측후방 차량 검출 방법 및 그 장치 - Google Patents

측후방 차량 검출 방법 및 그 장치 Download PDF

Info

Publication number
KR102039814B1
KR102039814B1 KR1020180012903A KR20180012903A KR102039814B1 KR 102039814 B1 KR102039814 B1 KR 102039814B1 KR 1020180012903 A KR1020180012903 A KR 1020180012903A KR 20180012903 A KR20180012903 A KR 20180012903A KR 102039814 B1 KR102039814 B1 KR 102039814B1
Authority
KR
South Korea
Prior art keywords
vehicle
wheel
detection result
detecting
region
Prior art date
Application number
KR1020180012903A
Other languages
English (en)
Other versions
KR20190098856A (ko
Inventor
이윤기
정형구
정여빈
심민경
Original Assignee
주식회사 에프에스솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프에스솔루션 filed Critical 주식회사 에프에스솔루션
Priority to KR1020180012903A priority Critical patent/KR102039814B1/ko
Publication of KR20190098856A publication Critical patent/KR20190098856A/ko
Application granted granted Critical
Publication of KR102039814B1 publication Critical patent/KR102039814B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/40—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

측후방 차량 검출 방법 및 그 장치가 개시된다. 측후방 차량 검출 방법은 (a) 차량 후방 영상을 획득하는 단계; (b) 상기 차량 후방 영상에 필터를 적용하여 차량의 휠 영역을 검출하는 단계; 및 (c) 상기 휠 영역 검출 결과에 따라 측후방 차량 근접 여부를 판단하는 단계를 포함한다.

Description

측후방 차량 검출 방법 및 그 장치{Method and apparatus for blind spot detection}
본 발명은 측후방 차량 검출 방법 및 그 장치에 관한 것이다.
BSD는 Blind Spot Detection의 약어로 자동차의 C필러 등에 의해 만들어지는 측후방의 사각 근접영역은 차량운전자가 관측하기 어렵다. 이로 인해, 현재 측후방의 사각 근접 영역에 대해 초음파등의 센서를 이용하여 물체 유무를 감지하여 운전자의 인지가 어려운 사각에 의해 발생하는 충돌을 예방하기 위해 알림을 발생하고 있다.
그러나, 종래의 초음파 등의 센서를 이용하는 경우 오인식율이 지나치게 높아 빈번한 알림으로 운전자의 피로감을 유발하는 문제점이 있다.
본 발명은 영상 인식을 통해 측후방 차량 근접 여부를 정확하게 감지하여 알릴 수 있는 측후방 차량 검출 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 영상 인식을 통해 측후방 차량 근접 여부를 정확하게 감지하여 알릴 수 있는 측후방 차량 검출 방법이 제공된다.
본 발명의 일 실시예에 따르면, (a) 차량 후방 영상을 획득하는 단계; (b) 상기 차량 후방 영상에 필터를 적용하여 차량의 휠 영역을 검출하는 단계; 및 (c) 상기 휠 영역 검출 결과에 따라 측후방 차량 근접 여부를 판단하는 단계를 포함하는 측후방 차량 검출 방법이 제공될 수 있다.
상기 (c) 단계 이전에, 상기 차량 후방 영상에 대한 세일리언시 분석을 통해 관심 영역에 물체 침범 여부를 검출하는 단계; 인공신경망을 통해 상기 차량 후방 영상을 분석하여 관심 영역내의 물체가 차량인지 여부를 분류하는 단계; 및 상기 관심 영역내에서 휠 주변 객체를 검출하는 단계를 더 포함하되, 상기 (c) 단계는, 상기 세일리언시 검출 결과, 상기 물체 분류 결과 및 상기 휠 주변 객체 검출 결과를 더 이용하여 상기 측후방 차량 근접 여부를 판단할 수 있다.
상기 (c) 단계는, 날씨 또는 조도에 따라 상기 세일리언시 검출 결과, 상기 휠 검출 결과 및 휠 주변 객체 검출 결과에 따른 가중치를 다르게 적용하여 상기 측후방 차량 근접 여부 판단에 이용할 수 있다.
상기 (c) 단계는, 복수의 프레임에서 상기 세일리언시 검출 결과, 상기 휠 영역 검출 결과, 상기 물체 분류 결과 및 휠 주변 객체 검출 결과 중 적어도 둘 이상의 결과가 검출 성공이면 측후방 차량 근접으로 결정할 수 있다.
상기 필터는 다크-라이트-다크(dark-light-dark) 필터일 수 있다.
상기 (b) 단계 이전에, 상기 차량 후방 영상에 대해 관심 영역을 설정하는 단계를 더 포함하되, 상기 관심 영역의 크기는 상기 차량의 속도에 따라 상이하게 설정될 수 있다.
상기 관심 영역을 설정하는 단계는, 상기 차량 후방 영상에서 차량의 도로 양차선을 검출하고, 도로 양차선을 이용하여 소실점을 도출하는 단계; 및 상기 소실점을 수평으로 연장하고, 상기 차량 후방 영상의 하단 일정 부분을 제외시키며, 상기 차량의 도로를 제외한 상기 차량의 좌우 도로 일부를 포함하는 폐 형상으로 관심 영역을 설정하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 영상 인식을 통해 측후방 차량 근접 여부를 정확하게 감지하여 알릴 수 있는 측후방 차량 검출 장치가 제공된다.
본 발명의 일 실시예에 따르면, 차량 후방 영상을 획득하는 영상 획득부; 상기 차량 후방 영상에 필터를 적용하여 차량의 휠 영역을 검출하는 휠 검출부; 및 상기 휠 영역 검출 결과에 따라 측후방 차량 근접 여부를 판단하는 분석부를 포함하는 측후방 차량 검출 장치가 제공될 수 있다.
상기 차량 후방 영상에 대한 세일리언시 분석을 통해 관심 영역에 물체 침범 여부를 검출하는 세일리언시 검출부; 인공신경망을 통해 상기 차량 후방 영상을 분석하여 관심 영역내의 물체가 차량인지 여부를 분류하는 신경망 분류기; 및 상기 관심 영역내에서 휠 주변 객체를 검출하는 휠 주변부 검출부를 더 포함하되, 상기 분석부는, 상기 세일리언시 검출 결과, 상기 물체 분류 결과 및 휠 주변 객체 검출 결과를 더 이용하여 상기 측후방 차량 근접 여부를 판단할 수 있다.
본 발명의 일 실시예에 따른 측후방 차량 검출 방법 및 그 장치를 제공함으로써, 영상 인식을 통해 측후방 차량 근접 여부를 정확하게 감지하여 알릴 수 있다.
도 1은 본 발명의 일 실시예에 따른 측후방 차량 검출 방법을 나타낸 순서도.
도 2 및 도 3은 본 발명의 일 실시예에 따른 관심 영역을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 세일리언시 검출 결과를 나타낸 도면.
도 5는 본 발명의 일실시예에 따른 휠 검출을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 측후방 차량 검출 장치의 내부 구성을 도시한 블록도.
도 7은 본 발명의 일 실시예에 따른 측후방 차량 검출을 설명하기 위해 도시한 도면.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 측후방 차량 검출 방법을 나타낸 순서도이며, 도 2 및 도 3은 본 발명의 일 실시예에 따른 관심 영역을 설명하기 위해 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 세일리언시 검출 결과를 나타낸 도면이며, 도 5는 본 발명의 일실시예에 따른 휠 검출을 설명하기 위해 도시한 도면이다.
단계 110에서 측후방 차량 검출 장치(100)는 차량 후방 영상을 획득한다.
예를 들어, 측후방 차량 검출 장치(100)는 차량 후방 카메라를 통해 차량 후방 영상을 획득할 수 있다. 이때, 차량 후방 영상은 고속으로 근접하는 차량을 놓치지 않고 인지하기 위해 최소 초당 약7회 이상 획득될 수 있다.
단계 115에서 측후방 차량 검출 장치(100)는 획득된 차량 후방 영상에서 관심 영역(ROI)을 설정한다.
예를 들어, 측후방 차량 검출 장치(100)는 차량 후방 영상에서 지평선 높이와 후방 트렁크 높이를 획득한 후 이를 이용하여 관심 영역을 설정할 수 있다. 일 실시예에 따르면, 측후방 차량 검출 장치(100)는 차량 후방 영역에서 도로의 양 차선을 검출한 후 검출된 양 차선을 일 직선으로 연결한 후 두 직선이 만나는 지점을 소실점으로 도출하며, 도출된 소실점을 지평선 높이로 계산할 수 있다. 측후방 감시 장치(100)는 차량 후방 영역에서 차량의 트렁크 영역의 높이를 도출함에 있어, 차량의 트렁크 라인이 보이지 않은 경우, 하단의 1/5 영역을 디폴트 영역으로 설정할 수 있다. 이로 인해, 측후방 차량 검출 장치(100)는 도 2에서 보여지는 바와 같이 자기 차량에 의한 영향을 최소화하기 위해 차량 후방 영상에서 하단의 일정 영역을 제외한 후 소실점을 수평으로 연결한 라인(즉, 지평선 높이를 수평으로 연장한 라인)을 관심 영역으로 설정할 수 있다.
본 발명의 일 실시예에 따른 측후방 차량 검출 장치(100)는 측후방의 사각 지대에 접근하는 차량을 인지하여 운전자에게 알리는 것을 주 목적으로 한다. 따라서, 측후방 차량 검출 장치(100)는 관심 영역 전체를 감시 영역으로 설정하지 않고, 자신의 차량이 주행중인 차선의 양쪽 옆차선에 해당하는 영역을 감시 영역으로 설정할 수 있다.
따라서, 측후방 차량 검출 장치(100)는 도 3에 도시된 바와 같이, 사람의 폐 모양과의 마스크 맵(MASK MAP)을 스케일(scale) 및 시프트(shift)하여 확정함으로써 최종 관심 영역(ROI)로 설정할 수 있다.
또한, 측후방 차량 검출 장치(100)는 차량의 속도에 따라 관심 영역을 다르게 설정할 수도 있다. 고속도로의 경우 일반적으로 도로 폭이 일반 도로보다 넓다. 따라서, 측후방 차량 검출 장치(100)는 차량이 기준치 이상의 고속인 경우, 관심 영역의 크기를 수평 방향으로 넓게 설정할 수 있다. 반면, 차량이 기준치 미만인 경우, 측후방 차량 검출 장치(100)는 관심 영역의 크기를 수평 방향으로 좁게 설정할 수도 있다.
단계 120에서 측후방 차량 검출 장치(100)는 차량 후방 영상에 대해 세일리언시 영역 검출을 수행하여 물체 침범 여부를 검출한다.
예를 들어, 측후방 차량 검출 장치(100)는 차량 후방 영상에 대해 세일리언시 영역 검출을 수행한 후 세일리언시 영역 검출 결과를 관심 영역(예를 들어, 마스크 맵)에 마스킹시켜 좌우측에 대해 물체 침범 여부를 검출할 수 있다.
다른 예를 들어, 측후방 차량 검출 장치(100)는 관심 영역에 대해 세일리언시 영역 검출을 수행하여 물체 침범 여부를 검출할 수도 있다. 도 4에는 세일리언시 검출 결과가 도시되어 있다. 세일리언시 영역 검출은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
단계 125에서 측후방 차량 검출 장치(100)는 관심 영역에 대해 필터를 적용하여 휠로 추정되는 영역을 검출한다.
차량의 측후면을 광각의 단안 후방 카메라로 촬영하는 경우, 차종과 무관하게 차량의 타이어와 휠 및 휠베이스 그늘 영역이 공통적으로 나타나게 된다(도 5 참조). 따라서, 측후방 차량 검출 장치(100)는 관심 영역(즉, 마스크 영역)안에서 영상 탐색 및 인식을 통해 차량의 타원형 휠베이스 영역을 추정하고 이에 대한 영상 인식 검출을 수행할 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 측후방 차량 검출 장치(100)는 다크-라이트-다크(dark-light-dark)필터를 활용하여 휠로 추정되는 영역을 검출한다. 즉, 자동차의 바퀴는 가로 혹은 세로로 된 중심선을 따라가면 "타이어-휠-타이어"로 연속되는 이미지로 나타난다. 따라서, 측후방 차량 검출 장치(100)는 관심 영역(즉, 마스크 영역) 전체를 탐색하며, 다크-라이트-다크 필터를 적용하여 자동차 휠로 추정되는 영역을 검출한다.
단계 130에서 측후방 차량 검출 장치(100)는 인공신경망을 이용하여 관심 영역에서 검출된 물체가 차량인지 여부를 분류한다.
예를 들어, 측후방 차량 검출 장치(100)는 관심 영역의 차선이나 가드레일 정보를 정확하게 검출할 수 있도록 사선 방향(예를 들어, 45도, 135도)으로 두번 에지를 검출한 후 에지 방향성 정보를 신경망에 특징값으로 입력할 수 있다. 또한, 측후방 차량 검출 장치(100)는 에지 근처의 픽셀 칼라 정보를 특징값으로 함께 입력하여 현재 에지에 해당하는 물체를 정확하게 분류하도록 할 수 있다.
단계 132에서 측후방 차량 검출 장치(100)는 관심 영역에서 휠 주변 객체를 검출한다. 여기서, 휠 주변 객체는 예를 들어, 차량 정면 전조등, 휀다(fender) 및 바퀴 중 적어도 하나를 포함할 수 있다.
예를 들어, 측후방 차량 검출 장치(100)는 관심 영역에서 Haar-like Feature 알고리즘을 이용하여 후보 객체를 검출할 수 있다. Haar-like Feature 결과 가드레일, 로드사인, 횡단보도, 보도블록 등이 오인식될 가능성이 높다. 따라서, 주행 환경에서 나타날 수 있는 랜덤한 이미지를 기반으로 네거티브 객체를 수집한 후 DB로 가지고 있을 수 있다. 따라서, 측후방 차량 검출 장치(100)는 관심 영역에서 Haar-like Feature 알고리즘을 이용하여 후보 객체들을 검출한 후 네거티브 객체에 포함되는 객체들을 모두 제외시킬 수 있다.
Haar-like Feature를 적용함에 있어 cascade의 스테이지(stage)는 7단계로 적용할 수 있으며, 각 스테이지당 20개의 특징으로 제한하여 적용할 수 있다. 또한, 서브윈도우 크기는 32 또는 40으로 제한할 수 있다.
측후방 차량 검출 장치(100)는 Haar-like Feature 결과 검출된 후보 객체들을 대상으로 HOG를 적용하여 최종적으로 휠 주변 객체를 검출할 수 있다. 여기서, HOG는 32 x 32로 정규화하여 휠 주변 객체를 추출할 수 있다.
단계 135에서 측후방 차량 검출 장치(100)는 세일리언시 검출 결과, 휠 영역 검출 결과, 신경망 분류 결과 및 휠 주변 객체 검출 결과를 이용하여 측후방 차량 근접 여부를 판단한다.
이때, 측후방 차량 검출 장치(100)는 날씨 또는 조도에 따라 세일리언시 검출 결과 및 휠 영역 검출 결과에 가중치를 다르게 적용하여 측후방 차량 근접 여부를 판단할 수 있다. 예를 들어, 날씨가 화창한 날은 도로 옆의 가로수나 건물의 그림자(음영)에 의해 세일리언시 검출시 영향을 받게 된다. 반면 화창한 날씨의 경우 휠의 반사가 잘돼 휠 검출 결과 성능이 더 좋을 수 있다. 따라서, 측후방 차량 검출 장치(100)는 날씨가 좋은 날에는 세일리언시 검출 결과에 따른 가중치를 낮게 설정하고, 휠 검출 결과에 가중치를 높게 설정할 수 있다.
다른 예를 들어, 날씨가 흐리거나 어두운 경우 다크-라이트-다크 필터의 적용 결과가 정확하지 않을 수 있다. 따라서, 흐리거나 어두운 날에는 세일리언시 검출 결과에 가중치를 높게 설정하고 휠 검출 결과에 가중치를 낮게 설정할 수 있다. 반면, 형태 정보를 이용한 휠 주변 객체 검색 결과에 대해 가중치를 높게 설정할 수 있다.
측후방 차량 검출 장치(100)는 각 프레임별로 세일리언시 검출 결과, 휠 영역 검출 결과, 신경망 분류 결과 및 휠 주변 객체 검출 결과에 따른 점수를 부여할 수 있으며, 4 프레임의 누적 점수를 기반으로 기준점 이상인 경우 차량이 존재하는 것으로 판단할 수 있다.
이해와 설명의 편의를 도모하기 위해 각 프레임별 점수 기준에 대해 우선 설명한 후 누적 점수를 이용하여 측후방에 차량 근접 여부를 판단하는 방법에 대해 설명하기로 한다.
예를 들어, 측후방 차량 검출 장치(100)는 세일리언시 검출 결과 물체 검출이 성공하고, 휠 검출 결과 휠 검출이 성공하였으며, 신경망 분류 결과 차량 또는 아스팔트로 분류된 경우 해당 프레임에 대한 점수를 1점으로 설정할 수 있다.
또한, 측후방 차량 검출 장치(100)는 휠 주변 객체 검출 결과 휠 주변 객체가 검출 성공이며, 신경망 분류 결과 차량, 아스팔트 또는 로드사인이라고 판단한 경우에는 해당 프레임에 대한 점수를 2점으로 설정할 수 있다.
이외의 나머지 경우에는 해당 프레임의 점수를 -2점으로 설정할 수 있다.
상술한 예를 기반으로 세일리언시 검출 결과, 휠 영역 검출 결과, 신경망 분류 결과 및 휠 주변 객체 검출 결과에 따른 각 프레임 점수 및 누적 점수가 도 7과 같다고 가정하기로 한다.
도 4에서 보여지는 바와 같이, t-3 프레임에서 세일리언시 검출 결과 물체 검출이 성공하고, 휠 검출 결과 휠 검출이 성공하였으며, 신경망 분류 결과 차량 또는 아스팔트로 분류된 경우 해당 프레임의 점수는 1점으로 설정되며, 누적 점수가 1이라고 가정하기로 한다. 이와 같은 경우, 측후방 차량 검출 장치(100)는 경고(알림)을 발생하지 않을 수 있다.
t-2 프레임에서도 t-3 프레임과 동일한 결과인 경우, t-2 프레임의 점수는 1점이나 누적 점수는 2점이 되게 된다. 따라서, 측후방 차량 검출 장치(100)는 t-2 프레임에서는 세일리언시 검출 결과, 휠 영역 검출 결과, 신경망 분류 결과 및 휠 주변 객체 검출 결과에 따라 측후방 차량 근접에 따른 경고(알림)을 발생하게 된다.
t-1 프레임에서도 t-3, t-2 프레임과 결과가 동일한 경우, t-1 프레임의 점수는 1점이나 누적 점수는 3점으로 도출되며, 측후방 차량 검출 장치(100)는 t-1 프레임에서도 세일리언시 검출 결과, 휠 영역 검출 결과, 신경망 분류 결과 및 휠 주변 객체 검출 결과에 따라 측후방 차량 근접에 따른 경고(알림)을 발생하게 된다.
그리고, t 프레임의 경우, 세일리언시 검출 결과 물체 검출이 성공하고, 휠 검출 결과 휠 검출이 성공하였으며, 휠 주변 객체 검출 결과 휠 주변 객체 검출되고 신경망 분류 결과 차량, 아스팔트 또는 로드사인이라고 판단된 경우, 해당 t 프레임의 점수는 3점으로 설정될 수 있다. 이와 같은 경우, 측후방 차량 검출 장치(100)는 t 프레임에 대해 세일리언시 검출 결과, 휠 영역 검출 결과, 신경망 분류 결과 및 휠 주변 객체 검출 결과에 따라 측후방 차량 근접에 따른 경고(알림)을 발생하게 된다.
이와 같이, 측후방 차량 검출 장치(100)는 이전 4 프레임의 누적 결과를 이용하여 측후방 차량 근접에 따른 경고(알림)을 발생할 수 있다.
또한, 세일리언시 검출 결과 물체 검출이 성공하고, 휠 검출 결과 휠 검출이 성공하였으나, 신경망 분류 결과 차량이 아닌 것으로 분류된 경우, 측후방 차량 검출 장치(100)는 2프레임 이상 동일한 상태가 유지되면 측후방에 차량이 근접한 것으로 판단할 수 있다.
다른 예를 들어, 세일리언시 검출 결과 물체 검출이 성공하고, 휠 검출 결과 휠 검출이 실패하였으나, 신경망 분류 결과 차량으로 분류된 경우, 측후방 차량 검출 장치(100)는 3 프레임 이상 동일한 결과가 유지되면 측후방에 차량이 근접한 것으로 판단할 수 있다.
이와 같이, 측후방 차량 검출 장치(100)는 세일리언시 검출 결과, 휠 검출 결과 및 신경망 분류 결과 중 적어도 둘 이상의 결과가 검출 성공이면 측후방 차량 근접으로 결정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 측후방 차량 검출 장치의 내부 구성을 도시한 블록도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 측후방 차량 검출 장치(100)는 영상 획득부(610), 전처리부(615), 세일리언시 검출부(620), 휠 검출부(625), 신경망 분류기(630), 분석부(635), 알림 발생부(640), 메모리(645) 및 프로세서(650)를 포함하여 구성된다.
영상 획득부(610)는 차량 후방 영상을 획득하기 위한 수단이다. 예를 들어, 영상 획득부(610)는 차량 후방에 위치된 후방 카메라를 통해 차량 후방 영상을 획득할 수 있다. 이때, 영상 획득부(610)는 고속 근접 차량을 놓치지 않고 검출하기 위해 최소 초당 약 7회 이상 획득될 수 있다.
전처리부(615)는 차량 후방 영상에서 관심 영역을 설정하기 위한 수단이다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
세일리언시 검출부(620)는 차량 후방 영상 또는 관심 영역을 세일리언시 분석하여 관심 영역내에 물체 침범 여부를 검출하기 위한 수단이다.
휠 검출부(625)는 관심 영역에 대해 다크-라이트-다크 필터를 적용하여 휠 영역을 검출하기 위한 수단이다.
신경망 분류기(630)는 인공신경망을 이용하여 관심 영역에서 검출된 물체가 차량인지 여부를 분류하기 위한 수단이다.
휠 주변부 검출부(632)는 관심 영역에서 휠 주변부를 검출하기 위한 수단이다. 예를 들어, 휠 주변부 검출부(632)는 관심 영역에서 Haar-like Feature를 적용하여 후보 객체를 추출한 후 HOG를 적용하여 최종적으로 휠 주변 객체를 검출할 수 있다. 분석부(635)는 세일리언시 검출 결과, 휠 검출 결과, 신경망 분류 결과 및 휠 주변 객체 검출 결과를 이용하여 측후방 차량 근접 여부를 판단하기 위한 수단이다.
예를 들어, 세일리언시 검출 결과 물체 검출이 성공하고, 휠 검출 결과 휠 검출이 성공하였으나, 신경망 분류 결과 차량이 아닌 것으로 분류된 경우, 분석부(635)는 2프레임 이상 동일한 상태가 유지되면 측후방에 차량이 존재할 가능성이 있는 상태로 판단할 수 있다. 이에 대해서는 도 7을 참조하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
알림 발생부(640)는 분석부(635)의 판단 결과 측후방 차량 근접으로 판단되면, 알림을 발생한다.
메모리(645)는 본 발명의 일 실시예에 따른 측후방 차량 검출 방법을 수행하기 위해 필요한 다양한 알고리즘, 이 과정에서 파생되는 다양한 데이터 등을 저장하기 위한 수단이다.
프로세서(650)는 본 발명의 일 실시예에 따른 측후방 차량 검출 장치(100)의 내부 구성 요소들(예를 들어, 영상 획득부(610), 전처리부(615), 세일리언시 검출부(620), 휠 검출부(625), 신경망 분류기(630), 분석부(635), 알림 발생부(640), 메모리(645) 등)을 제어하기 위한 수단이다.
상술한 본 발명에 따른 진입 금지 차선 주행 경보 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
100: 측후방 차량 검출 장치
610: 영상 획득부
615: 전처리부
620: 세일리언시 검출부
625: 휠 검출부
630: 신경망 분류기
632: 휠 주변부 검출부
635: 분석부
640: 알림 발생부
645: 메모리
650: 프로세서

Claims (10)

  1. (a) 차량 후방 영상을 획득하는 단계;
    (b) 상기 차량 후방 영상에 필터를 적용하여 차량의 휠 영역을 검출하는 단계; 및
    (c) 상기 휠 영역 검출 결과에 따라 측후방 차량 근접 여부를 판단하는 단계를 포함하되,
    상기 (c) 단계 이전에,
    상기 차량 후방 영상에 대한 세일리언시 분석을 통해 관심 영역에 물체 침범 여부를 검출하는 단계;
    인공신경망을 통해 상기 차량 후방 영상을 분석하여 관심 영역내의 물체가 차량인지 여부를 분류하는 단계; 및
    상기 관심 영역내에서 휠 주변 객체를 검출하는 단계를 더 포함하되,
    상기 (c) 단계는,
    상기 세일리언시 검출 결과, 상기 물체 분류 결과 및 휠 주변 객체 검출 결과 를 더 이용하여 상기 측후방 차량 근접 여부를 판단하는 것을 특징으로 하는 측후방 차량 검출 방법.

  2. 삭제
  3. 제1 항에 있어서,
    상기 (c) 단계는,
    날씨 또는 조도에 따라 상기 세일리언시 검출 결과, 상기 휠 영역 검출 결과 및 휠 주변 객체 검출 결과에 따른 가중치를 다르게 적용하여 상기 측후방 차량 근접 여부 판단에 이용하는 것을 특징으로 하는 측후방 차량 검출 방법.
  4. 제1 항에 있어서,
    상기 (c) 단계는,
    복수의 프레임에서 상기 세일리언시 검출 결과, 상기 휠 영역 검출 결과, 상기 물체 분류 결과 및 휠 주변 객체 검출 결과 중 적어도 둘 이상의 결과가 검출 성공이면 측후방 차량 근접으로 결정하는 것을 특징으로 하는 측후방 차량 검출 방법.
  5. 제1 항에 있어서,
    상기 필터는 다크-라이트-다크(dark-light-dark) 필터인 것을 특징으로 하는 측후방 차량 검출 방법.
  6. 제1 항에 있어서,
    상기 (b) 단계 이전에,
    상기 차량 후방 영상에 대해 관심 영역을 설정하는 단계를 더 포함하되,
    상기 관심 영역의 크기는 상기 차량의 속도에 따라 상이하게 설정되는 것을 특징으로 하는 측후방 차량 검출 방법.
  7. 제6 항에 있어서,
    상기 관심 영역을 설정하는 단계는,
    상기 차량 후방 영상에서 차량의 도로 양차선을 검출하고, 도로 양차선을 이용하여 소실점을 도출하는 단계; 및
    상기 소실점을 수평으로 연장하고, 상기 차량 후방 영상의 하단 일정 부분을 제외시키며, 상기 차량의 도로를 제외한 상기 차량의 좌우 도로 일부를 포함하는 폐 형상으로 관심 영역을 설정하는 단계를 포함하는 것을 특징으로 하는 측후방 차량 검출 방법.
  8. 측후방 차량 검출 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품에 있어서,
    (a) 차량 후방 영상을 획득하는 단계;
    (b) 상기 차량 후방 영상에 필터를 적용하여 차량의 휠 영역을 검출하는 단계; 및
    (c) 상기 휠 영역 검출 결과에 따라 측후방 차량 근접 여부를 판단하는 단계를 수행하되,
    상기 (c) 단계 이전에,
    상기 차량 후방 영상에 대한 세일리언시 분석을 통해 관심 영역에 물체 침범 여부를 검출하는 단계;
    인공신경망을 통해 상기 차량 후방 영상을 분석하여 관심 영역내의 물체가 차량인지 여부를 분류하는 단계; 및
    상기 관심 영역내에서 휠 주변 객체를 검출하는 단계를 더 포함하되,
    상기 (c) 단계는,
    상기 세일리언시 검출 결과, 상기 물체 분류 결과 및 휠 주변 객체 검출 결과 를 더 이용하여 상기 측후방 차량 근접 여부를 판단하는 것을 특징으로 하는 기록매체 제품.
  9. 차량 후방 영상을 획득하는 영상 획득부;
    상기 차량 후방 영상에 필터를 적용하여 차량의 휠 영역을 검출하는 휠 검출부;
    상기 차량 후방 영상에 대한 세일리언시 분석을 통해 관심 영역에 물체 침범 여부를 검출하는 세일리언시 검출부;
    인공신경망을 통해 상기 차량 후방 영상을 분석하여 관심 영역내의 물체가 차량인지 여부를 분류하는 신경망 분류기;
    상기 관심 영역내에서 휠 주변 객체를 검출하는 휠 주변부 검출부; 및
    상기 휠 영역 검출 결과, 상기 세일리언시 검출 결과, 상기 물체 분류 결과 및 휠 주변 객체 검출 결과를 이용하여 측후방 차량 근접 여부를 판단하는 분석부를 포함하는 측후방 차량 검출 장치.



  10. 삭제
KR1020180012903A 2018-02-01 2018-02-01 측후방 차량 검출 방법 및 그 장치 KR102039814B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180012903A KR102039814B1 (ko) 2018-02-01 2018-02-01 측후방 차량 검출 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180012903A KR102039814B1 (ko) 2018-02-01 2018-02-01 측후방 차량 검출 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190098856A KR20190098856A (ko) 2019-08-23
KR102039814B1 true KR102039814B1 (ko) 2019-11-01

Family

ID=67763953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180012903A KR102039814B1 (ko) 2018-02-01 2018-02-01 측후방 차량 검출 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102039814B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062285A (ja) * 2014-09-18 2016-04-25 アルパイン株式会社 後側方車両検知警報装置
KR101744196B1 (ko) * 2016-04-22 2017-06-20 주식회사 에프에스솔루션 후방 감지 방법 및 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133386A (ko) * 2016-07-27 2016-11-22 주식회사 엠브레인 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템의 충돌방지방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062285A (ja) * 2014-09-18 2016-04-25 アルパイン株式会社 後側方車両検知警報装置
KR101744196B1 (ko) * 2016-04-22 2017-06-20 주식회사 에프에스솔루션 후방 감지 방법 및 그 장치

Also Published As

Publication number Publication date
KR20190098856A (ko) 2019-08-23

Similar Documents

Publication Publication Date Title
US8670592B2 (en) Clear path detection using segmentation-based method
US8890951B2 (en) Clear path detection with patch smoothing approach
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
US8184159B2 (en) Forward looking sensor system
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US8994823B2 (en) Object detection apparatus and storage medium storing object detection program
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
EP1930863A2 (en) Detecting and recognizing traffic signs
US20050157929A1 (en) Pedestrian detection apparatus
EP2741234B1 (en) Object localization using vertical symmetry
CN102997900A (zh) 外界识别方法、装置以及车辆系统
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
Wu et al. A real-time embedded blind spot safety assistance system
Di et al. Forward Collision Warning system based on vehicle detection and tracking
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
Álvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control
Riera et al. Driver behavior analysis using lane departure detection under challenging conditions
Janda et al. A road edge detection approach for marked and unmarked lanes based on video and radar
Irshad et al. Real-time lane departure warning system on a lower resource platform
KR102039814B1 (ko) 측후방 차량 검출 방법 및 그 장치
EP3627378A1 (en) Enhancing the detection of non-structured objects on a driveway
Shalu et al. An intelligent lane and obstacle detection using YOLO algorithm
Kiro et al. Road Lane Line Detection using Machine Learning
KR20190088154A (ko) 진입 금지 차선 주행 경보 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant