KR20190039648A - 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터 - Google Patents

자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터 Download PDF

Info

Publication number
KR20190039648A
KR20190039648A KR1020180117332A KR20180117332A KR20190039648A KR 20190039648 A KR20190039648 A KR 20190039648A KR 1020180117332 A KR1020180117332 A KR 1020180117332A KR 20180117332 A KR20180117332 A KR 20180117332A KR 20190039648 A KR20190039648 A KR 20190039648A
Authority
KR
South Korea
Prior art keywords
blind spot
vehicle
boxes
detection bounding
profile
Prior art date
Application number
KR1020180117332A
Other languages
English (en)
Other versions
KR102098140B1 (ko
Inventor
김용중
남운현
부석훈
성명철
여동훈
유우주
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20190039648A publication Critical patent/KR20190039648A/ko
Application granted granted Critical
Publication of KR102098140B1 publication Critical patent/KR102098140B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/025Rear-view mirror arrangements comprising special mechanical means for correcting the field of view in relation to particular driving conditions, e.g. change of lane; scanning mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Abstract

본 발명은 기준 자동차의 운행 중 촬영된 후방 영상 이미지로부터 피처 맵(feature map)을 획득하고, 후방 영상 이미지에 위치하는 오브젝트 (object)들에 대응하는 m개의 프로포잘 박스(proposal box)에 대응하는 영역 각각에 대해 풀링(pooling)하여 m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)들을 획득하며, 획득된 피처 벡터들을 제1 FC layer에 각각 입력하여 관찰 대상 자동차의 위치와 관찰 대상 자동차의 포즈를 확인한 다음, 확인된 관찰 대상 자동차의 위치와 관찰 대상 자동차의 포즈를 참조하여 요주의 자동차가 기준 자동차의 블라인드 스팟에 위치하는지를 판단하는 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터에 관한 것이다.

Description

자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터{METHOD FOR MONOTORING BLIND SPOT OF VEHICLE AND BLIND SPOT MONITOR USING THE SAME}
본 발명은 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터에 관한 것으로, 보다 상세하게는, 기준 자동차의 운행 중 촬영된 후방 영상 이미지로부터 피처 맵(feature map)을 획득하고, 후방 영상 이미지에 위치하는 오브젝트(object)들에 대응하는 m개의 프로포잘 박스(proposal box)에 대응하는 영역 각각에 대해 풀링(pooling)하여 m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)들을 획득하며, 획득된 피처 벡터들을 제1 FC layer에 각각 입력하여 관찰 대상 자동차의 위치와 관찰 대상 자동차의 포즈를 확인한 다음, 확인된 관찰 대상 자동차의 위치와 관찰 대상 자동차의 포즈를 참조하여 요주의 자동차가 기준 자동차의 블라인드 스팟에 위치하는지를 판단하는 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터에 관한 것이다.
일반적으로 운전자가 자동차를 운행 중 차선변경을 할 때 측면 및 후방을 관찰하여 시야를 확보할 수 있도록 자동차의 양측에 사이드미러가 설치되어 있고 실내 전면 중앙부에 룸미러가 설치되어 있다.
사이드미러는 자동차의 양측면에 설치되어 측면 및 후방 시야를 확보하도록 이용되고 있지만, 측면에 근접하여 주행하는 주변 자동차나 주변 물체는 확인할 수 없는 블라인드 스팟이 있다.
따라서 주행중인 자동차의 측면에 붙어서 뒤따라오는 다른 자동차를 운전자가 확인하지 못하고 차선을 변경할 경우 블라인드 스팟에서 주행하는 다른 자동차와 접촉사고가 발생할 수 있는 문제점이 있었다.
이러한 문제점을 방지하기 위하여 운전자들은 블라인드 스팟을 관측할 수 있도록 표면이 곡면으로 형성된 볼록거울을 사이드미러의 한쪽 부분에 부착하는 경우도 있다.
하지만, 사이드미러에 볼록거울 등을 설치할 경우에도, 자동차의 차선을 변경하기 위하여 운전자는 육안으로 블라인드 스팟을 확인하여야 하므로 운전자의 운전 피로도를 증가시키게 되며, 운전자의 위치에 따라 블록거울이 부착된 사이드미러로도 확인되지 않는 블라인드 스팟이 존재하는 문제점이 발생한다.
이를 방지하기 위하여, 최근에는 자동차의 후면에 장착된 센서를 통해 블라인드 스팟에 접근하거나 블라인드 스팟에 위치하는 자동차 등을 감지하여 운전자에게 제공함으로써 운전자가 블라인드 스팟에 있는 자동차 등을 인지하지 못하고 차선을 변경하거나 블라인드 스팟으로 근접하는 자동차로 인해 사고위험이 감지되는 경우 미연에 사고를 방지하기 위한 블라인드 스팟 모니터 시스템이 제안되고 있다.
특히, 비전 센서를 이용한 블라인드 스팟 모니터 시스템에서는 영상 정보를 기반으로 몇 가지 특성을 검출해 내는 알고리즘을 많이 적용하고 있다.
일 예로, 객체들의 가장자리 선분을 검출하고 검출된 선분들을 이용하여 1차적으로 자동차가 될 수 있는 후보군을 만든 다음 후보군의 대칭성과 영상 정보에서의 후보군 아래에 위치하는 그림자 부분을 이용하여 최종적으로 자동차에 대한 판정을 내리는 알고리즘, 영상 히스토그램의 대칭성을 이용하여 자동차의 위치와 외곽 크기를 정의하는 알고리즘, 또는 자동차만이 가지는 특성들을 추출하여 유형을 정의하고 비전 센서를 통해 검출되는 객체의 유형과 정의된 유형의 유사한 정도로 자동차를 판별하는 알고리즘 등이 알려져 있다.
이러한 객체의 특성이나 형상을 추출하는 알고리즘은 외부 환경, 대상 물체의 외형, 그리고 시스템 구성에 따라 제한적인 검출율을 보여주며, 여러 번의 영상처리를 거쳐 자동차를 판단하므로 연산되는 데이터의 양이 큰 문제점이 있다.
또 다른 비전 센서를 이용한 자동차의 검출 방법으로는 옵티컬 플로우(optical flow) 기법이 있는데, 영상 픽셀의 움직임을 모션 벡터로 표현하는 방법이다. 그러나, 옵티컬 플로우 기법을 이용한 자동차 인식 알고리즘은 배경의 움직임과 영상 노이즈에 큰 영향을 받으며, 연산 처리량이 매우 많기 때문에 실시간 자동차의 검출이 쉽지 않은 문제점이 있다.
또한, 비전 센서를 이용한 종래의 블라인드 스팟 모니터 시스템은 자동차의 주행 환경 및 다른 자동차의 주행 환경을 고려하지 않고 블라인드 스팟에 다른 자동차가 위치하면 경고하여 줌으로써 자동차의 주행 환경에 따라 오작동을 하는 등의 문제점이 있다.
일 예로, 커브진 주행 도로에서 같은 차선의 후방에서 다른 자동차가 주행하는 경우 비전 센서를 통해 확인되는 다른 자동차의 위치가 자동차의 블라인드 스팟에 위치하는 것으로 검출되거나, 바로 옆의 반대 차선으로 주행하는 다른 자동차도 자동차의 블라인드 스팟에 위치하는 것으로 검출되는 등의 문제점이 있었다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 블라인드 스팟에 위치하는 요주의 자동차를 용이하게 검출할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명은 자동차의 주변 환경에 관계없이 블라인드 스팟에 위치하는 요주의 자동차를 검출할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 블라인드 스팟에 위치하는 요주의 자동차를 검출하기 위한 연산되는 데이터의 양이 적은 알고리즘을 제공하는 것을 또 다른 목적으로 한다.
본 발명은 배경의 움직임과 영상 노이즈의 영향을 받지 않으며 블라인드 스팟에 위치하는 요주의 자동차를 실시간으로 검출할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 컨벌루셔널 뉴럴 네트워크(CNN) 알고리즘을 이용하여 블라인드 스팟에 위치하는 요주의 자동차를 정확하게 검출할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 자동차 및 다른 자동차의 주행 환경에 대응하여 블라인드 스팟에 위치하는 요주의 자동차를 정확하게 검출할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 실시예에 따르면, 자동차의 블라인드 스팟을 모니터링하는 방법에 있어서, (a) 기준 자동차의 운행 중, 상기 기준 자동차로부터 촬영된 후방 영상 이미지가 획득되면, 블라인드 스팟 모니터는, 상기 후방 영상 이미지로부터 적어도 하나의 피처 맵(feature map)을 획득하는 단계; (b) 상기 블라인드 스팟 모니터는, (i) 상기 후방 영상 이미지에 위치하는 적어도 하나의 오브젝트(object)들에 대응하는 m개의 프로포잘 박스(proposal box)를 획득하고, (ii) 상기 피처 맵의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)들을 획득하며, (iii) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 피처 벡터들을 제1 FC layer에 각각 입력하여 (iii-1) 상기 오브젝트가 관찰 대상 자동차인지 여부를 확인하기 위한 제1 클래시피케이션(classification) 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제1 클래스 별 제1 클래시피케이션 스코어들을 획득하고, (iii-2) 상기 오브젝트의 포즈(pose)를 확인하기 위한 제2 클래시피케이션 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제2 클래스 별 제2 클래시피케이션 스코어들을 획득하는 단계; 및 (c) 상기 블라인드 스팟 모니터는, (i) 상기 제1 클래스 별 제1 클래시피케이션 스코어들을 참조하여 상기 m개의 프로포잘 박스 중 상기 오브젝트가 상기 관찰 대상 자동차로 판단된 n개의 프로포잘 박스를 결정하고, (ii) 상기 n개의 프로포잘 박스 각각에 대응하는 리그레션 정보들을 이용하여 상기 n개의 프로포잘 박스 각각에 대응하는 n개의 검출 바운딩 박스를 획득하며, (iii) 상기 제2 클래스별 상기 제2 클래시피케이션 스코어를 참조하여 상기 n개의 검출 바운딩 박스 각각에 대응하는 상기 관찰 대상 자동차의 포즈를 결정하고, (iv) 상기 n개의 검출 바운딩 박스와 상기 관찰 대상 자동차의 포즈를 참조하여 상기 기준 자동차의 블라인드 스팟에 요주의 자동차가 위치하는지 여부를 판단하는 단계; 를 포함하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, 상기 m개의 프로포잘 박스 각각에 대응하는 상기 각각의 피처 벡터들을 제2 FC 레이어로 입력하여, (iii-3) 상기 제2 FC 레이어를 통해 상기 피처 벡터들을 리그레션 연산하여 상기 m개의 프로포잘 박스 각각에 대응하는 상기 제1 클래스 별 리그레션 정보들을 추가적으로 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, (d) 상기 기준 자동차의 블라인드 스팟에 상기 요주의 자동차가 위치한 것으로 판단될 경우, 상기 블라인드 스팟 모니터는, 상기 블라인드 스팟에 상기 요주의 자동차가 위치한 정보를 상기 기준 자동차의 컨트롤 유닛에 전송함으로써 상기 컨트롤 유닛으로 하여금 상기 요주의 자동차가 위치하는 상기 블라인드 스팟 방향으로 상기 기준 자동차가 차선을 변경하는 것을 방지하도록 지원하는 단계;를 더 포함하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, (i) 상기 n개의 검출 바운딩 박스 중 상기 기준 자동차의 상기 블라인드 스팟에 위치하는 k개의 검출 바운딩 박스를 결정하며, (ii) 상기 k개의 검출 바운딩 박스 중 상기 관찰 대상 자동차의 포즈가 상기 기준 자동차의 주행 방향에 대응될 경우, 상기 블라인드 스팟에 상기 요주의 자동차가 있는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 또는 우측 정면 방향일 경우, 상기 관찰 대상 자동차가 상기 기준 자동차와 동일한 방향으로 주행하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, (i) 제1 조건 - 상기 제1 조건은 상기 k개의 검출 바운딩 박스 중 제1 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 좌측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 방향인 경우임 - 을 만족하거나, (ii) 제2 조건 - 상기 제2 조건은 상기 k개의 검출 바운딩 박스 중 제2 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 우측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 우측 정면 방향인 경우임 - 을 만족하면, 상기 블라인드 스팟 모니터는, 상기 요주의 자동차가 상기 기준 자동차의 상기 블라인드 스팟에 위치하지 않는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, (i) 상기 n개의 검출 바운딩 박스 각각이 서로 중첩되는 비율인 제1 중첩 비율들을 계산하며, (ii) 상기 제1 중첩 비율들 중 제1 임계값 이상인 것으로 확인되는 제1 중첩 비율을 가지는 특정 검출 바운딩 박스들이 동일한 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, (iii) 상기 특정 검출 바운딩 박스들 중 대응되는 상기 프로포잘 박스와 중첩되는 비율인 제2 중첩 비율들을 계산하며, (iv) 상기 제2 중첩 비율 중 최대 비율을 가지는 소정의 검출 바운딩 박스를 하나의 동일한 관찰 대상 자동차에 대한 검출 바운딩 박스로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, (i) 상기 n개의 검출 바운딩 박스 각각이 서로 중첩되는 비율인 제1 중첩 비율들을 계산하며, (ii) 상기 제1 중첩 비율들 중 제2 임계값 미만인 것으로 확인되는 상기 제1 중첩 비율을 가지는 검출 바운딩 박스들이 서로 다른 상기 관찰 대상 자동차에 대한 검출 바운딩 박스인 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, 상기 후방 영상 이미지를 컨볼루션하여 상기 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, 상기 컨볼루션을 수행할 경우, 패드를 0으로 설정한 상태에서 기설정된 스트라이드로 필터를 이동시키며, 상기 후방 영상 이미지를 컨볼루션하거나, 이전에 컨볼루션된 피처 맵을 컨볼루션하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, 상기 후방 영상 이미지에서 상기 블라인드 스팟에 대응되는 이미지를 컨볼루션하여 상기 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 본 발명의 일 실시예에 따르면, 자동차의 블라인드 스팟을 모니터링하는 장치에 있어서, 기준 자동차의 운행 중, 상기 기준 자동차에서 촬영된 후방 영상 이미지 또는 상기 후방 영상 이미지와 대응되는 적어도 하나의 피처 맵(feature map)을 획득하는 통신부; 및 (i) 상기 통신부로부터 획득된 피처 맵 또는 상기 통신부로부터 획득된 상기 후방 영상 이미지에 적어도 하나의 컨볼루션 연산을 적용하여 계산된 피처 맵을 사용하여 상기 후방 영상 이미지에 위치하는 적어도 하나의 오브젝트(object)들에 대응하는 m개의 프로포잘 박스(proposal box)를 획득하는 프로세스; (ii) 상기 피처 맵의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)들을 획득하는 프로세스; (iii) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 피처 벡터들을 제1 FC layer에 각각 입력하여 (iii-1) 상기 오브젝트가 관찰 대상 자동차인지 여부를 확인하기 위한 제1 클래시피케이션(classification) 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제1 클래스 별 제1 클래시피케이션 스코어들을 획득하고, (iii-2) 상기 오브젝트의 포즈(pose)를 확인하기 위한 제2 클래시피케이션 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제2 클래스 별 제2 클래시피케이션 스코어들을 획득하는 프로세스; (iv) 상기 제1 클래스 별 제1 클래시피케이션 스코어들을 참조하여 상기 m개의 프로포잘 박스 중 상기 오브젝트가 상기 관찰 대상 자동차로 판단된 n개의 프로포잘 박스를 결정하는 프로세스; (v) 상기 n개의 프로포잘 박스 각각에 대응하는 리그레션 정보들을 이용하여 상기 n개의 프로포잘 박스 각각에 대응하는 n개의 검출 바운딩 박스를 획득하는 프로세스; (vi) 상기 제2 클래스별 상기 제2 클래시피케이션 스코어를 참조하여 상기 n개의 검출 바운딩 박스 각각에 대응하는 상기 관찰 대상 자동차의 포즈를 결정하는 프로세스; 및 (vii) 상기 n개의 검출 바운딩 박스와 상기 관찰 대상 자동차의 포즈를 참조하여 상기 기준 자동차의 블라인드 스팟에 요주의 자동차가 위치하는지 여부를 판단하는 프로세스; 를 수행하는 프로세서; 를 포함하는 자동차의 블라인드 스팟 모니터가 제공된다.
상기 일 실시예에 따르면, 상기 (iii) 프로세스에서, 상기 m개의 프로포잘 박스 각각에 대응하는 상기 각각의 피처 벡터들을 제2 FC 레이어로 입력하여, (iii-3) 상기 제2 FC 레이어를 통해 상기 피처 벡터들을 리그레션 연산하여 상기 m개의 프로포잘 박스 각각에 대응하는 상기 제1 클래스 별 리그레션 정보들을 추가적으로 획득하는 프로세스를 더 수행하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 기준 자동차의 블라인드 스팟에 상기 요주의 자동차가 위치한 것으로 판단될 경우, 상기 블라인드 스팟에 상기 관찰 대상 자동차가 위치한 정보를 상기 기준 자동차의 컨트롤 유닛에 전송함으로써 상기 컨트롤 유닛으로 하여금 상기 요주의 자동차가 위치하는 상기 블라인드 스팟 방향으로 상기 기준 자동차가 차선을 변경하는 것을 방지하도록 지원하는 프로세스;를 더 수행하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 (vi) 및 (vii) 프로세스에서, 상기 n개의 검출 바운딩 박스 중 상기 기준 자동차의 상기 블라인드 스팟에 위치하는 k개의 검출 바운딩 박스를 결정하며, 상기 k개의 검출 바운딩 박스 중 상기 관찰 대상 자동차의 포즈가 상기 기준 자동차의 주행 방향에 대응될 경우, 상기 블라인드 스팟에 상기 요주의 자동차가 있는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 또는 우측 정면 방향일 경우 상기 관찰 대상 자동차가 상기 기준 자동차와 동일한 방향으로 주행하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, (i) 제1 조건 - 상기 제1 조건은 상기 k개의 검출 바운딩 박스 중 제1 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 좌측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 방향인 경우임 - 을 만족하거나, (ii) 제2 조건 - 상기 제2 조건은 상기 k개의 검출 바운딩 박스 중 제2 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 우측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 우측 정면 방향인 경우임 - 을 만족하면, 상기 요주의 자동차가 상기 기준 자동차의 상기 블라인드 스팟에 위치하지 않는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 (v) 및 (vi) 프로세스에서, 상기 n개의 검출 바운딩 박스 각각이 서로 중첩되는 비율인 제1 중첩 비율들을 계산하며, 상기 제1 중첩 비율들 중 제1 임계값 이상인 것으로 확인되는 제1 중첩 비율을 가지는 특정 검출 바운딩 박스들이 동일한 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, 상기 특정 검출 바운딩 박스들 중 대응되는 상기 프로포잘 박스와 중첩되는 비율인 제2 중첩 비율들을 계산하며, 상기 제2 중첩 비율 중 최대 비율을 가지는 소정의 검출 바운딩 박스를 하나의 동일한 관찰 대상 자동차에 대한 검출 바운딩 박스로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 (v) 프로세스에서, 상기 n개의 검출 바운딩 박스 각각이 서로 중첩되는 비율인 제1 중첩 비율들을 계산하며, 상기 제1 중첩 비율들 중 제2 임계값 미만인 것으로 확인되는 상기 제1 중첩 비율을 가지는 검출 바운딩 박스들이 서로 다른 상기 관찰 대상 자동차에 대한 검출 바운딩 박스인 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 후방 영상 이미지를 컨볼루션하여 상기 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 컨볼루션을 수행할 경우, 패드를 0으로 설정한 상태에서 기설정된 스트라이드로 필터를 이동시키며, 상기 후방 영상 이미지를 컨볼루션하거나, 이전에 컨볼루션된 피처 맵을 컨볼루션하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 후방 영상 이미지에서 상기 블라인드 스팟에 대응되는 이미지를 컨볼루션하여 상기 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 본 발명의 다른 실시예에 따르면, 자동차의 블라인드 스팟을 모니터링하는 방법에 있어서, (a) 기준 자동차의 운행 중, 상기 기준 자동차로부터 촬영된 후방 영상 이미지가 획득되면, 블라인드 스팟 모니터는, 상기 후방 영상 이미지로부터 적어도 하나의 피처 맵(feature map)을 획득하는 단계; (b) 상기 블라인드 스팟 모니터는, (i) 상기 후방 영상 이미지에 위치하는 오브젝트(object)들에 대응하는 m개의 프로포잘 박스(proposal box)를 획득하고, (ii) 상기 피처 맵의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)들을 획득하며, (iii) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 피처 벡터들을 FC layer에 각각 입력하여 (iii-1) 상기 오브젝트가 관찰 대상 자동차인지 여부를 확인하기 위한 제1 클래시피케이션(classification) 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제1 클래스 별 제1 클래시피케이션 스코어들을 획득하고, (iii-2) 상기 오브젝트의 포즈(pose)를 확인하기 위한 제2 클래시피케이션 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제2 클래스 별 제2 클래시피케이션 스코어들을 획득하는 단계; 및 (c) 상기 블라인드 스팟 모니터는, (i) 상기 제1 클래스 별 제1 클래시피케이션 스코어를 참조하여 상기 m개의 프로포잘 박스 중 상기 오브젝트가 상기 관찰 대상 자동차로 판단된 특정 프로포잘 박스들을 결정하고, (ii) 상기 제2 클래스 별 제2 클래시피케이션 스코어를 참조하여 상기 관찰 대상 자동차로 판단된 상기 특정 프로포잘 박스들 중 적어도 하나의 특정 관찰 대상 자동차의 포즈가 상기 기준 자동차의 주행 방향에 대응되는 i개의 프로포잘 박스를 결정하고, (iii) 상기 i개의 프로포잘 박스 각각에 대응하는 리그레션 정보들을 이용하여 상기 i개의 프로포잘 박스 각각에 대응하는 i개의 검출 바운딩 박스를 획득하며, (iv) 상기 i개의 검출 바운딩 박스 중 상기 기준 자동차의 블라인드 스팟에 위치하는 검출 바운딩 박스가 있는지를 판단함으로써 상기 블라인드 스팟에 요주의 자동차가 위치하는지를 판단하는 단계; 를 포함하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
상기 다른 실시예에 따르면, 상기 블라인드 스팟 모니터는, 상기 m개의 프로포잘 박스 각각에 대응하는 상기 각각의 피처 벡터들을 상기 FC 레이어로 입력하여, (iii-3) 상기 FC 레이어를 통해 상기 피처 벡터들을 리그레션 연산하여 상기 m개의 프로포잘 박스 각각에 대응하는 상기 제1 클래스 별 리그레션 정보들을 추가적으로 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 다른 실시예에 따르면, 상기 블라인드 스팟 모니터는, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 또는 우측 정면 방향일 경우 상기 관찰 대상 자동차가 상기 기준 자동차와 동일한 방향으로 주행하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 다른 실시예에 따르면, 상기 블라인드 스팟 모니터는, (i) 제1 조건 - 상기 제1 조건은 상기 i개의 검출 바운딩 박스 중 제1 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 좌측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 방향인 경우임 - 을 만족하거나, (ii) 제2 조건 - 상기 제2 조건은 상기 i개의 검출 바운딩 박스 중 제2 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 우측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 우측 정면 방향인 경우임 - 을 만족하면, 상기 블라인드 스팟 모니터는, 상기 요주의 자동차가 상기 기준 자동차의 상기 블라인드 스팟에 위치하지 않는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 본 발명의 다른 실시예에 따르면, 자동차의 블라인드 스팟을 모니터링하는 장치에 있어서, 기준 자동차의 운행 중, 상기 기준 자동차에서 촬영된 후방 영상 이미지 또는 상기 후방 영상 이미지와 대응되는 적어도 하나의 피처 맵(feature map)을 획득하는 통신부; 및 (i) 상기 통신부로부터 획득된 피처 맵 또는 상기 통신부로부터 획득된 상기 후방 영상 이미지에 적어도 하나의 컨볼루션 연산을 적용하여 계산된 피처 맵을 사용하여 상기 후방 영상 이미지에 위치하는 적어도 하나의 오브젝트(object)들에 대응하는 m개의 프로포잘 박스(proposal box)를 획득하는 프로세스; (ii) 상기 피처 맵의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)들을 획득하며, 상기 m개의 프로포잘 박스 각각에 대응하는 상기 피처 벡터들을 FC layer에 각각 입력하여 (iii-1) 상기 오브젝트가 관찰 대상 자동차인지 여부를 확인하기 위한 제1 클래시피케이션(classification) 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제1 클래스 별 제1 클래시피케이션 스코어들을 획득하고, (iii-2) 상기 오브젝트의 포즈(pose)를 확인하기 위한 제2 클래시피케이션 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제2 클래스 별 제2 클래시피케이션 스코어들을 획득하는 프로세스; (iv) 상기 제1 클래스 별 제1 클래시피케이션 스코어를 참조하여 상기 m개의 프로포잘 박스 중 상기 오브젝트가 상기 관찰 대상 자동차로 판단된 특정 프로포잘 박스들을 결정하는 프로세스; (v) 상기 제2 클래스 별 제2 클래시피케이션 스코어를 참조하여 상기 관찰 대상 자동차로 판단된 상기 특정 프로포잘 박스들 중 적어도 하나의 특정 관찰 대상 자동차의 포즈가 상기 기준 자동차의 주행 방향에 대응되는 i개의 프로포잘 박스를 결정하는 프로세스; (vi) 상기 i개의 프로포잘 박스 각각에 대응하는 리그레션 정보들을 이용하여 상기 i개의 프로포잘 박스 각각에 대응하는 i개의 검출 바운딩 박스를 획득하는 프로세스; 및 (vii) 상기 i개의 검출 바운딩 박스 중 상기 기준 자동차의 블라인드 스팟에 위치하는 검출 바운딩 박스가 있는지를 판단함으로써 상기 블라인드 스팟에 요주의 자동차가 위치하는지를 판단하는 프로세스; 를 수행하는 프로세서; 를 포함하는 자동차의 블라인드 스팟 모니터가 제공된다.
상기 다른 실시예에 따르면, 상기 (iii) 프로세스에서, 상기 m개의 프로포잘 박스 각각에 대응하는 상기 각각의 피처 벡터들을 상기 FC 레이어로 입력하여, (iii-3) 상기 FC 레이어를 통해 상기 피처 벡터들을 리그레션 연산하여 상기 m개의 프로포잘 박스 각각에 대응하는 상기 제1 클래스 별 리그레션 정보들을 추가적으로 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 다른 실시예에 따르면, 상기 (v) 프로세스에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 또는 우측 정면 방향일 경우 상기 관찰 대상 자동차가 상기 기준 자동차와 동일한 방향으로 주행하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 다른 실시예에 따르면, 제1 조건 - 상기 제1 조건은 상기 i개의 검출 바운딩 박스 중 제1 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 좌측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 방향인 경우임 - 을 만족하거나, 제2 조건 - 상기 제2 조건은 상기 i개의 검출 바운딩 박스 중 제2 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 우측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 우측 정면 방향인 경우임 - 을 만족하면, 상기 요주의 자동차가 상기 기준 자동차의 상기 블라인드 스팟에 위치하지 않는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 컨벌루셔널 뉴럴 네트워크(CNN) 알고리즘을 이용하여 블라인드 스팟에 위치하는 요주의 자동차를 정확하게 검출할 수 있게 된다.
또한, 본 발명은 자동차의 주변 환경에 관계없이 블라인드 스팟에 위치하는 요주의 자동차를 정확하게 검출할 수 있게 된다.
또한, 본 발명은 배경의 움직임과 영상 노이즈의 영향을 받지 않으며 블라인드 스팟에 위치하는 요주의 자동차를 실시간으로 적은 연산을 통해 검출할 수 있게 된다.
또한, 본 발명은 자동차 및 주변 자동차의 주행 환경에 대응하여 블라인드 스팟에 위치하는 요주의 자동차를 정확하게 검출할 수 있게 된다.
또한, 본 발명은 반대 방향의 차선에 있는 차량을 필터링하여 많은 연산과 부정확한 결과를 초래하는 종래 방법과는 달리, 차량 검출 및 포즈 클래시피케이션을 동시에 수행할 수 있는 검출 네트워크를 사용하여 차선 검출이 필요없는 반대 방향의 차선을 최소한의 연산으로 필터링할 수 있게 된다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 블라인드 스팟 모니터링 시스템을 개략적으로 도시한 블록 다이아그램이고,
도 2는 본 발명의 일 실시예에 따른 블라인드 스팟 모니터 시스템이 포함된 자동차를 개략적으로 도시한 것이고,
도 3은 본 발명의 일 실시예에 따른 블라인드 스팟 모니터링을 수행하는 convolutional neural network의 블록 다이아그램을 개략적으로 도시한 것이고,
도 4는 본 발명의 일 실시예에 따른 블라인드 스팟 모니터링 방법을 개략적으로 도시한 블록 다이아그램이고,
도 5는 본 발명의 일 실시예에 따른 블라인드 스팟 모니터링에서 관찰 대상 자동차의 포즈에 대한 클래스를 개략적으로 도시한 것이고,
도 6은 본 발명의 일 실시예에 따라 블라인드 스팟을 모니터링하는 상태를 예시적으로 도시한 것이고,
도 7a 및 도 7b는 본 발명의 일 실시예에 따라 기준 자동차의 주행 환경에 대응하여 블라인드 스팟을 모니터링하는 상태를 예시적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
먼저, 도 1은 본 발명의 일 실시예에 따른 블라인드 스팟 모니터링 시스템을 개략적으로 도시한 블록 다이아그램으로, 도 1을 참조하면, 블라인드 스팟 모니터링 시스템은 블라인드 스팟 모니터(100)와 기준 자동차(200)를 포함할 수 있다. 참고로, 블라인드 스팟 모니터(100)는 기준 자동차(200)에 탑재되어 있는 것으로 상정할 수도 있으나, 이에 한정되는 것은 아니다. 또한, 도 1을 참조하면, 비전 센서(10), 가령 카메라가 블라인드 스팟 모니터(100)와 통신하는 것으로 도시하였지만, 블라인드 스팟 모니터(100)에 포함되어 있을 수도 있고, 기준 자동차(200)에 포함되어 있을 수도 있다.
먼저, 블라인드 스팟 모니터(100)는 기준 자동차(200)의 블라인드 스팟에 위치하거나 근접하는 관찰 대상 자동차를 검출하는 것으로, 비전 센서(10), 일 예로, 카메라 등으로부터 획득되는 기준 자동차(200)에서 촬영된 적어도 하나의 후방 영상 이미지를 분석하여 기준 자동차(200)의 블라인드 스팟에 요주의 자동차가 위치하는지 여부를 판별하여 줄 수 있다.
그리고, 기준 자동차(200)는 블라인드 스팟 모니터(100)로부터 전송되는 정보와 스티어링 시스템의 정보를 참조하여 요주의 자동차가 위치하는 블라인드 스팟 방향으로 자동차가 차선을 변경하는 것을 방지하거나 알람 시스템을 통해 운전자가 블라인드 스팟에 요주의 자동차가 위치하는 것을 인지할 수 있도록 할 수 있다. 특히, 기준 자동차(200)가 자율 주행 자동차일 경우, 블라인드 스팟 모니터(100)로부터 수신되는 블라인드 스팟에 위치하는 요주의 자동차의 정보와 주행 환경을 참조하여 자율 주행 중 차선의 변경 여부를 판단할 수 있게 된다.
또한, 블라인드 스팟 모니터(100)는 기준 자동차(200)의 운행 중, 카메라 등의 비전 센서(10)에 의해 촬영된 기준 자동차(200)에서의 후방 영상 이미지를 획득하는 통신부(110)와, 획득된 후방 영상 이미지를 분석하여 기준 자동차(200)의 블라인드 스팟에 요주의 자동차가 위치하는지 여부를 판단하는 프로세서(120)를 포함할 수 있다. 이때, 비전 센서(10)는, 도 2에서 알 수 있는 바와 같이, 기준 자동차(200)의 임의의 위치에 설치되어 기준 자동차(200)의 후방 영상을 촬영하는 것으로, CCD(charge coupled device), CMOS(complementary metal oxide semiconductor), 또는 이미지 캡처 소자 등의 광학 센서를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(120)는 (i) 획득된 후방 영상 이미지로부터 적어도 하나의 피처 맵을 획득하고, (ii) 후방 영상 이미지에 위치하는 적어도 하나의 오브젝트들에 대응하는 m개의 프로포잘 박스를 획득하며, (iii) 피처 맵의 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하고, (iv) m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)를 획득한다. 또한, 프로세서(120)는 m개의 프로포잘 박스 각각에 대응하는 피처 벡터를 제1 FC layer에 각각 입력하여 (i) 오브젝트가 관찰 대상 자동차인지 여부를 확인하기 위한 제1 클래시피케이션(classification) 연산을 통해 m개의 프로포잘 박스 각각에 대응하는 제1 클래스 별 제1 클래시피케이션 스코어들을 획득하고, (ii) 오브젝트의 포즈(pose)를 확인하기 위한 제2 클래시피케이션 연산을 통해 m개의 프로포잘 박스 각각에 대응하는 제2 클래스 별 제2 클래시피케이션 스코어들을 획득한다. 이후, 프로세서(120)는 (i) 제1 클래스 별 제1 클래시피케이션 스코어들을 참조하여 m개의 프로포잘 박스 중 오브젝트가 관찰 대상 자동차로 판단된 n개의 프로포잘 박스를 결정하고, (ii) n개의 프로포잘 박스 각각에 대응하는 리그레션 정보들을 이용하여 n개의 프로포잘 박스 각각에 대응하는 n개의 검출 바운딩 박스를 획득하며, (iii) 제2 클래스별 상기 제2 클래시피케이션 스코어를 참조하여 n개의 검출 바운딩 박스 각각에 대응하는 관찰 대상 자동차의 포즈를 결정하고, (iv) n개의 검출 바운딩 박스와 관찰 대상 자동차의 포즈를 참조하여 기준 자동차(200)의 블라인드 스팟에 요주의 자동차가 위치하는지 여부를 판단한다.
즉, n개의 검출 바운딩 박스 중 적어도 일부와 관찰 대상 자동차의 포즈를 참조로 하여, 블라인드 스팟에 있는 관찰 대상 자동차를 요주의 자동차로 분류할지 여부를 결정할 수 있다. 여기서, 클래스의 제1 종류는 검출된 오브젝트가 무엇인지 결정하는데 사용될 수 있다. 예를 들어, 클래스의 제1 종류는 자동차 클래스, 보행자 클래스, 오토바이 클래스, 강아지 클래스 등을 포함할 수 있다. 또한, 자동차에 대한 리그레션 정보는 클래스의 제1 종류 내의 자동차 클래스에 대응하는 정보일 수 있다.
이와 같이 구성된 본 발명의 일 실시예에 따른 블라인드 스팟 모니터링 시스템에서 블라인드 스팟에 요주의 자동차가 위치하는지 여부를 모니터링 하는 방법을 도 3 및 도 4를 참조하여 보다 상세하게 설명하면 다음과 같다.
먼저, 도 3을 참조하면, 기준 자동차(200)의 운행 중, 기준 자동차(200)에 설치된 비전 센서(10)가 기준 자동차(200)의 후방을 촬영하여 후방 영상 이미지를 전송하면, 블라인드 스팟 모니터(100)의 통신부(110)가 비전 센서(10)로부터 전송되는 기준 자동차(200)의 후방 영상 이미지를 획득하게 되며(S10), 블라인드 스팟 모니터(100)의 프로세서(120)는 통신부(100)를 통해 획득된 후방 영상 이미지로부터 피처 맵(feature map)을 획득한다.
일 예로, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) 후방 영상 이미지를 컨볼루션 레이어에 입력하여 적어도 하나의 후방 영상 이미지를 컨볼루션하고, (ii) 컨볼루션 레이어를 통해 피처 맵을 획득한다(S21).
이때, 블라인드 스팟 모니터(100)의 프로세서(120)는 후방 영상 이미지를 컨볼루션할 경우, 패드를 0으로 설정한 상태에서 기설정된 스트라이드로 필터를 이동시키면서 후방 영상 이미지 또는 이로부터 획득된 피처 맵을 컨볼루션할 수 있다. 즉, 프로세서(120)는 후방 영상 이미지 또는 이로부터 획득된 피처 맵을 컨볼루션하여 후방 영상 이미지 또는 이로부터 획득된 피처 맵의 크기를 축소하며, 컨볼루션을 다중으로 수행하여 기설정된 크기의 피처 맵을 획득할 수 있다. 이와는 달리, 블라인드 스팟 모니터(100)의 프로세서(120)는 패드를 특정값으로 설정한 상태에서 (i) 컨볼루션을 수행하여 후방 영상 이미지와 같은 크기의 적어도 하나의 피처 맵을 획득하고, (ii) 획득된 피처맵을 풀링하여 피처 맵을 다운 사이징하며, (iii) 컨볼루션과 풀링을 반복하여 후방 영상 이미지로부터 적어도 하나의 기설정된 크기의 피처 맵을 생성할 수도 있다.
참고로, 블라인드 스팟 모니터(100)의 프로세서(120)는 컨볼루션 레이어를 이용한 컨볼루션을 수행함에 있어서, 비전 센서(10)로부터 획득된 후방 영상 이미지 전체에 대해 컨볼루션을 수행하거나, 비전 센서(10)로부터 획득된 후방 영상 이미지 중 블라인드 스팟으로 설정된 영역에 대응되는 이미지만을 컨볼루션하여 피처 맵을 획득할 수 있다.
블라인드 스팟 모니터(100)의 프로세서(120)는 후방 영상 이미지에 위치하는 오브젝트(object)들에 대응하는 m개의 프로포잘 박스(proposal box)를 획득할 수 있다. 일 예로, 블라인드 스팟 모니터(100)의 프로세서(120)는 피처 맵을 RPN(region proposal network)에 입력하여 후방 영상 이미지에 위치하는 오브젝트들에 대응되는 m개의 프로포잘 박스들을 획득할 수 있다(S22).
이후, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) 피처 맵의 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여, (ii) m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)를 획득할 수 있다.(S23)
일 예로, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) 피처 맵 중 m개의 프로포잘 박스에 대응하는 각각의 영역에 해당하는 피처 맵을 ROI(region of interesting) 풀링 레이어에 입력하고, (ii) 피처 맵의 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 맥스 풀링하거나 에버리지 풀링하여 m개의 프로포잘 박스 각각에 대응하는 피처 벡터들을 획득할 수 있다.
그리고, 블라인드 스팟 모니터(100)의 프로세서(120)는 m개의 프로포잘 박스 각각에 대응하는 피처 벡터들을 제1 FC(fully connected) layer에 각각 입력하며(S24), 제1 FC layer 에서의 오브젝트가 관찰 대상 자동차인지 여부를 확인하기 위한 제1 클래시피케이션(classification) 연산을 통해 m개의 프로포잘 박스 각각에 대응하는 제1 클래스 별 제1 클래시피케이션 스코어들을 획득한다(S25).
또한, 블라인드 스팟 모니터(100)의 프로세서(120)는 제2 클래스 별 제2 클래시피케이션 스코어들을 획득한다(S27). 이때, 제2 클래스는 검출되는 관찰 자동차의 포즈를 판별하기 위한 것으로, 기준 자동차(200)에서 바라본 관찰 대상 자동차의 모습일 수 있다.
일 예로, 제2 클래스는 도 5와 같이 나타낼 수 있으며, 도 5의 (a)는 기준 자동차(200)에서 바라본 관찰 대상 자동차의 모습이 관찰 대상 자동차의 후면 방향인 상태를 나타낸 것이며, 도 5의 (b)는 기준 자동차(200)에서 바라본 관찰 대상 자동차의 모습이 관찰 대상 자동차의 우측 후면 방향인 상태를 나타낸 것이며, 도 5의 (c)는 기준 자동차(200)에서 바라본 관찰 대상 자동차의 모습이 관찰 대상 자동차의 우측면 방향인 상태를 나타낸 것이며, 도 5의 (d)는 기준 자동차(200)에서 바라본 관찰 대상 자동차의 모습이 관찰 대상 자동차의 우측 정면 방향인 상태를 나타낸 것이며, 도 5의 (e)는 기준 자동차(200)에서 바라본 관찰 대상 자동차의 모습이 관찰 대상 자동차의 정면 방향인 상태를 나타낸 것이며, 도 5의 (f)는 기준 자동차(200)에서 바라본 관찰 대상 자동차의 모습이 관찰 대상 자동차의 좌측 정면 방향인 상태를 나타낸 것이며, 도 5의 (g)는 기준 자동차(200)에서 바라본 관찰 대상 자동차의 모습이 관찰 대상 자동차의 좌측면 방향인 상태를 나타낸 것이며, 도 5의 (h)는 기준 자동차(200)에서 바라본 관찰 대상 자동차의 모습이 관찰 대상 자동차의 좌측 후면 방향인 상태를 나타낸 것이다.
이에 더하여, 블라인드 스팟 모니터(100)의 프로세서(120)는 제2 FC layer에서 피처 벡터들을 리그레션 연산하여 m개의 프로포잘 박스 각각에 대응하는 제1 클래스 별 리그레션 정보를 추가적으로 획득할 수 있다(S26).
다음으로, 도 4를 참조하면, 블라인드 스팟 모니터(100)의 프로세서(120)는 도 3에서와 같이 관찰 대상 자동차를 검출하기 위한 제1 클래시피케이션 스코어와 리그레션 정보, 및 관찰 대상 자동차의 포즈를 결정하기 위한 제2 클래시피케이션 정보를 획득(S200)한 상태에서, (i) 제1 클래시피케이션 스코어들과 박스 리그레션 정보들을 참조하여 기준 자동차(200)의 블라인드 스팟에 위치하는 관찰 대상 자동차를 결정하며(S300), (ii) 제2 클래시피케이션 정보로부터 결정된 기준 자동차(200)의 블라인드 스팟에 위치하는 관찰 대상 자동차의 포즈를 참조하여 기준 자동차의 블라인드 스팟에 요주의 자동차가 위치하는지 여부를 결정한다(S400).
이를 구체적으로 설명하면, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) 제1 클래스 별 제1 클래시피케이션 스코어들을 참조하여 m개의 프로포잘 박스 중 오브젝트가 관찰 대상 자동차로 판단된 n개의 프로포잘 박스를 결정하고, (ii) n개의 프로포잘 박스 각각에 대응하는 리그레션 정보들을 이용하여 n개의 프로포잘 박스 각각에 대응하는 n개의 검출 바운딩 박스를 획득함으로써 (iii) 후방 영상 이미지 내에 위치하는 관찰 대상 자동차들을 검출할 수 있게 된다.
또한, 구체적으로, S300 에서, 블라인드 스팟 모니터(100)의 프로세서(120)는 기준 자동차(200)의 후방 영상 이미지 내에 위치하는 관찰 대상 자동차들에 대응되는 n개의 검출 바운딩 박스 중 기준 자동차(200)의 블라인드 스팟에 위치하는 k개의 검출 바운딩 박스를 결정한다. 그리고, S400 에서, 블라인드 스팟 모니터(100)의 프로세서(120)는 기준 자동차(200)의 블라인드 스팟에 위치하는 관찰 대상 자동차들에 대응되는 k개의 검출 바운딩 박스 중 관찰 대상 자동차의 포즈가 기준 자동차(200)의 주행 방향에 대응되는 검출 바운딩 박스가 있을 경우 이를 요주의 자동차로 판단할 수 있다(S400).
이를 도 6을 참조하여 좀 더 상세히 설명하면, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) 제1 클래시피케이션 스코어와 리그레션 정보를 참조하여 기준 자동차(200)의 블라인드 스팟에 위치하는 관찰 대상 자동차(310)(320)를 검출하며, (ii) 검출된 관찰 대상 자동차(310)(320)의 포즈를 확인할 수 있다. 예를 들어, 관찰 대상 자동차의 포즈가 도 5에서의 제2 클래스 중 (d), (e), (f)와 같이 정면 방향이거나, 좌측 정면 또는 우측 정면 방향일 경우 관찰 대상 자동차(310)가 기준 자동차(200)와 동일한 방향으로 주행하는 것으로 판단하여 관찰 대상 자동차(310)를 블라인드 스팟에 위치하는 요주의 자동차로 결정하게 된다. 이와는 달리, 관찰 대상 자동차(320)의 포즈가 도 5에서의 제2 클래스 중 (a), (b), (c), (g), (h)와 같이 후면 방향, 우측 후면 방향, 우측면 방향, 좌측면 방향, 좌측 후면일 경우 관찰 대상 자동차(320)가 기준 자동차(200)와 다른 방향으로 주행하는 것으로 판단하여 블라인드 스팟에 요주의 자동차가 위치하지 않는 것으로 결정하게 된다. 즉, 기준 자동차(200)의 주행 방향과 반대 방향으로 주행하는 관찰 대상 자동차는 블라인드 스팟에 위치하지만, 기준 자동차(200)의 주행 차선과 반대편의 주행 차선에 위치하는 것으로 판단하여 블라인드 스팟에 요주의 자동차가 위치하지 않는 것으로 판단할 수 있다.
또한, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) k개의 검출 바운딩 박스 중 제1 검출 바운딩 박스가 기준 자동차(200)의 진행 방향의 후방 좌측 영역에 형성되는 블라인드 스팟에 위치하는 것으로 판단된 상태에서, (ii) 기준 자동차(200)에서 바라본 관찰 대상 자동차의 모습이 관찰 대상 자동차의 정면 방향이거나 관찰 대상 자동차의 좌측 정면 방향일 경우, 요주의 자동차가 기준 자동차(200)의 블라인드 스팟에 위치하지 않는 것으로 판단할 수 있다. 그리고, (i) k개의 검출 바운딩 박스 중 제2 검출 바운딩 박스가 기준 자동차(200)의 진행 방향의 후방 우측 영역에 형성되는 블라인드 스팟에 위치하는 것으로 판단된 상태에서, (ii) 기준 자동차(200)에서 바라본 관찰 대상 자동차의 모습이 관찰 대상 자동차의 정면 방향이거나 관찰 대상 자동차의 우측 정면 방향일 경우, 요주의 자동차가 기준 자동차(200)의 블라인드 스팟에 위치하지 않는 것으로 판단할 수 있다.
즉, 도 7A에서와 같이, 기준 자동차(200)가 좌측으로 커브진 도로를 주행하며, 기준 자동차(200)와 같은 차선에서 기준 자동차(200)의 후미에 관찰 대상 자동차(300)가 주행할 경우, 기준 자동차(200)의 진행 방향의 후방 좌측 영역에 형성되는 블라인드 스팟에 관찰 대상 자동차(300)가 위치하는 것으로 검출될 수 있다. 하지만, 관찰 대상 자동차(300)의 포즈는 도 7B에서와 같이 도 5에서의 제2 클래스 중 (e), (f)에 대응되는 정면 방향이거나, 좌측 정면 방향으로 확인되므로 관찰 대상 자동차(300)는 요주의 자동차가 아닌 것으로 확인하고, 기준 자동차(200)의 좌측 방향 블라인드 스팟에 요주의 자동차가 위치하지 않는 것으로 판단함으로써 자동차의 주행 환경에 능동적으로 대응하여 블라인드 스팟에 위치하는 요주의 자동차를 검출할 수 있게 된다.
또한, 기준 자동차(200)가 우측으로 커브진 도로를 주행하며, 기준 자동차(200)와 같은 차선에서 기준 자동차(200)의 후미에 관찰 대상 자동차가 주행할 경우에도 같은 방법에 의해, 기준 자동차(200)의 진행 방향의 후방 우측 영역에 형성되는 블라인드 스팟에 관찰 대상 자동차가 위치하는 것으로 검출되지만, 관찰 대상 자동차의 포즈는 도 5에서의 제2 클래스 중 (d), (e)와 같이 우측 정면 방향이거나, 정면 방향으로 확인되므로 기준 자동차(200)의 우측 방향 블라인드 스팟에 요주의 자동차가 위치하지 않는 것으로 판단할 수 있다.
그리고, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) n개의 검출 바운딩 박스 각각이 서로 중첩되는 비율인 제1 중첩 비율을 계산하며, 제1 중첩 비율들 중 제1 임계값 이상인 것으로 확인되는 제1 중첩 비율을 가지는 특정 검출 바운딩 박스들이 동일한 관찰 대상 자동차에 대응되는 것으로 판단할 수 있으며, (ii) 상기 특정 검출 바운딩 박스들 중 대응되는 프로포잘 박스와 중첩되는 비율인 제2 중첩 비율들을 계산하며, 제2 중첩 비율 중 최대 비율을 가지는 소정의 검출 바운딩 박스를 하나의 동일한 관찰 대상 자동차에 대한 특정 검출 바운딩 박스로 판단할 수 있다.
일 예로, (i) 제1 검출 바운딩 박스와 제2 검출 바운딩 박스가 서로 중첩되는 비율인 제1 중첩 비율을 계산하며, (ii) 계산된 제1 중첩 비율이 제1 임계값 이상일 경우, 제1 검출 바운딩 박스와 제1 프로포잘 박스가 중첩되는 제2 중첩 비율과 제2 검출 바운딩 박스와 제2 프로포잘 박스가 중첩되는 제3 중첩 비율을 계산한다. 그리고, 계산된 제2 중첩 비율과 제3 중첩 비율을 비교하여 제2 중첩 비율이 클 경우, 관찰 자동차에 대한 검출 바운딩 박스는 제1 검출 바운딩 박스인 것으로 판단할 수 있다.
여기서, 상기 제1 중첩 비율은 상기 제1 검출 바운딩 박스와 상기 제2 검출 바운딩 박스의 교집합에 대응하는 영역을 상기 제1 검출 바운딩 박스와 상기 제2 검출 바운딩 박스의 합집합에 대응하는 영역으로 나누어 계산할 수 있다. 또한, 상기 제2 중첩 비율은 상기 제1 검출 바운딩 박스와 상기 제1 프로포잘 박스의 교집합에 대응하는 영역을 상기 제1 검출 바운딩 박스와 상기 제1 프로포잘 박스의 합집합에 대응하는 영역으로 나누어 계산할 수 있다. 또한, 상기 제3 중첩 비율은 제2 검출 바운딩 박스와 상기 제2 프로포잘 박스의 교집합에 대응하는 영역을 상기 제2 검출 바운딩 박스와 상기 제2 프로포잘 박스의 합집합에 대응하는 영역으로 나누어 계산할 수 있다.
이와는 달리, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) n개의 검출 바운딩 박스 각각이 서로 중첩되는 비율인 제1 중첩 비율들을 계산하며, (ii) 제1 중첩 비율들 중 제2 임계값 미만인 것으로 확인되는 제1 중첩 비율을 가지는 검출 바운딩 박스들이 서로 다른 관찰 대상 자동차에 대한 검출 바운딩 박스인 것으로 판단할 수 있다. 여기서, 제1 임계값 및 제2 임계값은 서로 같거나 다를 수 있다.
또한, 상기에서는 제1 클래시피케이션 스코어와 박스 리그레션 정보를 이용하여 기준 자동차(200)의 블라인드 스팟에 위치하는 관찰 대상 자동차를 확인한 다음, 관찰 대상 자동차의 포즈를 확인하여 기준 자동차(200)의 블라인드 스팟에 위치하는 요주의 자동차에 해당하는 관찰 대상 자동차를 확정하였지만, 이와는 달리, 제1 클래시피케이션 스코어와 제2 클래시피케이션 스코어를 참조하여 기준 자동차(200)와 동일한 주행 방향으로 주행하는 관찰 대상 자동차를 확인한 다음, 기준 자동차(200)와 동일한 주행 방향으로 주행하는 관찰 대상 자동차에 대한 박스 리그레션 정보를 참조하여 기준 자동차(200)의 블라인드 스팟에 위치하는 요주의 자동차를 확정할 수도 있다.
즉, 블라인드 스팟 모니터(100)의 프로세서(120)는, (i) 제1 클래스 별 제1 클래시피케이션 스코어를 참조하여 m개의 프로포잘 박스 중 오브젝트가 관찰 대상 자동차로 판단된 특정 프로포잘 박스들을 결정하고, (ii) 제2 클래스 별 제2 클래시피케이션 스코어를 참조하여 관찰 대상 자동차로 판단된 상기 특정 프로포잘 박스들 중 관찰 대상 자동차의 포즈가 기준 자동차(200)의 주행 방향에 대응되는 i개의 프로포잘 박스를 결정한다. 그리고, 블라인드 스팟 모니터(100)의 프로세서(120)는, (i) i개의 프로포잘 박스 각각에 대응하는 리그레션 정보들을 이용하여 i개의 프로포잘 박스 각각에 대응하는 i개의 검출 바운딩 박스를 획득하며, (ii) i개의 검출 바운딩 박스 중 기준 자동차(200)의 블라인드 스팟에 위치하는 검출 바운딩 박스가 있는지를 판단함으로써 기준 자동차(200)의 블라인드 스팟에 요주의 자동차가 위치하는지를 판단할 수 있다.
다음으로, 도 4에서 알 수 있는 바와 같이, 블라인드 스팟 모니터(100)의 프로세서(120)는 기준 자동차(200)의 블라인드 스팟에 요주의 자동차가 위치한 것으로 판단될 경우, 블라인드 스팟에 요주의 자동차가 위치한 정보를 기준 자동차(200)의 컨트롤 유닛에 전송함으로써 기준 자동차(200)의 컨트롤 유닛으로 하여금 관찰 대상 자동차가 위치하는 블라인드 스팟 방향으로 자동차가 차선을 변경하는 것을 방지하도록 지원할 수 있다(S500).
이때, 기준 자동차(200)의 컨트롤 유닛은 자동차의 스티어링 시스템의 정보를 참조하여 운전자가 차선을 변경하고자 할 경우, 변경하고자 하는 차선의 블라인드 스팟에 요주의 자동차가 위치할 경우 알람 시스템을 통해 운전자가 블라인드 스팟에 요주의 자동차가 있음을 인지할 수 있도록 하여 차선 변경에 따른 위험 상황을 미연에 방지할 수 있도록 할 수 있다. 또한, 기준 자동차(200)가 자율 주행 자동차일 경우 자율 주행 자동차가 블라인드 스팟에 요주의 자동차가 위치하는지 여부에 대한 정보와 주행 환경을 참조하여 안전하게 차선을 변경할 수 있도록 할 수 있다.
상기에서 블라인드 스팟에 요주의 자동차가 위치하는지 여부의 확인을 위하여, 기준 자동차(200)의 양측 차선에 형성되는 블라인드 스팟 각각에 대해 순차적으로 상기와 같은 방법을 수행하여 블라인드 스팟에 요주의 자동차가 위치하는지를 확인할 수 있다.
그리고, 상기의 방법에 의해 블라인드 스팟에 요주의 자동차가 위치하는지를 모니터링하는 방법에 있어서, 블라인드 스팟 모니터는, 학습된 컨볼루션 파라미터, 제1 클래시피케이션 파라미터, 제2 클래시피케이션 파라미터, 및 리그레션 파라미터를 이용하여 컨볼루션, 제1 클래시피케이션, 제2 클래시피케이션, 및 박스 리그레션을 수행할 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
10: 비전 센서,
100: 블라인드 스팟 모니터,
110: 통신부,
120: 프로세서,
200: 기준 자동차,
300, 310, 320: 관찰 대상 자동차

Claims (30)

  1. 자동차의 블라인드 스팟을 모니터링하는 방법에 있어서,
    (a) 기준 자동차의 운행 중, 상기 기준 자동차로부터 촬영된 후방 영상 이미지가 획득되면, 블라인드 스팟 모니터는, 상기 후방 영상 이미지로부터 적어도 하나의 피처 맵(feature map)을 획득하는 단계;
    (b) 상기 블라인드 스팟 모니터는, (i) 상기 후방 영상 이미지에 위치하는 적어도 하나의 오브젝트(object)들에 대응하는 m개의 프로포잘 박스(proposal box)를 획득하고, (ii) 상기 피처 맵의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)들을 획득하며, (iii) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 피처 벡터들을 제1 FC layer에 각각 입력하여 (iii-1) 상기 오브젝트가 관찰 대상 자동차인지 여부를 확인하기 위한 제1 클래시피케이션(classification) 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제1 클래스 별 제1 클래시피케이션 스코어들을 획득하고, (iii-2) 상기 오브젝트의 포즈(pose)를 확인하기 위한 제2 클래시피케이션 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제2 클래스 별 제2 클래시피케이션 스코어들을 획득하는 단계; 및
    (c) 상기 블라인드 스팟 모니터는, (i) 상기 제1 클래스 별 제1 클래시피케이션 스코어들을 참조하여 상기 m개의 프로포잘 박스 중 상기 오브젝트가 상기 관찰 대상 자동차로 판단된 n개의 프로포잘 박스를 결정하고, (ii) 상기 n개의 프로포잘 박스 각각에 대응하는 리그레션 정보들을 이용하여 상기 n개의 프로포잘 박스 각각에 대응하는 n개의 검출 바운딩 박스를 획득하며, (iii) 상기 제2 클래스별 상기 제2 클래시피케이션 스코어를 참조하여 상기 n개의 검출 바운딩 박스 각각에 대응하는 상기 관찰 대상 자동차의 포즈를 결정하고, (iv) 상기 n개의 검출 바운딩 박스와 상기 관찰 대상 자동차의 포즈를 참조하여 상기 기준 자동차의 블라인드 스팟에 요주의 자동차가 위치하는지 여부를 판단하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 블라인드 스팟 모니터는, 상기 m개의 프로포잘 박스 각각에 대응하는 상기 각각의 피처 벡터들을 제2 FC 레이어로 입력하여, (iii-3) 상기 제2 FC 레이어를 통해 상기 피처 벡터들을 리그레션 연산하여 상기 m개의 프로포잘 박스 각각에 대응하는 상기 제1 클래스 별 리그레션 정보들을 추가적으로 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  3. 제1항에 있어서,
    (d) 상기 기준 자동차의 블라인드 스팟에 상기 요주의 자동차가 위치한 것으로 판단될 경우, 상기 블라인드 스팟 모니터는, 상기 블라인드 스팟에 상기 요주의 자동차가 위치한 정보를 상기 기준 자동차의 컨트롤 유닛에 전송함으로써 상기 컨트롤 유닛으로 하여금 상기 요주의 자동차가 위치하는 상기 블라인드 스팟 방향으로 상기 기준 자동차가 차선을 변경하는 것을 방지하도록 지원하는 단계;
    를 더 포함하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  4. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 블라인드 스팟 모니터는,
    (i) 상기 n개의 검출 바운딩 박스 중 상기 기준 자동차의 상기 블라인드 스팟에 위치하는 k개의 검출 바운딩 박스를 결정하며, (ii) 상기 k개의 검출 바운딩 박스 중 상기 관찰 대상 자동차의 포즈가 상기 기준 자동차의 주행 방향에 대응될 경우, 상기 블라인드 스팟에 상기 요주의 자동차가 있는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  5. 제4항에 있어서,
    상기 블라인드 스팟 모니터는,
    상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 또는 우측 정면 방향일 경우, 상기 관찰 대상 자동차가 상기 기준 자동차와 동일한 방향으로 주행하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  6. 제5항에 있어서,
    (i) 제1 조건 - 상기 제1 조건은 상기 k개의 검출 바운딩 박스 중 제1 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 좌측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 방향인 경우임 - 을 만족하거나, (ii) 제2 조건 - 상기 제2 조건은 상기 k개의 검출 바운딩 박스 중 제2 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 우측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 우측 정면 방향인 경우임 - 을 만족하면, 상기 블라인드 스팟 모니터는, 상기 요주의 자동차가 상기 기준 자동차의 상기 블라인드 스팟에 위치하지 않는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  7. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 블라인드 스팟 모니터는,
    (i) 상기 n개의 검출 바운딩 박스 각각이 서로 중첩되는 비율인 제1 중첩 비율들을 계산하며, (ii) 상기 제1 중첩 비율들 중 제1 임계값 이상인 것으로 확인되는 제1 중첩 비율을 가지는 특정 검출 바운딩 박스들이 동일한 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, (iii) 상기 특정 검출 바운딩 박스들 중 대응되는 상기 프로포잘 박스와 중첩되는 비율인 제2 중첩 비율들을 계산하며, (iv) 상기 제2 중첩 비율 중 최대 비율을 가지는 소정의 검출 바운딩 박스를 하나의 동일한 관찰 대상 자동차에 대한 검출 바운딩 박스로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  8. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 블라인드 스팟 모니터는,
    (i) 상기 n개의 검출 바운딩 박스 각각이 서로 중첩되는 비율인 제1 중첩 비율들을 계산하며, (ii) 상기 제1 중첩 비율들 중 제2 임계값 미만인 것으로 확인되는 상기 제1 중첩 비율을 가지는 검출 바운딩 박스들이 서로 다른 상기 관찰 대상 자동차에 대한 검출 바운딩 박스인 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  9. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 블라인드 스팟 모니터는,
    상기 후방 영상 이미지를 컨볼루션하여 상기 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  10. 제9항에 있어서,
    상기 블라인드 스팟 모니터는,
    상기 컨볼루션을 수행할 경우, 패드를 0으로 설정한 상태에서 기설정된 스트라이드로 필터를 이동시키며, 상기 후방 영상 이미지를 컨볼루션하거나, 이전에 컨볼루션된 피처 맵을 컨볼루션하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  11. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 블라인드 스팟 모니터는,
    상기 후방 영상 이미지에서 상기 블라인드 스팟에 대응되는 이미지를 컨볼루션하여 상기 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  12. 자동차의 블라인드 스팟을 모니터링하는 장치에 있어서,
    기준 자동차의 운행 중, 상기 기준 자동차에서 촬영된 후방 영상 이미지 또는 상기 후방 영상 이미지와 대응되는 적어도 하나의 피처 맵(feature map)을 획득하는 통신부; 및
    (i) 상기 통신부로부터 획득된 피처 맵 또는 상기 통신부로부터 획득된 상기 후방 영상 이미지에 적어도 하나의 컨볼루션 연산을 적용하여 계산된 피처 맵을 사용하여 상기 후방 영상 이미지에 위치하는 적어도 하나의 오브젝트(object)들에 대응하는 m개의 프로포잘 박스(proposal box)를 획득하는 프로세스; (ii) 상기 피처 맵의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)들을 획득하는 프로세스; (iii) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 피처 벡터들을 제1 FC layer에 각각 입력하여 (iii-1) 상기 오브젝트가 관찰 대상 자동차인지 여부를 확인하기 위한 제1 클래시피케이션(classification) 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제1 클래스 별 제1 클래시피케이션 스코어들을 획득하고, (iii-2) 상기 오브젝트의 포즈(pose)를 확인하기 위한 제2 클래시피케이션 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제2 클래스 별 제2 클래시피케이션 스코어들을 획득하는 프로세스; (iv) 상기 제1 클래스 별 제1 클래시피케이션 스코어들을 참조하여 상기 m개의 프로포잘 박스 중 상기 오브젝트가 상기 관찰 대상 자동차로 판단된 n개의 프로포잘 박스를 결정하는 프로세스; (v) 상기 n개의 프로포잘 박스 각각에 대응하는 리그레션 정보들을 이용하여 상기 n개의 프로포잘 박스 각각에 대응하는 n개의 검출 바운딩 박스를 획득하는 프로세스; (vi) 상기 제2 클래스별 상기 제2 클래시피케이션 스코어를 참조하여 상기 n개의 검출 바운딩 박스 각각에 대응하는 상기 관찰 대상 자동차의 포즈를 결정하는 프로세스; 및 (vii) 상기 n개의 검출 바운딩 박스와 상기 관찰 대상 자동차의 포즈를 참조하여 상기 기준 자동차의 블라인드 스팟에 요주의 자동차가 위치하는지 여부를 판단하는 프로세스; 를 수행하는 프로세서;
    를 포함하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 (iii) 프로세스에서,
    상기 m개의 프로포잘 박스 각각에 대응하는 상기 각각의 피처 벡터들을 제2 FC 레이어로 입력하여, (iii-3) 상기 제2 FC 레이어를 통해 상기 피처 벡터들을 리그레션 연산하여 상기 m개의 프로포잘 박스 각각에 대응하는 상기 제1 클래스 별 리그레션 정보들을 추가적으로 획득하는 프로세스를 더 수행하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 기준 자동차의 블라인드 스팟에 상기 요주의 자동차가 위치한 것으로 판단될 경우, 상기 블라인드 스팟에 상기 관찰 대상 자동차가 위치한 정보를 상기 기준 자동차의 컨트롤 유닛에 전송함으로써 상기 컨트롤 유닛으로 하여금 상기 요주의 자동차가 위치하는 상기 블라인드 스팟 방향으로 상기 기준 자동차가 차선을 변경하는 것을 방지하도록 지원하는 프로세스;
    를 더 수행하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  15. 제12항에 있어서,
    상기 프로세서는,
    상기 (vi) 및 (vii) 프로세스에서,
    상기 n개의 검출 바운딩 박스 중 상기 기준 자동차의 상기 블라인드 스팟에 위치하는 k개의 검출 바운딩 박스를 결정하며, 상기 k개의 검출 바운딩 박스 중 상기 관찰 대상 자동차의 포즈가 상기 기준 자동차의 주행 방향에 대응될 경우, 상기 블라인드 스팟에 상기 요주의 자동차가 있는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 또는 우측 정면 방향일 경우 상기 관찰 대상 자동차가 상기 기준 자동차와 동일한 방향으로 주행하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  17. 제16항에 있어서,
    상기 프로세서는,
    (i) 제1 조건 - 상기 제1 조건은 상기 k개의 검출 바운딩 박스 중 제1 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 좌측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 방향인 경우임 - 을 만족하거나, (ii) 제2 조건 - 상기 제2 조건은 상기 k개의 검출 바운딩 박스 중 제2 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 우측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 우측 정면 방향인 경우임 - 을 만족하면, 상기 요주의 자동차가 상기 기준 자동차의 상기 블라인드 스팟에 위치하지 않는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  18. 제12항에 있어서,
    상기 프로세서는,
    상기 (v) 및 (vi) 프로세스에서,
    상기 n개의 검출 바운딩 박스 각각이 서로 중첩되는 비율인 제1 중첩 비율들을 계산하며, 상기 제1 중첩 비율들 중 제1 임계값 이상인 것으로 확인되는 제1 중첩 비율을 가지는 특정 검출 바운딩 박스들이 동일한 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, 상기 특정 검출 바운딩 박스들 중 대응되는 상기 프로포잘 박스와 중첩되는 비율인 제2 중첩 비율들을 계산하며, 상기 제2 중첩 비율 중 최대 비율을 가지는 소정의 검출 바운딩 박스를 하나의 동일한 관찰 대상 자동차에 대한 검출 바운딩 박스로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  19. 제12항에 있어서,
    상기 프로세서는,
    상기 (v) 프로세스에서,
    상기 n개의 검출 바운딩 박스 각각이 서로 중첩되는 비율인 제1 중첩 비율들을 계산하며, 상기 제1 중첩 비율들 중 제2 임계값 미만인 것으로 확인되는 상기 제1 중첩 비율을 가지는 검출 바운딩 박스들이 서로 다른 상기 관찰 대상 자동차에 대한 검출 바운딩 박스인 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  20. 제12항에 있어서,
    상기 프로세서는,
    상기 후방 영상 이미지를 컨볼루션하여 상기 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  21. 제20항에 있어서,
    상기 프로세서는,
    상기 컨볼루션을 수행할 경우, 패드를 0으로 설정한 상태에서 기설정된 스트라이드로 필터를 이동시키며, 상기 후방 영상 이미지를 컨볼루션하거나, 이전에 컨볼루션된 피처 맵을 컨볼루션하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  22. 제12항에 있어서,
    상기 프로세서는,
    상기 후방 영상 이미지에서 상기 블라인드 스팟에 대응되는 이미지를 컨볼루션하여 상기 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  23. 자동차의 블라인드 스팟을 모니터링하는 방법에 있어서,
    (a) 기준 자동차의 운행 중, 상기 기준 자동차로부터 촬영된 후방 영상 이미지가 획득되면, 블라인드 스팟 모니터는, 상기 후방 영상 이미지로부터 적어도 하나의 피처 맵(feature map)을 획득하는 단계;
    (b) 상기 블라인드 스팟 모니터는, (i) 상기 후방 영상 이미지에 위치하는 오브젝트(object)들에 대응하는 m개의 프로포잘 박스(proposal box)를 획득하고, (ii) 상기 피처 맵의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)들을 획득하며, (iii) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 피처 벡터들을 FC layer에 각각 입력하여 (iii-1) 상기 오브젝트가 관찰 대상 자동차인지 여부를 확인하기 위한 제1 클래시피케이션(classification) 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제1 클래스 별 제1 클래시피케이션 스코어들을 획득하고, (iii-2) 상기 오브젝트의 포즈(pose)를 확인하기 위한 제2 클래시피케이션 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제2 클래스 별 제2 클래시피케이션 스코어들을 획득하는 단계; 및
    (c) 상기 블라인드 스팟 모니터는, (i) 상기 제1 클래스 별 제1 클래시피케이션 스코어를 참조하여 상기 m개의 프로포잘 박스 중 상기 오브젝트가 상기 관찰 대상 자동차로 판단된 특정 프로포잘 박스들을 결정하고, (ii) 상기 제2 클래스 별 제2 클래시피케이션 스코어를 참조하여 상기 관찰 대상 자동차로 판단된 상기 특정 프로포잘 박스들 중 적어도 하나의 특정 관찰 대상 자동차의 포즈가 상기 기준 자동차의 주행 방향에 대응되는 i개의 프로포잘 박스를 결정하고, (iii) 상기 i개의 프로포잘 박스 각각에 대응하는 리그레션 정보들을 이용하여 상기 i개의 프로포잘 박스 각각에 대응하는 i개의 검출 바운딩 박스를 획득하며, (iv) 상기 i개의 검출 바운딩 박스 중 상기 기준 자동차의 블라인드 스팟에 위치하는 검출 바운딩 박스가 있는지를 판단함으로써 상기 블라인드 스팟에 요주의 자동차가 위치하는지를 판단하는 단계;
    를 포함하는 것을 특징으로 방법.
  24. 제23항에 있어서,
    상기 (b) 단계에서,
    상기 블라인드 스팟 모니터는, 상기 m개의 프로포잘 박스 각각에 대응하는 상기 각각의 피처 벡터들을 상기 FC 레이어로 입력하여, (iii-3) 상기 FC 레이어를 통해 상기 피처 벡터들을 리그레션 연산하여 상기 m개의 프로포잘 박스 각각에 대응하는 상기 제1 클래스 별 리그레션 정보들을 추가적으로 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  25. 제23항에 있어서,
    상기 (c) 단계에서,
    상기 블라인드 스팟 모니터는,
    상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 또는 우측 정면 방향일 경우 상기 관찰 대상 자동차가 상기 기준 자동차와 동일한 방향으로 주행하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  26. 제25항에 있어서,
    상기 블라인드 스팟 모니터는,
    (i) 제1 조건 - 상기 제1 조건은 상기 i개의 검출 바운딩 박스 중 제1 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 좌측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 방향인 경우임 - 을 만족하거나, (ii) 제2 조건 - 상기 제2 조건은 상기 i개의 검출 바운딩 박스 중 제2 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 우측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 우측 정면 방향인 경우임 - 을 만족하면, 상기 블라인드 스팟 모니터는, 상기 요주의 자동차가 상기 기준 자동차의 상기 블라인드 스팟에 위치하지 않는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  27. 자동차의 블라인드 스팟을 모니터링하는 장치에 있어서,
    기준 자동차의 운행 중, 상기 기준 자동차에서 촬영된 후방 영상 이미지 또는 상기 후방 영상 이미지와 대응되는 적어도 하나의 피처 맵(feature map)을 획득하는 통신부; 및
    (i) 상기 통신부로부터 획득된 피처 맵 또는 상기 통신부로부터 획득된 상기 후방 영상 이미지에 적어도 하나의 컨볼루션 연산을 적용하여 계산된 피처 맵을 사용하여 상기 후방 영상 이미지에 위치하는 적어도 하나의 오브젝트(object)들에 대응하는 m개의 프로포잘 박스(proposal box)를 획득하는 프로세스; (ii) 상기 피처 맵의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 피처 벡터(feature vector)들을 획득하는 프로세스; (iii) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 피처 벡터들을 FC layer에 각각 입력하여 (iii-1) 상기 오브젝트가 관찰 대상 자동차인지 여부를 확인하기 위한 제1 클래시피케이션(classification) 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제1 클래스 별 제1 클래시피케이션 스코어들을 획득하고, (iii-2) 상기 오브젝트의 포즈(pose)를 확인하기 위한 제2 클래시피케이션 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 제2 클래스 별 제2 클래시피케이션 스코어들을 획득하는 프로세스; (iv) 상기 제1 클래스 별 제1 클래시피케이션 스코어를 참조하여 상기 m개의 프로포잘 박스 중 상기 오브젝트가 상기 관찰 대상 자동차로 판단된 특정 프로포잘 박스들을 결정하는 프로세스; (v) 상기 제2 클래스 별 제2 클래시피케이션 스코어를 참조하여 상기 관찰 대상 자동차로 판단된 상기 특정 프로포잘 박스들 중 적어도 하나의 특정 관찰 대상 자동차의 포즈가 상기 기준 자동차의 주행 방향에 대응되는 i개의 프로포잘 박스를 결정하는 프로세스; (vi) 상기 i개의 프로포잘 박스 각각에 대응하는 리그레션 정보들을 이용하여 상기 i개의 프로포잘 박스 각각에 대응하는 i개의 검출 바운딩 박스를 획득하는 프로세스; 및 (vii) 상기 i개의 검출 바운딩 박스 중 상기 기준 자동차의 블라인드 스팟에 위치하는 검출 바운딩 박스가 있는지를 판단함으로써 상기 블라인드 스팟에 요주의 자동차가 위치하는지를 판단하는 프로세스; 를 수행하는 프로세서;
    를 포함하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  28. 제27항에 있어서,
    상기 프로세서는,
    상기 (iii) 프로세스에서,
    상기 m개의 프로포잘 박스 각각에 대응하는 상기 각각의 피처 벡터들을 상기 FC 레이어로 입력하여, (iii-3) 상기 FC 레이어를 통해 상기 피처 벡터들을 리그레션 연산하여 상기 m개의 프로포잘 박스 각각에 대응하는 상기 제1 클래스 별 리그레션 정보들을 추가적으로 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  29. 제27항에 있어서,
    상기 프로세서는,
    상기 (v) 프로세스에서,
    상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 또는 우측 정면 방향일 경우 상기 관찰 대상 자동차가 상기 기준 자동차와 동일한 방향으로 주행하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  30. 제29항에 있어서,
    상기 프로세서는,
    제1 조건 - 상기 제1 조건은 상기 i개의 검출 바운딩 박스 중 제1 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 좌측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 좌측 정면 방향인 경우임 - 을 만족하거나, 제2 조건 - 상기 제2 조건은 상기 i개의 검출 바운딩 박스 중 제2 검출 바운딩 박스가 상기 기준 자동차의 진행 방향의 후방 우측 영역에 형성되는 상기 블라인드 스팟에 위치하는 것으로 판단된 상태에서, 상기 기준 자동차에서 바라본 상기 관찰 대상 자동차의 모습이 상기 관찰 대상 자동차의 정면 방향이거나 상기 관찰 대상 자동차의 우측 정면 방향인 경우임 - 을 만족하면, 상기 요주의 자동차가 상기 기준 자동차의 상기 블라인드 스팟에 위치하지 않는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
KR1020180117332A 2017-10-05 2018-10-02 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터 KR102098140B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/725,394 2017-10-05
US15/725,394 US9947228B1 (en) 2017-10-05 2017-10-05 Method for monitoring blind spot of vehicle and blind spot monitor using the same

Publications (2)

Publication Number Publication Date
KR20190039648A true KR20190039648A (ko) 2019-04-15
KR102098140B1 KR102098140B1 (ko) 2020-04-08

Family

ID=61872578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180117332A KR102098140B1 (ko) 2017-10-05 2018-10-02 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터

Country Status (5)

Country Link
US (1) US9947228B1 (ko)
EP (1) EP3467698B1 (ko)
JP (1) JP6704971B2 (ko)
KR (1) KR102098140B1 (ko)
CN (1) CN109624850B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155054B1 (ko) * 2019-11-28 2020-09-11 국민대학교산학협력단 인공지능을 활용한 주변차량 컷인 의도 예측 방법
KR102345798B1 (ko) * 2021-03-18 2022-01-04 (주)에이아이매틱스 교차로 꼬리물기 인지 및 영상 저장 장치
US20220335727A1 (en) * 2021-03-05 2022-10-20 Tianiin Soterea Automotive Technology Limited Company Target determination method and apparatus, electronic device, and computer-readable storage medium

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10353388B2 (en) 2016-10-17 2019-07-16 X Development Llc Drop-off location planning for delivery vehicle
CN112534473A (zh) * 2018-08-22 2021-03-19 日立汽车系统株式会社 图像处理装置以及图像处理方法
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
CN109460820A (zh) * 2018-09-28 2019-03-12 深圳百诺国际生命科技有限公司 一种神经网络训练方法、装置、计算机设备和存储介质
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US10984262B2 (en) * 2018-10-08 2021-04-20 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US10311321B1 (en) * 2018-10-26 2019-06-04 StradVision, Inc. Learning method, learning device using regression loss and testing method, testing device using the same
US10509987B1 (en) * 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US10635915B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation
US11518465B2 (en) 2019-03-27 2022-12-06 Gentex Corporation Motorcycle providing visual light warning to detected vehicles to notify detected vehicles of presence of motorcycle
US11420621B2 (en) 2019-03-31 2022-08-23 Gm Cruise Holdings Llc Autonomous vehicle maneuvering based upon risk associated with occluded regions
CN110245263B (zh) * 2019-05-15 2021-08-20 北京奇艺世纪科技有限公司 一种聚合方法、装置、电子设备及存储介质
CN110458225A (zh) * 2019-08-08 2019-11-15 北京深醒科技有限公司 一种车辆检测和姿态分类联合识别方法
KR102368441B1 (ko) 2020-05-28 2022-02-28 쌍용자동차 주식회사 사각지대경고장치를 결합한 사각지대 감시장치 및 방법
US11501538B2 (en) * 2020-08-24 2022-11-15 Verizon Connect Development Limited Systems and methods for detecting vehicle tailgating
KR20220026938A (ko) * 2020-08-26 2022-03-07 현대모비스 주식회사 차량의 후측방 경고 시스템 및 방법
CN113386669A (zh) * 2021-07-13 2021-09-14 虹软科技股份有限公司 一种辅助驾驶系统及车辆

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170070715A (ko) * 2015-12-14 2017-06-22 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
KR20170086899A (ko) * 2016-01-19 2017-07-27 연세대학교 산학협력단 다중 카메라를 이용한 이륜차 검출 방법 및 그 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014100364B4 (de) * 2013-01-18 2020-08-13 Carnegie Mellon University Verfahren zum Bestimmen, ob eine Augen-abseits-der-Straße-Bedingung vorliegt
US9177214B1 (en) * 2014-04-10 2015-11-03 Xerox Corporation Method and apparatus for an adaptive threshold based object detection
KR20160096460A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
US9141883B1 (en) * 2015-05-11 2015-09-22 StradVision, Inc. Method, hard negative proposer, and classifier for supporting to collect hard negative images using a similarity map
CN106548127B (zh) * 2015-09-18 2022-11-04 松下电器(美国)知识产权公司 图像识别方法
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
CN105667397B (zh) * 2015-12-30 2018-10-16 深圳佑驾创新科技有限公司 汽车后视系统及方法
US9802599B2 (en) * 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
JP6690312B2 (ja) * 2016-03-09 2020-04-28 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN107180220B (zh) * 2016-03-11 2023-10-31 松下电器(美国)知识产权公司 危险预测方法
US10055652B2 (en) * 2016-03-21 2018-08-21 Ford Global Technologies, Llc Pedestrian detection and motion prediction with rear-facing camera
CN105975941B (zh) * 2016-05-31 2019-04-12 电子科技大学 一种基于深度学习的多方向车型检测识别系统
CN106407931B (zh) * 2016-09-19 2019-11-22 杭州电子科技大学 一种深度卷积神经网络运动车辆检测方法
CN106599773B (zh) * 2016-10-31 2019-12-24 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN106599827A (zh) * 2016-12-09 2017-04-26 浙江工商大学 一种基于深度卷积神经网络的小目标快速检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170070715A (ko) * 2015-12-14 2017-06-22 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
KR20170086899A (ko) * 2016-01-19 2017-07-27 연세대학교 산학협력단 다중 카메라를 이용한 이륜차 검출 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dreossi et al. Systematic testing of convolutional neural networks for autonomous driving. arXiv. 2017년, pp. 1-5.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155054B1 (ko) * 2019-11-28 2020-09-11 국민대학교산학협력단 인공지능을 활용한 주변차량 컷인 의도 예측 방법
US20220335727A1 (en) * 2021-03-05 2022-10-20 Tianiin Soterea Automotive Technology Limited Company Target determination method and apparatus, electronic device, and computer-readable storage medium
KR102345798B1 (ko) * 2021-03-18 2022-01-04 (주)에이아이매틱스 교차로 꼬리물기 인지 및 영상 저장 장치
WO2022197042A1 (ko) * 2021-03-18 2022-09-22 (주)에이아이매틱스 교차로 꼬리물기 인지 및 영상 저장 장치

Also Published As

Publication number Publication date
JP6704971B2 (ja) 2020-06-03
JP2019071057A (ja) 2019-05-09
CN109624850B (zh) 2022-04-08
KR102098140B1 (ko) 2020-04-08
US9947228B1 (en) 2018-04-17
EP3467698B1 (en) 2023-02-22
EP3467698A1 (en) 2019-04-10
CN109624850A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
KR20190039648A (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
JP6668435B2 (ja) 自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタ{method for monotoring blind spot of vehicle and blind spot monitor using the same}
JP6872260B2 (ja) 自動車の車線変更に対する危険を警報する方法及びこれを利用した警報装置
JP4420011B2 (ja) 物体検知装置
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
US20200097739A1 (en) Object detection device and object detection method
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
KR101694837B1 (ko) 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
US20220301320A1 (en) Controller, method, and computer program for controlling vehicle
US20220055618A1 (en) Apparatus, method, and computer program for object detection
US11829153B2 (en) Apparatus, method, and computer program for identifying state of object, and controller
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
EP3227827B1 (en) Driver assistance system, motor vehicle and method for classifying a flow vector
EP3540643A1 (en) Image processing apparatus and image processing method
US11417115B2 (en) Obstacle recognition device
US20230177844A1 (en) Apparatus, method, and computer program for identifying state of lighting
JP2018088237A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant