KR20190039457A - 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터 - Google Patents

자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터 Download PDF

Info

Publication number
KR20190039457A
KR20190039457A KR1020180117319A KR20180117319A KR20190039457A KR 20190039457 A KR20190039457 A KR 20190039457A KR 1020180117319 A KR1020180117319 A KR 1020180117319A KR 20180117319 A KR20180117319 A KR 20180117319A KR 20190039457 A KR20190039457 A KR 20190039457A
Authority
KR
South Korea
Prior art keywords
blind spot
boxes
profile
vehicle
box
Prior art date
Application number
KR1020180117319A
Other languages
English (en)
Other versions
KR102098131B1 (ko
Inventor
김용중
남운현
부석훈
성명철
여동훈
유우주
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20190039457A publication Critical patent/KR20190039457A/ko
Application granted granted Critical
Publication of KR102098131B1 publication Critical patent/KR102098131B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/025—Rear-view mirror arrangements comprising special mechanical means for correcting the field of view in relation to particular driving conditions, e.g. change of lane; scanning mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 기준 자동차의 블라인드 스팟(blind spot)에서 상기 기준 자동차로부터 소정 거리 별로 위치하는 참조 자동차에 대응되는 상기 기준 자동차에서 촬영된 샘플링용 후방 영상 이미지들을 획득하며, 각각의 상기 샘플링용 후방 영상 이미지에서 상기 참조 자동차에 대응하는 참조 바운딩 박스(bounding box)들을 생성하고, 상기 참조 바운딩 박스들을 상기 기준 자동차의 블라인드 스팟에 위치하게 될 관찰 대상 자동차를 검출할 수 있는 확률을 가지는 후보 영역으로서의 m개의 프로포잘 박스(proposal box)로 설정한 상태에서, 상기 기준 자동차의 운행 중, 상기 기준 자동차에서 촬영된 테스트용 후방 영상 이미지가 획득되면, 블라인드 스팟 모니터가, 상기 테스트용 후방 영상 이미지를 컨볼루션하여 테스트용 피처 맵을 획득하는 단계; 상기 블라인드 스팟 모니터가, 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 상기 테스트용 피처 맵을 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 테스트용 피처 벡터(feature vector)를 획득하며, 상기 m개의 프로포잘 박스 각각에 대응하는 상기 테스트용 피처 벡터를 적어도 하나의 FC layer 에 각각 입력하여 (i) 클래시피케이션을 위한 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 클래스 별 테스트용 클래시피케이션 스코어들을 획득하고, (ii) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 클래스 별 테스트용 리그레션 정보들을 획득하는 단계; 및 상기 블라인드 스팟 모니터가, 상기 클래스 별 테스트용 클래시피케이션 스코어들을 참조하여 상기 m개의 프로포잘 박스 중 j개의 포로포잘 박스들을 선택하고, 상기 j개의 프로포잘 각각에 대응하는 상기 테스트용 리그레션 정보들을 이용하여 상기 j개의 포로포잘 박스 각각에 대응하는 검출 바운딩 박스들을 획득하며, 상기 검출 바운딩 박스 각각이 상기 j개의 프로포잘 박스 중 대응되는 프로포잘 박스와 제1 임계치 이상으로 매칭되는지 각각 확인하여, 상기 j개의 프로포잘 박스 중 적어도 하나의 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단함으로써 상기 기준 자동차의 블라인드 스팟에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하는 단계; 를 포함하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법에 관한 것이다.

Description

자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터{METHOD FOR MONOTORING BLIND SPOT OF VEHICLE AND BLIND SPOT MINOTOR USING THE SAME}
본 발명은 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터에 관한 것으로, 보다 상세하게는, 기준 자동차의 블라인드 스팟에서 기준 자동차로부터 소정 거리 별로 위치하는 참조 자동차에 대응되는 기준 자동차에서 촬영된 후방 영상 이미지에서 참조 자동차에 대응하는 참조 바운딩 박스들을 생성하고, 생성된 참조 바운딩 박스들을 기준 자동차의 블라인드 스팟에 위치하게 될 관찰 대상 자동차를 검출하기 위한 후보 영역으로서의 프로포잘 박스로 설정한 후, 상기 기준 자동차의 운행 중 설정된 프로포잘 박스에 관찰 대상 자동차가 위치하는지 여부를 판단함으로써 자동차의 블라인드 스팟에 관찰 대상 자동차가 위치하는지를 판단하는 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터에 관한 것이다.
일반적으로 운전자가 자동차를 운행 중 차선변경을 할 때 측면 및 후방을 관찰하여 시야를 확보할 수 있도록 자동차의 양측에 사이드미러가 설치되어 있고 실내 전면 중앙부에 룸미러가 설치되어 있다.
사이드미러는 자동차의 양측면에 설치되어 측면 및 후방 시야를 확보하도록 이용되고 있지만, 측면에 근접하여 주행하는 자동차나 물체는 확인할 수 없는 블라인드 스팟이 있다.
따라서 주행중인 자동차의 측면에 붙어서 뒤따라오는 다른 자동차를 운전자가 확인하지 못하고 차선을 변경할 경우 블라인드 스팟에서 주행하는 다른 자동차와 접촉사고가 발생할 수 있는 문제점이 있었다.
이러한 문제점을 방지하기 위하여 운전자들은 블라인드 스팟을 관측할 수 있도록 표면이 곡면으로 형성된 볼록거울을 사이드미러의 한쪽 부분에 부착하는 경우도 있다.
하지만, 사이드미러에 볼록거울 등을 설치할 경우에도, 자동차의 차선을 변경하기 위하여 운전자는 육안으로 블라인드 스팟을 확인하여야 하므로 운전자의 운전 피로도를 증가시키게 되며, 운전자의 위치에 따라 블록거울이 부착된 사이드미러로도 확인되지 않는 블라인드 스팟이 존재하는 문제점이 발생한다.
이를 방지하기 위하여, 최근에는 자동차의 후면에 장착된 센서를 통해 블라인드 스팟에 접근하거나 블라인드 스팟에 위치하는 자동차 등을 감지하여 운전자에게 제공함으로써 운전자가 블라인드 스팟에 있는 자동차 등을 인지하지 못하고 차선을 변경하거나 블라인드 스팟으로 근접하는 자동차로 인해 사고위험이 감지되는 경우 미연에 사고를 방지하기 위한 블라인드 스팟 모니터 시스템이 제안되고 있다.
특히, 비전 센서를 이용한 블라인드 스팟 모니터 시스템에서는 영상 정보를 기반으로 몇 가지 특성을 검출해 내는 알고리즘을 많이 적용하고 있다.
일 예로, 객체들의 가장자리 선분을 검출하고 분할된 선들의 무리를 정의하여 1차적으로 자동차가 될 수 있는 후보군을 만들며, 대칭성과 그림자 부분을 이용하여 최종적으로 자동차에 대한 판정을 내리는 알고리즘, 영상 히스토그램의 대칭성을 이용하여 자동차의 위치와 외곽 크기를 정의하는 알고리즘, 자동차만이 가지는 특성들을 추출하여 무리를 정의하고 정의된 유형과 유사한 정도로 자동차를 판별하는 알고리즘 등이 알려져 있다.
이러한 객체의 특성이나 형상을 추출하는 알고리즘은 외부 환경, 대상 물체의 외형, 그리고 시스템 구성에 매우 제한적인 검출율을 보여주며, 여러 번의 영상처리를 거쳐 자동차를 판단하므로 연산되는 데이터의 양이 큰 문제점이 있다. 따라서, 연산 처리량이 매우 많기 때문에 실시간으로 자동차를 검출하는 것에 한계가 있었다.
또한, CNN(Convolutional neural network)에서 느린 속도를 유발하는 주요 이슈 중 하나는 RPN(Region proposal network)이다. 최종 피처 맵에서 검출 대상 후보를 추출하기 위해 RPN은 슬라이딩 윈도우가 각각 모든 위치로 옮겨다니면서 슬라이딩 윈도우가 상기 검출 대상 후보를 포함하는지 여부를 결정한다. 이때, FC 레이어는 상기 검출 대상 후보가 차량인지 여부를 결정하지만, 각각의 검출 대상 후보 중 다수는 서로 중첩됨에도, RPN은 탐지 시간을 향상시키는 데 도움이 되지 않는 중첩 검출 대상 후보에 대하여 계산을 수행하여 많은 실행시간을 소비하고 있다.
또 다른 비전 센서를 이용한 자동차의 검출 방법으로는 옵티컬 플로우(optical flow) 기법이 있는데, 영상 픽셀의 움직임을 모션 벡터로 표현하는 방법이다. 그러나, 옵티컬 플로우 기법을 이용한 자동차 인식 알고리즘은 배경의 움직임과 영상 노이즈에 큰 영향을 받으며, 연산 처리량이 매우 많기 때문에 실시간 자동차의 검출이 쉽지 않은 문제점이 있다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 블라인드 스팟에 위치하는 자동차를 용이하게 검출할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명은 자동차의 주행 환경에 관계없이 블라인드 스팟에 위치하는 자동차를 검출할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 블라인드 스팟에 위치하는 자동차를 검출하기 위한 연산되는 데이터의 양이 적은 알고리즘을 제공하는 것을 또 다른 목적으로 한다.
본 발명은 배경의 움직임과 영상 노이즈의 영향을 받지 않으며 블라인드 스팟에 위치하는 자동차를 실시간으로 검출할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 컨볼루셔널 뉴럴 네트워크(CNN) 알고리즘을 이용하여 블라인드 스팟에 위치하는 자동차를 정확하게 검출할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 실시예에 따르면, 자동차의 블라인드 스팟을 모니터링하는 방법에 있어서, (a) (i) 기준 자동차의 블라인드 스팟(blind spot)에서 상기 기준 자동차로부터 소정 거리 별로 위치하는 참조 자동차에 대응되는 상기 기준 자동차에서 촬영된 샘플링용 후방 영상 이미지들을 획득하고, (ii) 각각의 상기 샘플링용 후방 영상 이미지에서 상기 참조 자동차에 대응하는 참조 바운딩 박스(bounding box)들을 생성하며, (iii) 상기 참조 바운딩 박스들을 상기 기준 자동차의 블라인드 스팟에 위치하게 될 관찰 대상 자동차를 검출할 수 있는 확률을 가지는 후보 영역으로서의 m개의 프로포잘 박스(proposal box)로 설정한 상태에서, 상기 기준 자동차의 운행 중, 상기 기준 자동차에서 촬영된 테스트용 후방 영상 이미지가 획득되면, 블라인드 스팟 모니터가, 상기 테스트용 후방 영상 이미지로부터 테스트용 적어도 하나의 피처 맵을 획득하는 단계; (b) 상기 블라인드 스팟 모니터가, (i) 상기 테스트용 피처 맵 상의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 테스트용 피처 벡터(feature vector)를 획득하며, (ii) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 테스트용 피처 벡터를 적어도 하나의 FC layer 에 각각 입력하여 (iii) 클래시피케이션을 위한 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 클래스 별 테스트용 클래시피케이션 스코어들을 획득하고, (iv) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 클래스 별 테스트용 리그레션 정보들을 획득하는 단계; 및 (c) 상기 블라인드 스팟 모니터가, (i) 상기 클래스 별 테스트용 클래시피케이션 스코어들을 참조하여 상기 m개의 프로포잘 박스 중 j개의 프로포잘 박스들을 선택하고, (ii) 상기 j개의 포로포잘 박스 각각에 대응하는 상기 테스트용 리그레션 정보들을 이용하여 상기 j개의 포로포잘 박스 각각에 대응하는 검출 바운딩 박스들을 획득하며, (iii) 상기 검출 바운딩 박스 각각이 상기 j개의 프로포잘 박스 중 대응되는 프로포잘 박스와 제1 임계치 이상으로 매칭되는지 각각 확인하여, (iv) 상기 j개의 프로포잘 박스 중 적어도 하나의 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단함으로써 상기 기준 자동차의 블라인드 스팟에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하는 단계; 를 포함하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
상기 일 실시예에 따르면, (d) 상기 j개의 프로포잘 박스 중에서 선택된 상기 대응되는 프로포잘 박스와 제2 임계치 미만으로 매칭되는 적어도 하나의 특정 검출 바운딩 박스가 있을 경우, 상기 블라인드 스팟 모니터는, 상기 특정 검출 바운딩 박스를 상기 기준 자동차의 블라인드 스팟에 위치하게 될 상기 관찰 대상 자동차를 검출하기 위한 후보 영역들을 포함하는 그룹의 새로운 구성요소로서 추가되는 적어도 하나의 동적 프로포잘 박스로 설정하여, 갱신된 그룹을 획득하는 단계;를 더 포함하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 (d) 단계에서, 상기 특정 검출 바운딩 박스가 획득된 상기 테스트용 후방 영상 이미지의 프레임이 t 프레임일 경우, 상기 블라인드 스팟 모니터는, 상기 테스트용 후방 영상 이미지의 t+1 프레임에서, 상기 m개의 프로포잘 박스와 상기 동적 프로포잘 박스를 상기 갱신된 그룹에 포함된 것으로 설정하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, (i) 상기 t+1 프레임부터 t+(k-1) 프레임까지 상기 동적 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하고, (ii) t+k 프레임에서 상기 동적 프로포잘 박스에 상기 관찰 대상 자동차가 위치하지 않는 것으로 판단된 상태에서, t+k+1 프레임에서 m개의 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, (e) 상기 기준 자동차의 블라인드 스팟에 상기 관찰 대상 자동차가 위치한 것으로 판단될 경우, 상기 블라인드 스팟 모니터는, 상기 블라인드 스팟에 상기 관찰 대상 자동차가 위치한 정보를 상기 자동차의 컨트롤 유닛에 전송함으로써 상기 컨트롤 유닛으로 하여금 상기 관찰 대상 자동차가 위치하는 상기 블라인드 스팟 방향으로 상기 기준 자동차가 차선을 변경하는 것을 방지하도록 지원하는 단계;를 더 포함하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, (i) 상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스 각각의 면적과 각각의 상기 검출 바운딩 박스에 대응되는 상기 프로포잘 박스의 면적이 서로 겹치는 제1 중복 영역들을 계산하며, (ii) 상기 제1 중복 영역들 중 제3 임계치 이상인 것으로 판단되는 특정 제1 중복 영역에 해당되는 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, (i) 상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스들이 서로 겹치는 제2 중복 영역들을 계산하며, (ii) 상기 제2 중복 영역들 중 제4 임계치 이상인 것으로 확인되는 적어도 하나의 특정 제2 중복 영역에 해당하는 적어도 하나의 특수 검출 바운딩 박스들이 하나의 동일한 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, (iii) 상기 특수 검출 바운딩 박스들 중 대응되는 상기 프로포잘 박스와 면적이 서로 겹치는 중복 영역이 가장 큰 검출 바운딩 박스를 상기 관찰 대상 자동차에 대한 검출 바운딩 박스로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, (i) 상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스들이 서로 겹치는 제2 중복 영역들을 각각 계산하며, (ii) 상기 제2 중복 영역들 중 제5 임계치 미만인 것으로 확인되는 특정 제2 중복 영역에 해당하는 특별 검출 바운딩 박스들이 서로 다른 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, (iii) 상기 특별 검출 바운딩 박스들을 상기 각각의 관찰 대상 자동차를 포함하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, 컨볼루션을 수행할 경우, 패드를 0으로 설정한 상태에서 기설정된 스트라이드로 필터를 이동시키며, 상기 테스트용 후방 영상 이미지를 컨볼루션하거나, 이전에 컨볼루션된 테스트용 피처 맵을 컨볼루션하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, 상기 테스트용 후방 영상 이미지에서 상기 블라인드 스팟에 대응되는 이미지를 컨볼루션하여 상기 테스트용 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 블라인드 스팟 모니터는, 학습 장치에 의해 학습된 컨볼루션 파라미터, 클래시피케이션 파라미터, 및 리그레션 파라미터를 이용하여 상기 컨볼루션, 상기 클래시피케이션, 및 상기 박스 리그레션을 수행하는 것을 특징으로 하되, 상기 학습 장치는, (i) 트레이닝 이미지를 컨볼루션하여 트레이닝용 피처 맵을 획득하며, 상기 트레이닝용 피처 맵을 RPN(region proposal network)에 입력하여 상기 트레이닝 이미지에 위치하는 오브젝트들에 대응되는 프로포잘 박스들을 획득하며, (ii) 상기 프로포잘 박스에 대응되는 상기 트레이닝 이미지 영역에 대하여 풀링(pooling)을 수행하여 상기 프로포잘 박스 각각에 대응되는 트레이닝용 피처 벡터를 획득하며, 상기 프로포잘 박스 각각에 대응하는 상기 트레이닝용 피처 벡터들을 상기 FC layer에 각각 입력하여 상기 클래시피케이션을 위한 연산을 통해 상기 프로포잘 박스 각각에 대응하는 상기 클래스 별 트레이닝용 클래시피케이션 스코어들을 획득하고, 상기 박스 리그레션을 위한 연산을 통해 상기 프로포잘 박스 각각에 대응하는 상기 클래스 별 트레닝용 리그레션 정보들을 획득하며, (iii) 상기 클래시피케이션 스코어와 기설정된 클래시피케이션 그라운드 트루(ground true)를 비교 분석하여 클래시피케이션에 대한 로스값인 클래시피케이션 로스값을 획득하고, 상기 리그레션 정보들과 기설정된 박스 리그레션 그라운드 트루를 비교 분석하여 리그레션에 대한 로스값인 리그레션 로스값을 획득하며, 상기 획득된 클래시피케이션 로스값과 상기 리그레션 로스값을 각각 백프로퍼게이션(backpropagation)하여 상기 컨볼루션 파라미터, 상기 클래시피케이션 파라미터, 및 상기 박스 리그레션 파라미터를 학습하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법이 제공된다.
또한, 본 발명의 일 실시예에 따르면, 자동차의 블라인드 스팟을 모니터링하는 장치에 있어서, 기준 자동차의 블라인드 스팟(blind spot)에서 상기 기준 자동차로부터 소정 거리 별로 위치하는 참조 자동차에 대응되는 상기 기준 자동차에서 촬영된 샘플링용 후방 영상 이미지들을 획득하고, 각각의 상기 샘플링용 후방 영상 이미지에서 상기 참조 자동차에 대응하는 참조 바운딩 박스(bounding box)들을 생성하며, 상기 참조 바운딩 박스들을 상기 기준 자동차의 블라인드 스팟에 위치하게 될 관찰 대상 자동차를 검출할 수 있는 확률을 가지는 후보 영역으로서의 m개의 프로포잘 박스(proposal box)로 설정한 상태에서, 상기 기준 자동차의 운행 중, 상기 기준 자동차에서 촬영된 후방 영상 이미지를 획득하는 통신부; 및 (i) 상기 테스트용 후방 영상 이미지로부터 적어도 하나의 테스트용 피처 맵을 획득하는 프로세스; (ii) 상기 테스트용 피처 맵 상의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 테스트용 피처 벡터(feature vector)를 획득하며, 상기 m개의 프로포잘 박스 각각에 대응하는 상기 테스트용 피처 벡터를 적어도 하나의 FC layer 에 각각 입력하여 (ii-1) 클래시피케이션을 위한 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 클래스 별 테스트용 클래시피케이션 스코어들을 획득하고, (ii-2) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 클래스 별 테스트용 리그레션 정보들을 획득하는 프로세스; 및 (iii) 상기 클래스 별 테스트용 클래시피케이션 스코어들을 참조하여 상기 m개의 프로포잘 박스 중 j개의 프로포잘 박스들을 선택하고, 상기 j개의 포로포잘 박스 각각에 대응하는 상기 테스트용 리그레션 정보들을 이용하여 상기 j개의 포로포잘 박스 각각에 대응하는 검출 바운딩 박스들을 획득하며, 상기 검출 바운딩 박스 각각이 상기 j개의 프로포잘 박스 중 대응되는 프로포잘 박스와 제1 임계치 이상으로 매칭되는지 각각 확인하여, 상기 j개의 프로포잘 박스 중 적어도 하나의 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단함으로써 상기 기준 자동차의 블라인드 스팟에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하는 프로세스를 수행하는 프로세서; 를 포함하는 자동차의 블라인드 스팟 모니터가 제공된다.
상기 일 실시예에 따르면, (iv) 상기 j개의 프로포잘 박스 중에서 선택된 상기 대응되는 프로포잘 박스와 제2 임계치 미만으로 매칭되는 적어도 하나의 특정 검출 바운딩 박스가 있을 경우, 상기 특정 검출 바운딩 박스를 상기 기준 자동차의 블라인드 스팟에 위치하게 될 상기 관찰 대상 자동차를 검출하기 위한 후보 영역들을 포함하는 그룹의 새로운 구성요소로서 추가되는 적어도 하나의 동적 프로포잘 박스로 설정하여, 갱신된 그룹을 획득하는 프로세스;을 더 수행하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 특정 검출 바운딩 박스가 획득된 상기 테스트용 후방 영상 이미지의 프레임이 t 프레임일 경우, 상기 테스트용 후방 영상 이미지의 t+1 프레임에서 상기 m개의 프로포잘 박스와 상기 동적 프로포잘 박스를 상기 갱신된 그룹에 포함된 것으로 설정하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 t+1 프레임부터 t+(k-1) 프레임까지 상기 동적 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하고, t+k 프레임에서 상기 동적 프로포잘 박스에 상기 관찰 대상 자동차가 위치하지 않는 것으로 판단된 상태에서, t+k+1 프레임에서 상기 m개의 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, (v) 상기 기준 자동차의 블라인드 스팟에 상기 관찰 대상 자동차가 위치한 것으로 판단될 경우, 상기 블라인드 스팟에 상기 관찰 대상 자동차가 위치한 정보를 상기 자동차의 컨트롤 유닛에 전송함으로써 상기 컨트롤 유닛으로 하여금 상기 관찰 대상 자동차가 위치하는 상기 블라인드 스팟 방향으로 상기 기준 자동차가 차선을 변경하는 것을 방지하도록 지원하는 프로세스;를 더 수행하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 (iii) 프로세스에서, 상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스 각각의 면적과 각각의 상기 검출 바운딩 박스에 대응되는 상기 프로포잘 박스의 면적이 서로 겹치는 제1 중복 영역들을 계산하며, 상기 제1 중복 영역들 중 제3 임계치 이상인 것으로 판단되는 특정 제1 중복 영역에 해당되는 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 (iii) 프로세스에서, 상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스들이 서로 겹치는 제2 중복 영역들을 계산하며, 상기 제2 중복 영역들 중 제4 임계치 이상인 것으로 확인되는 적어도 하나의 특정 제2 중복 영역에 해당하는 적어도 하나의 특수 검출 바운딩 박스들이 하나의 동일한 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, 상기 특수 검출 바운딩 박스들 중 대응되는 상기 프로포잘 박스와 면적이 서로 겹치는 중복 영역이 가장 큰 검출 바운딩 박스를 상기 관찰 대상 자동차에 대한 검출 바운딩 박스로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 (iii) 프로세스에서, 상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스들이 서로 겹치는 제2 중복 영역들을 각각 계산하며, 상기 제2 중복 영역들 중 제5 임계치 미만인 것으로 확인되는 특정 제2 중복 영역에 해당하는 특별 검출 바운딩 박스들이 서로 다른 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, 상기 특별 검출 바운딩 박스들을 서로 다른 상기 관찰 대상 자동차를 포함하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 (i) 프로세스에서, 컨볼루션을 수행할 경우, 패드를 0으로 설정한 상태에서 기설정된 스트라이드로 필터를 이동시키며, 상기 테스트용 후방 영상 이미지를 컨볼루션하거나, 이전에 컨볼루션된 테스트용 피처 맵을 컨볼루션하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 상기 (i) 프로세스에서, 상기 테스트용 후방 영상 이미지에서 상기 블라인드 스팟에 대응되는 이미지를 컨볼루션하여 상기 테스트용 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
또한, 상기 일 실시예에 따르면, 학습 장치에 의해 학습된 컨볼루션 파라미터, 클래시피케이션 파라미터, 및 리그레션 파라미터를 이용하여 상기 컨볼루션, 상기 클래시피케이션, 및 상기 박스 리그레션을 수행하는 것을 특징으로 하되, 상기 학습 장치는, (a) 트레이닝 이미지를 컨볼루션하여 트레이닝용 피처 맵을 획득하며, 상기 트레이닝용 피처 맵을 RPN(region proposal network)에 입력하여 상기 트레이닝 이미지에 위치하는 오브젝트들에 대응되는 프로포잘 박스들을 획득하며, (b) 상기 프로포잘 박스에 대응되는 상기 트레이닝 이미지 영역에 대하여 풀링(pooling)을 수행하여 상기 프로포잘 박스 각각에 대응되는 트레이닝용 피처 벡터를 획득하며, 상기 프로포잘 박스 각각에 대응하는 상기 트레이닝용 피처 벡터들을 상기 FC layer에 각각 입력하여 상기 클래시피케이션을 위한 연산을 통해 상기 프로포잘 박스 각각에 대응하는 상기 클래스 별 트레이닝용 클래시피케이션 스코어들을 획득하고, 상기 박스 리그레션을 위한 연산을 통해 상기 프로포잘 박스 각각에 대응하는 상기 클래스 별 트레닝용 리그레션 정보들을 획득하며, (c) 상기 클래시피케이션 스코어와 기설정된 클래시피케이션 그라운드 트루(ground true)를 비교 분석하여 클래시피케이션에 대한 로스값인 클래시피케이션 로스값을 획득하고, 상기 리그레션 정보들과 기설정된 박스 리그레션 그라운드 트루를 비교 분석하여 리그레션에 대한 로스값인 리그레션 로스값을 획득하며, 상기 획득된 클래시피케이션 로스값과 상기 리그레션 로스값을 각각 백프로퍼게이션(backpropagation)하여 상기 컨볼루션 파라미터, 상기 클래시피케이션 파라미터, 및 상기 박스 리그레션 파라미터를 학습하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터가 제공된다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 컨볼루셔널 뉴럴 네트워크(CNN) 알고리즘을 이용하여 블라인드 스팟에 위치하는 자동차를 정확하게 검출할 수 있게 된다.
또한, 본 발명은 자동차의 주행 환경에 관계없이 블라인드 스팟에 위치하는 자동차를 정확하게 검출할 수 있게 된다.
또한, 본 발명은 블라인드 스팟에 검출 대상 자동차에 대한 후보 영역을 설정함으로써 적은 데이터 양의 연산으로 블라인드 스팟에 위치하는 자동차를 검출할 수 있게 된다.
또한, 본 발명은 배경의 움직임과 영상 노이즈의 영향을 받지 않으며 블라인드 스팟에 위치하는 자동차를 실시간으로 적은 연산을 통해 검출할 수 있게 된다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 블라인드 스팟 모니터링 시스템을 개략적으로 도시한 블록 다이아그램이고,
도 2는 본 발명의 일 실시예에 따른 블라인드 스팟 모니터 시스템이 포함된 자동차를 개략적으로 도시한 것이고,
도 3은 본 발명의 일 실시예에 따라 블라인드 스팟 모니터링을 수행하는 convolutional neural network의 블록 다이아그램을 개략적으로 도시한 것이고,
도 4는 본 발명의 일 실시예에 따라 샘플용 후방 영상 이미지들을 사용하여 블라인드 스팟 모니터링을 위한 프로포잘 박스를 설정하는 상태를 개략적으로 도시한 것이고,
도 5는 본 발명의 일 실시예에 따라 블라인드 스팟 모니터링을 수행하는 상태를 개략적으로 도시한 것이고,
도 6은 본 발명의 일 실시예에 따라 블라인드 스팟 모니터링을 위한 동적 프로포잘 박스를 추가하는 상태를 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
먼저, 도 1은 본 발명의 일 실시예에 따른 블라인드 스팟 모니터링 시스템을 개략적으로 도시한 블록 다이아그램으로, 도 1을 참조하면, 블라인드 스팟 모니터링 시스템은 블라인드 스팟 모니터(100)와 기준 자동차(200)를 포함할 수 있다.
먼저, 블라인드 스팟 모니터(100)는 자동차의 블라인드 스팟에 위치하거나 근접하는 다른 자동차를 검출하는 것으로, 비전 센서(10), 일 예로, 카메라 등으로부터 획득되는 기준 자동차에서 촬영된 후방 영상 이미지를 분석하여 기준 자동차의 블라인드 스팟에 관찰 대상 자동차가 위치하는지 여부를 판별하여 줄 수 있다.
그리고, 기준 자동차(200)는 블라인드 스팟 모니터(100)로부터 전송되는 정보와 스티어링 시스템의 정보를 참조하여 관찰 대상 자동차가 위치하는 블라인드 스팟 방향으로 자동차가 차선을 변경하는 것을 방지하거나 알람 시스템을 통해 운전자가 블라인드 스팟에 관찰 대상 자동차가 위치하는 것을 인지할 수 있도록 할 수 있다. 특히, 기준 자동차(200)가 자율 주행 자동차일 경우, 블라인드 스팟 모니터(100)로부터 수신되는 블라인드 스팟에 위치하는 관찰 대상 자동차의 정보와 주행 환경을 참조하여 자율 주행 중 차선의 변경 여부를 판단할 수 있게 된다.
또한, 블라인드 스팟 모니터(100)는 기준 자동차의 운행 중, 카메라 등의 비전 센서(10)에 의해 촬영된 기준 자동차에서의 후방 영상 이미지를 획득하는 통신부(110)와, 획득된 후방 영상 이미지를 분석하여 기준 자동차의 블라인드 스팟에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하는 프로세서(120)를 포함할 수 있다. 이때, 비전 센서(10)는, 도 2에서 알 수 있는 바와 같이, 기준 자동차(200)의 임의의 위치에 설치되어 기준 자동차(200)의 후방 영상을 촬영하는 것으로, CCD(charge coupled device), CMOS(complementary metal oxide semiconductor), 또는 이미지 캡처 소자 등의 광학 센서를 포함할 수 있다.
그리고, 프로세서(120)는 (i) 획득된 테스트용 후방 영상 이미지로부터 적어도 하나의 테스트용 피처 맵을 획득하며, (ii) 테스트용 피처 맵 상의 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 (iii) m개의 프로포잘 박스 각각에 대응하는 테스트용 피처 벡터(feature vector)를 획득한다. 여기서, m은 기설정된 값일 수 있다. 그리고, 프로세서(120)는 (i) m개의 프로포잘 박스 각각에 대응하는 테스트용 피처 벡터를 적어도 하나의 FC layer에 각각 입력하여 (ii) 클래시피케이션을 위한 연산을 통해 m개의 프로포잘 박스 각각에 대응하는 클래스 별 테스트용 클래시피케이션 스코어들을 획득하고, (iii) m개의 프로포잘 박스 각각에 대응하는 클래스 별 테스트용 리그레션 정보들을 획득한다. 이후, (i) 클래스 별 테스트용 클래시피케이션 스코어들을 참조하여 m개의 프로포잘 박스 중 j개의 프로포잘 박스들을 선택하고, (ii) j개의 포로포잘 박스 각각에 대응하는 테스트용 리그레션 정보들을 이용하여 j개의 프로포잘 박스 각각에 대응하는 검출 바운딩 박스들을 획득하며, (iii) 검출 바운딩 박스 각각이 j개의 프로포잘 박스 중 대응되는 프로포잘 박스와 제1 임계치 이상으로 매칭되는지 각각 확인하여, (iv) j개의 프로포잘 박스 중 적어도 하나의 프로포잘 박스에 관찰 대상 자동차가 위치하는지 여부를 판단함으로써 기준 자동차의 블라인드 스팟에 관찰 대상 자동차가 위치하는지 여부를 판단한다.
이와 같이 구성된 본 발명의 일 실시예에 따른 블라인드 스팟 모니터링 시스템에서 자동차의 블라인드 스팟에 관찰 대상 자동차가 위치하는지 여부를 모니터링 하는 방법을 도 3 내지 도 6을 참조하여 보다 상세하게 설명하면 다음과 같다.
먼저, 운전자 등을 포함하는 사용자는 블라인드 스팟에 위치하게 될 관찰 대상 자동차를 검출하기 위한 후보 영역으로서의 m개의 프로포잘 박스를 설정한다(S1). 여기서, 후보 영역은 적어도 하나의 관찰 대상 자동차를 검출할 수 있는 확률을 가지는 기설정된 값 이상일 수 있다.
일 예로, 사용자는 도 4에서와 같이, 기준 자동차의 블라인드 스팟(blind spot)(BS)에서 기준 자동차로부터 소정 거리 별로 후방에 위치하는 참조 자동차에 대응되는 후방 영상 이미지, 즉, 기준 자동차에서 촬영된 샘플링용 후방 영상 이미지들을 획득한다. 즉, 기준 자동차의 좌우 차선에서 소정 거리 별로 참조 자동차를 이동시켜가며 기준 자동차에 설치된 비전 센서를 이용하여 기준 자동차의 샘플링용 후방 영상 이미지를 촬영한다. 이때, 소정 거리는 도 4에서 1미터로 설정하였지만, 이에 한정되지 않으며 블라인드 스팟(BS)에 위치하게 될 관찰 대상 자동차를 검출하기 위한 임의의 단위 거리로 설정할 수 있으며, 단위 거리 별로 참조 자동차를 이동시키되 각각 이동된 참조 자동차들이 블라인드 스팟(BS)에서 관찰 대상 자동차가 위치하게 될 모든 후보군을 포함하도록 단위 거리 및 이동 회수를 조정할 수 있다.
그리고, 소정 거리 별로 참조 자동차를 이동시키며 촬영된 샘플링용 후방 영상 이미지들에서 각각의 참조 자동차에 대응하는 참조 바운딩 박스(P1, P2, P3)들을 생성하고, 생성된 참조 바운딩 박스(P1, P2, P3)들을 기준 자동차의 블라인드 스팟(BS)에 위치하게 될 관찰 대상 자동차를 검출하기 위한 후보 영역으로서의 m개의 프로포잘 박스(proposal box)(P1, P2, P3)로 설정한다. 도 3 내지 도 6에서는 설명의 편의를 위하여 m개의 프로포잘 박스를 3개의 프로포잘 박스로 도시하였다.
이때, 기준 자동차에서 블라인드 스팟(BS)은 각각 기준 자동차의 좌우 차선 영역에 형성되므로, 일측 방향에서 설정한 m개의 프로포잘 박스(P1, P2, P3)들을 대응되는 타측 방향의 블라인드 스팟에 대칭적으로 설정함으로써 기준 자동차 양측의 블라인드 스팟에 위치하게 될 관찰 대상 자동차의 후보 영역인 프로포잘 박스들을 설정할 수 있게 된다.
다음으로, 도 4에서와 같은 방법에 의해 블라인드 스팟(BS)에 위치하게 될 관찰 대상 자동차에 대한 후보 영역으로서의 m개의 프로포잘 박스(P1, P2, P3)들을 설정한 상태에서, 도 5에서와 같이 기준 자동차의 주행 중, 기준 자동차에서 촬영된 후방 영상 이미지가 통신부(110)를 통해 획득되면, 블라인드 스팟 모니터(100)가 후방 영상 이미지로부터 테스트용 피처 맵을 획득한다(S2).
일 예로, 기준 자동차의 운행 중, 기준 자동차에 설치된 비전 센서(10)가 기준 자동차의 후방 영상 이미지를 촬영하여 전송하면, 블라인드 스팟 모니터(100)의 통신부(110)가 비전 센서(10)로부터 전송되는 기준 자동차의 후방 영상 이미지를 획득하게 되며, 블라인드 스팟 모니터(100)의 프로세서(120)는 통신부(100)를 통해 획득된 후방 영상 이미지를 컨볼루션 레이어에 입력하여 후방 영상 이미지를 컨볼루션함으로써 테스트용 피처 맵을 획득한다.
이때, 블라인드 스팟 모니터(100)의 프로세서(120)는 후방 영상 이미지를 컨볼루션할 경우, 패드를 0으로 설정한 상태에서 기설정된 스트라이드로 필터를 이동시키며 후방 영상 이미지를 컨볼루션하거나, 이전에 컨볼루션된 테스트용 피처 맵을 컨볼루션할 수 있다. 즉, 프로세서(120)는 후방 영상 이미지를 컨볼루션하여 후방 영상 이미지를 크기를 축소하며, 컨볼루션을 다중으로 수행하여 기설정된 크기의 테스트용 피처 맵을 획득할 수 있다. 이와는 달리, 블라인드 스팟 모니터(100)의 프로세서(120)는 패드를 특정값으로 설정한 상태에서 컨볼루션을 수행하여 (i) 후방 영상 이미지와 같은 크기의 피처 맵을 획득하고, (ii) 획득된 피처 맵을 풀링하여 피처 맵을 다운 사이징하며, (iii) 컨볼루션과 풀링을 반복하여 후방 영상 이미지로부터 기설정된 크기의 테스트용 피처 맵을 생성할 수도 있다.
또한, 블라인드 스팟 모니터(100)의 프로세서(120)는 컨볼루션 레이어를 이용한 컨볼루션을 수행함에 있어서, 비전 센서(10)로부터 획득된 후방 영상 이미지 전체에 대해 컨볼루션을 수행하거나, 비전 센서(10)로부터 획득된 후방 영상 이미지 중 블라인드 스팟(BS)으로 설정된 영역에 대응되는 이미지만을 컨볼루션하여 테스트용 피처 맵을 획득할 수 있다.
다음으로, 블라인드 스팟 모니터(100)의 프로세서(120)는 테스트용 피처 맵의 m개의 프로포잘 박스(P1, P2, P3)에 대응하는 영역 각각에 대해 풀링(pooling)하여(S3) m개의 프로포잘 박스 각각에 대응하는 테스트용 피처 벡터(feature vector)를 획득할 수 있다.
일 예로, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) 테스트용 피처 맵 중 m개의 프로포잘 박스(P1, P2, P3)에 대응하는 각각의 영역에 해당하는 피처 맵을 ROI 풀링 레이어에 입력하고, (ii) 테스트용 피처 맵의 m개의 프로포잘 박스(P1, P2, …, Pm)에 대응하는 영역 각각에 대해 맥스 풀링하거나 에버리지 풀링하고, (iii) m개의 프로포잘 박스(P1, P2, P3) 각각에 대응하는 테스트용 피처 벡터들을 획득할 수 있다.
다음으로, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) m개의 프로포잘 박스(P1, P2, P3) 각각에 대응하는 테스트용 피처 벡터들을 적어도 하나의 FC(fully connected) layer에 각각 입력하며(S4), (ii) 제1 FC layer에서의 클래시피케이션을 위한 연산을 통해 m개의 프로포잘 박스(P1, P2, P3) 각각에 대응하는 클래스 별 테스트용 클래시피케이션 스코어들을 획득하고, (iii) 제2 FC layer에서의 리그레션을 위한 연산을 통해 m개의 프로포잘 박스(P1, P2, P3) 각각에 대응하는 클래스 별 테스트용 리그레션 정보들을 획득할 수 있다. 이때, 클래스는 검출되는 오브젝트가 무엇인지 판별하기 위한 것이거나, 검출되는 오브젝트가 자동차인지 아닌지를 판별하기 위한 것일 수 있다.
다음으로, 블라인드 스팟 모니터(100)의 프로세서(120)는 제1 FC layer로부터 획득된 클래스 별 테스트용 클래시피케이션 스코어들을 참조하여 m개의 프로포잘 박스(P1, P2, P3) 중 관찰 대상 자동차가 위치하는 것으로 판단된 j개의 프로포잘 박스들을 결정한다(S5).
다음으로, 블라인드 스팟 모니터(100)의 프로세서(120)는 관찰 대상 자동차가 위치하는 것으로 판단된 j개의 포로포잘 박스 각각에 대응하는 테스트용 리그레션 정보들을 이용하여 j개의 포로포잘 박스 각각에 대응하는 검출 바운딩 박스들을 획득한다(S6).
일 예로, 블라인드 스팟 모니터(100)의 프로세서(120)는 j개의 프로포잘 박스 중 하나에 대응하는 리그레션 정보의 일부 중에서 클래스 별 리그레션 정보(상기 클래스 별 리그레션 정보는 자동차 클래스에 대응됨)를 선택하고, 클래스 별 리그레션 정보를 사용하여 상기 특정 프로포잘 박스를 리그레션함으로써, 관찰 대상 자동차를 둘러싸는 바운딩 박스를 획득할 수 있다.
다음으로, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) 검출 바운딩 박스 각각이 j개의 프로포잘 박스 중 대응되는 프로포잘 박스와 제1 임계치 이상으로 매칭되는지 각각 확인하고, (ii) j개의 프로포잘 박스 중 적어도 하나의 프로포잘 박스에 관찰 대상 자동차가 위치하는지 여부를 판단하여, (iii) 기준 자동차의 블라인드 스팟(BS)에 관찰 대상 자동차가 위치하는지 여부를 판단할 수 있다.
한편, j개의 프로포잘 박스들 중에서 대응되는 프로포잘 박스와 제2 임계치 미만으로 매칭되는 적어도 하나의 특정 바운딩 박스가 검출되는 것으로 판단되는 경우, 블라인드 스팟 모니터(100)의 프로세서(120)는 특정 바운딩 박스를 후보 영역들을 포함하는 그룹의 새로운 구성요소로서 추가되는 적어도 하나의 동적 프로포잘 박스(도 5의 DPB)로 설정하여 갱신된 그룹을 획득한다. 여기서, 제1 임계치 및 제2 임계치는 서로 같거나 다를 수 있다. 해당 이미지의 다음 프레임 상에서 m개의 프로포잘 박스(P1, P2, P3)들 이외에 추가된 동적 프로포잘 박스를 사용하여, 블라인드 스팟 모니터(100)는 특정 관찰 대상 자동차를 추적할 수 있다.
예를 들어, 도 6을 참조하여 설명하면, 특정 검출 바운딩 박스(즉, DPB)가 후방 영상 이미지의 t 프레임에서 획득되는 경우, 블라인드 스팟 모니터(100)의 프로세서(120)는 m개의 프로포잘 박스(P1, P2, P3)와 동적 프로포잘 박스를 후방 영상 이미지의 t+1 프레임 상에서 갱신된 그룹에 포함된 것으로 설정할 수 있다.
또한, (i) 동적 프로포잘 박스와 m개의 프로포잘 박스(P1, P2, P3)를 관찰 대상 자동차를 검출하기 위한 후보 영역으로서 설정하고, (ii) t+1 프레임부터 t+(k-1) 프레임까지 동적 프로포잘 박스에 관찰 대상 자동차가 위치하는지 여부를 판단하고, (iii) t+k 프레임에서 동적 프로포잘 박스에 관찰 대상 자동차가 위치하지 않는 것으로 판단된 상태에서, 블라인드 스팟 모니터(100)의 프로세서(120)는, t+k+1 프레임에서 m개의 프로포잘 박스(P1, P2, P3)를 사용하여 관찰 대상 자동차가 위치하는지 여부를 판단할 수 있다.
여기서, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) 검출 바운딩 박스들 각각 및 이에 대응되는 j개의 프로포잘 박스들이 서로 겹치는 영역을 포함하는 제1 중복 영역들을 계산하고, (ii) 제1 중복 영역들 중 제3 임계치 이상인 것으로 판단되는 특정 제1 중복 영역에 해당되는 소정의 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단할 수 있다. 여기서, 바운딩 박스들은 j개의 프로포잘 박스들에 대한 전단사 대응(bijective correspondence)을 갖는다. 예를 들어, 특수 프로포잘 박스들 중 대응되는 특정 바운딩 박스가 획득되면, 블라인드 스팟 모니터(100)의 프로세서(120)는 특수 프로포잘 박스와 특정 바운딩 박스 사이의 제1 중첩 비율을 계산하는데, 여기서 중첩 비율은 (i) 특수 프로포잘 박스와 특정 바운딩 박스가 겹치는 영역을 (ii) 특수 프로포잘 박스와 특정 바운딩 박스의 합친 영역으로 나누는 것으로, 만약 제1 중첩 비율이 제3 임계치 이상이면 특수 프로포잘 박스는 관찰 대상 자동차를 포함하는 것으로 판단할 수 있다.
또한, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) j개의 프로포잘 박스 각각에 대응되는 검출 바운딩 박스들이 서로 중첩되는 제2 중복 영역들을 계산하고, (ii) 제2 중복 영역들 중 제4 임계치 이상인 것으로 확인되는 적어도 하나의 특정 검출 바운딩 박스들을 하나의 동일한 관찰 대상 자동차를 포함하는 것으로 판단하고, (iii) 특수 검출 바운딩 박스들 중 대응되는 프로포잘 박스와 면적이 가장 많이 겹치는 중복 영역을 상기 관찰 대상 자동차를 포함하는 것으로 판단할 수 있다. 여기서, 바운딩 박스들은 j개의 프로포잘 박스들에 대한 전단사 대응(bijective correspondence)을 갖는다.
또한, 블라인드 스팟 모니터(100)의 프로세서(120)는 (i) 제2 중복 영역들을 계산하고, (ii) 제2 중복 영역들 중 특별한 제2 중복 영역과 대응되는 특별한 바운딩 박스들(즉, 제5 임계치 미만인 것으로 판단되는 제2 중복 영역 해당하는 바운딩 박스들)을 서로 다른 관찰 대상 자동차를 포함하는 것으로 판단할 수 있다.
일 예로, 제1 프로포잘 박스에 대응하는 제1 검출 바운딩 박스가 획득되며, 제2 프로포잘 박스에 대응하는 제2 검출 바운딩 박스가 획득될 경우, 프로세서(120)는, 제1 검출 바운딩 박스의 면적과 제2 검출 바운딩 박스의 면적이 중첩되는 제2 중첩 비율, 즉, (i) 제1 검출 바운딩 박스와 제2 검출 바운딩 박스의 교집합의 면적을 (ii) 제1 검출 바운딩 박스와 제2 검출 바운딩 박스의 합집합의 면적으로 나눈 비율을 계산하며, 계산된 제2 중첩 비율이 제4 임계치 이상이면, 프로세서(120)는, 제1 검출 바운딩 박스와 제2 검출 바운딩 박스를 동일한 관찰 대상 자동차를 나타내는 것으로 판단하고, 계산된 제2 중첩 비율이 제5 임계치 미만이면, 프로세서(120)는, 제1 검출 바운딩 박스와 제2 검출 바운딩 박스를 각각 다른 관찰 대상 자동차를 포함하는 것으로 판단한다. 여기서, 제4 임계치 및 제5 임계치는 서로 같거나 다를 수 있다. 그리고, 제1 검출 바운딩 박스와 제2 검출 바운딩 박스가 하나의 동일한 관찰 대상 자동차를 포함하는 것으로 판단될 경우, 프로세서(120)는, 제1 검출 바운딩 박스와 제1 프로포잘 박스가 중첩되는 제3 비율과, 제2 검출 바운딩 박스와 제2 프로포잘 박스가 중첩되는 제4 비율을 비교하여, 제3 비율이 클 경우, 제1 검출 바운딩 박스가 관찰 대상 자동차를 포함하는 것으로 판단한다.
다음으로, 블라인드 스팟 모니터(100)의 프로세서(120)는 기준 자동차의 블라인드 스팟에 관찰 대상 자동차가 위치한 것으로 판단될 경우, 블라인드 스팟에 관찰 대상 자동차가 위치한 정보를 기준 자동차(200)의 컨트롤 유닛에 전송함으로써 기준 자동차(200)의 컨트롤 유닛으로 하여금 관찰 대상 자동차가 위치하는 블라인드 스팟 방향으로 자동차가 차선을 변경하는 것을 방지하도록 지원할 수 있다.
이때, 기준 자동차(200)의 컨트롤 유닛은 자동차의 스티어링 시스템의 정보를 참조하여 운전자가 차선을 변경하고자 할 경우, 변경하고자 하는 차선의 블라인드 스팟에 관찰 대상 자동차가 위치할 경우 알람 시스템을 통해 운전자가 블라인드 스팟에 관찰 대상 자동차가 있음을 인지할 수 있도록 하여 차선 변경에 따른 위험 상황을 미연에 방지할 수 있도록 할 수 있다. 또한, 기준 자동차(200)가 자율 주행 자동차일 경우 자율 주행 자동차가 블라인드 스팟에 관찰 자동차가 위치하는지 여부에 대한 정보와 주행 환경을 참조하여 안전하게 차선을 변경할 수 있도록 할 수 있다.
상기에서 블라인드 스팟에 관찰 대상 자동차가 위치하는지 확인하는 동작을 일측 블라인드 스팟에 대해서만 설명하였지만, 자동차의 양측 차선에 형성되는 블라인드 스팟 각각에 대해 순차적으로 상기와 같은 방법을 수행하여 블라인드 스팟에 관찰 대상 자동차가 위치하는지를 확인할 수 있다.
그리고, 상기의 방법에 의해 블라인드 스팟에 관찰 대상 자동차가 위치하는지를 모니터링하는 방법에 있어서, 블라인드 스팟 모니터는, 학습 장치에 의해 학습된 컨볼루션 파라미터, 클래시피케이션 파라미터, 및 리그레션 파라미터를 이용하여 컨볼루션, 클래시피케이션, 및 박스 리그레션을 수행할 수 있는 CNN을 포함할 수 있다.
이때, 학습 장치는 블라인드 스팟 모니터와 동일한 장치일 수 있으나, 이에 한정되지 않으며, 학습 장치 및 블라인드 스팟 모니터는 그 기능을 수행하기 위해 별도의 여러 장치들로 나눠질 수 있지만, 본 명세서에서는 편의상 단일 장치로서 구현되는 학습 장치를 설명한다. 본 발명에 따른 학습 장치는 콘볼루셔널 레이어, 영역 프로포잘 네트워크, FC 레이어 등 적어도 일부를 포함할 수 있다. 또한, 유사한 조건들이 블라인드 스팟 모니터에 적용될 수 있다.
그리고, 학습 장치 또는 블라인드 스팟 모니터가 학습하는 방법을 개략적으로 설명하면 다음과 같다.
먼저, 트레이닝 이미지를 컨볼루션하여 트레이닝용 피처 맵을 획득하며, 트레이닝용 피처 맵을 RPN(region proposal network)에 입력하여 트레이닝 이미지에 위치하는 오브젝트들에 대응되는 프로포잘 박스들을 획득한다. 그리고, 프로포잘 박스들에 대응되는 트레이닝 이미지 영역에 대하여 풀링(pooling)을 수행하여 프로포잘 박스 각각에 대응되는 트레이닝용 피처 벡터를 획득한다, 이후, 프로포잘 박스 각각에 대응하는 트레이닝용 피처 벡터들을 FC layer에 각각 입력하여 클래시피케이션을 위한 연산을 통해 프로포잘 박스 각각에 대응하는 클래스 별 트레이닝용 클래시피케이션 스코어들을 획득하고, 박스 리그레션을 위한 연산을 통해 프로포잘 박스 각각에 대응하는 클래스 별 트레닝용 리그레션 정보들을 획득한다. 그리고, 클래시피케이션 스코어와 기설정된 클래시피케이션 그라운드 트루(ground true)를 비교 분석하여 클래시피케이션에 대한 로스값인 클래시피케이션 로스값을 획득하고, 리그레션 정보들과 기설정된 박스 리그레션 그라운드 트루를 비교 분석하여 리그레션에 대한 로스값인 리그레션 로스값을 획득하며, 획득된 클래시피케이션 로스값과 리그레션 로스값을 각각 백프로퍼게이션(backpropagation)하여 컨볼루션 파라미터, 클래시피케이션 파라미터, 및 박스 리그레션 파라미터를 학습한다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
10: 비전 센서,
100: 블라인드 스팟 모니터,
110: 통신부,
120: 프로세서,
200: 자동차,
BS: 블라인드 스팟,
P1, P2, P3: 프로포잘 박스,
DPB: 동적 프로포잘 박스

Claims (22)

  1. 자동차의 블라인드 스팟을 모니터링하는 방법에 있어서,
    (a) (i) 기준 자동차의 블라인드 스팟(blind spot)에서 상기 기준 자동차로부터 소정 거리 별로 위치하는 참조 자동차에 대응되는 상기 기준 자동차에서 촬영된 샘플링용 후방 영상 이미지들을 획득하고, (ii) 각각의 상기 샘플링용 후방 영상 이미지에서 상기 참조 자동차에 대응하는 참조 바운딩 박스(bounding box)들을 생성하며, (iii) 상기 참조 바운딩 박스들을 상기 기준 자동차의 블라인드 스팟에 위치하게 될 관찰 대상 자동차를 검출할 수 있는 확률을 가지는 후보 영역으로서의 m개의 프로포잘 박스(proposal box)로 설정한 상태에서, 상기 기준 자동차의 운행 중 상기 기준 자동차에서 촬영된 테스트용 후방 영상 이미지가 획득되면, 블라인드 스팟 모니터가, 상기 테스트용 후방 영상 이미지로부터 적어도 하나의 테스트용 피처 맵을 획득하는 단계;
    (b) 상기 블라인드 스팟 모니터가, (i) 상기 테스트용 피처 맵 상의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 테스트용 피처 벡터(feature vector)를 획득하며, (ii) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 테스트용 피처 벡터를 적어도 하나의 FC layer에 각각 입력하여 (iii) 클래시피케이션을 위한 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 클래스 별 테스트용 클래시피케이션 스코어들을 획득하고, (iv) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 클래스 별 테스트용 리그레션 정보들을 획득하는 단계; 및
    (c) 상기 블라인드 스팟 모니터는, (i) 상기 클래스 별 테스트용 클래시피케이션 스코어들을 참조하여 상기 m개의 프로포잘 박스 중 j개의 프로포잘 박스들을 선택하고, (ii) 상기 j개의 포로포잘 박스 각각에 대응하는 상기 테스트용 리그레션 정보들을 이용하여 상기 j개의 포로포잘 박스 각각에 대응하는 검출 바운딩 박스들을 획득하며, (iii) 상기 검출 바운딩 박스 각각이 상기 j개의 프로포잘 박스 중 대응되는 프로포잘 박스와 제1 임계치 이상으로 매칭되는지 각각 확인하여, (iv) 상기 j개의 프로포잘 박스 중 적어도 하나의 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단함으로써 상기 기준 자동차의 블라인드 스팟에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    (d) 상기 j개의 프로포잘 박스 중에서 선택된 상기 대응되는 프로포잘 박스와 제2 임계치 미만으로 매칭되는 적어도 하나의 특정 검출 바운딩 박스가 있을 경우, 상기 블라인드 스팟 모니터는, 상기 특정 검출 바운딩 박스를 상기 기준 자동차의 블라인드 스팟에 위치하게 될 상기 관찰 대상 자동차를 검출하기 위한 후보 영역들을 포함하는 그룹의 새로운 구성요소로서 추가되는 적어도 하나의 동적 프로포잘 박스로 설정하여, 갱신된 그룹을 획득하는 단계;
    를 더 포함하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  3. 제2항에 있어서,
    상기 (d) 단계에서, 상기 특정 검출 바운딩 박스가 획득된 상기 테스트용 후방 영상 이미지의 프레임이 t 프레임일 경우, 상기 블라인드 스팟 모니터는, 상기 테스트용 후방 영상 이미지의 t+1 프레임에서, 상기 m개의 프로포잘 박스와 상기 동적 프로포잘 박스를 상기 갱신된 그룹에 포함된 것으로 설정하는 자동차의 블라인드 스팟 모니터링 방법.
  4. 제3항에 있어서,
    상기 블라인드 스팟 모니터는,
    (i) 상기 t+1 프레임부터 t+(k-1) 프레임까지 상기 동적 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하고, (ii) t+k 프레임에서 상기 동적 프로포잘 박스에 상기 관찰 대상 자동차가 위치하지 않는 것으로 판단된 상태에서, t+k+1 프레임에서 m개의 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  5. 제1항에 있어서,
    (e) 상기 기준 자동차의 블라인드 스팟에 상기 관찰 대상 자동차가 위치한 것으로 판단될 경우, 상기 블라인드 스팟 모니터는, 상기 블라인드 스팟에 상기 관찰 대상 자동차가 위치한 정보를 상기 자동차의 컨트롤 유닛에 전송함으로써 상기 컨트롤 유닛으로 하여금 상기 관찰 대상 자동차가 위치하는 상기 블라인드 스팟 방향으로 상기 기준 자동차가 차선을 변경하는 것을 방지하도록 지원하는 단계;
    를 더 포함하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  6. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 블라인드 스팟 모니터는,
    (i) 상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스 각각의 면적과 각각의 상기 검출 바운딩 박스에 대응되는 상기 프로포잘 박스의 면적이 서로 겹치는 제1 중복 영역들을 계산하며, (ii) 상기 제1 중복 영역들 중 제3 임계치 이상인 것으로 판단되는 특정 제1 중복 영역에 해당되는 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  7. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 블라인드 스팟 모니터는,
    (i) 상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스들이 서로 겹치는 제2 중복 영역들을 계산하며, (ii) 상기 제2 중복 영역들 중 제4 임계치 이상인 것으로 확인되는 적어도 하나의 특정 제2 중복 영역에 해당하는 적어도 하나의 특수 검출 바운딩 박스들이 하나의 동일한 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, (iii) 상기 특수 검출 바운딩 박스들 중 대응되는 상기 프로포잘 박스와 면적이 서로 겹치는 중복 영역이 가장 큰 검출 바운딩 박스를 상기 관찰 대상 자동차에 대한 검출 바운딩 박스로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  8. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 블라인드 스팟 모니터는,
    (i) 상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스들이 서로 겹치는 제2 중복 영역들을 각각 계산하며, (ii) 상기 제2 중복 영역들 중 제5 임계치 미만인 것으로 확인되는 특정 제2 중복 영역에 해당하는 특별 검출 바운딩 박스들이 서로 다른 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, (iii) 상기 특별 검출 바운딩 박스들을 상기 각각의 관찰 대상 자동차를 포함하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  9. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 블라인드 스팟 모니터는,
    컨볼루션을 수행할 경우, 패드를 0으로 설정한 상태에서 기설정된 스트라이드로 필터를 이동시키며, 상기 테스트용 후방 영상 이미지를 컨볼루션하거나, 이전에 컨볼루션된 테스트용 피처 맵을 컨볼루션하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  10. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 블라인드 스팟 모니터는,
    상기 테스트용 후방 영상 이미지에서 상기 블라인드 스팟에 대응되는 이미지를 컨볼루션하여 상기 테스트용 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  11. 제1항에 있어서,
    상기 블라인드 스팟 모니터는, 학습 장치에 의해 학습된 컨볼루션 파라미터, 클래시피케이션 파라미터, 및 리그레션 파라미터를 이용하여 상기 컨볼루션, 상기 클래시피케이션, 및 상기 박스 리그레션을 수행하는 것을 특징으로 하되,
    상기 학습 장치는,
    (i) 트레이닝 이미지를 컨볼루션하여 트레이닝용 피처 맵을 획득하며, 상기 트레이닝용 피처 맵을 RPN(region proposal network)에 입력하여 상기 트레이닝 이미지에 위치하는 오브젝트들에 대응되는 프로포잘 박스들을 획득하며, (ii) 상기 프로포잘 박스에 대응되는 상기 트레이닝 이미지 영역에 대하여 풀링(pooling)을 수행하여 상기 프로포잘 박스 각각에 대응되는 트레이닝용 피처 벡터를 획득하며, 상기 프로포잘 박스 각각에 대응하는 상기 트레이닝용 피처 벡터들을 상기 FC layer에 각각 입력하여 상기 클래시피케이션을 위한 연산을 통해 상기 프로포잘 박스 각각에 대응하는 상기 클래스 별 트레이닝용 클래시피케이션 스코어들을 획득하고, 상기 박스 리그레션을 위한 연산을 통해 상기 프로포잘 박스 각각에 대응하는 상기 클래스 별 트레닝용 리그레션 정보들을 획득하며, (iii) 상기 클래시피케이션 스코어와 기설정된 클래시피케이션 그라운드 트루(ground true)를 비교 분석하여 클래시피케이션에 대한 로스값인 클래시피케이션 로스값을 획득하고, 상기 리그레션 정보들과 기설정된 박스 리그레션 그라운드 트루를 비교 분석하여 리그레션에 대한 로스값인 리그레션 로스값을 획득하며, 상기 획득된 클래시피케이션 로스값과 상기 리그레션 로스값을 각각 백프로퍼게이션(backpropagation)하여 상기 컨볼루션 파라미터, 상기 클래시피케이션 파라미터, 및 상기 박스 리그레션 파라미터를 학습하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터링 방법.
  12. 자동차의 블라인드 스팟을 모니터링하는 장치에 있어서,
    기준 자동차의 블라인드 스팟(blind spot)에서 상기 기준 자동차로부터 소정 거리 별로 위치하는 참조 자동차에 대응되는 상기 기준 자동차에서 촬영된 샘플링용 후방 영상 이미지들을 획득하고, 각각의 상기 샘플링용 후방 영상 이미지에서 상기 참조 자동차에 대응하는 참조 바운딩 박스(bounding box)들을 생성하며, 상기 참조 바운딩 박스들을 상기 기준 자동차의 블라인드 스팟에 위치하게 될 관찰 대상 자동차를 검출할 수 있는 확률을 가지는 후보 영역으로서의 m개의 프로포잘 박스(proposal box)로 설정한 상태에서, 상기 기준 자동차의 운행 중, 상기 기준 자동차에서 촬영된 테스트용 후방 영상 이미지를 획득하는 통신부; 및
    (i) 상기 테스트용 후방 영상 이미지로부터 적어도 하나의 테스트용 피처 맵을 획득하는 프로세스; (ii) 상기 테스트용 피처 맵 상의 상기 m개의 프로포잘 박스에 대응하는 영역 각각에 대해 풀링(pooling)하여 상기 m개의 프로포잘 박스 각각에 대응하는 테스트용 피처 벡터(feature vector)를 획득하며, 상기 m개의 프로포잘 박스 각각에 대응하는 상기 테스트용 피처 벡터를 적어도 하나의 FC layer 에 각각 입력하여 (ii-1) 클래시피케이션을 위한 연산을 통해 상기 m개의 프로포잘 박스 각각에 대응하는 클래스 별 테스트용 클래시피케이션 스코어들을 획득하고, (ii-2) 상기 m개의 프로포잘 박스 각각에 대응하는 상기 클래스 별 테스트용 리그레션 정보들을 획득하는 프로세스; 및 (iii) 상기 클래스 별 테스트용 클래시피케이션 스코어들을 참조하여 상기 m개의 프로포잘 박스 중 j개의 프로포잘 박스들을 선택하고, 상기 j개의 포로포잘 박스 각각에 대응하는 상기 테스트용 리그레션 정보들을 이용하여 상기 j개의 포로포잘 박스 각각에 대응하는 검출 바운딩 박스들을 획득하며, 상기 검출 바운딩 박스 각각이 상기 j개의 프로포잘 박스 중 대응되는 프로포잘 박스와 제1 임계치 이상으로 매칭되는지 각각 확인하여, 상기 j개의 프로포잘 박스 중 적어도 하나의 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단함으로써 상기 기준 자동차의 블라인드 스팟에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하는 프로세스를 수행하는 프로세서
    를 포함하는 자동차의 블라인드 스팟 모니터.
  13. 제12항에 있어서,
    상기 프로세서는,
    (iv) 상기 j개의 프로포잘 박스 중에서 선택된 상기 대응되는 프로포잘 박스와 제2 임계치 미만으로 매칭되는 적어도 하나의 특정 검출 바운딩 박스가 있을 경우, 상기 특정 검출 바운딩 박스를 상기 기준 자동차의 블라인드 스팟에 위치하게 될 상기 관찰 대상 자동차를 검출하기 위한 후보 영역들을 포함하는 그룹의 새로운 구성요소로서 추가되는 적어도 하나의 동적 프로포잘 박스로 설정하여, 갱신된 그룹을 획득하는 프로세스;
    을 더 수행하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 특정 검출 바운딩 박스가 획득된 상기 테스트용 후방 영상 이미지의 프레임이 t 프레임일 경우, 상기 테스트용 후방 영상 이미지의 t+1 프레임에서 상기 m개의 프로포잘 박스와 상기 동적 프로포잘 박스를 상기 갱신된 그룹에 포함된 것으로 설정하는 자동차의 블라인드 스팟 모니터.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 t+1 프레임부터 t+(k-1) 프레임까지 상기 동적 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하고, t+k 프레임에서 상기 동적 프로포잘 박스에 상기 관찰 대상 자동차가 위치하지 않는 것으로 판단된 상태에서, t+k+1 프레임에서 상기 m개의 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는지 여부를 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  16. 제12항에 있어서,
    상기 프로세서는,
    (v) 상기 기준 자동차의 블라인드 스팟에 상기 관찰 대상 자동차가 위치한 것으로 판단될 경우, 상기 블라인드 스팟에 상기 관찰 대상 자동차가 위치한 정보를 상기 자동차의 컨트롤 유닛에 전송함으로써 상기 컨트롤 유닛으로 하여금 상기 관찰 대상 자동차가 위치하는 상기 블라인드 스팟 방향으로 상기 기준 자동차가 차선을 변경하는 것을 방지하도록 지원하는 프로세스;
    을 더 수행하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  17. 제12항에 있어서,
    상기 프로세서는,
    상기 (iii) 프로세스에서,
    상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스 각각의 면적과 각각의 상기 검출 바운딩 박스에 대응되는 상기 프로포잘 박스의 면적이 서로 겹치는 제1 중복 영역들을 계산하며, 상기 제1 중복 영역들 중 제3 임계치 이상인 것으로 판단되는 특정 제1 중복 영역에 해당되는 프로포잘 박스에 상기 관찰 대상 자동차가 위치하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  18. 제12항에 있어서,
    상기 프로세서는,
    상기 (iii) 프로세스에서,
    상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스들이 서로 겹치는 제2 중복 영역들을 계산하며, 상기 제2 중복 영역들 중 제4 임계치 이상인 것으로 확인되는 적어도 하나의 특정 제2 중복 영역에 해당하는 적어도 하나의 특수 검출 바운딩 박스들이 하나의 동일한 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, 상기 특수 검출 바운딩 박스들 중 대응되는 상기 프로포잘 박스와 면적이 서로 겹치는 중복 영역이 가장 큰 검출 바운딩 박스를 상기 관찰 대상 자동차에 대한 검출 바운딩 박스로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  19. 제12항에 있어서,
    상기 프로세서는,
    상기 (iii) 프로세스에서,
    상기 j개의 프로포잘 박스 각각에 대응되는 상기 검출 바운딩 박스들이 서로 겹치는 제2 중복 영역들을 각각 계산하며, 상기 제2 중복 영역들 중 제5 임계치 미만인 것으로 확인되는 특정 제2 중복 영역에 해당하는 특별 검출 바운딩 박스들이 서로 다른 상기 관찰 대상 자동차에 대응되는 것으로 판단하고, 상기 특별 검출 바운딩 박스들을 서로 다른 상기 관찰 대상 자동차를 포함하는 것으로 판단하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  20. 제12항에 있어서,
    상기 프로세서는,
    상기 (i) 프로세스에서,
    컨볼루션을 수행할 경우, 패드를 0으로 설정한 상태에서 기설정된 스트라이드로 필터를 이동시키며, 상기 테스트용 후방 영상 이미지를 컨볼루션하거나, 이전에 컨볼루션된 테스트용 피처 맵을 컨볼루션하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  21. 제12항에 있어서,
    상기 프로세서는,
    상기 (i) 프로세스에서,
    상기 테스트용 후방 영상 이미지에서 상기 블라인드 스팟에 대응되는 이미지를 컨볼루션하여 상기 테스트용 피처 맵을 획득하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
  22. 제12항에 있어서,
    상기 프로세서는, 학습 장치에 의해 학습된 컨볼루션 파라미터, 클래시피케이션 파라미터, 및 리그레션 파라미터를 이용하여 상기 컨볼루션, 상기 클래시피케이션, 및 상기 박스 리그레션을 수행하는 것을 특징으로 하되,
    상기 학습 장치는,
    (a) 트레이닝 이미지를 컨볼루션하여 트레이닝용 피처 맵을 획득하며, 상기 트레이닝용 피처 맵을 RPN(region proposal network)에 입력하여 상기 트레이닝 이미지에 위치하는 오브젝트들에 대응되는 프로포잘 박스들을 획득하며, (b) 상기 프로포잘 박스에 대응되는 상기 트레이닝 이미지 영역에 대하여 풀링(pooling)을 수행하여 상기 프로포잘 박스 각각에 대응되는 트레이닝용 피처 벡터를 획득하며, 상기 프로포잘 박스 각각에 대응하는 상기 트레이닝용 피처 벡터들을 상기 FC layer에 각각 입력하여 상기 클래시피케이션을 위한 연산을 통해 상기 프로포잘 박스 각각에 대응하는 상기 클래스 별 트레이닝용 클래시피케이션 스코어들을 획득하고, 상기 박스 리그레션을 위한 연산을 통해 상기 프로포잘 박스 각각에 대응하는 상기 클래스 별 트레닝용 리그레션 정보들을 획득하며, (c) 상기 클래시피케이션 스코어와 기설정된 클래시피케이션 그라운드 트루(ground true)를 비교 분석하여 클래시피케이션에 대한 로스값인 클래시피케이션 로스값을 획득하고, 상기 리그레션 정보들과 기설정된 박스 리그레션 그라운드 트루를 비교 분석하여 리그레션에 대한 로스값인 리그레션 로스값을 획득하며, 상기 획득된 클래시피케이션 로스값과 상기 리그레션 로스값을 각각 백프로퍼게이션(backpropagation)하여 상기 컨볼루션 파라미터, 상기 클래시피케이션 파라미터, 및 상기 박스 리그레션 파라미터를 학습하는 것을 특징으로 하는 자동차의 블라인드 스팟 모니터.
KR1020180117319A 2017-10-04 2018-10-02 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터 KR102098131B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/724,544 US9934440B1 (en) 2017-10-04 2017-10-04 Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
US15/724,544 2017-10-04

Publications (2)

Publication Number Publication Date
KR20190039457A true KR20190039457A (ko) 2019-04-12
KR102098131B1 KR102098131B1 (ko) 2020-04-07

Family

ID=61711642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180117319A KR102098131B1 (ko) 2017-10-04 2018-10-02 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터

Country Status (5)

Country Link
US (1) US9934440B1 (ko)
EP (1) EP3466764B1 (ko)
JP (1) JP6668435B2 (ko)
KR (1) KR102098131B1 (ko)
CN (1) CN109606263B (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117022255A (zh) * 2018-03-20 2023-11-10 御眼视觉技术有限公司 用于主车辆的自动驾驶系统、机器可读存储介质和装置
CN108764292B (zh) * 2018-04-27 2022-03-18 北京大学 基于弱监督信息的深度学习图像目标映射及定位方法
US11099579B2 (en) * 2018-05-31 2021-08-24 Nissan North America, Inc. System for determining the number of remote vehicles following a host vehicle
CN109166094B (zh) * 2018-07-11 2022-03-25 华南理工大学 一种基于深度学习的绝缘子故障定位识别方法
EP3854646B1 (en) 2018-08-14 2024-05-29 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
CN112534473A (zh) * 2018-08-22 2021-03-19 日立汽车系统株式会社 图像处理装置以及图像处理方法
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US10984262B2 (en) 2018-10-08 2021-04-20 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
JP6928917B2 (ja) * 2018-11-06 2021-09-01 パナソニックＩｐマネジメント株式会社 移動体管理システム、移動体、管理装置、制御方法、及びプログラム
US11010907B1 (en) 2018-11-27 2021-05-18 Zoox, Inc. Bounding box selection
US10936902B1 (en) * 2018-11-27 2021-03-02 Zoox, Inc. Training bounding box selection
US10509987B1 (en) * 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US10325179B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
US11087175B2 (en) * 2019-01-30 2021-08-10 StradVision, Inc. Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
US10796206B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
US10698222B1 (en) * 2019-01-31 2020-06-30 StradVision, Inc. Method for monitoring blind spot of cycle using smart helmet for cycle rider and blind spot monitoring device using them
JP7085504B2 (ja) * 2019-02-27 2022-06-16 本田技研工業株式会社 車両制御システム
DE102019115092A1 (de) * 2019-06-05 2020-12-10 Bayerische Motoren Werke Aktiengesellschaft Bestimmen einer Objekterkennungsrate eines künstlichen neuronalen Netzes zur Objekterkennung für ein automatisiertes Kraftfahrzeug
CN111340092B (zh) * 2020-02-21 2023-09-22 浙江大华技术股份有限公司 一种目标关联处理方法及装置
US11537819B1 (en) * 2020-04-30 2022-12-27 Zoox, Inc. Learned state covariances
US10970598B1 (en) * 2020-05-13 2021-04-06 StradVision, Inc. Learning method and learning device for training an object detection network by using attention maps and testing method and testing device using the same
CN112633258B (zh) * 2021-03-05 2021-05-25 天津所托瑞安汽车科技有限公司 一种目标确定方法及装置、电子设备、计算机可读存储介质
US11113574B1 (en) * 2021-03-26 2021-09-07 StradVision, Inc. Methods for performing self-supervised learning of deep-learning based detection network by using deep Q-network and devices using the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170070715A (ko) * 2015-12-14 2017-06-22 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
KR20170086899A (ko) * 2016-01-19 2017-07-27 연세대학교 산학협력단 다중 카메라를 이용한 이륜차 검출 방법 및 그 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050146607A1 (en) * 2004-01-06 2005-07-07 Romeo Linn Object Approaching Detection Anti Blind e-Mirrors System
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
TWI478832B (zh) * 2010-03-31 2015-04-01 Hon Hai Prec Ind Co Ltd 行車視覺盲區偵測系統及方法
US9418556B2 (en) * 2010-12-30 2016-08-16 Wise Automotive Corporation Apparatus and method for displaying a blind spot
US9586525B2 (en) * 2011-11-28 2017-03-07 Robert Bosch Gmbh Camera-assisted blind spot detection
US9002060B2 (en) * 2012-06-28 2015-04-07 International Business Machines Corporation Object retrieval in video data using complementary detectors
US9242602B2 (en) * 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
KR101611167B1 (ko) * 2013-07-22 2016-04-11 진종욱 운전시야 지원장치
KR20150018037A (ko) * 2013-08-08 2015-02-23 주식회사 케이티 관제 시스템 및 이를 이용한 관제 방법
KR102045088B1 (ko) * 2013-08-13 2019-11-14 현대모비스 주식회사 영상 표시 방법 및 이를 위한 위한 장치
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
CN105564316A (zh) * 2016-01-06 2016-05-11 北京京东尚科信息技术有限公司 车辆盲区监控系统及控制方法
CN107180220B (zh) * 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
KR101949358B1 (ko) * 2016-04-04 2019-02-18 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
US9947226B2 (en) * 2016-04-12 2018-04-17 Denso International America, Inc. Methods and systems for blind spot monitoring with dynamic detection range

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170070715A (ko) * 2015-12-14 2017-06-22 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
KR20170086899A (ko) * 2016-01-19 2017-07-27 연세대학교 산학협력단 다중 카메라를 이용한 이륜차 검출 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dreossi et al. Systematic testing of convolutional neural networks for autonomous driving. arXiv. 2017년, pp. 1-5.* *

Also Published As

Publication number Publication date
EP3466764A1 (en) 2019-04-10
EP3466764B1 (en) 2021-09-22
JP6668435B2 (ja) 2020-03-18
KR102098131B1 (ko) 2020-04-07
CN109606263A (zh) 2019-04-12
JP2019067405A (ja) 2019-04-25
US9934440B1 (en) 2018-04-03
CN109606263B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
KR20190039457A (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
KR102098140B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US10300851B1 (en) Method for warning vehicle of risk of lane change and alarm device using the same
US7920719B2 (en) Collision avoidance of a mobile unit
US11010622B2 (en) Infrastructure-free NLoS obstacle detection for autonomous cars
JP2021523443A (ja) Ｌｉｄａｒデータと画像データの関連付け
KR102485480B1 (ko) 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법
US9626599B2 (en) Reconfigurable clear path detection system
KR101825687B1 (ko) 차영상을 이용한 장애물 검출장치 및 그 방법
JP2020061140A (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
Lategahn et al. Mapping in dynamic environments using stereo vision
Berriel et al. A particle filter-based lane marker tracking approach using a cubic spline model
Sirbu et al. Real-time line matching based speed bump detection algorithm
US20050129274A1 (en) Motion-based segmentor detecting vehicle occupants using optical flow method to remove effects of illumination
JPH0778234A (ja) 走行路検出装置
Vitor et al. Stereo vision for dynamic urban environment perception using semantic context in evidential grid
Zhao et al. Moving object classification using horizontal laser scan data
KR20210074488A (ko) 비정형 환경 자율주행을 위한 추종선 생성 방법 및 시스템
Shafique et al. Computer vision based autonomous navigation in controlled environment
Vaudrey et al. Integrating disparity images by incorporating disparity rate
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
Kang et al. TPE-Net: Track Point Extraction and Association Network for Rail Path Proposal Generation
Qian et al. Obstacles extraction using a moving camera
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法
Shopovska et al. A hybrid fusion based frontal-lateral collaborative pedestrian detection and tracking

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant