KR20200038847A - 자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치 - Google Patents

자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치 Download PDF

Info

Publication number
KR20200038847A
KR20200038847A KR1020190105494A KR20190105494A KR20200038847A KR 20200038847 A KR20200038847 A KR 20200038847A KR 1020190105494 A KR1020190105494 A KR 1020190105494A KR 20190105494 A KR20190105494 A KR 20190105494A KR 20200038847 A KR20200038847 A KR 20200038847A
Authority
KR
South Korea
Prior art keywords
blind spot
sub
free space
vehicle
threshold
Prior art date
Application number
KR1020190105494A
Other languages
English (en)
Other versions
KR102224818B1 (ko
Inventor
김계현
김용중
김인수
김학경
남운현
부석훈
성명철
여동훈
유우주
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200038847A publication Critical patent/KR20200038847A/ko
Application granted granted Critical
Publication of KR102224818B1 publication Critical patent/KR102224818B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18166—Overtaking, changing lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 자동차의 차선 변경에 대한 위험을 경보하는 방법에 있어서, (a) 운행 중인 자동차에서 촬영된 후방 이미지가 획득되면, 경보 장치가, 학습된 CNN(Convolutional Neural Network)를 이용하여 후방 영상 이미지를 세그멘테이션함으로써 후방 이미지에 대응되는 세그멘테이션 이미지를 획득하는 단계; (b) 경보 장치가, 세그멘테이션 이미지를 참조하여 블라인드 스팟에서의 프리 스페이스 비율을 확인하되, 프리 스페이스 비율은 블라인드 스팟에서 객체가 위치하지 않는 도로 영역의 블라인드 스팟의 전체 영역에 대한 비율로 결정되는 것을 특징으로 하는 단계; 및 (c) 프리 스페이스 비율이 소정의 임계값 이하일 경우, 경보 장치가, 자동차의 운전자에게 차선 변경에 대한 위험을 경보하여 주는 단계;를 포함하는 방법이 제공된다.

Description

자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치{METHOD FOR WARNING VEHICLE OF RISK OF LANE CHANGE AND ALARM DEVICE USING THE SAME}
본 발명은 자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치에 관한 것으로; 보다 상세하게는, 상기 자동차의 상기 차선 변경에 대한 상기 위험을 경보하는 방법에 있어서, (a) 운행 중인 자동차에서 촬영된 적어도 하나의 후방 이미지가 획득되면, 학습된 CNN(Convolutional Neural Network)을 이용하여 상기 후방 이미지를 세그멘테이션함으로써 상기 후방 이미지에 대응되는 세그멘테이션 이미지를 획득하는 단계; (b) 상기 세그멘테이션 이미지를 참조하여 적어도 하나의 블라인드 스팟(blind spot)에서의 적어도 하나의 프리 스페이스 비율(free space ratio)을 확인하되, 상기 프리 스페이스 비율은 상기 블라인드 스팟에서 객체가 위치하지 않는 도로 영역의 상기 블라인드 스팟의 전체 영역에 대한 비율로 결정되는 것을 특징으로 하는 단계; 및 (c) 상기 프리 스페이스 비율이 적어도 하나의 소정의 임계값 이하일 경우, 상기 자동차의 운전자에게 차선 변경에 대한 상기 위험을 경보하여 주는 단계;를 포함하는 것을 특징으로 하는 방법 및 이를 이용한 장치에 관한 것이다.
일반적으로 운전자가 자동차를 운행 중 차선변경을 할 때 측면 및 후방을 관찰하여 시야를 확보할 수 있도록 자동차의 양측에 사이드미러가 설치되어 있고 실내 전면 중앙부에 룸미러가 설치되어 있다.
사이드미러는 자동차의 양측 면에 설치되어 측면 및 후방 시야를 확보하도록 이용되고 있지만, 측면에 근접하여 주행하는 자동차나 다른 어떤 객체는 확인할 수 없는 블라인드 스팟이 있다.
따라서 주행 중인 자동차의 측면에 붙어서 뒤따라오는 다른 자동차를 운전자가 확인하지 못하고 차선을 변경할 경우 블라인드 스팟에서 주행하는 다른 자동차와 접촉사고가 발생할 수 있는 문제점이 있었다.
이러한 문제점을 방지하기 위하여 운전자가 블라인드 스팟을 관측할 수 있도록 볼록거울을 사이드미러의 한쪽 부분에 부착하는 경우도 있다.
하지만, 사이드미러에 볼록거울 등을 설치할 경우에도, 자동차의 차선을 변경하기 위하여 운전자는 육안으로 블라인드 스팟을 확인하여야 하므로 운전자의 운전 피로도가 증가되며, 운전자가 머리 위치를 바꿔도 볼록거울로 확인되지 않는 블라인드 스팟이 존재하는 문제점이 발생한다.
이를 방지하기 위하여, 최근에는 자동차의 후면에 장착된 센서를 통해 블라인드 스팟에 접근하거나 블라인드 스팟에 위치하는 자동차 등을 감지한 정보를 운전자에게 제공함으로써 운전자가 블라인드 스팟에 있는 자동차를 인지하지 못하고 차선을 변경하는 경우 미연에 사고를 방지하기 위한 블라인드 스팟 모니터 시스템이 제안되고 있다.
특히, 비전 센서를 이용한 블라인드 스팟 모니터 시스템에서는 영상 정보를 기반으로 몇 가지 특성을 검출해 내는 알고리즘을 일반적으로 적용하고 있다.
이러한 알고리즘은 외부 환경, 객체의 외형, 그리고 시스템 구성에 따른 제한적인 검출율을 보여주며, 정확하게 검출하려면 여러 번의 영상처리 작업을 거쳐야하기 때문에 연산량이 매우 크다. 그러므로 실시간 검출은 제한된 처리 자원으로 인해 내장형 시스템에서는 적용하기 어려울 수 있다.
이에 더하여, 비전 센서를 이용한 자동차의 검출 방법에서는 CNN(Convolutional Neural Network)에서 RPN(Region Proposal Network)이 느린 속도의 원인인 것이 주요 이슈 중 하나다. 특징 맵으로부터 적어도 하나의 후보를 추출하기 위해 RPN은 슬라이딩 윈도우가 모든 위치마다 적어도 하나의 후보를 포함하는지를 판단한다. FC 레이어(Fully Connected Layer)는 적어도 하나의 후보가 자동차인지 아닌지를 판단하지만, 후보의 상당수는 서로 겹치고 연산을 수행하느라 많은 시간을 소비하며, 이는 검출율을 향상시키는데 거의 도움이 되지 않는다.
또 다른 비전 센서를 이용한 자동차의 검출 예시로는 옵티컬 플로우(optical flow) 기법이 있는데, 영상 픽셀의 움직임을 모션 벡터로 표현하는 방법이다. 그러나, 옵티컬 플로우 기법을 이용한 자동차 인식 알고리즘은 연산 처리량이 매우 많기 때문에 자동차의 실시간 검출이 쉽지 않은 문제점이 있다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 블라인드 스팟에 위치하는 자동차를 용이하게 검출할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명은 자동차의 주행 환경에 관계없이 블라인드 스팟에 위치하는 자동차를 검출할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 블라인드 스팟에 위치하는 자동차를 검출하기 위해 연산되는 데이터의 양이 적은 알고리즘을 제공하는 것을 또 다른 목적으로 한다.
본 발명은 CNN(Convolutional Neural Network)을 통해 획득된 세그멘테이션 이미지를 이용해 블라인드 스팟에 위치하는 자동차를 정확하게 검출할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 CNN을 통해 획득된 세그멘테이션 이미지를 이용해 블라인드 스팟에서 자동차가 없는 도로 영역을 검출하는 간단한 방법에 의해 블라인드 스팟에 위치하는 자동차를 정확하게 검출할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 자동차의 차선 변경에 대한 위험을 경보하는 방법에 있어서, (a) 운행 중인 자동차에서 촬영된 적어도 하나의 후방 이미지가 획득되면, 경보 장치가, 학습된 CNN(Convolutional Neural Network)을 이용하여 상기 후방 이미지를 세그멘테이션함으로써 상기 후방 이미지에 대응되는 세그멘테이션 이미지를 획득하는 단계; (b) 상기 경보 장치가, 상기 세그멘테이션 이미지를 참조하여 적어도 하나의 블라인드 스팟(blind spot)에서의 적어도 하나의 프리 스페이스 비율(free space ratio)을 확인하되, 상기 프리 스페이스 비율은 상기 블라인드 스팟에서 객체가 위치하지 않는 도로 영역의 상기 블라인드 스팟의 전체 영역에 대한 비율로 결정되는 것을 특징으로 하는 단계; 및 (c) 상기 프리 스페이스 비율이 적어도 하나의 소정의 임계값 이하일 경우, 상기 경보 장치가, 상기 자동차의 운전자에게 차선 변경에 대한 상기 위험을 경보하여 주는 단계;를 포함하는 것을 특징으로 하는 방법이다.
일 실시예에서, 상기 블라인드 스팟은 상기 자동차의 후방에서 멀어지는 방향으로 거리 별로 설정되는 제1 서브 블라인드 스팟(sub-blind spot) 내지 제n 서브 블라인드 스팟을 포함하고, 상기 프리 스페이스 비율에 대한 임계값 각각인 제1 임계값 내지 제n 임계값 각각이 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 각각에 대해 설정되며, 상기 (c) 단계에서, 상기 경보 장치는, 제k 임계값 이하인 상기 프리 스페이스 비율을 가지는 제k 서브 블라인드 스팟과 상기 자동차 사이의 거리에 대응하여 상기 운전자에게 경보를 다르게 하는 것을 특징으로 하는 방법이다.
일 실시예에서, (i) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값 이하이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 100%인 경우를 제1 경우라 하며, (ii) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값 이하이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k-1 임계값 이하인 경우를 제2 경우라 하며, (iii) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 100%이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k-1 임계값 이하인 경우를 제3 경우라 하면, 상기 경보 장치는, 상기 제1 경우에 비하여 상기 제2 경우와 상기 제3 경우에 객체가 상기 자동차에 더 근접해 있다고 상기 운전자에게 경보하여 주는 것을 특징으로 하는 방법이다.
일 실시예에서, 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값을 초과하며, 상기 제k 임계값 보다 큰 값으로 설정된 제k' 임계값 이하인 상태에서, 제k+1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 제k+1 임계값 이하일 경우, 상기 경보 장치는, 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 다르게 하는 것을 특징으로 하는 방법이다.
일 실시예에서, 상기 경보 장치는, 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 각각의 상기 프리 스페이스 비율의 변화율 각각을 참조하여 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 내에서의 상기 객체의 이동 정보를 획득하며, 상기 경보 장치는, 상기 객체의 상기 획득된 이동 정보를 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 방법이다.
일 실시예에서, 상기 제k+1 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 제k+1 임계값 이하인 상태에서 커지는 방향으로 변화하며, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 작아지는 방향으로 변화된 경우, 상기 경보 장치는, 상기 객체가 상기 제k+1 서브 블라인드 스팟에서부터 상기 제k 서브 블라인드 스팟으로 이동하는 것으로 판단하고, 상기 제k-1 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 제k-1 임계값 이하인 상태에서 커지는 방향으로 변화하며, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 작아지는 방향으로 변화된 경우, 상기 경보 장치는, 상기 객체가 상기 제k-1 서브 블라인드 스팟에서부터 상기 제k 서브 블라인드 스팟으로 이동하는 것으로 판단하며, 상기 경보 장치는, 상기 제k 서브 블라인드 스팟에서의 상기 객체의 상기 이동 방향을 더 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 방법이다.
일 실시예에서, 상기 경보 장치는, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율의 변화율을 참조하여 상기 객체의 속도 또는 가속도를 확인하며, 상기 객체의 상기 속도 또는 상기 가속도를 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 방법이다.
일 실시예에서, 상기 객체의 상기 속도 또는 상기 가속도를 확인한 결과 상기 객체가 상기 자동차로 접근하는 것으로 판단되는 경우, 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값보다 큰 값으로 설정된 제k” 임계값 이하이면, 상기 경보 장치는, 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 방법이다.
일 실시예에서, 상기 후방 이미지가 제t 프레임에서 획득된 후방 이미지일 경우, 상기 (c) 단계에서, 상기 경보 장치는, (i) 상기 제t 프레임에서의 상기 후방 이미지로부터 확인되는 상기 블라인드 스팟에서의 상기 프리 스페이스 비율인 제t 비율과 (ii) 제t-1 프레임에서의 상기 후방 이미지 내지 제t-i 프레임에서의 상기 후방 이미지로부터 확인되는 상기 블라인드 스팟에서의 상기 프리 스페이스 비율인 제t-1 비율 내지 제t-i 비율 각각을 이용하여, 상기 자동차의 주행 방향에 대응되는 상기 객체의 상대적인 이동 방향을 확인하며, 상기 객체의 상기 상대적인 이동 방향을 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징으로 하는 방법이다.
일 실시예에서, 상기 경보 장치는, 상기 제t-i 비율부터 상기 제t 비율까지의 증가율을 분석하여, 상기 증가율이 음(-)의 값일 경우에는 상기 객체가 상기 블라인드 스팟의 외부에서 내부 방향으로 이동한 것으로 판단하고, 상기 증가율이 양(+)의 값일 경우에는 상기 객체가 상기 블라인드 스팟의 상기 내부에서 상기 외부 방향으로 이동한 것으로 판단하며, 상기 경보 장치가, 상기 객체의 상기 판단된 이동 방향을 더 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징으로 하는 방법이다.
일 실시예에서, 상기 경보 장치는, 상기 제t-i 비율 내지 상기 제t 비율 중 어떤 비율이 100%에서 100% 미만으로 변화되는지에 대한 정보를 참조로 하여 상기 제t-i 프레임 내지 상기 제t 프레임 중 선택된 특정 프레임에서의 상기 세그멘테이션 이미지를 분석하고, 상기 경보 장치가, 상기 객체가 상기 블라인드 스팟에 위치하는 영역이 상기 자동차와 근접한 영역인지 상기 자동차로부터 떨어진 영역인지를 판단함으로써 상기 블라인드 스팟으로의 상기 객체의 진입 위치를 확인한 후, 상기 객체의 상기 블라인드 스팟으로의 상기 진입 위치와 상기 객체의 상기 이동 방향을 참조하여 상기 자동차에 대한 상기 객체의 상대적인 이동 방향을 확인하며, 상기 경보 장치가, 상기 자동차에 대한 상기 객체의 상기 상대적인 이동 방향을 더 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징을 하는 방법이다.
일 실시예에서, 상기 (a) 단계에서, 상기 경보 장치는, 상기 후방 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하여 다운 샘플링된 특징 맵으로서 적어도 하나의 특징 맵을 생성하고, 상기 다운 샘플링된 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하여 상기 후방 이미지 내의 상기 도로 영역과 상기 객체를 세그멘테이션하는 것을 특징으로 하는 방법이다.
본 발명의 다른 태양에 따르면, 자동차의 차선 변경에 대한 위험을 경보하는 경보 장치에 있어서, 운행 중인 자동차에서 촬영된 적어도 하나의 후방 영상 이미지를 획득하는 통신부; 및 (I) 학습된 CNN(Convolutional Neural Network)을 이용하여 상기 후방 이미지를 세그멘테이션함으로써 상기 후방 이미지에 대응되는 세그멘테이션 이미지를 획득하는 프로세스와, (II) 상기 세그멘테이션 이미지를 참조하여 적어도 하나의 블라인드 스팟(blind spot)에서의 적어도 하나의 프리 스페이스 비율(free space ratio)을 확인하되, 상기 프리 스페이스 비율은 상기 블라인드 스팟에서 객체가 위치하지 않는 도로 영역의 상기 블라인드 스팟의 전체 영역에 대한 비율로 결정되는 것을 특징으로 하는 프로세스와, (III) 상기 프리 스페이스 비율이 적어도 하나의 소정의 임계값 이하일 경우, 상기 경보 장치가, 상기 자동차의 운전자에게 차선 변경에 대한 상기 위험을 경보하여 주는 프로세스를 수행하는 프로세서;를 포함하는 것을 특징으로 하는 경보 장치이다.
일 실시예에서, 상기 블라인드 스팟은 상기 자동차의 후방에서 멀어지는 방향으로 거리 별로 설정되는 제1 서브 블라인드 스팟(sub-blind spot) 내지 제n 서브 블라인드 스팟을 포함하고, 상기 프리 스페이스 비율에 대한 임계값 각각인 제1 임계값 내지 제n 임계값 각각이 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 각각에 대해 설정되며, 상기 (III) 프로세스에서, 상기 프로세서가, 제k 임계값 이하인 상기 프리 스페이스 비율을 가지는 제k 서브 블라인드 스팟과 상기 자동차 사이의 거리에 대응하여 상기 운전자에게 경보를 다르게 하는 것을 특징으로 하는 경보 장치이다.
일 실시예에서, (i) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값 이하이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 100%인 경우를 제1 경우라 하며, (ii) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값 이하이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k-1 임계값 이하인 경우를 제2 경우라 하며, (iii) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 100%이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k-1 임계값 이하인 경우를 제3 경우라 하면, 상기 프로세서가, 상기 제1 경우에 비하여 상기 제2 경우와 상기 제3 경우에 객체가 상기 자동차에 더 근접해 있다고 상기 운전자에게 경보하여 주는 것을 특징으로 하는 경보 장치이다.
일 실시예에서, 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값을 초과하며, 상기 제k 임계값 보다 큰 값으로 설정된 제k' 임계값 이하인 상태에서, 제k+1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 제k+1 임계값 이하일 경우, 상기 프로세서가, 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 다르게 하는 것을 특징으로 하는 경보 장치이다.
일 실시예에서, 상기 프로세서가, 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 각각의 상기 프리 스페이스 비율의 변화율 각각을 참조하여 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 내에서의 상기 객체의 이동 정보를 획득하며,
상기 프로세서가, 상기 객체의 상기 획득된 이동 정보를 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 경보 장치이다.
일 실시예에서, 상기 제k+1 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 제k+1 임계값 이하인 상태에서 커지는 방향으로 변화하며, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 작아지는 방향으로 변화된 경우, 상기 프로세서가, 상기 객체가 상기 제k+1 서브 블라인드 스팟에서부터 상기 제k 서브 블라인드 스팟으로 이동하는 것으로 판단하고, 상기 제k-1 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 제k-1 임계값 이하인 상태에서 커지는 방향으로 변화하며, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 작아지는 방향으로 변화된 경우, 상기 프로세서가, 상기 객체가 상기 제k-1 서브 블라인드 스팟에서부터 상기 제k 서브 블라인드 스팟으로 이동하는 것으로 판단하며, 상기 프로세서가, 상기 제k 서브 블라인드 스팟에서의 상기 객체의 상기 이동 방향을 더 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 경보 장치이다.
일 실시예에서, 상기 프로세서가, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율의 변화율을 참조하여 상기 객체의 속도 또는 가속도를 확인하며, 상기 객체의 상기 속도 또는 상기 가속도를 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 경보 장치이다.
일 실시예에서, 상기 객체의 상기 속도 또는 상기 가속도를 확인한 결과 상기 객체가 상기 자동차로 접근하는 것으로 판단되는 경우, 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값보다 큰 값으로 설정된 제k” 임계값 이하이면, 상기 프로세서가, 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 경보 장치이다.
일 실시예에서, 상기 후방 이미지가 제t 프레임에서 획득된 후방 이미지일 경우, 상기 (III) 프로세스에서, 상기 프로세서가, (i) 상기 제t 프레임에서의 상기 후방 이미지로부터 확인되는 상기 블라인드 스팟에서의 상기 프리 스페이스 비율인 제t 비율과 (ii) 제t-1 프레임에서의 상기 후방 이미지 내지 제t-i 프레임에서의 상기 후방 이미지로부터 확인되는 상기 블라인드 스팟에서의 상기 프리 스페이스 비율인 제t-1 비율 내지 제t-i 비율 각각을 이용하여, 상기 자동차의 주행 방향에 대응되는 상기 객체의 상대적인 이동 방향을 확인하며, 상기 객체의 상기 상대적인 이동 방향을 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징으로 하는 경보 장치이다.
일 실시예에서, 상기 프로세서가, 상기 제t-i 비율부터 상기 제t 비율까지의 증가율을 분석하여, 상기 증가율이 음(-)의 값일 경우에는 상기 객체가 상기 블라인드 스팟의 외부에서 내부 방향으로 이동한 것으로 판단하고, 상기 증가율이 양(+)의 값일 경우에는 상기 객체가 상기 블라인드 스팟의 상기 내부에서 상기 외부 방향으로 이동한 것으로 판단하며, 상기 프로세서가, 상기 객체의 상기 판단된 이동 방향을 더 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징으로 하는 경보 장치이다.
일 실시예에서, 상기 프로세서가, 상기 제t-i 비율 내지 상기 제t 비율 중 어떤 비율이 100%에서 100% 미만으로 변화되는지에 대한 정보를 참조로 하여 상기 제t-i 프레임 내지 상기 제t 프레임 중 선택된 특정 프레임에서의 상기 세그멘테이션 이미지를 분석하고, 상기 프로세서가, 상기 객체가 상기 블라인드 스팟에 위치하는 영역이 상기 자동차와 근접한 영역인지 상기 자동차로부터 떨어진 영역인지를 판단함으로써 상기 블라인드 스팟으로의 상기 객체의 진입 위치를 확인한 후, 상기 객체의 상기 블라인드 스팟으로의 상기 진입 위치와 상기 객체의 상기 이동 방향을 참조하여 상기 자동차에 대한 상기 객체의 상대적인 이동 방향을 확인하며, 상기 프로세서가, 상기 자동차에 대한 상기 객체의 상기 상대적인 이동 방향을 더 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징을 하는 경보 장치이다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 후방 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하여 다운 샘플링된 특징 맵으로서 적어도 하나의 특징 맵을 생성하고, 상기 다운 샘플링된 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하여 상기 후방 이미지 내의 상기 도로 영역과 상기 객체를 세그멘테이션하는 것을 특징으로 하는 경보 장치이다.
본 발명은 뉴럴 네트워크 알고리즘(Neural Network Algorithm)을 이용하여 블라인드 스팟에 위치하는 자동차를 정확하게 검출할 수 있는 효과가 있다.
또한, 본 발명은 자동차의 주행 환경에 관계없이 블라인드 스팟에 위치하는 자동차를 정확하게 검출할 수 있는 다른 효과가 있다.
또한, 본 발명은 CNN을 통해 획득된 세그멘테이션 이미지를 이용함으로써 적은 데이터의 연산량으로 블라인드 스팟에 위치하는 자동차를 검출할 수 있는 또 다른 효과가 있다.
또한, 본 발명은 배경의 움직임과 영상 노이즈의 영향을 받지 않으며 블라인드 스팟에 위치하는 자동차를 실시간으로 적은 연산량을 통해 검출할 수 있는 또 다른 효과가 있다.
또한, 본 발명은 블라인드 스팟에서 자동차가 없는 도로 영역을 검출하는 간단한 방법에 의해 블라인드 스팟에 위치하는 자동차를 정확하게 검출할 수 있는 또 다른 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 차선 변경 경보 시스템을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 차선 변경 경보 시스템이 포함된 자동차를 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 차선 변경 경보 방법을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 자동차에서 획득되는 후방 이미지를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 자동차의 후방 이미지를 세그멘테이션하여 생성된 세그멘테이션 이미지를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 후방 이미지를 세그멘테이션하는 CNN을 개략적으로 도시한다.
도 7a 및 7b는 본 발명의 일 실시예에 따른 블라인드 스팟에서의 시간 변화에 따른 객체의 이동 상태를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 각각의 블라인드 스팟에 대하여 제공되는 복수 개의 서브 블라인드 스팟(Sub-Blind Spot) 내의 상태를 개략적으로 도시한다.
도 9a, 9b 및 9c는 도 8의 블라인드 스팟에서의 객체의 이동 상태를 개략적으로 도시한다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
먼저, 도 1은 본 발명의 일 실시예에 따른 차선 변경 경보 시스템을 개략적으로 도시한 것으로, 도 1을 참조하면, 차선 변경 경보 시스템은 경보 장치(100)와 자동차(200)를 포함할 수 있다.
먼저, 경보 장치(100)는 자동차(200)의 블라인드 스팟에 위치하거나 근접하는 객체, 즉, 다른 자동차를 검출하는 것으로, 비전 센서(10)(예를 들어 카메라)로부터 획득되는 자동차(200)의 후방 이미지를 분석하여 자동차(200)의 블라인드 스팟에 객체가 위치하는지 여부를 판별하여 줄 수 있다.
그리고, 경보 장치(100)로부터 전송되는 정보와 스티어링 시스템(Steering System)의 정보를 참조하여 자동차(200)가 블라인드 스팟 쪽으로 차선 바꾸는 것을 방지하거나 경보 장치(100)가 객체가 블라인드 스팟에 위치한다는 사실을 자동차(200)의 운전자에게 알릴 수 있다. 특히, 자동차가 자율 주행 자동차일 경우, 자동차(200)가 블라인드 스팟에 위치하는 객체의 정보와 주행 환경을 참조하여 차선을 안전하게 변경할 수 있는지 여부를 판단할 수 있게 된다.
또한, 경보 장치(100)는 (i) 자동차의 운행 중, 카메라 등의 비전 센서(10)에 의해 촬영된 자동차에서의 후방 이미지를 획득하는 통신부(110)와, (ii) 획득된 후방 이미지를 분석하여 자동차(200)의 블라인드 스팟에 객체가 위치하는지 여부를 판단하여 경우에 따라 운전자에게 경보하여 주는 프로세서(120)를 포함할 수 있다. 이때, 비전 센서(10)는, 자동차(200)의 임의의 위치에 설치되어 자동차(200)의 후방 이미지를 적어도 하나 촬영하는 것으로, CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor), 또는 이미지 캡처 장치 등의 광학 센서를 포함할 수 있다.
그리고, 프로세서(120)는 (i) 학습된 CNN(Convolutional Neural Network)을 이용하여 후방 이미지를 세그멘테이션함으로써 후방 이미지에 대응되는 세그멘테이션 이미지를 획득하고, (ii) 세그멘테이션 이미지를 참조하여 기설정된 블라인드 스팟에서의 적어도 하나의 프리 스페이스 비율을 확인하되, 상기 프리 스페이스 비율은 블라인드 스팟에서 객체가 위치하지 않는 도로 영역의 블라인드 스팟의 전체 영역에 대한 비율로 결정되며, (iii) 프리 스페이스 비율이 소정의 임계값 이하일 경우에는 자동차의 운전자에게 차선 변경에 대한 위험을 경보하여 준다.
이와 같이 구성된 본 발명의 일 실시예에 따른 자동차의 블라인드 스팟에 어떤 객체가 위치하여 차선 변경을 할 경우 사고 위험이 있음을 알려주기 위한 차선 변경 경보 방법을 도 3을 참조하여 상세하게 설명하면 다음과 같다.
먼저, 도 4에서와 같이 자동차에 설치된 비전 센서에서 촬영한 적어도 하나의 후방 이미지가 통신부를 통해 획득되면(S10), 경보 장치의 프로세서는 후방 이미지에서 도로 영역과 객체 영역이 분리된 도 5에서와 같은 세그멘테이션 이미지를 획득한다(S20).
이때, 경보 장치는 CNN(Convolutional Neural Network) 기반의 세그멘테이션 방법을 이용하여 후방 이미지에 대응하는 세그멘테이션 이미지를 획득할 수 있다.
그리고, CNN 기반의 세그멘테이션 방법으로 FCN(Fully Convolutional Network), 디컨벌루션 네트워크(Deconvolutional Network), 팽창된 컨벌루션(Dilated Convolution) 등을 사용할 수 있으나, 본 발명은 이에 한정되지 않으며 이미지로부터 시맨틱 세그멘테이션(Semantic Segmentation)을 수행할 수 있는 방법 또는 로직을 사용할 수 있다.
일 예로, 도 6에서와 같이, 컨벌루션 네트워크와 디컨벌루션 네트워크를 포함하는 인코더-디코더(Encoder-Decoder) 구성이 적용된다. 보다 상세하게, 경보 장치는, 후방 이미지를 인코더에 포함된 복수의 컨벌루션 레이어를 통해 다운 샘플링(Down-sampling)한 다음, 다운 샘플링된 후방 이미지를 디코더에 포함된 복수의 디컨벌루션 레이어를 통해 업 샘플링(Up-sampling)함으로써 후방 이미지에 대응되는 세그멘테이션 이미지를 생성할 수 있다.
또한, 도로 영역을 객체(예를 들어 관측된 특정 자동차)로부터 구분하기 위하여, 도로와 특정 자동차 이외의 다른 객체는 모두 배경으로 처리할 수 있다.
다음으로, 경보 장치는 세그멘테이션 이미지를 참조하여 소정의 블라인드 스팟에서의 프리 스페이스 비율을 확인할 수 있다(S30). 이때, 도 5를 참조하면, 프리 스페이스 비율은 블라인드 스팟(BS)에서 객체가 위치하지 않는 도로 영역의 블라인드 스팟(BS)의 전체 영역에 대한 비율로 결정될 수 있다.
다음으로, 프리 스페이스 비율이 소정의 임계값 이하일 경우, 경보 장치는 블라인드 스팟에 객체가 위치하는 것으로 판단하여 운전자에게 차선 변경에 대한 위험을 경보하여 줄 수 있다(S40).
일 예로, 자동차의 블라인드 스팟에 객체가 위치한 것으로 판단될 경우, 경보 장치는 객체의 위치 정보를 자동차의 제어부에 전송함으로써 객체가 위치하는 블라인드 스팟 방향으로 자동차가 차선을 변경하는 것을 방지하도록 할 수 있다. 이때, 스티어링 시스템의 정보를 참조하여 운전자가 차선을 변경하고자 할 때, 차선의 블라인드 스팟에 객체가 위치할 경우 자동차의 컨트롤 유닛은 경보 시스템을 통해 운전자에게 블라인드 스팟에 객체가 있음을 알려줘 차선 변경에 따른 위험 상황을 미연에 방지할 수 있도록 할 수 있다. 또한, 자동차가 자율 주행 자동차일 경우 블라인드 스팟에 객체가 위치하는지 여부에 대한 정보와 주행 환경을 참조하여 자동차가 안전하게 차선을 변경할 수 있도록 할 수 있다. 또한, 블라인드 스팟은 자동차의 양측에 각각 형성될 수 있으므로, 경보 장치는 양측의 블라인드 스팟 각각에 대하여 프리 스페이스 비율을 확인하여 블라인드 스팟의 각각에 임의의 객체가 위치하는지 여부를 판단할 수 있다.
한편, 상기에서와 같이 블라인드 스팟에서의 프리 스페이스 비율을 참조하여 블라인드 스팟에 객체가 위치하는지를 판단하는 방법에 대하여 좀 더 자세히 설명하면 다음과 같다.
먼저, 후방 이미지가 제t 프레임에서 획득된 후방 이미지일 경우, 경보 장치는, (i) 제t 프레임에서의 후방 이미지로부터 확인되는 블라인드 스팟에서의 프리 스페이스 비율인 제t 비율과 (ii) 제t-1 프레임에서의 후방 이미지 내지 제t-i 프레임에서의 후방 이미지로부터 확인되는 블라인드 스팟에서의 프리 스페이스 비율인 제t-1 비율 내지 제t-i 비율 각각을 이용하여, 자동차의 주행 방향에 대응되는 객체의 상대적인 이동 방향을 확인하며, 객체의 상대적인 이동 방향을 참조하여 차선 변경에 대한 위험을 운전자에게 경보하여 줄 수 있다.
일 예로, 도 7a 및 7b를 참조하면, 경보 장치는, 제t-i 비율부터 제t 비율까지의 증가율을 분석하여, 도 7a에서와 같이, 증가율이 음(-)의 값일 경우에는 객체가 블라인드 스팟의 외부에서 블라인드 스팟의 내부로 이동한 것으로 판단하고, 도 7b에서와 같이, 증가율이 양(+)의 값일 경우에는 객체가 블라인드 스팟의 내부에서 블라인드 스팟의 외부로 이동한 것으로 판단할 수 있으며, 경보 장치는 객체의 판단된 이동 방향을 더 참조하여 차선 변경에 대한 위험을 운전자에게 경보하여 줄 수 있다.
즉, 객체의 이동 방향을 참조하여, 객체가 자동차에 가까워지는 방향으로 이동하는 경우에는 경보 장치가 운전자에게 경보를 주며, 객체가 자동차로부터 멀어지는 방향으로 자동차가 움직이는 경우에는 블라인드 스팟 내에 객체가 위치하여도 운전자에게 경보를 하지 않을 수 있다. 일 예로, 자동차의 주행 방향과 반대로 이동하는 다른 자동차가 블라인드 스팟에 위치할 경우 차선 변경에 대한 위험이 낮기 때문에 경보 장치는 운전자에게 경보를 하지 않을 수 있다.
이때, 경보 장치는, 제t-i 비율 내지 제t 비율이 100%에서 100% 미만으로 변화하는 정보를 참조하여 제t-i 프레임 내지 제t 프레임 중 선택된 특정 프레임에서의 세그멘테이션 이미지를 분석하여 객체가 블라인드 스팟에 위치하는 영역이 자동차와 근접한 영역인지 자동차로부터 떨어진 영역인지를 판단함으로써 블라인드 스팟으로의 객체의 진입 위치를 확인하고, 객체의 블라인드 스팟으로의 진입 위치와 객체의 이동 방향을 참조하여 자동차의 이동 방향에 대한 객체의 상대적인 이동 방향을 확인하여, 객체의 자동차와의 상대적인 이동 방향을 더 참조하여 차선 변경에 대한 위험을 운전자에게 경보하여 줄 수 있다.
일 예로, 도 7a에서와 같이, 제t-i 프레임부터 제t 프레임까지 아래 방향으로 객체가 블라인드 스팟으로 진입하여 프리 스페이스 비율이 점진적으로 감소하고 제t 프레임에서 프리 스페이스 비율이 소정의 임계값 이하가 되면, 경보 장치는 객체가 자동차와 가까워지는 방향으로 이동하는 것으로 판단하여 운전자에게 경보를 하여 줄 수 있다. 하지만, 도 7b에서와 같이, 제t-i 프레임부터 제t 프레임까지 위 방향으로 객체가 블라인드 스팟 영역으로 진입을 하여 프리 스페이스 비율이 점진적으로 증가하고 제t 프레임에서 프리 스페이스 비율이 소정의 임계값 이하인 경우에는, 경보 장치는 객체가 자동차와 멀어지는 방향으로 이동하는 것으로 판단하여 운전자에게 경보를 하지 않을 수 있다.
상기에서는 객체의 상대적인 이동 방향을 판단하는 방법들에 대하여 예시적으로 몇몇 케이스에 대해서만 설명하였으나, 본 발명은 이에 한정되지 않으며 각각의 케이스에 따른 객체의 상대적인 이동 방향에 대한 판단 기준을 설정할 수 있다.
다음으로, 도 8을 참조하면, 블라인드 스팟(BS)은 자동차의 후방에서 멀어지는 방향으로 거리 별로 설정된 제1 서브 블라인드 스팟(BS1) 내지 제n 서브 블라인드 스팟(BSn)을 포함할 수 있고, 제1 서브 블라인드 스팟(BS1) 내지 제n 서브 블라인드 스팟(BSn) 각각은 프리 스페이스 비율에 대한 소정의 임계값 각각인 제1 임계값 내지 제n 임계값 각각으로 설정될 수 있다. 이때, 경보 장치는 제k 임계값 이하인 프리 스페이스 비율을 가지는 제k 서브 블라인드 스팟(BSk)과 자동차 사이의 거리에 대응하여 운전자에게 경보를 다르게 할 수 있다.
즉, 프리 스페이스 비율이 소정의 임계값 이하가 되는 서브 블라인드 스팟 중 하나가 자동차로부터 가까운 거리에 위치하는 경우, 경보 장치는 다른 자동차가 블라인드 스팟에 위치하고 있으며 운전자의 자동차에 접근하고 있음을 운전자에게 알릴 수 있다.
일 예로, (i) 도 9a에서와 같이, 제k 서브 블라인드 스팟(BSk)의 프리 스페이스 비율이 제k 임계값 이하이고 제k-1 서브 블라인드 스팟(BSk-1)의 상기 프리 스페이스 비율이 100%인 경우를 제1 경우라 하며, (ii) 도 9b에서와 같이, 제k 서브 블라인드 스팟(BSk)의 프리 스페이스 비율이 제k 임계값 이하이고 제k-1 서브 블라인드 스팟(BSk-1)의 프리 스페이스 비율이 제k-1 임계값 이하인 경우를 제2 경우라 하며, (iii) 도 9c에서와 같이, 제k 서브 블라인드 스팟(BSk)의 프리 스페이스 비율이 100%이고 제k-1 서브 블라인드 스팟(BSk-1)의 프리 스페이스 비율이 제k-1 임계값 이하인 경우를 제3 경우라 하면, 경보 장치는, 제1 경우에 비하여 제2 경우와 제3 경우에 객체가 자동차에 더 근접해 있다는 것을 운전자에게 알린다.
또한, 제k 서브 블라인드 스팟(BSk)의 프리 스페이스 비율이 제k 임계값을 초과하며, 제k 임계값 보다 큰 값으로 설정된 제k' 임계값 이하인 상태에서, 제k+1 서브 블라인드 스팟(BSk+1)의 프리 스페이스 비율이 제k+1 임계값 이하일 경우, 경보 장치는, 제k 서브 블라인드 스팟과 자동차 사이의 거리에 따라 운전자에게 경보를 다르게 줄 수 있다.
즉, 도 9b에서와 같이, 제k-1 서브 블라인드 스팟(BSk-1)의 프리 스페이스 비율이 경보를 하기 위한 기준인 제k-1 임계값보다 큰 경우에도, 객체가 제k 서브 블라인드 스팟(BSk)으로부터 제k-1 블라인드 스팟(BSk-1)으로 이동하는 (예를 들어 객체가 자동차로 접근하는) 상태이면, 경보 장치가, 제k 임계값 보다 크게 설정된 제k' 임계값을 이용하여 객체가 제k-1 서브 블라인드 스팟(BSk-1)에 위치한 것으로 판단하여 운전자에게 경보를 줄 수 있다.
그리고, 경보 장치는, 제1 서브 블라인드 스팟 내지 제n 서브 블라인드 스팟 각각의 프리 스페이스 비율의 변화율 각각을 참조하여 제1 서브 블라인드 스팟 내지 제n 서브 블라인드 스팟 내에서의 객체의 이동 정보를 획득하며, 객체의 획득한 이동 정보를 참조하여 제k 서브 블라인드 스팟과 자동차 사이의 거리에 따라 운전자에게 경보를 줄 수 있다.
일 예로, 제k+1 서브 블라인드 스팟에서의 프리 스페이스 비율이 제k+1 임계값 이하인 상태에서 커지는 방향으로 변화하며, 제k 블라인드 스팟에서의 프리 스페이스 비율이 작아지는 방향으로 변화된 경우, 경보 장치는 객체가 제k+1 서브 블라인드 스팟에서부터 제k 서브 블라인드 스팟으로 이동하는 것으로 판단할 수 있다. 또한, 제k-1 서브 블라인드 스팟에서의 프리 스페이스 비율이 제k-1 임계값 이하인 상태에서 커지는 방향으로 변화하며, 제k 서브 블라인드 스팟에서의 프리 스페이스 비율이 작아지는 방향으로 변화된 경우, 경보 장치는 객체가 제k-1 서브 블라인드 스팟에서부터 제k 서브 블라인드 스팟으로 이동하는 것으로 판단할 수 있다. 그리고, 경보 장치는, 제k 서브 블라인드 스팟에서의 객체의 이동 방향을 더 참조하여 제k 서브 블라인드 스팟과 자동차 사이의 거리에 따라 운전자에게 경보를 줄 수 있다. 즉, 경보 장치는 블라인드 스팟에서의 프리 스페이스 비율이 변화되는 방향을 자동차의 주행 방향과 비교하여 객체의 이동 방향을 확인할 수 있으며, 객체의 이동 방향이 자동차의 주행 방향과 반대 방향일 경우에는 블라인드 스팟에 객체가 위치하여도 경보 장치가 운전자에게 경보를 하지 않을 수 있다.
이에 더하여, 경보 장치는 제k 서브 블라인드 스팟에서의 프리 스페이스 비율의 변화율을 참조하여 객체의 속도 또는 가속도를 확인할 수 있으며, 객체의 속도 또는 가속도를 더 참조하여 제k 서브 블라인드 스팟과 자동차 사이의 거리에 따라 운전자에게 경보를 줄 수 있다.
일 예로, 객체의 속도 또는 가속도를 확인한 결과 객체가 자동차로 빠르게 접근하는 것으로 판단되는 경우, 제k 서브 블라인드 스팟의 프리 스페이스 비율이 제k 임계값보다 큰 값으로 설정된 제k" 임계값 이하인 상태에서, 경보 장치는, 제k 서브 블라인드 스팟과 자동차 사이의 거리에 따라 운전자에게 경보를 줄 수 있다. 즉, 제k 서브 블라인드 스팟의 프리 스페이스 비율이 제k 임계값 보다 큰 상태에서도, 제k 서브 블라인드 스팟에 위치하는 객체가 빠르게 자동차로 접근하는 것으로 판단될 경우에는 경보 장치가 운전자에게 제k 블라인드 스팟에 있는 객체가 빠른 속도로 운전자의 자동차로 접근하고 있음을 알려 줄 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
10: 비전 센서,
100: 차선 변경 경보 장치,
110: 통신부,
120: 프로세서,
200: 자동차
BS: 블라인드 스팟

Claims (24)

  1. 자동차의 차선 변경에 대한 위험을 경보하는 방법에 있어서,
    (a) 운행 중인 자동차에서 촬영된 적어도 하나의 후방 이미지가 획득되면, 경보 장치가, 학습된 CNN(Convolutional Neural Network)을 이용하여 상기 후방 이미지를 세그멘테이션함으로써 상기 후방 이미지에 대응되는 세그멘테이션 이미지를 획득하는 단계;
    (b) 상기 경보 장치가, 상기 세그멘테이션 이미지를 참조하여 적어도 하나의 블라인드 스팟(blind spot)에서의 적어도 하나의 프리 스페이스 비율(free space ratio)을 확인하되, 상기 프리 스페이스 비율은 상기 블라인드 스팟에서 객체가 위치하지 않는 도로 영역의 상기 블라인드 스팟의 전체 영역에 대한 비율로 결정되는 것을 특징으로 하는 단계; 및
    (c) 상기 프리 스페이스 비율이 적어도 하나의 소정의 임계값 이하일 경우, 상기 경보 장치가, 상기 자동차의 운전자에게 차선 변경에 대한 상기 위험을 경보하여 주는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 블라인드 스팟은 상기 자동차의 후방에서 멀어지는 방향으로 거리 별로 설정되는 제1 서브 블라인드 스팟(sub-blind spot) 내지 제n 서브 블라인드 스팟을 포함하고,
    상기 프리 스페이스 비율에 대한 임계값 각각인 제1 임계값 내지 제n 임계값 각각이 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 각각에 대해 설정되며,
    상기 (c) 단계에서,
    상기 경보 장치는, 제k 임계값 이하인 상기 프리 스페이스 비율을 가지는 제k 서브 블라인드 스팟과 상기 자동차 사이의 거리에 대응하여 상기 운전자에게 경보를 다르게 하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서,
    (i) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값 이하이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 100%인 경우를 제1 경우라 하며, (ii) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값 이하이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k-1 임계값 이하인 경우를 제2 경우라 하며, (iii) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 100%이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k-1 임계값 이하인 경우를 제3 경우라 하면, 상기 경보 장치는, 상기 제1 경우에 비하여 상기 제2 경우와 상기 제3 경우에 객체가 상기 자동차에 더 근접해 있다고 상기 운전자에게 경보하여 주는 것을 특징으로 하는 방법.
  4. 제 2 항에 있어서,
    상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값을 초과하며, 상기 제k 임계값 보다 큰 값으로 설정된 제k' 임계값 이하인 상태에서, 제k+1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 제k+1 임계값 이하일 경우, 상기 경보 장치는, 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 다르게 하는 것을 특징으로 하는 방법.
  5. 제 2 항에 있어서,
    상기 경보 장치는, 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 각각의 상기 프리 스페이스 비율의 변화율 각각을 참조하여 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 내에서의 상기 객체의 이동 정보를 획득하며,
    상기 경보 장치는, 상기 객체의 상기 획득된 이동 정보를 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 방법.
  6. 제 5 항에 있어서,
    상기 제k+1 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 제k+1 임계값 이하인 상태에서 커지는 방향으로 변화하며, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 작아지는 방향으로 변화된 경우, 상기 경보 장치는, 상기 객체가 상기 제k+1 서브 블라인드 스팟에서부터 상기 제k 서브 블라인드 스팟으로 이동하는 것으로 판단하고,
    상기 제k-1 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 제k-1 임계값 이하인 상태에서 커지는 방향으로 변화하며, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 작아지는 방향으로 변화된 경우, 상기 경보 장치는, 상기 객체가 상기 제k-1 서브 블라인드 스팟에서부터 상기 제k 서브 블라인드 스팟으로 이동하는 것으로 판단하며,
    상기 경보 장치는, 상기 제k 서브 블라인드 스팟에서의 상기 객체의 상기 이동 방향을 더 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 방법.
  7. 제 2 항에 있어서,
    상기 경보 장치는, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율의 변화율을 참조하여 상기 객체의 속도 또는 가속도를 확인하며, 상기 객체의 상기 속도 또는 상기 가속도를 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 방법.
  8. 제 7 항에 있어서,
    상기 객체의 상기 속도 또는 상기 가속도를 확인한 결과 상기 객체가 상기 자동차로 접근하는 것으로 판단되는 경우, 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값보다 큰 값으로 설정된 제k" 임계값 이하이면, 상기 경보 장치는, 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 방법.
  9. 제 1 항에 있어서,
    상기 후방 이미지가 제t 프레임에서 획득된 후방 이미지일 경우,
    상기 (c) 단계에서,
    상기 경보 장치는, (i) 상기 제t 프레임에서의 상기 후방 이미지로부터 확인되는 상기 블라인드 스팟에서의 상기 프리 스페이스 비율인 제t 비율과 (ii) 제t-1 프레임에서의 상기 후방 이미지 내지 제t-i 프레임에서의 상기 후방 이미지로부터 확인되는 상기 블라인드 스팟에서의 상기 프리 스페이스 비율인 제t-1 비율 내지 제t-i 비율 각각을 이용하여, 상기 자동차의 주행 방향에 대응되는 상기 객체의 상대적인 이동 방향을 확인하며, 상기 객체의 상기 상대적인 이동 방향을 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징으로 하는 방법.
  10. 제 9 항에 있어서,
    상기 경보 장치는, 상기 제t-i 비율부터 상기 제t 비율까지의 증가율을 분석하여, 상기 증가율이 음(-)의 값일 경우에는 상기 객체가 상기 블라인드 스팟의 외부에서 내부 방향으로 이동한 것으로 판단하고, 상기 증가율이 양(+)의 값일 경우에는 상기 객체가 상기 블라인드 스팟의 상기 내부에서 상기 외부 방향으로 이동한 것으로 판단하며,
    상기 경보 장치가, 상기 객체의 상기 판단된 이동 방향을 더 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징으로 하는 방법.
  11. 제 10 항에 있어서,
    상기 경보 장치는, 상기 제t-i 비율 내지 상기 제t 비율 중 어떤 비율이 100%에서 100% 미만으로 변화되는지에 대한 정보를 참조로 하여 상기 제t-i 프레임 내지 상기 제t 프레임 중 선택된 특정 프레임에서의 상기 세그멘테이션 이미지를 분석하고,
    상기 경보 장치가, 상기 객체가 상기 블라인드 스팟에 위치하는 영역이 상기 자동차와 근접한 영역인지 상기 자동차로부터 떨어진 영역인지를 판단함으로써 상기 블라인드 스팟으로의 상기 객체의 진입 위치를 확인한 후, 상기 객체의 상기 블라인드 스팟으로의 상기 진입 위치와 상기 객체의 상기 이동 방향을 참조하여 상기 자동차에 대한 상기 객체의 상대적인 이동 방향을 확인하며,
    상기 경보 장치가, 상기 자동차에 대한 상기 객체의 상기 상대적인 이동 방향을 더 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징을 하는 방법.
  12. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 경보 장치는, 상기 후방 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하여 다운 샘플링된 특징 맵으로서 적어도 하나의 특징 맵을 생성하고, 상기 다운 샘플링된 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하여 상기 후방 이미지 내의 상기 도로 영역과 상기 객체를 세그멘테이션하는 것을 특징으로 하는 방법.
  13. 자동차의 차선 변경에 대한 위험을 경보하는 경보 장치에 있어서,
    운행 중인 자동차에서 촬영된 적어도 하나의 후방 영상 이미지를 획득하는 통신부; 및
    (I) 학습된 CNN(Convolutional Neural Network)을 이용하여 상기 후방 이미지를 세그멘테이션함으로써 상기 후방 이미지에 대응되는 세그멘테이션 이미지를 획득하는 프로세스와, (II) 상기 세그멘테이션 이미지를 참조하여 적어도 하나의 블라인드 스팟(blind spot)에서의 적어도 하나의 프리 스페이스 비율(free space ratio)을 확인하되, 상기 프리 스페이스 비율은 상기 블라인드 스팟에서 객체가 위치하지 않는 도로 영역의 상기 블라인드 스팟의 전체 영역에 대한 비율로 결정되는 것을 특징으로 하는 프로세스와, (III) 상기 프리 스페이스 비율이 적어도 하나의 소정의 임계값 이하일 경우, 상기 경보 장치가, 상기 자동차의 운전자에게 차선 변경에 대한 상기 위험을 경보하여 주는 프로세스를 수행하는 프로세서;
    를 포함하는 것을 특징으로 하는 경보 장치.
  14. 제 13 항에 있어서,
    상기 블라인드 스팟은 상기 자동차의 후방에서 멀어지는 방향으로 거리 별로 설정되는 제1 서브 블라인드 스팟(sub-blind spot) 내지 제n 서브 블라인드 스팟을 포함하고,
    상기 프리 스페이스 비율에 대한 임계값 각각인 제1 임계값 내지 제n 임계값 각각이 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 각각에 대해 설정되며,
    상기 (III) 프로세스에서,
    상기 프로세서가, 제k 임계값 이하인 상기 프리 스페이스 비율을 가지는 제k 서브 블라인드 스팟과 상기 자동차 사이의 거리에 대응하여 상기 운전자에게 경보를 다르게 하는 것을 특징으로 하는 경보 장치.
  15. 제 14 항에 있어서,
    (i) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값 이하이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 100%인 경우를 제1 경우라 하며, (ii) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값 이하이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k-1 임계값 이하인 경우를 제2 경우라 하며, (iii) 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 100%이고 제k-1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k-1 임계값 이하인 경우를 제3 경우라 하면, 상기 프로세서가, 상기 제1 경우에 비하여 상기 제2 경우와 상기 제3 경우에 객체가 상기 자동차에 더 근접해 있다고 상기 운전자에게 경보하여 주는 것을 특징으로 하는 경보 장치.
  16. 제 14 항에 있어서,
    상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값을 초과하며, 상기 제k 임계값 보다 큰 값으로 설정된 제k' 임계값 이하인 상태에서, 제k+1 서브 블라인드 스팟의 상기 프리 스페이스 비율이 제k+1 임계값 이하일 경우, 상기 프로세서가, 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 다르게 하는 것을 특징으로 하는 경보 장치.
  17. 제 14 항에 있어서,
    상기 프로세서가, 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 각각의 상기 프리 스페이스 비율의 변화율 각각을 참조하여 상기 제1 서브 블라인드 스팟 내지 상기 제n 서브 블라인드 스팟 내에서의 상기 객체의 이동 정보를 획득하며,
    상기 프로세서가, 상기 객체의 상기 획득된 이동 정보를 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 경보 장치.
  18. 제 17 항에 있어서,
    상기 제k+1 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 제k+1 임계값 이하인 상태에서 커지는 방향으로 변화하며, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 작아지는 방향으로 변화된 경우, 상기 프로세서가, 상기 객체가 상기 제k+1 서브 블라인드 스팟에서부터 상기 제k 서브 블라인드 스팟으로 이동하는 것으로 판단하고,
    상기 제k-1 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 제k-1 임계값 이하인 상태에서 커지는 방향으로 변화하며, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율이 작아지는 방향으로 변화된 경우, 상기 프로세서가, 상기 객체가 상기 제k-1 서브 블라인드 스팟에서부터 상기 제k 서브 블라인드 스팟으로 이동하는 것으로 판단하며,
    상기 프로세서가, 상기 제k 서브 블라인드 스팟에서의 상기 객체의 상기 이동 방향을 더 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 경보 장치.
  19. 제 14 항에 있어서,
    상기 프로세서가, 상기 제k 서브 블라인드 스팟에서의 상기 프리 스페이스 비율의 변화율을 참조하여 상기 객체의 속도 또는 가속도를 확인하며, 상기 객체의 상기 속도 또는 상기 가속도를 참조하여 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 경보 장치.
  20. 제 19 항에 있어서,
    상기 객체의 상기 속도 또는 상기 가속도를 확인한 결과 상기 객체가 상기 자동차로 접근하는 것으로 판단되는 경우, 상기 제k 서브 블라인드 스팟의 상기 프리 스페이스 비율이 상기 제k 임계값보다 큰 값으로 설정된 제k" 임계값 이하이면, 상기 프로세서가, 상기 제k 서브 블라인드 스팟과 상기 자동차 사이의 상기 거리에 대응하여 상기 운전자에게 경보를 하는 것을 특징으로 하는 경보 장치.
  21. 제 13 항에 있어서,
    상기 후방 이미지가 제t 프레임에서 획득된 후방 이미지일 경우,
    상기 (III) 프로세스에서,
    상기 프로세서가, (i) 상기 제t 프레임에서의 상기 후방 이미지로부터 확인되는 상기 블라인드 스팟에서의 상기 프리 스페이스 비율인 제t 비율과 (ii) 제t-1 프레임에서의 상기 후방 이미지 내지 제t-i 프레임에서의 상기 후방 이미지로부터 확인되는 상기 블라인드 스팟에서의 상기 프리 스페이스 비율인 제t-1 비율 내지 제t-i 비율 각각을 이용하여, 상기 자동차의 주행 방향에 대응되는 상기 객체의 상대적인 이동 방향을 확인하며, 상기 객체의 상기 상대적인 이동 방향을 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징으로 하는 경보 장치.
  22. 제 21 항에 있어서,
    상기 프로세서가, 상기 제t-i 비율부터 상기 제t 비율까지의 증가율을 분석하여, 상기 증가율이 음(-)의 값일 경우에는 상기 객체가 상기 블라인드 스팟의 외부에서 내부 방향으로 이동한 것으로 판단하고, 상기 증가율이 양(+)의 값일 경우에는 상기 객체가 상기 블라인드 스팟의 상기 내부에서 상기 외부 방향으로 이동한 것으로 판단하며,
    상기 프로세서가, 상기 객체의 상기 판단된 이동 방향을 더 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징으로 하는 경보 장치.
  23. 제 22 항에 있어서,
    상기 프로세서가, 상기 제t-i 비율 내지 상기 제t 비율 중 어떤 비율이 100%에서 100% 미만으로 변화되는지에 대한 정보를 참조로 하여 상기 제t-i 프레임 내지 상기 제t 프레임 중 선택된 특정 프레임에서의 상기 세그멘테이션 이미지를 분석하고,
    상기 프로세서가, 상기 객체가 상기 블라인드 스팟에 위치하는 영역이 상기 자동차와 근접한 영역인지 상기 자동차로부터 떨어진 영역인지를 판단함으로써 상기 블라인드 스팟으로의 상기 객체의 진입 위치를 확인한 후, 상기 객체의 상기 블라인드 스팟으로의 상기 진입 위치와 상기 객체의 상기 이동 방향을 참조하여 상기 자동차에 대한 상기 객체의 상대적인 이동 방향을 확인하며,
    상기 프로세서가, 상기 자동차에 대한 상기 객체의 상기 상대적인 이동 방향을 더 참조하여 상기 차선 변경에 대한 상기 위험을 상기 운전자에게 경보하여 주는 것을 특징을 하는 경보 장치.
  24. 제 13 항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서는, 상기 후방 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하여 다운 샘플링된 특징 맵으로서 적어도 하나의 특징 맵을 생성하고, 상기 다운 샘플링된 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하여 상기 후방 이미지 내의 상기 도로 영역과 상기 객체를 세그멘테이션하는 것을 특징으로 하는 경보 장치.
KR1020190105494A 2018-10-04 2019-08-27 자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치 KR102224818B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/151,760 2018-10-04
US16/151,760 US10300851B1 (en) 2018-10-04 2018-10-04 Method for warning vehicle of risk of lane change and alarm device using the same

Publications (2)

Publication Number Publication Date
KR20200038847A true KR20200038847A (ko) 2020-04-14
KR102224818B1 KR102224818B1 (ko) 2021-03-09

Family

ID=66636359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190105494A KR102224818B1 (ko) 2018-10-04 2019-08-27 자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치

Country Status (5)

Country Link
US (1) US10300851B1 (ko)
EP (1) EP3657382A1 (ko)
JP (1) JP6872260B2 (ko)
KR (1) KR102224818B1 (ko)
CN (1) CN111016929B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282225B2 (en) 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
US10776673B2 (en) * 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
US11010641B2 (en) * 2019-03-14 2021-05-18 Mapbox, Inc. Low power consumption deep neural network for simultaneous object detection and semantic segmentation in images on a mobile computing device
CN110930733B (zh) * 2019-11-29 2021-07-30 腾讯科技（深圳）有限公司 车道切换风险处理方法、装置、存储介质和计算机设备
CN110956851B (zh) * 2019-12-02 2020-11-24 清华大学 一种智能网联汽车协同调度换道方法
US11527154B2 (en) * 2020-02-20 2022-12-13 Toyota Motor North America, Inc. Wrong way driving prevention
US11603094B2 (en) 2020-02-20 2023-03-14 Toyota Motor North America, Inc. Poor driving countermeasures
US11535246B2 (en) * 2020-03-30 2022-12-27 Denso Corporation Systems and methods for providing a warning to an occupant of a vehicle
CN111462488B (zh) * 2020-04-01 2021-09-10 北京工业大学 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法
CN111524389B (zh) * 2020-04-16 2023-11-10 腾讯科技（深圳）有限公司 车辆驾驶方法和装置
CN112669335A (zh) * 2021-01-27 2021-04-16 东软睿驰汽车技术（沈阳）有限公司 车辆感知方法、装置、电子设备以及机器可读存储介质
CN117082338A (zh) * 2023-05-26 2023-11-17 哈尔滨市法智科技开发有限公司 一种基于大数据的视频分析监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008112349A (ja) * 2006-10-31 2008-05-15 Alpine Electronics Inc 移動物体検知装置
KR100908076B1 (ko) * 2008-03-25 2009-07-15 대성전기공업 주식회사 차량용 측, 후방 감지 장치
JP2017220178A (ja) * 2016-06-10 2017-12-14 株式会社Ｓｏｋｅｎ 物体検出装置、及び物体検出方法
KR20180065527A (ko) * 2016-12-08 2018-06-18 경창산업주식회사 차량 후측방 경고 장치 및 이를 이용한 경고 방법

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7049945B2 (en) * 2000-05-08 2006-05-23 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
JP3942289B2 (ja) * 1998-11-09 2007-07-11 本田技研工業株式会社 車両監視装置
JP4151137B2 (ja) * 1998-12-16 2008-09-17 株式会社豊田自動織機 車両における障害物検出装置及び車両
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US7477137B2 (en) * 2005-06-23 2009-01-13 Mazda Motor Corporation Blind-spot detection system for vehicle
JP2007008287A (ja) * 2005-06-29 2007-01-18 Mazda Motor Corp 車両の後側方警報システム
DE102005054972A1 (de) * 2005-10-27 2007-05-03 Daimlerchrysler Ag Verfahren zur Totwinkelüberwachung bei Fahrzeugen
JP2008040736A (ja) * 2006-08-04 2008-02-21 Aisin Aw Co Ltd 車両検出装置、および車両検出方法
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
EP3594853A3 (en) * 2007-05-03 2020-04-08 Sony Deutschland GmbH Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
US7859432B2 (en) * 2007-05-23 2010-12-28 Che Il Electric Wireing Devices Co., Ltd. Collision avoidance system based on detection of obstacles in blind spots of vehicle
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
US8432309B2 (en) * 2010-11-29 2013-04-30 Freescale Semiconductor, Inc. Automotive radar system and method for using same
CN102632839B (zh) * 2011-02-15 2015-04-01 香港生产力促进局 一种基于后视图像认知的车载盲区预警系统及方法
US9586525B2 (en) * 2011-11-28 2017-03-07 Robert Bosch Gmbh Camera-assisted blind spot detection
US9139135B2 (en) * 2012-09-07 2015-09-22 Musaid A. ASSAF System and method that minimizes hazards of blind spots while driving
JP6142784B2 (ja) * 2013-11-27 2017-06-07 株式会社デンソー 運転支援装置
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
KR101541483B1 (ko) * 2014-01-03 2015-08-03 현대모비스(주) 차선 변경 감시 장치 및 그 제어 방법
DE102014212478A1 (de) * 2014-06-27 2015-12-31 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
KR101692628B1 (ko) * 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
CN105774809B (zh) * 2014-12-26 2019-01-08 中国移动通信集团公司 一种行车盲区提示的方法和装置
CN104786933A (zh) * 2015-03-04 2015-07-22 江苏大学 一种全景影像驾驶辅助装置及方法
US10214206B2 (en) * 2015-07-13 2019-02-26 Magna Electronics Inc. Parking assist system for vehicle
CN204978416U (zh) * 2015-09-22 2016-01-20 天津市茂宏科技有限公司 一种智能车辆盲区监测系统和车辆
CN105564316A (zh) * 2016-01-06 2016-05-11 北京京东尚科信息技术有限公司 车辆盲区监控系统及控制方法
US20170355263A1 (en) * 2016-06-13 2017-12-14 Ford Global Technologies, Llc Blind Spot Detection Systems And Methods
CN106251701B (zh) * 2016-09-14 2018-11-06 郑州轻工业学院 基于旋转变焦多摄像头的车辆后视监测报警系统及方法
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN106926779B (zh) * 2017-03-09 2019-10-29 吉利汽车研究院（宁波）有限公司 一种车辆变道辅助系统
CN107128245A (zh) * 2017-04-10 2017-09-05 江苏车视杰电子有限公司 一种车辆盲区预警系统
CN107564334B (zh) * 2017-08-04 2020-04-21 武汉理工大学 一种停车场车辆盲区危险预警系统及方法
CN108010383A (zh) * 2017-09-29 2018-05-08 北京车和家信息技术有限公司 基于行驶车辆的盲区检测方法、装置、终端及车辆
US10089743B1 (en) * 2017-10-05 2018-10-02 StradVision, Inc. Method for segmenting an image and device using the same
CN107953830B (zh) * 2017-12-04 2021-03-30 广东工业大学 一种大型客车盲区检测警报系统及其检测警报方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008112349A (ja) * 2006-10-31 2008-05-15 Alpine Electronics Inc 移動物体検知装置
KR100908076B1 (ko) * 2008-03-25 2009-07-15 대성전기공업 주식회사 차량용 측, 후방 감지 장치
JP2017220178A (ja) * 2016-06-10 2017-12-14 株式会社Ｓｏｋｅｎ 物体検出装置、及び物体検出方法
KR20180065527A (ko) * 2016-12-08 2018-06-18 경창산업주식회사 차량 후측방 경고 장치 및 이를 이용한 경고 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김대훈, 하종은, "로봇 물체 조작을 위한 딥러닝 시맨틱 분할을 이용한 물체 검출", 2018.9, 제어로봇시스템학회 논문지, 24(9), pp.802~808. *

Also Published As

Publication number Publication date
CN111016929B (zh) 2023-04-07
KR102224818B1 (ko) 2021-03-09
EP3657382A1 (en) 2020-05-27
US10300851B1 (en) 2019-05-28
JP6872260B2 (ja) 2021-05-19
JP2020077393A (ja) 2020-05-21
CN111016929A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
KR20200038847A (ko) 자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치
KR102098131B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
KR102098140B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US20190092318A1 (en) Systems and methods for rear signal identification using machine learning
KR102320979B1 (ko) 딥 뉴럴 네트워크를 기반으로 한 이미지 분석을 통해 사람의 상태 및 주행 환경을 식별하여 자율 주행을 보조하는 자율 주행 보조 안경
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
US10635915B1 (en) Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation
CN110738081B (zh) 异常路况检测方法及装置
EP3690728B1 (en) Method and device for detecting parking area using semantic segmentation in automatic parking system
KR20200095384A (ko) 운전자 상태에 따라 맞춤형의 캘리브레이션을 위해 운전자 보조 장치를 자동으로 조정하는 방법 및 장치
EP2741234B1 (en) Object localization using vertical symmetry
KR101730348B1 (ko) 차량 속도를 이용한 지능형 운전자 보조 시스템의 제어 방법
CN115690748B (zh) 用于占据类预测的方法和用于遮挡值确定的方法
KR102039814B1 (ko) 측후방 차량 검출 방법 및 그 장치
WO2022226989A1 (en) System and method for obstacle-free driving
KR101983448B1 (ko) 자동 주차를 위한 주차선 검출 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant