KR20190019840A - 물체 검출과 통지를 위한 운전자 보조 시스템 및 방법 - Google Patents

물체 검출과 통지를 위한 운전자 보조 시스템 및 방법 Download PDF

Info

Publication number
KR20190019840A
KR20190019840A KR1020180094498A KR20180094498A KR20190019840A KR 20190019840 A KR20190019840 A KR 20190019840A KR 1020180094498 A KR1020180094498 A KR 1020180094498A KR 20180094498 A KR20180094498 A KR 20180094498A KR 20190019840 A KR20190019840 A KR 20190019840A
Authority
KR
South Korea
Prior art keywords
image data
image
thermal
module
feature
Prior art date
Application number
KR1020180094498A
Other languages
English (en)
Other versions
KR102404149B1 (ko
Inventor
스리니바스 사이
Original Assignee
하만인터내셔날인더스트리스인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만인터내셔날인더스트리스인코포레이티드 filed Critical 하만인터내셔날인더스트리스인코포레이티드
Publication of KR20190019840A publication Critical patent/KR20190019840A/ko
Application granted granted Critical
Publication of KR102404149B1 publication Critical patent/KR102404149B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B60W2550/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 개시물은 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 시스템, 장치 및 방법에 관한 것이다. 일 실시예에서, 검출된 이미지 데이터를 수신하는 단계와 이미지 데이터 내의 적어도 하나의 물체를 검출하는 단계를 포함한다. 본 방법은 하나 이상의 이미지 영역을 식별하기 위해, 이미지 데이터에 대해 특징 추출 작업을 수행하고, 모델링된 열 특징 트레이닝에 기초하여 하나 이상의 이미지 영역을 식별하기 위해, 이미지 데이터에 대해 제2 추출 작업을 수행함에 의해 물체를 검출하는 단계를 포함할 수 있다. 또한, 본 방법은 특징 추출 작업과 제2 추출 작업의 하나 이상의 이미지 영역들의 비교에 기초하여, 이미지 데이터 내의 물체를 식별하는 단계를 포함할 수 있다. 또한, 본 방법은 하나 이상의 그래픽적인 요소를 포함하는 이미지 센서에 의해 검출된 이미지 데이터의 디스플레이를 검출된 물체에 대한 통지로서 출력하는 단계를 포함할 수 있다.

Description

물체 검출과 통지를 위한 운전자 보조 시스템 및 방법{DRIVER ASSISTANCE SYSTEM AND METHOD FOR OBJECT DETECTION AND NOTIFICATION}
본 개시물은 전자장치 및 응용예에 관한 것이고, 좀 더 구체적으로, 자동차 운전자 보조 시스템에 의해 물체를 검출하고 통지를 제시하기 위한 프로세스와 구성에 관한 것이다.
자동차의 안전한 작동은 많은 자동차 조작자에 있어서 주요 관심사항이다. 따라서, 기술적인 개발이 사고 방지와 안전한 작동에 초첨이 맞춰진 시스템으로 지향되어왔다. 기술적 진보는 경계경보를 제공하는 보조 시스템으로 이어져 왔다. 광학 이미징 장치(가령, 카메라 등)와 종래의 운전자 보조 시스템은 빛 상태, 날씨 및 그 밖의 다른 환경적인 특징 때문에, 사용자에게 적절한 정보를 제공하지 못할 수 있다. 또한, 열 이미징과 같은 다양한 유형의 센서가 종래의 응용예에서 사용되더라도, 이들 시스템과 센싱 장치는 너무 비싸거나 그들의 작동에 제한된다. 열 센서는 물체의 주변에 비해 열 그래디언트를 가지지 않은 물체를 검출할 수 없고, 물체를 검출하기 위한 적절한 능력을 제공할 수 없다. 자동차 검출 시스템의 개선된 동작에 대한 요구가 있다. 또한, 종래 시스템의 하나 이상의 한계를 극복하는 운전자 보조 시스템에 대한 요구도 있다.
운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법, 장치 및 시스템이 본 명세서에서 개시되고 청구된다. 일 실시예는 자동차 운전자 보조 유닛의 모듈에 의해 자동차에 장착된 이미지 센서에 의해 검출된 이미지 데이터를 수신하는 단계를 포함하는 방법에 관한 것이다. 또한, 본 방법은 자동차 운전자 보조 유닛의 모듈에 의해, 이미지 데이터 내의 적어도 하나의 물체를 검출하는 단계를 포함한다. 적어도 하나의 물체를 검출하는 단계는, 하나 이상의 이미지 영역을 식별하기 위해, 이미지 센서에 의해 검출된 이미지 데이터에 대해 특징 추출 작업을 수행하는 단계와, 모델링된 열 특징 트레이닝에 기초하여 하나 이상의 이미지 영역을 식별하기 위해, 이미지 센서에 의해 검출된 이미지 데이터에 대해 제2 추출 작업을 수행하는 단계와, 및 특징 추출 작업과 제2 추출 작업의 하나 이상의 이미지 영역들의 비교에 기초하여, 이미지 데이터 내의 하나 이상의 물체를 식별하는 단계를 포함한다. 또한, 본 방법은 자동차 운전자 보조 유닛의 모듈에 의해, 적어도 하나의 물체를 식별하기 위해, 하나 이상의 그래픽적인 요소를 포함하는 이미지 센서에 의해 검출된 이미지 데이터의 디스플레이를 출력하는 단계를 포함한다.
일 실시예에서, 모듈에 의해 수신된 이미지 데이터는 비디오 이미지 데이터의 컬러 모델 기반 표현을 출력하도록 구성된 광학 이미지 센서에 의해 캡쳐된다.
일 실시예에서, 적어도 하나의 물체를 검출하는 단계는 사람, 보행자, 자동차, 도로, 통로표지판, 위험 요소 및 자동차 전방의 물체 중 하나 이상을 검출하는 것을 포함한다.
일 실시예에서, 특징 추출 작업은 하나 이상의 물체를 식별하기 위해 이미지 개선, 에지 검출, 필터링 및 영역 분석 중 하나 이상에 기초하여 수신된 이미지 데이터를 프로세싱하는 단계를 포함한다.
일 실시예에서, 모델링된 열 특징 트레이닝에 기초하여 하나 이상의 이미지 영역을 식별하기 위한 제2 추출 작업은, 수신된 이미지 데이터를 모듈에 의해 학습된 열 모델 기준과 비교하는 단계를 포함하되, 각각의 열 기준은 물체, 물체 일부 및 열 특징의 모델링된 표현 중 하나 이상과 관련된다.
일 실시예에서, 이미지 데이터 내의 하나 이상의 물체를 식별하는 단계는 제2 추출 작업의 결정에 기초한 특징 추출 작업에 의해 식별된 영역을 수정하는 단계 및 수정된 영역에 기초하여 이미지 데이터 내의 하나 이상의 특징을 추적하는 단계를 포함한다.
일 실시예에서, 하나 이상의 물체를 식별하는 단계는, 이미지 데이터 내의 열 특징과 관련된 이미지 데이터 내의 아티팩트를 검출하는 단계를 포함한다.
일 실시예에서, 식별하는 단계는, 특징 추출과 제2 특징 추출 중 적어도 하나를 수행하기 위해, 수신된 이미지 데이터를 이진 그래디언트로 전환하는 단계를 포함한다.
일 실시예에서, 출력하는 단계는, 이미지 데이터에서 검출된 식별된 물체와 관련된 아이콘 요소 및 바운딩 영역 중 하나 이상을 생성하는 단계를 포함한다.
일 실시예에서, 본 방법은 복수의 물체 유형에 대한 열 특징 모델을 수신하는 단계 및 제2 파라미터 추출 파라미터를 위해 열 특징 모델을 사용하는 단계를 더 포함하되, 열 특징 모델은 이미지 데이터 내의 물체의 식별을 위해 하나 이상의 검색 타겟을 제공한다.
또 다른 실시예는 이미지 데이터를 검출하기 위한 이미지 센서 및 이미지 센서에 연결된 물체 검출 모듈을 포함하는 자동차 운전자 보조 모듈에 관한 것이다. 물체 검출 모듈은 이미지 센서에 의해 검출된 이미지 데이터를 수신하고 이미지 데이터 내의 적어도 하나의 물체를 검출하도록 구성된 프로세서를 포함한다. 프로세서는, 하나 이상의 이미지 영역을 식별하기 위해 이미지 센서에 의해 검출된 이미지 데이터에 대해 특징 추출 작업을 수행하는 것과, 모델링된 열 특징 트레이닝에 기초하여 하나 이상의 이미지 영역을 식별하기 위해, 이미지 센서에 의해 검출된 이미지 데이터에 대해 제2 추출 작업을 수행하는 것과, 및 특징 추출 작업과 제2 추출 작업의 하나 이상의 이미지 영역의 비교에 기초하여 이미지 데이터 내의 하나 이상의 물체를 식별하는 것을 포함하여, 적어도 하나의 물체를 검출하도록 구성된다. 또한, 프로세서는 하나 이상의 그래픽적인 요소를 포함하는 이미지 센서에 의해 검출된 이미지 데이터를 적어도 하나의 물체에 대한 통지로서 출력하도록 구성된다.
다른 양태, 특징 및 테크닉은 실시예의 이하 상세한 설명의 관점에서 관련 분야의 당업자에게 명백해질 것이다.
본 개시물의 특징, 목적 및 이점은, 유사한 참조 문자가 전반에 걸쳐 대응되게 식별하는 도면과 함께 취할 때, 아래에 제시되는 상세한 설명으로부터 좀 더 명백하게 될 것이고, 여기서,
도 1은 하나 이상의 실시예에 따른 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지의 그래픽적인 표현을 나타내고,
도 2는 하나 이상의 실시예에 따른 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 프로세스를 나타내고,
도 3은 하나 이상의 실시예에 따른 자동차 유닛의 다이어그램을 나타내고,
도 4는 하나 이상의 실시예에 따른 물체 검출과 통지의 그래픽적인 표현을 나타내고,
도 5a-5b는 하나 이상의 실시예에 따른 물체 검출과 통지를 위한 트레이닝 절차를 위한 순서도 나타내고,
도 5c는 하나 이상의 실시예에 따른 물체 검출과 통지를 위한 순서도를 나타내고,
도 6은 하나 이상의 실시예에 따른 물체 검출과 통지를 위한 프로세스를 나타내고, 및
도 7은 하나 이상의 실시예에 따른 물체 검출과 통지를 위한 프로세스를 나타낸다.
개요 및 용어
본 개시물의 하나의 양태는 주변 환경에 대한 데이터를 획득하기 위한 자동차 시스템에 관한 것이다. 일 실시예에서, 시스템은 열 카메라와 같은 고 단가 보조 데이터를 필요로하지 않으면서 이미지 센서(가령, 카메라)를 사용하여 물체를 검출하도록 구성된다. 시스템은 이미징 장치, 물체 검출과 통지 모듈 및 통지를 제공하기 위한 자동차 출력 장치를 포함한다. 시스템은 자동차 보조 시스템, 인포테인먼트 시스템 및 일반적인 자동차 시스템의 일부이거나 이에 의해 사용될 수 있다. 시스템은 장면에서 다양한 물체 존재를 식별하고, 각각의 검출된 물체 위에 바운딩 박스나 다른 그래픽적인 요소를 중첩함에 의해 로컬화되도록 구성될 수 있다.
일 실시예에서, 프로세스는 물체 검출과 통지를 위해 제공된다. 프로세스는 하나 이상의 이미지 영역을 식별하기 위해, 이미지 센서에 의해 검출된 이미지 데이터에 대해 특징 추출 작업을 수행하는 단계와, 모델링된 열 특징 트레이닝에 기초하여 하나 이상의 이미지 영역을 식별하기 위해, 이미지 데이터에 대해 제2 추출 작업을 수행하는 단계와, 및 특징 추출 작업과 제2 추출 작업의 비교에 기초하여, 이미지 데이터 내의 하나 이상의 물체를 식별하는 단계를 포함할 수 있다. 또한, 프로세스는 검출된 이미지 데이터와 함께 또는 이와 별도로 하나 이상의 통지를 출력하는 단계를 포함한다. 본 명세서에 기술된 프로세스는 이미지 및 비디오 콘텐츠를 검출하기 위한 광학 이미지 장치(가령, 디지털 카메라 등)에 적용될 수 있다. 프로세스는 검출을 향상시키고 자동차 보조 시스템과 장치의 작업을 개선하기 위해, 자동차 하드웨어에 의해 수행되고 정돈된 일련의 기능을 제공할 수 있다. 본 명세서에 기술된 프로세스는 낮은-광, 지향된 광(가령, 하이 빔 등), 환한 빛 및 날씨 상태(가령, 연무, 안개, 높은 온도 등) 중 하나 이상의 결과로서, 낮은 가시 조건에 관한 것일 수 있다. 본 명세서에 기술된 프로세스는 장치 및 시스템 구성에 의해 사용될 수 있고, 물체 검출을 위한 트레이닝 및 학습 알고리즘의 사용을 포함할 수 있다.
본 명세서에서 사용된 바와 같이, 용어 "한" 또는 "하나"는 하나 또는 하나보다 많은 것을 의미할 수 있다. 용어 "복수"는 둘 또는 둘 보다 많은 것을 의미할 수 있다. 용어 "또 다른"은 제2 또는 그 이상으로 정의된다. 용어 "포함하는" 및/또는 "가진"은 개방형 말미(가령, 포함한)이다. 본 명세서에서 사용된 용어 "또는"은 포함적으로 또는 임의의 하나 또는 임의의 조합을 의미하는 것으로 해석된다. 그러므로, "A, B 또는 C"는 "다음의 A; B; C; A 및 B; A 및 C; B 및 C; A, B 및 C"을 의미한다. 이러한 정의에 대한 예외는 요소, 기능, 단계 또는 행동의 조합이 내재적이고, 상호적으로 배타적인 방식인 때에만 발생할 것이다.
본 문헌 전반에 걸쳐 언급된 "일 실시예," "특정한 실시예," "실시예," 또는 유사한 용어는 실시예와 관련하여 기술된 특정한 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 그러므로, 본 명세서 전반의 다양한 곳에서의 이러한 어구의 출현은 반드시 모두 동일한 실시예를 언급하는 것은 아니다. 더구나, 특정한 특징, 구조 또는 특성은 제한 없이 하나 이상의 실시예와 임의의 적절한 방식으로 결합될 수 있다.
예시적인 실시예
이제 도면을 참조하면, 도 1은 하나 이상의 실시예에 따른 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지의 그래픽적인 표현을 나타낸다. 도 1의 시스템(100)은 자동차를 위한 운전자 보조 시스템이다. 일 실시예에 따르면, 시스템(100)은 자동차에 장착된 카메라와 같은 이미징 센서에 의해 캡쳐된 이미지 데이터에 기초하여 물체를 검출하도록 구성된다. 시스템(100)은 검출된 물체에 기초하여 통지를 제공하도록 구성된다. 시스템(100)은 다양한 센서를 통해 주변 환경에 대한 데이터를 획득하고 요구된 임무에서 결정을 내리기 위해 미리-트레이닝된 알고리즘을 사용하여 데이터를 프로세스하는 자동차를 위한 지능형 시스템일 수 있다. 시스템(100)은 전개 단계 동안에 고-단가 열 카메라(보조 데이터)의 필요 없이, 낮은-광 조건에 대한 효율적인 장면 이해 시스템을 설계하기 위한 방법을 제공한다. 시스템(100)은 파라미터가 최고로 가능한 물체 검출을 달성하기 위해 조절되는 학습 알고리즘을 트레이닝함에 의해, 전개 단계 동안에 보조 데이터의 부족에 대해 보상할 수 있다. 일 실시예에서, 시스템(100)은 물체 검출을 위한 주요 및 보조 데이터 모두를 사용하여 트레이닝될 수 있다. 전개 동안에, 시스템(100)에는 알고리즘을 트레이닝하기 위한 주요 데이터만 제공될 수 있고, 이를 제1 단계에서 모델에 의해 예측된 특징을 모방하는 임무에 할당할 수 있다. 이는 알고리즘을 조장하여 주요 데이터에 제한될 때에도 제1 단계에서 모델에 의해 학습된 패턴을 추출한다.
일 실시예에 따르면, 시스템(100)은 이미지 센서(105), 물체 검출 모듈(110) 및 자동차 출력(115)를 포함한다. 또한, 도 1은 운전자 보조 시스템 출력(120)의 예시적인 표현을 나타낸다. 출력(120)은 검출된 물체의 하나 이상의 통지를 포함할 수 있다. 이하에서 논의될 바와 같이, 출력 통지는 하나 이상의 디스플레이 및/또는 자동차의 출력 요소에 의해 제시될 수 있다.
일 실시예에 따르면, 이미지 센서(105)는 물체를 검출하기 위해 자동차에 장착된 이미지 센서에 관한 것이다. 일 실시예에서, 이미지 센서(105)는 비디오 데이터와 같은 이미지 데이터를 검출하고 출력하도록 구성된 카메라이다. 일 실시예에서, 이미지 센서(105)는 광학 센서에 관한 것이다. 이미지 센서(105)는 검출된 이미지 데이터를 물체 검출 모듈(110)로 출력한다. 이미지 센서(105)는 빨간색(R), 녹색(G) 및 파란색(B) 성분(RGB)을 검출하는 센서 영역을 사용하여 컬러 이미지 출력을 생성하는 광전기 센서에 관한 것일 수 있다. 이미지 센서(105) 출력은 각각의 컬러 성분을 검출하기 위한 단일 칩 또는 복수의 칩 구성 중 하나일 수 있다.
일 실시예에서, 이미지 센서(105)는 자동차의 주요 이동 방향과 관련된 물체를 검출하기 위해, 자동차의 전방에 장착될 수 있다. 따라서, 이미지 센서(105)는 도로와 관련된 자동차의 전방 영역과 같이, 자동차의 외부의 비디오 이미지 데이터를 캡쳐할 수 있다. 물체 검출 모듈(110)은 검출된 이미지 데이터를 수신하고, 캡쳐된 이미지 데이터를 프로세싱함에 의해 하나 이상의 물체를 검출하도록 구성된다. 또한, 물체 검출 모듈(110)은 자동차에서 디스플레이를 위한 이미지 출력을 자동차 출력(115)으로 출력하도록 구성되어서, 디스플레이 출력은 하나 이상의 통지를 포함할 수 있다. 일 실시예에 따르면, 이미지 센서(105)는 이미지 데이터를 광학적으로 검출하고 캡쳐하도록 구성된 디지털 카메라에 관한 것이다. 이미지 센서(105)의 예시적인 프레임 검출 속도는 60 Hz, 120 Hz, 240 Hz를 포함하나, 이에 제한되지 않은 하나 이상의 프레임 검출 속도일 수 있다.
일 실시예에 따르면, 물체 검출 모듈(110)은 하나 이상의 특징 추출에 기초하여 물체를 검출하도록 구성된다. 일 실시예에 따르면, 물체 검출 모듈(110)은 광학 이미지 센서(가령, 열 이미징 장치의 사용 없이)에 의해 캡쳐된 이미지 데이터에서 물체의 검출을 위한 열 특징 트레이닝을 모델링할 수 있다. 또 다른 실시예에 따르면, 물체 검출 모듈(110)은 이미지 데이터 단독에서 검출할 수 없거나 검출하기 어려운 물체를 식별하기 위해, 특징 추출로부터의 이미지 영역들을 비교할 수 있다. 또한, 이미지 개선 모듈(110)은 검출된 물체를 나타내기 위한 그래픽적인 요소를 자동차의 조작자에게 제시하도록 구성될 수 있다.
본 명세서에서 논의된 바와 같이, 물체는 고정된 물체 및 비고정된(가령, 움직이는, 비영구적인 등) 물체에 관한 것일 수 있다. 물체의 열 속성은 시스템(100)에 의해 저장될 수 있고, 광학 이미지 데이터를 사용하여 물체를 식별하는데 사용될 수 있다. 일 실시예에 따르면, 물체 검출 모듈(110)은 낮은-광, 지향된 광(가령, 하이 빔 등), 환한 빛 및 날씨 상태(가령, 연무, 안개, 높은 온도 등) 중 하나 이상 하에서 동작하도록 구성될 수 있다. 물체 검출 모듈(110)은 물체를 검출하고 검출된 물체를 나타내는 그래픽적인 요소를 자동차의 조작자에게 제시하도록 구성될 수 있다.
물체 검출 모듈(110)은 RGB 센서 단독으로부터 캡쳐된 비디오를 사용하여 RGB 특징 및 의사-열 특징 모두를 추출하기 위해, 아래 도 5a-5b에 도시된 바와 같은 미리-트레이닝될 수 있다. 시스템(100)에 의해 생성된 조인트 특징은 운전자의 시야에 존재하는 다양한 물체를 검출하는데 사용된다.
일 실시예에 따르면, 자동차 출력(115)은 검출된 물체를 자동차의 조작자에게 통지하기 위한 일반적인 디스플레이, 가청 출력, 프로젝션 및 출력 중 하나 이상에 관한 것이다. 도 1에 도시된 바와 같이, 출력(120)은 디스플레이(1251-n) 및 통지(1301-n)의 그래픽적인 표현에 관한 것이다. 출력(120)은 헤드-업 디스플레이(1251), 인스트루먼트 디스플레이(1252) 및 미디어 콘솔 디스플레이(125n)와 같은 하나 이상의 디스플레이 상에 제시될 수 있다. 각각의 디스플레이는 아이콘, 경고 광, 바운딩 디스플레이(들) 등과 같은 그래픽적인 요소에 관한 것일 수 있는 통지를 제시하도록 구성될 수 있다. 디스플레이(1251-n)는 이미지 데이터, 물체 표시자 및 이미지 센서(105)에 의해 검출된 장면의 표현 중 하나 이상을 제시하기 위한 자동차 인포테인먼트 시스템의 일부일 수 있다.
일 실시예에서, 자동차 출력(115)은 자동차의 인포테인먼트 시스템을 사용하여 시각/청각 통지를 운전자에게 제시한다. 예시적인 실시예에서, 통지를 발행하기 위한 스레숄드는 사용자-특정화되거나 표준 관행에 기초할 수 있다. 통지의 예시는 도로를 막 건너려는 운전자 시야의 주변에 있는 보행자 또는 길 잃은 동물일 수 있다.
도 2는 하나 이상의 실시예에 따른, 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 프로세스를 나타낸다. 프로세스(200)는 자동차 운전자 보조 시스템(가령, 시스템(100))의 물체 검출 모듈(가령, 물체 검출 모듈(110)) 및 물체를 검출하고 이미지 데이터와 통지를 출력하기 위한 하나 이상의 그 밖의 다른 구성과 같은 장치에 의해 사용될 수 있다. 일 실시예에 따르면, 프로세스(200)는, 블록(205)에서 자동차의 외부를 나타내는 이미지 데이터를 수신하는 운전자 보조 시스템의 물체 검출 모듈에 의해 개시될 수 있다. 블록(205)에서 수신된 이미지 데이터는 자동차의 전방 카메라에 의해 캡쳐된 비디오 데이터에 관한 것일 수 있다.
일 실시예에서, 블록(205)에서 모듈에 의해 수신된 이미지 데이터는 비디오 이미지 데이터의 컬러 모델 기반 표현(color model based representation of video image data)을 출력하도록 구성된 광학 이미지 센서에 의해 캡쳐된다. 물체 검출 모듈은 물체의 검출을 위해 수신된 이미지 데이터의 프레임을 선택하거나 모든 프레임을 사용할 수 있다. 프로세스(200)는 물체를 검출하기 위해 단일 프레임 또는 프레임들의 조합에 관한 것일 수 있다. 일부 실시예에서, 블록(205)에서 수신된 이미지 데이터의 복수의 프레임은 물체 검출 및/또는 장치에 의한 출력을 위해 동시에 프로세스될 수 있다.
블록(210)에서, 물체 검출 모듈은 이미지 데이터 내에서 적어도 하나의 물체를 검출한다. 일 실시예에서, 적어도 하나의 물체를 검출하는 것은 하나 이상의 이미지 영역을 식별하기 위해, 이미지 센서에 의해 검출된 이미지 데이터에 대해 특징 추출 작업을 수행하는 것과, 모델링된 열 특징 트레이닝에 기초하여 하나 이상의 이미지 영역을 식별하기 위해, 이미지 센서에 의해 검출된 이미지 데이터에 대해 제2 추출 작업을 수행하는 것을 포함한다. 물체 검출 모듈은 특징 추출 작업과 제2 추출 작업의 하나 이상의 이미지 영역의 비교에 기초하여, 이미지 데이터 내의 하나 이상의 물체를 식별한다. 블록(210)에서 이미지로부터 특징 추출을 수행하는 하나의 방법은, 피드-포워드 신경 네트워크, 종래의 신경 네트워크 및 재발되는 신경 네트워크 중 하나 이상과 같은, 신경 네트워크의 변형예를 사용하는 것을 포함할 수 있다.
일 실시예에서, 블록(210)에서 물체를 검출하는 것은 사람, 보행자, 자동차, 도로, 통로표지판, 위험 요소 및 자동차 전방의 물체 중 하나 이상의 검출을 포함한다. 프로세스(200)는 이동 표면 상의 및 이동 방향에서의 물체(가령, 포트홀, 장애물, 잔해물 등)을 검사한다. 물체를 검출하기 위해, 이미지 데이터는 교정되거나 프로세스될 수 있다. 또한, 하나 이상의 추출 또는 수정은 모듈의 프로세서에 의해 병렬적으로 수행될 수 있다. 일 실시예에서, 하나 이상의 작업은 블록(210)에서 수행되는 특징 추출 작업과 같이 수신된 이미지 데이터에 대해 수행될 수 있다. 특징 추출 작업은 하나 이상의 물체를 식별하기 위해, 이미지 개선, 에지 검출, 필터링 및 영역 분석 중 하나 이상에 기초하여 수신된 이미지 데이터를 프로세스하는 것을 포함할 수 있다. 이미지 개선은 픽셀 데이터의 개선, 아티팩트의 제거, 교정(가령, 광 교정, 환한 빛 제거, 에러 제거 등)을 포함할 수 있다. 일 실시예에서, 에지 검출은 이미지 데이터 내의 형상의 에지를 검출함에 의한 물체의 검출에 관한 것이다. 하나 이상의 프레임은 에지 검출을 통해 형상을 식별하기 위해 사용될 수 있고, 그리고 나서, 형상은 일련의 프레임을 통해 추적 또는 검출될 수 있다. 필터링은 이미지 데이터의 특징을 선택적으로 제거 또는 선택하기 위한 하나 이상의 이미징 작업을 포함할 수 있다. 영역 분석은 물체를 검출하기 위해, 프레임 내의 영역과 동일한 프레임이나 다른 프레임 내의 다른 영역을 비교하는 것을 포함할 수 있다. 에지 검출, 필터링 및/또는 영역 분석은 종래의 신경 네트워크 또는 종래의 신경 네트워크의 변형예의 학습된 필터를 사용하여 수행될 수 있다.
또 다른 실시예에 따르면, 블록(210)은 모델링된 열 특징 트레이닝에 기초하여 하나 이상의 이미지 영역을 식별하기 위해, 제2 추출 작업을 포함할 수 있다. 예를 들어, 수신된 이미지 데이터는 물체 검출 모듈에 의해 학습된 열 모델 기준과 비교될 수 있다. 특정한 유사성이 매칭되거나 나타내는 영역이 식별될 수 있다. 특정 실시예에서, 각각의 열 기준은 물체, 물체 일부 및 열 특징의 모델링된 표현의 하나 이상에 관한 것이다. 예를 들어, 보행자의 모델링된 표현은 각각의 방향(가령, 왼쪽에서 오른쪽 및 오른쪽에서 왼쪽)으로 향하거나, 등돌리거나, 횡단하면서 걸어가는 보행자에 대한 형상 프로파일을 포함할 수 있는데, 모델 표현은 하나 이상의 크기로 이미지 데이터에 매칭될 수 있다. 대안적으로나 조합으로, 모델링된 표현은 광 범위로 필터링된 파라미터 또는 형상의 검출을 개선하는 광 범위를 가진 물체의 특징에 관한 것이다. 복수의 물체 유형에 대한 열 특징 모델은 제2 파라미터 추출 파라미터에 대한 열 특징 모델을 사용할 수 있는 물체 검출 모듈에 의해 수신될 수 있다. 열 특징 모델은 이미지 데이터 내의 물체의 식별을 위해 하나 이상의 검색 타겟을 제공할 수 있다. 일 실시예에서, 열 특징 모델은 현재 장면의 열 검출에 대해 필요하지 않으면서, 광학 이미지 데이터에서 검출될 수 있는 파라미터에 관한 것이다.
일 실시예에서, 블록(210)의 제2 특징 추출은 이미지 데이터 내의 열 특징과 관련된 이미지 데이터 내의 아티팩트를 검출함에 의해, 하나 이상의 물체를 식별하는 것을 포함한다. 일 실시예에서, 검출 모듈은 원시 이미지 데이터나 프로세스된 이미지 데이터 내의 열 속성의 특징을 식별하기 위해 트레이닝될 수 있다. 예를 들면, 열 이미지는 적외선(가령, 비가시적) 범위 내의 실루엣이나 열 시그니쳐를 식별할 수 있다. 그러나, 이들 특징은 형상이나 일련의 형상을 야기하고, 형상이나 아웃라인은 검출된 이미지 데이터 및 특히 물체를 식별하기 위한 광학 범위에서 특정 아티팩트와 비교될 수 있다.
일 실시예에서, 블록(210) 내의 물체의 식별은 특징 추출과 제2 특징 추출 중 적어도 하나를 수행하기 위해 이진 그래디언트로 수신된 이미지 데이터의 변환을 포함한다. 블록(205)에서 수신된 이미지 데이터는 하나 이상의 명암 레벨이나 반전 타입을 사용하여 프로세스되거나 수정될 수 있는데, 물체는 변환된 이미지 데이터의 분석에 의해 검출된다. 이진 그래디언트로의 변환에 의해, 물체 검출 모듈은 물체의 검출을 허용하는 가변 광 세기를 가진 이미지를 생성할 수 있다. 이진 그래디언트의 일 예시에서, 하얀 픽셀은 검은색으로 반전되고, 프레임의 검은 픽셀은 하얀색 등으로 반전된다. 일 실시예에 따르면, 이미지 데이터는 검은색 물체나 표면을 더 잘 검출하기 위해 반전된다. 다른 작업은 장면 빛에 기초하여 연무를 제거하는 것을 포함할 수 있다. 또한, 블록(210)에서의 검출은 제2 추출 작업의 결정에 기초하여 특징 추출 작업에 의해 식별된 영역을 수정하는 것 및 이미지 데이터 내의 하나 이상의 물체를 식별하기 위해 수정된 영역에 기초하여 이미지 데이터 내의 하나 이상의 특징을 추적하는 것을 포함할 수 있다.
특징 추출 또는 제2 추출에 대한 블록(210)에서의 검출은 물체를 검출하기 위해 이미지 프로세싱의 하나 이상의 형태를 사용할 수 있다. 블록(210)은 오프닝 또는 클로징 동작 중 하나 이상을 수행하는 것을 포함할 수 있다. 오프닝은 전경으로부터 물체를 제거하기 위해 픽셀 요소의 확장을 포함할 수 있다. 오프닝은 특정 맞춤이나 코너를 매칭하는 특정 형상이나 요소를 찾는데 사용될 수 있다. 또한, 블록(210)에서 검출은 작은 구멍을 제거하기 위해 클로징을 사용할 수 있다. 오프닝과 클로징은 검출된 이미지 데이터로부터 잡음을 제거하는데 모두 사용될 수 있다.
일 실시예에서, 블록(210)에서의 검출은 이미지 픽셀로의 에지 검출의 적용을 포함할 수 있다. 에지 검출은 이미지 데이터의 리딩 픽셀, 셀/형상의 검출, 셀/형상의 확장, 형상의 스무딩 및 아웃라인의 드로잉을 포함할 수 있다. 이미지 이퀄라이제이션, 이진 그래디언트, 픽셀 그룹핑 및 프레임 분석에 의해 프레임 중 하나 이상은 물체를 검출하는데 사용될 수 있다.
블록(215)에서, 자동차 운전자 보조 시스템은 디스플레이를 출력한다. 일 실시예에서, 블록(215)에서의 디스플레이는 블록(205)에서 수신된 이미지 데이터를 포함한다. 예를 들면, 전방 카메라로부터 수신된 이미지 데이터는 자동차 디스플레이 상에 디스플레이될 수 있다.
블록(220)에서, 자동차 운전자 보조 시스템은 하나 이상의 경계경보나 통지를 출력한다. 블록(220)은 적어도 하나의 물체를 식별하기 위해 하나 이상의 그래픽적인 요소를 포함하는 이미지 센서에 의해 검출된 이미지 데이터를 디스플레이하기 위해 출력하는 것을 포함할 수 있다. 일 실시예에서, 출력하는 것은 이미지 데이터에서 검출된 식별된 물체와 관련된 아이콘 요소 및 바운딩 영역 중 하나 이상을 생성하는 것을 포함한다. 블록(215 및 220)에서의 출력은 검출된 물체를 식별하기 위해 하나 이상의 그래픽적인 요소를 포함하는 이미지 센서에 의해 검출된 이미지 데이터를 디스플레이하는 것을 허용한다.
도 3은 하나 이상의 실시예에 따른 자동차 유닛의 다이어그램을 나타낸다. 자동차 유닛(300)은 프로세서(305), 메모리(310) 및 입/출력 인터페이스(315)를 포함한다. 일부 실시예에서, 자동차 유닛(300)은 이미지 검출기(325)를 선택적으로 포함할 수 있다. 자동차 유닛(300)은 이미지 데이터를 수신 및/또는 캡쳐하고, 이미지 데이터 내의 하나 이상의 물체를 검출하도록 구성될 수 있다.
프로세서(305)는 자동차 운전자 보조 유닛을 위한 프리젠테이션과 통지를 제어하는 것을 포함하는 하나 이상의 운전자 보조 기능을 제공하도록 구성될 수 있다. 일 실시예에 따르면, 프로세서(305)는 물체 검출 통지를 출력하기 위한 작업과 같은 하나 이상의 작업을 수행하도록 구성된다. 메모리(310)는 자동차 유닛(300)과 프로세서(305)의 작업을 위한 ROM 및 RAM 메모리를 포함할 수 있다. 입/출력 인터페이스(315)는 자동차 유닛(300)의 작업을 위한 하나 이상의 입력이나 제어를 포함할 수 있다. 디스플레이(320)는 검출된 이미지 데이터의 프리젠테이션 및 하나 이상의 그래픽적인 요소나 통지를 위한 자동차 디스플레이에 관한 것일 수 있다. 디스플레이(320)는 자동차 유닛(300)을 위한 제어 인터페이스를 제시할 수 있다.
광학 이미지 검출기(325)는 자동차 유닛(305)의 일부일 수 있는 자동차 이미지 센서를 나타낼 수 있다. 어떤 실시예에서, 자동차 유닛(300)은 자동차 유닛으로부터 분리된 이미지 센서와 인터페이스할 수 있다. 다른 실시예에서, 자동차 유닛(300)은 광학 이미지 검출기(325)를 포함할 수 있다.
도 4는 하나 이상의 실시예에 따른 물체 검출과 통지의 그래픽적인 표현을 나타낸다. 도 4는 위에서부터 자동차(405) 및 위에서부터 검출 영역(410)의 평면도를 나타낸다. 또한, 도 4는 일반적으로 450이라고 하는, 측면으로부터 도시된 검출 영역을 가진 자동차(405)의 측면도를 나타낸다. 일 실시예에 따르면, 자동차(405)는 자동차에 장착된 카메라와 같은, 이미지 센서를 포함한다. 이미지 센서는 자동차(405) 전방의 영역(420)과 관련된 이미지 데이터를 검출하도록 구성된다. 일 실시예에서, 영역(420)은 도로의 섹션과 같은, 자동차(405)의 전방의 지면에 관한 것이다. 자동차(405)의 이미지 센서는 영역(420)의 이미지 데이터를 캡쳐하고, 이는 영역(420) 내의 포트홀, 스피드 범프 또는 일반적인 물체(가령, 도로 잔해물 등)와 같은 하나 이상의 물체를 검출하는데 사용된다. 일 실시예에 따르면, 검출된 물체는 영역(425 및 430)에 도시된 바와 같이, 이미지 데이터 내의 각각의 프레임의 특정 영역과 관련될 수 있다. 자동차가 검출된 물체에 더 가까이 움직일수록, 영역(420) 내의 영역의 위치(425 및 430)는 자동차(405)에 더 가까이 움직일 것이다. 일 실시예에 따르면, 자동차(405)에 의해 제시된 하나 이상의 통지는 영역(425 및 430) 내의 물체의 존재를 지시할 수 있다.
일 실시예에 따르면, 물체 검출 모듈은 주행 표면의 요소 및 주행 표면 상의 물체를 검출할 수 있다. 물체 검출 모듈은 표면의 다양한 유형을 설명할 수 있다. 직사각형 영역(420)으로 도시되더라도, 곡선 도로에 대한 검출 영역과 같이 다른 형상이나 검출 파라미터가 사용될 수 있다.
자동차(405) 및 영역(450)의 측면을 참조하면, 이미지 데이터는 0-100 피트( 0 - 30 m)의 범위와 같이, 자동차의 경로(455) 내의 검출된 물체이다. 자동차(405)의 이미지 센서는 영역(450)의 이미지 데이터를 캡쳐하는데, 이는 영역(450) 내의 보행자(4601-n)와 같은 하나 이상의 물체를 검출하는데 사용된다. 일 실시예에 따르면, 검출된 물체는 보행자(4601-n)에 대한 영역(4651-n)으로 도시된 바와 같이, 이미지 데이터 내의 각 프레임의 특정 영역과 관련될 수 있다. 자동차가 검출된 물체에 더 가까이 움직일수록, 영역(450) 내의 영역(4651-n)의 위치는 자동차(405)에 더 가까이 움직일 것이다. 일 실시예에 따르면, 통지(470)와 같이 자동차(405)에 의해 제시된 하나 이상의 통지는 영역(4601-n) 내의 물체의 존재를 지시할 수 있다.
자동차(405)에 의해 제시된 하나 이상의 통지는 사람, 보행자, 자동차, 도로, 통로표지판, 위험 요소 및 자동차의 전방의 물체 중 하나 이상과 관련된 영역(425, 430 및 450) 내의 물체의 존재를 지시할 수 있다. 도 4에서, 그러나, 물체를 나타내는데 사용되는 직사각형에 있어서, 음영, 컬러링, 하일라이팅 및 그래픽적인 이미지의 디스플레이 중 하나 이상이 통지로 사용될 수 있다는 것을 인식해야 한다.
도 5a-5c는 하나 이상의 다른 실시예에 따른 물체 검출과 통지에 대한 순서도를 나타낸다. 일 실시예에 따르면, 도 5a-5b에서의 프로세스는 검출된 이미지 데이터의 장면 정보를 이해하기 위한 하나 이상의 메카니즘을 기술한다. 일 실시예에 따르면, 도 5a의 프로세스(500)는 물체 검출을 수행하기 위해, 자동차 보조 시스템을 트레이닝하기 위한 학습 단계를 제공한다. 또 다른 실시예에 따르면, 도 5b의 프로세스(555)는 보조 센서(가령, 열 검출, 자동차 환경의 비광학적 센서 등)의 사용 없이 물체의 검출을 트레이닝하기 위한 프로세스르 제공한다.
도 5a를 우선 참조하면, 프로세스(500)는 트레이닝 단계에 관한 것이다. 일 실시예에 따르면, 프로세스(500)는 자동차의 작동 동안에 자동차 보조 유닛에 의해 사용되지 않는다. 그보다는, 프로세스(500)는 입력으로서 광학 이미지 데이터만으로 나중에 사용을 위한 장치 작업을 구성하기 위해 사용될 수 있다. 프로세스(500)는 RGB 이미지 데이터(505)(가령, 주요 데이터) 및 열 요소 데이터(510)(가령, 보조 데이터)를 특징 추출 모듈(515)에 의해 수신하는 것을 포함한다. 일 실시예에 따르면, 이미지 데이터(505) 및 열 요소 데이터(510)는 동일한 장면에 대한 광학 이미지(또는 데이터) 및 열 이미지(또는 데이터)에 관한 것이다.
특징 추출 모듈(515)은 RGB 이미지 데이터(505)를 수신하기 위한 RGB 특징 추출기(520) 및 열 요소 데이터(510)를 수신하기 위한 열 특징 추출기(525)를 포함한다. RGB 특징 추출기(520)는 관심있는 하나 이상의 요소 및 영역을 식별한다. 마찬가지로, 열 특징 추출기(525)는 검출된 열 데이터에 기초하여 관심있는 하나 이상의 영역을 식별한다. 식별된 영역은 결합기(530)에 의해 결합되고, 조인트 특징(가령, RGB 및 열)은 블록(535)에서 식별된다. 예시적인 실시예에서, RGB 특징 추출기는 특징 추출에 기초하여 프레임 또는 일련의 프레임들 내의 하나 이상의 관심 영역을 식별할 수 있다. 특징 추출은 수정된 이미지 데이터의 프로세스에 기초할 수 있는데, 이미지 데이터가 교정되거나, 반전되거나, 하나 이상의 컬러 및 픽셀 프로세싱이나 필터링을 포함한다. 열 특징 추출기(525)는 광학 프레임으로서 검출의 동일한 시간과 관련된 열 데이터의 하나 이상의 프레임에 대한 열적으로 검출된 데이터를 보는 열 특징 추출을 수행한다. 그 결과, 데이터의 두 개의 소스가 동일한 시기 동안에 동일한 장면에 대해 생성된다. 결합기(530)는 프레임 내의 요소의 위치에 기초하여, 두 세트의 데이터로부터 관심 영역을 매칭하는 조인트 특징 모듈(535)로 두 세트의 데이터를 제공한다.
일 실시예에 따르면, 모듈(540)은 조인트 특징(535)을 수신하고, 시스템을 트레이닝하여 검출된 이미지 데이터(가령, RGB 특징 추출기) 및 열 특징 추출기로부터의 데이터로부터의 특징을 사용한다. 양성 또는 매칭 특징 식별은 식별 모듈(545)에 의해 식별되고 학습된다. 또 다른 실시예에 따르면, 모듈(540)은 조인트 특징(535)을 수신하고, 열 모델링된 파라미터와 같은, RGB 특징 추출기에 의해 사용된 파라미터를 수정한다. 교정 모듈(550)은, 부정확하게 식별된 RGB 특징 추출기(520)에 의해 식별된 물체의 영역에 대해, RGB 특징 추출기(520)의 파라미터를 수정하기 위해, 업데이트를 특징 추출 모듈(515)에 제공하도록 구성된다.
특정 실시예에서, 여러 시나리오가 프로세스(500)로 모델링되어서, 하나 이상의 거리에서의 보행자의 식별, 도로 내의 물체의 식별, 다른 자동차의 식별 등을 포함하는 열 모델링 파라미터를 생성한다. 도 5a의 프로세스(500)는 하나 이상의 파라미터가 특징 추출 모듈(515)에 의해 사용되고, RGB 특징 추출기(520)가 물체 식별을 하도록 한다.
낮은-광 환경에서 보행자 검출의 하나의 예시적인 시나리오에서, 장면에 대한 RGB 및 열 카메라 출력 모두가 사용될 수 있다. 두 이미지 내에서 보행자의 표현은 컬러, 질감 등에 대해 상이하다. 그러나, 형상 및 윤곽과 같은 기본 특징은 일정하게 유지될 것이다. 낮은 광 조건에서 사용되는 열 카메라 출력은 물체 열 시그니쳐를 캡쳐할 수 있고, 물체 형상, 윤곽, 이미지 세기 등의 하나 이상에 대한 가시성을 제공할 수 있다. 일 실시예에 따르면, 특징 추출 모듈(515)은 대응되는 RGB 이미지로부터의 출력과 같은 열을 생성하기 위해 트레이닝될 수 있고, 그럼으로서, 열 카메라에 대한 필요성을 제거한다. 또한, 특징 추출 모듈(515)은 낮은 광 장면에서 미미하게 보이는 보행자/사이클리스트/등과 같은 물체에 대해 사용자에게 경고할 수 있다.
이제, 도 5b를 참조하면, 프로세스(555)는 물체 검출 모듈에 대한 트레이닝 절차를 기술한다. 프로세스(555)는 RGB 이미지 데이터(505)(가령, 주요 데이터)를 수신하는 것을 포함한다. 수신된 이미지 데이터는 자동차 전방 뷰로부터 캡쳐된 이미지 데이터에 관한 것일 수 있다. 특징 추출 모듈(516)은 RGB 특징 추출기(520) 및 RGB 이미지 데이터(505)를 수신하기 위한 보조 추출기(556)을 포함한다. 일 실시예에 따르면, RGB 특징 추출기(520)는 수신된 이미지 데이터(505) 내의 관심있는 하나 이상의 요소 및 영역을 식별한다. 일 실시예에서, RGB 특징 추출기(520)는 제1 특징 추출을 수행한다. 마찬가지로, 보조 추출기(556)는 검출된 이미지 데이터에 기초하여 하나 이상의 관심 영역을 식별한다. 보조 추출기(556)는 모델링된 열 파라미터에 기초하여 제2 추출을 수행한다. 식별된 영역은 결합기(530)에 의해 결합되고, 모듈(557)은 이미지 데이터 및 하나 이상의 모델링된 열 파라미터를 사용하여 하나 이상의 물체를 검출한다. 모듈(557)에서, 하나 이상의 물체는 블록(559)에서 조인트 특징에 기초하여, 블록(558)에서 검출된다. 식별된 물체들 간의 에러는 부정확하게 식별된 물체에 대해 특징 추출 모듈(516)로 제공된다. 예시적인 실시예에서, RGB 특징 추출기는 특징 추출에 기초하여 프레임 또는 일련의 프레임들 내의 하나 이상의 관심 영역을 식별할 수 있다. 특징 추출은 수정된 이미지 데이터의 프로세스에 기초할 수 있는데, 이미지 데이터가 교정되거나, 반전되거나, 하나 이상의 컬러 및 픽셀 프로세싱이나 필터링을 포함한다.
또 다른 실시예에 따르면, 모듈(557)은 관심있는 물체를 식별하고 물체 검출을 향상하기 위해 하나 이상의 학습 알고리즘을 사용할 수 있다. 일 실시예에서, 물체 식별은 프레임 비교에 기초하여 관심있는 물체를 향상시킨다. 물체가 식별되면, 더욱 깊은 학습 알고리즘이 관심있는 물체를 향상시키는데 사용된다. 그리고 나서, 물체 및/또는 그래픽적인 요소는 원래의 이미지 데이터 상에 중첩될 수 있다. 물체 향상은 사용가능한 이미지의 정지한 물체(도로 표시, 포트홀 등) 또는 모듈(557)로의 사용가능한 다른 데이터의 사전 지식을 포함할 수 있다.
일 실시예에 따르면, 프로세스(555)는, 프로세스(500)에서 주요 데이터 + 보조 데이터로부터 추출된 것과 유사한 주요 데이터로부터 패턴을 추출하기 위해 학습 알고리즘을 가이드함에 의해, 보조 데이터의 부족을 보상하기 위해 제2 단계의 트레이닝을 수행할 수 있다. 도시된 프로세스(500)와 같이, RGB 및 열 특징 추출기는 이들의 대응되는 데이터로부터 물체 검출 임무를 위해 유용한 특징을 생성하도록 트레이닝된다. 이들 추출기는 지상-실측 주석(임무에 대해 정확하게 표시된 수동 주석)으로 이들의 예측들을 비교하고 에러를 교정함에 의해 트레이닝된다. 프로세스(555)에서, 열 특징 추출기는 의사-열 특징 추출기로 대체되고, 프로세스(500)에서 생성된 특징을 모방하기 위해 트레이닝된다. 프로세스(555) 이후에, 자동차 시스템은 물체를 식별하기 위해 열 데이터(보조 데이터)를 요구하지 않는다.
상기 트레이닝 접근법은 열악한 빛 환경에서 물체 검출에 적용될 것이다. 여기서, 주요 데이터는 이차 데이터가 열 카메라로부터 캡쳐되는 이미지인 일반적인 RGB 카메라로부터 캡쳐된 이미지이다. 열 카메라로부터의 실마리는 가까스로 보이는 RGB 이미지이나 열 이미지에서 캡쳐될 수 있는 약간의 열 시그니쳐를 발산하는 물체를 검출하는데 알고리즘을 보조할 수 있다. 상기 접근법은 열 시그니쳐를 나타내는 자체적인 RGB 이미지에서의 패턴을 찾기 위해 알고리즘을 트레이닝하고, 이에 의해, 낮은-광 환경에서 RGB 기반 물체 검출 알고리즘의 성능을 개선한다. 시스템이 상기 방식으로 트레이닝되면, 전개 단계 동안에 RGB 센서로부터만 데이터를 요구하여서, 물체 검출 시스템의 전반적인 단가를 낮게 유지한다.
이제 도 5c를 참조하면, 프로세스(560)는 자동차의 작동 동안에, 자동차 보조 유닛에 대한 물체 검출 모듈의 작동을 기술한다. 프로세스(560)는 프로세스(555)와 유사한 요소를 포함한다. 프로세스(560)는 RGB 이미지 데이터(505)(가령, 주요 데이터)를 수신하는 것을 포함한다. 수신된 이미지 데이터는 자동차의 전방으로부터 캡쳐된 이미지 데이터에 관한 것일 수 있다. 특징 추출 모듈(516)은 RGB 이미지 데이터(505)를 수신하기 위해 RGB 특징 추출기(520) 및 보조 추출기(556)를 포함한다. 일 실시예에 따르면, RGB 특징 추출기(520)는 수신된 이미지 데이터(505)에서 하나 이상의 요소 및 관심 영역을 식별한다. 일 실시예에서, RGB 특징 추출기(520)는 제1 특징 추출을 수행한다. 마찬가지로, 보조 추출기(556)는 검출된 이미지 데이터에 기초하여 하나 이상의 관심있는 영역을 식별한다. 보조 추출기(556)는 모델링된 열 파라미터에 기초하여 제2 추출을 수행한다. 일 실시예에 따르면, 특징 추출 모듈(516)은, 이미지 데이터 및 하나 이상의 모델링된 열 파라미터를 사용하여 수신된 하나 이상의 물체를 검출하기 위해, RGB 특징 추출기(520) 및 보조 추출기(556)로부터 식별된 영역을 사용한다. 예시적인 실시예에서, RGB 특징 추출기(520)는 특징 추출에 기초하여 프레임 또는 일련의 프레임들 내의 하나 이사의 관심 영역을 식별할 수 있다. 특징 추출은 수정된 이미지 데이터의 프로세스에 기초할 수 있는데, 이미지 데이터는 교정되거나 반전되거나 하나 이상의 컬러 및 픽셀 프로세싱 또는 필터링을 포함한다.
또 다른 실시예에 따르면, 특징 추출 모듈(516)은 관심있는 물체를 식별하고 물체 검출을 향상하기 위해 하나 이상의 학습 알고리즘을 사용할 수 있다. 일 실시예에서, 물체 식별은 프레임 비교에 기초하여 관심있는 물체를 향상시킨다. 물체가 식별되면, 더욱 깊은 학습 알고리즘이 관심있는 물체를 향상시키는데 사용된다. 그리고 나서, 물체 및/또는 그래픽적인 요소는 원래의 이미지 데이터 상에 중첩될 수 있다. 물체 향상은 사용가능한 이미지의 정지한 물체(도로 표시, 포트홀 등) 또는 특징 추출 모듈(516)로의 사용가능한 다른 데이터의 사전 지식을 포함할 수 있다.
일 실시예에 따르면, 프로세스(560)는 프로세스(555) 내의 주요 데이터와 보조 데이터로부터 추출된 것과 유사한 주요 데이터로부터 패턴을 추출할 수 있다. 검출된 물체는 자동차 시스템으로의 565와 같은 출력이다.
도 6은 하나 이상의 실시예에 따른 물체 검출과 통지를 위한 프로세스를 나타낸다. 프로세스(600)는 자동차 운전자 보조 시스템(가령, 시스템(100))의 물체 검출 모듈(가령, 물체 검출 모듈(110))과 같은 장치 및 물체를 검출하기 위한 하나 이상의 다른 구성에 의해 사용될 수 있고, 디스플레이 구성을 결정한다. 일 실시예에 따르면, 프로세스(600)는 블록(605)에서 이미지 데이터 내의 물체를 검출하는 운전자 보조 시스템의 물체 검출 모듈에 의해 개시될 수 있다. 블록(605)에서 물체 검출은 물체를 식별하고 분류하기 위해 하나 이상의 프레임을 사용하여, 이미지 데이터의 분석에 기초할 수 있다.
블록(610)에서, 프로세스(600)는 물체 검출 모듈에 의해 저장된 하나 이상의 열 모델링 파라미터와 검출된 물체를 비교한다. 일 실시예에서, 물체 검출 모듈은 캡쳐된 이미지 데이터에서 검출될 수 있는 복수의 열 특징의 저장된 리스팅을 포함한다. 프로세스(610)는 검출된 물체, 식별된 영역 및 전체 이미지 데이터 중 하나 이상을 하나 이상의 저장된 파라미터와 비교할 수 있다.
블록(615)에서, 디스플레이 출력과 디스플레이 구성은 하나 이상의 결정된 물체에 대해 결정된다. 일 실시예에 따르면, 하나 이상의 유형의 통지는 검출된 물체를 통지하기 위해 제시될 수 있다. 여러 물체가 검출될 때, 여러 통지가 물체에 기초하여 포맷된 각각의 통지와 병렬적으로 제공될 수 있다.
프로세서(600)는 블록(620)에서 디스플레이 구성을 업데이트하는 것을 선택적으로 포함할 수 있다. 업데이트는 자동차 위치의 변경에 기초할 수 있다. 예를 들어, 많은 박스가 디스플레이 내의 위치를 변경해야할 수 있다. 이는 바운딩 박스 또는 아이콘의 위치를 움직이는 것 및 경계있는 박스의 크기를 증가시키는 것과 같이 디스플레이 요소의 디스플레이 속성을 변경하는 것을 포함할 수 있다.
도 7은 하나 이상의 다른 실시예에 따른 물체 검출과 통지에 대한 프로세스를 나타낸다. 프로세스(700)는 자동차 운전자 보조 시스템(가령, 시스템(100))의 물체 검출 모듈(가령, 물체 검출 모듈(110))과 같은 장치 및 물체를 검출하기 위한 하나 이상의 다른 구성에 의해 사용될 수 있다. 일 실시예에 따르면, 프로세스(700)는 이미지 데이터 내의 물체의 검출을 위해 운전자 보조 시스템의 물체 검출 모듈에 의해 사용될 수 있다. 프로세스는 블록(705)에서 이미지 데이터를 변환함에 의해 개시될 수 있다. 예를 들면, 이미지 센서(가령, 이미지 센서(105))에 의해 검출된 이미지 데이터는, 반전, 연무제거, 오프닝 등 중 하나 이상에 의해 변환되어서 물체를 검출하기 위한 더 큰 능력을 허용할 수 있다. 변환되면, 물체는 블록(710)에서 이미지 데이터 내에서 검출될 수 있다. 블록(710) 내의 물체의 검출은 하나 이상의 열 파라미터에 기초하여 변환된 이미지 데이터 내의 물체의 비교를 포함할 수 있다. 블록(715)에서, 이미지 데이터를 위한 디스플레이 요소가 결정될 수 있다. 일 실시예에서, 바운딩 박스 또는 심볼과 같은 그래픽적인 요소는 디스플레이와 같은 자동차의 출력상에 프리젠테이션을 위해 선택될 수 있다. 블록(720)에서, 디스플레이 요소는 하나 이상의 검출된 물체에 대해 통지로서 출력될 수 있다.
이러한 개시물이 특히 도시되고 예시적인 실시예를 참조하여 기술되지만, 기술 분야의 당업자는 형태의 다양한 변경과 세부사항이 청구된 실시예의 범위에서 벗어나지 않으면서 그 안에서 이루어질 수 있다는 것을 이해할 것이다.

Claims (20)

  1. 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법에 있어서, 상기 방법은,
    자동차 운전자 보조 유닛의 모듈에 의해, 자동차에 장착된 이미지 센서에 의해 검출된 이미지 데이터를 수신하는 단계와,
    자동차 운전자 보조 유닛의 모듈에 의해, 이미지 데이터 내의 적어도 하나의 물체를 검출하는 단계 - 적어도 하나의 물체를 검출하는 단계는,
    하나 이상의 이미지 영역을 식별하기 위해, 이미지 센서에 의해 검출된 이미지 데이터에 대해 특징 추출 작업을 수행하는 단계와,
    모델링된 열 특징 트레이닝에 기초하여 하나 이상의 이미지 영역을 식별하기 위해, 이미지 센서에 의해 검출된 이미지 데이터에 대해 제2 추출 작업을 수행하는 단계와, 및
    특징 추출 작업과 제2 추출 작업의 하나 이상의 이미지 영역들의 비교에 기초하여, 이미지 데이터 내의 하나 이상의 물체를 식별하는 단계를 포함함 - 와, 및
    자동차 운전자 보조 유닛의 모듈에 의해, 하나 이상의 그래픽적인 요소를 포함하는 이미지 센서에 의해 검출된 이미지 데이터를 디스플레이하기 위해, 적어도 하나의 물체에 대한 통지로서 출력하는 단계를 포함하는, 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법.
  2. 제 1 항에 있어서, 모듈에 의해 수신된 이미지 데이터는 비디오 이미지 데이터의 컬러 모델 기반 표현을 출력하도록 구성된 광학 이미지 센서에 의해 캡쳐되는, 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법.
  3. 제 1 항에 있어서, 적어도 하나의 물체를 검출하는 단계는 사람, 보행자, 자동차, 도로, 통로표지판, 위험 요소 및 자동차 전방의 물체 중 하나 이상을 검출하는 것을 포함하는, 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법.
  4. 제 1 항에 있어서, 특징 추출 작업은 하나 이상의 물체를 식별하기 위해 이미지 개선, 에지 검출, 필터링 및 영역 분석 중 하나 이상에 기초하여 수신된 이미지 데이터를 프로세싱하는 단계를 포함하는, 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법.
  5. 제 1 항에 있어서, 모델링된 열 특징 트레이닝에 기초하여 하나 이상의 이미지 영역을 식별하기 위한 제2 추출 작업은, 수신된 이미지 데이터를 모듈에 의해 학습된 열 모델 기준과 비교하는 단계를 포함하되, 각각의 열 기준은 물체, 물체 일부 및 열 특징의 모델링된 표현 중 하나 이상과 관련되는, 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법.
  6. 제 1 항에 있어서, 이미지 데이터 내의 하나 이상의 물체를 식별하는 단계는 제2 추출 작업의 결정에 기초한 특징 추출 작업에 의해 식별된 영역을 수정하는 단계 및 수정된 영역에 기초하여 이미지 데이터 내의 하나 이상의 특징을 추적하는 단계를 포함하는, 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법.
  7. 제 1 항에 있어서, 하나 이상의 물체를 식별하는 단계는, 이미지 데이터 내의 열 특징과 관련된 이미지 데이터 내의 아티팩트를 검출하는 단계를 포함하는, 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법.
  8. 제 1 항에 있어서, 식별하는 단계는, 특징 추출과 제2 특징 추출 중 적어도 하나를 수행하기 위해, 수신된 이미지 데이터를 이진 그래디언트로 전환하는 단계를 포함하는, 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법.
  9. 제 1 항에 있어서, 출력하는 단계는, 이미지 데이터에서 검출된 식별된 물체와 관련된 아이콘 요소 및 바운딩 영역 중 하나 이상을 생성하는 단계를 포함하는, 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법.
  10. 제 1 항에 있어서, 복수의 물체 유형에 대한 열 특징 모델을 수신하는 단계 및 제2 파라미터 추출 파라미터를 위해 열 특징 모델을 사용하는 단계를 더 포함하되, 열 특징 모델은 이미지 데이터 내의 물체의 식별을 위해 하나 이상의 검색 타겟을 제공하는, 자동차의 운전자 보조 시스템에 의해 물체 검출과 통지를 위한 방법.
  11. 자동차 운전자 보조 모듈에 있어서, 상기 자동차 운전자 보조 모듈은,
    이미지 데이터를 검출하기 위한 이미지 센서와, 및
    이미지 센서에 연결된 물체 검출 모듈을 포함하되, 상기 물체 검출 모듈은, 프로세서를 포함하되, 상기 프로세서는,
    이미지 센서에 의해 검출된 이미지 데이터를 수신하고,
    이미지 데이터 내의 적어도 하나의 물체를 검출 - 상기 적어도 하나의 물체를 검출하는 것은,
    하나 이상의 이미지 영역을 식별하기 위해 이미지 센서에 의해 검출된 이미지 데이터에 대해 특징 추출 작업을 수행하는 것과,
    모델링된 열 특징 트레이닝에 기초하여 하나 이상의 이미지 영역을 식별하기 위해, 이미지 센서에 의해 검출된 이미지 데이터에 대해 제2 추출 작업을 수행하는 것과, 및
    특징 추출 작업과 제2 추출 작업의 하나 이상의 이미지 영역의 비교에 기초하여 이미지 데이터 내의 하나 이상의 물체를 식별하는 것을 포함함 - 하고, 및
    하나 이상의 그래픽적인 요소를 포함하는 이미지 센서에 의해 검출된 이미지 데이터를 적어도 하나의 물체에 대한 통지로서 출력하도록 구성된, 자동차 운전자 보조 모듈.
  12. 제 11 항에 있어서, 모듈에 의해 수신된 이미지 데이터는 비디오 이미지 데이터의 컬러 모델 기반 표현을 출력하도록 구성된 광학 이미지 센서에 의해 캡쳐되는, 자동차 운전자 보조 모듈.
  13. 제 11 항에 있어서, 적어도 하나의 물체를 검출하는 것은, 사람, 보행자, 자동차, 도로, 통로표지판, 위험 요소 및 자동차 전방의 물체 중 하나 이상을 검출하는 것을 포함하는, 자동차 운전자 보조 모듈.
  14. 제 11 항에 있어서, 특징 추출 작업은 하나 이상의 물체를 식별하기 위해 이미지 개선, 에지 검출, 필터링 및 영역 분석 중 하나 이상에 기초하여 수신된 이미지 데이터를 프로세싱하는 것을 포함하는, 자동차 운전자 보조 모듈.
  15. 제 11 항에 있어서, 모델링된 열 특징 트레이닝에 기초하여 하나 이상의 이미지 영역을 식별하기 위한 제2 추출 작업은, 수신된 이미지 데이터를 모듈에 의해 학습된 열 모델 기준과 비교하는 것을 포함하되, 각각의 열 기준은 물체, 물체 일부 및 열 특징의 모델링된 표현 중 하나 이상과 관련되는, 자동차 운전자 보조 모듈.
  16. 제 11 항에 있어서, 이미지 데이터 내의 하나 이상의 물체를 식별하는 것은, 제2 추출 작업의 결정에 기초한 특징 추출 작업에 의해 식별된 영역을 수정하는 것 및 수정된 영역에 기초하여 이미지 데이터 내의 하나 이상의 특징을 추적하는 것을 포함하는, 자동차 운전자 보조 모듈.
  17. 제 11 항에 있어서, 하나 이상의 물체를 식별하는 것은, 이미지 데이터 내의 열 특징과 관련된 이미지 데이터 내의 아티팩트를 검출하는 것을 포함하는, 자동차 운전자 보조 모듈.
  18. 제 11 항에 있어서, 식별하는 것은, 특징 추출과 제2 특징 추출 중 적어도 하나를 수행하기 위해, 수신된 이미지 데이터를 이진 그래디언트로 전환하는 것을 포함하는, 자동차 운전자 보조 모듈.
  19. 제 11 항에 있어서, 출력하는 것은, 이미지 데이터에서 검출된 식별된 물체와 관련된 아이콘 요소 및 바운딩 영역 중 하나 이상을 생성하는 것을 포함하는, 자동차 운전자 보조 모듈.
  20. 제 11 항에 있어서, 복수의 물체 유형에 대한 열 특징 모델을 수신하는 것 및 제2 파라미터 추출 파라미터를 위해 열 특징 모델을 사용하는 것을 더 포함하되, 열 특징 모델은 이미지 데이터 내의 물체의 식별을 위해 하나 이상의 검색 타겟을 제공하는, 자동차 운전자 보조 모듈.
KR1020180094498A 2017-08-17 2018-08-13 물체 검출과 통지를 위한 운전자 보조 시스템 및 방법 KR102404149B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/680,046 US10496891B2 (en) 2017-08-17 2017-08-17 Driver assistance system and method for object detection and notification
US15/680,046 2017-08-17

Publications (2)

Publication Number Publication Date
KR20190019840A true KR20190019840A (ko) 2019-02-27
KR102404149B1 KR102404149B1 (ko) 2022-05-31

Family

ID=62985915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180094498A KR102404149B1 (ko) 2017-08-17 2018-08-13 물체 검출과 통지를 위한 운전자 보조 시스템 및 방법

Country Status (4)

Country Link
US (1) US10496891B2 (ko)
EP (1) EP3506169A3 (ko)
KR (1) KR102404149B1 (ko)
CN (1) CN109409186B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10661795B1 (en) * 2018-12-20 2020-05-26 Verizon Patent And Licensing Inc. Collision detection platform
US10817777B2 (en) * 2019-01-31 2020-10-27 StradVision, Inc. Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
US10984534B2 (en) * 2019-03-28 2021-04-20 GM Global Technology Operations LLC Identification of attention region for enhancement of sensor-based detection in a vehicle
US10929719B2 (en) * 2019-03-28 2021-02-23 GM Global Technology Operations LLC Adversarial attack on black box object detection algorithm
US11265480B2 (en) * 2019-06-11 2022-03-01 Qualcomm Incorporated Systems and methods for controlling exposure settings based on motion characteristics associated with an image sensor
CN113447128B (zh) * 2020-03-10 2023-06-23 百度在线网络技术（北京）有限公司 一种多人体温检测方法、装置、电子设备及存储介质
CN112330558A (zh) * 2020-11-05 2021-02-05 山东交通学院 基于雾天环境感知的道路图像恢复预警系统及方法
US20230057652A1 (en) 2021-08-19 2023-02-23 Geotab Inc. Mobile Image Surveillance Systems
US11989949B1 (en) * 2023-03-31 2024-05-21 Geotab Inc. Systems for detecting vehicle following distance

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070038536A (ko) * 2004-06-30 2007-04-10 애질런트 테크놀로지스, 인크. 아티팩트 감소 방법 및 시스템
JP2007300181A (ja) * 2006-04-27 2007-11-15 Denso Corp 周辺認識装置、周辺認識方法、プログラム
KR20160028244A (ko) * 2014-09-03 2016-03-11 연세대학교 산학협력단 적외선 조명을 이용한 객체 추출 방법 및 그 장치
KR20160047988A (ko) * 2014-10-23 2016-05-03 엑시스 에이비 장면을 모니터링하기 위한 비디오 프로세싱 알고리즘에 의해 이용되는 적어도 하나의 파라미터에 대한 변경
WO2016092537A1 (en) * 2014-12-07 2016-06-16 Brightway Vision Ltd. Object detection enhancement of reflection-based imaging unit

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3108264A2 (en) * 2014-02-20 2016-12-28 Mobileye Vision Technologies Ltd. Advanced driver assistance system based on radar-cued visual imaging
CN105430358B (zh) * 2015-11-26 2018-05-11 努比亚技术有限公司 一种图像处理方法及装置、终端
CN105528760B (zh) * 2015-12-04 2018-09-25 中国科学院遥感与数字地球研究所 一种基于热红外数据的云边缘高度匹配方法和系统
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070038536A (ko) * 2004-06-30 2007-04-10 애질런트 테크놀로지스, 인크. 아티팩트 감소 방법 및 시스템
JP2007300181A (ja) * 2006-04-27 2007-11-15 Denso Corp 周辺認識装置、周辺認識方法、プログラム
KR20160028244A (ko) * 2014-09-03 2016-03-11 연세대학교 산학협력단 적외선 조명을 이용한 객체 추출 방법 및 그 장치
KR20160047988A (ko) * 2014-10-23 2016-05-03 엑시스 에이비 장면을 모니터링하기 위한 비디오 프로세싱 알고리즘에 의해 이용되는 적어도 하나의 파라미터에 대한 변경
WO2016092537A1 (en) * 2014-12-07 2016-06-16 Brightway Vision Ltd. Object detection enhancement of reflection-based imaging unit

Also Published As

Publication number Publication date
KR102404149B1 (ko) 2022-05-31
US20190057262A1 (en) 2019-02-21
US10496891B2 (en) 2019-12-03
CN109409186B (zh) 2023-09-26
CN109409186A (zh) 2019-03-01
EP3506169A3 (en) 2019-12-18
EP3506169A2 (en) 2019-07-03

Similar Documents

Publication Publication Date Title
KR102404149B1 (ko) 물체 검출과 통지를 위한 운전자 보조 시스템 및 방법
US10504214B2 (en) System and method for image presentation by a vehicle driver assist module
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
Wu et al. Lane-mark extraction for automobiles under complex conditions
US20190325241A1 (en) Device and a method for extracting dynamic information on a scene using a convolutional neural network
EP2919197B1 (en) Object detection device and object detection method
US11010622B2 (en) Infrastructure-free NLoS obstacle detection for autonomous cars
KR101683509B1 (ko) 헤드램프 눈부심 방지 장치 및 이를 이용한 눈부심 방지 방법
US20070211919A1 (en) Vehicle surroundings monitoring apparatus
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
US20110157184A1 (en) Image data visualization
JP4425642B2 (ja) 歩行者抽出装置
CN107273788A (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
US20160232415A1 (en) Detection detection of cell phone or mobile device use in motor vehicle
JP4826355B2 (ja) 車両周囲表示装置
Li et al. A low-cost and fast vehicle detection algorithm with a monocular camera for adaptive driving beam systems
JP2012164026A (ja) 画像認識装置及び車両用表示装置
JP6847709B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
KR100355993B1 (ko) 차선 이탈 경보장치 및 방법
KR20160126254A (ko) 도로 영역 검출 시스템
JP2010136207A (ja) 歩行者検出表示システム
JP6789151B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
WO2021182190A1 (ja) 撮像装置、撮像システム及び撮像方法
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
KR20180069282A (ko) 자율주행을 위한 차선검출 방법.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant