KR20210152741A - 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법 - Google Patents

첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법 Download PDF

Info

Publication number
KR20210152741A
KR20210152741A KR1020200069611A KR20200069611A KR20210152741A KR 20210152741 A KR20210152741 A KR 20210152741A KR 1020200069611 A KR1020200069611 A KR 1020200069611A KR 20200069611 A KR20200069611 A KR 20200069611A KR 20210152741 A KR20210152741 A KR 20210152741A
Authority
KR
South Korea
Prior art keywords
location information
image
bounding boxes
score
candidate bounding
Prior art date
Application number
KR1020200069611A
Other languages
English (en)
Inventor
고상수
김병수
김경영
하상혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200069611A priority Critical patent/KR20210152741A/ko
Priority to US17/110,124 priority patent/US11694446B2/en
Priority to CN202110643436.2A priority patent/CN113780050A/zh
Publication of KR20210152741A publication Critical patent/KR20210152741A/ko
Priority to US18/319,094 priority patent/US11941889B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

첨단 운전자 지원 장치는 프로세싱 회로 및 메모리를 포함한다. 상기 메모리는 상기 프로세싱 회로에 의하여 실행가능한 명령어들을 저장한다. 상기 프로세싱 회로는 상기 명령어들을 실행함으로써 차량의 주행 중 촬영된 복수의 프레임들(상기 복수의 프레임들 각각은 제1 시점 이미지 및 제2 시점 이미지를 포함하는 스테레오 이미지에 해당함)을 포함하는 비디오 시퀀스를 획득하고, 상기 스테레오 이미지에 기초하여 상기 스테레오 이미지에 포함된 적어도 하나의 객체를 포함하는 위치 이미지를 생성하고, 상기 차량의 주행 중 수신된 반사 신호에 기초하여 상기 적어도 하나의 객체에 대한 제2 위치 정보를 생성하고, 상기 스테레오 이미지 및 상기 위치 이미지에 기초하여 상기 적어도 하나의 객체의 적어도 일부를 포함하는 영역들을 후보 바운딩 박스들로 결정하고, 상기 후보 바운딩 박스들 각각의 제1 위치 정보와 상기 제2 위치 정보의 일치 여부에 기초하여 상기 적어도 하나의 객체에 대한 상기 후보 바운딩 박스들 각각의 클래스 스코어를 선택적으로 조절할 수 있다.

Description

첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법{ADVANCED DRIVER ASSIST DEVICE AND METHOD OF DETECTING OBJECT IN THE SAEM}
본 발명은 객체 검출에 관한 것으로, 보다 상세하게는 차량의 주행 중 객체를 검출하는 첨단 운전자 지원 장치 및 상기 첨단 운전자 지원 장치에서 객체를 검출하는 방법에 관한 것이다.
ADAS(Advanced Driver Assistance system, 첨단 운전자 지원 시스템)은 운전자의 운전을 보조 또는 지원하는 수단이다. ADAS는 차선유지제어, 사각지대 경보장치), 자동긴급제동시스템 등을 포함할 수 있다. 이미지를 이용한 객체 검출 및 장면분할은 ADAS의 기반이 되는 기술이다. 이 기술은 차후 자율 주행(Automatic Driving)에서도 활용될 것으로 예상된다.
차량(vehicle)에 적용되는 기술들이 발전함에 따라, 차량의 주행에 관련된 이벤트가 발생하였는지를 인식하는 다양한 방법들이 개발되고 있다.
본 발명의 목적은 복수의 센서들로부터의 신호들을 이용하여 객체를 효과적으로 검출하는 첨단 운전자 지원 장치를 제공하는데 있다.
본 발명의 목적은 복수의 센서들로부터의 신호들을 이용하여 객체를 효과적으로 검출하는 상기 첨단 운전자 지원 장치의 객체 검출 방법을 제공하는데 있다.
상기 본 발명의 목적을 달성하기 위한 본 발명의 실시예들에 따른 첨단 운전자 지원 장치는 프로세싱 회로 및 메모리를 포함한다. 상기 메모리는 상기 프로세싱 회로에 의하여 실행가능한 명령어들을 저장한다. 상기 프로세싱 회로는 상기 명령어들을 실행함으로써 차량의 주행 중 촬영된 복수의 프레임들(상기 복수의 프레임들 각각은 제1 시점 이미지 및 제2 시점 이미지를 포함하는 스테레오 이미지에 해당함)을 포함하는 비디오 시퀀스를 획득하고, 상기 스테레오 이미지에 기초하여 상기 스테레오 이미지에 포함된 적어도 하나의 객체를 포함하는 위치 이미지를 생성하고, 상기 차량의 주행 중 수신된 반사 신호에 기초하여 상기 적어도 하나의 객체에 대한 제2 위치 정보를 생성하고, 상기 스테레오 이미지 및 상기 위치 이미지에 기초하여 상기 적어도 하나의 객체의 적어도 일부를 포함하는 영역들을 후보 바운딩 박스들로 결정하고, 상기 후보 바운딩 박스들 각각의 제1 위치 정보와 상기 제2 위치 정보의 일치 여부에 기초하여 상기 적어도 하나의 객체에 대한 상기 후보 바운딩 박스들 각각의 클래스 스코어를 선택적으로 조절할 수 있다.
상기 본 발명의 목적을 달성하기 위한 본 발명의 실시예들에 따른 첨단 운전자 지원 장치는 상기 본 발명의 목적을 달성하기 위한 본 발명의 실시예들에 따른 첨단 운전자 지원 장치는 프로세싱 회로 및 메모리를 포함한다. 상기 메모리는 상기 프로세싱 회로에 의하여 실행가능한 명령어들을 저장한다. 상기 프로세싱 회로는 위치 정보 생성 엔진, 트래킹 리스트 생성 엔진, 객체 검출기 및 객체 트래킹 엔진을 포함한다. 상기 위치 정보 생성 엔진은 차량의 주행 중 촬영된 복수의 프레임들(상기 복수의 프레임들 각각은 제1 시점 이미지 및 제2 시점 이미지를 포함하는 스테레오 이미지에 해당함)을 포함하는 비디오 시퀀스를 획득하여 상기 적어도 하나의 객체를 포함하는 위치 이미지를 생성한다. 상기 트래킹 리스트 생성 엔진은 상기 차량의 주행 중 수신된 반사 신호에 기초하여 상기 적어도 하나의 객체에 대한 제2 위치 정보를 포함하는 객체 트래킹 리스트 데이터를 생성한다. 상기 객체 검출기는상기 스테레오 이미지, 상기 위치 이미지 및 상기 제2 위치 정보에 기초하여 상기 스테레오 이미지에 포함된 적어도 하나의 객체를 나타내는 최종 바운딩 박스를 제공한다.상기 객체 트래킹 엔진은 상기 최종 바운딩 박스와 상기 객체 트래킹 리스트 데이터에 기초하여 상기 적어도 하나의 객체를 트래킹하여 출력 신호를 제공한다. 상기 객체 검출기는 객체 검출 모듈, 스코어 조절 모듈 및 선택 엔진을 포함한다. 상기 객체 검출 모듈은 상기 스테레오 이미지와 상기 위치 이미지에 기초하여 상기 스테레오 이미지에 포함된 적어도 하나의 객체의 적어도 일부를 각각 포함하는 복수의 영역들을 복수의 후보 바운딩 박스들로 결정하고, 후보 바운딩 박스들을 제공한다. 상기 스코어 조절 모듈은 상기 후보 바운딩 박스들의 상기 제1 위치 정보 및 상기 제2 위치 정보의 일치 여부 및 상기 후보 바운딩 박스들 각각의 상기 클래스 스코어와 문턱값의 비교에 기초하여 상기 후보 바운딩 박스들 각각의 상기 클래스 스코어를 선택적으로 조절하여 조절된 스코어를 제공한다. 상기 선택 엔진은 상기 클래스 스코어가 선택적으로 조절된 상기 후보 바운딩 박스들 중 최대 스코어를 가지는 후보 바운딩 박스를 최종 바운딩 박스로 선택한다.
상기 본 발명의 목적을 달성하기 위한 본 발명의 실시예들에 따른 첨단 운전자 지원 장치에서 객체를 검출하는 방법에서는 상기 첨단 운전자 지원 장치가 설치되는 차량의 주행 중 제1 센서에 의하여 촬영된 복수의 프레임들(상기 복수의 프레임들 각각은 제1 시점 이미지 및 제2 시점 이미지를 포함하는 스테레오 이미지에 해당함)을 포함하는 비디오 시퀀스에 기초하여 상기 스테레오 이미지에 포함된 적어도 하나의 객체를 포함하는 위치 이미지를 생성하면서 제2 센서에 의하여 수신된 반사 신호들에 기초하여 상기 적어도 하나의 객체에 대한 제2 위치 정보를 생성한다. 상기 스테레오 이미지 및 상기 위치 이미지에 기초하여 상기 스테레오 이미지에 포함되는 적어도 하나의 객체의 적어도 일부를 포함하는 영역들을 후보 바운딩 박스들로 결정한다. 상기 후보 바운딩 박스들 각각의 제1 위치 정보와 상기 제2 위치 정보의 일치 여부 및 상기 후보 바운딩 박스들 각각의 클래스 스코어와 문턱값과의 비교에 기초하여 상기 후보 바운딩 박스들 각각의 상기 클래스 스코어를 선택적으로 조절한다. 상기 클래스 스코어가 선택적으로 조절된 후보 바운딩 박스들 중 최대 스코어를 가지는 후보 바운딩 박스를 최종 바운딩 박스로 선택한다.
본 발명에 실시예들에 따르면, 카메라에 출력에 기초하여 생성된 제1 위치 정보와 레이다의 출력에 기초하여 생성된 제2 위치 정보에 일치 여부에 기초하여 후보 바운딩 박스들의 클래스 스코어를 선택적으로 조절하고, 클래스 스코어가 선택적으로 조절된 후보 바운딩 박스들 중에서 최대 클래스 스코어를 가지는 후보 바운딩 박스를 선택함으로써 외부 요인으로 인하여 선택되지 않은 후보 바운딩 박스들의 수를 감소시켜 객체 검출의 효율을 증가시킬 수 있다.
도 1은 본 발명의 실시예들에 따른 첨단 운전자 지원 장치가 차량 전방(또는 주위)의 객체를 검출하여 이벤트 발생 여부를 결정하는 동작의 예시를 나타낸다.
도 2는 본 발명의 실시예들에 따른 첨단 운전자 지원 장치를 포함하는 차량의 예를 나타내는 블록도이다.
도 3은 본 발명의 실시예들에 따른 도 2의 프로세싱 회로를 나타내는 블록도이다.
도 4는 본 발명의 실시예들에 따른 도 3의 프로세싱 회로에서 객체 검출 모듈을 나타내는 블록도이다.
도 5는 본 발명의 실시예들에 따른 도 3의 프로세싱 회로에서 스코어 조절 모듈을 나타내는 블록도이다.
도 6은 본 발명의 실시예들에 따른 투시 투영도 및 조감 투영도를 도시한 도면이다.
도 7은 본 발명의 실시예들에 따른 IOU(intersection over union)fmf 설명하는 도면이다.
도 8은 본 발명의 실시예들에 따른 투시 바운딩 박스를 설명하는 도면이다.
도 9는 본 발명의 실시예들에 따른 도 4의 객체 검출 모듈의 예를 보다 상세히 나타내는 블록도이다.
도 10은 본 발명의 실시예들에 따른 도 9의 특징 피라미드망을 나타낸다.
도 11은 본 발명의 실시예들에 따른 도 10의 특징 피라미드 망에서 병합 블록을 나타낸다.
도 12 및 도 13은 도 2에서 제1 카메라 및 제2 카메라의 위치에 따른 제1 시점 이미지와 제2 시점 이미지에서 객체들의 위치를 나타낸다.
도 14는 도 2의 제2 센서에서 획득환 제1 센싱 데이터에 기초하여 생성되는 객체 트래킹 리스트(object tracking list)를 나타낸다.
도 15는 본 발명의 실시예들에 따른 도 2의 첨단 운전자 지원 장치에서 프로세싱 회로의 구성을 나타내는 블록도이다.
도 16은 도 15의 프로세싱 회로에서 디스패리티 이미지를 나타낸다.
도 17은 도 15의 프로세싱 회로에서 마스크를 나타낸다.
도 18은 도 15의 프로세싱 회로의 상관 관계 산출 엔진이 디스패리티 이미지와 마스크를 결합한 것을 나타낸다.
도 19 및 도 20은 각각 본 발명의 실시예들에 따른 프로세싱 회로의 동작을 나타낸다.
도 21은 본 발명의 실시예들에 따른 프로세싱 회로에서 스코어 조절모듈의 동작을 나타내는 알고리즘이다.
도 22a 및 도 22b는 본 발명의 실시예들에 따른 첨단 운전자 지원 장치의 동작을 나타내는 흐름도이다.
도 23은 본 발명의 실시예들에 따른 첨단 운전자 지원 장치에서 카메라의 출력을 기초로 한 특징 벡터들을 나타낸다.
도 24는 본 발명의 실시예들에 따른 도 2의 첨단 운전자 지원 장치에서 프로세싱 회로의 구성을 나타내는 블록도이다.
도 25는 본 발명의 실시예들에 따른 도 24의 프로세싱 회로가 클래스 스코어를 이용하여 카메라와 레이다의 레인지를 캘리브레이션하는 것을 나타내는 알고리즘이다.
도 26은 본 발명의 실시예들에 따른 프로세싱 회로가 스테레오 이미지 및 제1 센싱 데이터를 동기시키는 것을 나타낸다.
도 27은 본 발명의 실시예들에 따른 첨단 운전자 지원 장치의 동작 방법을 나타내는 흐름도이다.
도 28은 본 발명의 실시예들에 따른 차량의 주행에 관련된 이벤트 발생 여부를 결정하는 학습 모델의 생성을 설명하기 위한 도면이다.
도 29은 본 발명의 실시예들에 따른 제1 학습 모델을 이용하여 객체를 검출하는 예시를 설명하기 위한 도면이다.
도 30은 본 발명의 실시예들에 따라 제 2 학습 모델을 이용하여 객체(바운딩 박스)의 시계열적 이동에 따른 이벤트 발생 여부를 결정하는 것을 나타낸다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 첨단 운전자 지원 장치가 차량 전방(또는 주위)의 객체를 검출하여 이벤트 발생 여부를 결정하는 동작의 예시를 나타낸다.
도 1을 참조하면, 첨단 운전자 지원 장치 (900)는 차량(100)에 설치된 장치일 수 있으며, 첨단 운전자 지원 장치 (900)는 차량(100)에 설치된 카메라로부터 스테레오 이미지를 포함하는 비디오 시퀀스 및 다른 센서로부터 반사 신호들(반사파들 또는 반사광)을 수신하여, 다양한 이벤트의 발생을 결정할 수 있다. 상기 다양한 이벤트는 객체 검출(object detection), 객체 추적(object tracking) 및 장면 분리(scene segmentation)을 포함할 수 있다. 나아가, 첨단 운전자 지원 장치 (900)는 이벤트의 발생에 따른 알림 메시지를 사용자에게 제공할 수 있다.
앞서, 첨단 운전자 지원 장치 (900)는 차량(100)에 전방에 설치된 카메라로부터 비디오 시퀀스를 수신한다고 설명했는데 이에 제한되지 않으며, 차량(100)의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수도 있다. 차량(100)의 주변은, 예를 들어, 차량의 전방, 측방, 후방을 포함할 수 있다.
실시예들에 있어서, 첨단 운전자 지원 장치(900)는 객체를 지정하는 바운딩 박스를 트래킹하여 객체의 위치에 따른 이벤트를 검출함으로써, 같은 종류의 객체일지라도 위치에 따른 중요도를 다르게 인식하여 위치에 다른 객체의 이벤트 발생 여부를 결정할 수 있다.
실시예들에 있어서, 첨단 운전자 지원 장치(900)는 복수의 비디오 시퀀스들로부터 객체가 포함된 적어도 하나의 비디오 시퀀스(또는 스테레오 이미지)(103)를 검출하고 레이다 반사파들 또는 반사광들(미도시)을 획득할 수 있다. 첨단 운전자 지원 장치(900)는 적어도 하나의 비디오 시퀀스(103)를 분석하여 고정적인 패턴을 포함하는 도로(102) 및 시간에 따라 이동중인 다른 차량(101)을 검출할 수 있다. 첨단 운전자 지원 장치(900)는 비디오 시퀀스 내에서의 다른 차량(101)의 좌표 분석을 통해, 다른 차량(101)의 위치를 분석함으로써 다른 차량(101)에 의하여 야기될 이벤트 발생 여부를 결정할 수 있다.
첨단 운전자 지원 장치(900)는, 차량 내의 헤드유닛, 임베디드 보드 일 수 있으나, 이에 제한되지 않는다.
또한, 첨단 운전자 지원 장치(900)는 카메라로부터 이미지(예를 들어, 동이미지(video) 및 정지 이미지(still image))를 획득하고, 획득된 이미지에 기초하여 사용자에게 알림 메시지를 제공할 수 있는 기기를 포함할 수 있다.
실시예에 있어서, 첨단 운전자 지원 장치(900)는 차량에 설치된 모듈로서, 차량의 동작을 제어할 수 있으며, 소정의 네트워크를 통하여 차량에 설치된 다른 모듈과 통신할 수 있다.
실시예에 있어서, 차량(vehicle, 100)은, 통신 기능, 데이터 프로세싱 기능, 및 운송 기능을 구비한 자동차, 버스, 트럭, 기차, 자전거, 오토바이 등의 교통 수단일 수 있다.
또한, 첨단 운전자 지원 장치(900)는 비디오 시퀀스와 반사 신호를 수신하고, 알림 메시지를 전송하고, 다른 전자 장치(미도시)의 동작을 제어하기 위한 명령을 전송하기 위하여, 소정의 네트워크를 통하여 서버(미도시) 및 다른 전자 장치(미도시)와 통신할 수 있다.
이 경우, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 각 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다. 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 2는 본 발명의 실시예들에 따른 첨단 운전자 지원 장치를 포함하는 차량의 예를 나타내는 블록도이다.
도 2를 참조하면, 차량{100}은 제1 센서(110), 제2 센서(120), 첨단 운전자 지원 장치(900a), 인터페이스(980) 및 조향 제어 엘리먼트(990)를 포함할 수 있다. 첨단 운전자 지원 장치(900a)는 프로세싱 회로(1000a) 및 메모리(1100)를 포함할 수 있다.
실시예에 있어서, 제1 센서(110)는 스테레오 카메라일 수 있고, 제1 카메라(111) 및 제2 카메라(113)를 포함할 수 있다. 제2 센서(120)는 거리 또는 깊이 정보를 생성하는 레이다(radar) 또는 라이다(LiDAR(light detection and arranging)일 수 있고, 도 2에서 제2 센서(120)는 레이다인 것으로 가정한다.
스테레오 카메라(110)는 차량(100)의 전방을 촬영하여 복수의 프레임들을 포함하는 비디오 시퀀스를 프로세싱 회로(1000a)에 제공한다.
복수의 프레임들 각각은 제1 시점 이미지(IMG1) 및 제2 시점 이미지(IMG2)를 포함하는 스테레오 이미지(SIMG)에 해당할 수 있다. 레이다(120)는 무선 주파수(radio frequency)를 방사하고 객체로부터 반사되는 레이다 반사파들(반사 신호)을 수신하여 제1 센싱 데이터(SD1)로서 프로세싱 회로(1000a)에 제공한다.
메모리(1100)는 프로세싱 회로(1000a)가 실행 가능한 명령어들을 저장하고, 프로세싱 회로(1000a)는 상기 명령어들을 실행함으로써, 차량의 주행 중에 촬영된 스테레오 이미지(SIMG)를 획득하고, 스테레오 이미지(SIMG)에 기초하여 스테레오 이미지(SIMG)에 포함된 적어도 하나의 객체에 관련된 위치 이미지를 생성하고, 제1 센싱 데이터(SD1)를 획득하여 상기 적어도 하나의 객체에 대한 제2 위치 정보를 생성할 수 있다.
프로세싱 회로(1000a)는 상기 명령어들을 실행함으로써, 스테레오 이미지(SIMG) 및 위치 이미지에 기초하여 스테레오 이미지(SIMG)에 포함된 적어도 하나의 객체의 적어도 일부를 각각 포함하는 복수의 영역들을 복수의 후보 바운딩 박스들로 결정하고, 상기 후보 바운딩 박스들의 상기 제1 위치 정보와 상기 제2 위치 정보의 일치 여부 및 상기 후보 바운딩 박스들 각각의 클래스 스코어와 문턱값의 비교에 기초하여 상기 적어도 하나의 객체에 대한 상기 후보 바운딩 박스들 각각의 클래스 스코어를 선택적으로 조절할 수 있다.
또한 프로세싱 회로(1000a)는 상기 명령어들을 실행함으로써, 상기 클래스 스코어가 선택적으로 조절된 후보 바운딩 박스들 중 최대 스코어를 가지는 후보 바운딩 박스를 최종 바운딩 박스로 선택하고, 상기 최종 바운딩 박스와 상기 반사 신호에 기초한 객체 트래킹 리스트 데이터에 기초하여 상기 적어도 하나의 객체를 트래킹하여 출력 신호를 제공할 수 있다.
첨단 운전자 지원 장치(900a)는 인터페이스(980) 및 조향 제어 엘리먼트(990)에 연결될 수 있다. 인터페이스(980)는 디스플레이 인터페이스, 출력 인터에이스, 오디오 인터페이스 등을 포함할 수 있다. 첨단 운전자 지원 장치(900a)는 알림 메시지를 인터페이스(980)를 통하여 탑승자에게 알릴 수 있다. 조향 제어 엘리먼트(990)는 하나 이상의 제어 시스템을 포함하고, 첨단 운전자 지원 장치(900a)는 출력 신호를 조향 제어 엘리먼트(990)에 출력하고, 조향 제어 엘리먼트(990)는 출력 신호에 기초하여 차량(100)의 운행을 제어할 수 있다.
도 3은 본 발명의 실시예들에 따른 도 2의 프로세싱 회로를 나타내는 블록도이다.
도 3을 참조하면, 프로세싱 회로(1000a)는 이미지 프리프로세서(210), 위치 정보 생성 엔진(250), 트래킹 리스트 생성 엔진(TLGE, 230), 객체 기(400a), 및 객체 트래킹 엔진(560)을 포함할 수 있다. 객체 검출기(400a)는 객체 검출 모듈(405a), 스코어 조절 모듈(500) 및 선택 엔진(550)을 포함할 수 있다.
이미지 프리프로세서(210)는 스테레오 이미지(SIMG)를 전처리하여 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG2)를 포함하는 전처리된 스테레오 이미지(PSIMG)를 출력한다. 위치 정보 생성 엔진(250)은 전처리된 스테레오 이미지(PSIMG)에 기초하여 적어도 하나의 객체에 관련된, 픽셀 레벨의 위치 이미지(POIMG)를 생성하고, 위치 이미지(POIMG)를 객체 검출기(400a)에 제공할 수 있다.
트래킹 리스트 생성 엔진(230)은 제1 센싱 데이터(SD1, 반사 신호)에 기초하여 적어도 하나의 객체에 대한 제2 위치 정보(POI2)를 포함하는 객체 트래킹 리스트 데이터(OTLD)를 생성하고, 제2 위치 정보(POI2)를 스코어 조정 모듈(500)에 제공하고, 객체 트래킹 리스트 데이터(OTLD)를 객체 트래킹 엔진(560)에 제공할 수 있다.
객체 검출 모듈(405a)은 전처리된 스테레오 이미지(PSIMG) 및 위치 이미지(POIMG)에 기초하여 적어도 하나의 객체의 적어도 일부를 각각 포함하는 복수의 영역들을 복수의 후보 바운딩 박스들로 결정하고 후보 바운딩 박스들(CBB)을 스코어 조절 모듈(500)에 제공할 수 있다. 후보 바운딩 박스들(CBB)은 각각의 제1 위치 정보(POI1)와 클래스 스코어(SCR)을 포함할 수 있다.
스코어 조절 모듈(500)은 후보 바운딩 박스들(CBB) 및 제2 위치 정보(POI2)를 수신하고, 후보 바운딩 박스들(CBB) 각각의 제1 위치 정보(POI1) 및 제2 위치 정보(POI2)의 일치 여부 및 후보 바운딩 박스들(CBB) 각각의 클래스 스코어와 문턱값의 비교에 기초하여 후보 바운딩 박스들(CBB) 각각의, 적어도 하나의 객체에 관련된 클래스 스코어를 조절하여 조절된 스코어(ACSR)와 제1 위치 정보(POI1)를 포함하는 조절된 후보 바운딩 박스들(ACBB)를 선택 엔진(550)에 제공할 수 있다.
특히 스코어 조절 모듈(500)은 제1 위치 정보(POI1) 및 제2 위치 정보(POI2)가 일치하고, 이에 관련되는 후보 바운딩 박스의 클래스 스코어가 문턱값 미만인 경우, 상기 클래스 스코어를 문턱값 이상이 되도록 상기 관련되는 후보 바운딩 박스의 클래스 스코어를 조절할 수 있다.
선택 엔진(550)은 조절된 후보 바운딩 박스들(ACBB)의 조절된 스코어(ACSR)에 기초하여 조절된 후보 바운딩 박스(ACBB)들 중 최대 스코어를 가지는 후보 바운딩 박스를 최종 바운딩 박스로 선택하고, 최종 바운딩 박스(FBB)를 객체 트래킹 엔진(560)에 제공할 수 있다.
객체 트래킹 엔진(560)은 최종 바운딩 박스(FBB) 및 객체 트래킹 리스트 데이터(OTLD)에 기초하여 상기 적어도 하나의 객체를 트래킹하여 출력 신호(OSG)를 도 2의 인터페이스(980)를 통하여 차량(100)의 운전자에게 제공할 수 있다.
도 4는 본 발명의 실시예들에 따른 도 3의 프로세싱 회로에서 객체 검출 모듈을 나타내는 블록도이다.
도 4를 참조하면, 객체 검출 모듈(405a)은 제1 특징 추출기(410), 제2 특징 추출기(420), 특징 피라미드망(460) 및 박스 예측기(470)를 포함한다.
제1 특징 추출기(410)는 스테레오 이미지(PSIMG)에서 적어도 하나의 객체의 특징을 추출하여 제1 특징 벡터들(FV1)들을 출력한다.
제2 특징 추출기(420)는 픽셀 기반의 위치 이미지(POIMG)에서 적어도 하나의 객체의 특징을 추출하여 제2 특징 벡터들을 생성하고, 제1 특징 벡터들(FV1)과 제2 특징 벡터들을 병합하여 병합된 특징 벡터들(MFV)을 생성할 수 있다.
특징 피라미드망(460)은 병합된 특징 벡터들(FFV)에 기초하여 적어도 하나의 객체에 대한 특징 맵들(FM)을 생성한다.
박스 예측기(470)는 특징 맵들(FM)에 기초하여 적어도 하나의 객체의 적어도 일부를 포함하는 영역들을 후보 바운딩 박스들로 결정하고, 후보 바운딩 박스들(CBB)을 도 3의 스코어 조절 모듈(500)에 출력할 수 있다.
도 5는 본 발명의 실시예들에 따른 도 3의 프로세싱 회로에서 스코어 조절 모듈을 나타내는 블록도이다.
도 5에서는 도 3의 후보 바운딩 박스들(CBB)이 제1 내지 제3 후보 바운딩 박스들(CBB1, CBB2, CBB3)를 포함하는 것으로 가정한다.
도 5를 참조하면, 스코어 조절 모듈(500)은 위치 정보 매칭 체크 엔진(PMCE, 510) 및 스코어 조절 엔진(SAE, 520)을 포함할 수 있다.
위치 정보 매칭 체크 엔진(510)은 후보 바운딩 박스들(CBB1, CBB2, CBB3)의 바운딩 박스 정보들(BI1, BI2, BI3)에 기초하여 제1 위치 정보들(PI11, PI12, PI13) 각각과 제2 위치 정보들(PI21, PI22, PI23) 각각의 일치 여부를 체크 하고, 체크된 일치 여부에 기초하여 대응되는 매칭 신호들(MTS1, MTS2, MTS3)을 스코어 조절 엔진(520)에 제공한다. 위치 정보들(PI11, PI12, PI13) 각각은 서브 위치 정보라 호칭될 수 있고, 위치 정보들(PI21, PI22, PI23) 각각도 서브 위치 정보라 호칭될 수 있다. 위치 정보들(PI11, PI12, PI13) 각각은 후보 바운딩 박스들(CBB1, CBB2, CBB3) 각각의 중심 위치와 관련될 수 있다.
제1 객체에 관련된 후보 바운딩 박스(CBB1)는 제1 클래스 스코어(SCR1), 3차원 좌표(x11, y11, z11)로 표현되는 제1 위치 정보(PI11) 및 후보 바운딩 박스(CBB1)의 크기 및 방향에 관련된 바운딩 박스 정보(BI1)를 가질 수 있고, 제1 객체는 3차원 좌표(x21, y21, z21)로 표현되는 제2 위치 정보(PI21)을 가질 수 있다.
제2 객체에 관련된 후보 바운딩 박스(CBB2)는 제2 클래스 스코어(SCR2), 3차원 좌표(x12, y12, z12)로 표현되는 제1 위치 정보(PI12) 및 후보 바운딩 박스(CBB2)의 크기 및 방향에 관련된 바운딩 박스 정보(BI2)를 가질 수 있고, 제2 객체는 3차원 좌표(x22, y22, z22)로 표현되는 제2 위치 정보(PI22)을 가질 수 있다.
제3 객체에 관련된 후보 바운딩 박스(CBB3)는 제3 클래스 스코어(SCR3), 3차원 좌표(x13, y13, z13)로 표현되는 제1 위치 정보(PI13) 및 후보 바운딩 박스(CBB3)의 크기 및 방향에 관련된 바운딩 박스 정보(BI3)를 가질 수 있고, 제3 객체는 3차원 좌표(x23, y23, z23)로 표현되는 제2 위치 정보(PI23)을 가질 수 있다.
도 5에서 제2 객체에 관련된 제1 위치 정보(PI12)와 제2 위치 정보(PI22)가 일치하고, 제2 클래스 스코어(SCR2)가 문턱값 미만인 경우, 위치 정보 매칭 체크 엔진(510)은 매칭 신호(MTS2)를 제1 로직 레벨로 출력하고, 스코어 조절 엔진(520)은 문턱값(VT) 및 매칭 신호(MTS2)에 응답하여 제2 후보 바운딩 박스(CBB2)의 제2 클래스 스코어(SCR2)를 조절하여 조절된 클래스 스코어(ASCR2)를 출력할 수 있다. 문턱값(VT)은 스코어 조절 엔진(520) 내부의 레지스터 또는 외부의 레지스터에 저장될 수 있다.
도 5에서 제1 클래스 스코어(SCR1) 및 제3 클래스 스코어(SCR3)는 문턱값 이상인 것으로 가정한다. 스코어 조절 엔진(520)은 매칭 신호들(MTS1, MTS3)에 응답하여 후보 바운딩 박스들(CBB1, CBB3)의 클래스 스코어들(SCR1, SACR2)은 유지하여 조절된 스코어들(ACSR1, ACSR3)을 가지는 조절된 후보 바운딩 박스들(ACBB1, ACBB3)을 출력하고, 제2 후보 바운딩 박스(CBB2)의 제2 클래스 스코어(SCR2)는 조절하여 조절된 클래스 스코어(ACSR2)를 가지는 조절된 후보 바운딩 박스(ACBB2)를 출력한다.
선택 엔진(550)는 조절된 후보 바운딩 박스들(ACBB1, ACBB2, ACBB3) 중 적어도 하나와 관련된 후보 바운딩 박스들 중 최대 스코어를 가지는 후보 바운딩 박스를 적어도 하나의 객체의 최종 바운딩 박스(FBB)로 출력할 수 있다.
도 6은 본 발명의 실시예들에 따른 투시 투영도 및 조감 투영도를 도시한 도면이다.
차량(100)에 탑재되는 카메라(110)는 전방에 대한 이미지(530)를 획득할 수 있다. 첨단 운전자 지원 장치(900)는 차량(100)의 정확한 위치를 추정하기 위해 다양한 시점의 정보를 생성하거나 획득할 수 있다. 예를 들어, 첨단 운전자 지원 장치(900)는 정면에 대한 이미지로부터 조감 투영도(532) 및 투시 투영도(535)를 생성할 수 있다. 실시예에 있어서, 첨단 운전자 지원 장치(900)는 정면 뷰(front view)에 대한 컬러 이미지 및 조감 뷰에 대한 깊이 이미지에 기초하여, 조감 투영도(532) 및 투시 투영도(535)를 생성할 수 있다.
조감 투영도(532)는 카메라(110)가 장착된 장치의 높이보다 높은 고도에서 아래를 관측하는 시점(예를 들어, 탑뷰)에 대응하는 투영도일 수 있다. 조감 투영도(532)는 카메라(110)가 장착된 장치의 주변에 존재하는 객체에 대응하는 조감 바운딩 박스(534)를 포함할 수 있다.
투시 투영도(535)는 카메라(110)가 장착된 장치의 높이에 대응하는 고도에서 장치의 진행 방향을 관측하는 시점에 대응하는 투영도일 수 있다. 투시 투영도(535)는 카메라(110)가 장착된 장치의 진행 방향에 존재하는 객체에 대응하는 투시 바운딩 박스(536)를 포함할 수 있다.
도 7은 본 발명의 실시예들에 따른 2차원 바운딩 박스에서IOU(intersection over union)를 설명하는 도면이다. 3차원 바운딩 박스는 도 7과 비슷하게 획득될 수 있다.
첨단 운전자 지원 장치(900)의 객체 검출 모듈(500)은 각 시점에 대응하는 투영도에서 검출된 객체에 대응하는 바운딩박스에 대한 손실을 IOU에 기초하여 산출할 수 있다. 교차 영역은 출력 바운딩 박스 및 기준 바운딩 박스 간의 중첩되는 정도를 나타내는 지표로서, 예를 들어, 두 영역의 교차 영역(543)(intersection region)의 넓이를 합 영역(union region)의 넓이로 나눈 값을 나타낼 수 있다.
예를 들어, 객체 검출 모듈(400a)은 임의의 시점에 대응하는 투영도에 대하여, 입력 이미지로부터 객체에 대응하는 출력 바운딩 박스(541)를 결정할 수 있다. 객체 검출 모듈(400)은 출력 바운딩 박스(541)를 기준 바운딩 박스(542)와 비교할 수 있다.
기준 바운딩 박스(542)는, 트레이닝 입력인 입력 이미지와 쌍을 이루는 트레이닝 출력으로서, 기본 참 데이터(ground truth data)일 수 있다. 객체 검출 모듈(400a)은 출력 바운딩 박스(541) 및 기준 바운딩 박스(542)의 교차 영역(543)의 넓이를 합 영역의 넓이로 나눈 값에 기초하여 IOU 손실을 결정할 수 있다. 예를 들어, IOU 값이 1에 가까울수록, 출력 바운딩 박스(541)가 기준 바운딩 박스(542)에 유사한 것을 나타낼 수 있다.
도 8은 본 발명의 실시예들에 따른 투시 바운딩 박스를 설명하는 도면이다.
투시 바운딩 박스는 2차원 바운딩 박스로서 전면 박스(545) 및 후면 박스(546)를 포함할 수있다. 투시 바운딩 박스는 투시 뷰에 대응하는 투시 투영도에 3차원 바운딩 박스가 투영된 박스를 나타낼 수있다.
예를 들어, 투시 바운딩 박스는 객체에 대응하는 3차원 바운딩 박스의 각 3차원 좌표가 투시 투영도의 2차원 좌표로 변환된 박스를 나타낼 수 있다. 예를 들어, 투시 바운딩 박스의 전면 박스(545)는 3차원 바운딩박스에서 전면에 대응하는 4개 지점의 3차원 좌표가 투시 투영도 상의 2차원 좌표로 변환된 박스를 나타낼 수 있다. 투시 바운딩 박스의 후면 박스(546)는 3차원 바운딩 박스에서 후면에 대응하는 4개 지점의 3차원 좌표가 투시 투영도 상의 2차원 좌표로 변환된 박스를 나타낼 수 있다.
객체 검출 모듈(405a)은 투시 바운딩 박스에 대한 손실을 산출하기 위하여, IOU 산출의 기준이 되는 새로운 박스를 정의할 수 있다. 예를 들어, 객체 검출 모듈(500)은 객체에 대응하는 투시 바운딩 박스로부터 객체의 전면을 지시하는 전면 박스(545) 및 객체의 후면을 지시하는 후면 박스(546)에 기초하여 대상 박스(547)를 결정할 수 있다. 객체 검출 모듈(405a)은 전면 박스(545) 및 후면 박스(546)를 포함하면서, 최소의 영역을 가지는 박스를 대상 박스(547)로 결정할 수 있다. 대상 박스(547)는 도 7에서 상술한 출력 바운딩 박스로서 사용될 수 있다. 출력 바운딩 박스는 상술한 후보 바운딩 박스에 해당할 수 있다.
도 9는 본 발명의 실시예들에 따른 도 4의 객체 검출 모듈의 예를 보다 상세히 나타내는 블록도이다.
도 9를 참조하면, 객체 검출 모듈(405a)은 제1 특징 추출기(410), 제2 특징 추출기(420), 특징 피라미드망(460) 및 박스 예측기(470)를 포함한다.
제1 특징 추출기(410)는 특징 추출 모듈(FEM, 411) 및 복수의 제1 레이어들(LA11, LA12, LA13)들을 포함하고, 특징 추출 모듈(411) 및 제1 레이어들(LA11, LA12, LA13)들을 이용하여 전처리된 스테레오 이미지(PSIMG)에서 적어도 하나의 객체의 특징을 추출하여 제1 특징 벡터들(FV11, FV12, FV13)을 제공한다.
제2 특징 추출기(420)는 리사이징 엔진(430)을 포함하고, 리사이징 엔진(430)은 위치 이미지(POIMG)의 해상도와 크기를 스테레오 이미지(SIMG)의 해상도의 크기를 기준으로 조절할 수 있다.
즉, 리사이징 엔진(430)은 위치 이미지(POIMG)의 해상도를 조절하고 크기를 리사이징하여 리사이징된 위치 이미지(RPOIMG11)을 생성하고, 컨벌류션 레이어들(421, 422, 423)을 이용하여 리사이징된 위치 이미지들(RPOIMG11, RPOIMG12, RPOIMG13)의 특징을 추출하여 제2 특징 벡터들(FV21, FV22, FV23)을 생성할 수 있다. 제2 특징 추출기(420)는 복수의 제2 레이어들(LA21, LA22, LA23)들을 이용하여 제1 특징 벡터들(FV11, FV12, FV13)과 2 특징 벡터들(FV21, FV22, FV23)을 병합하여 병합된 특징 벡터들(MFV1, MFV2, MFV3)을 특징 피라미드망(460)에 제공할 수 있다.
제2 특징 추출기(420)은 또한 다운 샘플러들(441, 442)를 포함하여 리사이징된 위치 이미지(RPOIMG11)에 대하여 적어도 한번의 다운 샘플링을 수행하여 리사이징된 위치 이미지들(RPOIMG12, RPOIMG13)을 생성할 수 있다.
특징 피라미드 망(460)는 병합된 특징 벡터들(MFV1, MFV2, MFV3)에 기초하여 특징 맵들(FM1, FM2, FM3)을 생성하고, 박스 예측기(470)는 특징 맵들(FM1, FM2, FM3)에 기초하여 후보 바운딩 박스들(CBB)을 제공할 수 있다.
실시예에 있어서, 상기 박스 예측기(470)는 SSD(single shot detector), 및 패스터 재귀적 컨벌루션 신경망(faster R-CNN(recurrent convolution neural network)) 중 적어도 하나를 이용하여 특징 맵들(FM1, FM2, FM3)에서 인식된 적어도 하나의 객체를 상기 후보 바운딩 박스들(CBB)로 제공할 수 있다.
도 10은 본 발명의 실시예들에 따른 도 9의 특징 피라미드망을 나타낸다.
도 10을 참조하면, 특징 파리미드 망(460)은 병합된 특징 벡터들(MFV1, MFV2, MFV3)을 기초로 고해상도 특징 맵들(FM1, FM2, FM3)을 생성한다.
특징 피라미드 망(460)은 복수의 레이어들(461, 462, 463), 복수의 병합 블록(467, 468) 및 복수의 컨볼루션 커널들(464, 465, 466)을 포함할 수 있다. 도 10에서는 세 개의 레이어들 및 컨볼루션 커널들을 도시하였으나 레이어들 및 컨벌루션 커널들의 수는 이에 제한되지 않는다.
레이어(461)는 병합된 특징 벡터(MFV3)을 업샘플링하고, 컨볼루션 커널(464)은 레이어(461)의 출력에 대하여 컨볼루션 커널 변환을 적용하여 특징 맵(FM3)으로 출력한다. 병합 블록(467)은 레이어(461)의 출력과 특징 벡터(FV2)를 병합하여 출력한다.
레이어(462)는 병합 블록(467)의 출력을 업샘플링하고 컨볼루션 커널(465)은 레이어(462)의 출력에 대하여 컨볼루션 커널 변환을 적용하여 특징 맵(FM2)으로 출력한다. 병합 블록(468)은 레이어(462)의 출력과 병합된 특징 벡터(MFV1)를 병합하여 출력한다. 레이어(463)는 병합 블록(468)의 출력을 업샘플링하고, 컨볼루션 커널(466)은 레이어(463)의 출력에 대하여 컨볼루션 커널 변환을 적용하여 특징 맵(FM1)으로 출력한다
도 11은 본 발명의 실시예들에 따른 도 10의 특징 피라미드 망에서 병합 블록을 나타낸다.
도 11을 참조하면, 병합 블록(467)은 업-샘플러(467a), 컨볼루션 레이어(커널)(467b) 및 합산기(467c)를 포함할 수 있다.
업-샘플러(467a)는 레이어(461)의 출력을 업-샘플링하고 업-샘플링된 출력을 합산기(467c)에 제공한다. 업-샘플러(467a)는 컨볼루션 레이어(CONV)로 구성될 수 있다. 컨볼루션 레이어(CONV)는 병합된 특징 벡터(MFV1)에 대하여 컨볼루션 변환을 적용한 뒤 합산기(467c)에 제공한다. 합산기(467c)는 업-샘플러(467a)의 출력과 컨볼루션 레이어(467b)의 출력을 합산하고 합산된 결과를 레이어(462)에 제공한다.
도 12 및 도 13은 도 2에서 제1 카메라 및 제2 카메라의 위치에 따른 제1 시점 이미지와 제2 시점 이미지에서 객체들의 위치를 나타낸다.
도 12는 제1 카메라(111) 및 제2 카메라(113)가 각각 원래 위치에 있을 때의 제1 시점 이미지(IMG1)와 제2 시점 이미지(IMG2)를 나타낸다. 도 12에서와 같이 제1 카메라(111) 및 제2 카메라(113)에 대한 정확한 위치 정보가 있으면, 제1 시점 이미지(IMG1)와 제2 시점 이미지(IMG2) 사이의 디스패리티 정보를 이용하여 객체들(OB1, OB2, OB3)에 대한 정확한 깊이 정보를 생성할 수 있다.
도 13은 차량(100)의 운행 중에 제1 카메라(111)의 물리적 위치가 변경된 것을 나타낸다. 제1 카메라(111)의 물리적 위치가 변경되면, 제1 시점 이미지(IMG1)는 제1 시점 이미지(IMG')로 변경되고, 제1 시점 이미지(IMG1')에서 객체들(OB1', OB2', OB3')의 위치도 변경된다. 따라서 프로세싱 회로(1000a)가 산출하는 제1 시점 이미지(IMG1')와 제2 시점 이미지(IMG2) 사이의 디스패리티 정보가 변경되고 따라서 이용하여 객체들(OB1, OB2, OB3)에 대한 깊이 정보의 정확도는 감소된다. 제1 시점 이미지(IMG')에서 점선들은 제1 카메라(111)의 물리적 위치가 변경되기 전의 객체들(OB1, OB2, OB3)을 나타내고, 실선들은 제1 카메라(111)의 물리적 위치가 변경된 후의 객체들(OB1, OB2, OB3)을 나타낸다.
도 14는 도 2의 제2 센서에서 획득환 제1 센싱 데이터에 기초하여 생성되는 객체 트래킹 리스트(object tracking list)를 나타낸다.
도 14을 참조하면, 객체 트래킹 리스트(OTL)는 제2 센서(즉, 레이다)(120)가 획득한 제1 센싱 데이터(SD1)에 기초하여 레이다(120)로부터 객체들(OB1, OB2, OB3) 각각에 대한 거리와 속도를 나타낼 수 있다. 즉, 객체 트래킹 리스트(OTL)는 객체들(OB1, OB2, OB3) 각각에 대한 위치 정보를 나타낼 수 있다.
도 15는 본 발명의 실시예들에 따른 도 2의 첨단 운전자 지원 장치에서 프로세싱 회로의 구성을 나타내는 블록도이다.
도 15를 참조하면, 프로세싱 회로(1000b)는 이미지 프리-프로세서(210), 디스패리티 추정 엔진(220), 트래킹 리스트 생성 엔진(230), 상관 산출 모듈(300), 위치 정보 생성 엔진(250b), 객체 검출기(400b), 및 객체 트래킹 엔진(560)을 포함할 수 있다. 객체 검출기(400b)는 객체 검출 모듈(405b), 스코어 조절 모듈(500) 및 선택 엔진(550)을 포함할 수 있다.
이미지 프리-프로세싱 회로(210)는 스테레오 이미지(SIMG)을 전처리하여 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1)를 포함하는 전처리된 스테레오 이미지(PSIMG)를 출력할 수 있다. 이미지 프리-프로세서(210)는 스테레오 이미지(SIMG)에 대한 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 따라서, 이미지 프리프로세싱 회로(210)는 스테레오 이미지(SIMG)보다 선명한 전처리된 스테레오 이미지(PSIMG)를 출력할 수 있다.
실시예에 따라서, 프로세싱 회로(1000b)는 이미지 프리-프로세서(210)를 포함하지 않을 수 있고, 이 경우에, 디스패리티 추정 엔진(220)과 분리 엔진(310)에는 제1 시점 이미지(IMG1)와 제2 시점 이미지(IMG2) 중 적어도 하나를 포함하는 스테레오 이미지(SIMG)가 제공될 수 있다.
디스패리티 추정 엔진(220)은 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1)에 기초하여 전처리된 스테레오 이미지(PSIMG)의 디스패리티 정보를 포함하는 디스패리티 이미지(DPIMG)를 출력할 수 있다. 디스패리티 추정 엔진(220)은 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1)에 대하여 스테레오 매칭을 수행하여 디스패리티 정보를 포함하는 디스패리티 이미지(DPIMG)를 출력할 수 있다. 디스패리티 추정 엔진(220)은 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1) 각각에서 대응하는 픽셀들 사이의 픽셀 값 차이에 기초하여 디스패리티 이미지(DPIMG)를 출력할 수 있다.
트래킹 리스트 생성 엔진(230)은 제1 센싱 데이터(SD1, 반사 신호)에 기초하여 적어도 하나의 객체에 대한 제2 위치 정보(POI2)를 포함하는 객체 트래킹 리스트 데이터(OTLD)를 생성하고, 제2 위치 정보(POI2)를 스코어 조정 모듈(500)에 제공하고, 객체 트래킹 리스트 데이터(OTLD)를 객체 트래킹 엔진(560)에 제공한다.
상관 산출 모듈(300)은 전처리된 스테레오 이미지(PSIMG), 객체 트래킹 리스트 데이터(OTLD) 및 디스패리티 정보를 포함하는 디스패리티 이미지(DPIMG)에 기초하여 깊이 정보와 디스패리티 정보 사이의 상관 관계 정보(CORI)를 산출하고 상관 관계 정보(CRRI)를 위치 정보 생성 엔진(250b)에 제공한다.
상관 산출 모듈(300)은 장면 분리 엔진(310) 및 상관 관계 산출 엔진(330)을 포함할 수 있다.
장면 분리 엔진(310)은 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1) 중 적어도 하나에서 적어도 하나의 객체를 분리하여 적어도 하나의 마스크(MSK)를 추출할 수 있다. 상관 관계 산출 엔진(330)은 디스패리티 정보를 포함하는 디스패리티 이미지(DPIMG)를 수신하고, 디스패리티 정보와 마스크(MKS)에 기초하여 깊이 정보와 디스패리티 정보 사이의 상관 관계 정보(CRRI)를 산출하고 상관 관계 정보(CRRI)를 위치 정보 생성 엔진(250b)에 제공할 수 있다.
위치 정보 생성 엔진(250b)은 디스패리티 이미지(DPIMG)에 포함되는 디스패티리 정보 및 상관 관계 정보(CRRI1)에 기초하여 전처리된 스테레오 이미지(PSIMG)의 깊이 값을 교정하고 적어도 하나의 객체를 포함하는 위치 이미지(POIMG)를 생성하고, 위치 이미지(POIMG)를 객체 검출기(400b)에 제공할 수 있다.
예를 들어, 위치 정보 생성 생성 엔진(250b)은 다음의 수학식 1에 기초하여 전처리된 스테레오 이미지(PSIMG)의 깊이 값을 교정할 수 있다.
[수학식 1]
Figure pat00001
여기서, Z는 깊이 값이고, B는 제1 카메라(111)와 제2 카메라(113) 간의 거리인 베이스라인이고, f는 제1 카메라(111)와 제2 카메라(113)의 초점 거리를 나타내고, d는 디스패리티를 나타낸다. s는 상관 관계 정보(CRRI)에 해당한다.
객체 검출 모듈(400b)은 전처리된 스테레오 이미지(PSIMG) 및 위치 이미지(POIMG)에 기초하여 적어도 하나의 객체의 적어도 일부를 각각 포함하는 복수의 영역들을 복수의 후보 바운딩 박스들로 결정하고 후보 바운딩 박스들(CBB)을 스코어 조절 모듈(500)에 제공한다. 후보 바운딩 박스들(CBB)은 각각의 제1 위치 정보(POI1)와 클래스 스코어(SCR)을 포함할 수 있다.
스코어 조절 모듈(500)은 후보 바운딩 박스들(CBB) 및 제2 위치 정보(POI2)를 수신하고, 후보 바운딩 박스들(CBB) 각각의 제1 위치 정보(POI1) 및 제2 위치 정보(POI2)의 일치 여부 및 후보 바운딩 박스들(CBB) 각각의 클래스 스코어와 문턱값의 비교에 기초하여 후보 바운딩 박스들(CBB) 각각의, 적어도 하나의 객체에 관련된 클래스 스코어를 조절하여 조절된 스코어(ACSR)와 제1 위치 정보(POI1)를 포함하는 조절된 후보 바운딩 박스들(ACBB)를 선택 엔진(550)에 제공할 수 있다.
특히 스코어 조절 모듈(500)은 제1 위치 정보(POI1) 및 제2 위치 정보(POI2)가 일치하고, 이에 관련되는 후보 바운딩 박스의 클래스 스코어가 문턱값 미만인 경우, 상기 클래스 스코어를 문턱값 이상이 되도록 상기 관련되는 후보 바운딩 박스의 클래스 스코어를 조절할 수 있다.
선택 엔진(550)은 조절된 후보 바운딩 박스들(ACBB)의 조절된 스코어(ACSR)에 기초하여 조절된 후보 바운딩 박스(ACBB)들 중 최대 스코어를 가지는 후보 바운딩 박스를 최종 바운딩 박스로 선택하고, 최종 바운딩 박스를 객체 트래킹 엔진(560)에 제공할 수 있다.
객체 트래킹 엔진(560)은 최종 바운딩 박스(FBB) 및 객체 트래킹 리스트 데이터(OTLD)에 기초하여 상기 적어도 하나의 객체를 트래킹하여 출력 신호(OSG)를 도 2의 인터페이스(980)를 통하여 차량(100)의 운전자에게 제공할 수 있다.
도 16은 도 15의 프로세싱 회로에서 디스패리티 이미지를 나타낸다.
도 15 및 도 16을 참조하면, 디스패리티 추정 엔진(220)은 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1) 각각에서 대응하는 픽셀들 사이의 픽셀 값 차이를 나타내는 디스패리티 이미지(DPIMG)를 출력한다.
도 17은 도 15의 프로세싱 회로에서 마스크를 나타낸다.
도 15 및 도 17을 참조하면, 분리 엔진(310)은 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1) 중 적어도 하나에서 적어도 하나의 객체를 분리하여 객체들(OB1, OB2, OB3)에 대한 마스크들(MSK)을 추출할 수 있다. 마스크들(MSK)은 거리에 관계없이 동일한 컬러로 표현될 수 있다.
도 18은 도 15의 프로세싱 회로의 상관 관계 산출 엔진이 디스패리티 이미지와 마스크를 결합한 것을 나타낸다.
도 15 및 도 18를 참조하면, 상관 관계 산출 엔진(330)은 디스패리티 이미지(DPIMG)와 마스크를 결합하여 객체들(OB1, OB2, OB3)의 거리에 따라 마스크를 서로 다른 컬러로 표현할 수 있다.
도 19 및 도 20은 각각 본 발명의 실시예들에 따른 프로세싱 회로의 동작을 나타낸다.
도 19는 정상적인 환경에서의 프로세싱 회로(1000a 또는 1000b)의 동작을 나타내고, 도 20은 비정상적인 상황(안개 상황)에서의 프로세싱 회로(1000a 또는 1000b)의 동작을 나타낸다.
도 19를 참조하면, 전처리된 스테레오 이미지(PSIMG)는 제1 객체(OB1)와 제2 객체(OB2)를 포함하고, 카메라(110)의 출력에 기초한 객체 검출 모듈(400a 또는 400b)는 제1 객체(OB1)에 대한 후보 바운딩 박스(571)를 제1 클래스 스코어(581)로 출력하고, 제2 객체(OB2)에 대한 후보 바운딩 박스(572)를 제2 클래스 스코어(582)로 출력한다.
제1 클래스 스코어(581)와 제2 클래스 스코어(582)는 모두 문턱값(TH)보다 크다. 레이더(120) 반사파에 기초한 객체 트래킹 리스트(OTL)에 의하여 제1 객체(OB1)가 검출(573)되고 제2 객체(OB2)가 검출(574)된다. 제1 객체(OB1)와 제2 객체(OB2) 각각의 제1 위치 정보와 제2 위치 정보가 일치하지만, 제1 클래스 스코어(581)와 제2 클래스 스코어(582)는 모두 문턱값(TH)보다 크므로 스코어 조절 모듈(500)는 제1 클래스 스코어(581)와 제2 클래스 스코어(582)를 조절하지 않고 유지한다.
도 20을 참조하면, 전처리된 스테레오 이미지(PSIMG)는 제1 객체(OB1)와 제2 객체(OB2)를 포함하고, 제2 객체(OB2)는 안개(FOG)에 의하여 가려진다. 카메라(110)의 출력에 기초한 객체 검출 모듈(400a 또는 400b)는 제1 객체(OB1)에 대한 후보 바운딩 박스(571)를 제1 클래스 스코어(581)로 출력하고, 제2 객체(OB2)에 대한 후보 바운딩 박스(572a)를 제2 클래스 스코어(583)로 출력한다.
제1 클래스 스코어(581)는 문턱값(TH)보다 크고 제2 클래스 스코어(583)는 문턱값(TH)보다 작다. 레이더(120) 반사파에 기초한 객체 트래킹 리스트(OTL)에 의하여 제1 객체(OB1)가 검출(573)되고 제2 객체(OB2)가 검출(574)된다. 제1 객체(OB1)와 제2 객체(OB2) 각각의 제1 위치 정보와 제2 위치 정보가 일치하고, 제2 클래스 스코어(583)는 문턱값(TH)보다 작으므로, 스코어 조절 모듈(500)는 제1 클래스 스코어(581)를 조절하지 않고, 제2 클래스 스코어(583)을 참조 번호(584)에서와 같이 문턱값(TH)을 초과하도록 조절한다.
도 21은 본 발명의 실시예들에 따른 프로세싱 회로에서 스코어 조절모듈의 동작을 나타내는 알고리즘이다.
도 21을 참조하면, 스코어 조절모듈(500)은 제1 위치 정보와 제2 위치 정보가 일치하고, 문턱값보다 작은 클래스 스코어를 갖는 후보 바운딩 박스의 클래스 스코어를 문턱값을 초과하도록 조절하고, 선택 모듈(550)은 비-최대 억제(non-maximum suppression, NMS)를 수행하여 후보 바운딩 박스들 중 최대 스코어를 가지는 후보 바운딩 박스를 최종 바운딩 박스로 선택함을 알 수 있다.
도 22a 및 도 22b는 본 발명의 실시예들에 따른 첨단 운전자 지원 장치의 동작을 나타내는 흐름도이다.
도 1 내지 도 22b를 참조하면, 차량(100)에 설치된 카메라(110)에서 스테레오 이미지(SIMG)를 생성하고, 차량(100)에 설치된 레이다(120)에서 제1 센싱 데이터(SD1)를 생성한다.
위치 정보 생성 엔진(250)은 스테레오 이미지(SIMG)에 기초하여 적어도 하나의 객체를 포함하는 위치 이미지(POIMG)를 생성하고(S110), 트래킹 리스트 생성 엔진(230)은 제1 센싱 데이터(SD1)에 기초하여 제2 위치 정보(POI2)와 객체 트래킹 리스트 데이터(OTLD)를 생성한다(S130).
객체 검출 모듈(400a)은 스테레오 이미지(SIMG)에 기초하여 제1 특징 벡터들을 생성하고(S111), 위치 이미지(POIMG)에 기초하여 제2 특징 벡터들을 생성하고(S112), 제1 특징 벡터들(FV1)과 제2 특징 벡터들 (FV2)을 병합하여 병합된 특징 벡터들을 생성하고, 병합된 특징 벡터들에 기초하여 후보 바운딩 박스들(CBB)를 제공한다(S113). 후보 바운딩 박스들(CBB)은 제1 위치 정보(POI1)와 클래스 스코어(SCR)을 포함할 수 있다.
스코어 조절 모듈(500)은 제1 위치 정보(POI1)와 제2 위치 정보(POI2)의 일치 여부를 판단한다(S114).
제1 위치 정보(POI1)와 제2 위치 정보(POI2)가 일치하는 경우(S114에서 YES), 스코어 조절 모듈(500)은 위치 정보가 일치하는 후보 바운딩 박스의 클래스 스코어(SCR)가 문턱값(TH) 보다 작은지 여부를 판단한다(S115). 제1 위치 정보(POI1)와 제2 위치 정보(POI2)가 일치하지 않는 경우(S114에서 NO), 스코어 조절 모듈(500)은 후보 바운딩 박스의 클래스 스코어(SCR)를 유지한다(S116).
위치 정보가 일치하는 후보 바운딩 박스의 클래스 스코어(SCR)가 문턱값(TH) 보다 작지 않은 경우(S115에서 NO), 스코어 조절 모듈(500)은 후보 바운딩 박스의 클래스 스코어(SCR)를 유지한다(S116). 위치 정보가 일치하는 후보 바운딩 박스의 클래스 스코어(SCR)가 문턱값(TH) 보다 작은 경우(S115에서 YES), 스코어 조절 모듈(500)은 후보 바운딩 박스의 클래스 스코어(SCR)가 문턱값(TH)을 초과하도록 조절한다(S117).
선택 엔진(550)은 스코어 조절 모듈(500)에서 제공되는 후보 바운딩 박스들(CBB)의 클래스 스코어에 기초하여 NMS를 수행하여 최대 스코어를 가지는 후보 바운딩 박스를 최종 바운딩 박스로 선택하고, 최종 바운딩를 제공한다(S1180).
객체 트래킹 엔진(560)은 최종 바운딩 박스(FBB) 및 객체 트래킹 리스트 데이터(OTLD)에 기초하여 적어도 하나의 객체를 트래킹하여 출력 신호를 제공한다.
프로세서(1000a 또는 1000b)는 카메라(110)가 턴-오프되었는지를 판단하고(S120), 카메라(110)가 턴-오프되었으면(S120에서 YES), 동작을 종료하고, 카메라(110)가 턴-오프되지 않았으면(S120에서 NO), 시작 단계로 복귀한다.
캘리브레이션 엔진(270)은 높은 클래스 스코어를 가지는 후보 바운딩 박스의 제1 위치 정보와 제2 위치 정보를 캘리브레이션 데이터 세트로 활용하여 카메라(110)와 레이다(120)의 레인지(range)를 캘리브레이션할 수 있다.
도 23은 본 발명의 실시예들에 따른 첨단 운전자 지원 장치에서 카메라의 출력을 기초로 한 특징 맵들을 나타낸다.
도 23을 참조하면, 특징 맵들(FM, FM2, FM3) 각각에서 하나의 픽셀은 (x, y, z) 평면에서 서로 다른 크기의 영역을 커버할 수 있다. 참조번호들(591, 592, 593) 각각은 특징 맵들(FM, FM2, FM3) 각각에서 하나의 픽셀이 커버할 수 있는 영역을 나타낸다. 하지만, 레이다(120)의 출력을 기초로 한 제2 위치 정보(POI2)와 매칭되는 후보들은 제한된 위치에만 존재하므로 제2 위치 정보(POI2)를 이용하여 객체가 존재할 가능성이 높은 영역만을 탐색할 수 있다.
도 24는 본 발명의 실시예들에 따른 도 2의 첨단 운전자 지원 장치에서 프로세싱 회로의 구성을 나타내는 블록도이다.
도 24를 참조하면, 프로세싱 회로(1000c)는 이미지 프리-프로세서(210), 디스패리티 추정 엔진(220), 트래킹 리스트 생성 엔진(230), 상관 산출 모듈(300a), 깊이 이미지 생성 엔진(250c), 객체 검출기(400c), 및 객체 트래킹 엔진(560) 및 동기 신호 생성기(260)를 포함할 수 있다. 객체 검출기(400c)는 객체 검출 모듈(405c), 스코어 조절 모듈(500) 및 선택 엔진(550)을 포함할 수 있다.
이미지 프리-프로세싱 회로(210)는 스테레오 이미지(SIMG)을 전처리하여 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1)를 포함하는 전처리된 스테레오 이미지(PSIMG)를 출력할 수 있다.
디스패리티 추정 엔진(220)은 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1)에 기초하여 전처리된 스테레오 이미지(PSIMG)의 디스패리티 정보를 포함하는 디스패리티 이미지(DPIMG)를 출력할 수 있다. 디스패리티 추정 엔진(220)은 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1)에 대하여 스테레오 매칭을 수행하여 디스패리티 정보를 포함하는 디스패리티 이미지(DPIMG)를 출력할 수 있다. 디스패리티 추정 엔진(220)은 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1) 각각에서 대응하는 픽셀들 사이의 픽셀 값 차이에 기초하여 디스패리티 이미지(DPIMG)를 출력할 수 있다.
트래킹 리스트 생성 엔진(230)은 제1 센싱 데이터(SD1, 반사 신호)에 기초하여 적어도 하나의 객체에 대한 제2 위치 정보(POI2)를 포함하는 객체 트래킹 리스트 데이터(OTLD)를 생성하고, 제2 위치 정보(POI2)를 스코어 조정 모듈(500)에 제공하고, 객체 트래킹 리스트 데이터(OTLD)를 객체 트래킹 엔진(560)에 제공한다.
상관 산출 모듈(300a)은 전처리된 스테레오 이미지(PSIMG), 객체 트래킹 리스트 데이터(OTLD) 및 디스패리티 정보를 포함하는 디스패리티 이미지(DPIMG)에 기초하여 깊이 정보와 디스패리티 정보 사이의 상관 관계 정보(CORI1)를 산출하고 상관 관계 정보(CRRI1)를 깊이 이미지 생성 엔진(250c)에 제공한다.
상관 산출 모듈(300a)은 장면 분리 엔진(310a), 매칭 엔진(320a) 및 상관 관계 산출 엔진(330a)을 포함할 수 있다.
장면 분리 엔진(310a)은 전처리된 제1 시점 이미지(PIMG1)와 전처리된 제2 시점 이미지(PIMG1) 중 적어도 하나에서 적어도 하나의 객체를 분리하여 적어도 하나의 마스크(MSK)를 추출할 수 있다. 매칭 엔진(320a)은 적어도 하나의 마스크(MSK) 및 객체 트래킹 리스트 데이터(OTLD)에 매칭을 수행하여 매칭 결과들(MMKS, MOTLD)을 상관 관계 산출 엔진(330a)에 제공할 수 있다. 매칭 결과들(MMKS, MOTLD)은 마스크(MKS)에 대한 제1 매칭 결과(MMKS)와 객체 트래킹 리스트 데이터(OTLD)에 대한 제2 매칭 결과(MOTLD)를 포함할 수 있다.
상관 관계 산출 엔진(330a)은 디스패리티 정보를 포함하는 디스패리티 이미지(DPIMG)를 수신하고, 디스패리티 정보와 매칭 결과들(MMKS, MOTLD)에 기초하여 깊이 정보와 디스패리티 정보 사이의 상관 관계 정보(CRRI1)를 산출하고 상관 관계 정보(CRRI1)를 깊이 이미지 생성 엔진(250c)에 제공할 수 있다.
깊이 이미지 생성 엔진(250c)은 디스패리티 이미지(DPIMG)에 포함되는 디스패티리 정보 및 상관 관계 정보(CRRI1)에 기초하여 전처리된 스테레오 이미지(PSIMG)의 깊이 값을 교정하고 전처리된 스테레오 이미지(PSIMG)에 포함되는 적어도 하나의 객체를 포함하는 깊이 이미지(DTIMG)를 생성하고, 깊이 이미지(DTIMG)를 객체 검출 모듈(400c)에 제공할 수 있다.
객체 검출 모듈(400c)은 전처리된 스테레오 이미지(PSIMG) 및 깊이 이미지(DTIMG)에 기초하여 적어도 하나의 객체의 적어도 일부를 각각 포함하는 복수의 영역들을 복수의 후보 바운딩 박스들로 결정하고 후보 바운딩 박스들(CBB)을 스코어 조절 모듈(500)에 제공할 수 있다. 후보 바운딩 박스들(CBB)은 각각의 제1 위치 정보(POI1)와 클래스 스코어(SCR)을 포함할 수 있다.
동기 신호 생성기(260)는 프레임 정보(FRMI1)에 기초하여 동기 신호(SYNS)를 생성할 수 있다. 프레임 정보(FRMI1)는 스테레오 이미지(SIMG)에 대한 제1 FPS(frame per second) 및 객체 트래킹 리스트 데이터(OTLD)에 대한 제2 FPS에 관한 정보를 포함할 수 있다.
스코어 조절 모듈(500)은 후보 바운딩 박스들(CBB) 및 제2 위치 정보(POI2)를 수신하고, 후보 바운딩 박스들(CBB) 각각의 제1 위치 정보(POI1) 및 제2 위치 정보(POI2)의 일치 여부 및 후보 바운딩 박스들(CBB) 각각의 클래스 스코어와 문턱값의 비교에 기초하여 후보 바운딩 박스들(CBB) 각각의, 적어도 하나의 객체에 관련된 클래스 스코어를 조절하여 조절된 스코어(ACSR)와 제1 위치 정보(POI1)를 포함하는 조절된 후보 바운딩 박스들(ACBB)를 선택 엔진(550)에 제공할 수 있다.
특히 스코어 조절 모듈(500)은 제1 위치 정보(POI1) 및 제2 위치 정보(POI2)가 일치하고, 이에 관련되는 후보 바운딩 박스의 클래스 스코어가 문턱값 미만인 경우, 상기 클래스 스코어를 문턱값 이상이 되도록 상기 관련되는 후보 바운딩 박스의 클래스 스코어를 조절할 수 있다.
선택 엔진(550)은 조절된 후보 바운딩 박스들(ACBB)의 조절된 스코어(ACSR)에 기초하여 후보 바운딩 박스(CBB)들 중 최대 스코어를 가지는 조절된 후보 바운딩 박스를 최종 바운딩 박스로 선택하고, 최종 바운딩 박스(FBB)를 객체 트래킹 엔진(560)에 제공할 수 있다.
객체 트래킹 엔진(560)은 최종 바운딩 박스(FBB) 및 객체 트래킹 리스트 데이터(OTLD)에 기초하여 상기 적어도 하나의 객체를 트래킹하여 출력 신호(OSG)를 도 2의 인터페이스(980)를 통하여 차량(100)의 운전자에게 제공할 수 있다.
도 25는 본 발명의 실시예들에 따른 도 24의 프로세싱 회로가 클래스 스코어를 이용하여 카메라와 레이다의 레인지를 캘리브레이션하는 것을 나타내는 알고리즘이다.
도 25를 참조하면, 제1 위치 정보와 제2 위치 정보가 일치하는 후보 바운딩 박스의 클래스 스코어가 문턱값보다 낮으면 상술한 바와 같이 클래스 스코어를 조절하고, 후보 바운딩 박스의 클래스 스코어가 높은 경우에는 제1 위치 정보와 제2 위치 정보를 캘리브레이션 데이터 세트로 활용할 수 있다.
도 26은 본 발명의 실시예들에 따른 프로세싱 회로가 스테레오 이미지 및 제1 센싱 데이터를 동기시키는 것을 나타낸다.
도 26을 참조하면, 제1 센서(110)는 스테레오 이미지(SIMG)를 제1 FPS(frame per second)로 출력하고, 제2 센서(120)는 객체 트래킹 리스트(OTL)를 제2 FPS로 출력할 수 있다. 제1 FPS는 제2 FPS보다 클 수 있다.
서로 다른 FPS를 가지는 이미지들의 동기를 맞추기 위하여 프로세싱 회로(1000c)의 동기 신호 생성기(260)에서 생성되는 동기 신호(SYNS)에 의하여 서로 다른 FPS를 가지는 이미지들을 동기시킬 수 있다.
따라서 본 발명의 실시예들에 따르면 카메라에 출력에 기초하여 생성된 제1 위치 정보와 레이다의 출력에 기초하여 생성된 제2 위치 정보에 일치 여부에 기초하여 후보 바운딩 박스들의 클래스 스코어를 선택적으로 조절하고, 클래스 스코어가 선택적으로 조절된 후보 바운딩 박스들 중에서 최대 클래스 스코어를 가지는 후보 바운딩 박스를 선택함으로써 외부 요인으로 인하여 선택되지 않은 후보 바운딩 박스들의 수를 감소시킬 수 있다.
도 27은 본 발명의 실시예들에 따른 첨단 운전자 지원 장치의 동작 방법을 나타내는 흐름도이다.
단계(S300)에서 첨단 운전자 지원 장치(900a)는 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하고, 상기 비디오 시퀀스에 기초하여 스테레오 이미지에 포함된 적어도 하나의 객체를 포함하는 픽셀 레벨의 위치 이미지를 생성하면서 레이다에 의하여 수신된 반사 신호들에 기초하여 상기 적어도 하나의 객체에 대한 제2 위치 정보를 생성할 수 있다.
비디오 시퀀스는 일련의 정지 이미지(still image)들로 구성될 수 있다. 정지 이미지들 각각은 픽처(picture) 또는 프레임(frame)을 의미할 수 있다.
블록 S400에서 첨단 운전자지원 장치(900a)는 상기 스테레오 이미지 및 상기 위치 이미지에 기초하여 상기 스테레오 이미지에 포함된 적어도 하나의 객체의 적어도 일부를 각각 포함하는 복수의 영역들을 복수의 후보 바운딩 박스들로 결정할 수 있다. 후보 바운딩 박스들은 각각의 제1 위치 정보와 클래스 스코어를 포함할 수 있다.
블록 S500에서, 첨단 운전자 지원 장치(900a)는 상기 후보 바운딩 박스들의 상기 제1 위치 정보 및 상기 제2 위치 정보의 일치 여부에 기초하여 상기 후보 바운딩 박스들 각각의 상기 클래스 스코어를 선택적으로 조절하여 조절된 스코어를 제공할 수 있다.
실시예에 있어서, 첨단 운전자 지원 장치(900a)는 상기 후보 바운딩 박스들 각각의 클래스 스코어와 문턱값의 비교에 더 기초하여 상기 후보 바운딩 박스들 각각의 상기 클래스 스코어를 선택적으로 조절하여 조절된 스코어를 포함하는 조절된 후보 바운딩 박스들을 제공할 수 있다.
실시예에 있어서, 첨단 운전자 지원 장치(900a)는 비디오 시퀀스에 포함된 하나의 프레임으로부터 하나 이상의 객체를 검출할 수 있다. 하나의 프레임으로부터 검출된 하나 이상의 객체는, 동일한 비디오 시퀀스에 포함된 다른 프레임에서도 검출될 수 있다. 또는, 하나의 프레임으로부터 검출된 하나 이상의 객체는, 동일한 비디오 시퀀스에 포함된 다른 프레임에서는 검출되지 않을 수 있다.
실시예에 있어서, 첨단 운전자지원 장치(900a)는 인공지능학습 모델을 이용하여 객체의 위치를 인식할 수 있다. 예를 들어, 제 1 프레임에서의 제1 자동차의 바운딩 박스부터 제 1 자동차가 프레임 상에서 어느 위치에 있는지 인식할 수 있다. 또한, 제 1 프레임에서의 제 1 자동차의 바운딩 박스 및 제 3 자동차의 바운딩 박스를 이용하여 제 1 자동차와 제 3 자동차의 간격을 인식할 수 있다. 또한, 제 3 프레임에서의 제 1 자동차의 바운딩 박스 및 제 3 자동차의 바운딩 박스를 이용하여 제 3 프레임에서 제 1 자동차와 제 3 자동차 사이의 간격의 변화량을 인식할 수 있다.
실시예에 있어서, 첨단 운전자지원 장치(900a)는 객체의 종류를 결정하고, 객체가 검출된 위치에서 객체의 종류가 가질 수 있는 크기 정보에 기초하여, 객체가 노이즈인지 여부를 결정할 수 있다. 실시예에 있어서, 첨단 운전자 지원 장치(900a)는 객체의 종류(type)를 판단할 수 있다.
실시예에 있어서, 첨단 운전자지원 장치(900a)는 프레임 내에 포함된 객체를 검출하기 위해, 제1 학습 모델을 이용할 수 있다. 제1 학습 모델은 차량의 주행 중 촬영된 복수의 프레임들을 포함하는 비디오 시퀀스에서 객체를 검출하고 검출된 객체를 최종 바운딩 박스로 표시하는 학습의 결과에 의하여 획득될 수 있다. 따라서, 비디오 시퀀스로부터 획득된 프레임들과 레이다 반사파들이 제1 학습 모델에 입력되면, 프레임들로부터 검출된 객체를 지정하는 최종 바운딩 박스가 제1 학습 모델로부터 출력될 수 있다.
블록 S600에서, 첨단 운전자 지원 장치(900a)는 상기 클래스 스코어가 선택적으로 조절된 상기 후보 바운딩 박스들 중 최대 스코어를 가지는 후보 바운딩 박스를 최종 바운딩 박스로 선택할 수 있다.
블록 S600에서, 첨단 운전자 지원 장치(900a)는 복수의 프레임들 내의 객체의 바운딩 박스를 시계열적으로 트래킹함으로써, 차량의 주행에 관련된 이벤트 발생 여부를 결정할 수 있다.
실시예에 있어서, 첨단 운전자지원 장치(900a)는 비디오 시퀀스의 재생 순서(display order)에 따라, 이전 프레임에서 다음프레임으로의 바운딩 박스의 위치 변화를 분석할 수 있다. 예를 들어, 첨단 운전자지원 장치(900a)는 재생 순서가 앞인 제 1 프레임에 포함된 객체의 바운딩 박스와 재생 순서가 뒤인 제 2 프레임에 포함된 동일한 객체의 바운딩 박스의 위치를 비교함으로써, 객체의 위치 변화를 분석할 수 있다. 예를 들어, 첨단 운전자지원 장치(900a)는 시간의 흐름에 따라, 복수의 객체들 각각의 위치 변화를 분석함으로써, 이벤트가 발생하였는지를 결정할 수 있다.
실시예에 있어서, 첨단 운전자 지원 장치(900a)는 복수의 프레임들 내의 객체의 바운딩 박스를 시계열적으로 트래킹함으로써, 이벤트의 종류(type)를 결정할 수 있다. 실시예에 있어서, 첨단 운전자지원 장치(900)는 복수의 프레임들 내의 객체의 바운딩 박스를 시계열적으로 트래킹함으로써, 주행의 위험도를 결정할 수 있다.
실시예에 있어서, 첨단 운전자 지원 장치(900a)는 이벤트가 발생하였는지를 결정하기 위해, 제 2 학습 모델을 이용할 수 있다. 제2 학습 모델에 제1 학습모델에서 출력된 객체에 관련된 출력값을 입력하면, 이벤트의 발생 여부가 출력될 수 있다.
실시예에 있어서, 객체를 검출하는 동작, 객체를 바운딩 박스로 표시하는 동작, 이벤트가 발생하였는지를 결정하는 동작은 복수의 학습 모델들을 이용하여 수행될 수 있다.
도 28은 본 발명의 실시예들에 따른 차량의 주행에 관련된 이벤트 발생 여부를 결정하는 학습 모델의 생성을 설명하기 위한 도면이다.
실시예들에 따르면, 첨단 운전자 지원 장치(900a)는 전처리된 스테레오 이미지(PSIMG)에 포함되는 전처리된 제1 시점 이미지(PIMG1) 및 전처리된 제2 시점 이미지(PIMG2) 중 적어도 하나를 이용하여 제1 학습 모델(601) 및 제2 학습모델(602)을 포함하는 학습 모델(600)을 학습시킴으로써 객체의 위치에 따른 주행에 관련된 이벤트를 검출할 수 있는 이벤트 검출 모델(605)을 생성할 수 있다.
실시예들에 따르면, 제1 학습 모델(601)은, FCN(Fully Convolutional Network)을 이용하여 객체의 종류(type)를 판단하는 기준 및 복수의 프레임들 각각에 대해 객체를 지시하는 바운딩 박스의 복수의 프레임들 내 위치들을 판단하는 기준을 학습함으로써 생성될 수 있다.
실시예들에 따르면, 첨단 운전자 지원 장치(900a)는 RGB 채널로 이루어진 프레임을 포함하는 전처리된 제1 시점 이미지(PIMG1) 및 전처리된 제2 시점 이미지(PIMG2) 중 적어도 하나를 제1 학습 모델(601)에 입력할 수 있다. 제1 학습 모델(601)은 도 4의 객체 검출 모듈(400a), 스코어 조절 모듈(500) 및 선택 엔진(550), 도 15의 객체 검출 모듈(400b), 스코어 조절 모듈(500) 및 선택 엔진(550) 또는 도 24의 객체 검출 모듈(400c), 스코어 조절 모듈(500) 및 선택 엔진(550)을 이용하여 전처리된 제1 시점 이미지(PIMG1) 및 전처리된 제2 시점 이미지(PIMG2) 중 적어도 하나에 포함되는 객체를 검출하고, 검출된 객체를 최종 바운딩 박스로 표시하도록 학습될 수 있다.
이 경우에, 프로세싱 회로(1000a, 1000b 또는 1000c)는 상술한 제1 위치 정보, 제2 위치 정보 및 문턱 값을 이용하여 후보 바운딩 박스들의 클래스 스코어를 선택적으로 조절하여 후보 바운딩 박스들 중 적어도 일부를 선택할 수 있다.
첨단 운전자 지원 장치(900a)는 제1 학습 모델(501)을 이용하여, 복수의 프레임들 내에 포함된 객체를 검출하고, 검출된 객체를 바운딩 박스로 표시할 수 있다. 예를 들어, 첨단 운전자 지원 장치(900a)는 제1 학습 모델(501)을 이용하여, 하나의 프레임으로부터 복수의 객체들을 검출하고, 복수의 객체들 각각의 종류가 무엇인지 판단할 수 있다.
제2 학습 모델(602)은, 다양한 신경망들 중 적어도 하나를 이용하여, 복수의 프레임들 내의 객체를 지정하는 바운딩 박스를 시계열적으로 트래킹함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 기준을 학습함으로써 생성되는 것일 수 있다. 제1 학습 모델(601)의 출력은 제 2 학습 모델(602)의 입력으로 이용될 수 있다.
다른 실시예에서, 첨단 운전자 지원 장치(900a)는 는 이벤트가 발생하였는지를 결정하기 위한 제2 학습 모델의 연산량을 감소시키기 위해, 제1 학습 모델에서 출력된 매트릭스의 차원을 감소시킨 매트릭스를 제 2 학습 모델의 입력으로 이용할 수 있다. 예를 들어, 매트릭스의 차원을 감소시키기 위해, 확장 컨볼루션(dilated convolution)을 이용할 수 있다.
실시예에 있어서, 프로세싱 회로(1000a, 1000b, 1000c)는 학습 차량의 주행 중에 촬영된 복수의 학습 프레임들을 포함하는 비디오 시퀀스에서 학습 객체를 검출하는 결과에 기초하여 제1 학습 모델을 획득하고, 상기 획득한 제1 학습 모델을 이용하여 상기 스테레오 이미지에 포함된 상기 적어도 하나의 객체를 인식하고 인식된 객체를 후보 바운딩 박스들로 결정하고, 제1 위치 정보 및 제2 위치 정보에 기초하여 후보 바운딩 박스들의 클래스 스코어를 선택적으로 조절하고, 후보 바운딩 박스들 중 에서 선택된 적어도 하나를 최종 바운딩 박스로 표시할 수 있다.
도 29은 본 발명의 실시예들에 따른 제1 학습 모델을 이용하여 객체를 검출하는 예시를 설명하기 위한 도면이다.
도 29를 참조하면, 첨단 운전자 지원 장치(900a)는 차량의 주행 중 획득한 복수의 프레임을 포함하는 전처리된 스테레오 이미지(PSIMG)를 기초로 생성된 깊이 정보(601)를 입력값으로 학습된 제 1 학습 모델(710)을 이용하여 프레임 내에서 객체를 검출하고, 검출된 객체를 바운딩 박스로 표시할 수 있다. 실시예에 있어서, 첨단 운전자 지원 장치(900a)는 위치 이미지(POIMG)에 더 기초하여 객체를 검출하고, 검출된 객체를 바운딩 박스로 표시할 수 있다.
실시예에 있어서, 제 1 학습 모델은 FCN을 이용할 수 있기 때문에, 첨단 운전자 지원 장치(900a)는 제1 학습 모델(710)에 전처리된 스테레오 이미지(PSIMG)를 입력하면, 객체의 종류 및 바운딩 박스를 출력할 수 있다.
실시예에 있어서, 제1 학습 모델(710)에서 출력된 일련의 매트릭스를 이미지화하면, 전처리된 스테레오 이미지(PSIMG)에 포함된 객체의 종류 별로 다른 색으로 표현된 비디오 시퀀스(615)가 획득될 수 있다. 예를 들어, 일정한 패턴을 형성하는 도로와 이동하는 객체인 자동차는 다른 색상으로 표현될 수 있다.
일 개시에 의하여, 첨단 운전자 지원 장치(900a)는 객체의 종류 및 정확도를 검출할 수 있다. 예를 들어, 첨단 운전자 지원 장치(900a)는 제1 학습모델(710)에서 출력된 비디오 시퀀스(615) 내의 제1 객체(613) 및 제2 객체(614)의 종류 및 위치를 결정할 수 있다. 첨단 운전자 지원 장치(900a)는 제1 객체(613)의 형태 및 위치 정보를 이용하여 제1 객체(603)가 75%의 정확도로 버스임을 인식할 수 있으며, 제2 객체(614)의 형태 및 위치 정보를 이용하여 제2 객체(614)가 97%의 정확도로 승용차임을 인식할 수 있다.
도 30은 본 발명의 실시예들에 따라 제 2 학습 모델을 이용하여 객체(바운딩 박스)의 시계열적 이동에 따른 이벤트 발생 여부를 결정하는 것을 나타낸다.
일 실시예에서, 제 1 학습모델에서 출력된 객체를 나타내는 바운딩 박스가 포함된 프레임들을 제 2 학습 모델(720)에 입력하면, 객체에 관련된 이벤트 발생 여부를 결정할 수 있다.
실시예에 있어서, 제 2 학습 모델(720)은, RNN을 이용한 것인데, 서로 다른 시간 구간에서 노드들 간에 재귀적(recurrent)인 연결이 있는 신경망을 RNN(Recurrent Neural Network)이라고 한다. 실시예에 있어서 RNN은, 순차적 데이터(sequential data)를 인식할 수 있다.
학습 데이터와 그에 대응하는 출력 데이터를 함께 신경망에 입력하고, 학습 데이터에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 지도 학습(supervised learning)을 통해 RNN을 학습시킬 수 있다. 예를 들어, RNN은 델타 규칙(delta rule)과 오류 역전파 학습(backpropagation learning) 등을 통해 뉴런들 사이의 연결 가중치를 업데이트할 수 있다.
예를 들어, 제 2 학습 모델(720)은 이전 프레임에서보다 다음 프레임에서 주행 차량에 가깝게 위치한 객체(801)를 나타내는 바운딩 박스를 인식함으로써, 객체(801)와 주행 차량 간에 충돌이 발생할 수 있다고 결정할 수 있다. 실시예에 있어서, 제 2 학습 모델(720)은 바운딩 박스를 시계열적으로 트래킹함으로써(바운딩 박스에 대한 시계열적 변화를 분석함으로써), 객체로부터 야기될 수 있는 이벤트 발생 확률을 예측할 수 있다.
예를 들어, 제 2 학습 모델(720)은 객체(801)의 위치로부터 판단한 차량과의 거리에 따라 사고발생확률을 결정할 수 있다. 객체(801)와 차량과의 거리가 멀다고 판단한 경우, 블록(802)에서와 같이 사고발생확률이 10%라고 예측할 수 있다. 제 2 학습 모델(720)은 시간의 흐름에 따라 차량 및 객체(801)가 이동하여 차량과 객체(801)의 거리가 가까워졌다고 판단한 경우, 블록 803에서와 같이 사고발생확률이 64%라고 판단할 수 있다. 일 개시에 의하여, 시간의 흐름에 따른 차량 및 객체의 이동으로 발생하는 사고발생확률은 제 2 학습모델에 의하여 학습될 수 있다.
실시예에 있어서, 프로세싱 회로(1000a, 1000b, 1000c)는 RNN(Recurrent Neural Network)을 이용하여, 복수의 학습 프레임들 내에서의 학습 객체를 나타내는 바운딩 박스를 시계열적으로 트래킹하여 학습 차량의 주행에 관련된 이벤트가 발생하였는지를 학습한 결과에 기초하여 제 2 학습 모델을 획득하고, 상기 획득한 제 2 학습 모델을 이용하여, 상기 객체와 관련된 상기 차량의 주행에 관련된 이벤트 발생 여부를 결정할 수 있다.
본 발명의 실시예들은 ADAS(advanced driver-assistance system)와 같은, 자동 주행 장치나 이를 이용하는 다양한 전자 장치에 적용될 수 있다.
상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (20)

  1. 프로세싱 회로; 및
    상기 프로세싱 회로에 의하여 실행가능한 명령어들을 저장하는 메모리를 포함하고,
    상기 프로세싱 회로는 상기 명령어들을 실행함으로써,
    차량의 주행 중 촬영된 복수의 프레임들(상기 복수의 프레임들 각각은 제1 시점 이미지 및 제2 시점 이미지를 포함하는 스테레오 이미지에 해당함)을 포함하는 비디오 시퀀스를 획득하고,
    상기 스테레오 이미지에 기초하여 상기 스테레오 이미지에 포함된 적어도 하나의 객체를 포함하는 위치 이미지를 생성하고,
    상기 차량의 주행 중 수신된 반사 신호에 기초하여 상기 적어도 하나의 객체에 대한 제2 위치 정보를 생성하고,
    상기 스테레오 이미지 및 상기 위치 이미지에 기초하여 상기 적어도 하나의 객체의 적어도 일부를 포함하는 영역들을 후보 바운딩 박스들로 결정하고,
    상기 후보 바운딩 박스들 각각의 제1 위치 정보와 상기 제2 위치 정보의 일치 여부에 기초하여 상기 적어도 하나의 객체에 대한 상기 후보 바운딩 박스들 각각의 클래스 스코어를 선택적으로 조절하는 첨단 운전자 지원 장치(advanced driver assist device).
  2. 제1항에 있어서, 상기 프로세싱 회로는,
    상기 클래스 스코어가 선택적으로 조절된 후보 바운딩 박스들 중 최대 스코어를 가지는 후보 바운딩 박스를 최종 바운딩 박스로 선택하는 첨단 운전자 지원 장치.
  3. 제2항에 있어서, 상기 프로세싱 회로는,
    상기 최종 바운딩 박스와 상기 반사 신호에 기초한 객체 트래킹 리스트 데이터에 기초하여 상기 적어도 하나의 객체를 트래킹하여 출력 신호를 제공하는 첨단 운전자 지원 장치.
  4. 제1항에 있어서,
    상기 후보 바운딩 박스들 각각은 상기 제1 위치 정보, 상기 클래스 스코어 및 후보 바운딩 박스에 대한 크기 정보를 포함하는 첨단 운전자 지원 장치.
  5. 제4항에 있어서,
    상기 적어도 하나의 객체는 문턱값보다 높은 제1 클래스 스코어와 제1 서브 위치 정보를 가지는 제1 객체 및 상기 문턱값보다 낮은 제2 클래스 스코어와 제2 서브 위치 정보를 가지는 제2 객체를 포함하고,
    상기 제1 서브 위치 정보와 상기 제2 서브 위치 정보는 상기 제1 위치 정보와 관련되고,
    상기 제1 객체는 제3 서브 위치 정보를 가지고, 상기 제2 객체는 제4 서브 위치 정보를 가지고,
    상기 제3 서브 위치 정보와 상기 제4 서브 위치 정보는 상기 제2 위치 정보와 관련되고,
    상기 제2 서브 위치 정보와 상기 제4 서브 위치 정보가 일치하는 경우,
    상기 프로세서는 상기 제2 클레스 스코어를 상기 문턱값 이상이 되도록 조절하는 첨단 운전자 지원 장치.
  6. 제1항에 있어서,
    상기 프로세싱 회로는 SSD(single shot detector), 패스터 재귀적 컨벌루션 신경망(faster R-CNN(recurrent convolution neural network) 중 하나를 이용하여 상기 적어도 하나의 객체에 관련된 상기 후보 바운딩 박스들을 결정하는 첨단 운전자 지원 장치.
  7. 제1항에 있어서, 상기 프로세싱 회로는,
    상기 스테레오 이미지에서 상기 적어도 하나의 객체의 특징을 추출하여 제1 특징 벡터들을 생성하고,
    상기 위치 이미지에서 상기 적어도 하나의 객체의 특징을 추출하여 제2 특징 벡터들을 생성하고,
    상기 제1 특징 벡터들과 상기 제2 특징 벡터들을 병합하여 병합된 특징 벡터들을 생성하고,
    상기 병합된 특징 벡터들에 기초하여 상기 적어도 하나의 객체에 대한 특징 맵들을 생성하고,
    상기 특징 맵들에 기초하여 상기 적어도 하나의 객체와 관련된 상기 후보 바운딩 박스들을 결정하는 첨단 운전자 지원 장치.
  8. 제1항에 있어서,
    상기 후보 바운딩 박스들과 상기 최종 바운딩 박스는 3차원 바운딩 박스인 첨단 운전자 지원 장치.
  9. 제1항에 있어서,
    상기 프로세싱 회로는 상기 반사 신호에 기초하여 상기 적어도 하나의 객체에 대한 깊이 이미지를 더 생성하고, 상기 깊이 이미지에 더 기초하여 상기 후보 바운딩 박스들을 결정하는 첨단 운전자 지원 장치.
  10. 제1항에 있어서, 상기 프로세싱 회로는
    상기 스테레오 이미지에 기초하여 상기 위치 이미지를 생성하는 위치 정보 생성 엔진;
    상기 반사 신호들에 기초하여 상기 제2 위치 정보를 포함하는 객체 트래킹 리스트 데이터를 생성하는 트래킹 리스트 생성 엔진;
    상기 스테레오 이미지, 상기 위치 이미지 및 상기 제2 위치 정보에 기초하여 상기 적어도 하나의 객체를 나타내는 최종 바운딩 박스를 출력하는 객체 검출기; 및
    상기 최종 바운딩 박스와 상기 객체 트래킹 리스트 데이터에 기초하여 상기 적어도 하나의 객체를 트래킹하여 출력 신호를 제공하는 객체 트래킹 엔진을 포함하고,
    상기 객체 검출기는,
    상기 스테레오 이미지 및 상기 위치 이미지에 기초하여 상기 적어도 하나의 객체에 관련된 상기 후보 바운딩 박스들을 제공하는 객체 검출 모듈;
    상기 제1 위치 정보 및 상기 제2 위치 정보의 일치 여부 및 상기 클래스 스코어와 문턱값의 비교에 기초하여 상기 후보 바운딩 박스들 각각의 상기 클래스 스코어를 선택적으로 조절하여 조절된 스코어를 포함하는 조절된 후보 바운딩 박스들을 제공하는 스코어 조절 모듈;
    상기 조절된 스코어에 기초하여 상기 조절된 후보 바운딩 박스들 중 최대 스코어를 가지는 조절된 후보 바운딩 박스를 상기 최종 바운딩 박스로 선택하는 선택 엔진; 및
    상기 최종 바운딩 박스와 상기 객체 트래킹 리스트 데이터에 기초하여 상기 적어도 하나의 객체를 트래킹하여 출력 신호를 제공하는 객체 트래킹 엔진을 포함하는 첨단 운전자 지원 장치.
  11. 제10항에 있어서, 상기 객체 검출 모듈은
    복수의 제1 레이어들을 포함하고 상기 복수의 제1 레이어들을 이용하여 상기 스테레오 이미지에서 상기 적어도 하나의 객체의 특징을 추출하여 제1 특징 벡터들을 제공하는 제2 특징 추출기;
    복수의 제2 레이어들을 포함하고, 상기 복수의 제2 레이어들을 이용하여 상기 위치 이미지에서 상기 적어도 하나의 객체의 특징을 추출하여 제2 특징 벡터들을 생성하고, 상기 제1 특징 벡터들과 상기 제2 특징 벡터들을 병합하여 병합된 특징 벡터들을 제공하는 제2 특징 추출기;
    상기 병합된 특징 벡터들에 기초하여 상기 적어도 하나의 객체에 대한 특징 맵들을 생성하는 특징 피라미드 망; 및
    상기 특징 맵들에 기초하여 상기 적어도 하나의 객체와 관련된 상기 후보 바운딩 박스들을 제공하는 박스 예측기를 포함하는 첨단 운전자 지원 장치.
  12. 제10항에 있어서, 상기 스코어 조절 모듈은
    상기 후보 바운딩 박스들 각각의 상기 제1 위치 정보와 상기 제2 위칭 정보의 일치 여부를 체크하고, 상기 체크의 결과를 나타내는 매칭 신호를 출력하는 위치 정보 매칭 체크 엔진; 및
    상기 매칭 신호들 및 상기 후보 바운딩 박스들 각각의 상기 클래스 스코어와 상기 문턱값과의 비교에 기초하여 상기 후보 바운딩 박스들 각각의 상기 클래스 스코어를 선택적으로 조절하여 상기 조절된 스코어를 제공하는 스코어 조절 엔진을 포함하는 첨단 운전자 지원 장치.
  13. 제10항에 있어서,
    상기 적어도 하나의 객체는 상기 문턱값보다 높은 제1 클래스 스코어와 제1 서브 위치 정보를 가지는 제1 객체 및 상기 문턱값보다 낮은 제2 클래스 스코어와 제2 서브 위치 정보를 가지는 제2 객체를 포함하고,
    상기 제1 서브 위치 정보와 상기 제2 서브 위치 정보는 상기 제1 위치 정보와 관련되고,
    상기 제1 객체는 제3 서브 위치 정보를 가지고, 상기 제2 객체는 제4 서브 위치 정보를 가지고,
    상기 제3 서브 위치 정보와 상기 제4 서브 위치 정보는 상기 제2 위치 정보와 관련되고,
    상기 제1 서브 위치 정보와 상기 제3 서브 위치 정보가 일치하는 경우,
    상기 프로세서는 상기 제1 스코어를 이용하여 상기 위치 정보 생성 엔진을 캘리브레이션하는 첨단 운전자 지원 장치.
  14. 제10항에 있어서,
    상기 스테레오 이미지는 제1 FPS(frames per second)를 가지고,
    상기 객체 트래킹 리스트 데이터는 상기 제1 FPS와는 다른 제2 FPS를 가지고,
    상기 프로세싱 회로는 동기 신호를 이용하여 상기 스테레오 이미지와 상기 객체 트래킹 리스트 데이터를 동기시키는 첨단 운전자 지원 장치.
  15. 제1항에 있어서, 상기 프로세싱 회로는
    학습 차량의 주행 중에 촬영된 복수의 학습 프레임들을 포함하는 비디오 시퀀스에서 학습 객체를 검출하는 결과에 기초하여 제1 학습 모델을 획득하고,
    상기 획득한 제1 학습 모델을 이용하여 상기 스테레오 이미지에 포함된 상기 적어도 하나의 객체와 관련된 상기 후보 바운딩 박스들을 결정하는 첨단 운전자 지원 장치.
  16. 제1항에 있어서,
    상기 프로세싱 회로는 상기 복수의 프레임들 내에서의 객체를 나타내는 최종 바운딩 박스를 시계열적으로 트래킹하여 상기 차량의 주행에 관련된 이벤트의 종류와 주행의 위험도를 결정하는 첨단 운전자 지원 장치.
  17. 제16항에 있어서, 상기 프로세싱 회로는 상기 이벤트의 종류 및 상기 주행의 주행의 위험도에 기초하여 상기 이벤트를 알리는 알림 메시지를 출력하는 첨단 운전자 지원 장치.
  18. 프로세싱 회로; 및
    상기 프로세싱 회로에 의하여 실행가능한 명령어들을 저장하는 메모리를 포함하고,
    상기 프로세싱 회로는
    차량의 주행 중 촬영된 복수의 프레임들(상기 복수의 프레임들 각각은 제1 시점 이미지 및 제2 시점 이미지를 포함하는 스테레오 이미지에 해당함)을 포함하는 비디오 시퀀스를 획득하여 상기 적어도 하나의 객체를 포함하는 위치 이미지를 생성하는 위치 정보 생성 엔진;
    상기 차량의 주행 중 수신된 반사 신호에 기초하여 상기 적어도 하나의 객체에 대한 제2 위치 정보를 포함하는 객체 트래킹 리스트 데이터를 생생성하는 트래킹 리스트 생성 엔진;
    상기 스테레오 이미지, 상기 위치 이미지 및 상기 제2 위치 정보에 기초하여 상기 스테레오 이미지에 포함된 적어도 하나의 객체를 나타내는 최종 바운딩 박스를 제공하는 객체 검출기; 및
    상기 최종 바운딩 박스와 상기 객체 트래킹 리스트 데이터에 기초하여 상기 적어도 하나의 객체를 트래킹하여 출력 신호를 제공하는 객체 트래킹 엔진을 포함하고,
    상기 객체 검출기는
    상기 스테레오 이미지 및 상기 위치 이미지에 기초하여 상기 적어도 하나의 객체의 적어도 일부를 각각 포함하는 영역들을 후보 바운딩 박스들로 결정하고, 상기 후보 바운딩 박스들을 제공하는 객체 검출 모듈;
    상기 후보 바운딩 박스들각각의 제1 위치 정보 및 상기 제2 위치 정보의 일치 여부 및 상기 후보 바운딩 박스들 각각의 상기 클래스 스코어와 문턱값의 비교에 기초하여 상기 후보 바운딩 박스들 각각의 상기 클래스 스코어를 선택적으로 조절하여 조절된 스코어를 제공하는 스코어 조절 모듈; 및
    상기 클래스 스코어가 선택적으로 조절된 상기 후보 바운딩 박스들 중 최대 스코어를 가지는 후보 바운딩 박스를 최종 바운딩 박스로 선택하는 선택 엔진을 포함하는 첨단 운전자 지원 장치.
  19. 첨단 운전자 지원 장치에서 객체를 검출하는 방법으로서,
    상기 첨단 운전자 지원 장치가 설치되는 차량의 주행 중 제1 센서에 의하여 촬영된 복수의 프레임들(상기 복수의 프레임들 각각은 제1 시점 이미지 및 제2 시점 이미지를 포함하는 스테레오 이미지에 해당함)을 포함하는 비디오 시퀀스에 기초하여 상기 스테레오 이미지에 포함된 적어도 하나의 객체를 포함하는 위치 이미지를 생성하면서 제2 센서에 의하여 수신된 반사 신호들에 기초하여 상기 적어도 하나의 객체에 대한 제2 위치 정보를 생성하는 단계;
    상기 스테레오 이미지 및 상기 위치 이미지에 기초하여 상기 스테레오 이미지에 포함되는 적어도 하나의 객체의 적어도 일부를 포함하는 영역들을 후보 바운딩 박스들로 결정하는 단계;
    상기 후보 바운딩 박스들 각각의 제1 위치 정보와 상기 제2 위치 정보의 일치 여부 및 상기 후보 바운딩 박스들 각각의 클래스 스코어와 문턱값과의 비교에 기초하여 상기 후보 바운딩 박스들 각각의 상기 클래스 스코어를 선택적으로 조절하는 단계; 및
    상기 클래스 스코어가 선택적으로 조절된 후보 바운딩 박스들 중 최대 스코어를 가지는 후보 바운딩 박스를 최종 바운딩 박스로 선택하는 단계를 포함하는 첨단 운전자 지원 장치에서 객체를 검출하는 방법.
  20. 제19항에 있어서,
    상기 최종 바운딩 박스와 상기 반사 신호에 기초한 객체 트래킹 리스트 데이터에 기초하여 상기 적어도 하나의 객체를 트래킹하여 출력 신호를 제공하는 단계를 더 포함하는 첨단 운전자 지원 장치에서 객체를 검출하는 방법.
KR1020200069611A 2020-06-09 2020-06-09 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법 KR20210152741A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200069611A KR20210152741A (ko) 2020-06-09 2020-06-09 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
US17/110,124 US11694446B2 (en) 2020-06-09 2020-12-02 Advanced driver assist system and method of detecting object in the same
CN202110643436.2A CN113780050A (zh) 2020-06-09 2021-06-09 高级驾驶员辅助系统和在其中检测对象的方法
US18/319,094 US11941889B2 (en) 2020-06-09 2023-05-17 Advanced driver assist system and method of detecting object in the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200069611A KR20210152741A (ko) 2020-06-09 2020-06-09 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법

Publications (1)

Publication Number Publication Date
KR20210152741A true KR20210152741A (ko) 2021-12-16

Family

ID=78818480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200069611A KR20210152741A (ko) 2020-06-09 2020-06-09 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법

Country Status (3)

Country Link
US (2) US11694446B2 (ko)
KR (1) KR20210152741A (ko)
CN (1) CN113780050A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102497614B1 (ko) * 2022-06-15 2023-02-09 장승환 적응형 범용 감시 시스템 및 그 구동방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7660436B2 (en) * 2003-06-13 2010-02-09 Sarnoff Corporation Stereo-vision based imminent collision detection
JP5761162B2 (ja) 2012-11-30 2015-08-12 トヨタ自動車株式会社 車両位置推定装置
GB2537681B (en) 2015-04-24 2018-04-25 Univ Oxford Innovation Ltd A method of detecting objects within a 3D environment
CN108028023B (zh) * 2015-09-30 2021-10-26 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
US10565468B2 (en) 2016-01-19 2020-02-18 Aptiv Technologies Limited Object tracking system with radar/vision fusion for automated vehicles
US11242068B2 (en) 2016-05-30 2022-02-08 Lg Electronics Inc. Vehicle display device and vehicle
US10809361B2 (en) 2017-05-31 2020-10-20 Uatc, Llc Hybrid-view LIDAR-based object detection
JP6833630B2 (ja) 2017-06-22 2021-02-24 株式会社東芝 物体検出装置、物体検出方法およびプログラム
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
US10852419B2 (en) 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion
DE112019000049T5 (de) * 2018-02-18 2020-01-23 Nvidia Corporation Für autonomes fahren geeignete objekterfassung und erfassungssicherheit
US11899099B2 (en) * 2018-11-30 2024-02-13 Qualcomm Incorporated Early fusion of camera and radar frames

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102497614B1 (ko) * 2022-06-15 2023-02-09 장승환 적응형 범용 감시 시스템 및 그 구동방법

Also Published As

Publication number Publication date
US11941889B2 (en) 2024-03-26
US20210383134A1 (en) 2021-12-09
US11694446B2 (en) 2023-07-04
CN113780050A (zh) 2021-12-10
US20230290152A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
KR20200132468A (ko) 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
KR20200133863A (ko) 첨단 운전자 지원 장치, 이의 캘리브레이션 방법 및 이의 객체를 검출하는 방법
US6956469B2 (en) Method and apparatus for pedestrian detection
JP6766844B2 (ja) 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
US9811742B2 (en) Vehicle-surroundings recognition device
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
KR102338665B1 (ko) 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법
JP5663352B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
JP4425642B2 (ja) 歩行者抽出装置
US10853963B2 (en) Object detection device, device control system, and medium
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
JP2010079582A (ja) 物体を検出する装置、方法及びプログラム
JP2023539865A (ja) リアルタイムなクロススペクトルオブジェクトの関連付け及び深度推定
US11941889B2 (en) Advanced driver assist system and method of detecting object in the same
JP2006318062A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
EP3428876A1 (en) Image processing device, apparatus control system, imaging device, image processing method, and program
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
JP2006010652A (ja) 物体検出装置
US20240137477A1 (en) Method and apparatus for generating 3d image by recording digital content
JP7309630B2 (ja) 画像処理装置
US20230102186A1 (en) Apparatus and method for estimating distance and non-transitory computer-readable medium containing computer program for estimating distance