KR102229220B1 - 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치 - Google Patents

다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치 Download PDF

Info

Publication number
KR102229220B1
KR102229220B1 KR1020190166182A KR20190166182A KR102229220B1 KR 102229220 B1 KR102229220 B1 KR 102229220B1 KR 1020190166182 A KR1020190166182 A KR 1020190166182A KR 20190166182 A KR20190166182 A KR 20190166182A KR 102229220 B1 KR102229220 B1 KR 102229220B1
Authority
KR
South Korea
Prior art keywords
information
objects
specific
detection information
detection
Prior art date
Application number
KR1020190166182A
Other languages
English (en)
Other versions
KR20200094075A (ko
Inventor
김용중
김인수
김학경
남운현
부석훈
성명철
유우주
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200094075A publication Critical patent/KR20200094075A/ko
Application granted granted Critical
Publication of KR102229220B1 publication Critical patent/KR102229220B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Electromagnetism (AREA)
  • Atmospheric Sciences (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)

Abstract

V2X 기반 오토 라벨링 및 평가를 이용하여 주변에 위치한 카메라 각각에 대응되며, 딥러닝 기반의 이미지 분석에 의해 각각의 상기 카메라로부터 생성되는 각각의 이미지 내의 객체를 검출하는 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법에 있어서, 제 1 내지 제n 객체 검출 정보가 각각 제1 객체 검출기 내지 제n 객체 검출기로부터 검출 신뢰도의 내림차순으로 획득되면, 통합 장치가 k를 3부터 n까지 증가시켜가면서, 매칭 연산을 통해 제(k-2) 객체와 제k 객체를 통합하여 제(k-1) 객체 통합 정보를 획득하며, 상기 제(k-1) 객체 통합 정보를 이미지에 재투영하는 단계;를 포함하는 방법이 제공된다. 상기 방법은, 다수의 차량을 통한 센서 퓨전, V2X 통신 가능한 애플리케이션을 통한, 협업 주행 혹은 HD 맵 업데이트 등을 위해 이용될 수 있다.

Description

다수의 차량을 통한 센서 퓨전, V2X 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치{METHOD AND DEVICE FOR MERGING OBJECT DETECTION INFORMATION DETECTED BY EACH OF OBJECT DETECTORS CORRESPONDING TO EACH CAMERA NEARBY FOR THE PURPOSE OF COLLABORATIVE DRIVING BY USING V2X-ENABLED APPLICATIONS, SENSOR FUSION VIA MULTIPLE VEHICLES}
본 발명은 자율 주행 차량에 사용하기 위한 방법 및 장치에 관한 것으로; 보다 상세하게는, 주변에 위치된 카메라 각각에 대응되는 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치에 관한 것이다.
일반적으로 딥러닝(Deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계 학습 알고리즘의 집합으로 정의되며, 큰틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계 학습의 한 분야이다.
어떠한 데이터를, 컴퓨터가 알아 들을 수 있는 형태, 일 예로 이미지의 픽셀 정보를 열 벡터(column vector)의 형태로 표현하고 이를 기계 학습에 적용하기 위해 많은 연구가 진행되고 있으며, 이러한 노력의 결과로 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(Recurrent neural network)과 같은 다양한 딥러닝 기법들이 컴퓨터 비젼, 음성인식, 자연어처리, 음성/신호처리 등 많은 분야에 적용되어, 우수한 성능을 나타내는 딥러닝 기반의 네트워크들이 개발되고 있다.
이러한 딥러닝을 이용하여 이미지를 분석하고 이미지 내의 객체를 검출하는 객체 검출기가 많은 산업분야에 적용되고 있다.
특히, 객체 검출기를 자율주행 자동차, 모바일 단말, 감시 시스템 등에 적용하여 사용자의 편의성 및 안정성을 향상시키고 있다.
하지만, 종래의 객체 검출기는 학습된 파라미터에 따라 객체를 검출하기 때문에, 실제 상황에서 객체를 정확히 검출하였는지를 확인할 수 없으며, 이를 위해 별도의 모니터링을 해야 하는 단점이 있다.
그리고, 종래의 객체 검출기에서는 성능 향상을 위한 다양한 학습 데이터를 확보하는 데 어려움이 있다.
또한, 종래의 객체 검출기를 적용한 시스템은, 카메라로 볼 수 있는 방향 및 장애물에 의해 차폐되지 않은 공간에 대해서만 확인할 수 있으므로, 사각 지대나 장애물에 의해 차폐된 영역에 대해서는 실제 상황을 정확히 인지할 수 없는 문제점이 있다.
또한, 종래의 객체 검출기들은 학습된 파라미터에 따라 다른 결과를 출력할 수 있으며, 이에 따라 주변에 위치한 시스템들에서 검출된 정보들 사이에는 불일치가 있을 수 있다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 주변에 위치하는 카메라로부터 획득되는 이미지 분석 결과 사이의 불일치를 방지할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명은 사각 지대나 장애물에 의해 차폐되어 감지할 수 없는 영역에 위치하는 객체를 검출할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 주변 영역에 대한 정확한 객체 검출 정보를 확보하여 객체 검출기를 검증할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 주변 영역에 대한 정확한 객체 검출 정보를 이용하여 트레이닝 데이터를 자동적으로 생성할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 주변에 위치하는 카메라 각각에 대응되며, 딥러닝 기반의 이미지 분석에 의해 각각의 상기 카메라로부터 생성되는 각각의 이미지 내의 객체를 검출하는 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법에 있어서, (a) 주변에 위치하는 상기 카메라 각각에 대응되는 상기 객체 검출기로부터 객체 검출 정보 - 상기 객체 검출 정보 각각은, 각각의 상기 이미지를 촬영하는 상기 카메라에 대응하는 하나 이상의 이미지 촬영 주체에 해당하는 하나 이상의 프라이머리 객체, 및 각각의 상기 카메라에 의해 생성되는 상기 이미지 중 적어도 일부 이미지 상에 나타나는 하나 이상의 이미지 촬영 대상에 해당하는 하나 이상의 세컨더리 객체를 포함함 - 가 획득되면, 상기 객체 검출기에 대응되는 통합 장치 중 특정 객체 검출기에 대응되는 특정 통합 장치가, 상기 객체 검출 정보를 참조하여 각각의 상기 객체 검출기의 검출 신뢰도의 순서를 결정하는 단계; 및 (b) 상기 객체 검출기 중 적어도 일부를 상기 검출 신뢰도의 내림차순으로 제1 객체 검출기 내지 제n 객체 검출기라 하고, 상기 제1 객체 검출기 내지 상기 제n 객체 검출기 각각으로부터 획득된 각각의 상기 객체 검출 정보를 제1 객체 검출 정보 내지 제n 객체 검출 정보라 할 경우, 상기 특정 통합 장치가, (i) 상기 제1 객체 검출 정보와 제2 객체 검출 정보를 참조하여 적어도 하나의 매칭(matching) 연산을 통해 상기 제1 객체 검출 정보 내 제1 전체 객체 - 상기 제1 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 와 상기 제2 객체 검출 정보 내 제2 전체 객체 - 상기 제2 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 간의 대응관계를 확인하고, 상기 제1 전체 객체와 상기 제2 전체 객체를 통합하여 제1 객체 통합 정보를 획득하며, (ii) k를 3부터 n까지 증가시켜가면서, 제(k-2) 객체 통합 정보와 제k 객체 검출 정보를 참조하여 상기 매칭 연산을 통해 상기 제(k-2) 객체 통합 정보에 포함된 제(k-2) 객체와 상기 제k 객체 검출 정보에 포함된 제k 객체 간의 대응관계를 확인하고, 상기 제(k-2) 객체와 상기 제k 객체를 통합하여 제(k-1) 객체 통합 정보를 획득하며, 상기 제(k-1) 객체 통합 정보를, 상기 특정 객체 검출기에 대응되는 적어도 하나의 특정 카메라로부터 획득되는 적어도 하나의 특정 이미지에 재투영하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, (c) 상기 특정 통합 장치가, 상기 제(k-1) 객체 통합 정보와 상기 특정 객체 검출기의 특정 객체 검출 정보 간의 유사도를 참조하여 상기 특정 객체 검출기의 특정 검출 신뢰도를 업데이트하는 단계;를 더 포함한다.
일 실시예에서, (d) 상기 특정 통합 장치가, 상기 제(k-1) 객체 통합 정보에 포함된 제(k-1) 객체를 오토 라벨링(auto labelling)하며, 상기 오토 라벨링에 의해 생성된 라벨을 참조하여 상기 특정 객체 검출기의 하나 이상의 파라미터 중 적어도 일부를 학습하는 단계;를 더 포함한다.
일 실시예에서, 상기 객체 검출 정보 각각은, 상기 프라이머리 객체 각각에 대한 정보와 상기 세컨더리 객체 각각에 대한 정보를 포함하며, 상기 프라이머리 객체 각각에 대한 정보는 상기 프라이머리 객체 각각에 대한 상태 정보 - 상기 프라이머리 객체 각각에 대한 상태 정보는, 상기 프라이머리 객체 각각에 대한 현재 위치 정보, 현재 방향 정보, 및 현재 속력 정보를 포함함 - 및 상기 프라이머리 객체 각각에 대응되는 상기 객체 검출기 각각의 상기 검출 신뢰도를 포함하고, 상기 세컨더리 객체 각각에 대한 정보는 상기 세컨더리 객체 각각에 대한 상태 정보 - 상기 세컨더리 객체 각각에 대한 상태 정보는, 상기 세컨더리 객체 각각에 대한 현재 위치 정보, 현재 방향 정보, 및 현재 속력 정보를 포함함 - 및 상기 세컨더리 객체 각각에 대한 제품 정보를 포함한다.
일 실시예에서, 상기 프라이머리 객체 각각에 대한 정보는, 상기 프라이머리 객체 각각에 대한 제품 정보 및 상기 프라이머리 객체 각각에 대응되는 상기 객체 검출기 각각의 제품 정보 중 하나를 포함한다.
일 실시예에서, 상기 (a) 단계에서, 상기 특정 통합 장치는, (i) 상기 검출 신뢰도를 수신하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스, (ii) 상기 객체 검출기 각각의 제품 정보 각각에 대응하는 기설정된 제1 신뢰도를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스, 및 (iii) 상기 객체 검출기의 특징 정보가 획득되지 않는 경우, 기준 신뢰도로서 기설정된 제2 신뢰도를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스 중 하나를 수행한다.
일 실시예에서, 상기 제1 객체 검출 정보와 상기 제(k-2) 객체 통합 정보 중 하나에 대응되는 제1 전체 객체 - 상기 제1 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 를 A1 내지 Ai라 하며, 상기 제2 객체 검출 정보와 상기 제k 객체 검출 정보 중 하나에 대응되는 제2 전체 객체 - 상기 제2 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 를 B1 내지 Bj라 할 경우, 상기 (b) 단계에서, 상기 특정 통합 장치는, 상기 매칭 연산에 의해 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj 간의 대응관계의 코스트(cost)를 산출하며, 상기 산출된 대응관계의 코스트에 따라 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj를 통합한다.
일 실시예에서, 상기 특정 통합 장치는, (i) {1 - 제1 IoU(Intersection over Union)} - 상기 제1 IoU는 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 3차원 정육면체 IoU임 -, (ii) {1 - 제2 IoU} - 상기 제2 IoU는 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나를 포함하는 3차원 정육면체를 조감하여 2차원 평면상에 투영시킨 결과로 생성되는 2차원 직사각형 IoU임 -, (iii) 상기 A1 내지 상기 Ai 중 하나의 무게중심과 상기 B1 내지 상기 Bj 중 하나의 무게 중심 간의 유클리드 거리(Euclidean distance), (iv) 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 각도, 및 (v) 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 속력 차이 중 어느 하나, 혹은 상기 (i) 내지 상기 (v) 중 적어도 두 개의 가중 합(weighted sum)을 이용하여, 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj 간의 대응관계의 코스트를 산출한다.
일 실시예에서, 상기 특정 통합 장치는, 상기 제1 객체 검출 정보 또는 상기 제(k-2) 객체 통합 정보에 대응되는 제1 미검출 객체를 C1 내지 Cj만큼 추가하여, 상기 제1 미검출 객체가 상기 B1 내지 상기 Bj에 대응되도록 하고, 상기 제2 객체 검출 정보 또는 상기 제k 객체 검출 정보에 대응되는 제2 미검출 객체를 D1 내지 Di만큼 추가하여, 상기 제2 미검출 객체가 상기 A1 내지 상기 Ai에 대응되도록 하며, 상기 특정 통합 장치는, 상기 매칭 연산을 통해 (i) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj와 (ii) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di 간의 대응관계의 코스트를 산출하며, (i) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj와 (ii) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di를 통합한다.
일 실시예에서, 상기 특정 통합 장치는, (i) (i-1) 상기 C1 내지 상기 Cj 중 하나와 (i-2) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di 중 하나 간의 대응관계의 코스트 및 (ii) (ii-1) 상기 D1 내지 상기 Di 중 하나와 (ii-2) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj 중 하나 간의 대응관계의 코스트를 기설정된 초기값으로 결정한다.
일 실시예에서, 상기 (b) 단계에서, 상기 산출된 코스트에 따라 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj를 통합하는 프로세스 동안, 상기 특정 통합 장치가, (i) 상기 제1 전체 객체 및 상기 제2 전체 객체 각각에 대응하는 상기 검출 신뢰도를 가중치로 하여, 상기 제1 전체 객체 및 상기 제2 전체 객체에 대한 상태 정보를 가중 합으로 통합하고, (ii) 상기 검출 신뢰도의 합이 제일 높은 소정 객체 검출기의 제품 정보를 상기 제1 전체 객체 및 상기 제2 전체 객체에 대한 제품 정보로 통합한다.
본 발명의 다른 태양에 따르면, 주변에 위치하는 카메라 각각에 대응되며, 딥러닝 기반의 이미지 분석에 의해 각각의 상기 카메라로부터 생성되는 각각의 이미지 내의 객체를 검출하는 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 통합 장치 중, 특정 객체 검출기에 대응하는 특정 통합 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 주변에 위치하는 상기 카메라 각각에 대응되는 상기 객체 검출기로부터 객체 검출 정보 - 상기 객체 검출 정보 각각은, 각각의 상기 이미지를 촬영하는 상기 카메라에 대응하는 하나 이상의 이미지 촬영 주체에 해당하는 하나 이상의 프라이머리 객체, 및 각각의 상기 카메라에 의해 생성되는 상기 이미지 중 적어도 일부 이미지 상에 나타나는 하나 이상의 이미지 촬영 대상에 해당하는 하나 이상의 세컨더리 객체를 포함함 - 가 획득되면, 상기 객체 검출 정보를 참조하여 각각의 상기 객체 검출기의 검출 신뢰도의 순서를 결정하는 프로세스, 및 (II) 상기 객체 검출기 중 적어도 일부를 상기 검출 신뢰도의 내림차순으로 제1 객체 검출기 내지 제n 객체 검출기라 하고, 상기 제1 객체 검출기 내지 상기 제n 객체 검출기 각각으로부터 획득된 각각의 상기 객체 검출 정보를 제1 객체 검출 정보 내지 제n 객체 검출 정보라 할 경우, (i) 상기 제1 객체 검출 정보와 제2 객체 검출 정보를 참조하여 적어도 하나의 매칭(matching) 연산을 통해 상기 제1 객체 검출 정보 내 제1 전체 객체 - 상기 제1 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 와 상기 제2 객체 검출 정보 내 제2 전체 객체 - 상기 제2 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 간의 대응관계를 확인하고, 상기 제1 전체 객체와 상기 제2 전체 객체를 통합하여 제1 객체 통합 정보를 획득하며, (ii) k를 3부터 n까지 증가시켜가면서, 제(k-2) 객체 통합 정보와 제k 객체 검출 정보를 참조하여 상기 매칭 연산을 통해 상기 제(k-2) 객체 통합 정보에 포함된 제(k-2) 객체와 상기 제k 객체 검출 정보에 포함된 제k 객체 간의 대응관계를 확인하고, 상기 제(k-2) 객체와 상기 제k 객체를 통합하여 제(k-1) 객체 통합 정보를 획득하며, 상기 제(k-1) 객체 통합 정보를, 상기 특정 객체 검출기에 대응되는 적어도 하나의 특정 카메라로부터 획득되는 적어도 하나의 특정 이미지에 재투영하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 특정 통합 장치가 제공된다.
일 실시예에서, 상기 프로세서가, (III) 상기 제(k-1) 객체 통합 정보와 상기 특정 객체 검출기의 특정 객체 검출 정보 간의 유사도를 참조하여 상기 특정 객체 검출기의 특정 검출 신뢰도를 업데이트하는 프로세스를 더 수행한다.
일 실시예에서, 상기 프로세서가, (IV) 상기 제(k-1) 객체 통합 정보에 포함된 제(k-1) 객체를 오토 라벨링(auto labelling)하며, 상기 오토 라벨링에 의해 생성된 라벨을 참조하여 상기 특정 객체 검출기의 하나 이상의 파라미터 중 적어도 일부를 학습하는 프로세스를 더 수행한다.
일 실시예에서, 상기 객체 검출 정보 각각은, 상기 프라이머리 객체 각각에 대한 정보와 상기 세컨더리 객체 각각에 대한 정보를 포함하며, 상기 프라이머리 객체 각각에 대한 정보는 상기 프라이머리 객체 각각에 대한 상태 정보 - 상기 프라이머리 객체 각각에 대한 상태 정보는, 상기 프라이머리 객체 각각에 대한 현재 위치 정보, 현재 방향 정보, 및 현재 속력 정보를 포함함 - 및 상기 프라이머리 객체 각각에 대응되는 상기 객체 검출기 각각의 상기 검출 신뢰도를 포함하고, 상기 세컨더리 객체 각각에 대한 정보는 상기 세컨더리 객체 각각에 대한 상태 정보 - 상기 세컨더리 객체 각각에 대한 상태 정보는, 상기 세컨더리 객체 각각에 대한 현재 위치 정보, 현재 방향 정보, 및 현재 속력 정보를 포함함 - 및 상기 세컨더리 객체 각각에 대한 제품 정보를 포함한다.
일 실시예에서, 상기 프라이머리 객체 각각에 대한 정보는, 상기 프라이머리 객체 각각에 대한 제품 정보 및 상기 프라이머리 객체 각각에 대응되는 상기 객체 검출기 각각의 제품 정보 중 하나를 포함한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, (i) 상기 검출 신뢰도를 수신하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스, (ii) 상기 객체 검출기 각각의 제품 정보 각각에 대응하는 기설정된 제1 신뢰도를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스, 및 (iii) 상기 객체 검출기의 특징 정보가 획득되지 않는 경우, 기준 신뢰도로서 기설정된 제2 신뢰도를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스 중 하나를 수행한다.
일 실시예에서, 상기 제1 객체 검출 정보와 상기 제(k-2) 객체 통합 정보 중 하나에 대응되는 제1 전체 객체 - 상기 제1 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 를 A1 내지 Ai라 하며, 상기 제2 객체 검출 정보와 상기 제k 객체 검출 정보 중 하나에 대응되는 제2 전체 객체 - 상기 제2 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 를 B1 내지 Bj라 할 경우, 상기 (II) 프로세스에서, 상기 프로세스는, 상기 매칭 연산에 의해 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj 간의 대응관계의 코스트(cost)를 산출하며, 상기 산출된 대응관계의 코스트에 따라 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj를 통합한다.
일 실시예에서, 상기 프로세서는, (i) {1 - 제1 IoU(Intersection over Union)} - 상기 제1 IoU는 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 3차원 정육면체 IoU임 -, (ii) {1 - 제2 IoU} - 상기 제2 IoU는 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나를 포함하는 3차원 정육면체를 조감하여 2차원 평면상에 투영시킨 결과로 생성되는 2차원 직사각형 IoU임 -, (iii) 상기 A1 내지 상기 Ai 중 하나의 무게중심과 상기 B1 내지 상기 Bj 중 하나의 무게 중심 간의 유클리드 거리(Euclidean distance), (iv) 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 각도, 및 (v) 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 속력 차이 중 어느 하나, 혹은 상기 (i) 내지 상기 (v) 중 적어도 두 개의 가중 합(weighted sum)을 이용하여, 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj 간의 대응관계의 코스트를 산출한다.
일 실시예에서, 상기 프로세서는, 상기 제1 객체 검출 정보 또는 상기 제(k-2) 객체 통합 정보에 대응되는 제1 미검출 객체를 C1 내지 Cj만큼 추가하여, 상기 제1 미검출 객체가 상기 B1 내지 상기 Bj에 대응되도록 하고, 상기 제2 객체 검출 정보 또는 상기 제k 객체 검출 정보에 대응되는 제2 미검출 객체를 D1 내지 Di만큼 추가하여, 상기 제2 미검출 객체가 상기 A1 내지 상기 Ai에 대응되도록 하며, 상기 프로세서는, 상기 매칭 연산을 통해 (i) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj와 (ii) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di 간의 대응관계의 코스트를 산출하며, (i) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj와 (ii) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di를 통합한다.
일 실시예에서, 상기 프로세서는, (i) (i-1) 상기 C1 내지 상기 Cj 중 하나와 (i-2) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di 중 하나 간의 대응관계의 코스트 및 (ii) (ii-1) 상기 D1 내지 상기 Di 중 하나와 (ii-2) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj 중 하나 간의 대응관계의 코스트를 기설정된 초기값으로 결정한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 산출된 코스트에 따라 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj를 통합하는 프로세스 동안, 상기 프로세서가, (i) 상기 제1 전체 객체 및 상기 제2 전체 객체 각각에 대응하는 상기 검출 신뢰도를 가중치로 하여, 상기 제1 전체 객체 및 상기 제2 전체 객체에 대한 상태 정보를 가중 합으로 통합하고, (ii) 상기 검출 신뢰도의 합이 제일 높은 소정 객체 검출기의 제품 정보를 상기 제1 전체 객체 및 상기 제2 전체 객체에 대한 제품 정보로 통합한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 주변에 위치하는 카메라를 이용한 객체 검출기의 검출 정보를 통합함으로써 카메라의 사각 지대나 장애물에 의해 인지할 수 없는 영역에 대한 정확한 정보를 획득할 수 있는 효과가 있다.
또한, 본 발명은 주변에 위치하는 카메라를 이용한 객체 검출기들의 검출 정보를 통합함으로써 이미지 분석 결과 간의 부조화를 방지할 수 있는 효과가 있다.
또한, 본 발명은 주변에 위치하는 카메라를 이용한 객체 검출기의 검출 검출 정보를 통합함으로써 주변 환경에 대한 정확한 검출 정보를 획득할 수 있게 되며, 이를 학습 데이터로 획득할 수 있는 효과가 있다.
또한, 본 발명은 주변에 위치하는 카메라를 이용한 객체 검출기의 검출 정보를 통합함으로써 주변 환경에 대한 정확한 검출 정보를 획득할 수 있게 되며, 이를 통해 객체 검출기를 검증할 수 있는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 주변에 위치하는 카메라 각각에 대응되는 각 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 통합 장치를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따라 주변에 위치하는 카메라 각각에 대응되는 각 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 통합 방법을 도시한 것이다.
도 3은 본 발명의 일 실시예에 따라 주변에 위치하는 카메라 각각에 대응되는 각 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법에서 적어도 하나의 이미지 내의 하나 이상의 객체를 검출하는 객체 검출기의 프로세스를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따라 주변에 위치하는 카메라 각각에 대응되는 각 객체 검출기에 의해 검출되는 객체 검출 정보의 통합 결과의 예를 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 통합 장치를 도시한 것이다. 도 1을 참조하면, 통합 장치(100)는 주변에 위치하는 상기 카메라 각각에 대응되는 각각의 상기 객체 검출기에 의해 검출되는 상기 객체 검출 정보를 통합하기 위한 인스트럭션을 저장하는 메모리(110), 및 상기 메모리(110)에 저장된 상기 인스트럭션에 대응하여 주변에 위치하는 상기 카메라 각각에 대응되는 각각의 상기 객체 검출기에 의해 검출되는상기 객체 검출 정보를 통합하는 프로세스를 수행하는 프로세서(120)를 포함한다. 이때, 주변에 위치하는 상기 카메라는 소정 반경 이내에 위치한 하나 이상의 카메라 혹은 소정 공간 내에 위치하는 하나 이상의 카메라일 수 있지만, 이에 한정되는 것은 아니다.
구체적으로, 상기 통합 장치(100)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
상기 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등을 포함할 수 있다. 또한, 상기 컴퓨팅 장치는 운영체제 및 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 상기 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
본 발명의 일 실시예에 따른 상기 통합 장치(100)를 이용하여 주변에 위치하는 상기 카메라 각각에 대응되는 각각의 상기 객체 검출기에 의해 검출되는 상기 객체 검출 정보를 통합하는 방법을 설명하면 다음과 같다.
먼저, 상기 통합 장치(100)는, 주변에 위치하는 상기 카메라 각각에 대응되는 각각의 상기 객체 검출기로부터 상기 객체 검출 정보를 획득하거나 타 장치로 하여금 획득하도록 지원할 수 있다(S10).
이때, 각각의 상기 객체 검출기는 주변에 위치하는 상기 카메라 각각에 대응되며, 딥 러닝 기반의 이미지 분석을 통해, 각각의 상기 카메라로부터 생성되는 각각의 이미지 내의 하나 이상의 객체를 검출할 수 있다.
일 예로, 상기 카메라에 의해 촬영된 적어도 하나의 테스트 이미지가 입력되면, 상기 객체 검출기(200)는 하나 이상의 컨벌루션 레이어(210)로 하여금 상기 테스트 이미지에 하나 이상의 컨벌루션 연산을 적용함으로써, 적어도 하나의 특징 맵을 출력하도록 한다. 이때, 상기 컨벌루션 레이어(210)는 상기 테스트 이미지에 순차적으로 컨벌루션 연산을 적용하여 상기 특징 맵을 출력할 수 있다.
그리고, 상기 객체 검출기(200)는 적어도 하나의 RPN(Region Proposal Network)(220)으로 하여금, 상기 객체를 포함하는 것으로 추정되는, 상기 특징 맵 상의 후보 영역에 대응되는 프로포잘 박스를 출력하도록 한다.
이후, 상기 객체 검출기(200)는 적어도 하나의 풀링 레이어(230)로 하여금, 상기 프로포잘 박스에 대응되는, 상기 특징 맵 상의 영역에 하나 이상의 풀링 연산을 적용하여 하나 이상의 특징 벡터를 출력하도록 한다.
그리고, 상기 객체 검출기(200)는, 적어도 하나의 FC(Fully connected) 레이어(240)로 하여금 상기 특징 벡터에 적어도 하나의 FC 연산을 적용하도록 하고, 적어도 하나의 분류(classification) 레이어(250)로 하여금 상기 프로포잘 박스 각각에 대응되는 각각의 객체 클래스 정보를 출력하도록 하며, 적어도 하나의 리그레션(regression) 레이어(260)로 하여금 각각의 상기 객체를 바운딩한 각각의 상기 프로포잘 박스를 이용하여 상기 바운딩 박스를 생성하도록 한다.
한편, 상기 객체 검출기에 대응되는 상기 카메라는 자율 주행 자동차, 모바일 단말기, 감시 시스템 등에 설치될 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
또한, 각각의 상기 객체 검출기에 대응되는 통합 장치 각각은 유무선 통신을 통해, 주변에 위치하는 상기 카메라에 대응되는 다른 객체 검출기의 통합 장치로 상기 객체 검출 정보를 전송할 수 있다.
이때, 상기 객체 검출 정보 각각은, 각각의 상기 이미지를 촬영하는 상기 카메라에 대응하는 하나 이상의 이미지 촬영 주체에 해당하는 하나 이상의 프라이머리 객체, 및 각각의 상기 카메라에 의해 생성되는 상기 이미지 중 적어도 일부 이미지 상에 나타나는 하나 이상의 이미지 촬영 대상에 해당하는 하나 이상의 세컨더리 객체를 포함할 수 있다. 이때, 상기 프라이머리 객체 중 적어도 하나 및 상기 세컨더리 객체 중 적어도 하나는, 적어도 하나의 같은 객체를 나타낼 수 있다. 다시 말해서, 특정 객체는 다른 객체의 이미지를 촬영하는 상기 프라이머리 객체 중 하나일 수 있으며, 동시에 상기 다른 객체 중 적어도 일부에 의해 촬영된 이미지에 포함된 상기 세컨더리 객체 중 하나일 수 있다.
상기 객체 검출 정보 각각은 상기 프라이머리 객체에 대한 정보 및 상기 세컨더리 객체에 대한 정보를 포함할 수 있다.
또한, 각각의 상기 프라이머리 객체에 대한 정보는 각각의 상기 프라이머리 객체에 대한 상태 정보 및 각각의 상기 프라이머리 객체에 대응되는 각각의 상기 객체 검출기의 각각의 검출 신뢰도를 포함할 수 있고, 각각의 상기 프라이머리 객체에 대한 상태 정보는 각각의 상기 프라이머리 객체의 현재 위치 정보, 현재 방향 정보, 현재 속력 정보 등을 포함할 수 있다. 이때, 각각의 상기 프라이머리 객체의 현재 속력 정보 및 현재 방향 정보는, 이동하는 상기 프라이머리 객체의 속력 정보 및 방향 정보뿐만 아니라, 정지하고 있는 상기 프라이머리 객체에 대한 이동하는 상기 세컨더리 객체의 상대 속력 정보 및 상대 방향 정보를 포함할 수 있다.
또한, 각각의 상기 프라이머리 객체에 대한 정보는, 각각의 상기 프라이머리 객체의 제조사, 모델, 제조 연식, 색상 등을 포함하는, 상기 프라이머리 객체 각각에 대한 제품 정보와, 각각의 상기 프라이머리 객체에 대응되는 각각의 상기 객체 검출기에 대한 제품 정보를 포함할 수 있다. 이때, 각각의 상기 객체 검출기에 대한 상기 제품 정보는 상기 객체 검출기의 제조사, 모델, 제조 연식 등을 포함할 수 있다.
또한, 각각의 상기 세컨더리 객체에 대한 정보는 각각의 상기 세컨더리 객체에 대한 상태 정보 및 각각의 상기 세컨더리 객체에 대한 제품 정보를 포함할 수 있다. 각각의 상기 세컨더리 객체에 대한 상태 정보는 각각의 상기 세컨더리 객체의 현재 위치 정보, 현재 방향 정보, 현재 속력 정보 등을 포함할 수 있으며, 각각의 상기 세컨더리 객체에 대한 제품 정보는 각각의 상기 세컨더리 객체의 제조사, 모델, 제조 연식, 색상 등을 포함할 수 있다. 이때, 각각의 상기 세컨더리 객체의 현재 속력 정보 및 현재 방향 정보는, 이동하는 상기 세컨더리 객체의 속력 정보 및 방향 정보뿐만 아니라, 정지하고 있는 상기 세컨더리 객체에 대한 이동하는 상기 프라이머리 객체의 상대 속력 정보 및 상대 방향 정보를 포함할 수 있다.
한편, 본 발명의 범위는 상기 설명에 한정되지 않으며, 상기 프라이머리 객체 및 상기 세컨더리 객체와 관련한 모든 정보가 포함될 수 있다.
다음으로, 상기 통합 장치(100) 각각은, 상기 객체 검출 정보를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 순서를 결정할 수 있다(S20).
즉, 각각의 상기 객체 검출기에 대응되는 각각의 상기 통합 장치 중, 특정 객체 검출기에 대응되는 특정 통합 장치(100)가, 상기 객체 검출 정보를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 순서를 결정할 수 있다. 이하의 설명은 상기 특정 통합 장치에 대해서만 설명하지만, 이는 설명을 편의를 위한 것으로, 각각의 모든 통합 장치에서도 상기 객체 검출 정보를 통합할 수 있다는 것은 자명한 사실이다.
이때, 상기 특정 통합 장치(100)는 상기 객체 검출기의 상기 검출 신뢰도를 수신한 뒤, 각각의 상기 객체 검출기의 상기 검출 신뢰도의 순서를 결정할 수 있다.
하지만, 검출 신뢰도가 존재하지 않거나 획득되지 않는 경우에, 상기 특정 통합 장치(100)는, 각각의 상기 객체 검출기의 상기 제품 정보 각각에 대응되는 기설정된 제1 신뢰도를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 순서를 결정할 수 있다. 즉, 상기 특정 통합 장치(100)는, 각각의 상기 객체 검출기의 제조사, 모델, 제조 연식 각각에 대응되는 상기 기설정된 제1 신뢰도를 확인하여 상기 객체 검출기 각각의 상기 검출 신뢰도의 순서를 결정할 수 있다.
또한, 상기 객체 검출기의 제품 정보가 존재하지 않을 경우, 상기 특정 통합 장치(100)는, 기준 신뢰도로서 기설정된 제2 신뢰도를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 순서를 결정할 수 있다. 즉, 상기 객체 검출기의 제품 정보가 존재하지 않을 경우, 상기 특정 통합 장치(100)는, 디폴트(default)로 설정된 상기 기준 신뢰도를 이용하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 순서를 결정할 수 있다(S20).
다음으로, 상기 특정 통합 장치(100)는 검출 신뢰도가 가장 높은 두 개의 상기 객체 검출 정보를 선택하여 통합한다(S30).
즉, 상기 객체 검출기 중 적어도 일부를 상기 검출 신뢰도의 내림차순으로 제1 객체 검출기 내지 제n 객체 검출기라 하고, 상기 제1 객체 검출기 내지 상기 제n 객체 검출기 각각으로부터 획득된 각각의 상기 객체 검출 정보를 제1 객체 검출 정보 내지 제n 객체 검출 정보라 할 경우, 상기 특정 통합 장치(100)가, 상기 제1 객체 검출 정보와 상기 제2 객체 검출 정보를 참조하여 적어도 하나의 매칭(matching) 연산을 통해 상기 제1 객체 검출 정보 내 제1 전체 객체(상기 제1 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함)에 대한 정보와 상기 제2 객체 검출 정보 내 제2 전체 객체(상기 제2 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함)에 대한 정보 간의 대응관계를 확인하는 프로세스, 및 상기 제1 전체 객체에 대한 정보와 상기 제2 전체 객체에 대한 정보를 통합하여 제1 객체 통합 정보를 획득하는 프로세스를 수행하거나 타 장치로 하여금 수행하도록 지원할 수 있다.
일 예로, 도 4를 참조하여, 상기 제1 객체 검출 정보와 상기 제2 객체 검출 정보를 통합하는 프로세스는 설명하면 다음과 같다. 도 4에서는 자동차가 예시 객체로 도시되었으나, 본 발명이 이에 한정되는 것이 아니다.
고유의 객체 검출기를 각각 가지는 다수의 자동차가 각각 고유의 객체 검출을 수행하며 주행하고 있는 상황에서, 각각의 상기 객체 검출기로 입력되는 영상이 각각 다르기 때문에 객체를 검출할 수 있는 영역도 다르고 상기 검출된 객체에 대한 정보 등도 각각 다를 수 있다.
다시 말하자면, 객체 A1을 기반으로 한 객체 검출 정보는, 상기 프라이머리 객체 A1과, 이미지 분석에 의해 검출된 상기 세컨더리 객체 A2, A3, …, 및 Ai를 포함할 수 있다. 즉, 상기 제1 객체 검출 정보(10)는 제1 전체 객체 A1 내지 Ai를 포함할 수 있다.
그리고, 객체 B1을 기반으로 상기 객체 검출 정보는, 상기 프라이머리 객체 B1과, 상기 이미지 분석에 의해 검출된 상기 세컨더리 객체 B2, B3, …, 및 Bj를 포함할 수 있다. 즉, 상기 제2 객체 검출 정보(20)는 제2 전체 객체 B1 내지 Bj를 포함할 수 있다. 이때, 상기 객체 검출 정보에 포함된 상기 프라이머리 객체에 대한 정보는 비주얼 인식(visual recognition)을 이용한 객체 검출에 의해 획득되지는 않지만, 상기 프라이머리 객체의 방향, 속력 등을 감지하는 소정의 센서에 의해 혹은 기설정된 제품 정보에 의해 획득될 수 있다. 물론, 본 발명의 범위가 이에 한정되는 것은 아니다.
이후, 상기 특정 통합 장치(100)는 이분 매칭(bipartite matching)과 같은 상기 매칭 연산을 이용하여, 상기 제1 객체 검출 정보(10) 내의 A1 내지 Ai 와 상기 제2 객체 검출 정보(20) 내의 B1 내지 Bj 간의 대응관계의 코스트(cost)를 산출하며, 상기 산출된 코스트에 따라 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj를 통합한다.
이때, 상기 특정 통합 장치(100)는, {1 - 제1 IoU(Intersection over Union)} 및 {1 - 제2 IoU}를 참조하여 상기 코스트를 산출한다. 여기서, 상기 제1 IoU는, 상기 제1 객체 검출 정보(10) 내의 상기 A1 내지 상기 Ai 중 하나와 상기 제2 객체 검출 정보(20) 내의 상기 B1 내지 상기 Bj 중 하나 간의 3차원 정육면체 IoU이며, 상기 제2 IoU는, 상기 제1 객체 검출 정보(10) 내의 상기 A1 내지 상기 Ai 중 하나와 상기 제2 객체 검출 정보(20) 내의 상기 B1 내지 상기 Bj 중 하나를 포함하는 3차원 정육면체를 조감하여 2차원 평면상에 투영시킨 결과로 생성되는 2차원 직사각형 IoU이다.
또한, 상기 특정 통합 장치(100)는 상기 제1 객체 검출 정보(10) 내의 상기 A1 내지 상기 Ai 중 하나의 무게중심과 상기 제2 객체 검출 정보(20) 내의 상기 B1 내지 상기 Bj 중 하나의 무게 중심 간의 유클리드 거리(Euclidean distance), 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 각도, 및 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 속력 차이를 참조하여 상기 코스트를 산출한다.
이에 더하여, 상기 특정 통합 장치(100)는 {1 - 상기 제1 IoU}, {1 - 상기 제2 IoU}, 상기 A1 내지 상기 Ai 중 하나의 무게중심, 상기 B1 내지 상기 Bj 중 하나의 무게 중심 간의 유클리드 거리, 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 각도, 및 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 속력 차이 중 적어도 두 개의 가중 합(weighted sum)을 이용하여, 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj 간의 상기 대응관계의 코스트를 산출할 수 있다.
예를 들어, 상기 제1 객체 검출 정보(10) 내의 상기 제1 전체 객체와 상기 제2 객체 검출 정보(20) 내의 상기 제2 전체 객체 간의 대응관계의 상기 코스트는 다음의 표 1에서와 같이 나타내어질 수 있다. 이때, 상기 제 1 전체 객체의 개수 및 상기 제2 전체 객체의 개수가 각각 3개씩인 예를 개략적으로 표시한 것이다.
B1 B2 B3 D1(미검출) D2(미검출) D3(미검출)
A1 50 2(*) 70 10 10 10
A2 150 50 100 10(*) 10(*) 10(*)
A3 150 70 3(*) 10 10 10
C1(미검출) 10(*) 10 10 10 10 10
C2(미검출) 10(*) 10 10 10 10 10
C3(미검출) 10(*) 10 10 10 10 10
상기 표 1에 따르면, 객체 A1과 객체 B2가 서로 대응하며, 객체 A3와 객체 B3가 서로 대응한다.
따라서, 상기 특정 통합 장치(100)는 상기 산출된 코스트에 따라, 상기 제1 객체 검출 정보(10) 내의 A1 내지 Ai 와 상기 제2 객체 검출 정보(20) 내의 B1 내지 Bj를 통합한다.
즉, 도 4 및 표 1을 참조하면, 상기 제1 객체 검출 정보(10)와 상기 제2 객체 검출 정보(20)를 통합하여 생성된 제1 객체 통합 정보는 A1B2, A2, A3B3, 및 B1을 포함하게 된다.
이때, 상기 특정 통합 장치(100)는 또한, 상기 제1 객체 검출 정보(10)와 상기 제2 객체 검출 정보(20)가 통합되는 동안 상기 객체에 대한 정보도 통합할 수 있다.
일 예로, 통합될 객체의 현재 위치 정보, 현재 방향 정보 및 현재 속력 정보 등과 같이 요소가 숫자로 표현될 수 있는, 상기 통합될 객체에 대한 상태 정보는, 상기 통합될 객체에 대응되는 각각의 객체 검출기의 검출 신뢰도 각각을 이용한 가중 합을 이용하여 통합될 수 있다. 즉, 상기 제1 객체 검출 정보 내 상기 통합될 객체에 대한 상태 정보를 제1 정보라 하고 상기 제2 객체 검출 정보 내 상기 통합될 객체에 대한 상태 정보를 제2 정보라 할 경우, 상기 제1 객체 통합 정보는, 상기 제1 객체 검출 정보와 상기 제2 객체 검출 정보가 통합된 상기 제1 객체 통합 정보 내의 통합된 객체에 대한 상태 정보이며,
Figure 112019128804120-pat00001
로 나타내어질 수 있다.
제조사, 모델, 제조 연식, 색상 등과 같은 상기 객체의 제품 정보는, 하나 이상의 객체 검출기에 대응되는 하나 이상의 검출 신뢰도의 합이 가장 높은 값이 되도록 상기 객체 통합 정보로 통합되기 위해 선택될 수 있다. 예를 들어, 통합될 특정 객체에 대하여, 상기 제1 객체 검출 정보를 제1 제조사, 상기 제2 객체 검출 정보를 제2 제조사, 상기 제3 객체 검출 정보를 상기 제1 제조사 라고 할 경우, 상기 제1 제조사에 대한 검출 신뢰도의 합은 {상기 제1 검출 신뢰도 + 상기 제3 검출 신뢰도}가 되며, 상기 제2 제조사에 대한 검출 신뢰도의 합은 상기 제2 검출 신뢰도가 될 수 있으며, 그에 따라, {상기 제1 검출 신뢰도 + 상기 제3 검출 신뢰도}와 상기 제2 검출 신뢰도 중에서, 검출 신뢰도가 높은 상기 제1 제조사 또는 상기 제2 제조사가 상기 객체 통합 정보로 선정되어 이용될 수 있다. 50 mph의 속력으로 이동하는 검은색 차량을 더 상세한 예로 들어보면, 한 검출기에 의해 검출된 정보 A는 "차량의 바운딩 박스 정보, 40 mph, 검은색"를 포함하며, 다른 검출기에 의해 검출된 정보 B는 "차량의 바운딩 박스 정보, 50 mph, 회색"을 포함한다. 따라서, 상기 정보 A 와 상기 정보 B가 서로 동일한지에 대한 여부가 대응관계의 코스트를 이용하여 확인되며, 그 후, 상기 두 정보는 바운딩 박스 정보 및 속력 정보 등을 참조하여 통합될 수 있다. 상기 같은 검출 신뢰도인 경우, 상기 속력 정보는 가중 합, 예를 들어 (w1Х속력A + w2Х속력B)으로 통합될 수 있다. 하지만, 이러한 가중 합은 색상에 대해서는 산출될 수 없으므로, 상기 검출 신뢰도에 따라 검은색(상기 제1 검출 신뢰도) 혹은 회색(상기 제2 방향 신뢰도)이 통합되도록 선정될 수 있다. 즉, 두 개의 객체 검출기가 상기 차량을 검은색으로 검출하고, 하나의 객체 검출기가 상기 차량을 회색으로 검출하고, 두 개의 객체 검출기가 상기 차량을 노란색으로 검출한 경우, 상기 객체 통합 정보는, 검은색으로 검출한 객체 검출기의 객체 검출 신뢰도의 합, 회색으로 검출한 객체 검출기의 검출 신뢰도의 합 및 노란색으로 검출한 객체 검출기의 검출 신뢰도의 합 중에서 가장 큰 검출 신뢰도의 합의 제품 정보를 포함할 것이다.
한편, 상기 제1 객체 검출 정보에 포함된 특정 객체가 상기 제2 객체 검출 정보에 포함되지 않는 경우에는 대응관계가 없을 수 있다.
따라서, 상기 특정 통합 장치(100)는, 상기 제1 객체 검출 정보(10)에 대응되는 제1 미검출 객체를 C1 내지 Cj만큼 추가하여 상기 제1 미검출 객체가 상기 B1 내지 상기 Bj에 대응되도록 하고, 상기 제2 객체 검출 정보(20)에 대응되는 제2 미검출 객체를 D1 내지 Di만큼 추가하여 상기 제2 미검출 객체가 상기 A1 내지 상기 Ai에 대응되도록 하며, 표 1의 소정의 매칭 연산을 통해 (i) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj와 (ii) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di 간의 대응관계의 코스트를 산출한다. 이때, 하나 이상의 미검출 객체는, 상기 검출기 중 하나의 시야에서 벗어난 객체 혹은 시야 내에 있는 객체이더라도 하나 이상의 장애물에 의해 차폐된 객체를 포함할 수 있다. 즉, 예를 들어, 차폐 혹은 사각지대 때문에 상기 미검출 객체가, 상기 제1 객체 검출 정보를 생성했던 객체 검출기에 의해 검출되지 않을 수 있지만, 상기 제2 객체 검출 정보를 생성했던 객체 검출기에 의해서는 검출될 수 있다.
이때, 상기 특정 통합 장치(100)는 (i) (i-1) 상기 C1 내지 상기 Cj 중 하나와 (i-2) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di 중 하나 간의 대응관계의 코스트, 및 (ii) (ii-1) 상기 D1 내지 상기 Di 중 하나와 (ii-2) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj 중 하나 대응관계의 코스트를. 기설정된 초기값으로 결정할 수 있다. 그리고, 상기 기설정된 초기값은, 객체 간의 대응관계를 결정하는데 사용되는 임계 값으로서의 역할을 할 수 있으며, 상기 기설정된 초기값보다 적은 코스트를 가지지 않는 객체는 상기 미검출 물체로서 판단될 수 있다. 즉, 표 1에서, B1, B2, B3인 상태에서 A2의 코스트 중 상기 기설정된 초기값인 10보다 작은 값이 존재하지 않으므로, 상기 제2 객체 검출 정보(20) 내의 A2는 미검출 객체로 판단될 수 있다. 또한, A1, A2, A3인 상태에서 B1의 코스트 중 상기 기설정된 초기값인 10보다 작은 값이 존재하지 않으므로, 상기 제1 객체 검출 정보(10) 내의 B1은 미검출 객체로 판단될 수 있다.
다음으로, 상기 특정 통합 장치(100)는 상기와 같은 동작에 의해, 검출 신뢰도가 가장 높은, 상기 제1 객체 검출 정보와 상기 제2 객체 검출 정보를 상기 제1 객체 통합 정보로 통합하고, 상기 제1 객체 통합 정보와 다음 순위의 검출 신뢰도를 가진 객체 검출 정보를 통합하는 프로세스를 반복한다(S40).
즉, 상기 특정 통합 장치(100)는 k를 3부터 n까지 증가시켜가면서, 제(k-2) 객체 통합 정보와 제k 객체 검출 정보를 참조하여 상기 매칭 연산을 통해 상기 제(k-2) 객체 통합 정보에 포함된 제(k-2) 객체와 상기 제k 객체 검출 정보에 포함된 제k 객체 간의 대응관계를 확인하고, 상기 제(k-2) 객체와 상기 제k 객체를 통합하여 제(k-1) 객체 통합 정보를 생성할 수 있다.
그리고, 상기 제(k-1) 객체 통합 정보는 이전에 획득된 객체 통합 정보와 다음 순위의 객체 검출 정보를 통합하는 프로세스를 반복함으로써 생성될 수 있는데, 예를 들어, 상기 제1 객체 검출 정보와 상기 제2 객체 검출 정보가 통합되어 상기 제1 객체 통합 정보가 생성될 수 있고, 상기 제1 객체 통합 정보와 상기 제3 객체 통합 정보가 통합되어 제2 객체 통합 정보가 생성될 수 있다.
이때, 상기 제(k-1) 객체 통합 정보는, 상기 제1 객체 검출 정보 내지 제n 객체 검출 정보 중에서, 대응관계에 따라 적어도 하나의 동일한 객체에 대한 정보를 각각 포함하는 것으로 판단되는, 상기 객체 검출 정보 중 적어도 일부에 포함된 객체 정보를 통합한 것일 수 있다. 일 예로, 도 4와 표 1을 참조하면, 상기 제1 객체 검출 정보(10)와 상기 제2 객체 검출 정보(20)의 통합한 상기 제1 객체 통합 정보는 A1B2, A2, A3B3, 및 B1을 포함할 수 있다. 이때, A1 과 B2는 동일한 객체로 판단되어 상기 제1 객체 검출 정보 내의 A1에 대한 정보와 상기 제2 객체 검출 정보 내의 B2에 대한 정보가 A1B2의 객체 통합 정보로 통합될 수 있고, A3 와 B3는 동일한 객체로 판단되어 상기 제1 객체 검출 정보 내의 A3에 대한 정보와 상기 제2 객체 검출 정보 내의 B3에 대한 정보가 A3B3의 객체 통합 정보로 통합될 수 있다.
다음으로, 상기 특정 통합 장치(100)는 상기 제(k-1) 객체 통합 정보를, 상기 특정 객체 검출기에 대응되는 특정 카메라로부터 획득되는 특정 이미지에 재투영할 수 있다(S50). 이러한 프로세스에 의해, 상기 객체 검출기에 의해 검출될 수 없는 적어도 하나의 영역 내에 위치한 하나 이상의 객체가 확인될 수 있게 된다.
또한, 상기 특정 통합 장치(100)는 상기 제(k-1) 객체 통합 정보와 상기 특정 객체 검출기의 특정 객체 검출 정보 간의 유사도를 참조하여 상기 특정 객체 검출기의 특정 검출 신뢰도를 업데이트할 수 있다.
일 예로, 상기 특정 통합 장치(100)는 상기 제(k-1) 객체 통합 정보와 상기 특정 객체 검출기의 상기 특정 객체 검출 정보 간의 대응 관계의 코스트를 산출한다. 그 후, 상기 산출된 코스트를 참조하여 상기 특정 검출 신뢰도를 업데이트하기 위해 이용될 가중치를 획득한 다음, 이를 이용하여 상기 특정 검출 신뢰도가 업데이트 될 수 있다. 즉, 상기 특정 통합 장치(100)는, 각각의 상기 객체 검출기의 각 상기 객체 검출 정보와 상기 제(k-1) 객체 통합 정보 간의 대응 관계의 코스트를 산출하고,
Figure 112019128804120-pat00002
또는
Figure 112019128804120-pat00003
에 의해 상기 검출 신뢰도의 가중치를 산출하며, 상기 산출된, 상기 검출 신뢰도의 가중치를 이용하여 상기 특정 검출 신뢰도를 업데이트 할 수 있다.
또한, 상기 특정 통합 장치(100)는, 상기 제(k-1) 객체 통합 정보에 포함된 제(k-1) 객체를 오토 라벨링(auto labelling)하며, 상기 오토 라벨링으로 생성된 라벨을 참조하여 상기 특정 객체 검출기의 하나 이상의 파라미터 중 적어도 일부를 학습시킬 수 있다.
즉, 상기 특정 통합 장치(100)는, 다른 자동차 또는 감시 카메라로부터 획득된 영상의 통합된 객체에 대한 정보를 이용하여 오토 라벨링을 수행할 수 있다.
이때, 자동차 제조사, 모델, 연식, 색상 등의 정보와 같이, 상기 카메라나 상기 카메라의 위치에 관계없이 불변하는 정보는 추가의 프로세스 없이 라벨로서 이용될 수 있다. 그리고, 위치, 방향 및 속력과 같이, 상기 카메라나 상기 카메라의 위치에 따라 변하기 쉬운 정보는 상기 카메라의 이미지 평면상에 재투영된 뒤 상기 라벨로서 이용될 수 있다.
이에 더하여, 상기 특정 통합 장치(100)는 오토 라벨링에 의해 생성된 라벨을 GT로 가정하여 각각의 상기 객체 검출기의 성능을 평가할 수 있다. 즉, 오토 라벨링으로 생성된 라벨이 성능 평가를 위해 요구되는 조건을 만족시키는지를 확인하여 상기 객체 검출기의 성능이 검증될 수 있다.
전술한 정보를 획득하기 위해, 상기 방법에서 V2X 기반의 오토 라벨링 및 평가가 이용될 수 있다. 그리고, 다수의 차량을 통한 센서 퓨전, V2X 통신 가능한 애플리케이션을 통한, 협업 주행 혹은 HD 맵 업데이트 등에 상기 방법이 이용될 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (22)

  1. 주변에 위치하는 카메라 각각에 대응되며, 딥러닝 기반의 이미지 분석에 의해 각각의 상기 카메라로부터 생성되는 각각의 이미지 내의 객체를 검출하는 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법에 있어서,
    (a) 주변에 위치하는 상기 카메라 각각에 대응되는 상기 객체 검출기로부터 객체 검출 정보 - 상기 객체 검출 정보 각각은, 각각의 상기 이미지를 촬영하는 상기 카메라에 대응하는 하나 이상의 이미지 촬영 주체에 해당하는 하나 이상의 프라이머리 객체(primary object), 및 각각의 상기 카메라에 의해 생성되는 상기 이미지 중 적어도 일부 이미지 상에 나타나는 하나 이상의 이미지 촬영 대상에 해당하는 하나 이상의 세컨더리 객체(secondary object)를 포함함 - 가 획득되면, 상기 객체 검출기에 대응되는 통합 장치 중 특정 객체 검출기에 대응되는 특정 통합 장치가, 상기 객체 검출 정보를 참조하여 각각의 상기 객체 검출기의 검출 신뢰도를 수신하고, 상기 검출 신뢰도의 순서를 결정하는 단계; 및
    (b) 상기 객체 검출기 중 적어도 일부를 상기 검출 신뢰도의 내림차순으로 제1 객체 검출기 내지 제n 객체 검출기라 하고, 상기 제1 객체 검출기 내지 상기 제n 객체 검출기 각각으로부터 획득된 각각의 상기 객체 검출 정보를 제1 객체 검출 정보 내지 제n 객체 검출 정보라 할 경우, 상기 특정 통합 장치가, (i) 상기 제1 객체 검출 정보와 제2 객체 검출 정보를 참조하여 적어도 하나의 매칭(matching) 연산을 통해, 상기 제1 객체 검출 정보 내 제1 전체 객체 - 상기 제1 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 와 상기 제2 객체 검출 정보 내 제2 전체 객체 - 상기 제2 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 간의 대응관계를 확인하고, 상기 제1 전체 객체와 상기 제2 전체 객체를 통합하여 제1 객체 통합 정보를 획득하며, (ii) k를 3부터 n까지 증가시켜가면서, 제(k-2) 객체 통합 정보와 제k 객체 검출 정보를 참조하여 상기 매칭 연산을 통해 상기 제(k-2) 객체 통합 정보에 포함된 제(k-2) 객체와 상기 제k 객체 검출 정보에 포함된 제k 객체 간의 대응관계를 확인하고, 상기 제(k-2) 객체와 상기 제k 객체를 통합하여 제(k-1) 객체 통합 정보를 획득하며, 상기 제(k-1) 객체 통합 정보를, 상기 특정 객체 검출기에 대응되는 적어도 하나의 특정 카메라로부터 획득되는 적어도 하나의 특정 이미지에 재투영하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    (c) 상기 특정 통합 장치가, 상기 제(k-1) 객체 통합 정보와 상기 특정 객체 검출기의 특정 객체 검출 정보 간의 유사도를 참조하여 상기 특정 객체 검출기의 특정 검출 신뢰도를 업데이트하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    (d) 상기 특정 통합 장치가, 상기 제(k-1) 객체 통합 정보에 포함된 제(k-1) 객체를 오토 라벨링(auto labelling)하며, 상기 오토 라벨링에 의해 생성된 라벨을 참조하여 상기 특정 객체 검출기의 하나 이상의 파라미터 중 적어도 일부를 학습하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 객체 검출 정보 각각은, 상기 프라이머리 객체 각각에 대한 정보와 상기 세컨더리 객체 각각에 대한 정보를 포함하며,
    상기 프라이머리 객체 각각에 대한 정보는 상기 프라이머리 객체 각각에 대한 상태 정보 - 상기 프라이머리 객체 각각에 대한 상태 정보는, 상기 프라이머리 객체 각각에 대한 현재 위치 정보, 현재 방향 정보, 및 현재 속력 정보를 포함함 - 및 상기 프라이머리 객체 각각에 대응되는 상기 객체 검출기 각각의 상기 검출 신뢰도를 포함하고,
    상기 세컨더리 객체 각각에 대한 정보는 상기 세컨더리 객체 각각에 대한 상태 정보 - 상기 세컨더리 객체 각각에 대한 상태 정보는, 상기 세컨더리 객체 각각에 대한 현재 위치 정보, 현재 방향 정보, 및 현재 속력 정보를 포함함 - 및 상기 세컨더리 객체 각각에 대한 제품 정보를 포함하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 프라이머리 객체 각각에 대한 정보는, 상기 프라이머리 객체 각각에 대한 제품 정보 및 상기 프라이머리 객체 각각에 대응되는 상기 객체 검출기 각각의 제품 정보 중 하나를 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 (a) 단계에서,
    상기 특정 통합 장치는, (i) 상기 검출 신뢰도를 수신하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스, (ii) 상기 객체 검출기 각각의 제품 정보 각각에 대응하는 기설정된 제1 신뢰도를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스, 및 (iii) 상기 객체 검출기의 특징 정보가 획득되지 않는 경우, 기준 신뢰도로서 기설정된 제2 신뢰도를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스 중 하나를 수행하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 제1 객체 검출 정보와 상기 제(k-2) 객체 통합 정보 중 하나에 대응되는 제1 전체 객체 - 상기 제1 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 를 A1 내지 Ai라 하며, 상기 제2 객체 검출 정보와 상기 제k 객체 검출 정보 중 하나에 대응되는 제2 전체 객체 - 상기 제2 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 를 B1 내지 Bj라 할 경우,
    상기 (b) 단계에서,
    상기 특정 통합 장치는, 상기 매칭 연산에 의해 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj 간의 대응관계의 코스트(cost)를 산출하며, 상기 산출된 대응관계의 코스트에 따라 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj를 통합하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 특정 통합 장치는, (1) {1 - 제1 IoU(Intersection over Union)} - 상기 제1 IoU는 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 3차원 정육면체 IoU임 -, (2) {1 - 제2 IoU} - 상기 제2 IoU는 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나를 포함하는 3차원 정육면체를 조감하여 2차원 평면상에 투영시킨 결과로 생성되는 2차원 직사각형 IoU임 -, (3) 상기 A1 내지 상기 Ai 중 하나의 무게중심과 상기 B1 내지 상기 Bj 중 하나의 무게 중심 간의 유클리드 거리(Euclidean distance), (4) 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 각도, 및 (5) 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 속력 차이 중 어느 하나, 혹은 상기 (1) 내지 상기 (5) 중 적어도 두 개의 가중 합(weighted sum)을 이용하여, 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj 간의 대응관계의 코스트를 산출하는 것을 특징으로 하는 방법.
  9. 제7항에 있어서,
    상기 특정 통합 장치는, 상기 제1 객체 검출 정보 또는 상기 제(k-2) 객체 통합 정보에 대응되는 제1 미검출 객체를 C1 내지 Cj만큼 추가하여, 상기 제1 미검출 객체가 상기 B1 내지 상기 Bj에 대응되도록 하고, 상기 제2 객체 검출 정보 또는 상기 제k 객체 검출 정보에 대응되는 제2 미검출 객체를 D1 내지 Di만큼 추가하여, 상기 제2 미검출 객체가 상기 A1 내지 상기 Ai에 대응되도록 하며,
    상기 특정 통합 장치는, 상기 매칭 연산을 통해 (i) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj와 (ii) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di 간의 대응관계의 코스트를 산출하며, (i) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj와 (ii) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di를 통합하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서,
    상기 특정 통합 장치는, (i) (i-1) 상기 C1 내지 상기 Cj 중 하나와 (i-2) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di 중 하나 간의 대응관계의 코스트 및 (ii) (ii-1) 상기 D1 내지 상기 Di 중 하나와 (ii-2) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj 중 하나 간의 대응관계의 코스트를 기설정된 초기값으로 결정하는 것을 특징으로 하는 방법.
  11. 제7항에 있어서,
    상기 (b) 단계에서,
    상기 산출된 코스트에 따라 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj를 통합하는 프로세스 동안, 상기 특정 통합 장치가, (i) 상기 제1 전체 객체 및 상기 제2 전체 객체 각각에 대응하는 상기 검출 신뢰도를 가중치로 하여, 상기 제1 전체 객체 및 상기 제2 전체 객체에 대한 상태 정보를 가중 합으로 통합하고, (ii) 검출 신뢰도의 합이 제일 높은 소정 객체 검출기의 제품 정보를 상기 제1 전체 객체 및 상기 제2 전체 객체에 대한 제품 정보로 통합하는 것을 특징으로 하는 방법.
  12. 주변에 위치하는 카메라 각각에 대응되며, 딥러닝 기반의 이미지 분석에 의해 각각의 상기 카메라로부터 생성되는 각각의 이미지 내의 객체를 검출하는 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 통합 장치 중, 특정 객체 검출기에 대응하는 특정 통합 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) 주변에 위치하는 상기 카메라 각각에 대응되는 상기 객체 검출기로부터 객체 검출 정보 - 상기 객체 검출 정보 각각은, 각각의 상기 이미지를 촬영하는 상기 카메라에 대응하는 하나 이상의 이미지 촬영 주체에 해당하는 하나 이상의 프라이머리 객체, 및 각각의 상기 카메라에 의해 생성되는 상기 이미지 중 적어도 일부 이미지 상에 나타나는 하나 이상의 이미지 촬영 대상에 해당하는 하나 이상의 세컨더리 객체를 포함함 - 가 획득되면, 상기 객체 검출 정보를 참조하여 각각의 상기 객체 검출기의 검출 신뢰도를 수신하고, 상기 검출 신뢰도의 순서를 결정하는 프로세스, 및 (II) 상기 객체 검출기 중 적어도 일부를 상기 검출 신뢰도의 내림차순으로 제1 객체 검출기 내지 제n 객체 검출기라 하고, 상기 제1 객체 검출기 내지 상기 제n 객체 검출기 각각으로부터 획득된 각각의 상기 객체 검출 정보를 제1 객체 검출 정보 내지 제n 객체 검출 정보라 할 경우, (i) 상기 제1 객체 검출 정보와 제2 객체 검출 정보를 참조하여 적어도 하나의 매칭(matching) 연산을 통해 상기 제1 객체 검출 정보 내 제1 전체 객체 - 상기 제1 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 와 상기 제2 객체 검출 정보 내 제2 전체 객체 - 상기 제2 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 간의 대응관계를 확인하고, 상기 제1 전체 객체와 상기 제2 전체 객체를 통합하여 제1 객체 통합 정보를 획득하며, (ii) k를 3부터 n까지 증가시켜가면서, 제(k-2) 객체 통합 정보와 제k 객체 검출 정보를 참조하여 상기 매칭 연산을 통해 상기 제(k-2) 객체 통합 정보에 포함된 제(k-2) 객체와 상기 제k 객체 검출 정보에 포함된 제k 객체 간의 대응관계를 확인하고, 상기 제(k-2) 객체와 상기 제k 객체를 통합하여 제(k-1) 객체 통합 정보를 획득하며, 상기 제(k-1) 객체 통합 정보를, 상기 특정 객체 검출기에 대응되는 적어도 하나의 특정 카메라로부터 획득되는 적어도 하나의 특정 이미지에 재투영하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 특정 통합 장치.
  13. 제12항에 있어서,
    상기 프로세서가, (III) 상기 제(k-1) 객체 통합 정보와 상기 특정 객체 검출기의 특정 객체 검출 정보 간의 유사도를 참조하여 상기 특정 객체 검출기의 특정 검출 신뢰도를 업데이트하는 프로세스를 더 수행하는 것을 특징으로 하는 특정 통합 장치.
  14. 제12항에 있어서,
    상기 프로세서가, (IV) 상기 제(k-1) 객체 통합 정보에 포함된 제(k-1) 객체를 오토 라벨링(auto labelling)하며, 상기 오토 라벨링에 의해 생성된 라벨을 참조하여 상기 특정 객체 검출기의 하나 이상의 파라미터 중 적어도 일부를 학습하는 프로세스를 더 수행하는 것을 특징으로 하는 특정 통합 장치.
  15. 제12항에 있어서,
    상기 객체 검출 정보 각각은, 상기 프라이머리 객체 각각에 대한 정보와 상기 세컨더리 객체 각각에 대한 정보를 포함하며,
    상기 프라이머리 객체 각각에 대한 정보는 상기 프라이머리 객체 각각에 대한 상태 정보 - 상기 프라이머리 객체 각각에 대한 상태 정보는, 상기 프라이머리 객체 각각에 대한 현재 위치 정보, 현재 방향 정보, 및 현재 속력 정보를 포함함 - 및 상기 프라이머리 객체 각각에 대응되는 상기 객체 검출기 각각의 상기 검출 신뢰도를 포함하고,
    상기 세컨더리 객체 각각에 대한 정보는 상기 세컨더리 객체 각각에 대한 상태 정보 - 상기 세컨더리 객체 각각에 대한 상태 정보는, 상기 세컨더리 객체 각각에 대한 현재 위치 정보, 현재 방향 정보, 및 현재 속력 정보를 포함함 - 및 상기 세컨더리 객체 각각에 대한 제품 정보를 포함하는 것을 특징으로 하는 특정 통합 장치.
  16. 제15항에 있어서,
    상기 프라이머리 객체 각각에 대한 정보는, 상기 프라이머리 객체 각각에 대한 제품 정보 및 상기 프라이머리 객체 각각에 대응되는 상기 객체 검출기 각각의 제품 정보 중 하나를 포함하는 것을 특징으로 하는 특정 통합 장치.
  17. 제16항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서는, (i) 상기 검출 신뢰도를 수신하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스, (ii) 상기 객체 검출기 각각의 제품 정보 각각에 대응하는 기설정된 제1 신뢰도를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스, 및 (iii) 상기 객체 검출기의 특징 정보가 획득되지 않는 경우, 기준 신뢰도로서 기설정된 제2 신뢰도를 참조하여 각각의 상기 객체 검출기의 상기 검출 신뢰도의 상기 순서를 결정하는 프로세스 중 하나를 수행하는 것을 특징으로 하는 특정 통합 장치.
  18. 제12항에 있어서,
    상기 제1 객체 검출 정보와 상기 제(k-2) 객체 통합 정보 중 하나에 대응되는 제1 전체 객체 - 상기 제1 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 를 A1 내지 Ai라 하며, 상기 제2 객체 검출 정보와 상기 제k 객체 검출 정보 중 하나에 대응되는 제2 전체 객체 - 상기 제2 전체 객체는 상기 프라이머리 객체 및 상기 세컨더리 객체를 포함함 - 를 B1 내지 Bj라 할 경우,
    상기 (II) 프로세스에서,
    상기 프로세스는, 상기 매칭 연산에 의해 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj 간의 대응관계의 코스트(cost)를 산출하며, 상기 산출된 대응관계의 코스트에 따라 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj를 통합하는 것을 특징으로 하는 특정 통합 장치.
  19. 제18항에 있어서,
    상기 프로세서는, (i) {1 - 제1 IoU(Intersection over Union)} - 상기 제1 IoU는 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 3차원 정육면체 IoU임 -, (ii) {1 - 제2 IoU} - 상기 제2 IoU는 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나를 포함하는 3차원 정육면체를 조감하여 2차원 평면상에 투영시킨 결과로 생성되는 2차원 직사각형 IoU임 -, (iii) 상기 A1 내지 상기 Ai 중 하나의 무게중심과 상기 B1 내지 상기 Bj 중 하나의 무게 중심 간의 유클리드 거리(Euclidean distance), (iv) 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 각도, 및 (v) 상기 A1 내지 상기 Ai 중 하나와 상기 B1 내지 상기 Bj 중 하나 간의 속력 차이 중 어느 하나, 혹은 상기 (i) 내지 상기 (v) 중 적어도 두 개의 가중 합(weighted sum)을 이용하여, 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj 간의 대응관계의 코스트를 산출하는 것을 특징으로 하는 특정 통합 장치.
  20. 제18항에 있어서,
    상기 프로세서는, 상기 제1 객체 검출 정보 또는 상기 제(k-2) 객체 통합 정보에 대응되는 제1 미검출 객체를 C1 내지 Cj만큼 추가하여, 상기 제1 미검출 객체가 상기 B1 내지 상기 Bj에 대응되도록 하고, 상기 제2 객체 검출 정보 또는 상기 제k 객체 검출 정보에 대응되는 제2 미검출 객체를 D1 내지 Di만큼 추가하여, 상기 제2 미검출 객체가 상기 A1 내지 상기 Ai에 대응되도록 하며,
    상기 프로세서는, 상기 매칭 연산을 통해 (i) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj와 (ii) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di 간의 대응관계의 코스트를 산출하며, (i) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj와 (ii) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di를 통합하는 것을 특징으로 하는 특정 통합 장치.
  21. 제20항에 있어서,
    상기 프로세서는, (i) (i-1) 상기 C1 내지 상기 Cj 중 하나와 (i-2) 상기 B1 내지 상기 Bj 및 상기 D1 내지 상기 Di 중 하나 간의 대응관계의 코스트 및 (ii) (ii-1) 상기 D1 내지 상기 Di 중 하나와 (ii-2) 상기 A1 내지 상기 Ai 및 상기 C1 내지 상기 Cj 중 하나 간의 대응관계의 코스트를 기설정된 초기값으로 결정하는 것을 특징으로 하는 특정 통합 장치.
  22. 제18항에 있어서,
    상기 (II) 프로세스에서,
    상기 산출된 코스트에 따라 상기 A1 내지 상기 Ai 와 상기 B1 내지 상기 Bj를 통합하는 프로세스 동안, 상기 프로세서가, (i) 상기 제1 전체 객체 및 상기 제2 전체 객체 각각에 대응하는 상기 검출 신뢰도를 가중치로 하여, 상기 제1 전체 객체 및 상기 제2 전체 객체에 대한 상태 정보를 가중 합으로 통합하고, (ii) 검출 신뢰도의 합이 제일 높은 소정 객체 검출기의 제품 정보를 상기 제1 전체 객체 및 상기 제2 전체 객체에 대한 제품 정보로 통합하는 것을 특징으로 하는 특정 통합 장치.
KR1020190166182A 2019-01-29 2019-12-12 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치 KR102229220B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/260,244 US10373323B1 (en) 2019-01-29 2019-01-29 Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
US16/260,244 2019-01-29

Publications (2)

Publication Number Publication Date
KR20200094075A KR20200094075A (ko) 2020-08-06
KR102229220B1 true KR102229220B1 (ko) 2021-03-18

Family

ID=67477700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190166182A KR102229220B1 (ko) 2019-01-29 2019-12-12 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10373323B1 (ko)
EP (1) EP3690716A1 (ko)
JP (1) JP6856854B2 (ko)
KR (1) KR102229220B1 (ko)
CN (1) CN111491131B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11014001B2 (en) * 2018-03-05 2021-05-25 Sony Interactive Entertainment LLC Building virtual reality (VR) gaming environments using real-world virtual reality maps
IL270540A (en) * 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
CN110631593B (zh) * 2019-11-25 2020-02-21 奥特酷智能科技(南京)有限公司 一种用于自动驾驶场景的多传感器融合定位方法
CN110996067A (zh) * 2019-12-19 2020-04-10 哈尔滨融智爱科智能科技有限公司 基于深度学习的高危作业环境下的人员安全实时智能视频监控系统
US11814084B2 (en) 2021-12-17 2023-11-14 Zoox, Inc. Track confidence model
CN113989626B (zh) * 2021-12-27 2022-04-05 北京文安智能技术股份有限公司 一种基于目标检测模型的多类别垃圾场景区分方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006245795A (ja) 2005-03-01 2006-09-14 Toa Corp 動体追跡装置及び動体追跡表示装置
JP2013206140A (ja) 2012-03-28 2013-10-07 Secom Co Ltd 移動物体追跡装置
JP2016174252A (ja) 2015-03-16 2016-09-29 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
JP2017211988A (ja) 2016-05-27 2017-11-30 トヨタ自動車株式会社 階層型コンテキストアウェアによる手足の検出

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778250A (ja) * 1993-06-30 1995-03-20 Kobe Steel Ltd 物体認識方法
US8996240B2 (en) * 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US8587771B2 (en) * 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
CN102158525B (zh) * 2011-01-07 2014-04-09 上海聚欣网络科技有限公司 用于辅助远程获取监控信息的方法、装置、设备和系统
JP2013192154A (ja) * 2012-03-15 2013-09-26 Omron Corp 監視装置、信頼度算出プログラム、および信頼度算出方法
CN103870798B (zh) * 2012-12-18 2017-05-24 佳能株式会社 对象检测方法、对象检测设备以及图像拾取设备
EP2959683A1 (en) * 2013-05-14 2015-12-30 Huawei Technologies Co., Ltd. Method and apparatus for computing a synthesized picture
JP2015210695A (ja) * 2014-04-28 2015-11-24 いすゞ自動車株式会社 画像の物体検出装置
CN104077757B (zh) * 2014-06-09 2017-05-10 中山大学 一种融合实时交通状态信息的道路背景提取与更新方法
JP6361366B2 (ja) * 2014-08-18 2018-07-25 株式会社デンソー 物体認識装置
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
US9922565B2 (en) * 2015-07-20 2018-03-20 Dura Operating Llc Sensor fusion of camera and V2V data for vehicles
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
WO2017139927A1 (en) * 2016-02-17 2017-08-24 Intel Corporation Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US10387740B2 (en) * 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
CA3043352A1 (en) * 2016-11-15 2018-05-24 Magic Leap, Inc. Deep learning system for cuboid detection
DE102016224905A1 (de) * 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Fusionieren von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug
US20180211403A1 (en) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
CN108460395B (zh) * 2017-02-17 2023-04-07 北京三星通信技术研究有限公司 目标检测方法和装置以及模糊处理方法和装置
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
CN108229292A (zh) * 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 目标识别方法、装置、存储介质和电子设备
US20190034734A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated Object classification using machine learning and object tracking
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
CN107944357B (zh) * 2017-11-13 2020-02-14 中国科学院合肥物质科学研究院 基于证据融合自适应阈值的多源遥感图像云检测方法
CN108819943B (zh) * 2018-05-13 2020-02-04 上海交通大学 一种基于二维码的自主跟车系统及方法
CN108909624B (zh) * 2018-05-13 2021-05-18 西北工业大学 一种基于单目视觉的实时障碍物检测和定位方法
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same
US10223614B1 (en) * 2018-09-04 2019-03-05 StradVision, Inc. Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006245795A (ja) 2005-03-01 2006-09-14 Toa Corp 動体追跡装置及び動体追跡表示装置
JP2013206140A (ja) 2012-03-28 2013-10-07 Secom Co Ltd 移動物体追跡装置
JP2016174252A (ja) 2015-03-16 2016-09-29 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
JP2017211988A (ja) 2016-05-27 2017-11-30 トヨタ自動車株式会社 階層型コンテキストアウェアによる手足の検出

Also Published As

Publication number Publication date
US10373323B1 (en) 2019-08-06
JP2020123336A (ja) 2020-08-13
JP6856854B2 (ja) 2021-04-14
CN111491131B (zh) 2021-06-11
KR20200094075A (ko) 2020-08-06
CN111491131A (zh) 2020-08-04
EP3690716A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
KR102229220B1 (ko) 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치
KR102373456B1 (ko) 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
JP6849898B2 (ja) 生成ニューラルネットワークと、判別ニューラルネットワークとを含む敵対的生成ネットワークを利用して、合成可否判断不可の合成イメージを生成する方法、及び装置
Shim et al. An autonomous driving system for unknown environments using a unified map
US10621476B1 (en) Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US10430691B1 (en) Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
KR102082254B1 (ko) 차량 인식 시스템
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
KR102349979B1 (ko) 어안 렌즈가 장착된 2차원 카메라를 사용하여 2차원 이미지 샷에서 승객의 상태를 예측하기 위한 방법 및 장치
EP3690728B1 (en) Method and device for detecting parking area using semantic segmentation in automatic parking system
CN111462193A (zh) 用于多摄像机或环绕视图监控的对象检测方法及装置
KR20200092842A (ko) 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
JP2020061140A (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
CN112926461B (zh) 神经网络训练、行驶控制方法及装置
CN111508252A (zh) 利用v2x信息集成技术更新高清地图的方法和装置
CN115578468A (zh) 外参标定方法、装置、计算机设备、存储介质
CN113012215A (zh) 一种空间定位的方法、系统及设备
KR20200068045A (ko) 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법
JP6869561B2 (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
KR102132823B1 (ko) 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법
CN110738229B (zh) 一种细粒度图像分类方法、装置及电子设备
EP3855393A1 (en) A method for detecting moving objects
CN115100632A (zh) 膨胀点云识别方法、装置、计算机设备和存储介质
CN114925739B (zh) 目标检测方法、装置和系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right