KR20210149037A - 신경망을 훈련 및 이용해 에고 부분 위치를 검출하기 위한 방법 - Google Patents

신경망을 훈련 및 이용해 에고 부분 위치를 검출하기 위한 방법 Download PDF

Info

Publication number
KR20210149037A
KR20210149037A KR1020217029123A KR20217029123A KR20210149037A KR 20210149037 A KR20210149037 A KR 20210149037A KR 1020217029123 A KR1020217029123 A KR 1020217029123A KR 20217029123 A KR20217029123 A KR 20217029123A KR 20210149037 A KR20210149037 A KR 20210149037A
Authority
KR
South Korea
Prior art keywords
ego
vehicle
neural network
angular position
trailer
Prior art date
Application number
KR1020217029123A
Other languages
English (en)
Inventor
밀란 가브릴로빅
안드레아스 닐룬드
폰투스 올손
Original Assignee
올라코 프로덕츠 비.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 올라코 프로덕츠 비.브이. filed Critical 올라코 프로덕츠 비.브이.
Publication of KR20210149037A publication Critical patent/KR20210149037A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06K9/00791—
    • G06K9/4628—
    • G06K9/6256—
    • G06K9/6267—
    • G06K9/6277—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N5/23222—
    • H04N5/23299—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

복수의 카메라 및 적어도 하나의 에고 부분 연결부를 갖는 차체, 상기 에고 부분 연결부를 통해 상기 차체로 연결되는 에고 부분, 복수의 카메라에 통신 가능하게 연결되고 복수의 카메라로부터 비디오 피드를 수신하도록 구성된 위치 검출 시스템 - 상기 위치 검출 시스템은 비디오 피드에서 적어도 부분적으로 이미징된 에고 부분을 식별하도록 구성되고 신경망을 이용해 차량에 대한 에고 부분의 가장 가까운 각도 위치를 결정하도록 구성됨 - 을 포함하고, 신경망은 실제 각도 위치가 지정 각도 위치의 세트의 각각의 각도 위치에 가장 가까울 확률을 결정하고, 차량에 대한 에고 부분의 가장 가까운 각도 위치가 가장 높은 확률을 갖는 지정 각도 위치임을 결정하도록 구성되는, 차량.

Description

신경망을 훈련 및 이용해 에고 부분 위치를 검출하기 위한 방법
기술 분야
본 개시 내용은 일반적으로 에고 부분 위치 검출 시스템과 관련되고, 더 구체적으로 신경망을 훈련 및 이용하여 에고 부분 위치 검출을 제공하기 위한 프로세스와 관련된다.
관련 출원의 교차 참조
본 출원은 2019년03월08일에 출원된 미국 가특허출원 번호 62/815618의 우선권을 주장한다.
현대의 차량은 차량의 전체 또는 일부분에 대해 분산된 복수의 센서 및 카메라를 포함한다. 카메라는 비디오 이미지를 제어기, 또는 차량 내 그 밖의 다른 컴퓨터 시스템 및 차량 조작자에게 제공한다. 그런 다음 차량 조작자는 차량의 조작을 보조하기 위해 비디오 피드를 이용한다.
일부 예시에서, 에고 부분(ego part)(즉, 차량과 연결되지만, 구별되는 부분)이 차량에 부착되어 있다. 특정 차량, 가령, 트랙터 트레일러가 복수의 구별되는 유형의 에고 부분에 연결될 수 있다. 단일 에고 부분 카테고리 내에서도, 상이한 제조업체가 연결될 수 있는 에고 부분의 구별되는 시각적 외관을 도출하는 상이한 구성을 이용할 수 있다. 예를 들어, 트랙터 트레일러 차량에 연결되기 위한 트레일러가 복수의 구별되는 구성 및 구별되는 외관을 가질 수 있다.
구별되는 구성 및 외관이 조작자가 에고 부분의 위치를 추적하는 것을 어렵게 만들 수 있고 연결된 에고 부분의 변동성 증가로 인해 자동 전역 에고 부분 위치 검출 시스템을 구현하는 어려움을 증가시킬 수 있다.
하나의 실시예에서, 차량은 복수의 카메라 및 적어도 하나의 에고 부분 연결부를 갖는 차체, 상기 에고 부분 연결부를 통해 상기 차체로 연결되는 에고 부분, 복수의 카메라에 통신 가능하게 연결되고 복수의 카메라로부터 비디오 피드를 수신하도록 구성된 위치 검출 시스템 - 상기 위치 검출 시스템은 비디오 피드에서 적어도 부분적으로 이미징된 에고 부분을 식별하도록 구성되고 신경망을 이용해 차량에 대한 에고 부분의 가장 가까운 각도 위치를 결정하도록 구성됨 - 을 포함하고, 신경망은 실제 각도 위치가 지정 각도 위치의 세트의 각각의 각도 위치에 가장 가까울 확률을 결정하고, 차량에 대한 에고 부분의 가장 가까운 각도 위치가 가장 높은 확률을 갖는 지정 각도 위치임을 결정하도록 구성된다.
상기 기재된 차량의 또 다른 예에서, 복수의 카메라의 각각의 카메라는 미러 대체 카메라이며, 제어기는 결정된 가장 가까운 각도 위치를 수신하고 수신된 각도 위치에 응답하여 카메라 중 적어도 하나를 팬(pan)하도록 구성된다.
상기 기재된 차량의 또 다른 실시예에서, 에고 부분은 트레일러이며, 상기 트레일러는 가장자리 마킹 및 모서리 마킹 중 적어도 하나를 포함한다.
상기 기재된 차량의 또 다른 예에서, 신경망은 에고 부분의 결정된 가장 가까운 각도 위치에 기초하여 복수의 카메라로부터의 비디오 피드 내 가장자리 마킹 및 모서리 마킹 중 적어도 하나의 예상 위치를 결정하도록 구성된다.
상기 기재된 차량의 또 다른 예시에서, 복수의 카메라로부터의 비디오 피드를 분석하고 가장자리 마킹 및 모서리 마킹 중 적어도 하나가 비디오 피드 내 예상 위치에 있음을 결정함으로써 에고 부분의 결정된 가장 가까운 각도 위치의 정확도가 검증된다.
상기 기재된 차량의 또 다른 예에서, 제1 일반 신경망에서 제2 특정 신경망으로의 전이 학습(transfer learning)을 통해 신경망이 훈련된다.
상기 기재된 차량의 또 다른 예에서, 제1 신경망은 비디오 피드에서 적어도 부분적으로 이미징되는 에고 부분을 식별하는 것 및 신경망을 이용해 차량에 대한 에고 부분의 가장 가까운 각도 위치를 결정하는 것과 관련된 작업을 수행하도록 미리 훈련된다.
상기 기재된 차량의 또 다른 예에서, 관련된 작업은 이미지 분류를 포함한다.
상기 기재된 차량의 또 다른 예에서, 신경망은 제2 특정 신경망이며, 비디오 피드에서 적어도 부분적으로 이미징되는 에고 부분을 식별하고 제1 일반 신경망을 이용해 차량에 대한 에고 부분의 가장 가까운 각도 위치를 결정하도록 훈련된다.
상기 기재된 차량의 또 다른 예에서, 제2 특정 신경망은 제1 일반 신경망보다 작은 훈련 세트를 이용해 훈련된다.
상기 기재된 차량의 또 다른 예에서, 신경망은 지정 위치의 수와 동일한 수의 출력 뉴런을 포함한다.
상기 기재된 차량의 또 다른 예에서, 실제 각도 위치가 지정 각도 위치의 세트의 각각의 각도 위치에 가장 가까울 확률을 결정하는 것, 및 차량에 대한 에고 부분의 가장 가까운 각도 위치가 가장 높은 확률을 갖는 지정 각도 위치임을 결정하는 것이 적어도 하나의 상황적 단서를 이용해 결정된 가장 가까운 각도 위치를 검증하는 것을 포함한다.
상기 기재된 차량의 또 다른 실시예에서, 적어도 하나의 상황적 단서는 차량의 이동 방향, 차량의 속도, 에고 부분의 이전에 결정된 각도 위치, 및 이미지 내 적어도 하나의 키-포인트의 위치 중 적어도 하나를 포함한다.
상기 기재된 차량의 또 다른 예에서, 에고 부분의 복수의 키-포인트를 식별하고 에고 부분의 복수의 키-포인트의 각각의 키-포인트 위에 보기 창의 마킹을 중첩하도록 구성되는 트레일러 마킹 시스템을 더 포함한다.
상기 기재된 차량의 또 다른 예에서, 복수의 키-포인트는 트레일러-단부 및 후방 바퀴 위치 중 적어도 하나를 포함한다.
상기 기재된 차량의 또 다른 예에서, 복수의 키-포인트의 각각의 키-포인트는 이미지 평면으로부터 추출되고 에고 부분의 결정된 가장 가까운 각도 위치에 적어도 부분적으로 기초한다.
상기 기재된 차량의 또 다른 예에서, 트레일러 마킹 시스템은 트레일러 상에 배치되는 적어도 하나의 물리적 마킹을 포함하고, 물리적 마킹은 복수의 키-포인트 중 하나의 키-포인트와 대응한다.
상기 기재된 차량의 또 다른 예에서, 이미지 평면 내에서 에고 부분을 3D 적합화하고 평균 카메라 및 카메라 배치로부터 얻어진 정적 투영 모델에 기초하여 상기 이미지 평면에서 적어도 하나의 거리선을 덧씌우도록 구성된 거리선 시스템을 더 포함하며, 거리선은 에고 부분의 식별된 부분과 적어도 하나의 거리선 간 지정 거리를 나타낸다.
상기 기재된 차량의 또 다른 예에서 거리선 시스템은 거리선을 위치 설정할 때 평면 지형을 가정한다.
앞서 기재된 차량의 또 다른 예에서, 거리선 시스템은 차량의 정확한 위치를 지형 맵과 더 상관시키며 거리선을 위치설정할 때 에고 부분의 현재 등급을 이용한다.
도 1은 차량에 연결된 에고 부분을 포함하는 예시적 차량을 도시한다.
도 2는 위치 추적 신경망을 훈련하기 위한 예시적 샘플 세트를 개략적으로 도시한다.
도 3은 위치 추적 신경망을 훈련하기 위한 훈련 세트를 생성하기 위한 예시적 방법을 도시한다.
도 4는 위치 추적 신경망을 훈련하기 위한 훈련 세트에 대한 예시적 복합 이미지를 도시한다.
도 5는 검출된 각도 위치를 미세조정하기 위한 방법을 개략적으로 도시한다.
도 6은 도 5의 방법 동안의 단일 예시적 보기 창을 도시한다.
표준 동작 동안 다른 차량, 물체, 또는 보행자와 상호작용할 수 있는 차량 내에서 사용되기 위한 위치 검출 시스템이 본 명세서에 기재된다. 위치 검출 시스템은 조작자가 도킹 조작, 회전, 반전 동안, 또는 그 밖의 다른 임의의 작업 동안 에고 부분, 가령, 트레일러의 위치를 추적하는 것을 돕는다.
도 1은 히치(hitch)(22) 또는 그 밖의 다른 임의의 표준 연결을 통해 차량(10)으로 연결되는 부착된 에고 부분(20)을 포함하는 한 가지 예시적 차량(10)을 개략적으로 도시한다. 도시된 예에서, 에고 부분(20)은 차량(10)의 후방에 연결된 트레일러이다. 대안 예에서, 본 명세서에 기재된 위치 검출 시스템은 임의의 에고 부분(20)에 적용될 수 있으며 트랙터 트레일러 구성에 한정되지 않는다.
또한 차량(10)에는 위치 검출 시스템(40)으로 비디오 피드를 제공하는 복수의 카메라(30)가 포함된다. 위치 검출 시스템(40)은 일반적인 차량 제어기 내에 포함되거나, 특정 응용 분야에 따라 별도의 컴퓨터 시스템일 수 있다. 차량(10) 내에, 카메라 장착부, 카메라 하우징, 카메라(30)에 의해 생성된 데이터를 처리하기 위한 시스템, 및 복수의 추가 센서가 포함되지만 간략화를 위해 도시되지는 않았다. 일부 예에서, 각각의 카메라(30)는 미러 대체 시스템(mirror replacement system)의 일부로서 자동 패닝 시스템과 통합되고, 카메라(30)는 후방 보기 미러로도 기능한다.
위치 검출 시스템(40)은 차량(10)에 연결된 에고 부분(20)을 자동으로 인식하고 식별하는 방법을 포함한다. 일부 예에서 에고 부분(20)은 위치 검출 시스템(40)이 에고 부분 유형의 알려진 유형을 식별할 수 있는 능력을 더 개선할 수 있는, 마킹, 가령, 가장자리 또는 모서리 마킹을 포함할 수 있다. 가장자리 또는 모서리 마킹은 에고 부분의 가장자리 또는 모서리에 위치하는 특정 색 또는 패턴의 마킹일 수 있으며, 이때 차량 내 하나 이상의 시스템이 마킹을 인식하도록 구성된다. 또 다른 예에서, 위치 검출 시스템은 알려진 에고 부분(20)을 인식하고 알려지지 않은 에고 부분(20)의 물리적 경계를 인식하도록 훈련된 에고 부분 유형 인식 신경망을 포함할 수 있다.
에고 부분(20)이 인식되고 식별되면, 위치 검출 시스템(40)은 센서 및 카메라(30)로부터의 출력을 분석하여 차량(10)에 대한 에고 부분(20)의 대략적인 각도 위치(각도 50)를 결정한다. 본 명세서에서 사용될 때, 대략적인 각 위치는 에고 부분(20)이 가장 근접할 가능성이 높은 사전 정의된 각도 위치 세트로부터의 각도 위치를 지칭한다. 개시된 예에서, 사전 정의된 위치 세트는 11개의 위치를 포함하지만, 시스템은 임의의 다른 수의 사전 정의된 위치에 적응될 수 있다. 그런 다음 각도 위치는 작동 시 위치를 활용할 수 있는 임의의 수의 다른 차량 시스템에 제공된다. 일부 예에서, 각도 위치는 도킹 지원 시스템, 주차 지원 시스템, 및/또는 미러 대체 시스템으로 제공될 수 있다. 또 다른 예에서, 에고 부분(20)의 위치는 시각적 또는 청각적 지시자를 통해 차량(10)의 조작자에게 직접 제공될 수 있다. 또 다른 예에서, 각도 위치는 가장자리 마크 및/또는 모서리 마크 검출 시스템에 제공될 수 있다. 이러한 예에서, 결정된 각도 위치가 이용되어 가장자리 및/또는 모서리 마킹을 검출하기 위해 분석할 비디오 또는 이미지의 부분을 결정하는 것을 보조할 수 있다.
위치 검출 시스템(40) 내에 포함된 알고리즘은 주어진 위치 검출 시스템(40)의 규격에 따라 차량(10) 및 연결된 부분(가령, 에고 부분(20))의 모션을 기술하는 운동학적, 또는 그 밖의 다른 수학적 모델과 조합되어, 또는 단독으로 에고 부분(20)을 추적한다. 에고 부분(20)은 차량(10)에 대해 부분의 움직임을 유발한 동작의 원인과 무관하게 추적된다. 다시 말해, 에고 부분(20)의 추적은 차량(10)의 움직임에 대한 지식을 이용하지 않는다.
운동학적 모델만 사용하는 것은 운동학적 모델의 출력을 특정 응용분야에 대해 불충분하게 만들 수 있는 많은 결정을 포함한다. 예를 들어, 에고 부분 위치의 순수한 운동학적 모델은 항상 트럭 및 트레일러 결합, 가령, 도 1에 도시된 결합과 작동하는 것은 아니며, 운동학적 모델은 차량(10)이 후진하는 동안 독립적으로 작동하지 않는다.
각도 위치를 결정하기 위한 비전 기반 시스템은 위치 검출 시스템(40)에 포함된다. 비전 기반 시스템은 훈련된 신경망을 사용하여 카메라(30)로부터 수신된 이미지를 분석하고 에고 부분(20)의 위치에 대한 최상의 추측을 결정한다.
예시적인 시스템은 전이 학습(transfer learning)이라고 일컬어지는 개념을 이용한다. 전이 학습에서, 제1 신경망(N1)이 사용 가능한 큰 데이터세트를 사용하여 부분적으로 관련된 작업에 대해 사전 훈련된다. 본 명세서에 기재된 하나의 구현 예에서, 부분적으로 관련된 작업은 이미지 분류일 수 있다. 예를 들어, 제1 신경망(N1)은 이미지 내의 에고 부분을 식별하고 이미지를 에고 부분을 포함하거나 포함하지 않는 것으로 분류하도록 사전 훈련될 수 있다. 대안 예에서, 에고 부분의 각도 위치 검출과 관련된 다른 신경망이 유사한 효과에 활용될 수 있다. 그런 다음, 더 적은 수의 데이터포인트를 사용하고 상기 제1 신경망을 시작점으로서 사용하고 제2 신경망을 미세 조정하여 기본 작업을 더 잘 모델링하기 위해 기본 작업(가령, 트레일러 위치 검출)에 대해 또 다른 유사한 네트워크(N2)를 훈련한다.
전이 학습을 이용하지 않는 것을 포함하여 이러한 기능을 수행하기 위해 임의의 알려진 또는 개발된 신경망이 사용될 수 있음이 인지되지만, 적절히 훈련되면 위치 검출을 잘 수행할 수 있는 하나의 예시적 신경망이 AlexNet 신경망이다. 하나의 예를 들면, AlexNet 신경망이 수정 AlexNet이며, 이때 네트워크의 단부에서의 완전히 연결된 층이 신경망으로부터 수집된 특징들을 연결하는 단일 서포트 벡터 머신(SVM: Support Vector Machine)으로 대체된다. 또한, 출력 뉴런의 수는 기본 1000(ImageNet 챌린지 데이터세트의 클래스 수와 일치)에서 사전 정의된 트레일러 위치의 수(비제한적 예에서 사전 정의된 11개 위치)로 변경된다. 이 특정 예는 하나의 가능성의 예이며 배타적거나 한정이 아님이 자명할 수 있다.
하나의 예에서, 에고 부분(20)의 최상의 추측 위치를 식별하기 위해 사용되는 절차는 확률적 확산이고, 여기서 신경망은 에고 부분이 각각의 가능한 위치에 있을 확률을 결정한다. 확률이 결정되면, 가장 높은 확률의 위치가 가장 가능성이 높은 위치이도록 결정되며 사용된다. 일부 예에서, 확률적 스프레드는 가능한 위치의 서브세트의 확률을 제거 또는 감소시킬 수 있는 요인, 가령, 이전 위치, 이동 방향 등을 설명할 수 있다.
단순화된 예로서, 신경망은 이미지에 기초하여 위치 5가 83% 가능성이 있고, 위치 4가 10% 가능성이 있고, 위치 6이 7% 가능성이 있다고 결정할 수 있다. 다른 정보가 없으면, 위치 검출 시스템(40)은 에고 부분(20)이 위치 5에 있다고 결정하고 그에 따라 응답한다. 일부 예에서, 확률적 결정은 상황 정보, 가령, 에고 부분(20)의 이전 위치에 의해 추가로 도움을 받는다. 에고 부분(20)이 위치 4에 있는 것으로 이전에 결정되었고 이전 결정 이후의 기간이 주어진 임계값 미만인 경우, 위치 검출 시스템(40)은 일부 조건에서 에고 부분 0이 위치 3, 4 또는 5에만 위치할 수 있음을 알 수 있다. 유사하게, 에고 부분(20)이 이전에 위치 3에서 위치 4로 전환된 경우, 위치 검출 시스템(40)은 에고 부분(20)은 이제 특정 작업 동안 위치 4, 5 또는 6에만 있을 수 있음을 알고 있다. 또한, 유사한 규칙이 위치 검출 시스템(40) 및/또는 확률 분포의 정확도를 더 증가시킬 수 있는 신경망의 설계자에 의해 정의될 수 있다. 다른 예에서, 가장자리 마킹 및/또는 모서리 마킹은 에고 부분의 결정된 각도 위치를 검증하는 데 사용될 수 있다. 그러한 예에서, 시스템은 주어진 각도 위치에 대한 모서리 및/또는 가장자리 마킹을 포함해야 하는 이미지의 영역을 알고 있다. 알려진 영역에서 가장자리 및/또는 모서리 마킹이 검출되지 않는 경우 시스템은 결정된 각도 위치가 올바르지 않을 수 있음을 알고 있다.
이러한 결정을 내리도록 신경망을 훈련시키기 위해, 에고 부분(20)의 알려진 위치를 포함하는 데이터 세트가 생성되어 신경망에 제공된다. 데이터는 본 명세서에서 훈련 세트로 지칭되지만, 그렇지 않으면 학습 모집단으로 지칭될 수 있다. 훈련 세트를 생성하기 위해, 차량(10)의 제어되고 알려진 작업 동안 카메라(30)로부터 비디오가 캡처된다. 트레일러의 여러 다른 구성 및 모델을 검출하는 기능을 보장하기 위해, 캡처가 여러 개별 트레일러(에고 부분(20))로 반복된다. 비디오가 알려지고 제어되는 환경에서 캡처됨에 따라, 에고 부분(20)의 실제 위치는 비디오 피드 내의 모든 지점에서 알려지고, 피드로부터의 이미지는 그에 따라 수동 또는 자동으로 태깅될 수 있다.
이미지 스트림은 임의의 주어진 기간 동안 더 큰 단일 이미지로 시간 상관된다. 더 큰 이미지는 잘리고 회전되어 운전자에게 제공될 것과 동일한 보기를 제공한다. 하나의 예에서, 훈련 이미지는 나란히 2개의 측면 카메라(30)를 사용한다(예를 들어, 도 4). 조작자에게 보여질 이미지만 포함하도록 피드가 수정되면 피드는 지정 위치의 수(가령, 11)와 동일한 개수의 세트로 분할된다. 피드의 어느 세그먼트가 어느 세트에 속하는지가 해당 세그먼트 내 트레일러의 알려진 각도 위치에 기초하여 결정된다.
그런 다음, 각각의 비디오는 데이터의 훈련 세트에 추가되는, 에고 부분(20)아 알려진 위치에 있는 수천 개의 개별 프레임을 제공한다. 예를 들어, 일부 비디오는 500 내지 5000개의 개별 프레임을 제공할 수 있지만, 정확한 프레임 수는 에고 부분(들)의 변동성, 날씨, 환경, 조명 등 많은 추가 요인에 따라 다르다. 일부 예에서, 모든 프레임이 태깅되고 훈련 세트에 포함된다. 또 다른 예에서, 모든 프레임보다 적은 샘플링율이 사용된다. 샘플링율에 따라 각각의 프레임 또는 프레임의 서브세트가 위치로 태깅되고 훈련 세트에 추가된다.
트레일러가 하나의 각도 위치에서 다른 각도 위치로 전환됨에 따라 무한한 수의 실제 위치에 있을 수 있음이 이해될 것이다. 본 명세서에서 사용될 때, 결정된 각도 위치는 트레일러가 있을 가능성이 가장 높거나 전환될 예정된 각도 위치 세트로부터의 각도 위치이다.
차량(10)의 임의의 주어진 작업 동안, 가령, 데이터 세트를 생성하기 위한 제어된 작업 동안, 특정 위치가 다른 위치보다 더 자주 발생할 것이라는 것이 또한 이해된다. 도 2는 11개 위치(0-10)를 포함하는 시스템의 예시적 분석을 도시하며, 이때, 위치 5는 0/180도(중앙 위치)의 각도 50을 가지며 각각의 증분 또는 감분은 해당 위치로부터 스큐잉된다. 나타난 바와 같이, 위치 5는 실질적으로 더 자주 발생하며, 결과적으로 오버샘플링된다. 대조적으로, 가장 바깥쪽 위치 0, 1, 9 및 10은 실질적으로 덜 자주 발생하고 언더샘플링된다. 더 극단적인 위치 각각에서 충분한 데이터를 제공하기 위해, 위치는 임의의 기존 오버샘플링 기법을 사용하여 중심 위치(5)에 대해 오버샘플링될 수 있다. 예를 들어, 표준 샘플링율이 초당 2개의 이미지인 경우, 오버샘플링된 부분은 초당 6개의 이미지(기본 샘플링율의 3배) 또는 초당 10개의 이미지(기본 샘플링율의 5배)를 샘플링할 수 있고 언더샘플링된 주기에서 샘플의 결과적 개수는 3배 또는 5배로 만들 수 있다. 3배 및 5배는 단지 예시일 뿐이며, 해당 분야의 기술자는 주어진 주기에서 충분한 크기의 샘플을 달성하기 위해 적절한 오버샘플링 또는 언더샘플링율을 결정할 수 있다.
또 다른 예에서, 훈련 데이터 세트 내 이미지의 Y축 뒤집기를 수행함으로써 스큐잉된 위치에 대한 훈련 데이터가 더 증강된다. Y축 뒤집기의 대상인 -10도의 스큐 각도의 이미지가 +10도의 스큐 각도의 이미지를 보여주기 때문에, Y축 뒤집기는 스큐 각도(0-4, 6-10) 각각의 가용 데이터를 효과적으로 두배로 만든다. Y축 뒤집기에 추가로 또는 이를 대신하여 대안적 증강 기법이 사용될 수 있다. 비제한적 예를 들면, 이들 증강 기법이 픽셀별 작업, 가령, 픽셀의 강도 및 색 보강을 증가/감소, 픽셀-이웃 작업, 가령, 스무딩, 블러링, 스트레칭, 스큐잉 및 와핑, 가우시안 블러 적용, 이미지 기반 작업, 가령, 미러링, 회전, 및 이미지 이동, 내생 또는 외생 카메라 정렬 문제 보상, 고르지 못한 지형을 흉내내기 위한 회전, 및 이미지 중첩을 포함할 수 있다. 증강 이미지는 훈련 세트의 기본 이미지에 추가되어 각각의 위치에서 샘플의 수를 더 증가시킬 수 있다.
도 1 및 2를 계속 참조하면, 도 3은 훈련 세트를 생성하기 위한 방법을 예시한다. 초기에 카메라 이미지 세트는 "제어된 이미지 세트 생성" 단계(210)에서 생성된다. 제어된 이미지 세트가 생성되면, "이미지 태깅" 단계(220)에서 비디오 피드로부터의 각각의 이미지가 해당 프레임에서 에고 부분(20)의 알려진 각도 위치로 태깅된다. 일부 예에서, 다수의 동시 비디오 피드로부터의 각각의 이미지가 독립적으로 태깅된다. 다른 경우, 복수의 카메라로부터의 이미지가 하나의 복합 이미지로 결합되고, 복합 이미지가 단일 이미지로서 태깅된다. 태깅되면, 이미지는 할당된 태그에 대응하는 데이터 빈으로 제공된다. 도 4는 운전석 이미지 B와 조수석 이미지 A를 훈련 데이터 세트에 의해 사용될 단일 이미지로 결합하는 예시적인 복합 이미지(300)를 도시한다. 2개의 이미지를 결합하는 예시적인 복합 이미지(300) 이외의 추가 이미지를 갖는 것을 포함하여, 복합 이미지의 임의의 대안적인 구성이 유사한 효과에 사용될 수 있다. 이러한 예에서, 복합 이미지는 "이미지 태깅" 단계(220) 동안 생성된다.
태깅되면, "훈련 데이터 증강" 단계(230)에서 훈련 세트의 크기를 증가시키기 위해 앞서 기재된 증강 프로세스를 사용하여 이미지가 증강된다. "이미지를 훈련 세트로 제공" 단계(240)에서 태깅 및 증강된 이미지의 전체 세트가 훈련 데이터베이스로 제공된다. 그런 다음, 훈련 세트의 크기와 정확도를 더욱 증가시키고 훈련된 신경망이 복수의 에고 부분(20), 가령, 이전에 알려지지 않은 에고 부분(20)에서 기능할 수 있도록 하기 위해, 프로세스(200)가 새로운 트레일러(에고 부분(20))로 반복된다.
일부 예에서, 신경망 결정은 에고 부분(20) 상의 하나 이상의 마킹의 포함에 의해 추가로 도움을 받을 수 있다. 예를 들어, 에고 부분(20)의 모서리 및 가장자리 상에 모서리 마킹 및/또는 가장자리 선 마킹을 포함시키는 것이 신경망이 인접한 하늘, 도로, 또는 그 밖의 다른 배경 특징부로부터 이미지 내 모서리 및 가장자리 선을 구별하는 것을 도울 수 있다.
또 다른 예시적인 구현에서, 결정된 에고 부분 위치가 제공될 수 있는 하나의 시스템이 트레일러 패닝 시스템(trailer panning system)이다. 트레일러 패닝 시스템은 트레일러의 위치를 보상하기 위해 카메라(30)의 카메라 각도를 조정하고, 차량 조작자가 조작 중 차량 주위 환경에 대한 보다 완전한 뷰를 수신할 수 있도록 한다. 각각의 카메라(30)는 각각의 트레일러 위치에 대응하는 사전 결정된 카메라 각을 포함하고, 트레일러 위치가 트레일러 위치 검출 시스템으로부터 수신될 때, 미러 대체 카메라가 대응하는 위치까지로 패닝된다.
또 다른 구현에서, 대략적인 위치가 충돌 회피 시스템에 제공될 수 있다. 충돌 회피 시스템은 사고로 이어질 수 있는 차량, 물체 및 보행자와의 잠재적인 상호 작용을 검출한다. 충돌 회피 시스템은 잠재적 충돌이 검출될 때 운전자에게 경고를 제공한다. 위치 검출 시스템을 충돌 회피 시스템으로 통합함으로써, 충돌 회피 시스템은 들어오는 충돌을 검출 또는 추정할 때 트레일러의 대략적인 위치를 설명할 수 있다.
상기 훈련 방법을 이용함으로써, 전개된 신경망은 이전에 신경망이 노출되지 않은 트레일러 및 그 밖의 다른 에고 부분의 경계를 인식할 수 있다. 이 능력을 통해 신경망은 각각의 새로운 부분에 대한 신경망의 긴 훈련 없이도 임의의 수의 새로운 또는 개별 에고 부분의 대략적인 위치를 결정할 수 있다.
또 다른 구현에서, 트레일러 위치 검출 시스템은 차량 작동을 더욱 향상시키기 위해 트레일러 마킹 및 거리선 시스템(distance line system)과 통합된다. 본 명세서에 사용될 때, "거리선"은 차량 및/또는 부착된 에고 부분으로부터 물체의 거리를 식별하는 비디오 피드 내에서 자동으로 생성된 라인을 의미한다.
트레일러 마킹 시스템은 차량의 키-포인트에 연결되고, 키-포인트가 위치하는 곳을 식별하는 이미지 평면에 마킹을 생성한다. 예를 들어, 키-포인트는 트레일러-단부, 뒷바퀴 위치 등을 포함할 수 있다. 이들 요소의 위치는 도로 평면으로부터 해석되기 보다는 이미지 평면으로부터 추출된다. 이미지 평면으로부터 추출하기 때문에 키-포인트 마킹은 시간 경과에 따른 카메라의 내생적 요소의 변화에 영향을 받지 않으며 카메라 장착부 또는 차량이 이동하는 지형의 변화에도 영향을 받지 않는다.
키-포인트의 위치를 식별하는 정확도를 향상시키기 위해, 트레일러 마킹 시스템은 앞서 기재된 위치 검출 시스템과 통신하고 트레일러 마킹 위치를 결정할 때 트레일러의 가장 가능성 있는 각도 위치에 의해 안내된다.
거리선 시스템에 의해 생성된 거리선은 차량의 운전자 또는 조작자에게 제공되는 이미지 상에 중첩된 선이다. 선은 에고 부분에서부터 미리 정의된 거리에 대응하며, 컬러 코딩되거나 에고 부분과 선 간 거리의 숫자 지시자를 포함할 수 있다. 예를 들어, 거리선은 에고 부분으로부터 2미터, 5미터, 10미터, 20미터, 50미터에 위치할 수 있다. 거리선은 운전자가 에고 부분 주변의 거리를 이해하여 물체가 에고 부분에 너무 가까이 왔을 때를 판단하는 기준 역할을 한다. 거리선은 도로 평면에 묶여 있으며, 도로 평면에서 이미지로의 변환이 어려울 수 있다.
어려움을 해결하기 위해, 트레일러 마킹 시스템은 키 포인트를 식별하고 (일부 예에서) 트레일러 또는 다른 에고 부분의 3D 적합화를 수행하기 위해 신경망 시스템을 사용한다. 3D 적합화가 수행되면, 거리선 시스템은 평균 카메라 및 카메라 배치로부터 파생된 정적 투사 모델에 기초하여 이미지 평면에 거리선을 덧씌운다. 이 시스템은 평면 도로/평면 지형을 가정하고, 지형의 평탄도가 감소함에 따라(즉, 언덕이 더 심해짐에 따라) 정확도가 떨어진다. 대안적 요인, 가령, 카메라의 낮은 피치가 거리선의 정확도에 추가 영향을 미치거나 감소시킬 수 있다.
앞서 기재된 부정확성을 줄이기 위해, 하나의 예시적인 시스템은 지형 지도를 로드하고 차량의 정확한 위치를 지형 지도의 특징과 상관시킨다. 예를 들어, 차량의 실제 위치는 GPS(Global Positioning System), 기지국 위치, 또는 그 밖의 다른 알려진 위치 식별 시스템을 사용하여 결정될 수 있다. 차량의 실제 위치가 지도의 지형과 상관되면, 차량 위치 및 방향에서 지형을 보정하기 위해 거리선이 자동으로 조정될 수 있다.
또 다른 예에서, 거리선은 차량 주변의 차선들 간 거리를 추정하고, 후방 시야에서 투사된 차선을 측정하고, 차량 뒤에서 멀리 떨어진 거리선을 생성하기 위해 삼각측량 시스템을 사용하는 알고리즘 방법론을 사용하여 생성될 수 있다. 이 시스템은 차선 폭이 비교적 일정하게 유지된다고 가정하고 도로에 그려진 차선 마킹을 활용한다. 또는, 시스템은 전체 도로의 폭을 식별하고, 차선의 폭이 아닌 도로의 폭을 기반으로 하는 유사한 삼각 측량 프로세스를 사용할 수 있다.
상기의 예시 각각은 또한 지형 특징부 및 차선 폭을 고려하면서 거리선을 자동으로 배치하는 단일 거리선 시스템에 통합될 수 있다.
본 명세서에서 컨볼루션 신경망과 관련하여 논의되지만, 본 명세서에서 기재된 기법 및 시스템은 유사한 결과를 달성하기 위한 임의의 유형의 신경망을 사용하여 적용될 수 있음이 자명하다. 해당 분야의 통상의 기술자는 각각의 신경망이 임의의 주어진 응용분야에서 뚜렷한 장점과 단점을 가지며 주어진 상황에 대해 사용될 적절한 신경망을 결정할 수 있음을 이해할 것이다.
앞서 기재된 시스템을 더 참조하면, 차량의 각각의 측부에 있는 카메라를 사용하는 예(가령, 도 4의 예시된 도면)는 에고 부분의 전체 각도 범위를 캡처할 수 있으며, 그런 다음 신경망이 카메라의 시야 평면 내 에고 부분 모서리의 위치를 찾을 수 있다. 이 접근 방식은 차량의 진행 방향에 관계없이 기능적이라는 점에서 강건함을 입증한다. 그러나, 신경망에 의해 결정된 각도 위치는 근사치이며 몇 도 정도 벗어날 수 있다. 특정 작업의 경우 이 오차는 허용 가능하다. 더 높은 각도 정확도를 요구하는 그 밖의 다른 조작의 경우, 가령, 조작자 시야 위로 가장자리 마킹 및/또는 모서리 마킹을 중첩하는 것 또는 조작자 시야 내에 거리선을 중첩하는 것의 경우, 결정된 각도의 미세조정(refinement)이 바람직할 수 있다.
도 1 내지 4를 계속 참조하면, 도 5는 위치 검출 시스템(40)이 트레일러 라인 매칭 알고리즘을 사용하여 각도 위치를 미세조정하는 예시적인 동작(300)을 도시한다.
처음에, 카메라 스트림은 "방향 변화도 필터 적용" 단계(310)에서 방향 변화도 필터에 제공된다. 직선 에고 부분 구성(가령, 0도 에고 부분 각도 또는 중심 위치)과 완전 회전 구성(가령, 90도 에고 부분 각도, 또는 최대 왼쪽 또는 오른쪽 위치) 사이의 전환 중에서, 각각의 특정 에고 부분 각도는 이미지 평면(600) 내 주어진 에고 부분 라인(610)에 대략적으로 대응한다. 예시적인 이미지 평면(600)이 도 6에 예시되어 있다. 에고 부분(602)의 하단 라인(610)과 같은 예에서, 대안적인 선(620, 630), 모서리(622, 632), 또는 이들의 조합이 동일한 효과에 사용될 수 있음이 자명하다. 도 6의 예에 예시된 에고 부분(602)은 트레일러(602)의 복수의 가장자리를 따라 배치된 가장자리 마킹(604)을 포함한다. 가장자리 마킹은 각도 위치의 식별을 지원하고, 이미지에 강한 방향 변화도를 적용함으로써 변화도 필터의 기능을 더 향상시킬 수 있고, 이때, 강한 방향성 요소가 가장자리 마킹(604)이 인접한 가장자리의 방향에 대응한다. 대안 예에서, 가장자리 마킹(604)은 생략될 수 있고, 시스템은 임의의 대안적인 기술을 사용하여 가장자리 위치 및/또는 모서리 위치를 결정하도록 구성된다. 에고 부분(602)의 이미지 평면(600)의 한 가지 독특한 특징은 이들이 일반적으로 강한 변화도를 보여준다는 것이며, 이때 변화도는 에고 부분 선(610)에 대응한다.
자연 환경은 종종 다양한 방향과 이미지의 다양한 부분에서 풍부한 변화도를 포함하기 때문에, 강한 변화도에 대해 이미지를 단순히 필터링하는 것은 에고 부분 선 또는 모서리를 식별하는 데 충분히 구체적이지 않을 수 있다. 이 검출을 개선하기 위해, 방향 변화도 필터는 검색되는 에고 부분 선(610, 620, 630)의 예상 배향에 기초하여 변화도의 배향에 대해 추가로 필터링한다. 예를 들어, 에고 부분(602)의 하부 가장자리가 사용되는 경우, 방향 변화도 필터가 양의 기울기를 갖는 선형 변화도에 대해 필터링한다.
일부 예에서, 변화도 필터링은 이미지의 어느 부분이 필터링되는지에 따라 변하는 배향을 갖는 필터를 포함한다. 예를 들어, 하나의 변화도 필터는 트레일러의 하부가 예상되는 이미지의 하부에서 수평으로 배향된 선을 선호하고 트레일러의 단부가 예상되는 이미지의 상수에서 비교적 수직선을 선호할 수 있다.
하나 이상의 변화도가 방향 변화도 필터를 통해 이미지에서 식별되면, 차량(10)의 각도 위치 시스템(40)은 신경망에 의해 얻어진 근사 각도 위치를 이용해 "에고 부분 선 템플릿 식별" 단계(320)에서 실제 이미지에 대응하는 에고 부분 선 템플릿을 식별할 수 있다. 위치 검출 시스템에는 에고 부분 라인(610, 620, 630)이 주어진 결정된 각도에 대해 나타날 것으로 예상되는 보기 창(600) 내의 대략적인 위치를 나타내는 복수의 에고 부분 선 템플릿이 저장된다.
신경망이 대략적인 위치를 식별한 후, 대응하는 템플릿이 로딩되고 예상 에고 부분 선(610, 620, 630)이 있어야 하는 위치부터 시작하여 보기 창(600)이 분석된다. 보기 창(600) 내의 실제 에고 부분 선(610, 620, 630)의 편차에 기초하여, "템플릿 기반 미세 조정" 단계(330)에서 결정된 대략적인 각도 위치는 편차를 처리하도록 미세조정된다. 그런 다음 "타 시스템으로 미세조정된 각도 제공" 단계(340)에서 미세조정된 각도가 에고 부분의 더 정밀한 각도 위치를 필요로 할 수 있는 다른 차량 시스템으로 제공된다.
앞서 기재된 개념들 중 임의의 것이 단독으로 또는 앞서 설명된 다른 개념들 중 임의의 것 또는 모두와 조합하여 사용될 수 있다는 것이 추가로 이해된다. 본 발명의 실시예가 개시되었지만, 이 기술 분야의 통상의 기술자는 특정 변형이 본 발명의 범위 내에 있음을 인식할 것이다. 이러한 이유로, 본 발명의 진정한 범위와 내용을 결정하기 위해 이하의 청구범위가 연구되어야 한다.

Claims (20)

  1. 차량으로서,
    복수의 카메라 및 적어도 하나의 에고 부분 연결부를 갖는 차체,
    상기 에고 부분 연결부를 통해 상기 차체로 연결되는 에고 부분,
    복수의 카메라에 통신 가능하게 연결되고 복수의 카메라로부터 비디오 피드를 수신하도록 구성된 위치 검출 시스템 - 상기 위치 검출 시스템은 비디오 피드에서 적어도 부분적으로 이미징된 에고 부분을 식별하도록 구성되고 신경망을 이용해 차량에 대한 에고 부분의 가장 가까운 각도 위치를 결정하도록 구성됨 - 을 포함하고,
    신경망은 실제 각도 위치가 지정 각도 위치의 세트의 각각의 각도 위치에 가장 가까울 확률을 결정하고, 차량에 대한 에고 부분의 가장 가까운 각도 위치가 가장 높은 확률을 갖는 지정 각도 위치임을 결정하도록 구성되는, 차량.
  2. 제1항에 있어서, 복수의 카메라의 각각의 카메라는 미러 대체 카메라이며, 제어기는 결정된 가장 가까운 각도 위치를 수신하고 수신된 각도 위치에 응답하여 카메라 중 적어도 하나를 팬(pan)하도록 구성되는, 차량.
  3. 제1항 또는 제2항에 있어서, 에고 부분은 트레일러이며, 상기 트레일러는 가장자리 마킹 및 모서리 마킹 중 적어도 하나를 포함하는, 차량.
  4. 제3항에 있어서, 신경망은 에고 부분의 결정된 가장 가까운 각도 위치에 기초하여 복수의 카메라로부터의 비디오 피드 내 가장자리 마킹 및 모서리 마킹 중 적어도 하나의 예상 위치를 결정하도록 구성되는, 차량.
  5. 제4항에 있어서, 복수의 카메라로부터의 비디오 피드를 분석하고 가장자리 마킹 및 모서리 마킹 중 적어도 하나가 비디오 피드 내 예상 위치에 있음을 결정함으로써 에고 부분의 결정된 가장 가까운 각도 위치의 정확도가 검증되는, 차량.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 제1 일반 신경망에서 제2 특정 신경망으로의 전이 학습(transfer learning)을 통해 신경망이 훈련되는, 차량.
  7. 제6항에 있어서, 제1 신경망은 비디오 피드에서 적어도 부분적으로 이미징되는 에고 부분을 식별하는 것 및 신경망을 이용해 차량에 대한 에고 부분의 가장 가까운 각도 위치를 결정하는 것과 관련된 작업을 수행하도록 미리 훈련되는, 차량.
  8. 제7항에 있어서, 관련된 작업은 이미지 분류를 포함하는, 차량.
  9. 제7항에 있어서, 신경망은 제2 특정 신경망이며, 비디오 피드에서 적어도 부분적으로 이미징되는 에고 부분을 식별하고 제1 일반 신경망을 이용해 차량에 대한 에고 부분의 가장 가까운 각도 위치를 결정하도록 훈련되는, 차량.
  10. 제9항에 있어서, 제2 특정 신경망은 제1 일반 신경망보다 작은 훈련 세트를 이용해 훈련되는, 차량.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 신경망은 지정 위치의 수와 동일한 수의 출력 뉴런을 포함하는, 차량.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 실제 각도 위치가 지정 각도 위치의 세트의 각각의 각도 위치에 가장 가까울 확률을 결정하는 것, 및 차량에 대한 에고 부분의 가장 가까운 각도 위치가 가장 높은 확률을 갖는 지정 각도 위치임을 결정하는 것이 적어도 하나의 상황적 단서를 이용해 결정된 가장 가까운 각도 위치를 검증하는 것을 포함하는, 차량.
  13. 제12항에 있어서, 적어도 하나의 상황적 단서는 차량의 이동 방향, 차량의 속도, 에고 부분의 이전에 결정된 각도 위치, 및 이미지 내 적어도 하나의 키-포인트의 위치 중 적어도 하나를 포함하는, 차량.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 에고 부분의 복수의 키-포인트를 식별하고 에고 부분의 복수의 키-포인트의 각각의 키-포인트 위에 보기 창의 마킹을 중첩하도록 구성되는 트레일러 마킹 시스템을 더 포함하는, 차량.
  15. 제14항에 있어서, 복수의 키-포인트는 트레일러-단부 및 후방 바퀴 위치 중 적어도 하나를 포함하는, 차량.
  16. 제14항 또는 제15항에 있어서, 복수의 키-포인트의 각각의 키-포인트는 이미지 평면으로부터 추출되고 에고 부분의 결정된 가장 가까운 각도 위치에 적어도 부분적으로 기초하는, 차량.
  17. 제14항 내지 제16항 중 어느 한 항에 있어서, 트레일러 마킹 시스템은 트레일러 상에 배치되는 적어도 하나의 물리적 마킹을 포함하고, 물리적 마킹은 복수의 키-포인트 중 하나의 키-포인트와 대응하는, 차량.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서, 이미지 평면 내에서 에고 부분을 3D 적합화하고 평균 카메라 및 카메라 배치로부터 얻어진 정적 투영 모델에 기초하여 상기 이미지 평면에 적어도 하나의 거리선을 덧씌우도록 구성된 거리선 시스템을 더 포함하며, 거리선은 에고 부분의 식별된 부분과 적어도 하나의 거리선 간 지정 거리를 나타내는, 차량.
  19. 제18항에 있어서, 거리선 시스템은 거리선을 위치 설정할 때 평면 지형을 가정하는, 차량.
  20. 제18항 또는 제19항에 있어서, 거리선 시스템은 차량의 정확한 위치를 지형 맵과 더 상관시키며 거리선을 위치 설정할 때 에고 부분의 현재 등급을 이용하는, 차량.
KR1020217029123A 2019-03-08 2020-03-06 신경망을 훈련 및 이용해 에고 부분 위치를 검출하기 위한 방법 KR20210149037A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962815618P 2019-03-08 2019-03-08
US62/815,618 2019-03-08
PCT/EP2020/056108 WO2020182691A1 (en) 2019-03-08 2020-03-06 Method for training and using a neural network to detect ego part position

Publications (1)

Publication Number Publication Date
KR20210149037A true KR20210149037A (ko) 2021-12-08

Family

ID=69846408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217029123A KR20210149037A (ko) 2019-03-08 2020-03-06 신경망을 훈련 및 이용해 에고 부분 위치를 검출하기 위한 방법

Country Status (6)

Country Link
US (1) US20200285913A1 (ko)
EP (1) EP3935560A1 (ko)
KR (1) KR20210149037A (ko)
CN (1) CN113518995A (ko)
BR (1) BR112021017749A2 (ko)
WO (1) WO2020182691A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11870804B2 (en) * 2019-08-01 2024-01-09 Akamai Technologies, Inc. Automated learning and detection of web bot transactions using deep learning
US12054152B2 (en) 2021-01-12 2024-08-06 Ford Global Technologies, Llc Enhanced object detection
DE102021201525A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
CN113080929A (zh) * 2021-04-14 2021-07-09 电子科技大学 一种基于机器学习的抗nmdar脑炎图像特征分类方法
US12049172B2 (en) * 2021-10-19 2024-07-30 Stoneridge, Inc. Camera mirror system display for commercial vehicles including system for identifying road markings
US11752943B1 (en) * 2022-06-06 2023-09-12 Stoneridge, Inc. Auto panning camera monitoring system including image based trailer angle detection
EP4418218A1 (en) * 2023-02-14 2024-08-21 Volvo Truck Corporation Virtual overlays in camera mirror systems

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9963004B2 (en) * 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method
US11448728B2 (en) * 2015-07-17 2022-09-20 Origin Wireless, Inc. Method, apparatus, and system for sound sensing based on wireless signals
US10124730B2 (en) * 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
GB2549259B (en) * 2016-04-05 2019-10-23 Continental Automotive Gmbh Determining mounting positions and/or orientations of multiple cameras of a camera system of a vehicle
US20180068566A1 (en) * 2016-09-08 2018-03-08 Delphi Technologies, Inc. Trailer lane departure warning and sway alert
US10532698B2 (en) * 2017-07-14 2020-01-14 Magna Electronics Inc. Trailer angle detection using rear backup camera
US11067993B2 (en) * 2017-08-25 2021-07-20 Magna Electronics Inc. Vehicle and trailer maneuver assist system
US10640042B2 (en) * 2018-03-29 2020-05-05 Magna Electronics Inc. Surround view vision system that utilizes trailer camera
KR20210148109A (ko) * 2019-03-08 2021-12-07 올라코 프로덕츠 비.브이. 에고 부분 제외를 포함하는 충돌 검출 훈련 세트를 생성하기 위한 방법

Also Published As

Publication number Publication date
EP3935560A1 (en) 2022-01-12
WO2020182691A1 (en) 2020-09-17
CN113518995A (zh) 2021-10-19
BR112021017749A2 (pt) 2021-11-16
US20200285913A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
KR20210149037A (ko) 신경망을 훈련 및 이용해 에고 부분 위치를 검출하기 위한 방법
US11688183B2 (en) System and method of determining a curve
US11270131B2 (en) Map points-of-change detection device
CA2958832C (en) Method and axle-counting device for contact-free axle counting of a vehicle and axle-counting system for road traffic
Borkar et al. A layered approach to robust lane detection at night
CN104781829B (zh) 用于识别车辆在车道上的位置的方法和设备
Franke et al. Making bertha see
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
JP4246766B2 (ja) 車両から対象物を位置測定して追跡する方法および装置
US11403767B2 (en) Method and apparatus for detecting a trailer, tow-ball, and coupler for trailer hitch assistance and jackknife prevention
CN106778593A (zh) 一种基于多地面标志融合的车道级定位方法
CN105711498A (zh) 物体检测装置、物体检测系统、物体检测方法以及程序
CN103518230A (zh) 用于车辆分类的方法和系统
Kum et al. Lane detection system with around view monitoring for intelligent vehicle
JP2018073275A (ja) 画像認識装置
US11120292B2 (en) Distance estimation device, distance estimation method, and distance estimation computer program
KR101595317B1 (ko) 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템
Borkar et al. Detecting lane markers in complex urban environments
Borkar et al. Lane detection and tracking using a layered approach
Kamat et al. Using road markers as fiducials for automatic speed estimation in road videos
Krajewski et al. Drone-based Generation of Sensor Reference and Training Data for Highly Automated Vehicles
US20220261577A1 (en) Method and apparatus for reidentification
DE102011111856A1 (de) Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
Show et al. Biologically inspired composite vision system for traffic monitoring
Hanizam et al. Motion Estimation on Homogenous Surface for Around View Monitoring System