KR20190032488A - 주행 보조 방법, 주행 보조 시스템 및 차량 - Google Patents

주행 보조 방법, 주행 보조 시스템 및 차량 Download PDF

Info

Publication number
KR20190032488A
KR20190032488A KR1020197005150A KR20197005150A KR20190032488A KR 20190032488 A KR20190032488 A KR 20190032488A KR 1020197005150 A KR1020197005150 A KR 1020197005150A KR 20197005150 A KR20197005150 A KR 20197005150A KR 20190032488 A KR20190032488 A KR 20190032488A
Authority
KR
South Korea
Prior art keywords
vehicle
course
actual
data
camera
Prior art date
Application number
KR1020197005150A
Other languages
English (en)
Other versions
KR102305333B1 (ko
Inventor
라즐로 앙카
빌모스 스자보
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20190032488A publication Critical patent/KR20190032488A/ko
Application granted granted Critical
Publication of KR102305333B1 publication Critical patent/KR102305333B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량(1)을 위한 주행 보조 방법에 관한 것이며, 이러한 주행 보조 방법에서는, (A) 트레이닝 단계에서 차량(1)이 운전자에 의하여 설정 코스(10)를 통해 설정 목표 위치(12)를 향하도록 제어되고, 이 경우 설정 코스 데이터가 검출되고; (B) 리플레이 단계에서 차량(1)이 자동으로 실제 코스(20)를 통과하도록 제어되고, 이 경우 실제 코스 데이터가 검출되며, 실제 코스 데이터와 설정 코스 데이터의 비교를 통해 차량(1)의 제어가, 실제 코스(20)가 설정 코스(10)에 대해 조정되거나 설정 목표 위치(12)의 영역(13) 내에서 종료되도록 실행되며; 그리고 (C) [설정 코스(10)의 설정 주행 경로(15) 상에 등거리로 이격된] 설정 위치들(16)에서의 설정 코스 데이터로서, 카메라(2)에 의해 차량(1) 주변부의 이미지들이 검출되고, 각각의 이미지를 위한 이미지 처리로부터 에지 세그먼트들, 특징점들 및 상응하는 디스크립터들이 결정;된다.

Description

주행 보조 방법, 주행 보조 시스템 및 차량
본 발명은 주행 보조 방법과, 주행 보조 시스템과, 차량에 관한 것이다. 본 발명은 특히 차량을 위한 주행 보조 방법과, 차량을 위한 주행 보조 시스템과, 특히 주행 보조 시스템을 구비한 자동차에 관한 것이다.
차량 운전 시의 보조를 위해 소위 주행 보조 시스템이 사용되는 일이 많아지고 있다. 예를 들어 이는 예를 들어 고속도로 등에서의 자율 주행을 실행하거나, 차량 정렬 시에 그리고 특히 주차 시에 차량 운전자를 보조할 목적으로 실행될 수 있다.
종래의 주행 보조 시스템들은 운동 데이터와의 상호 작용 하에, 차량 카메라에 의해 생성되는 2차원 이미지 시퀀스로부터 3차원 구조를 검출하고, 이로부터 공간 내의 그리고 주변 환경에 대한 차량의 위치 및 배향을 검출하기 위해 비교적 복잡한 방법을 사용한다[운동으로부터 구조의 출현(structure from motion) 컨셉].
이러한 종래의 방법에서의 단점은, 공간 내의 그리고 주변부에 대한 차량의 위치 및 배향을 평가하기 위한 데이터 처리의 복잡성이 비교적 높다는 것이다. 또한, 공지된 방법은 주변부의 기하 구조의 평가 정확도와 관련한 오차가 발생하기 쉽다.
이에 반해, 독립 청구항 제1항의 특징들을 갖는 본 발명에 따른 주행 보조 방법은, 비교적 간단한 수단들로써 차량 주변부 내 차량의 위치 및 배향의 특히 신뢰 가능한 평가가 가능하다는 장점이 있다. 이는 본 발명에 따라 독립 청구항 제1항의 특징들에 의해, 차량을 위한 주행 보조 방법이 제공됨으로써 달성되며, 이러한 주행 보조 방법에서는, (A) 학습 또는 트레이닝 단계에서 차량이 운전자에 의하여 설정 코스를 통해 설정 목표 위치를 향하도록 제어되고, 이 경우 설정 코스 데이터가 검출되고; (B) 적용 또는 리플레이 단계에서 차량이 자동으로 실제 코스를 통과하도록 제어되고, 이 경우 실제 코스 데이터가 검출되며, 실제 코스 데이터와 설정 코스 데이터의 비교를 통해 차량의 제어가, 실제 코스가 설정 코스에 대해 조정되거나 설정 목표 위치의 영역 내에서 종료되도록 실행되며; 그리고 (C) [설정 코스의 설정 주행 경로 상에 등거리로 이격된] 설정 위치들에서의 설정 코스 데이터로서, 카메라에 의해 차량 주변부의 이미지들이 검출되고, 각각의 이미지를 위한 이미지 처리로부터 에지 세그먼트들, 특징점들 및 상응하는 디스크립터들이 결정;된다. 설정 주행 경로의, 즉 횡단하는 호의 길이를 따른 설정 주행 경로의 등거리로 이격된 위치들에서 차량 주변부의 카메라 이미지들을 검출함으로써, 그리고 선형 세그먼트들 또는 에지 세그먼트들을 결정하고 상응하는 디스크립터에 의해 특징점들을 결정함으로써, 처리될 데이터량은 종래의 처리 방식에 비해 감소되고, 이때 에지 세그먼트들, 특징점들 및 상응하는 디스크립터들로부터는 실제 코스 데이터와 설정 코스 데이터 간의 비교 시에 높은 수준의 신뢰도가 달성된다.
종속 청구항들은 본 발명의 바람직한 개선예들이다.
본 발명에 따른 주행 보조 방법의 바람직한 일 실시예에서, 리플레이 단계에서는 [실제 코스의 주행 경로 상에 등거리로 이격된] 실제 위치들에서의 실제 코스 데이터로서, 카메라에 의해 차량 주변부의 이미지들이 검출되고, 각각의 이미지를 위한 이미지 처리로부터 에지 세그먼트들, 특징점들 및 상응하는 디스크립터들이 결정된다.
본 발명에 따른 주행 보조 방법의 다른 일 개선예에 따라, 특히 설정 코스에 대한 차량의 현재 위치를 적어도 근사법에 의해 결정하기 위해, (a) (특히 현재의) 실제 위치를 위해 산출된 디스크립터는 설정 위치들에 대한 디스크립터들과 매칭되고; (b) 실제 위치의 디스크립터와의 디스크립터 일치가 최대인 설정 위치의 데이터 세트가 기준 데이터 세트로서 결정;됨으로써 리플레이 단계에서 점대응이 산출되는 경우에는 설정 코스와 실제 코스 간의 특히 높은 수준의 일치가 얻어진다.
본 발명에 따른 주행 보조 방법의 다른 일 개선예에 따라, 적용 또는 리플레이 단계에서 설정 코스 데이터의 기준 데이터 세트 및 (특히 현재의) 실제 위치에 대한 데이터 세트로부터, 벡터장 형태의 옵티컬 플로우(
Figure pct00001
)(optical flow)가 산출되는 경우에는 실제 코스에 대해 검출된 데이터의 평가가 특히 콤팩트하게 구성된다.
이 경우, 옵티컬 플로우(
Figure pct00002
)가 벡터장으로서 적합한 방식으로 분리되는 경우가 특히 바람직하다. 이와 같이, 본 발명에 따른 주행 보조 방법의 다른 일 개선예에서, 실제 코스 상의 차량 또는 차량 카메라의 현재 배향을 결정하기 위해 옵티컬 플로우(
Figure pct00003
)는 병진 운동 성분 및 회전 운동 성분으로 분리될 수 있다.
본 발명에 따른 주행 보조 방법의 다른 대안적인 일 실시예에서, 적용 또는 리플레이 단계에서는 각각의 에지 세그먼트들에 기초하여 설정 코스 데이터의 기준 데이터 세트 및 실제 위치에 대한 데이터 세트로부터 상대 배향이 산출된다.
본 발명에 따른 주행 보조 방법의 다른 바람직한 일 실시예에 따라, 적용 또는 리플레이 단계에서, (a) 설정 코스 데이터의 기준 데이터 세트 및 실제 위치에 대한 데이터 세트로부터 에지 세그먼트들을 단위구 상에 투영하고; (b) 소실점들을 결정하고; 그리고/또는 (c) 소실점들을 매칭;함으로써 상대 배향이 산출되는 경우에는 공간 내 위치 및 상태의 평가 시에 차량 운전자의 보조를 위해 요구되는 정확도가 추가로 상승된다.
대안적으로 또는 추가적으로 적용 또는 리플레이 단계에서, 상대 배향이 알려지거나 결정될 때, 특히 설정 코스 상의 2개 위치들에 대한 실제 위치에서의 배향의 사용 하에, 설정 코스 상의 2개의 (특히 가장 가까운) 위치들에 의한 실제 위치의 삼각 측량을 통해 설정 코스에 대한 현재 실제 위치에서의 상대 위치 및 배향이 검출되는 경우에는 특히 간단한 조건이 설정된다.
또한, 본 발명은 본 발명에 따른 주행 보조 방법을 실행하거나 본 발명에 따른 주행 보조 방법과 관련하여 사용되도록 구성된, 차량을 위한 주행 보조 시스템에 관한 것이다.
본 발명의 추가의 양태에 따라, 마찬가지로 차량 및 특히 자동차, 바람직하게는 승용차가 제공된다. 본 발명에 따른 차량은 구동부, 조향 유닛, 제어 유닛 및 본 발명에 따른 주행 보조 시스템을 구비하도록 구성된다.
본 발명에 따른 차량에서, 상기 제어 유닛은 본 발명에 따른 주행 보조 시스템으로부터 제공된 데이터를 기초로 하여 구동부 및/또는 조향 유닛을 제어하도록 구성된다.
첨부 도면들을 참조하여 본 발명의 실시예들이 상세하게 설명된다.
도 1은 본 발명에 따른 차량의 일 실시예를 개략적으로 도시한 측면도이다.
도 2는 본 발명에 따른 주행 보조 방법의 일 실시예를 설명하기 위해 설정 코스를 실제 코스와 비교하여 개략적으로 도시한 평면도이다.
도 3은 설정 코스의 상세 내용을 설명하는 도면이다.
도 4는 단위구 상의 투영 방법을 개략적인 형태로 설명하는 도면이다.
도 5 내지 도 8은 사용된 카메라의 기준선 정렬의 결정과 관련한 옵티컬 플로우의 양태들을 그래프 형태로 도시한 도면들이다.
도 9는 삼각 측량 방법을 개략적인 형태로 설명하는 도면이다.
도 10 및 도 11은 시뮬레이션 결과를 삼각 측량 방법에 관한 실제 데이터와 함께 그래프 형태로 도시한 도면들이다.
도 12 내지 도 14는 설정 코스 또는 실제 코스와 관련한 카메라 조망들을 개략적인 형태로 도시한 도면들이다.
하기에는 도 1 내지 도 14를 참조하여 본 발명의 실시예들이 상세하게 설명된다. 동일하고 대등한 부재들과 구성 요소들 또는 동일하고 대등하게 작용하는 부재들과 구성 요소들은 동일한 도면 부호들로 표시된다. 표시된 부재들과 구성 요소들이 본원에 등장할 때마다 그 상세 설명들이 재언급되지는 않는다.
도시된 특징들과 추가 특성들은 본 발명의 본질을 벗어나지 않으면서 원하는 형태로 서로 분리되고 원하는 대로 서로 조합될 수 있다.
도 1에는 본 발명에 따른 차량(1)의 일 실시예가 개략적인 측면도로 도시되어 있다.
도 1에 따른 본 발명에 따른 차량에는 차륜(5)의 구동을 위한 구동부(3)가 제공된다. 이 경우, 후륜(5)이 관건이 된다. 또한, 본 발명에 따른 차량(1)은 전륜(5)의 조향을 위한 조향 유닛(4)을 갖도록 형성된다. 통상적으로 조향 유닛(4)은 차량 운전자를 통한 작동을 위한 스티어링 휠을 포함한다. 추가적으로, 예를 들어 파워 보조 스티어링에 바탕한 상응하는 액추에이터들이 제공될 수 있다.
자율적인 주행 및/또는 주차의 양태들과 관련하여, 본 발명에 따라 주행 보조 시스템(7)은 차량(1)의 일반적인 제어 유닛(6) 및 외부 카메라(2)와 상호 작용하도록 형성된다.
제어 유닛(6)에 의해 제어되어, 카메라(2)는 차량(1)의 주행 방향으로 차량 주변부를 검출하여, 주행 보조 시스템(7)에 의해 기록될 수 있는 상응하는 이미지 데이터를 공통 버스(8)를 통해 송출한다.
주행 보조 시스템(7)은 하기에 도 2와 관련하여 상세하게 설명되는 바와 같이 카메라(2)에 의해 제공된 이미지 데이터를 특히 설정 코스(10)와 실제 코스(20) 간의 비교와 관련하여 평가한다.
주행 보조 시스템(7)을 통한 평가에 기초하여, 제어 유닛(6)은 차량(1)의 자율 운행을 위한 조향 유닛(4) 및/또는 구동부(3)를 제어할 수 있다.
도 2에는 본 발명에 따른 주행 보조 방법의 일 실시예의 양태가 개략적인 평면도로 설명되어 있다.
트레이닝 코스로 불릴 수도 있는 설정 코스(10)가 도시되어 있다. 이러한 코스는 설정 시작 위치(11)로부터, 임의의 주변부(13) 내에 위치하는 설정 목표 위치(12)로 이어진다. 설정 시작 위치(11)와 설정 목표 위치(12) 사이에는 설정 코스(10)의 호의 길이를 따라 등거리로 이격된 복수의 중간 위치들이 제공되며, 이러한 중간 위치들은 설정 위치들(16)로도 불릴 수 있고, 이러한 중간 위치들에서 차량(1)의 카메라(2)는 트레이닝 단계의 운행 시에 주행 방향으로 차량 주변부의 상응하는 이미지를 검출한다.
리플레이 단계로도 불리는 적용 단계에서, 차량(1)은 일반적으로는 바로 실제 시작 위치(11)에 위치하는 것이 아니라, 이에 대한 사전에 규정된 주변부(17) 내에 위치한다. 이는, [차량(1)의 실제 시작 위치(21)가 설정 시작 위치(11)의 주변부(17) 내에 위치하는 경우에] 실제 시작 위치(21)로부터 설정 목표 위치(12)의 주변부(13) 또는 영역(13) 내의 실제 목표 위치(22)로의 차량(1)의 자율 운전을 유도하기 위해 본 발명에 따른 주행 보조 방법이 시작될 수 있음을 의미한다.
실제 시작 위치(21)로부터 설정 목표 위치(12)의 주변부(13) 또는 영역(13)으로 가는 도중에, 차량(1)은 실제 코스(20)를 따라 주행하며, 실제 위치들(26)로도 불리는 중간 위치들에서 카메라(2)에 의해 키 프레임(key frame)에 바탕한 상응하는 이미지 데이터가 검출되어, 주행 보조 시스템(7)에 의해 평가된다. 즉, 주행 중에 본 발명에 따른 방식 및 방법에서는 설정 목표 위치(12)로의 또는 적어도 설정 목표 위치(12)의 주변부(13) 또는 영역 내로의 차량(1)의 제어를 유도하기 위해, 실제 위치들(26)에서 검출된 데이터가, 트레이닝 단계에서 설정 위치들(16)에서 검출된 데이터와 매칭된다.
이러한 제어 시에는 실제 코스(20)와 설정 코스(10) 간의, 튜브(18)를 통해 규정된 최대 오차가 허용된다. 이러한 최대 오차(18)는 설정 목표 위치(12) 또는 도달될 설정 목표 위치(12)의 주변부(13)로부터의 간격에 따라 가변적으로 형성될 수 있다.
도 3에는 설정 실제 위치(11) 및 서로 동일한 간격(d)으로 이격된 설정 위치들(16)을 갖는 설정 코스(10)의 일부가 개략적으로 도시되어 있다. 설정 코스(10)의 모든 불연속 위치들(11 및 16)에서는 차량(1)의 카메라(2)에 의해 이미지 데이터가 검출된다. 본 발명에 따라, 이미지 데이터의 검출 시에 에지 요소들, 특징점들 및 상응하는 디스크립터들이 산출된다.
이를 위해, 카메라(2)의 배향은 바람직하게 차량 배향 방향으로 정렬된다.
도 4에는 옵티컬 플로우(
Figure pct00004
)를 산출하기 위한 그리고 실제 위치들(26)과 설정 위치들(16) 그리고 그들의 배향 사이에서 카메라 기초선(40) 또는 카메라 연결선들(40)(camera base line)과 소실점들을 결정하기 위한, 특정 실시예들에서의 주행 보조 방법이 본 발명에 따라 실행될 때 필요한 단위구(50) 상의 투영이 개략적인 형태로 도시되어 있다.
도 5 내지 도 8에는 옵티컬 플로우(
Figure pct00005
)에 대한 시뮬레이션들의 양태들이 그래프 형태로 도시되어 있으며, 더 상세하게는 2개의 카메라 위치들(16 및 26)에 대해서는 도 5에 따라; 이로부터 산출된 옵티컬 플로우(
Figure pct00006
)는 도 6에 따라; 카메라 위치들(16 및 26)의 회전만큼 수정된, 도 4에 따른 단위구(50) 상의 옵티컬 플로우(
Figure pct00007
)는 도 7에; 그리고 도 7에 따른 단위구(50) 상의 옵티컬 플로우(
Figure pct00008
)로부터 산출된, 카메라 위치들(16 및 26) 사이의 연결선의 배향(B)은 도 8에 도시된다.
도 9에는 실제 코스(10)와 비교한 설정 코스(20)와; 상응하는 카메라 배향들을 갖는 설정 위치들(16 및 16')과 비교한, 하나의 카메라 배향을 갖는 실제 위치(26)의 삼각 측량의 양태;가 개략적인 평면도로 도시되어 있다.
도 10 및 도 11의 그래프들에는 시뮬레이션을 기초로 하는 위치 삼각 측량 및 실제 데이터를 기초로 하는 위치 삼각 측량의 양태들이 설명된다.
도 12 내지 도 14에는 특징점들 및 상응하는 디스크립터들을 통해 산출된, 상응하게 매칭된 이미지 특징부들(30)을 갖는 2차원 카메라 조망들이 개략적인 형태로 도시되어 있다.
또한, 도 12 및 도 13에는 설정 코스(10)의 두 설정 위치들(16 및 16')과 실제 코스(20)의 실제 위치(26) 사이의 카메라 연결선들(40)이 도시되어 있다.
본 발명의 상기 특징들 및 특성들과, 추가의 특징들 및 특성들은 하기 설명부에 의해 추가로 설명된다.
소위 홈-존 기능(Home-Zone-Function)을 위해서는 통상적으로 주행 보조 시스템들(7)에 스테레오 비디오 카메라 시스템들이 사용된다.
본 발명은 주행 보조 방법과; 근거리 카메라 시스템(NRC: near range camera System)의 사용 하에 상대적인 위치 및/또는 배향 또는 회전의 결정을 위한 상응하는 측정 방법;에 관한 것이다.
홈-존 기능은 자율 주행과 관련한 주행 보조 구성 요소이다. 이러한 방법은 2개의 단계들, 즉 학습 또는 트레이닝 단계와, 적용 또는 리플레이 단계로 이루어진다.
트레이닝 단계에서는 운전자가 차량(1)을 운전하는 동안, 그리고 예를 들어 자신의 주차 위치(12)로 운전하는 동안, 경로의 양태들과, 주변부의 시각적 인상들이 검출 및 저장된다.
이후, 리플레이 단계에서 차량(1)은 유사한 상태로 자율적으로 주차 위치(12) 또는 더 가까운 주변부(13)로 접근 주행할 수 있다.
통상적으로 트레이닝 과정은 설정 시작 위치(11)로도 불리는 자신의 초기 위치에서 시작된다.
이 경우, 도 2와 관련하여, 리플레이 단계를 위한 활성화 영역(17)의 테두리 또는 경계가 규정된다. 이때, 차량(1)은 운전자에 의한 운전 하에, 설정 목표 위치(12)로도 불리는 목표 주차 위치를 향해 주행되고, 더 상세하게는 트레이닝 경로(10)를 따라 주행된다.
이후, 리플레이 단계는, 실제 시작 위치(21)로도 불리며 활성화 영역(17) 내에 위치하는 리플레이 시작 위치에서 시작된다. 본 발명에 따른 차량(1)은 자율적인 방식 및 방법으로, 실제 코스(20)로도 불리는 리플레이 경로 상에서 주행한다. 이 경우, 차량(1)은 설정 목표 위치(12)로의 접근 시에 설정 코스(10)로부터의 최대 허용 편차의 튜브(18) 내 트레이닝 경로 또는 설정 코스(10)에 접근한다.
설정 목표 위치(12)의 주변부(13)는, 본 발명에 따른 주행 보조 시스템(7)에 의해 자율 제어되는 경우에 차량(1)이 실제 목표 위치(22)의 도달 시에 설정 목표 위치(12)로부터 가져도 되는 최대 편차 또는 최대 오차를 나타낸다.
트레이닝 데이터 세트와 적용 또는 리플레이 데이터 세트 간의 상대적인 위치 및 배향을 결정하는 문제점은 본 발명을 통해 해결된다. 이러한 문제점을 해결하기 위해 가능한 종래의 조치는, 트레이닝 경로(10)를 따라 3D 점군(point cloud)이 생성되고, 각각의 점과 관련한 특징 디스크립터가 생성 및 보호되는 소위 SFM 방법(SFM: structure-from-motion)을 제공한다. 리플레이 단계 동안 화소들 및 그들의 디스크립터들이 추출된다. 3D-2D 특징 일치를 유도하는 특징 매칭이 실행된다. 소위 P3P 문제(P3P: perspective three point)의 해결책은 카메라의 적용 또는 리플레이 위치와 카메라의 트레이닝 위치 간의 상대적인 위치 및 회전을 제공한다.
이를 위해, 최소 4개의 3D-2D 대응 또는 일치가 필요하다. 그의 결정을 위해서는, 극단치를 필터링해내고 최적의 위치/배향 매개변수를 생성하기 위한 RANSAC 알고리즘이 사용된다.
이러한 종래의 절차는 비교적 복잡한데, 이는 저장 및 처리 요건과 관련된다.
또한, 드리프트 효과 및 변위 효과의 중첩이 발생하므로 부정확성이 나타난다.
본 발명에 따라, 특히 하기의 2개 주요 양태들이 개선된다.
- 3D 점들의 삼각 측량은 기울어진 직선들 또는 소실선들의 교차점들의 결정을 필요로 한다. 카메라 기준선이 짧은 연장부를 갖는 경우, 멀리 떨어진 점들은 예각에 의해 삼각 측량된다. 이러한 2개 인자들은 3D 점군과 관련한 부정확성을 야기한다.
- 트레이닝 경로 또는 실제 코스(10)를 따른 재구성된 주변부의 생성은 차량 주행 거리 측정 또는 경로 길이 측정의 수용 또는 통합을 필요로 한다. 이는 시간에 따라 점증하는 드리프트 오차의 수용을 야기한다. 드리프트 효과의 영향을 감소시키기 위해 가능한 조치는 트레이닝 경로 또는 설정 코스(10)를 보정하기 위해 소위 광속 조정법(bundle adjustment)의 사용 하에 복수의 트레이닝 단계들을 실행하는 것이다. 본 발명에 따라 이러한 절차는, 개별 트레이닝 단계로 충분하게 됨으로써 단순화될 것이다.
제안된 방법은 2개의 오차 원인들을 방지한다.
추가의 장점들은 연산 시에 도입되는 벡터장들의 회전 운동 및 병진 운동의 커플링 분리를 통해 발생한다.
(1) 특히, 이는 회전 운동의 결정이 이미지 심도와는 무관하게 실행될 수 있음을 의미한다.
(2) 병진 운동 결정은 방위각 결정 시의 문제점들을 감소시키며, 효율적인 방식 및 방법으로 구현될 수 있다.
(3) 초기의 위치 및/또는 배향의 검출이 이동없이 가능한데, 그에 반해 종래에 SFM 방법은 결정 중 이동이 필요하도록 한다.
추가적으로, 본 발명에 따른 목표 설정을 위한 삼중 초점 텐서들(trifocal tensors)을 사용하기 위해 가능한 조치가 얻어진다.
제안된 방법은 예를 들어 185도의 유효 시야를 갖는 어안(fisheye) 카메라와 관련하여 사용될 수 있다.
그러나, 이는 필수적인 것은 아니며, 다른 카메라 모델들이 고려 가능하다.
본원에 제안된 절차 및 이와 관련한 알고리즘은 3개의 자유도, 즉 "tx", "ty", "Ryaw"와 관련하여 고려 가능하다.
최대 5개의 자유도를 갖는 일반화가 가능하다.
트레이닝 단계
본 발명에 따른 절차는 트레이닝 데이터의 표시, 즉 특히 도 2에 도시된 설정 코스(10)를 따른 트레이닝 데이터의 표시를 시작한다.
도 3과 관련하여 도시된 바와 같이, 트레이닝 경로(10)는 상응하는 데이터 세트들을 구비한 상응하는 측정 위치들(16)을 갖는, 등거리로 이격된 영역들로 분할된다. 트레이닝 동안, 설정 코스(10)를 따른 상이한 점들(11 및 16)에서는 등거리로 간격(d)만큼 이격되어 하기 데이터들이 생성 및 저장된다.
- "CTrain,p"는 각각의 점(11, 16)에서 기록된 상응하는 이미지를 갖는 트레이닝 데이터 세트의 카메라 위치(t3×1, R3×3)[각각 병진 운동(t) 및 회전 운동(T)을 구비함]를 나타낸다.
- 각각의 점(11, 16)에서 기록된 이미지와 관련하여, 에지 검출기 또는 모서리 검출기의 사용 하에 에지 세그먼트들 또는 선형 세그먼트(edge segment)들이 검출된다.
- 마찬가지로 각각 기록된 이미지로부터, 상응하는 디스크립터(descriptor)에 의해 소위 특징점들(feature points)이 산출된다.
적용 또는 리플레이 단계
리플레이 단계 또는 적용 단계와 관련한 본 발명에 따른 절차는 트레이닝 점으로써의 설정 위치(16) 및 리플레이 점으로써의 실제 위치(26)의 선택을 시작한다.
트레이닝 데이터 세트와 적용 데이터 세트 또는 리플레이 데이터 세트 간의 점대응(point correspondence)이 산출되고, 더 상세하게는 이미지들과 관련한 각각의 디스크립터들의 매칭(descriptor matching)을 통해 산출된다. 이러한 절차에 의해, 소위 옵티컬 플로우 또는 옵티컬 플로우 필드(
Figure pct00009
)가 2개 데이터 세트들 사이의 벡터장으로서 생성된다. 이는 하기 일반적 형태의 옵티컬 플로우 방정식을 갖는다.
Figure pct00010
이 경우, 개별 변수들은 하기 의미를 갖는다.
- "R"은 데카르트 좌표 x, y, z를 갖는 세계점(world point)이다.
- "r = R/|R(r)|"은 점 "R"에 대한 시선(sight ray) 또는 방향 벡터이다.
- "w = (α, ß, γ)"는 회전 벡터이다.
이러한 벡터장(
Figure pct00011
)은 회전 운동 성분(vrot) 및 병진 운동 성분(vtr)으로 분리되고, 더 상세하게는 옵티컬 플로우 방정식을 이용하여 분리된다. 회전 운동 성분(vrot) 및 병진 운동 성분(vtr)은 플로우 방정식과 관련하여 도 4의 단위구(50)에서의 도시를 이용해 얻어지는 벡터장들이다.
상대 회전
트레이닝 데이터 세트와 적용 데이터 세트 간의 상대적인 회전 또는 배향은 각각의 기록된 이미지들과 관련하여 생성된 선형 세그먼트들의 사용 하에 도출된다. 선형 세그먼트들은 구(50) 상에 투영되며, 이러한 구는 특히 도 4에 따른 단위구이다. 소실선 점들 또는 소실점들이 결정된다. 소실점들의 매칭은 트레이닝 데이터 세트[즉, 설정 위치(16)에서의 데이터 세트]와 리플레이 또는 적용 데이터 세트[즉, 실제 위치(26)에서의 데이터 세트]와 관련한 카메라들 사이의 상대적인 배향을 나타낸다.
카메라 기준선 방향(Camera base line direction)
기존의 절차로부터는 각각의 설정 위치(16) 또는 각각의 실제 위치(26) 그리고 이와 관련된 트레이닝 데이터 세트 및 적용 데이터 세트 내 카메라들의 상대적인 회전들 또는 배향들이 공지되어 있다.
특징 매칭(feature matching)으로부터의 점대응(point correspondence)은 단위구 상에 투영된다. 리플레이 점들 또는 적용 점들(26)은 구 상에서 디로테이팅(derotating)되며, 즉 회전이 중단, 보상, 또는 무효화되며, 더 상세하게는 공지된 상대적 회전 또는 배향을 기초로 하여 중단, 보상, 또는 무효화된다. 이때, 얻어진 벡터장은 순수 병진 운동 벡터장이다. 카메라 기준선 방향(camera base line direction)은 특히 하기 관계식들을 이용하여 2개 점대응에 의해 도출될 수 있다.
Figure pct00012
이 경우, "n1" 및 "n2"는 구(50)의 표면 상의 옵티컬 플로우 벡터(
Figure pct00013
)의 순수 병진 운동 성분 및 구(50)의 원점을 통해 규정되는 평면 상의 법선 벡터를 나타낸다.
이때, 하기 수학식이 적용된다.
Figure pct00014
"B"는 2개 카메라 점들, 즉 특히 트레이닝 위치, 즉 설정 위치(16)에서의 카메라(2)의 위치와; 리플레이 위치, 즉 실제 위치(26)에서의 카메라(2)의 위치; 사이의 카메라 기준선 방향이다.
이는 도 5 내지 도 8의 순서와 관련하여 보다 상세하게 설명된다. 여기에서 옵티컬 플로우의 시뮬레이션은 벡터장으로서 표시된다.
이 경우, 도 5에는 병진 운동 및 회전 운동을 갖는 2개의 고려되는 카메라들(2), 즉 트레이닝 위치 또는 설정 위치(16)에서의 카메라(2)와, 리플레이 위치 또는 실제 위치(26)에서의 카메라가 도시되어 있다.
도 6에는 2개 카메라들에 대해 생성된 옵티컬 플로우(
Figure pct00015
)가 벡터장으로서 도시되어 있다.
도 7에는 회전 운동으로부터 커플링 분리되거나 디로테이팅된 옵티컬 플로우(
Figure pct00016
)가 설명되어 있으며, 더 상세하게는 단위구(50) 상에 투영되어 설명되어 있다.
도 8에는 옵티컬 플로우(
Figure pct00017
)로부터 도출될 수 있는 바와 같은, 산출된 카메라 기준선 방향 또는 카메라 기준선 배향(B)이 도시되어 있다.
상대 위치
2개의 카메라 기준선 방향들(B1 및 B2)이 존재하고, 즉 예를 들어 도 9에 따른, 실제 위치(26)에서의 카메라(2)와 2개의 설정 위치들(16 및 16')에서의 카메라 사이에 이들이 존재한다고 가정할 때, 리플레이 위치(26)에서의 카메라(2)의 상대 위치는 삼각 측량될 수 있는데, 이는 카메라(2)의 각각 고려되는 위치들(16, 16' 및 26) 간의 상대적인 위치, 정렬 및/또는 배향을 알고 있기 때문이다.
하기 수학식들에 따라 상대적인 카메라 위치 및/또는 배향이 드리프트 없이 세계 좌표(world coordinate)로 나타난다.
Figure pct00018
이 경우, 하기 관계식들도 적용된다.
Figure pct00019
본 발명에 따른 절차와 관련하여, 도 4에는 시뮬레이션 데이터가 사용되는 반면, 도 5에는 실제 적용 데이터가 기초로서 사용되었다.
도 10 및 도 11에는 각각 기초로서 사용되는 데이터의 위치 삼각 측량이 각각 도시되며, 즉, 한편으로 도 10에는 시뮬레이션이 그리고 도 11에는 실제 데이터가 도시되어 있으며, 이때 본 발명에 따른 방법이 기초로서 사용되었다.

Claims (10)

  1. 차량(1)을 위한 주행 보조 방법이며,
    (A) 트레이닝 단계에서 차량(1)은 운전자에 의하여 설정 코스(10)를 통해 설정 목표 위치(12)를 향하도록 제어되고, 이 경우 설정 코스 데이터가 검출되고,
    (B) 리플레이 단계에서 차량(1)은 자동으로 실제 코스(20)를 통과하도록 제어되고, 이 경우 실제 코스 데이터가 검출되며, 실제 코스 데이터와 설정 코스 데이터의 비교를 통해 차량(1)의 제어는, 실제 코스(20)가 설정 코스(10)에 대해 조정되거나 설정 목표 위치(12)의 영역(13) 내에서 종료되도록 실행되며,
    (C) [설정 코스(10)의 설정 주행 경로(15) 상에 등거리로 이격된] 설정 위치들(16)에서의 설정 코스 데이터로서, 카메라(2)에 의해 차량(1) 주변부의 이미지들이 검출되고, 각각의 이미지를 위한 이미지 처리로부터 에지 세그먼트들, 특징점들 및 상응하는 디스크립터들이 결정되는, 주행 보조 방법.
  2. 제1항에 있어서, 리플레이 단계에서는 [실제 코스(20)의 주행 경로(25) 상에 등거리로 이격된] 실제 위치들(26)에서의 실제 코스 데이터로서, 카메라에 의해 차량(1) 주변부의 이미지들이 검출되고, 각각의 이미지를 위한 이미지 처리로부터 에지 세그먼트들, 특징점들 및 상응하는 디스크립터들이 결정되는, 주행 보조 방법.
  3. 제2항에 있어서, 특히 설정 코스(10)에 대한 차량(1)의 현재 위치를 적어도 근사법에 의해 결정하기 위해,
    (a) (특히 현재의) 실제 위치(26)를 위해 산출된 디스크립터는 설정 위치들(16)에 대한 디스크립터들과 매칭되고;
    (b) 실제 위치(26)의 디스크립터와의 디스크립터 일치가 최대인 설정 위치(16)의 데이터 세트가 기준 데이터 세트로서 결정;됨으로써
    리플레이 단계에서는 점대응이 산출되는, 주행 보조 방법.
  4. 제3항에 있어서, 리플레이 단계에서는 설정 코스 데이터의 기준 데이터 세트 및 (특히 현재의) 실제 위치(26)에 대한 데이터 세트로부터, 벡터장 형태의 옵티컬 플로우(
    Figure pct00020
    )가 산출되는, 주행 보조 방법.
  5. 제4항에 있어서, 실제 코스(20) 상의 차량(1) 또는 차량 카메라(2)의 현재 배향을 결정하기 위해 옵티컬 플로우(
    Figure pct00021
    )는 병진 운동 성분 및 회전 운동 성분으로 분리되는, 주행 보조 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 리플레이 단계에서는 각각의 에지 세그먼트들에 기초하여 설정 코스 데이터의 기준 데이터 세트 및 실제 위치(26)에 대한 데이터 세트로부터 상대 배향이 산출되는, 주행 보조 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 리플레이 단계에서는
    (a) 설정 코스 데이터의 기준 데이터 세트 및 실제 위치(26)에 대한 데이터 세트로부터 에지 세그먼트들을 단위구 상에 투영하고;
    (b) 소실점들을 결정하고;
    (c) 소실점들을 매칭함으로써; 상대 배향이 산출되는, 주행 보조 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 리플레이 단계에서는 상대 배향이 알려지거나 결정될 때, 특히 설정 코스(10) 상의 2개 위치들(16)에 대한 실제 위치(26)에서의 배향의 사용 하에, 설정 코스(10) 상의 2개의 (특히 가장 가까운) 위치들(16)에 의한 실제 위치(26)의 삼각 측량을 통해 설정 코스(10)에 대한 현재 실제 위치(26)에서의 상대 위치 및 배향이 검출되는, 주행 보조 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 따른 주행 보조 방법을 실행하도록 구성된, 차량(1)을 위한 주행 보조 시스템(7).
  10. 구동부(3), 조향 유닛(4), 제어 유닛(6) 및 제9항에 따른 주행 보조 시스템(7)을 구비한 차량(1)이며,
    - 이때 제어 유닛(6)은 주행 보조 시스템(7)으로부터 제공된 데이터를 기초로 하여 구동부(3) 및/또는 조향 유닛(4)을 제어하도록 구성된, 차량(1).
KR1020197005150A 2016-07-22 2017-05-23 주행 보조 방법, 주행 보조 시스템 및 차량 KR102305333B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016213495.7 2016-07-22
DE102016213495.7A DE102016213495A1 (de) 2016-07-22 2016-07-22 Fahrassistenzverfahren, Fahrassistenzsystem und Fahrzeug
PCT/EP2017/062461 WO2018015050A1 (de) 2016-07-22 2017-05-23 Fahrassistenzverfahren, fahrassistenzsystem und fahrzeug

Publications (2)

Publication Number Publication Date
KR20190032488A true KR20190032488A (ko) 2019-03-27
KR102305333B1 KR102305333B1 (ko) 2021-09-28

Family

ID=58794064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197005150A KR102305333B1 (ko) 2016-07-22 2017-05-23 주행 보조 방법, 주행 보조 시스템 및 차량

Country Status (6)

Country Link
US (1) US11059517B2 (ko)
EP (1) EP3488419B1 (ko)
KR (1) KR102305333B1 (ko)
CN (1) CN109478335B (ko)
DE (1) DE102016213495A1 (ko)
WO (1) WO2018015050A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11307595B2 (en) 2019-10-25 2022-04-19 Multipleye Co., Ltd. Apparatus for acquisition of distance for all directions of moving body and method thereof

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016213495A1 (de) * 2016-07-22 2018-01-25 Robert Bosch Gmbh Fahrassistenzverfahren, Fahrassistenzsystem und Fahrzeug
US10737717B2 (en) * 2018-02-14 2020-08-11 GM Global Technology Operations LLC Trajectory tracking for vehicle lateral control using neural network
DE102018114963A1 (de) * 2018-06-21 2019-12-24 Connaught Electronics Ltd. Neulokalisierungsverfahren eines Fahrzeugs unter Verwendung von verschiedenen 3D-Wolken
US11182623B2 (en) * 2019-04-30 2021-11-23 Baidu Usa Llc Flexible hardware design for camera calibration and image pre-procesing in autonomous driving vehicles
RU2751734C2 (ru) * 2019-12-30 2021-07-16 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и процессоры для управления рулением беспилотным автомобилем
CN111174796B (zh) * 2019-12-31 2022-04-29 驭势科技（浙江）有限公司 一种基于单灭点的导航方法、电子设备和存储介质
CN114056341B (zh) * 2021-11-03 2024-01-26 天津五八驾考信息技术有限公司 驾驶培训中的驾驶辅助方法、设备及存储介质
DE102022111269A1 (de) 2022-05-06 2023-11-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem und fahrzeug mit einem parkassistenzsystem

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060075311A (ko) * 2004-12-28 2006-07-04 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
DE102015007678A1 (de) * 2015-06-16 2016-02-18 Daimler Ag Fahrzeug sowie Verfahren und Vorrichtung zur Selbstlokalisation eines Fahrzeugs
DE102015010746A1 (de) * 2015-08-17 2016-03-24 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs
JP2017041228A (ja) * 2015-05-28 2017-02-23 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ レーン検出
KR20170057084A (ko) * 2015-11-16 2017-05-24 삼성전자주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4065108B2 (ja) * 2001-04-06 2008-03-19 三菱電機株式会社 車両用ナビゲーション装置
US20070055441A1 (en) * 2005-08-12 2007-03-08 Facet Technology Corp. System for associating pre-recorded images with routing information in a navigation system
EP2008915A3 (de) 2007-06-28 2012-02-22 Robert Bosch Gmbh Vorrichtung zur semiautonomen Unterstützung der Lenkbewegung eines Fahrzeuges
DE102010003985A1 (de) * 2010-01-04 2011-08-18 Audi Ag, 85057 Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
US9823082B2 (en) * 2011-08-24 2017-11-21 Modular Mining Systems, Inc. Driver guidance for guided maneuvering
FR3001939A3 (fr) * 2013-02-13 2014-08-15 Renault Sa Procede d'assistance a la conduite d'un vehicule automobile
US8988524B2 (en) * 2013-03-11 2015-03-24 The United States Of America As Represented By The Secretary Of The Army Apparatus and method for estimating and using a predicted vehicle speed in an indirect vision driving task
CN103661375A (zh) * 2013-11-25 2014-03-26 同济大学 一种考虑驾驶分心状态的车道偏离报警方法及系统
CN104890670B (zh) * 2014-03-06 2019-09-10 富顶精密组件（深圳）有限公司 驾驶辅助系统及驾驶辅助方法
US20150260531A1 (en) * 2014-03-12 2015-09-17 Logawi Data Analytics, LLC Route planning system and methodology which account for safety factors
DE102014018450B4 (de) * 2014-12-12 2020-10-08 Audi Ag Verfahren und System zum Trainieren des Fahrverhaltens von Kfz-Fahrern
US20160364621A1 (en) * 2015-06-11 2016-12-15 Garmin Switzerland Gmbh Navigation device with integrated camera
US20170329331A1 (en) * 2016-05-16 2017-11-16 Magna Electronics Inc. Control system for semi-autonomous control of vehicle along learned route
JP6846991B2 (ja) * 2016-07-05 2021-03-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 異常検知電子制御ユニット、車載ネットワークシステム及び異常検知方法
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
DE102016213495A1 (de) * 2016-07-22 2018-01-25 Robert Bosch Gmbh Fahrassistenzverfahren, Fahrassistenzsystem und Fahrzeug
DE102016216157A1 (de) * 2016-08-29 2018-03-01 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs
WO2018183870A1 (en) * 2017-03-30 2018-10-04 Xevo Inc. Method and system for providing predictions via artificial intelligence (ai) models using a distributed system
DE102017216267B4 (de) * 2017-09-14 2020-02-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Datenreduktion merkmalsbasierter Umfeldinformationen eines Fahrerassistenzsystems
US11022971B2 (en) * 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
US11688160B2 (en) * 2018-01-17 2023-06-27 Huawei Technologies Co., Ltd. Method of generating training data for training a neural network, method of training a neural network and using neural network for autonomous operations
EP3547215A1 (en) * 2018-03-26 2019-10-02 Cohda Wireless Pty Ltd. Systems and methods for automatically training neural networks
WO2019195404A1 (en) * 2018-04-03 2019-10-10 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
US10957188B2 (en) * 2018-04-04 2021-03-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining traffic flow using observations of surrounding vehicles
DE102018222176A1 (de) * 2018-12-18 2020-06-18 Robert Bosch Gmbh Vorhersage des Spurwechsels von Fremdfahrzeugen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060075311A (ko) * 2004-12-28 2006-07-04 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
JP2017041228A (ja) * 2015-05-28 2017-02-23 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ レーン検出
DE102015007678A1 (de) * 2015-06-16 2016-02-18 Daimler Ag Fahrzeug sowie Verfahren und Vorrichtung zur Selbstlokalisation eines Fahrzeugs
DE102015010746A1 (de) * 2015-08-17 2016-03-24 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs
KR20170057084A (ko) * 2015-11-16 2017-05-24 삼성전자주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11307595B2 (en) 2019-10-25 2022-04-19 Multipleye Co., Ltd. Apparatus for acquisition of distance for all directions of moving body and method thereof

Also Published As

Publication number Publication date
DE102016213495A1 (de) 2018-01-25
KR102305333B1 (ko) 2021-09-28
CN109478335A (zh) 2019-03-15
EP3488419B1 (de) 2021-07-07
CN109478335B (zh) 2023-07-28
EP3488419A1 (de) 2019-05-29
US11059517B2 (en) 2021-07-13
US20190217889A1 (en) 2019-07-18
WO2018015050A1 (de) 2018-01-25

Similar Documents

Publication Publication Date Title
KR102305333B1 (ko) 주행 보조 방법, 주행 보조 시스템 및 차량
JP3719095B2 (ja) 挙動検出装置および勾配検出方法
KR102508843B1 (ko) 서라운드 뷰 영상에서 차량의 자차 동작을 산정하는 방법 및 장치
KR101539270B1 (ko) 충돌회피 및 자율주행을 위한 센서융합 기반 하이브리드 반응 경로 계획 방법, 이를 수행하기 위한 기록 매체 및 이동로봇
JP4600760B2 (ja) 障害物検出装置
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
EP2757527A1 (en) System and method for distorted camera image correction
Schaub et al. Reactive obstacle avoidance for highly maneuverable vehicles based on a two-stage optical flow clustering
US20160187147A1 (en) Autonomous vehicle assistance device
US9892519B2 (en) Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle
KR102331000B1 (ko) 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치
KR102275083B1 (ko) 이동 로봇 시스템 및 자동 충전을 위한 이동 로봇의 귀소 방법
JP2004120661A (ja) 移動体周辺監視装置
JP2920352B2 (ja) 移動体の走行制御方法および装置
Bazin et al. UAV attitude estimation by vanishing points in catadioptric images
de Lima et al. A visual servoing approach for road lane following with obstacle avoidance
JP2009139324A (ja) 車両用走行路面検出装置
JPS63124114A (ja) 移動体用環境認識装置
US10768632B2 (en) Device and method for automated, semi automated, or assisted maneuvering of a motor vehicle
Akai et al. Bayesian filtering fusion of optimization-based monocular visual localization and autonomous quadcopter navigation
CN113771849A (zh) 一种适用于车道保持辅助系统
Zhu et al. A Wide Range Multi-obstacle Detection Method Based on VIDAR and Active Binocular Vision.
Lins et al. A novel machine vision approach applied for autonomous robotics navigation
CN114442674B (zh) 目标跟踪方法、装置、电子设备和计算机可读存储介质
JP2923664B2 (ja) 自動走行装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant