KR20180002609A - 차량 모션 데이터를 사용하는 자동차 카메라에 의한 오브젝트 위치 측정 - Google Patents
차량 모션 데이터를 사용하는 자동차 카메라에 의한 오브젝트 위치 측정 Download PDFInfo
- Publication number
- KR20180002609A KR20180002609A KR1020177028245A KR20177028245A KR20180002609A KR 20180002609 A KR20180002609 A KR 20180002609A KR 1020177028245 A KR1020177028245 A KR 1020177028245A KR 20177028245 A KR20177028245 A KR 20177028245A KR 20180002609 A KR20180002609 A KR 20180002609A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- interest
- image frames
- omnidirectional
- change
- Prior art date
Links
- 238000005259 measurement Methods 0.000 title description 15
- 230000008859 change Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000004891 communication Methods 0.000 claims abstract description 15
- 230000009021 linear effect Effects 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims 2
- 230000003213 activating effect Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009022 nonlinear effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
- B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/58—Auxiliary devices
- B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
- B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0285—Parking performed automatically
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Transportation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법 및 시스템이 개시된다. 전자 제어 유닛은 차량 통신 버스로부터 차량의 이동 데이터를 수신한다. 동시에, 전자 제어 유닛은 무지향성 카메라로 정지된 오브젝트의 복수의 무지향성 이미지 프레임들을 수신한다. 수신된 무지향성 이미지 프레임들에 기초하여, 전자 제어 유닛은 무지향성 이미지 프레임들에서 관심 오브젝트를 식별하고, 차량이 움직이는 동안 무지향성 이미지 프레임들에서 관심 오브젝트를 추적한다. 전자 제어 유닛은 차량이 움직이는 동안 무지향성 이미지 프레임들에서 관심 오브젝트의 위치의 변화를 결정하고 차량의 위치 변화 및 무지향성 이미지 프레임들 내의 관심 오브젝트의 위치 변화에 기초하여 관심 오브젝트까지의 거리를 결정한다.
Description
본 출원은 2015년 4월 10일자로 출원된 미국 가 특허 출원 제62/145,692호에 대한 이익을 주장하며, 그 전체 내용들은 본원에서 참조로서 통합된다.
본 발명의 실시예들은 차량 이미징 시스템들에 관한 것이다.
오브젝트 위치 측정 시스템은 차량 상의 무지향성 카메라에 의해 뷰잉되는 관심 오브젝트들의 위치를 검출하고, 추적하고, 계산한다. 오브젝트 위치 측정 시스템은 차량의 모션에 기초하여 구조(즉, 세계의 포인트들)를 식별하고 추정하는 전자 제어 유닛을 사용한다. 시스템은 차량 통신 버스를 통해 통신하는 차량 제어기들에 의해 제공된 주행거리 정보를 사용한다. 추가로, 오브젝트 위치 측정 시스템은 단일의 넓은 시야 카메라로부터의 이미지들에 기초하여 세계 구조를 추정하는 제어기를 포함한다. 제어기는 세계 구조와 주행거리 정보를 사용하여 차량이 운전자-보조 및 자동 기동들을 수행하는 것을 허용한다.
일 실시예에서, 본 발명은 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법을 제공한다. 전자 제어 유닛은 차량의 위치 변화를 나타내는 차량 센서들로부터 차량의 이동 데이터를 수신한다. 전자 제어 유닛은 무지향성 카메라로 하나 이상의 정지된 오브젝트들의 복수의 무지향성 이미지 프레임들을 수신하고, 무지향성 이미지 프레임들 내의 하나 이상의 정지된 오브젝트들에 기초하여 관심 오브젝트를 식별한다. 전자 제어 유닛은 차량이 움직이는 동안 무지향성 이미지 프레임들에서 관심 오브젝트를 추적한다. 전자 제어 유닛은 차량이 움직이는 동안 무지향성 이미지 프레임들 내의 관심 오브젝트의 위치 변화를 결정한다. 무지향성 이미지 프레임들 내의 관심 오브젝트의 위치의 변화 및 차량의 위치 변화에 기초하여, 전자 제어 유닛은 관심 오브젝트까지의 거리를 결정한다.
다른 실시예에서, 본 발명은 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾기 위한 오브젝트 위치찾기 시스템을 제공한다. 시스템은 차량의 위치 변화를 나타내도록 구성된 적어도 하나의 차량 센서, 무지향성 카메라, 및 비디오 정보를 차량의 운전자에게 디스플레이하도록 구성된 사용자 인터페이스를 포함한다. 시스템은 또한 하나 이상의 정지된 오브젝트들의 무지향성 이미지를 포함하는 무지향성 카메라로부터 복수의 무지향성 이미지 프레임들을 수신하도록 구성된 전자 제어 유닛을 포함한다. 전자 제어 유닛은 또한 차량의 위치 변화를 나타내는 적어도 하나의 차량 센서로부터 차량의 이동 데이터를 수신한다. 전자 제어 유닛은 무지향성 이미지 프레임들 내의 하나 이상의 정지된 오브젝트들로부터 관심 오브젝트를 식별하고, 차량이 움직이는 동안 복수의 무지향성 이미지 프레임들 내의 관심 오브젝트를 추적한다. 추가로, 전자 제어 유닛은 차량이 움직일 때 무지향성 이미지 프레임들 내의 관심 오브젝트의 위치 변화를 결정하고 무지향성 이미지 프레임들 내의 차량의 위치 변화 및 관심 오브젝트의 위치 변화에 기초하여 관심 오브젝트까지의 거리를 결정한다.
본 발명의 다른 양태들은 상세한 설명 및 첨부 도면들을 고려함으로써 명백해질 것이다.
도 1은 오브젝트 위치 측정 시스템이 장착된 차량의 블록도.
도 2는 도 1의 오브젝트 위치 측정 시스템을 위한 전자 제어 유닛의 블록도.
도 3은 후방 뷰 무지향성 카메라로 관심 오브젝트를 식별하는 도 1의 오브젝트 위치 측정 시스템을 갖는 차량의 다이어그램.
도 4는 도 3의 무지향성 카메라로부터 관심 오브젝트의 무지향성 이미지를 도시하는 도면.
도 5는 도 3의 차량 상의 무지향성 카메라로부터 관심 오브젝트까지의 시선들의 다이어그램.
도 6은 도 1의 차량에 관한 그라운드 좌표계(GCS: ground coordinate system)의 다이어그램.
도 7은 차량에 관한 GCS와 도 1의 무지향성 카메라에 관한 광학 좌표계(OCS: optical coordinate system) 사이의 관계의 다이어그램.
도 8은 시간 간격들의 기간 동안 도 7의 GCS 및 OCS 사이의 변환의 다이어그램.
도 9는 시간 간격들의 기간 동안 무지향성 카메라 포즈에 기초하여 도 7의 GCS 와 OCS 사이의 변환의 다이어그램.
도 10a 및 도 10b는 GCS에 관하여 도 1의 오브젝트 위치 측정 시스템으로 오브젝트들 위치를 추정하는 방법을 예시한 도면.
도 11a는 도 3의 무지향성 카메라부터 관심 오브젝트까지의 시선의 공통 교차점의 다이어그램.
도 11b는 도 11a의 공통 교차점을 결정할 때의 불확실성들의 다이어그램.
도 12는 도 3의 관심 오브젝트 상의 다수의 식별된 포인트들의 그리드 다이어그램.
도 13은 도 1의 오브젝트 위치 측정 시스템을 사용하는 오브젝트의 위치를 결정하는 방법의 흐름도.
도 14는 도 1의 오브젝트 위치 측정 시스템을 사용하는 오브젝트의 위치를 결정하는 방법의 다른 흐름도.
도 2는 도 1의 오브젝트 위치 측정 시스템을 위한 전자 제어 유닛의 블록도.
도 3은 후방 뷰 무지향성 카메라로 관심 오브젝트를 식별하는 도 1의 오브젝트 위치 측정 시스템을 갖는 차량의 다이어그램.
도 4는 도 3의 무지향성 카메라로부터 관심 오브젝트의 무지향성 이미지를 도시하는 도면.
도 5는 도 3의 차량 상의 무지향성 카메라로부터 관심 오브젝트까지의 시선들의 다이어그램.
도 6은 도 1의 차량에 관한 그라운드 좌표계(GCS: ground coordinate system)의 다이어그램.
도 7은 차량에 관한 GCS와 도 1의 무지향성 카메라에 관한 광학 좌표계(OCS: optical coordinate system) 사이의 관계의 다이어그램.
도 8은 시간 간격들의 기간 동안 도 7의 GCS 및 OCS 사이의 변환의 다이어그램.
도 9는 시간 간격들의 기간 동안 무지향성 카메라 포즈에 기초하여 도 7의 GCS 와 OCS 사이의 변환의 다이어그램.
도 10a 및 도 10b는 GCS에 관하여 도 1의 오브젝트 위치 측정 시스템으로 오브젝트들 위치를 추정하는 방법을 예시한 도면.
도 11a는 도 3의 무지향성 카메라부터 관심 오브젝트까지의 시선의 공통 교차점의 다이어그램.
도 11b는 도 11a의 공통 교차점을 결정할 때의 불확실성들의 다이어그램.
도 12는 도 3의 관심 오브젝트 상의 다수의 식별된 포인트들의 그리드 다이어그램.
도 13은 도 1의 오브젝트 위치 측정 시스템을 사용하는 오브젝트의 위치를 결정하는 방법의 흐름도.
도 14는 도 1의 오브젝트 위치 측정 시스템을 사용하는 오브젝트의 위치를 결정하는 방법의 다른 흐름도.
본 발명의 임의의 실시예들이 상세히 설명되기 전에, 본 발명은 그 적용에 있어서 다음의 설명에서 설명되거나 다음의 도면들에 예시된 구성요소들의 구성 및 배열의 세부사항들에 한정되지 않는다는 것을 이해해야 한다. 본 발명은 다른 실시예들이 가능하고, 다양한 방식들로 실시되거나 수행될 수 있다.
복수의 상이한 구조적 구성요소들뿐만 아니라 복수의 하드웨어 및 소프트웨어 기반 디바이스들이 본 발명을 실행하기 위해 사용될 수 있다는 것을 주목해야 한다. 또한, 본 발명의 실시예들이 하드웨어, 소프트웨어, 및 논의의 목적들을 위해 구성요소들의 대부분이 하드웨어로만 실행되는 것처럼 예시되고 설명될 수 있는 전자 구성요소들 또는 모듈들을 포함할 수 있다는 것이 이해되어야 한다. 그러나, 당업자는 이러한 상세한 설명을 읽는 것에 기초하여, 적어도 하나의 실시예에서, 본 발명의 전자 기반 측면들이 하나 이상의 프로세서들에 의해 실행가능한 소프트웨어(예를 들면, 비-일시적 컴퓨터-판독가능한 매체 상에 저장된)로 구현될 수 있다는 것을 인식할 것이다. 이와 같이, 복수의 상이한 구조적 구성요소들뿐만 아니라 복수의 하드웨어 및 소프트웨어 기반 디바이스들이 본 발명을 구현하기 위해 이용될 수 있음을 유의해야한다. 예를 들어, 명세서 내에 기술된 "제어 유닛들" 및 "제어기들"은 하나 이상의 프로세서들, 비-일시적 컴퓨터-판독가능한 매체를 포함하는 하나 이상의 메모리 모듈들, 하나 이상의 입력/출력 인터페이스들, 및 구성요소들을 연결하는 다양한 연결들(예를 들어, 시스템 버스)를 포함할 수 있다.
도 1은 일 실시예에 따른 오브젝트 위치 측정 시스템(102)이 장착된 차량(100)을 예시한다. 차량(100)은 무지향성 카메라(105)(예를 들어, 어안 렌즈 카메라), 전자 제어 유닛(ECU: electronic control unit)(110), 차량 통신 버스(115)(예를 들어, CAN 버스), 디스플레이(120), 및 사용자 인터페이스(125)를 포함한다. 무지향성 카메라(105)는 ECU(110)에 통신가능하게 연결되어, 그에 의해 ECU(110)는 무지향성 카메라(105)로 캡쳐된 복수의 무지향성 이미지들(즉, 무지향성 이미지 프레임들)에 액세스한다. ECU(110)는 차량(100)에 의해 주행되는 거리에 적어도 부분적으로 기초하여 복수의 이미지들을 미리 결정된 시간의 간격들에서 처리하고 복수의 이미지들 및 연관된 데이터를 기록한다. 게다가, ECU(110)는 무지향성 이미지들을 직선 이미지들(즉, 직선 이미지 프레임들)로 변환하고 차량의 운전자가 뷰잉하기 위해 직선 이미지들을 디스플레이(120)로 보낸다. 차량 통신 버스(115)는 다른 차량 시스템들과 함께 ECU(110)를 디스플레이(120)와 통신가능하게 연결한다. 예를 들어, 차량 통신 버스(115)는 ECU(110), 디스플레이(120), 사용자 인터페이스(125), 및 차량(100) 내의 다른 전자 제어 유닛들 간의 통신을 가능하게 한다. 일부 구성들에서, 디스플레이(120) 및 사용자 인터페이스(125)는 예를 들어 터치스크린 디스플레이와 같은 단일 디바이스로 통합된다. 결과적으로, 차량(100)의 운전자는 사용자 인터페이스(125)를 통해 디스플레이(120)에 직접 명령들을 입력할 수 있다. 상술된 바와 같이, 사용자 인터페이스(125)는 디스플레이(120)에서 관심 오브젝트들을 나타내는 입력을 운전자로부터 수신할 수 있다. 다른 실시예들에서, 디스플레이(120) 및 사용자 인터페이스(125)는 운전자와 ECU(110) 사이의 통신을 제공하는 별도의 독립형 입력 및 출력 디바이스들이다.
오브젝트 위치 측정 시스템(102)의 일부 실시예들은 또한 차량(100)의 위치 및 이동을 나타내는 하나 이상의 차량 센서들(140)을 포함한다. 예를 들어, 차량(100)은 조향각 센서(steering angle sensor), 휠 위치 또는 휠 속도 센서, 및 위성 위치확인 시스템(GPS: global positioning system) 표시자를 포함할 수 있다. 차량 센서들(140)은 ECU(110)가 차량 센서들(140)에 의해 제공된 이동 정보에 기초하여 차량(100)의 위치, 진로 및 이동을 검출할 수 있게 한다. 또한, ECU(110)는 이동 정보에 기초하여 시간에 따라 위치 및 위치의 변화를 계산하도록 구성된다. 게다가, ECU(110)는 예를 들어, 핸들, 스로틀(throttle), 및 제동 시스템과 같은 하나 이상의 차량 제어 디바이스들(145)에 통신가능하게 연결될 수 있다. 이러한 차량 제어 디바이스들(145)을 이용하여, ECU(110)는 차량(100)의 위치, 및 오브젝트 위치 측정 시스템(102)에 의해 분석되는 차량(100) 주위의 오브젝트들의 위치에 기초하여 자동 운전 조종들을 수행할 수 있다.
도 2는 ECU(110)의 블록도이다. ECU(110)는 ECU(110) 및/또는 무지향성 카메라(105) 내의 구성요소들 및 모듈들에 전력, 동작 제어, 및 보호를 제공하는 복수의 전기 및 전자 구성요소들을 포함한다. 예를 들어, ECU(110)는 다른 것들 중에서 제어기(프로그램 가능한 전자 마이크로 프로세서, 마이크로 제어기 또는 유사한 디바이스와 같은)(205), 전원 모듈(210) 및 입력/출력 모듈(215)을 포함한다. 제어기(205)는 다른 것들 중에서 프로세싱 유닛(220) 및 메모리(225)를 포함한다. 프로세싱 유닛(220)은 메모리(225)에 통신가능하게 연결되고 메모리(225) 상에 저장될 수 있는 명령들을 실행한다. 제어기(205)는 메모리(225)로부터 검색하고 다른 것들 중에서 제어 프로세스들 및 본원에 설명된 방법과 관련된 명령들을 실행하도록 구성된다. 다른 실시예들에서, ECU(110)는 추가의, 더 적은 또는 다른 구성 요소들을 포함한다. ECU(110)는 본원에 나열된 특정 기능들을 수행하도록 각각 구성된 몇몇 독립적인 전자 제어 유닛들로 구현될 수 있다는 것이 주목되어야 한다. 부가적으로, ECU(110)는 특정 유형들의 센서 데이터를 입력하고 관련된 프로세스들을 수행하는 서브-모듈들을 포함할 수 있다. 예를 들어, 비디오 분석 모듈은 무지향성 카메라(105)로부터 비디오 스트림을 입력하고, 이미지를 직선형 포맷으로 변환하고, 이미지 내의 오브젝트들 및 피처들을 인식하고, 이미지 내의 오브젝트들 및 피처들을 추적하고, 이들 프로세스들로부터의 데이터 출력들을 다른 ECU들 또는 서브-모듈들에 보낼 수 있다.
ECU(110)는 다른 것들 중에서 무지향성 카메라(105)로부터 수신된 무지향성 이미지의 부분들을 직선형 이미지 프레임들로 변환하도록 구성된다. 예를 들어, 도 2의 실시예에서, 입력/출력 모듈(215)은 무지향성 카메라(105)로부터 무지향성 이미지를 수신하고, 무지향성 이미지들을 이미지 프로세싱을 위해 제어기(205)로 보낸다. 그 후, 제어기(205)는 무지향성 이미지들을 처리하고 변환한다. ECU(110)는 미국 특허 출원 제14/808,144호에 개시되고, 그 전체 내용들이 본원에 참조로서 통합된 변환 방법을 이용하여 무지향성 이미지들을 직선 이미지 프레임들로 변환할 수 있다. ECU(110)는 차량 통신 버스(115) 또는 ECU(110)와 디스플레이(120) 간의 다른 통신 링크를 통해 디스플레이(120)에 변환된 이미지들을 전송한다. 또한, 입력/출력 모듈(215)은 디스플레이된 이미지의 관심 영역을 식별하는 명령들을 사용자 인터페이스(125)로부터 수신할 수 있다. 관심 영역은 관심 오브젝트를 포함하도록 ECU(110) 및/또는 운전자에 의해 결정되는 무지향성 이미지의 일부를 나타낸다.
사용자 인터페이스(125), ECU(110), 서브-모듈들, 부가적인 ECU들, 차량 센서들(140) 및 차량 제어 디바이스들(145)은 차량 통신 버스(115) 상의 하나 이상의 통신 모듈들을 통해 링크될 수 있고 및/또는 입력/출력 모듈(215)을 통해 직접 연결될 수 있다. 일부 실시예들에서, 사용자 인터페이스(125)는 J1939 또는 CAN 버스와 같은 프로토콜을 사용하여 입력/출력 모듈(215)과 통신하기 위해 통신한다. 한다. 다른 실시예들에서, 사용자 인터페이스(125)는 특정 애플리케이션의 요구들에 따라 다른 적절한 프로토콜들 하에서 입력/출력 모듈(215)과 통신한다. 일부 실시예들에서, 입력/출력 모듈(215)은 다양한 제어들 및 센서들로부터의 전용 신호 라인들을 사용하여 직접 정보를 입력한다.
도 3은 오브젝트 위치 측정 시스템(102) 및 트레일러(305)를 포함하는 차량(100)의 예시이다. 이 예에서, 트레일러(305)는 트레일러 히치(trailer hitch)(310)를 포함한다. 트레일러 히치(310)는 ECU(110)에 대한 관심 오브젝트이다. 이 경우, ECU(110)는 트레일러 히치(310)를 차량(100)이 정렬하려고 하는 오브젝트로 식별한다. 시선(315)은 무지향성 카메라(105)로부터 트레일러 히치(310)까지 연장된다. 도 4는 무지향성 카메라(105)를 갖는 차량(100)의 후방도이다. 예시된 바와 같이, 트레일러 히치(310)는 ECU(110)에 의해 픽셀 위치 또는 좌표들의 세트(예를 들어, 수직 좌표 및 수평 좌표)로서 검출되는 무지향성 이미지 내의 위치를 점유한다. 차량(100)이 트레일러(305)에 접근함에 따라, 트레일러 히치(310)의 위치는 무지향성 이미지에서 새로운 픽셀 위치 또는 좌표들의 세트로 이동한다. 위치의 변화가 검출되고, 변화량은 ECU(110)에 의해 결정된다. 그러나, 차량(100)에 대한 트레일러 히치(310)의 거리 및 위치는 무지향성 이미지 또는 무지향성 이미지에서의 트레일러 히치(310)의 위치 변경에만 기초하여 알려지지 않는다. 또한, 트레일러 히치(310)의 위치 변화는 무지향성 이미지의 비선형 효과들에 기인 한 무지향성 이미지 내의 트레일러 히치(310)의 위치에 따라 더 크게 또는 더 작게 나타날 수 있다. ECU(110)는 검출된 오브젝트의 위치 변화를 계산하기 전에 관심 오브젝트를 포함하는 무지향성 이미지의 적어도 일부의 변환을 수행하여 이러한 비-선형 효과들을 감소시키거나 제거한다.
도 5는 차량(100)이 트레일러(305)에 접근할 때, 무지향성 카메라(105)와 트레일러 히치(310) 사이의 시선의 변화들을 도시한다. 상단 예시(505)에서, 시선(510)은 무지향성 카메라(105)로부터 트레일러 히치(310)까지 연장된다. 중간 예시(515)에서, 시선(520)은 무지향성 카메라(105)로부터 트레일러 히치(310)까지 연장된다. 하단 예시(525)에서, 시선(530)은 무지향성 카메라(105)로부터 트레일러 히치(310)까지 연장된다. 시선(510), 시선(520) 및 시선(530) 사이의 각도의 변화를 도시하기 위해, 시선(510)은 또한 중간 예시(515) 및 하단 예시(525)에 도시된다. 각도의 변화가 발생함에 따라, 무지향성 이미지 내의 트레일러 히치(310)의 위치(예를 들어, 픽셀 위치)가 변화된다. 이러한 변화는 ECU(110)에 의해 추적된다.
도 6은 차량(100)과의 세계 좌표계를 도시하는 그래프이다. 초기 기준점(605)에 기초하여, ECU(110)는 차량 통신 버스(115)로부터 판독된 이동 데이터(예를 들어, 이동 방향 및 이동 거리)에 기초하여 차량(100)의 현재 위치(610) 및 이동 경로(607)를 추적한다. ECU(110)는 차량(100) 상의 휠 속도 센서들, 조향각 센서 및 다른 센서들을 사용하여 임의의 주어진 방향으로의 이동량을 추적한다. 미리규정된 시간 간격들에서, ECU(110)는 차량 포즈(예로서, 세계 좌표계에 대한 차량의 위치 및 방향)를 결정한다. 예를 들어, ECU(110)는 초기 기준점(605)뿐만 아니라 요우각(yaw angle)(615)(예를 들어, 차량(100)이 향하는 방향)으로부터 y-거리(Yr) 및 x-거리(Xr)를 메모리(225)에 결정하여 저장할 수 있다. ECU(110)는 무지향성 카메라(105)로부터의 무지향성 이미지들을 처리하는 것과 동시에 현재 위치(610) 및 차량(100)의 이동을 결정한다. 그 결과, ECU(110)는 현재 위치(610) 및 이동 데이터를 무지향성 카메라(105)로부터의 무지향성 이미지들의 시퀀스와 매치시킬 수 있다.
무지향성 이미지로부터의 정보 및 차량(100)의 이동 데이터를 비교하기 위해, 기준 시스템들의 번역이 확립된다. 도 7은 무지향성 카메라(105)에 대한 광 좌표계(OCS: optical coordinate system)(705) 및 차량(100)에 대한 그라운드 좌표계(GCS)(710)를 도시한다. GCS(710)가 차량(100)에 대한 원점의 단순한 평행 이동을 갖는 세계 좌표계를 또한 기술하기 때문에, 세계 좌표계보다는 GCS(710)가 이러한 개시사항을 통해 참조될 것이다. OCS(705)는 무지향성 카메라(105)의 광학 애 퍼처에서 기준점을 갖는다. z-축은 차량(100)으로부터 45도 각도로 상향 및 후방으로 연장되고, y-축은 차량(100)으로부터 -45도 각도로 하향 및 후방으로 연장된다. 이와 대조적으로, GCS(710)에 대한 z-축은 차량(100)에 수직으로 연장되고, GCS(710)에 대한 y-축은 차량(100)과 평행하게 연장된다. 이들 좌표계들은 무지향성 카메라(105)의 내적 및 외적 매개 변수들뿐만 아니라 차량(100)에 대한 무지향성 카메라(105)의 정렬에 따라 정렬 면에서 다를 수 있다.
ECU(110)는 GCS(710)와 OCS(705) 시스템들 사이의 관계를 결정한다. 일부 실시예들에서, 차량(100)의 제조 동안, ECU(110)는 이러한 관계를 정의하도록 조정된다. 예를 들어, 시각적 테스트 패턴이 무지향성 카메라(105)를 통해 입력될 수 있다. 이러한 경우에, ECU(110)는 테스트 패턴의 알려진 값들(예를 들어, 거리들)을 참조하여 입력 테스트 패턴을 분석한다. 이러한 방식으로, ECU(110)는 OCS(705)와 GCS(710)를 정렬시킨다. 그러나, 시간이 지남에 따라, OCS(705)와 GCS(710) 간의 관계가 변할 수 있다. 예를 들어, 차량(100)이 타이어 압력 또는 고 부하 조건들의 변화들로 인해 높이의 변화들을 경험하면, OCS(705)와 GCS(710) 사이의 관계가 변할 수 있다. 변화들을 조정하기 위해, ECU(110)는 차량(100)의 제조 후에 OCS(705)와 GCS(710) 사이에서 부가적인 조정들을 수행할 수 있다. 예를 들어, ECU(110)는 예를 들면 차량(100)의 기동마다, 미리 결정된 간격들로 영상 주행기록계(visual odometry)를 사용하여 조정을 수행할 수 있다. 이러한 유형의 조정은 시각적 테스트 패턴이 아닌 무지향성 이미지의 검출된 오브젝트들을 기반으로 할 수 있다. 예를 들어, 지평면은 ECU(110)에 의해 검출될 수 있고, OCS(705)와 GCS(710) 사이의 관계는 무지향성 이미지에서의 지평면의 위치에 기초하여 조정될 수 있다. OCS(705)를 참조하여 무지향성 카메라 포즈(예를 들어, 무지향성 카메라의 위치 및 방향)가 결정되기 때문에, 조정은 또한 무지향성 카메라 포즈를 조절한다.
도 8은 차량(100)이 역방향으로 이동하는 동안의 차량(100)의 위치들의 시퀀스를 도시한다. 제 1 시간(800)에서, ECU(110)는 ECU(110)가 OCS(705)를 참조하여 OCS 위치 좌표들(즉, 광학 위치 좌표들)(805)을 생성하는 무지향성 이미지 프레임을 입력한다. 동시에, ECU(110)는 차량(100)의 센서들로부터의 정보에 기초하여 GCS(710)를 참조하여 GCS 위치 좌표들(즉, 그라운드 위치 좌표들)(810)을 입력한다. OCS 위치 좌표(805) 및 GCS 위치 좌표들(810)은 타임 스탬프가 첨부된 메모리(225)에 저장된다. 타임 스탬프는 나중에 OCS 위치 좌표들(805) 및 GCS 위치 좌표들(810)을 동기화하는데 사용된다. 제 2 시간(820)에서, 차량은 GCS(710)를 참조하여 측정될 수 있는 거리(825)를 역방향으로 이동시킨다. ECU(110)는 제 2 시점(820)에서 GCS 위치 좌표들(810)과 무지향성 이미지 프레임을 입력한다. ECU(110)는 제 2 시간(820)을 나타내는 타임 스탬프와 함께 정보를 메모리(225)에 저장한다. 유사하게, 차량(100)이 거리(835)를 이동한 것을 나타내는 제 3 시간(830)에서, ECU(110)는 제 3 시간(830)을 나타내는 타임 스탬프와 함께 OCS 위치 좌표들(805) 및 GCS 위치 좌표들(810)을 메모리(225)에 저장한다.
도 9는 도 8을 참조하여 기술된 차량(100)의 위치들의 시퀀스의 다른 예시이다. 이러한 실시예에서, ECU(110)는 주어진 시간 간격마다 GCS 위치 좌표들(810)을 동일한 시간 간격에서 OCS 위치 좌표들(805)로 변환한다. 예를 들어, 제 1 시간(800)에서, ECU(110)는 GCS 위치 좌표들(810)을 판독하고, OCS(705)와 GCS(710) 사이의 관계에 기초하여(예를 들어, 조정에 의해 결정되는), ECU(110)는 GCS 위치 좌표들(810)을 OCS 위치 좌표들(805)로 변환한다. 이러한 정보는 무지향성 카메라 포즈(R(1), t(1))에 캡처된다. 제 2 시간(820)에서, ECU(110)는 무지향성 카메라 포즈(R(2), T(2))로 GCS 위치 좌표들(810)을 OCS 위치 좌표들(805)로 변환한다. 유사하게, 제 3 시간(830)에서, ECU(110)는 무지향성 카메라 포즈(R(3), t(3))로 GCS 위치 좌표들(810)을 OCS 위치 좌표(805)로 변환한다.
도 10a는 각 시간 간격(1000)에서 ECU(110)가 도 10b에 도시된 변환을 수행하는 것을 도시한다. 시간 간격(1000)은 ECU(110)의 애플리케이션 또는 처리 속도에 기초하여 미리 결정되고 조절될 수 있다. 시간 간격(1000)은 또한 미리 결정된 시간보다는 주행된 거리에 기초할 수 있다. 각 시간 간격(1000)에서, ECU(110)는 차량 통신 버스(115)로부터 GCS 위치 좌표들(810)을 결정한다(단계(1005)). 각 시간 간격(1000)에 대해, 무지향성 카메라 포즈(R(i), t(i))가 결정된다(단계(1010)). 무지향성 카메라 포즈(R(i), t(i))는 OCS(705)의 관점에서 무지향성 카메라(105)의 위치를 정의한다. 픽셀 트랙커는, 후술되는 바와 같이, 무지향성 이미지 내의 픽셀 위치에 기초하여 관심 오브젝트에 대한 OCS 위치 좌표들(805)을 생성한다(단계(1015)). OCS 위치 좌표들(805) 및 포즈(R(i), t(i))는 각 시간 간격(1000) 마다 ECU(110)에 의해 처리되고, 관심 오브젝트의 추정된 월드 위치(x,y,z)(k)가 각각의 시간 간격(1000) 동안 결정된다(단계(1020)).
차량(100)이 트레일러 히치(즉, 관심 오브젝트)(310)에 접근함에 따라, 트레일러 히치(310)는 무지향성 이미지의 픽셀 위치들을 이동시킬 것이다. 이것은 상술된 바와 같이 무지향성 카메라(105)로부터 트레일러 히치(310)로의 시선의 변화에 대응한다. 도 11a에서, 제 1 시선(1105)은 차량(100)의 제 1 위치(1110)에 대응하고, 제 2 시선(1115)은 차량(100)의 제 2 위치(1120)에 대응하고, 제 3 시선(1125)은 차량(100)의 제 3 위치(1130)에 대응한다. 제 1 위치(1110)와 제 2 위치(1120) 사이의 제 1 거리(1135)는 GCS 위치 좌표들(810)을 사용하여 ECU(110)에 의해 결정된다. 유사하게, 제 2 거리(1140)는 GCS 위치 좌표들(810)을 사용하여 ECU(110)에 의해 결정된다. 제 1 각도(1145) 및 제 2 각도(1150)는 직선 이미지 내의 픽셀 위치의 변화량에 기초하여 계산될 수 있다. ECU(110)는 제 1 거리(1135), 제 2 거리(1140), 제 1 각도(1145) 및 제 2 각도(1150) 간의 알려진 기하학적 관계들을 이용하여 차량(100)과 트레일러 히치(310) 사이의 이격 거리(1155)를 계산한다. 유사하게, ECU(110)는 제 3 위치(1130)에서 차량(100)과 트레일러 히치(310) 사이의 이격 거리(1160)를 계산한다. ECU(110)가 제 1 거리(1135)와 제 2 거리(1140)가 매우 작을 때(예를 들어, 매우 짧은 시간 간격들에서), 제 1 거리(1135)와 제 2 거리(1140)에서의 이격 거리(1155) 및 이격 거리(1160)를 계산할 수 있기 때문에, 이격 거리(1155, 1160)는 차량(100)이 트레일러(305)에 접근함에 따라 거의 연속적으로 추정될 수 있다. 이격 거리(1155, 1160)에 기초하여, ECU(110)는 차량(100)과 트레일러(305)의 상대 위치들을 자동화된 차량 조작들을 제어하는 ECU들을 포함하는 다른 차량 시스템들로 출력한다. 이격 거리(1155, 1160) 및 GCS 위치 좌표들(810)을 사용하여, ECU들은 트레일러 히치(310)와 차량(100)의 자동화된 정렬을 수행할 수 있다.
실제로, 관심 오브젝트의 정확한 픽셀 위치와 같은 OCS 위치 좌표들(805)의 작은 불확실성은 도 11Bb 도시된 바와 같이 시선들의 교차점(1175)에서 불확실성들을 야기한다. 이러한 불확실성들은 특히 관심 오브젝트에 대한 단일 교차점을 사용할 때, 차량(100)과 트레일러(305) 사이의 추정된 거리에 불확실성들 또는 에러들을 초래할 수 있다. 불확실성을 감소시키기 위해, ECU(110)는 관심 오브젝트의 다수의 지점들(즉, 특징들) 또는 다수의 관심 오브젝트들의 위치들을 동시에 계산할 수 있다. 도 12는 관심 오브젝트 상의 다수의 검출 포인트들(1205)을 갖는 트레일러(305)의 일부를 도시한다. ECU(110)가 무지향성 이미지를 임포트할 때, 오브젝트 검출 루틴은 다수의 검출 지점들(1205)을 결정한다. 일단 인식되면, 다수의 검출 지점들(1205)은 ECU(110)의 오브젝트 추적 루틴을 사용하여 추적한다. 결과적으로, 다수의 검출 지점들(1205) 각각은 차량(100)과 그 검출 지점 사이의 거리를 결정하도록 처리된다. 일단 ECU(110)가 다수의 검출 지점들(1205)을 검출하고 처리하면, ECU(110)는 다수의 검출 지점들(1205)을 서로 비교하여 개개의 검출 지점들과 관련된 임의의 개개의 에러들 또는 불확실성들을 감소시킬 수 있다. 예를 들어, ECU(110)는 거리 예측들을 정제하기 위해 번들 조정 알고리즘을 실행할 수 있다. 이런 방식으로, ECU(110)에 의한 거리의 추정은 다수의 검출 지점들(1205)을 통해 최적화된다. ECU(110)의 오브젝트 검출은 메모리(225)에 프로그램된 다양한 오브젝트들을 검출할 수 있다. 예를 들어, ECU(110)는 트레일러(305), 지면, 나무, 극, 연석, 다른 차량, 보행자 등을 검출할 수 있다. 상술한 바와 같이, ECU(110)는 이들 다양한 오브젝트들 상의 다수의 지점들 또는 오브젝트 상의 단일 지점을 검출할 수 있다. 다른 경우에서, ECU(110)는 본원에 기술된 방법들을 사용하여 오브젝트까지의 거리를 결정한다.
도 13 및 도 14는 오브젝트 위치 측정 시스템(102)을 사용하여 오브젝트의 거리 및 위치를 결정하는 방법의 흐름도들이다. 도 13은 ECU(110)에 의해 입력 파라미터들이 수신되고 처리되는 것을 포함하는 방법의 일반적인 단계들을 도시한다. 무지향성 이미지 프레임은 무지향성 카메라(105)로부터 ECU(110)로 입력된다(단계(1305)). ECU(110)는 무지향성 이미지 프레임 내의 하나 이상의 오브젝트들을 검출하고 하나 이상의 오브젝트들을 하나 이상의 관심 오브젝트들로 분류한다. 특히, ECU(110)는 무지향성 이미지의 패턴을 식별하고 패턴을 미리 결정된 오브젝트들의 세트와 비교하여 오브젝트를 특정 오브젝트 유형으로 분류한다. 일단 오브젝트가 관심 오브젝트로 분류되면, ECU(110)는 무지향성 카메라(105)로부터 ECU(110)에 입력된 후속 무지향성 이미지 프레임들에서 관심 오브젝트의 하나 이상의 특징들을 결정하고 추적한다(단계(1310)). 프레임 정보는 추적된 오브젝트들의 유형들, 오브젝트들의 특징들, 및 각각의 특징들 및/또는 오브젝트들의 위치(예를 들어, 어떤 픽셀)를 포함하는 각각의 무지향성 이미지 프레임에 첨부된다. 동시에, 차량(100)의 이동 데이터를 포함하는 차량 통신 버스(115)로부터의 메시지가 수신된다(단계(1320)). 이러한 메시지는 ECU(110)가 메시지가 수신될 때를 추적하는 것을 허용하도록 이동 데이터의 각 조각에 첨부된 캔-메시지 인덱스(can-message index)(예를 들어, 인덱스 k')를 포함한다. ECU(110)는 캔 메시지를 각 캔-메시지 인덱스에서 차량 포즈로 변환한다(단계(1325)). ECU(110)는 수신된 각각의 무지향성 이미지 프레임과 차량 포즈를 동기화시킨다(단계(1330)). ECU(110)는 무지향성을 이미지 변환 파라미터들에 입력하고 프레임 정보를 직선 이미지로 변환한다(단계(1335)). ECU(110)는 동기화된 차량 포즈, 변환된 프레임 정보 및 일련의 무지향성 이미지 프레임들에 대한 카메라 포즈에 기초하여 오브젝트 및 특징들의 위치 추정치를 계산한다(단계(1340)).
도 14는 오브젝트 위치 측정 시스템(102)을 사용하여 오브젝트의 거리 및 위치를 결정하는 방법의 부가적인 단계들을 도시한다. 도 13을 참조하여 기술된 입력들에 기초하여, ECU(110)는 차량 포즈 및 시각적 주행 거리계를 갖는 무지향성 카메라 포즈를 선택적으로 우선 정제할 수 있다(단계(1405)). 다음으로, ECU(110)는 일련의 무지향성 이미지 프레임들 또는 관심 오브젝트를 포함하는 무지향성 이미지 프레임들의 적어도 일부를 일련의 직선 이미지 프레임들로 변환한다(단계(1410)). ECU(110)는 관심 오브젝트를 추적하고 직선 이미지 프레임들을 피처링하고 전 방향 이미지 프레임들의 관심 오브젝트에 해당하는 프레임 정보를 직선 이미지 프레임 정보로 변환한다(단계(1415)). ECU(110)는 거리 간격들로 직선 이미지 프레임 정보를 기록한다(단계(1420)). 거리 간격들은 차량(100)의 이동 데이터를 이용하여 주행된 미리 결정된 거리에 기초하여 ECU(110)에 의해 결정된다. ECU(110)는 일련의 직선 이미지 프레임들 및 동기화된 차량 포즈를 가로질러 픽셀 위치의 변화를 사용하여 오브젝트 및 특징들을 삼각 측량한다(단계(1425)). 다시 말해서, ECU(110)는 제 1 직선 이미지 프레임과 제 2 직선 이미지 프레임에 걸친 관심 오브젝트의 위치의 변화를 결정한다. 그 후, ECU(110)는 제 1 직선 이미지 프레임과 제 2 직선 이미지 프레임의 위치의 변화 및 이들 직선 이미지 프레임들에 대응하는 차량 포즈의 변화에 기초하여 관심 오브젝트의 거리 및 위치를 결정한다. 거리는 직선 이미지 프레임들의 위치 변화와 차량 포즈의 변화 사이의 삼각법 관계들을 사용하여 결정된다. 관심 오브젝트 상의 다수의 지점들의 경우에, ECU(110)는 또한 유사한 방식으로 이들 다수의 지점들과의 거리를 결정한다. ECU(110)는 이들 다수의 지점들에 대한 거리 계산들을 관심 오브젝트의 거리 계산과 평행하게 그리고 동시에 처리할 수 있다. 거리가 알려지면, 오브젝트의 위치는 GCS(710)를 참조하여 결정된다. 그 후, 선택적으로, ECU(110)는 번들 조정 알고리즘으로 관심 오브젝트 상의 다수의 지점들을 사용하여 오브젝트의 거리 및 위치 추정치를 조정할 수 있다(단계(1430)). 번들 조정 알고리즘은 다수의 지점들 간의 평균값들을 기반으로 추정치를 정제한다.
도 13 및 도 14를 참조하여 기술된 방법들은 다양한 관심 오브젝트들에 사용될 수 있다. 상술한 바와 같이, ECU(110)는 먼저 인식 기능들을 사용하여 관심 오브젝트들을 검출할 수 있다. 예를 들어, ECU(110)는 무지향성 이미지의 오브젝트들을 메모리(225)의 알려진 오브젝트들과 비교하여 오브젝트를 식별 및/또는 분류할 수 있다. 이 경우, ECU(110)는 알려진 오브젝트를 사용하여 오브젝트 상의 다수의 관심 지점들을 식별하는데 도움을 줄 수 있다. 그러나, ECU(110)는 또한 사용자 선택에 기초하여 관심 오브젝트를 식별할 수 있다. 특히, 차량(100)의 운전자는 예를 들어 트레일러 히치(310)와 같은 사용자 인터페이스(125) 내의 오브젝트를 선택할 수 있다. ECU(110)는 사용자 선택을 검출하고 이미지 인식에 기초하여 관련 오브젝트를 식별한다. 이러한 실시예에서, ECU(110)는 단일 지점(즉, 운전자에 의해 선택된 관심 오브젝트)을 사용하여 도 13 및 도 14에서 설명된 방법들을 작동시킬 수 있다. 반대로, ECU(110)가 이미지를 인식하면, ECU(110)는 알려진 오브젝트에 기초하여 다수의 관심 지점들을 사용하여 선택된 관심 오브젝트의 조정된 거리 및 위치를 결정할 수 있다.
따라서, 본 발명은 특히, 차량 이동 데이터 및 차량상의 무지향성 카메라로부터의 무지향성 이미지의 관심 오브젝트의 위치 변화에 기초하여 관심 오브젝트의 거리 및 위치를 결정하는 시스템 및 방법을 제공한다. 본 발명의 다양한 특징들 및 이점들은 이하 청구 범위들에 기재된다.
Claims (20)
- 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법에 있어서:
상기 차량의 위치 변화를 나타내는 차량 센서들로부터 상기 차량의 이동 데이터를 수신하는 단계;
무지향성 카메라로 하나 이상의 정지된 오브젝트들의 복수의 무지향성 이미지 프레임들을 수신하는 단계;
상기 무지향성 이미지 프레임들 내의 상기 하나 이상의 정지된 오브젝트들로부터 관심 오브젝트를 식별하는 단계;
전자 제어 유닛으로, 상기 차량이 움직이는 동안, 상기 무지향성 이미지 프레임들에서 상기 관심 오브젝트들을 추적하는 단계;
상기 차량이 이동할 때 상기 무지향성 이미지 프레임들 내의 상기 관심 오브젝트의 위치 변화를 결정하는 단계; 및
상기 무지향성 이미지 프레임들 내의 상기 차량의 위치 변화 및 상기 관심 오브젝트의 위치의 변화에 기초하여, 상기 차량에 대한 상기 관심 오브젝트까지의 거리를 결정하는 단계를 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 1 항에 있어서,
상기 차량의 이동 데이터를 수신하는 단계는 차량 통신 버스로부터의 이동 방향과 이동 거리를 수신하는 단계를 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 1 항에 있어서,
그라운드 좌표 시스템에 대한 상기 차량의 그라운드 위치 좌표들에 기초하여 상기 차량의 위치를 결정하는 단계;
광학 좌표 시스템에 대한 상기 관심 오브젝트의 광학 위치 좌표들에 기초하여 상기 관심 오브젝트의 위치를 결정하는 단계; 및
상기 그라운드 위치 좌표들에 기초하여 상기 차량의 결정된 위치를 상기 광학 좌표 시스템에 대한 광학 위치 좌표들에 기초하여 상기 차량의 위치로 변환하는 단계를 더 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 1 항에 있어서,
상기 무지향성 이미지 프레임들을 복수의 직선형 이미지 프레임들로 변환하는 단계;
상기 직선형 이미지 프레임들 내의 상기 관심 오브젝트의 복수의 위치들을 결정하는 단계; 및
상기 차량이 이동하는 동안 상기 직선형 이미지 프레임들 내의 상기 관심 오브젝트의 상기 위치들의 변화를 결정하는 단계를 더 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 1 항에 있어서,
상기 이동 데이터로부터의 상기 차량의 위치 변화 및 상기 무지향성 이미지 내의 상기 관심 오브젝트의 위치 변화에 기초하여 상기 관심 오브젝트까지의 거리를 결정하는 단계는 상기 차량의 상기 이동 데이터와 상기 관심 오브젝트의 위치 변화를 삼각 측량하는 단계를 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 3 항에 있어서,
상기 그라운드 좌표 시스템과 상기 광학 좌표 시스템 간의 관계를 조정하는 단계를 더 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 1 항에 있어서,
상기 무지향성 이미지 프레임들을 직선형 이미지 프레임들로 변환하는 단계를 더 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 1 항에 있어서,
상기 관심 오브젝트는 복수의 광학 위치 좌표들로서 분류되고, 상기 무지향성 이미지 내의 상기 관심 오브젝트를 추적하는 단계는 상기 광학 위치 좌표들을 추적하는 단계를 포함하고, 상기 차량이 이동할 때 상기 무지향성 이미지 내의 상기 관심 오브젝트의 위치 변화를 결정하는 단계는 상기 광학 위치 좌표들의 변화를 결정하는 단계를 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 8 항에 있어서,
상기 좌표 지점들 상의 번들 조정을 수행하는 단계를 더 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 1 항에 있어서,
상기 관심 오브젝트는 사용자 입력으로 식별되는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 1 항에 있어서,
상기 관심 오브젝트는 터치스크린에 의해 식별되는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 1 항에 있어서,
상기 관심 오브젝트는,
패턴에 대해 상기 무지향성 이미지 프레임들을 분석하고;
상기 패턴을 미리 정해진 오브젝트들의 세트와 비교하고;
상기 패턴을 상기 미리 정해진 오브젝트들의 세트로부터 특정 오브젝트 유형으로 분류함으로써 식별되는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 1 항에 있어서,
상기 관심 오브젝트는 다른 차량, 연석, 나무, 극, 및 지면으로 구성된 그룹으로부터 선택된 것인, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 제 1 항에 있어서,
상기 관심 오브젝트의 상기 위치에 기초하여 상기 차량을 자동으로 기동시키는 단계를 더 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾는 방법. - 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾기 위한 오브젝트 위치 찾기 시스템에 있어서:
상기 차량의 위치 변화를 나타내도록 구성된 적어도 하나의 차량 센서;
무지향성 카메라;
상기 차량의 운전자에게 비디오 정보를 디스플레이하도록 구성된 사용자 인터페이스 및 전자 제어 유닛을 포함하고, 상기 전자 제어 유닛은,
하나 이상의 정적 오브젝트들의 무지향성 이미지를 포함하는 복수의 무지향성 이미지 프레임들을 상기 무지향성 카메라로부터 수신하고;
상기 차량의 위치 변화를 나타내는 상기 적어도 하나의 차량 센서로부터 상기 차량의 이동 데이터를 수신하도록 구성되고;
상기 무지향성 이미지 프레임들 내의 상기 하나 이상의 정적 오브젝트들로부터 관심 오브젝트를 식별하고,
상기 차량이 이동하는 동안 상기 복수의 무지향성 이미지 프레임들 내의 상기 관심 오브젝트를 추적하고;
상기 차량이 이동할 때 상기 무지향성 이미지 프레임들 내의 상기 관심 오브젝트의 위치의 변화를 결정하고;
상기 무지향성 이미지 프레임들 내의 상기 관심 오브젝트의 위치의 상기 변화 및 상기 차량의 상기 위치 변화에 기초하여 상기 관심 오브젝트까지의 거리를 결정하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾기 위한 오브젝트 위치 찾기 시스템. - 제 15 항에 있어서,
상기 적어도 하나의 차량 센서는 휠 속도 센서 및 조향각 센서를 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾기 위한 오브젝트 위치 찾기 시스템. - 제 15 항에 있어서,
상기 전자 제어 유닛은 또한 상기 관심 오브젝트까지의 거리를 결정하기 위해 상기 무지향성 이미지 프레임들 내의 상기 관심 오브젝트의 위치 변화 및 상기 차량의 상기 위치 변화를 삼각층량하도록 구성되는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾기 위한 오브젝트 위치 찾기 시스템. - 제 15 항에 있어서,
상기 전자 제어 유닛은 또한 상기 관심 오브젝트까지의 거리를 계산하기 전에 상기 무지향성 이미지를 직선형 이미지로 변환하도록 구성되는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾기 위한 오브젝트 위치 찾기 시스템. - 제 15 항에 있어서,
상기 관심 오브젝트를 식별하는 운전자로부터 상기 전자 제어 유닛으로의 입력을 수신하도록 구성된 터치스크린을 더 포함하는, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾기 위한 오브젝트 위치 찾기 시스템. - 제 15 항에 있어서,
상기 관심 오브젝트는 다른 차량, 연석, 나무, 극, 및 지면으로 구성된 상기 그룹으로부터 선택된 것인, 차량에 부착된 무지향성 카메라로 오브젝트의 위치를 찾기 위한 오브젝트 위치 찾기 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562145692P | 2015-04-10 | 2015-04-10 | |
| US62/145,692 | 2015-04-10 | ||
| PCT/US2016/020255 WO2016164118A2 (en) | 2015-04-10 | 2016-03-01 | Object position measurement with automotive camera using vehicle motion data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180002609A true KR20180002609A (ko) | 2018-01-08 |
| KR101997436B1 KR101997436B1 (ko) | 2019-07-09 |
Family
ID=55640866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177028245A KR101997436B1 (ko) | 2015-04-10 | 2016-03-01 | 차량 모션 데이터를 사용하는 자동차 카메라에 의한 오브젝트 위치 측정 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10423164B2 (ko) |
| EP (1) | EP3280976B1 (ko) |
| JP (1) | JP2018512593A (ko) |
| KR (1) | KR101997436B1 (ko) |
| CN (1) | CN107567412B (ko) |
| WO (1) | WO2016164118A2 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101996169B1 (ko) * | 2018-01-12 | 2019-07-03 | 숭실대학교산학협력단 | 카메라 변위를 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 |
| KR20190086335A (ko) * | 2018-01-12 | 2019-07-22 | 숭실대학교산학협력단 | 움직임에 따른 흐림 현상의 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101997436B1 (ko) * | 2015-04-10 | 2019-07-09 | 로베르트 보쉬 게엠베하 | 차량 모션 데이터를 사용하는 자동차 카메라에 의한 오브젝트 위치 측정 |
| EP3380368B1 (en) * | 2015-11-23 | 2019-09-25 | Robert Bosch GmbH | Object detection system and method thereof |
| US10546385B2 (en) * | 2016-02-25 | 2020-01-28 | Technion Research & Development Foundation Limited | System and method for image capture device pose estimation |
| EP3282422A4 (en) * | 2016-03-17 | 2019-01-09 | Nec Corporation | DEVICE, SYSTEM, METHOD AND PROGRAM FOR COUNTING PASSENGERS, AND VEHICLE DISPLACEMENT EXCHANGE COMPUTING UNIT, METHOD AND PROGRAM |
| US10457205B2 (en) * | 2017-03-16 | 2019-10-29 | Robotzone, Llc | Assisted trailer alignment system |
| US10266023B2 (en) * | 2017-05-01 | 2019-04-23 | Ford Global Technologies, Llc | System to automate hitching a trailer |
| US10802478B2 (en) * | 2017-10-19 | 2020-10-13 | Ford Global Technologies, Llc | Hitch assist system and method for autonomously maneuvering a vehicle in a user-specified target travel direction |
| US11198340B2 (en) * | 2018-05-01 | 2021-12-14 | Continental Automotive Systems, Inc. | Coupler and tow-bar detection for automated trailer hitching via cloud points |
| JP7167185B2 (ja) * | 2018-05-08 | 2022-11-08 | コンチネンタル オートモーティブ システムズ インコーポレイテッド | 視覚物体追跡装置 |
| US11669104B2 (en) | 2018-05-08 | 2023-06-06 | Continental Automotive Systems, Inc. | User-adjustable trajectories for automated vehicle reversing |
| BR112020024606A2 (pt) * | 2018-06-01 | 2021-05-11 | Paccar Inc | sistemas e métodos para apoio autônomo em recuperar um veículo para um reboque |
| AU2018426291A1 (en) * | 2018-06-01 | 2020-12-24 | Paccar Inc | Systems and methods for autonomously backing a vehicle to a dock |
| US10829045B2 (en) * | 2018-07-11 | 2020-11-10 | Continental Automotive Systems, Inc. | System and method for calibrating a motion estimation algorithm using a vehicle camera |
| DE102018212401B3 (de) * | 2018-07-25 | 2019-12-24 | Volkswagen Aktiengesellschaft | Verfahren und System zum automatischen Erkennen eines Ankuppelmanövers eines Kraftfahrzeugs an einen Anhänger |
| US11603100B2 (en) | 2018-08-03 | 2023-03-14 | Continental Autonomous Mobility US, LLC | Automated reversing by following user-selected trajectories and estimating vehicle motion |
| DE102018215982A1 (de) * | 2018-09-19 | 2020-03-19 | Zf Friedrichshafen Ag | Vorrichtung und -verfahren zur Steuerung eines Fahrzeugs für eine Wechselbrücke |
| KR102628012B1 (ko) | 2018-10-23 | 2024-01-22 | 삼성전자주식회사 | 캘리브레이션 방법 및 장치 |
| CN111179305B (zh) * | 2018-11-13 | 2023-11-14 | 晶睿通讯股份有限公司 | 对象位置估算方法及其对象位置估算装置 |
| US10593059B1 (en) * | 2018-11-13 | 2020-03-17 | Vivotek Inc. | Object location estimating method with timestamp alignment function and related object location estimating device |
| US11030476B2 (en) * | 2018-11-29 | 2021-06-08 | Element Ai Inc. | System and method for detecting and tracking objects |
| US10902634B2 (en) * | 2018-12-04 | 2021-01-26 | Here Global B.V. | Method and apparatus for providing feature triangulation |
| US11077730B2 (en) | 2018-12-27 | 2021-08-03 | Continental Automotive Systems, Inc. | Sensor mounting height estimation using load sensors |
| US11214105B2 (en) * | 2019-01-29 | 2022-01-04 | Ford Global Technologies, Llc | Saturated steering detection and operation for guided vehicle operation |
| US10933914B2 (en) * | 2019-01-31 | 2021-03-02 | Ford Global Technologies, Llc | Trailer hitching aid |
| JP7030732B2 (ja) * | 2019-02-27 | 2022-03-07 | エヌ・ティ・ティ・コムウェア株式会社 | 同一構造物検出装置、同一構造物検出方法及び同一構造物検出プログラム |
| JP7192582B2 (ja) * | 2019-03-11 | 2022-12-20 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
| EP3719696A1 (en) * | 2019-04-04 | 2020-10-07 | Aptiv Technologies Limited | Method and device for localizing a sensor in a vehicle |
| US10780752B1 (en) | 2019-04-09 | 2020-09-22 | Ford Global Technologies, Llc | Vehicle hitch ball detection system |
| WO2021007427A1 (en) * | 2019-07-09 | 2021-01-14 | Continental Automotive Systems, Inc. | Trailer body length detection system |
| US11427199B2 (en) * | 2019-08-22 | 2022-08-30 | Ford Global Technologies Llc | System for aligning a vehicle hitch location identifier with a trailer coupler |
| US20210155238A1 (en) * | 2019-11-26 | 2021-05-27 | Continental Automotive Systems, Inc. | 3d position estimation system for trailer coupler |
| DE102020106301A1 (de) | 2020-03-09 | 2021-09-09 | Zf Cv Systems Global Gmbh | Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug |
| DE102020106302A1 (de) | 2020-03-09 | 2021-09-09 | Zf Cv Systems Global Gmbh | Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug |
| DE102020106304A1 (de) | 2020-03-09 | 2021-09-09 | Zf Cv Systems Global Gmbh | Verfahren zum Steuern eines Fahrzeuges auf einem Betriebshof, Fahrt- Steuereinheit und Fahrzeug |
| WO2022056532A1 (en) * | 2020-09-11 | 2022-03-17 | Continental Automotive Systems, Inc. | Tow ball position detection system and method |
| CN112327864A (zh) * | 2020-11-17 | 2021-02-05 | 北京三快在线科技有限公司 | 一种无人驾驶设备的控制方法及控制装置 |
| US20220203786A1 (en) * | 2020-12-30 | 2022-06-30 | Continental Automotive Systems, Inc. | Method and assembly for positioning a vehicle relative to a trailer |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004004320A1 (en) * | 2002-07-01 | 2004-01-08 | The Regents Of The University Of California | Digital processing of video images |
| US7792330B1 (en) * | 2005-09-30 | 2010-09-07 | Mustang Technology Group, L.P. | System and method for determining range in response to image data |
| US20130226390A1 (en) * | 2012-02-29 | 2013-08-29 | Robert Bosch Gmbh | Hitch alignment assistance |
| WO2014116485A1 (en) * | 2013-01-22 | 2014-07-31 | Qualcomm Incorporated | Systems and methods for tracking and detecting a target object |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000161915A (ja) * | 1998-11-26 | 2000-06-16 | Matsushita Electric Ind Co Ltd | 車両用単カメラ立体視システム |
| JP3494434B2 (ja) * | 1999-10-21 | 2004-02-09 | 松下電器産業株式会社 | 駐車支援装置 |
| US6483429B1 (en) | 1999-10-21 | 2002-11-19 | Matsushita Electric Industrial Co., Ltd. | Parking assistance system |
| US6489922B1 (en) | 2000-04-22 | 2002-12-03 | American Gnc Corporation | Passive/ranging/tracking processing method for collision avoidance guidance and control |
| JP2004291673A (ja) | 2003-03-25 | 2004-10-21 | Denso Corp | センサ装置 |
| JP4355535B2 (ja) | 2003-08-07 | 2009-11-04 | 株式会社岩根研究所 | ３６０度画像変換処理装置 |
| DE102005022882A1 (de) * | 2005-05-18 | 2006-11-23 | Volkswagen Ag | Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera |
| US7379018B1 (en) | 2005-12-30 | 2008-05-27 | Valeo Raytheon Systems, Inc. | System and method for verifying a radar detection |
| US8199975B2 (en) | 2006-12-12 | 2012-06-12 | Cognex Corporation | System and method for side vision detection of obstacles for vehicles |
| JP2009139246A (ja) | 2007-12-07 | 2009-06-25 | Honda Motor Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび位置検出装置並びにそれを備えた移動体 |
| JP2009180536A (ja) * | 2008-01-29 | 2009-08-13 | Omron Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP5027746B2 (ja) | 2008-07-01 | 2012-09-19 | 株式会社トプコン | 位置測定方法、位置測定装置、およびプログラム |
| KR100939761B1 (ko) | 2008-10-02 | 2010-01-29 | 삼성전기주식회사 | 차량 장착용 카메라 유닛, 차량 외부 디스플레이 방법 및 드라이빙 코리더 마커 생성 시스템 |
| JP2011217300A (ja) * | 2010-04-02 | 2011-10-27 | Masamichi Tokuzawa | ３６０度ライブ・パノラマ配信システム |
| JP5484997B2 (ja) | 2010-04-12 | 2014-05-07 | オリンパス株式会社 | 蛍光観察装置および蛍光観察装置の作動方法 |
| FR2960082B1 (fr) | 2010-05-17 | 2012-08-10 | Commissariat Energie Atomique | Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position |
| JP5240527B2 (ja) | 2010-11-25 | 2013-07-17 | アイシン精機株式会社 | 車載カメラの校正装置、方法、及びプログラム |
| EP2993654B1 (en) * | 2010-12-07 | 2017-05-03 | Mobileye Vision Technologies Ltd. | Method and system for forward collision warning |
| US9242602B2 (en) | 2012-08-27 | 2016-01-26 | Fotonation Limited | Rearview imaging systems for vehicle |
| JP6097063B2 (ja) * | 2012-11-29 | 2017-03-15 | 株式会社タダノ | 高さ測定装置及び高さ測定方法 |
| EP3235773B8 (en) | 2012-09-21 | 2023-09-20 | Tadano Ltd. | Surrounding information-obtaining device for working vehicle |
| JP6257947B2 (ja) * | 2013-02-05 | 2018-01-10 | 株式会社タダノ | 作業車の周囲情報取得装置 |
| US20140085409A1 (en) | 2012-09-25 | 2014-03-27 | GM Global Technology Operations LLC | Wide fov camera image calibration and de-warping |
| US9098752B2 (en) * | 2013-08-09 | 2015-08-04 | GM Global Technology Operations LLC | Vehicle path assessment |
| US9037349B2 (en) * | 2013-08-27 | 2015-05-19 | Ford Global Technologies | Trailer identification system for trailer backup assist |
| KR101997436B1 (ko) * | 2015-04-10 | 2019-07-09 | 로베르트 보쉬 게엠베하 | 차량 모션 데이터를 사용하는 자동차 카메라에 의한 오브젝트 위치 측정 |
| US9821920B2 (en) * | 2015-08-18 | 2017-11-21 | Nextvr Inc. | Methods and apparatus for compensating for vehicular motion |
| US10328853B2 (en) * | 2017-01-16 | 2019-06-25 | Nio Usa, Inc. | Method and system for providing an escape route from a vehicle |
-
2016
- 2016-03-01 KR KR1020177028245A patent/KR101997436B1/ko active IP Right Grant
- 2016-03-01 WO PCT/US2016/020255 patent/WO2016164118A2/en active Application Filing
- 2016-03-01 EP EP16712577.2A patent/EP3280976B1/en active Active
- 2016-03-01 US US15/564,788 patent/US10423164B2/en active Active
- 2016-03-01 JP JP2017553142A patent/JP2018512593A/ja active Pending
- 2016-03-01 CN CN201680020729.2A patent/CN107567412B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004004320A1 (en) * | 2002-07-01 | 2004-01-08 | The Regents Of The University Of California | Digital processing of video images |
| US7792330B1 (en) * | 2005-09-30 | 2010-09-07 | Mustang Technology Group, L.P. | System and method for determining range in response to image data |
| US20130226390A1 (en) * | 2012-02-29 | 2013-08-29 | Robert Bosch Gmbh | Hitch alignment assistance |
| WO2014116485A1 (en) * | 2013-01-22 | 2014-07-31 | Qualcomm Incorporated | Systems and methods for tracking and detecting a target object |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101996169B1 (ko) * | 2018-01-12 | 2019-07-03 | 숭실대학교산학협력단 | 카메라 변위를 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 |
| KR20190086335A (ko) * | 2018-01-12 | 2019-07-22 | 숭실대학교산학협력단 | 움직임에 따른 흐림 현상의 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101997436B1 (ko) | 2019-07-09 |
| JP2018512593A (ja) | 2018-05-17 |
| WO2016164118A3 (en) | 2016-12-08 |
| US10423164B2 (en) | 2019-09-24 |
| EP3280976B1 (en) | 2019-11-20 |
| CN107567412B (zh) | 2020-11-24 |
| US20180181142A1 (en) | 2018-06-28 |
| WO2016164118A2 (en) | 2016-10-13 |
| CN107567412A (zh) | 2018-01-09 |
| EP3280976A2 (en) | 2018-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101997436B1 (ko) | 차량 모션 데이터를 사용하는 자동차 카메라에 의한 오브젝트 위치 측정 | |
| US9389093B2 (en) | Traffic signal recognition apparatus | |
| US9569673B2 (en) | Method and device for detecting a position of a vehicle on a lane | |
| CN109766757B (zh) | 一种融合车辆和视觉信息的泊车位高精度定位方法及系统 | |
| EP2485203B1 (en) | Vehicle-surroundings monitoring device | |
| JP2020064046A (ja) | 車両位置決定方法及び車両位置決定装置 | |
| CN106463051B (zh) | 信号机识别装置以及信号机识别方法 | |
| US10194059B2 (en) | Image processing apparatus and image processing method | |
| US20100315505A1 (en) | Object motion detection system based on combining 3d warping techniques and a proper object motion detection | |
| CN108154472B (zh) | 融合导航信息的泊车位视觉检测方法与系统 | |
| JP2019106026A (ja) | 車載環境認識装置 | |
| WO2015189847A1 (en) | Top-down refinement in lane marking navigation | |
| JP6787106B2 (ja) | 物体検知装置 | |
| WO2015175826A1 (en) | Systems and methods for detecting traffic signs | |
| JP2010282615A (ja) | ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム | |
| JP2018048949A (ja) | 物体識別装置 | |
| EP3935560A1 (en) | Method for training and using a neural network to detect ego part position | |
| JP2012198857A (ja) | 接近物体検知装置及び接近物体検知方法 | |
| EP3207523B1 (en) | Obstacle detection apparatus and method | |
| JP2018073275A (ja) | 画像認識装置 | |
| JP2019504986A (ja) | 自動車用視覚システム及び視覚システムを制御する方法 | |
| JP2020118575A (ja) | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム | |
| CN109522779A (zh) | 图像处理装置 | |
| JP6699323B2 (ja) | 電車設備の三次元計測装置及び三次元計測方法 | |
| KR20160125803A (ko) | 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |