KR20140109990A - 3d 카메라를 사용한 차량 주변의 높이 윤곽 확인 - Google Patents

3d 카메라를 사용한 차량 주변의 높이 윤곽 확인 Download PDF

Info

Publication number
KR20140109990A
KR20140109990A KR1020147020246A KR20147020246A KR20140109990A KR 20140109990 A KR20140109990 A KR 20140109990A KR 1020147020246 A KR1020147020246 A KR 1020147020246A KR 20147020246 A KR20147020246 A KR 20147020246A KR 20140109990 A KR20140109990 A KR 20140109990A
Authority
KR
South Korea
Prior art keywords
vehicle
camera
height
identifying
height contour
Prior art date
Application number
KR1020147020246A
Other languages
English (en)
Inventor
슈테판 헤게만
슈테판 하인리히
슈테판 뤼케
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
콘티넨탈 테베스 아게 운트 코. 오하게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하, 콘티넨탈 테베스 아게 운트 코. 오하게 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Publication of KR20140109990A publication Critical patent/KR20140109990A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법과 장치에 관한 것이다. 3D 카메라를 사용하여 차량 주변의 영상을 최소한 한 장 촬영한다. 3D 카메라의 영상 데이터에서 차량의 주행 방향 (1)에 대해 횡방향 (2)로 높이 윤곽선 (6)에 급격한 변화 영역 (7, 8)이 최소한 하나 있는지 여부를 조사한다.

Description

3D 카메라를 사용한 차량 주변의 높이 윤곽 확인 {DETERMINING A VERTICAL PROFILE OF A VEHICLE ENVIRONMENT BY MEANS OF A 3D CAMERA}
본 발명은 3D(공간 분해능) 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법과 장치에 관한 것이다.
DE 102009033219 A1은 어떤 차도의 차량 앞에 위치한 도로 윤곽을 확인하기 위한 방법과 장치를 나타낸다. 비디오 캡처 장치를 이용하거나 차량의 자체 동작 데이터에서 차량 앞에 위치한 차도의 도로 높이 윤곽을 측정한다. 이때 비디오 캡처 장치는 차량의 전면부에 고정 배치되어 있으며 두 대의 촬영 장치로 이루어진 카메라일 수 있다. 측정한 도로의 높이 윤곽에 따라 능동적 차체 조절이나 조절식 서스펜션을 조절할 수 있다.
현재의 기술 수준에 따른 방법과 장치에는 단점도 있다는 것이 드러났는 바, 왜냐하면 앞에 위치한 차도의 도로 높이 윤곽에 대한 기존의 고려는 모든 주행 상황을 충분히 고려하지 않기 때문이다.
본 발명의 과제는 이러한 단점을 극복하여 주행 상황에 대한 신뢰할 수 있는 평가를 내리는 것이다.
이러한 과제는 3D 카메라를 사용하여 차량 주변에 대한 최소한 하나의 영상을 촬영함으로서 해결된다. 3D 카메라의 영상 데이터에서 차량의 주행 방향에 대해 횡방향으로 주변 표면의 높이 윤곽선에 어떤 급격한 변화 영역이 최소한 하나 있는가를 조사한다.
차량의 주행 방향에 대해 횡방향으로 높이 윤곽선의 급격한 변화 영역을 조사하여 차도와 차량 주변에 대한 완전한 모델을 조사할 수 있으며, 이를 통해 거의 모든 주행 상황을 신뢰할 수 있게 평가할 수 있다. 또한 높아진 차도 경계 구역에 의해 제한되어 있거나 가파른 지대로 둘러싸여 있는 도로 또는 차도에서 특히 주행할 수 있는 구역을 조사할 수 있다. 높이 윤곽선을 조사하기 위해 특히 3D 카메라의 영상 데이터(부동 영상)에서 나온 깊이 해상도 데이터를 차량 좌표로 변형시킬 수 있다. 이러한 변형을 통해 3차원의 산점도가 나온다. 이 3D 산점도를 기반으로 하여 높이 맵(Height Map)을 만들 수 있다. 이를 위해 차량 앞의 정의된 구역을 지정한 개수의 셀로 나눌 수 있는 바, 이때 각 셀에 높이 값이 지정된다. 이 높이 값은 해당 셀에 있는 산점도의 최고 값으로서, 이 값은 1.5미터보다 낮은 것은 좋다. 이러한 위로의 제한은 교량과 같은 아주 높은 물체를 데이터에서 제외하는데 특히 유용하다.
유용한 한 모델 형태에서는 주행 방향에 대해 횡방향으로 여러 개의 라인을 따라 높이 윤곽선을 조사한다. 이 라인을 스캔 라인이라고도 한다. 이 라인을 따라 높이 윤곽선을 "스캔"하기 때문이다. 이 높이 윤곽선을 3D 카메라의 영상 데이터나 그 데이터에서 작성한 높이 맵에서 주행 방향에 대해 횡방향으로 특히 여러 라인을 따라 조사한다.
주행 방향에 대해 횡방향으로 여러 라인을 따라 높이 윤곽선을 조사하는 조사 구역을 높이 윤곽선의 이미 조사한 급격한 변화 영역으로 제한하는 것이 좋다. 급격한 높이 변화 영역을 어느 한 스캔 라인에서 감지하면, 이 급격한 높이 변화 영역에서 시작하여 평면적인 조사 단계를 멀리서 이 정보를 사용하여 축소된 조사 구역에서 작업하는 단계로 한정할 수 있다. 예를 들어, 스캔하기 위해 라인 구간을 사용할 수 있는 바, 즉 그 라인의 중심점은 조사한 급격한 높이 변화 영역의 (예를 들어, 인접한 스캔 라인의) 측면 위치에 있고 그 폭은 예컨대 일 미터 또는 50cm이다. 이렇게 함으로써 상당한 계산 자원을 절약할 수 있다.
특히 조사한 급격한 변화 영역(3D 영상 또는 높이 영상에서 나온 3D 에지 정보)을 차량 주변의 높이 윤곽에서 별도로 조사한 컬러 및/또는 회색조 영상 에지와 결합하여 정밀하게 할 수 있다. 3D 영상 데이터를 평가할 때 기본적으로 3D 카메라에서 나온 다음의 세 데이터 흐름을 이용할 수 있다: 영상, 광학적 흐름 및 변위 맵(부동 맵). 선호하는 이 모델 형태에서 그 기반은 변위 맵과 2D 카메라 영상이다. 스테레오 카메라인 경우 좌측 및 우측 카메라 모듈이 2D 카메라 영상을 제공할 수 있다. 카메라 영상에서 도로변이라고 볼 수 있는 가장자리를 감지할 수 있다. 하지만 이 정보가 단독으로는 항상 신뢰할 수 있지는 않는 바, 왜냐하면 그 가장자리가 연석처럼 높아지거나 낮아진 도로변 그룹에 속하지 않는 대상(타르 접합부, 그림자 등)에서 나온 것일 수 있기 때문이다. 하지만 이와 동시에 차량 주변의 높이 윤곽선에 있는 급격한 변화 영역은 언제나 칼라/회색조 영상에 있는 가장자리에 영향을 주는 바, 이 영상은 예컨대 스테레오 카메라의 두 촬영 장치 중 하나에 의해 감지되는 영상이다. 2D 영상 데이터에서 가장자리를 인식하기 위한 알고리즘에 의해, 예컨대 캐니(Canny) 또는 소벨(Sobel) 연산자에 의해 이 가장자리를 칼라/밝기의 변화 영역으로서 결정할 수 있다. 화소의 집중도 평가 또는 컬라 평가를 통해 인식된 이 가장자리를 예컨대 연석 구조물의 일반적인 속성과 비교하여 높이 레벨이 변화한 차도변을 식별할 수 있으며 차량 주변의 높이 윤곽을 3D 영상 데이터로부터 확인할 때 이 가장자리를 고려할 수 있다. 이 가장자리는 예컨대 급격한 높이 변화 영역의 위치나 분류를 정밀하게 하거나 타당화하는데 이용된다. 특히 스테레오 카메라인 경우 어떤 3D 화소나 변위 맵의 어떤 점 또는 높이 맵의 어떤 점에 어느 한 가장자리에 할당된 각 촬영 장치의 2D 화소가 해당되는지가 알려져 있다.
이 두 방법(3D에서 나온 급격한 높이 변화 영역 인식 및 2D에서 나온 가장자리 인식)에서 나온 데이터를 병합하기 위해서는 기본적으로 다음 두 가지 방법이 있다:
a) 상기 두 인식 방법은 서로 독립적으로 실행되지만 그 결과는 병합되거나,
b) 스테레오 데이터에 의한 급격한 높이 변화 영역 인식은 예건태 연석이 있는지 여부를 인식하고 적적한 가장자리가 영상에 있는지 여부를 점검하거나 또는
c) 2D 영상에서 가장자리를 찾고 적합한 가장자리가 있는 위치에서 깊이 해상도 데이터에 급격한 높이 변화 영역에 있는지 여부를 점검한다.
방법 b)에 따른 방법의 장점은 실제로 높아진/낮아진 도로 경계 구역만이 후보자로서 고려된다는 점이다.
2D 영상에서 가장자리를 인식하는 것에는 전처리(데이터 동기화, 회색조 영상 전환 및 교란 억제)와 캐니 에지 연산자를 통해 가장자리를 조사한 다음 먼 거리에서 전방을 계속 추적하는 윤곽 검색이 포함되어 있다는 장점이 있다. 3D 영상 데이터에서 이미 조사한 급격한 높이 변화 영역은 출발점으로 사용된다. 끝으로 윤곽 매칭도 실행할 수 있다.
본 발명의 유용한 발전 형태에 따르면 높이 윤곽선에 있는 최소한 하나의 조사한 급격한 변화 영역을 고려하여 최소한 하나의 차도변을 확인할 수 있다.
특히 연석 또는 경계석과 같이 높아진 차도 경계 구역을 차량의 주행 방향에 대해 횡방향으로 위치한 주변 표면의 높이 윤곽선에 있는 급격한 변화 영역의 규정된 최저 높이로 인식한다.
이를 위해 특히 차량 및/또는 주변 데이터에서 차량이 높아진 차도 경계 구역과 충돌할 위험이 있는지 여부를 조사한다. 이때 차량 데이터는 속도센서, 관성센서 및 조향각센서 등과 같은 차량 센서 장치의 데이터인 바, 이러한 데이터를 통해 자체 차량의 경로를 평가 또는 확인할 수 있다. 여기서 주변 데이터란 차량 주변에 관한 데이터로서, 근거리 센서 또는 통신 장치 등이 그 주변을 감지하여 그에 대한 데이터를 수신할 수 있다. 3D 카메라도 주변 데이터를 제공한다. 주변 데이터를 사용하여 차량의 경로를 분석함으로써 차량이 예컨대 연석과 충돌할 위험이 있는지 여부도 조사할 수 있다. 또한 연석의 높이에서 (즉 높이 윤곽선의 급격한 변화 영역에서) 그 연석을 넘어갈 수 있는지 또는 곤란한지, 즉 권장하지 않는지 여부를 확인할 수 있다. 충돌한 위험이 있으면 (경우에 따라 권장하지 않는 경우), 운전자에게 경고를 보내거나 또는 차량 제어에 개입함으로써 충돌을 방지한다. 이러한 개입은 특히 조향 및/또는 제동 개입으로서 이루어질 수 있다. 이렇게 함으로써 차량의 손상(예: 림, 타이어)을 방지할 수 있다.
선호하는 한 모델 형태에서는 차도변에 인접하고 있는 주변이 차도에 비해 낮은 것을 급격한 변화 영역의 지정된 최저 깊이에서 인식한다. 차량 및/또는 주변 데이터에서 차량이 차도에서 이탈할 위험이 있는지 여부를 조사할 수 있다. 이탈할 위험이 있는 경우 경고를 보내거나 차량 제어에 개입이 이루어져 차도에서 이탈하는 것을 방지한다. 이렇게 함으로써 인접한 차도에서 측면으로 이탈하는 것을 방지할 수 있다.
또한 높아진 차도 경계 구역을 기초로 하여 주행 방향에서 높이가 급격하게 변화한 영역에서 비탈지고/지거나 낮아진 연석을 인식할 수 있으며, 이러한 인식을 기초로 하여 차도에 대해 횡방향으로 차량이 진입하고/하거나 접근하는 것을 인식할 수 있다.
선호하는 모델 형태에서는 정차 또는 주차 과정에서 차량 제어로의 개입이 최소한 한 번 이루어지는 바, 이러한 개입에 의해 차량은 높아진 차도 경계 구역에 대해 평행으로, 그리고 그 구역에 대해 측면으로 지정된 거리를 두고 정지한다. 따라서 측면의 연석을 인식함으로써 운전자에게 최소한 반자동 주차 지원을 할 수 있다.
이와 동시에, 버스나 여객을 수송하는 다른 차량의 경우 연석을 인식함으로써 그리고 타이어의 손상을 방지하기 위한 조향 지원을 함으로써 정차한 상태에서 연석과 최적의 간격을 유지할 수 있다. 이로써 승객은 훨씬 쉽게 승하차를 할 수 있다.
3D 카메라로는 스테레오 카메라나 사진합성-카메라 또는 PMD 센서가 좋다.
더 나아가 본 발명에는 차량 주변의 높이 윤곽을 확인하기 위한 장치가 포함되어 있다. 이를 위해 차량의 주행 방향에 대해 횡방향으로 주변 표면의 높이 윤곽선에 있는 급격한 변화 영역을 최소한 하나 확인하기 위한 평가 수단 및 3D 카메라를 제공하고 있다.
이제 도면과 예시 모델을 사용하여 본 발명을 더 상세히 설명하겠다.
도 1 주행 방향에 대해 횡방향인 선으로서, 이 선을 따라 차량의 주변 표면에 있는 높이 윤곽선을 조사한다;
도 2 주행 방향에 대해 횡방향인 차량 주변 표면의 높이 윤곽선.
도 1에는 차량의 주행 방향 (1)에 대해 횡방향 (2)로 선 (5)를 따라 높이 윤곽선의 스캔이 도식적으로 도시되어 있다. 좌측 (3) 및 우측 (4)에서 높아진 차도 경계 구역을 차도에 대해 평행하게 인식할 수 있다. 차량이 정상적으로 주행할 때 높아진 차도 경계 구역 (3, 4)는 기본적으로 주행 방향 (1)에 대해 평행하게 진행된다.
도 2에는 전형적인 높이 윤곽선 (6)이 표시되어 있다. 이때 높이 h는 (횡방향) 지반 a에 따라 표시된다. 이 높이 윤곽선 (6)에는 두 개의 급격한 변화 영역 (7, 8)이 있다. 이 두 급격한 변화 영역 (7, 8) 사이로 차도가 진행한다. 좌측의 급격한 변화 영역 (7)은 높아진 차도 경계 구역 (3)을, 예를 들어 좌측 연석을 나타낸다. 여기에서 좌측 연석 (3)의 높이를 직접 조사할 수 있다. 이는 우측의 급격한 변화 영역 (8)에서도 마찬가지인 바, 이 영역은 예컨대 우측 연석 (4)를 가리킬 수 있다.
차량 앞에 위치한 차량 주변을 광학적으로 (피동적으로) 측정하기 위해 3D 카메라를 스테레오 카메라로서 사용한 경우 영상 데이터 (또는 부동 영상)의 깊이 해상도 데이터를 기반으로 높이 맵(Height Map)을 만들 수 있다. 주행 방향 (1)에 대해 횡방향 (2)로 놓여 있을 수 있는 여러 라인 (5)를 따라 이 높이 맵의 진행을 평가할 수 있다.
이 라인 중 최소한 하나의 라인을 따라 높이 윤곽선에서 급격한 변화 영역 (7, 8)이 인식되면, 높이 맵의 점/구역은 스테레오 카메라의 각 촬영 장치에 있는 2D 영상에 있는 화소/구역에 할당될 수 있다.
도 1의 스캔용 횡선이 없는 영상은 예를 들어 스테레오 카메라의 각 촬영 장치에 의해 촬영될 수 있을 것이다. 그 다음 2D 영상에서 가장자리 인식을 하기 전에 먼저 다음의 카메라 사진 전처리를 실행할 수 있다: 데이터 동기화, 회색조 영상 전환, 교란 억제. 3D 영상 데이터에서 이미 조사한 급격한 높이 변화 영역의 결과(화소 또는 구역)은 이제 출발점으로 사용된다. 거기서 윤곽 검색이 실행되는 바, 이 검색에서는 캐니 에지 연산자를 통해 가장자리를 조사한다. 이때 조사한 회색조 (또는 칼라) 가장자리를 먼 거리까지 전방으로 (즉 대체로 주행 방향으로) 계속 추적할 수 있다. 끝으로 윤곽 매칭도 실행할 수 있는 바, 이 매칭에서는 조사한 윤곽이 차도 경계 구역과 일치하는가를 점검한다.
이러한 방법은 3D 영상 데이터에서 조사한 잠정적인 차도 경계 구역을 확보한다는 장점이 있는 바, 여기서는 실제로 높아진/낮아진 차도 경계 구역이 있는 영상 구역만을 후보자로서 고려하기 때문이다. 이를 위해 높이 윤곽선에서 급격한 변화 영역이 인식되지 않은 영상 구역에서 불필요한 가장자리 인식을 실행할 필요가 없다.

Claims (12)

  1. 3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법으로서,
    3D 카메라를 사용하여 차량 앞에 위치한 주변에 대해 최소한 하나의 영상을 촬영하는 바, 그 특징은 3D 카메라의 영상 데이터에서 차량의 주행 방향 (1)에 대해 횡방향 (2)로 높이 윤곽선 (6)에 있는 급격한 변화 영역 (7, 8)을 최소한 하나 조사하는,
    3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법.
  2. 제 1 항에 있어서,
    높이 윤곽선 (6)을 주행 방향 (1)에 대해 횡방향 (2)로 여러 라인 (5)를 따라 조사하는,
    3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법.
  3. 제 2 항에 있어서,
    높이 윤곽선 (6)을 주행 방향 (1)에 대해 횡방향 (2)로 여러 라인 (5)를 따라 조사하는 조사 구역이 높이 윤곽선 (6)에 있는 이미 조사한 급격한 변화 영역 (7, 8)에 따라 제한되는,
    3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    가장자리가 3D 카메라의 2D 영상 데이터에서 가장자리를 인식하기 위한 알고리즘에 의해 확인되는 바, 이 가장자리는 칼라 및/또는 회색조 영상으로 표시되며 3D 영상 데이터를 바탕으로 하여 차량 주변의 높이 윤곽을 확인할 때 이 가장자리를 고려하는,
    3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    높이 윤곽선 (6)에 있는 최소한 하나의 조사한 급격한 높이 변화 영역 (7, 8)을 고려하여 최소한 하나의 차도변이 확인되는,
    3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법.
  6. 제 5 항에 있어서,
    높아진 차도 경계 구역 (3, 4)가 높이 윤곽선 (6)에 있는 급격한 변화 영역 (7, 8)의 지정된 최소 높이에서 인식되는,
    3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법.
  7. 제 6 항에 있어서,
    차량 및/또는 주변 데이터에서 차량이 높아진 차도 경계 구역 (3, 4)와 충돌할 위험이 있는지 여부를 조사하며, 충돌할 위험이 있는 경우 경고를 보내거나 차량 제어에 개입하여 충돌을 방지하는,
    3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법.
  8. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
    차도변에 인접하고 있는 주변이 차도에 비해 낮은 것을 급격한 변화 영역 (7, 8)의 지정된 최저 깊이에서 인식하며, 차량 및/또는 주변 데이터에서 차량이 차도에서 이탈할 위험이 있는지 여부를 조사하여, 이탈할 위험이 있으면 경고를 보내거나 차량 제어에 개입하여 차도에서 이탈하는 것을 방지하는,
    3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법.
  9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
    높아진 차도 경계 구역을 기초로 하여 주행 방향에서 높이가 급격하게 변화한 영역에서 비탈지고/지거나 낮아진 연석을 인식할 수 있으며, 이러한 인식을 기초로 하여 차도에 대해 횡방향으로 차량이 진입하고/하거나 접근하는 것을 인식하는,
    3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법.
  10. 제 6 항 내지 제 9 항 중 어느 한 항에 있어서,
    정차 또는 주차 과정에서 차량 제어로의 개입이 최소한 한 번 이루어지는 바, 이러한 개입에 의해 차량은 높아진 차도 제한 구역 (3, 4)에 대해 평행으로, 그리고 그 구역에 대해 측면으로 지정된 거리를 두고 정지하는,
    3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    3D 카메라는 스테레오 카메라인,
    3D 카메라를 사용하여 차량 주변의 높이 윤곽을 확인하기 위한 방법.
  12. 3D 카메라를 포함하여 높이 윤곽을 확인하기 위한 장치에 있어서,
    차량의 주행 방향 (1)에 대해 횡방향 (2)로 주변 표면의 높이 윤곽선 (6)에 있는 급격한 변화 영역 (7, 8)을 최소한 하나 확인하기 위한 측정 수단이 제공되어 있는 것을 특징으로 하는,
    3D 카메라를 포함하여 높이 윤곽을 확인하기 위한 장치.
KR1020147020246A 2011-12-20 2012-12-17 3d 카메라를 사용한 차량 주변의 높이 윤곽 확인 KR20140109990A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011056671A DE102011056671A1 (de) 2011-12-20 2011-12-20 Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
DE102011056671.6 2011-12-20
PCT/DE2012/100384 WO2013091620A1 (de) 2011-12-20 2012-12-17 Bestimmung eines höhenprofils einer fahrzeugumgebung mittels einer 3d-kamera

Publications (1)

Publication Number Publication Date
KR20140109990A true KR20140109990A (ko) 2014-09-16

Family

ID=47678433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147020246A KR20140109990A (ko) 2011-12-20 2012-12-17 3d 카메라를 사용한 차량 주변의 높이 윤곽 확인

Country Status (6)

Country Link
US (1) US20140320644A1 (ko)
EP (1) EP2795537A1 (ko)
JP (1) JP6238905B2 (ko)
KR (1) KR20140109990A (ko)
DE (2) DE102011056671A1 (ko)
WO (1) WO2013091620A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012101085A1 (de) 2012-02-10 2013-08-14 Conti Temic Microelectronic Gmbh Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera
JP6194604B2 (ja) * 2013-03-15 2017-09-13 株式会社リコー 認識装置、車両及びコンピュータが実行可能なプログラム
KR102153030B1 (ko) 2013-11-05 2020-09-07 현대모비스 주식회사 주차 지원 장치 및 방법
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
DE102013224791A1 (de) * 2013-12-03 2015-06-03 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung von wenigstens einer Fahrspurmarkierung einer einem Fahrzeug vorausliegenden Fahrspur
EP3007099B1 (en) 2014-10-10 2022-12-07 Continental Autonomous Mobility Germany GmbH Image recognition system for a vehicle and corresponding method
US20160321810A1 (en) * 2015-04-28 2016-11-03 Pixart Imaging (Penang) Sdn. Bhd. Optical navigation sensor, electronic device with optical navigation function and operation method thereof
DE102016215840A1 (de) 2016-08-23 2018-03-01 Volkswagen Aktiengesellschaft Verfahren zur Erfassung von im Fahrzeugumfeld befindlichen Bordsteinen
JP6874319B2 (ja) * 2016-10-12 2021-05-19 日産自動車株式会社 走路境界監視方法及び走路境界監視装置
US10078334B2 (en) * 2016-12-07 2018-09-18 Delphi Technologies, Inc. Vision sensing compensation
WO2018193577A1 (ja) * 2017-04-20 2018-10-25 三菱電機株式会社 駐車支援制御装置および駐車支援制御方法
DE102017004642A1 (de) 2017-05-15 2017-12-14 Daimler Ag Verfahren und Vorrichtung zur Bestimmung eines Höhenprofils eines einem Fahrzeug vorausliegenden Fahrbahnabschnitts
DE102018129485A1 (de) * 2018-11-22 2020-05-28 Trw Automotive Gmbh Verfahren sowie System zur Bestimmung eines Fahrkorridors
CN109976348A (zh) * 2019-04-11 2019-07-05 深圳市大富科技股份有限公司 一种车辆及其运动控制方法、设备、存储介质
DE102019110216A1 (de) * 2019-04-17 2020-10-22 Zf Friedrichshafen Ag Verfahren zum Erfassen von für ein Fahrzeug zur Verfügung stehenden künftigen Fahrspuren sowie Steuergerät, Fahrzeug, Computerprogramm und computerlesbarer Datenträger
CN110942481B (zh) * 2019-12-13 2022-05-20 西南石油大学 一种基于图像处理的纵跳检测方法
DE102020201000B3 (de) 2020-01-28 2021-07-29 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug
DE102021101133A1 (de) 2021-01-20 2022-07-21 Valeo Schalter Und Sensoren Gmbh Detektion eines lateralen Endes einer Fahrbahn
CN117087675B (zh) * 2023-10-10 2024-04-12 镁佳(北京)科技有限公司 一种车辆通过性的检测方法、装置、设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021411A (ja) * 1996-07-05 1998-01-23 Nissan Motor Co Ltd 走行路認識装置
US20020176608A1 (en) * 2001-05-23 2002-11-28 Rose David Walter Surface-profiling system and method therefor
DE10392601D2 (de) * 2002-08-09 2005-02-03 Conti Temic Microelectronic Verkehrsmittel mit einer 3D-Entfernungsbildkamera und Verfahren zu dessen Betrieb
JP4092308B2 (ja) * 2004-06-02 2008-05-28 トヨタ自動車株式会社 境界線検出装置
DE102004057296A1 (de) * 2004-11-26 2006-06-08 Daimlerchrysler Ag Lane-Departure-Warning mit Unterscheidung zwischen Fahrbahnrandmarkierung und baulicher Begrenzung des Fahrbahnrandes
DE102005039167A1 (de) * 2005-08-17 2007-02-22 Daimlerchrysler Ag Fahrerassistenzsystem zur Fahrerwarnung bei einem drohenden Verlassen der Fahrspur
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
CA2699621A1 (en) * 2007-06-08 2008-12-11 Tele Atlas N.V. Method of and apparatus for producing a multi-viewpoint panorama
JP5163164B2 (ja) * 2008-02-04 2013-03-13 コニカミノルタホールディングス株式会社 ３次元計測装置
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
DE102009033219A1 (de) 2009-01-23 2010-07-29 Daimler Ag Verfahren zur Ermittlung eines Fahrzeug vorausliegenden Straßenprofils einer Fahrspur
JP5171723B2 (ja) * 2009-04-27 2013-03-27 アルプス電気株式会社 障害物検知装置、および当該装置を搭載した車両
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
DE102010020688A1 (de) * 2010-05-15 2011-05-19 Daimler Ag Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug

Also Published As

Publication number Publication date
WO2013091620A1 (de) 2013-06-27
JP6238905B2 (ja) 2017-11-29
DE102011056671A1 (de) 2013-06-20
DE112012004831A5 (de) 2014-08-28
JP2015510105A (ja) 2015-04-02
US20140320644A1 (en) 2014-10-30
EP2795537A1 (de) 2014-10-29

Similar Documents

Publication Publication Date Title
KR20140109990A (ko) 3d 카메라를 사용한 차량 주변의 높이 윤곽 확인
USRE48106E1 (en) Detection of obstacles at night by analysis of shadows
CN109844762B (zh) 车载用图像处理装置
US11087148B2 (en) Barrier and guardrail detection using a single camera
CN100403332C (zh) 用于车道偏离报警的车道线鲁棒识别方法
JP4650079B2 (ja) 物体検出装置、および方法
US9569675B2 (en) Three-dimensional object detection device, and three-dimensional object detection method
US9591274B2 (en) Three-dimensional object detection device, and three-dimensional object detection method
KR101395089B1 (ko) 장애물 감지 시스템 및 방법
CN104916163B (zh) 泊车位检测方法
RU2636120C2 (ru) Устройство обнаружения трехмерных объектов
RU2698610C2 (ru) Способ и блок обработки для управления системой наблюдения за дорожным движением
KR101265110B1 (ko) 랜드마크를 이용한 조향 제어 장치 및 방법
RU2616538C2 (ru) Устройство обнаружения трехмерных объектов
WO2017145600A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN105955259A (zh) 基于多窗口实时测距的单目视觉agv的精确定位方法及系统
CN104520894A (zh) 路旁物检测装置
CN103837139A (zh) 不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法
US9589193B2 (en) Three-dimensional object detection device and three-dimensional object detection method
WO2017145605A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2017145634A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN104115203A (zh) 立体物检测装置
KR101406316B1 (ko) 차선 인식 장치 및 그 방법
CN104115204A (zh) 立体物检测装置
Leu et al. High speed stereo vision based automotive collision warning system

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid