KR101947209B1 - 차량과 객체 사이의 상대 위치 결정 방법 - Google Patents

차량과 객체 사이의 상대 위치 결정 방법 Download PDF

Info

Publication number
KR101947209B1
KR101947209B1 KR1020147000807A KR20147000807A KR101947209B1 KR 101947209 B1 KR101947209 B1 KR 101947209B1 KR 1020147000807 A KR1020147000807 A KR 1020147000807A KR 20147000807 A KR20147000807 A KR 20147000807A KR 101947209 B1 KR101947209 B1 KR 101947209B1
Authority
KR
South Korea
Prior art keywords
vehicle
camera system
movement
relative
video images
Prior art date
Application number
KR1020147000807A
Other languages
English (en)
Other versions
KR20140039046A (ko
Inventor
토마스 쇼이얼레
마르쿠스 슈나이더
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20140039046A publication Critical patent/KR20140039046A/ko
Application granted granted Critical
Publication of KR101947209B1 publication Critical patent/KR101947209B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량(10)과 차량으로부터 옆에 위치하는 객체(12) 사이의 상대 위치를 결정하기 위한 방법과, 이러한 방법을 실행하기 위한 컴포넌트들을 포함한 개장 키트에 관한 것이다. 우선, 객체(12)의 감지가, 차량(10)이 객체(12)의 옆을 지나서 이동할 때, 하나 이상의 측면 객체 감지 센서(14)를 통해 수행된다. 차량 이동(30)의 감지는 차량(10) 내에 배치되어 상이한 촬영 시점들(48, 50)에서 비디오 이미지들(36, 38)을 생성하는 카메라 시스템(22)을 통해 수행된다. 이어서 감지된 차량 이동(30)은, 차량 내 카메라 시스템(22)의 장착 위치(44), 하나 이상의 객체 감지 센서(14)의 위치, 및 기준점(46)에 연계된다. 이어서, 상대 위치가 앞서 감지된 객체(12)와 관련하여 차량(10)을 변경하기 위해 결정된다.

Description

차량과 객체 사이의 상대 위치 결정 방법{METHOD FOR DETERMINING A RELATIVE POSITION BETWEEN A VEHICLE AND AN OBJECT}
본 발명은 차량과 객체 사이의 상대 위치를 결정하기 위한 방법뿐 아니라, 이러한방법을 실행하기 위한 장치에 관한 것이다.
DE 10 2006/010295 A1은 도로 교통에서 객체 감지를 위한 스테레오 카메라 시스템에 관한 것이다. 속도 감지를 위해 카메라 시스템이 이용된다. 상기 카메라 시스템은 서로 상이한 2개 이상의 이미지 센서를 포함한다. 개별 이미지 센서들의 촬영 범위들은 적어도 부분적으로 중첩되고 이미지 센서들의 데이터는 3D 이미지로 결합된다. 특별한 구현예에 따라, 서로 상이한 스펙트럼 범위에서 민감한 이미지 센서들이 제공된다.
DE 10 2005/003 354 A1은 속도, 특히 충돌 객체와 차량 사이의 상대 속도를 감지하기 위한 카메라에 관한 것이다. 충돌 객체와 차량 사이의 상대 속도 및 거리는 차량에 충돌 객체가 접근하는 과정 동안 서로 상이한 측정 시간에 감지된다. 가능한 충돌 시점들은 상대 속도 및 거리의 측정값들에 따라 사전 계산된다. 상대 속도 및 거리의 측정값들 및/또는 사전 계산된 가상 충돌 시점들은 측정 시간과 함께 저장되고 충돌 객체와 차량의 실제 충돌 시점이 획득된다. 실제 충돌 시점은 사전 계산 가능한 충돌 시점들과 비교되고, 상대 속도의 측정값은 해당되는 사전 계산된 가능한 충돌 시점이 실제 충돌 시점으로부터 최소의 편차를 나타내도록 선택된다.
DE 10 221 513 A1은 속도를 결정하기 위한 이미지 분석을 개시하고 있다. 여기서는, 변형된 표시 이미지로서, 디스플레이 유닛 상에, 폭-높이 비율의 관점에서 원본 형식(original format)과 다른 표시 형식(display format)으로 원본 형식에서 전자 방식으로 획득된 원본 이미지를 표시하기 하기 위한 방법이 개시된다. 하나 이상의 병진 성분을 포함한 변형 함수가 결정되고, 이러한 변형 함수는 원본 좌표를 표시 좌표로 변환하며, 이미지의 주 영역은 변형되지 않는 방식으로, 그리고 이미지의 보조 영역은 변형되는 방식으로 결상된다.
전형적으로, 운전자 보조 시스템들은 지정된 주행 상황에서 운전자를 보조하기 위해 차량 내에 하나 이상의 보조 장치를 제공한다. 상기 보조 장치들 내지 서브시스템들은 예컨대 SDW(측면 경고 시스템), ABS(안티록 브레이크 시스템), ESP(전자 주행 안전 제어 장치), 적응형 크루즈 컨트롤("Adaptive Cruise Control", ACC) 또는 주차 거리 컨트롤("Park Distance Control", PDC)이다.
특히 주차 조작(parking maneuver)과 같은 좁은 경로 설정 상황들에서, 또는 운전자가 단지 제한된 경로 설정 가능성만을 갖는 상황들에서, 운전자 보조 시스템들은 운전자를 보조할 수 있다. 이를 위해, 운전자 보조 시스템들은 전형적으로 수동형 스티어링 가이드, 다시 말하면 운전자의 능동형 조향 개입이 제외된 스티어링 가이드를 포함한다. 이러한 방식으로, 운전자는 종 주차 또는 횡 주차 동안 보조받을 수 있다. 상기 운전자 보조 시스템들은 적어도 부분적으로 대량 생산 방식으로 차량에 통합될 수 있으며, 초음파 기반의 주차 거리 컨트롤은 비전문가가 설치할 수 있는 개장(retrofit) 키트로서도 구입 가능하다.
또한, 어려운 상황에서, 따라서 예컨대 실내 주차장에서 주차 조작 시에 시청각적 경고 및 정보 제공을 통해 운전자를 보조하는 운전자 보조 시스템들도 존재한다. 후방 카메라를 기반으로 하는 주차 거리 컨트롤은 가능한 실시예에서 용이하게 설치되는 자가 개장 키트로서 구현될 수 있다. 차량에 간편하게 장착될 수 있는 개장 키트들은 초음파 기반의 주차 보조 장치이다.
또한, 차량 옆의 객체들에 대한 거리 경고가 수행되는 측면 경고 시스템들(SDW)도 공지되어 있으며, 이러한 경우 상기 객체들은 사전에 옆을 지나서 이동하는 동안 거리 센서 장치에 의해 감지되고, 옆을 지나서 이동하는 차량에 상대적인 위치와 관련하여 추적된다. 그에 따라, 상기 객체들은 경고 시점에 더 이상 거리 센서 장치에 의해 감지되지 않아도 되며, 이는 측면 센서들의 절약으로 이어진다. 이와 관련하여, "가상 측면 센서들"이란 개념도 널리 알려져 있다. 상기 시스템들은, 객체들 및 장애물들이 현재 센서 장치의 감지 범위 이내에 위치해 있지 않더라도, 객체들 및 장애물들에 대해 경고 및 정보 제공이 가능하며 센서 장치는 초음파 또는 레이더(radar)를 기반으로 할 수 있다는 점에서, 종래의 파크 파일럿 기능성(park pilot funtionality)과 구별된다. 이는, 상기 시스템들이 환경으로부터 내부에 카드나 필적하는 정보 구조를 형성하고 위험 요소를 식별하기 위한 토대로서 현재의 차량 위치에 대한 상기 카드나 정보 구조를 이용하는 것을 통해 가능하다. 이러한 이유에서, 상기 유형의 시스템들은 주행 기록계, 다시 말해 현재의 주행 위치를 제공하는 서브시스템을 필요로 한다.
측면 경고 시스템들의 이용 시 확고해 지는 어려움은, 객체들이 더 이상 감지되지 않는 시간 동안 객체 위치들의 결정을 위해, 객체들에 대해 상대적으로 차량 이동이 매우 정확하게 결정되어야 하는 상황이다. 그 이유는, 실제 위치로부터의 편차, 따라서 예컨대 약 10㎝의 크기로 실행되는 편차의 추정은 무조건 예컨대 차량의 사이드 미러와 상기 객체의 충돌을 야기할 수 있기 때문이다.
이러한 이유에서, 측면 경고 시스템들의 지금까지 공지된 실시예들에 따라서, 강제적으로 차량의 ESP 또는 ABS 시스템의 거리 정보를 활용해야만 한다. 그러나 이는 다시금 차량 내부의 CAN 버스(컨트롤러 영역 네트워크 버스)에 대한 액세스와, 각각 평가할 CAN 메시지(들)의 정확한 정보를 전제로 한다.
특히 개장 가능한 시스템들의 경우, 차량 내부의 CAN 버스에 대한 액세스는 특히 어렵거나, 결코 가능하지 않다. 그럼으로써 매우 높은 비용으로만, 개장 키트의 형태로 측면 경고 시스템(SDW)을 제공할 수 있다.
본 발명에 따라서, 비디오 정보를 기반으로 사전에, 예컨대 옆을 지나가는 이동 범위에서 감지된 객체에 대해 차량의 차량 이동을 결정하는 것이 제안된다. 이를 위해, 예컨대 차량의 후방 부분에서, 차량의 회전 중심, 예컨대 뒤 차축의 중심과 관련하여 사전 정의된 장착 위치에서 비디오 카메라가 차량 안쪽에 배치된다. 바람직하게는, 비디오 카메라의 이미지가 주변에 상대적으로 카메라의 이동의 관점에서 평가된다. 감지된 이동은 계산에 의해 카메라 및 객체 감지 센서들의 장착 위치에 대해 세팅된다. 이러한 경우, 객체 센서들은 예컨대 초음파 센서들로서 차량의 전방 측면에 장착될 수 있는 SDW 센서들을 나타낼 수 있다.
관계에 따라서, 사전에 감지된 객체에 대해 차량의 상대적 위치 변화가 결정된다.
본 발명에 따라 제안되는 해결방법에 따라서, 비디오 이미지들의 변위를 기반으로 식별된 차량 이동과, 초음파 거리 센서들을 통한, 다시 말하면 차량의 측면에 장착된 SDW 센서들을 통한 객체 감지로부터 제공되는 정보의 결합이 실행된다. 바람직하게는, 본 발명에 따라 제안되는 해결방법의 경우, 예컨대 차량의 후방 부분에 고정 설치될 수 있는 비디오 카메라가 이용되며, 이러한 비디오 카메라는, 개장 가능하게 형성되고 예컨대 초음파 원리에 따라 기능하는 거리 감지 센서들과 마찬가지로 차량 내에 장착된다. 개장 키트는 정확하게 후방 측에 장착된 상기 비디오 카메라와, 음향에 의하든 혹은 시각적이든 신호 송출부를 구비한 제어 장치와, 차량 측면에 장착되고 바람직하게는 초음파 거리 측정의 원리에 따라서 기능하는 2개의 거리 감지 센서에 대한 연결부를 포함한다.
차량의 감지된 이동은 바람직하게는 계산에 의해 비디오 카메라 및 객체 감지 센서들의 고정된 장착 위치와 차량 회전점에 대해 세팅된다. 또한, 본 발명에 따라 제안되는 차량의 이동의 감지는 수동형 주차 보조 장치(passive parking assistance)를 위해서도 활용할 수 있다. 상기 수동형 주차 보조 장치는, 조향 및 운전 지시로 운전자가 사전에 계산된 궤적을 따라서 이동하게 하고 바람직하게는 후진 방향으로 진행되는 주차 조작을 보조하는, 차량의 운전자를 위한 보조 시스템을 의미한다.
본 발명에 따라 제안되는 해결방법을 통해, 차량 내부의 데이터 버스, 예컨대 차량 내부의 CAN 데이터 버스에 대한 액세스가 필요하지 않다. 그럼으로써 예컨대 ABS 시스템 또는 ESP 시스템처럼 차량에 내장된 또 다른 시스템과의 연계 없이 자립형 시스템을 제조할 수 있으며, 그럼으로써 개장 시트의 설계는 앞서 언급한 액세스 요건이 배제된 조건에서 실현할 수 있게 된다. 그럼으로써 차량 이동을 결정하고 충돌을 확인하기 위한, 본 발명에 따라 제안되는 시스템에 따르는 개장 키트는 매우 경제적으로 소수의 컴포넌트만을 포함하여 형성될 수 있다.
본 발명에 따라 제안되는 개장 키트의 컴포넌트들은, 측면 거리 경고(SDW)를 위한 2개 이상의 센서와, 제어 장치와, 후방에 장착 가능한 비디오 카메라와, 언급한 컴포넌트들 사이의 상응하는 데이터 전송 라인들이다.
본 발명에 따라 제안되는 해결방법의 이용 시, 개장 키트를 통해, 종래에 차량에 내장된 주행 기록계에 추가로 광학 주행 기록계가 적용되는데, 종래의 주행 기록계는 휠 펄스 인코더를 기반으로 기능한다. 차량에 내장된 종래의 주행 기록계에 추가로 이용되는 광학 기하구조를 통해, 종래의 주행 기록계의 정밀도 및 가용성은 특히 저속의 차량 속도 범위에서 증가될 수 있다. 이러한 범위에서, 차량에 내장된 대부분의 휠 펄스 인코더는 신뢰성 있는 주행 방향 정보를 제공하지 않지만, 상기 주행 방향 정보는 본 발명에 따라 제안되는 장치의 광학 주행 기록계를 통해 광학 주행 기록계의 이용하에 지원될 수 있다.
본 발명은 도면에 따라서 하기에서 더욱 자세하게 기술된다.
도 1은 측면에 배치된 객체를 통과하는 차량의 제1 주행 상황이다.
도 2는 객체를 통과한 후에, 객체에 접근할 때, 도 1에 따른 차량의 제2 주행 상황이다.
도 3은 객체 감지로부터 획득된 정보와, 차량의 내부에서 비디오 카메라를 통해 촬영되고 비디오 이미지 평가에 따르는 차량 이동의 추적의 결합을 나타낸 개략도이다.
하기에는 본 발명에 따라 제안된 해결방법이 일 실시예에 따라 기술되며, 이러한 실시예에 따라서 카메라 시스템, 특히 비디오 카메라가 차량(10)의 후방 부분에 배치되어 차량(10) 후방의 영역을 감지한다. 마찬가지로 적합하게는, 차량의 앞유리의 영역에, 또는 옆유리들 중 하나의 옆유리 상에 카메라 시스템(22)을 설치할 수도 있다. 중요한 사항은, 카메라 시스템(22)의 고정된 장착 위치, 및 제어 장치(18)로 전송되는 이미지들, 특히 비디오 이미지들을 연속해서 촬영하는 상기 카메라 시스템의 성능이다. 도 1에는, 차량(10)의 좌측 옆에 위치하는 객체(12)를 따라 차량(10)이 통과하는 모습이 도시되어 있다.
도 1에 따르면, 차량(10)이 주행 방향(16)으로 이동하는 것을 알 수 있다. 도 1에 따른 실시예에서 차량(10)의 측면에서 차량(10)의 좌측 측면에 예컨대 고정된 객체(12)가 위치한다. 상기 객체(12)는 주행 방향(16)으로 차량(10)의 이동 동안 특히 차량(10)의 측면에 위치된 객체 감지 센서(14)에 의해 감지된다. 객체 감지 센서들(14)의 경우, 예컨대 차량(10)의 펜더 영역에 배치되어 기계적으로 배치된 연결 라인들(20)을 통해 제어 장치(18)로 데이터를 전송하는 초음파 센서들일 수 있다. 제어 장치(18)는 차량(10)의 전원 공급 장치와 연결되어 있지만, 차량과 측면에 위치하는 객체(12) 사이의 상대 위치를 결정하기 위한 개장 키트의 개장 가능한 컴포넌트를 나타낸다. 또한, 차량(10)에, 특히 후방 부분에 카메라 시스템(22)이 제공된다. 카메라 시스템(22)은 차량(10)의 후방에 위치하고 예컨대 도 1에 도시된 것처럼 지면 구조(26)를 포함하는 감지 범위(24)를 감지한다. 카메라 시스템(22)은, 데이터 교환을 위해, 마찬가지로 하나 이상의 연결 라인(20)을 통해 마찬가지로 예컨대 차량(10)의 루프 라이닝에 배치된 제어 장치(18)와 연결된다. 카메라 시스템(22)은 특히 연속해서 비디오 이미지들을 촬영하는 비디오 카메라로서 제공되고, 상기 비디오 이미지들로부터 차량 이동이 결정되므로, 예컨대 주행 방향(16)으로 차량(10)의 궤적(30)이 결정된다. 최초에 이미 언급한 것처럼, 카메라 시스템(22)은 차량(10)의 후방 부분에 배치되는 대신, 측면에서 차 실내의 내부에도, 또는 차량(10)의 앞유리의 영역에도 배치될 수 있다.
도면 부호 46으로는 예컨대 차량(10)의 뒤 차축의 중심에 의해 표시될 수 있는 기준점이 표시되어 있다. 기준점(46)으로서는 차량(10)의 차체의 또 다른 고정점도 선택할 수 있으며, 따라서 예컨대 후륜 구동 장치를 장착한 차량의 경우, 변속기 터널 등을 선택할 수 있다. 본 발명에 따르는 카메라 시스템(22)은 차량(10)의 내부에서 정해진 장착 위치(44)에 장착되며, 여기서는 예컨대 차량(10)의 후면 유리 직후의 후방 부분에 장착된다.
연결 라인들(20)을 통해 제어 장치(18)와 연결된 객체 감지 센서들(14)은 예컨대 차량(10)의 길이방향 측에 대해 수직으로 연장되는 초음파 신호들을 송출하며, 이러한 초음파 신호들은 파장 전파(28)에 의해 표시되어 있다.
장착 위치(44)[도 1에 따른 실시예의 경우 차량(10)의 후방 부분]에 장착된 카메라는 서로 상이한 촬영 시점(48)에 위치(50)에서 연속해서 비디오 이미지들을 촬영하며, 이러한 비디오 이미지들은 마찬가지로 연속해서 제어 장치(18)로 전송된다.
도 2에는, 차량이 장애물(12)을 비록 옆에서 통과하기는 했지만, 그에 상응하는 조향 각을 바탕으로 상기 장애물에 접근하는 차량(10)의 주행 상황을 알 수 있다.
도 2에는, 차량(10)의 주행 방향이 변경되었음을 알 수 있다. 도 1에서 주행 방향(16)으로 직진 주행한 것에 반해, 도 2에 도시된 것처럼 차량은 궤적(30)에 따라서 좌측 방향으로 이동되었고, 앞서 통과할 때 객체 감지 센서들(14)의 초음파 신호들(28)을 통해 감지된 객체(12)에 최소 거리에 이를 때까지 접근하였다. 또한, 도 2에는, 차량(10)의 후방 부분에서 카메라 시스템(22)을 통해 감지된 감지 범위(24)도, 주행 방향(16)으로 차량의 직진 주행 시 제1 촬영 시점(48)에 카메라 시스템(22)에 의해 감지된 영역과 비교하여 변경된 것이 도시되어 있다. 이는, 제1 촬영 시점(48)에 촬영된 비디오 이미지는 제2 촬영 시점(50)(도 2 참조)에 차량(10)의 좌향 이동 시 촬영된 제2 비디오 이미지(38)와 다르다는 것을 의미한다. 두 비디오 이미지(36, 38)는 서로 상이한 촬영 시점(48, 50)에 카메라 시스템(22)에 의해 생성되며, 두 비디오 이미지로부터 차량의 주변과 관련된 차량(10)의 상대 이동이 결정될 수 있다.
완벽함을 기하기 위해 언급하면, 차량(10)은 객체(12)에 상대적인 위치에 개장 키트의 동일한 컴포넌트들, 다시 말해 하나 이상의 객체 감지 센서(14)와, 하나 이상의 제어 장치(18)와, [여기서 차량(10)의 후방 부분에 배치된] 카메라 시스템(22)을 포함한다는 것이다. 개별 컴포넌트들, 즉 객체 감지 센서들(14), 및 제어 장치(18), 및 카메라 시스템(22)은 도 1에서와 유사하게 언급한 컴포넌트들 사이에서 데이터 교환을 위해 이용되는 연결 라인들(20)을 통해 서로 연결된다.
도 1과 도 2, 그리고 이들 도면에 도시된 차량(10)의 위치들의 비교로부터, 제1 촬영 시점(48)에 카메라 시스템(22)에 의해 촬영되어 제어 장치(18)로 전송된 제1 비디오 이미지(36)를 통해, 그리고 제2 촬영 시점(50)에 카메라 시스템(22)에 의해 촬영되어 제어 장치(18)로 전송된 추가의 제2 비디오 이미지(38)의 전송을 통해, 사전에 센서들(14)에 의해 감지된 객체(12)에 대해 차량 이동(30)이 수행될 수 있음을 알 수 있다. 이를 위해, 서로 상이한 촬영 시점(48, 50)에 촬영된 비디오 이미지들(36, 38)이 차량(10)에 위치 고정되어 설치된 카메라 시스템(22)의 이동의 관점에서 주변에 대해 평가된다. 카메라 시스템(22)의 장착 위치(44)뿐 아니라, 마찬가지로 차량(10)에 고정 배치된 객체 감지 센서들(14)에 대해, 비디오 이미지들(36, 38)의 평가에 의해 감지된 차량 이동(30)을 계산에 의해 관련 세팅하면 차량 이동(30)의 평가가 가능하다. 또한, 카메라 시스템에 의해 감지된 차량 이동(30)은 차량 회전점(46)에, 여기서는 예컨대 차량(10)의 뒤 차축의 중심에 대해 세팅된다.
상기 연계에 따라서, 앞서 감지된 객체(12)에 대한 차량(10)의 상대적 위치 변화가 결정된다. 도 2에는, 사전에 도 1에 따라 옆을 지나가는 이동 시에 차량(10)의 좌측에서 감지된 객체(10)에 대한 차량(10)의 접근이 개시된 경우, 제어 장치(18)에 의해 경고 신호가 생성되는 점이 도시되어 있다. 경고 신호는, 주차를 위한 운전자 보조 시스템들로부터 생성되는 것과 유사하게 음향 경고 및/또는 시각 경고 신호일 수 있으며, 그럼으로써 운전자는 고정된 객체(12)와의 충돌이 임박해 있음에 대해 지시를 받게 된다.
도 3에는, 정보, 다시 말해 카메라 시스템의 비디오 이미지들 및 객체 감지 센서들로부터 촬영된 정보가 어떻게 서로 연계되는지를 알 수 있다.
도 3에는, 서로 상이한 촬영 시점(48, 50)에 촬영된 비디오 이미지들(36, 38)이 중첩될 경우, 상기 비디오 이미지들 간의 비디오 이미지 변위(40)가 검출되는 것이 도시되어 있다. 상기 비디오 이미지 변위는 결합(42) 중에 제어 장치(18)로 송신된다. 비디오 이미지 변위(40)의 검출, 다시 말해 주변에 대한 차량 이동(30)의 검출은 카메라 시스템(22)에 연속해서 촬영되고 마찬가지로 연속해서 제어 장치(18)로 전송된다.
또한, 마찬가지로 제어 장치로 이루어지는 객체 감지 센서들(14)에 의한 객체 감지(34)의 전송도 수행된다. 객체(12)(도 1 및 도 2에 따른 도면 비교)는 도 1에 따라서 객체의 옆을 지나서 이동하는 동안 하나 이상의 객체 감지 센서(14)에 의해 감지되고 차량(10)에 상대적인 위치의 관점에서 그에 상응하게 차량의 이동이 추적되며, 그럼으로써 객체(12)는 음향 또는 시각 경고의 송출 시점에 더 이상 거리 센서 장치에 의해 직접적으로 감지되지 않아도 될 뿐더러 이미 제어 장치(18) 내에 존재하는 것으로서 분류된다.
차량 내 카메라 시스템(22)의 장착 위치뿐 아니라 하나 이상의 객체 감지 센서(14)의 위치를 고려할 뿐 아니라, 기준점(46)도 고려하면서, 서로 상이한 촬영 시점(46, 48)에 감지된 비디오 이미지들(36 또는 38)의 평가를 통해 결정되는, 주변에 대한 차량 이동(30)의 평가를 통해, 차량(10)과 사전에 도 1에 따르는 옆을 지나가는 이동 시 감지된 객체(12)의 상대적 위치 변화가 결정될 수 있다. DS 객체 감지 그래프(34)는 정보의 그룹을 상징화한 것이다. 상기 정보의 그룹에는 객체 감지 센서들(14)에 의해 획득된 거리 값들이 포함되어 있다. 상기 정보는 카메라 시스템(22)의 이미지들의 촬영과 이들 이미지 사이에 위치하는 시간 변위(40)로부터 획득되는 정보와 결합된다.
고정된 객체(12)에 대한 도 2에 도시된 차량(10)의 접근에 상응하게, 사전에 감지된 객체(12)의 상대적 위치 변화가 결정될 수 있으며, 객체(12)에 대한 차량(10)의 계산된 거리에 따라서 적합한 경고 정보가 운전자에게 송출될 수 있으며, 따라서 예컨대 음향 경고 신호가 송출되거나, 상이한 색상으로 점멸하는 발광 다이오드(LED)가 작동될 수 있다.
차량(10)과 차량의 측면에 위치하는 객체(12) 사이의 상대 위치를 결정하기 위한 본 발명에 따라 제안된 방법은 바람직하게는 차량 내부의 데이터 버스를 필요로 하지 않으며, 특히 CAN 데이터 버스 액세스를 필요로 하지 않는다. 그럼으로써 바람직하게는, 본 발명에 따라 제안되는 방법의 컴포넌트들은 경제적으로 차량(10)에 내장된 또 다른 시스템과의 연계 없이 자립형 시스템으로서 형성될 수 있다. 차량(10)의 전기 공급 시스템에 대한 연결만이 필요하다.
특히, 차량(10)과 차량의 측면에 위치하는 객체(12) 사이의 상대 위치를 결정하기 위한 운전자 보조 시스템의 차후 구현을 위한 컴포넌트들은 개장 키트로서 형성될 수 있다. 상기 개장 키트는 바람직하게는 차후에 차량에 장착될 수 있는, 예컨대 차량(10)의 펜더 부분에 장착하기 위한 하나 이상의 객체 감지 센서(14)와, 한편으로 차량(10)의 전기 공급 시스템과 연결될 수 있고 다른 한편으로 객체(12)에 접근할 때 운전자에게 음향 및/또는 시각 경고를 위한 송출 유닛을 포함할 수 있는 제어 장치(18)와, 특히 비디오 카메라 시스템인 카메라 시스템(22)을 포함한다.
도 1 및 도 2와의 전술한 관계에서 카메라 시스템(22)은 차량(10)의 후방 부분에 제공되는 장착 위치(44)와 관련하여 기술하였지만, 그에 반해 바람직하게는 비디오 카메라로서 형성되는 카메라 시스템(22)은 앞유리의 영역에도, 또는 측면에서 차량 내에도 장착된다. 단지 중요한 사실은 차량(10) 내 카메라 시스템(22)의 고정된 장착 위치인데, 그 이유는 카메라 시스템을 통해 차량(10)의 주변에 대한 카메라 시스템의 이동이 결정되기 때문이다. 전술한 관계에서, 기준점(46), 예컨대 차량(10)의 뒤 차축의 중심과 같은 차량 회전점이 규정되었다. 자명한 사실로서 또 다른 기준점들(46)도 정의될 수 있다.
차량(10)과 차량의 측면에 위치하는 객체(12) 사이의 상대 위치를 결정하기 위한 본 발명에 따라 제안되는 장치의 개장 키트, 다시 말해 자립형 유닛은 하나 이상의 객체 감지 센서(14)와, 제어 장치(18)와, 특히 비디오 카메라를 포함하여 차후에도 차량에서 예컨대 차량의 루프 라이닝에서 인출될 수 있는 카메라 시스템 연결 라인들(22)을 포함하며, 그럼으로써 개장 키트의 장착은 외견상 만족스런 방식으로 수행될 수 있다.
차후에 장착 가능한 개장 키트로서의 특징에서, 차량(10)과 차량의 측면에 위치하는 객체(12) 사이의 상대 위치를 결정하기 위한 본 발명에 따라 제안되는 방법은 수동형 주차 보조 장치의 범위에서도 이용될 수 있다. 광학 주행 기록계가 적용되는 본 발명에 따라 제안되는 개장 키트의 상기 기능의 경우, 차량(10)이 주차 공간의 옆을 지나서 통과할 때 상기 주차 공간이 객체 감지 센서들(14), 예컨대 초음파 센서들에 의해 감지될 수 있다. 픽업된 신호들을 통해, 길이 및 깊이와 관련하여 수집된 정보 내지 주차 공간의 위치 각도도 측량될 수 있다. 본 발명에 따라 제안되는 카메라 시스템(22)에 의해, 차량(10)의 위치 변화가 감지될 수 있고, 이러한 정보는 주차 공간의 식별 및 분류뿐 아니라 측량도 가능하게 하는 가상 카드(virtual card)에 입력될 수 있다. 상기 유형으로 수행되는 주차 공간 측량 외에도, 본 발명에 따라 제안되는 해결방법의 적용하에, 상기 주차 공간 내로의 수동형 안내(passive guide)도 달성할 수 있다. 이러한 경우, 주차 공간의 위치, 크기 및 각도 위치에 대한 전술한 수집된 정보와 상기 주차 공간에 대한 자기 차량의 차량 위치에 의지하여 최적의 주차 궤적이 계산된다. 상기 계산된 궤적은, 조향 이동으로 상기 계산된 궤적을 따르는 차량(10)의 이동이 수행되도록 하기 위해, 운전자에게 조향 지시를 제공할 수 있게 한다. 또한, 주행할 이동 거리 및 방향에 대한 지시도 운전자에게 제공할 수 있으며, 이는 예컨대 바로 다음의 조향 지시가 존재할 때까지 수행된다.
지시, 특히 운전자에 대한 조향 지시의 송출 동안, 항상 현재의 실제 차량 위치가 계산된 궤적 상에서 고려된다. 실제 차량 위치가 변경되는 경우, 궤적도 다시 계획되거나, 사전에 계산된 차량 궤적 상에 위치하는 새로 검출된 장애물들이 고려된다. 본 발명에 따라 제안되는 해결방법을 통해 상기 단계에서는 하기 기능들이 실행될 수 있다.
카메라 시스템(22)은 차량(10)을 변경하기 위한 위치를 감지하는 것을 허용한다. 그에 따라, 상기 궤적과 다른 궤적의 새 계산이 가능하다. 이로부터, 운전자에게 송출될 수 있는 갱신된 정보가 생성되며, 따라서 예컨대 현재의 조향 각으로 어느 정도까지 더 이동할 수 있는지의 정도로 정보가 생성된다. 이러한 관계를 통해, 정지를 위한 일정한 조향각으로 경로 섹션 상에서 정지점에 도달할 것을 요구하고 새 조향각을 사전 설정할 수 있다. 또한, 도중에 객체 감지 센서들(14)의 감지된 정보를 내부의 가상 카드에 기록함으로써, 상기 정보는 경로 계획에 시각적으로 또는 음향으로 제공할 객체 경고를 포함할 수 있다.

Claims (10)

  1. 차량(10)과 차량의 측면에 위치하는 객체(12) 사이의 상대 위치를 결정하기 위한 방법이며,
    a) 차량(10)이 옆을 지나서 이동할 때 하나 이상의 측면 객체 감지 센서(14)를 통해 객체(12)를 감지하는 단계와,
    b) 차량(10)의 후방 부분에, 또는 차량(10)의 앞유리 영역에, 또는 차량(10)의 옆유리 영역에 배치되어 서로 상이한 촬영 시점(48, 50)에 카메라 시스템을 통해 비디오 이미지들(36, 38)을 생성하는 단계와,
    c) 상기 서로 상이한 촬영 시점(48, 50)의 복수의 비디오 이미지들(36, 38)로부터, 카메라 시스템의 장착 위치(40)에 기초하여 상기 차량(10)의 차량 회전점(46)의 주변에 대한 이동(30)을 감지하는 단계와,
    d) 상기 차량(10)의 차량 회전점(46)의 주변에 대한 이동(30) 및 상기 하나 이상의 측면 객체 감지 센서(14)의 장착 위치를 사용하여, 사전에 단계 a)를 따라서 감지된 객체(12)에 대한 상기 차량(10)의 차량 회전점(46)의 상대적 위치 변화를 결정하는 단계를 포함하는, 상대 위치 결정 방법.
  2. 제1항에 있어서, 카메라 시스템(22)은 차량 이동(30) 동안 연속해서 비디오 이미지들(36, 38)을 생성하는 것을 특징으로 하는, 상대 위치 결정 방법.
  3. 제1항 또는 제2항에 있어서, 차량 이동(30)은 비디오 이미지들(36, 38)을 기반으로 단계 a)에 따라 사전에 감지된 객체(12)에 대해 상대적으로 수행되는 것을 특징으로 하는, 상대 위치 결정 방법.
  4. 제1항 또는 제2항에 있어서, 비디오 이미지들(36, 38)은 차량(10)의 주변에 대한 카메라 시스템(22)의 이동의 관점에서 제어 장치(18) 내에서 평가되는 것을 특징으로 하는, 상대 위치 결정 방법.
  5. 제1항 또는 제2항에 있어서, 객체(12)에 대한 차량(10)의 위치 변화로부터 발생하는 거리에 따라서, 음향 경고 또는 시각 경고 또는 음향 및 시각 경고가 생성되는 것을 특징으로 하는, 상대 위치 결정 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020147000807A 2011-06-15 2012-05-15 차량과 객체 사이의 상대 위치 결정 방법 KR101947209B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011077555A DE102011077555A1 (de) 2011-06-15 2011-06-15 Nachrüstsatz für Parkführung
DE102011077555.2 2011-06-15
PCT/EP2012/059037 WO2012171740A1 (de) 2011-06-15 2012-05-15 Nachrüstsatz für Parkführung

Publications (2)

Publication Number Publication Date
KR20140039046A KR20140039046A (ko) 2014-03-31
KR101947209B1 true KR101947209B1 (ko) 2019-02-12

Family

ID=46149425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147000807A KR101947209B1 (ko) 2011-06-15 2012-05-15 차량과 객체 사이의 상대 위치 결정 방법

Country Status (7)

Country Link
US (1) US20140204210A1 (ko)
EP (1) EP2720906B1 (ko)
JP (1) JP5882456B2 (ko)
KR (1) KR101947209B1 (ko)
CN (1) CN103608217B (ko)
DE (1) DE102011077555A1 (ko)
WO (1) WO2012171740A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012023706A1 (de) * 2012-12-05 2014-06-05 Daimler Ag Fahrzeugseitiges Verfahren und fahrzeugseitige Vorrichtung zum Erfassen und Anzeigen von Parklücken für ein Fahrzeug
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
DE102016106978A1 (de) * 2016-04-15 2017-10-19 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, Recheneinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016116855A1 (de) * 2016-09-08 2018-03-08 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH System und Verfahren zum Steuern von Nutzfahrzeugen
KR102313026B1 (ko) * 2017-04-11 2021-10-15 현대자동차주식회사 차량 및 차량 후진 시 충돌방지 보조 방법
CN110626259A (zh) * 2018-06-21 2019-12-31 鸿富锦精密电子(天津)有限公司 三角警示架及其撞击预警方法
DE102018212174A1 (de) * 2018-07-23 2020-01-23 Bayerische Motoren Werke Aktiengesellschaft Nachrüstsatz für ein Fahrzeug und Fahrzeugsystem
CN109779216A (zh) * 2019-02-27 2019-05-21 深圳瑞和建筑装饰股份有限公司 装配式装修安装智能对位系统和方法
CN110228465A (zh) * 2019-05-31 2019-09-13 深圳市航盛电子股份有限公司 一种半自动泊车系统路径规划方法
CN114111815B (zh) * 2021-11-01 2023-02-03 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080316312A1 (en) * 2007-06-21 2008-12-25 Francisco Castillo System for capturing video of an accident upon detecting a potential impact event
US20110018699A1 (en) * 2009-07-22 2011-01-27 International Truck Intellectual Property Company, Llc Digital camera rear-view system

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115651A (en) * 1998-01-15 2000-09-05 Cruz; Diogenes J. Large vehicle blindspot monitor
EP1169686B1 (de) * 1999-03-31 2003-06-04 Robert Bosch Gmbh Verfahren und vorrichtung zur speicherung von daten in einem fahrzeug und zur auswertung der gespeicherten daten
DE19947766A1 (de) * 1999-10-02 2001-05-10 Bosch Gmbh Robert Einrichtung zur Überwachung der Umgebung eines einparkenden Fahrzeugs
JP3838884B2 (ja) * 2001-03-29 2006-10-25 株式会社デンソー 車両周辺表示装置、プログラムおよび記録媒体
DE10221513B4 (de) 2002-05-14 2004-03-11 Ce-Sys Gmbh Ilmenau Verfahren zur Darstellung von Bildern mit verändertem Breite-Höhe-Verhältnis
DE10241464A1 (de) * 2002-09-06 2004-03-18 Robert Bosch Gmbh Vorrichtung zur Umfelderfassung eines Fahrzeugs
DE10251949A1 (de) * 2002-11-08 2004-05-19 Robert Bosch Gmbh Fahrdynamikregelung mit Bildsensorsystem
JP4700899B2 (ja) * 2003-04-14 2011-06-15 株式会社豊田自動織機 駐車支援装置
EP1580687A4 (en) * 2003-10-17 2006-01-11 Matsushita Electric Ind Co Ltd METHOD FOR DETERMINING MOBILE UNIT MOTION, DEVICE AND NAVIGATION SYSTEM
JP2007241326A (ja) * 2003-10-17 2007-09-20 Matsushita Electric Ind Co Ltd 移動体動き算出装置
JP4186908B2 (ja) * 2004-10-28 2008-11-26 アイシン精機株式会社 移動体周辺監視装置
DE102005003354B4 (de) 2005-01-25 2014-05-15 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erfassung der Relativgeschwindigkeit zwischen einem Kollisionsobjekt und einem Fahrzeug
DE102006010295B4 (de) 2006-03-07 2022-06-30 Conti Temic Microelectronic Gmbh Kamerasystem mit zumindest zwei Bildaufnehmern
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
JP4992696B2 (ja) * 2007-12-14 2012-08-08 日産自動車株式会社 駐車支援装置及び方法
DE102008003205A1 (de) * 2008-01-04 2009-07-09 Wabco Gmbh Vorrichtung, Verfahren und Computerprogramm zur Kollisionsvermeidung oder zur Verminderung der Kollisionsschwere infolge einer Kollision für Fahrzeuge, insbesondere Nutzfahrzeuge
DE102008014130A1 (de) * 2008-03-13 2009-09-17 Valeo Schalter Und Sensoren Gmbh Verfahren zur Steuerung eines Parkassistenzsystems für Fahrzeuge und Parkassistenzsystem
TWI334393B (en) * 2008-10-07 2010-12-11 Ind Tech Res Inst Image-based vehicle maneuvering assistant method and system
DE102008060770A1 (de) * 2008-12-05 2009-09-17 Daimler Ag Verfahren zur Unterstützung eines Fahrers eines Fahrzeuges
DE102008061359A1 (de) * 2008-12-10 2010-06-17 Valeo Schalter Und Sensoren Gmbh Einrichtung und Verfahren zur Überwachung eines Fahrzeugumfelds
DE102009016562A1 (de) * 2009-04-06 2009-11-19 Daimler Ag Verfahren und Vorrichtung zur Objekterkennung
CN102059978B (zh) * 2009-11-16 2014-09-10 财团法人工业技术研究院 驾驶辅助方法与系统
KR20130093589A (ko) * 2010-07-17 2013-08-22 발레오 샬터 운트 센소렌 게엠베아 차량의 측면 옆의 측부 영역에 존재하는 장애물을 차량 운전자에게 경고하기 위한 방법, 및 운전자 보조 시스템을 구비한 차량

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080316312A1 (en) * 2007-06-21 2008-12-25 Francisco Castillo System for capturing video of an accident upon detecting a potential impact event
US20110018699A1 (en) * 2009-07-22 2011-01-27 International Truck Intellectual Property Company, Llc Digital camera rear-view system

Also Published As

Publication number Publication date
KR20140039046A (ko) 2014-03-31
EP2720906B1 (de) 2015-12-16
JP2014519444A (ja) 2014-08-14
CN103608217B (zh) 2016-05-18
US20140204210A1 (en) 2014-07-24
CN103608217A (zh) 2014-02-26
DE102011077555A1 (de) 2012-12-20
WO2012171740A1 (de) 2012-12-20
EP2720906A1 (de) 2014-04-23
JP5882456B2 (ja) 2016-03-09

Similar Documents

Publication Publication Date Title
KR101947209B1 (ko) 차량과 객체 사이의 상대 위치 결정 방법
US20100283634A1 (en) Control device for a display device of a parking device, and method for displaying
CN101228059B (zh) 用于车辆的停车装置和用于车辆的停车方法
US9321460B2 (en) Railroad crossing barrier estimating apparatus and vehicle
JP6344275B2 (ja) 車両制御装置
EP3016835B1 (en) Vehicle control system
JP6573795B2 (ja) 駐車支援装置、方法及びプログラム
JP6275006B2 (ja) 駐車支援装置
US20170021829A1 (en) Vehicle control device
US20060190147A1 (en) Driver-assist device, in particular, for parking a vehicle
US20060080005A1 (en) Method for displaying a vehicle driving space
JP2016084094A (ja) 駐車支援装置
JP2017502409A (ja) 地面のマークを検出する方法、運転支援装置、及び自動車
CN107792068A (zh) 自动化车辆车道变换控制系统
WO2018190037A1 (ja) 障害物検知報知装置、方法及びプログラム
JP6710647B2 (ja) 駐車支援装置
GB2486814A (en) Method for assisting a driver of a motor vehicle
CN112771591B (zh) 用于评价运输工具的环境中的对象对运输工具的行驶机动动作的影响的方法
JP2020056733A (ja) 車両制御装置
JP2016124398A (ja) 駐車支援装置
JP2007505377A (ja) 路上における自動車の位置決定方法及び装置
ITTO20101060A1 (it) Sistema e procedimento di rivelazione di uno spazio di parcheggio per un veicolo
JP6558261B2 (ja) 自動運転装置
US8681219B2 (en) System and method for driving assistance at road intersections
US11794809B1 (en) Vehicle and trailer wheel path collision detection and alert

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant