KR20200085670A

KR20200085670A - 토우 히치 위치의 계산 방법

Info

Publication number: KR20200085670A
Application number: KR1020200001635A
Authority: KR
Inventors: 로빈 플로우먼
Original assignee: 콘티넨탈 오토모티브 게엠베하
Priority date: 2019-01-07
Filing date: 2020-01-06
Publication date: 2020-07-15
Also published as: EP3678096B1; US20200215992A1; US11407363B2; CN111414794A; JP2020113268A; JP7444605B2; EP3678096A1

Abstract

토우 히치 위치의 계산 방법
트레일러의 토우 히치 위치를 계산하는 방법을 제시한다. 트레일러의 첫 번째 및 두 번째 영상을 촬영하고 촬영한 첫 번째 및 두 번째 영상을 기반으로 한, 트레일러의 알려진 영점 자세에 대해 상대적인 트레일러의 회전 및 이동을 계산한다. 계산한 트레일러의 회전과 이동을 기반으로 하여 첫 번째 및 두 번째 영상에서의 트레일러의 회전축을 계산한다. 첫 번째 및 두 번째 회전축의 교점을 계산하여 토우 히치의 위치로 향하는 광선을 결정한다. 토우 히치의 위치로 향하는 광선과 기하학적 조건을 사용하여 토우 히치의 위치를 계산한다.

Description

토우 히치 위치의 계산 방법{METHOD FOR CALCULATING A TOW HITCH POSITION}

본 발명은 차량에 있는 토우 히치 위치까지의 벡터를 계산하는 방법과 토우 히치 위치까지의 벡터를 계산하기 위한 차량의 계산 장치, 그리고 그러한 계산 장치, 컴퓨터 프로그램 및 컴퓨터가 읽을 수 있는 매체를 포함하고 있는 차량에 관한 것이다.

트레일러 히치 지원 시스템은 운전자가 트레일러를 차량에 연결하는 것을 지원하도록 설계되어 있다. 트레일러 히치 지원 시스템에는 트레일러의 지향 방향과 차량에 장착된 토우 히치의 위치에 대한 정보가 필요하다. 트레일러 후진 지원 시스템은 운전자가 차량을 연결된 트레일러와 함께 후진시키는 것을 지원하도록 설계되어 있다. 트레일러 후진 지원 시스템에는 카메라의 위치에 대해 상대적인 토우 히치의 위치에 대한 정보가, 즉 카메라에서 토우 히치까지의 벡터가 필요할 수 있다. 그러한 시스템에서는 이러한 벡터에 따라 변하는 토우 히치의 거리를 알 필요가 없을 수 있는 바, 왜냐하면 이러한 시스템을 이러한 거리에 대해 변하지 않는 트레일러의 회전을 계산만 하면 되기 때문이다.

토우 히치의 위치를 수동의 측정할 수 있지만, 이는 부정화하고 비싸며 시간이 많이 소비되는 바, 토우 커플링을 차량 제조 중 장착하지 않거나 또는 토우 커플링이 수동이나 전자 방식으로 차량에서 움직일 수 있는 경우 특히 더 그러하다.

토우 히치는 차량에 있는 한 지점으로서, 트레일러는 움직일 때 이 지점을 중심으로 선회한다. 이 지점은 견인 볼이거나 다른 연결 수단일 수 있다.

토우 히치의 위치를 전자 방식으로 결정하거나 또는 카메라에서 토우 히치까지의 벡터를 결정하고 싶을 수 있다.

이 문제는 독립된 청구항에 의해 해결된다. 본 발명은 독립된 청구항과 다음의 설명 및 그에 수반된 도면에 의해 구체화된다.

본 발명의 첫 번째 측면에 따르면, 차량의 토우 히치 위치까지의 벡터를 계산하는 방법이 제시되고 그 방법은 다음의 단계로 구성되어 있다:

- 영상 촬영 장치를 사용하여, 첫 번째 위치에 있는 트레일러의 첫 번째 영상 촬영 및 두 번째 위치에 있는 트레일러의 두 번째 영상 촬영 (단계 S1),

- 트레일러의 회전 계산 및 촬영된 첫 번째 영상과 촬영된 두 번째 영상을 기반으로 하여 첫 번째 자세와 두 번째 자세 사이에서의 트레일러의 회전 및 트레일러의 이동 계산 (단계 S2),

- 계상된 트레일러의 회전과 트레일러의 이동을 기반으로 하여 첫 번째 영상과 두 번째 영상 사이에서의 트레일러의 첫 번째 회전축(오일러 축) 계산 (단계 S3),

- 트레일러의 세 번째 및 네 번째 영상을 이용하여 단계 S1에서 S3까지를 반복하고, 그것에 의해 세 번째 영상과 네 번째 영상 사이에서의 트레일러의 두 번째 회전축 계산 (단계 S1*에서 S3*까지),

- 첫 번째 및 두 번째 회전축의 교점을 결정하여 토우 히치 위치까지의 벡터를 결정 (단계 S4) 및

- 또는 토우 히치 위치까지의 벡터와 기하학적 조건을 사용하여 토우 히치의 위치 계산 (단계 S5).

단계 S1에서 S3까지를 최소한 한 번, 또는 여러 번 반복할 수 있다. 이러한 반복에서는 세 번째 영상과 비교할 때 첫 번째 영상을 다시 사용할 수 있거나 또는 새로운 쌍의 영상을 사용할 수 있으므로 예컨대 세 번째 및 네 번째 영상을 사용하여 두 번째 회전축을 계산한다.

다시 말해서 토우 히치의 위치는 기본적으로 트레일러의 두 영상을 처음 비교함으로써 계산되며, 이 계산으로 첫 번째 회전축이 산출된다. 첫 번째 영상은 지향 방향이 알려진, 예를 들어 어떠한 회전이나 이동도 차량의 세로축에 대해 상대적이라고 간주되지 않은 지향 방향을 가진 트레일러의 영상일 수 있다. 트레일러의 이동은 영상 촬영 장치와 토우 히치의 상대적 위치로 인해 트레일러가 토우 히치를 중심으로 회전할 때 트레일러가 이동하고 회전하는 것으로 보이기 때문에 발생한다.

영상은 촬영 대상이 되는 트레일러가 연결된 차량에 장착된 카메라에 의해 촬영될 수 있다. 본 발명 설명에서는 이 영상을 영점 자세(zero pose) 영상이라고 부른다. 원칙적으로 회전과 이동은 상대적이기 때문에 어떤 지향 방향과 이동을 영점 자세로 정의할 수 있다. 회전축을 계산하려면, 두 번째 영상은 그 트레일러가 첫 번째 영상에 대해 상대적인 회전을 하는 것을 보여주는 영상이어야 한다. 그러한 영상은 예를 들어 그 트레일러가 차량에 연결되어 있을 때 주행하는 동안 촬영될 수 있다. 이는 도 1을 보면 쉽게 이해될 수 있다.

이러한 절차는 세 번째 및 네 번째 영상으로 반복되는 바, 여기서 세 번째 및 네 번째 영상은 첫 번째 영상과 비교한 회전 및 이동을 보여준다. 첫 번째 영상과 세 번째 및 네 번째 영상 사이에서 트레일러는 첫 번째 영상 및 두 번째 영상 사이에서 트레일러가 회전하는 축과 다른 축을 중심으로 회전할 것이다. 즉 첫 번째 영상과 두 번째 영상 사이에서의 트레일러의 회전이 수직축을 중심으로 한 회전(yaw)만으로 이루어져 있다면, 첫 번째 영상과 세 번째 및 네 번째 영상 사이에서의 트레일러의 회전에는 피치 또는 롤 요소가 포함되어 있을 것이다. 이러한 회전 및 이동으로 인해 첫 번째 회전축과 다른 두 번째 회전축을 결정할 수 있다. 이 두 회전축은 이 둘이, 물론 토우 히치가 어떤 고정된 지점(여기에 트레일러를 견인하기 위해 견인 바가 장착되어 있다)이기 때문에, 토우 히치를 관통하여 지난다라는 공통점을 가지고 있다. 그러므로 두 축이 교차될 수 있는 바, 여기서 교점은 토우 히치이다.

상기 계산은 단안 카메라(monocamera)로 수행되었기 때문에, 거리와 비율이 알려지지 않는다. 다시 말하여, 회전축 및 토우 히치와 카메라 사이의 거리는 알려지지 않는다. 회전축의 교점을 계산하기 위해 회전축은 영상면(image plane)으로 투영된다(여기서 이 면은 z=1일 때의 면으로서, 여기서 z-축은 아래로 향하며 광축 방향으로 뻗는다). 회전축은 카메라와의 거리와 무관하게 영상면에 있는 동일한 선으로 투영될 것이다. 그 다음 영상면에 있는 2D의 회전축 선이 이루는 교점을 계산하는 바, 그 결과가 토우 히치의 위치로 향하는 벡터 또는 광선이다.

토우 히치의 위치를 계산하기 위해서는 다른 기하학적 조건이 필요하다.

그 조건이 토우 히치의 위치를 계산하는 데 필요하지 않을 수 있다는 점에 유의해야 한다. 많은 트레일러 후진 지원 알고리듬의 경우, 차량의 세로축에 대해 상대적인 트레일러의 각도만을 계산해야 한다. 이러한 목적을 위해서는 토우 히치의 위치까지의 벡터를 아는 것으로 충분하며 토우 히치와의 임의의 거리(즉, 단위 거리)는 추정될 수 있다.

그러므로 본 발명은 트레일러가 차량에 의해 견인되고 있을 때 그 트레일러의 회전 및 이동을 결정하기 위해 차량에 장착된 카메라를 사용하는 것과 이 측정 결과를 이용하여 토우 히치까지의 벡터를 결정하는 것에 관한 것이다. 더 나아가 본 발명에서는 토우 히치가 어디에 있는지를 수동으로 측정할 필요 없이 이 벡터를 사용하여 토우 히치의 위치를 결정하는 것이 허용된다. 일단 토우 히치의 벡터나 위치를 계산하면 그 결과를 저장한 다음, 나중에 운전자가 자신의 차량을 트레일러에 연결할 때 지원하는 트레일러 히치 지원이나 트레일러 후진 지원을 위해 사용할 수 있을 것이다.

다시 말하여 본 발명에서는 트레일러가 차량에 의해 견인되고 있을 때 그 트레일러의 동작(회전 및 이동)을 분석하여 토우 히치까지의 벡터를 계산한다.

토우 히치의 위치가 알려지지 않은 트레일러의 동작을 계산하는 데 사용된 알고리듬(예를 들어, 8-점 필수 행렬)은 토우 히치의 위치를 알고 있는 알고리듬보다 더 큰 오류를 범하기 쉽다. 하지만 시간이 지나면 본 발명은 토우 히치의 위치를 식별할 것이고, 그러면 시스템은 더욱 더 정밀한, 토우 히치의 위치나 벡터를 입력 데이터로서 필요로 하는 트레일러 각도 계산법으로 전환될 수 있다.

회전 외에 이동도 계산하는 바, 왜냐하면 트레일러만이 토우 히치를 중심으로 회전함에도 불구하고 카메라가 토우 히치에서 떨어져 있기 때문에 그 트레일러가 그 카메라에 대해 상대적으로 이동하는 것으로 보이기 때문이다.

일반적으로 말하여, “기하학적 조건”이란 토우 히치와의 거리를 계산할 수 있는, 따라서 토우 히치의 위치를 계산할 수 있을 정도로 토우 히치의 벡터가 선이나 면과 교차하는 것을 허용하는 정보일 수 있다.

이하에서 본 발명의 몇 가지 예시 모델을 통해 이를 더 자세히 설명하겠다.

한 모델에 따르면 그 기하학적 조건은 첫 번째와 두 번째, 그리고 세 번째 및 네 번째 영상을 촬영하는 카메라의 카메라 위치와 같은 알련진 외부 매개변수로서 및 토우 히치의 위치가 트레일러를 견인하는 차량의 중심에 있는 것과 같은 알려진 외부 매개변수로서 구체화된다. 알려진 외부 카메라 위치는 기준 위치를 제공하며 차량에 장착된 토우 히치의 중앙 위치와의 거리는 알려져 있을 수 있다. 이러한 정보와 함께 그 벡터나 또는 광선은 예를 들어 토우 히치의 위치로 유도하는 중심 면과 교차할 수 있다.

또 다른 예시 모델에 따르면 다른 회전축은 상이하지만 알려진 위치에 장착된 카메라를 사용하여 결정될 수 있다. 이 경우 두 번째 광선이 결정될 수 있으며 카메라의 알려진 위치와 교점에 의해 토우 히치의 위치를 결정할 수 있다.

본 발명의 한 모델에 따르면, 트레일러의 회전 및 트레일러의 이동을 계산하는 단계 S2에는 더 나아가 트레일러를 촬영한 첫 번째 영상을 촬영한 두 번째 영상과 비교하는 단계(S6)와 촬영한 두 번째 영상에 표시된 특징의 위치에 대해 상대적인, 첫 번째 영상에 표시된 트레일러에 있는 특징의 위치를 식별하는 단계가 포함되어 있다 (단계 S7).

첫 번째 영상은 주행 전이나 주행 동안 촬영하여 전자 방식으로 저장한 원점 자세 영상일 수 있다. 영상을 주행 중 촬영한 경우에는 그 영상이 주행 중 촬영한 많은 영상에서 생성된 영상일 수 있는 바, 예를 들어 어떤 평균값을 영점 자세로서 계산하고 생성된 영점 자세 영상을 메모리에 저장한다. 영점 자세는 예를 들어 수학적 정보로서 저장되거나 또는 저장된 영상으로서 제공될 수 있는 바, 이 영상에서 그 트레일러는 영점 자세로 표시된다.

회전 및 이동의 결정과 관련하여 그 영상들을 비교하기 위해 촬영된 영상에 표시된 트레일러에 있는 특징 상응물을 사용할 수 있다. 이러한 특징 상응물은 특징 감지와 SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 또는 BRIEF(Binary Robust Independent Elementary Features)와 같은 일치 알고리듬을 사용하여 만들어진다. 트레일러를 나타내는 영상 속의 특징은 직진 보정 주행 중 실행되는 학습 알고리듬에 의해 배경을 나타내는 특징과 분리될 수 있다. 이러한 주행 중, 정적인 특징이 트레일러의 특징으로서 식별된다. 트레일러가 움직이고 있을 때 트레일러에 있는 사전에 정의 패턴 찾기와 패턴에 있는 특징 추적과 같은, 트레일러에 있는 특징을 결정하는 다른 방법을 사용할 수 있다. 또는 트레일러의 외양에 있는 정보를 저장하여 트레일러에 있는 특징을 찾는 데 사용할 수 있다.

첫 번째 영상이 이러한 보정 주행 중 촬영한 영점 자게 영상인 경우, 그 특징을 저장하는 것으로 충분하므로 “영점 자세 영상”이 바로 그 트레일러 특징으로 구성되어 있다고 해석될 수 있다.

본 발명의 한 모델에 따르면, 트레일러의 회전 및 트레일러의 이동을 계산하는 단계 S2에는 더 나아가 계산한 첫 번째 및 두 번째 회전축을 영상면에 투영하는 것이 포함되어 있다 (단계 S8). 회전축을 영상면에 투영함으로써 영상면의 단일 지점에서 교차할 선을 획득한다. 영상면이란 3D 물체가 투영되는 가상의 면으로서, 이때 핀홀 카메라 모델을 사용하는 것이 이상적이다. 영상면에 있는 회전축 선의 교점은 카메라의 광중심에서 영상면에 있는 교점을 지나 토우 히치의 예상 위치까지에 이르는 벡터를 정의할 것이다.

이 면은 두 개의 교차하는 면으로서 생각될 수 있는 바, 각 면에는 회전축과 카메라의 위치가 포함되어 있다. 이 두 면이 교차하는 부분이 카메라의 중심에서 토우 히치의 위치까지에 이르는 선 또는 벡터이다.

위에서 기술한 바와 같이 다른 기하학적 조건을 사용하며 토우 히치의 위치를 계산할 수 있다.

본 발명의 한 모델에 따르면, 트레일러의 회전 및 트레일러의 이동을 계산하는 단계 S2에는 더 나아가 계산한 토우 히치의 벡터나 위치를 트레일러의 각도를 계산하는 방법에 사용되는 입력값으로서 사용하는 것이 포함되어 있다 (단계 S9). 이러한 트레일러 각도 계산 방법은 미술 분야의 숙련된 사람에게 알려진 방법일 수 있다. 마지막으로 트레일러 히치 지원 시스템이나 트레일러 후진 지원 시스템에는 트레일러의 획득한 지향 방향에 대한 필수 정보가 전자 방식으로 공급된다.

본 발명의 두 번째 측면에 따르면, 차량의 토우 히치 위치까지에 이르는 벡터를 계산하기 위해 트레일러에 부착된 차량의 계산 장치가 제공되는 바, 여기서 이 계산 장치는 다음을 위해 구성되어 있다:

- 첫 번째 자세로 촬영된 트레일러의 첫 번째 영상과 두 번째 자세로 촬영된 트레일러의 두 번째 영상을 기반으로 하여 트레일러의 회전 및 트레일러의 이동 계산 (단계 S2),

- 계산한 트레일러의 회전과 트레일러의 이동을 기반으로 하여 첫 번째 영상과 두 번째 영상 사이에서의 트레일러의 첫 번째 회전축 계산 (단계 S3),

- 트레일러에 대한 따른 쌍의 영상을 사용하여 단계 S2와 S3 반복, 이를 이용하여 트레일러의 두 번째 회전축 계산 (단계 S2* 및 S3*),

- 첫 번째 및 두 번째 회전축의 교점을 결정하여 토우 히치 위치까지의 광선을 결정 (단계 S4) 및

- 토우 히치 위치까지의 광선과 기하학적 조건을 사용하여 토우 히치의 위치 계산 (단계 S5).

계산 장치에는 하나 이상의 프로세서, 메모리 및 카메라 측 인터페이스가 있을 수 있다. 더 나아가 이 장치에는, 특히 토우 히치의 벡터나 위치 및 이 시스템으로 향하는 트레일러의 지향 방향에 대한 정보를 제공하거나 또는 이 정보의 결정에 대한 요구를 수신하는, 트레일러 히치 지원 시스템이나 트레일러 후진 지원 시스템 측 인터페이스가 있을 수 있다. 이 계산 장치는 위에서 기술한 방법에 따라 계산한 토우 히치의 벡터나 위치 및 지향 방향을 고려하여 조절된다.

본 발명의 세 번째 측면에 따라, 트레일러의 영상을 촬영하기 위한 카메라와 계산 장치가 장착된 차량이 제공된다.

본 발명의 네 번째 측면에 따라, 프로세서에서 실행되고 있을 때 위에서 기술한 방법을 실행하라고 그 프로세서에 지시하는 프로그램 요소가 제공된다.

본 발명의 다섯 번째 측면에 따라, 상기 프로그램 요소가 저장되어 있는, 컴퓨터가 읽을 수 있는 매체가 제공된다.

본 발명의 이러한 특징, 측면 및 장점은 첨부한 도면과 아래의 설명을 참고하면 더 잘 이해될 것이다.
도 1은 본 발명의 구현 모델에 따른, 트레일러의 토우 히치 위치를 계산하는 방법에서 사용되는 첫 번째 영상이나 영점 자세 영상 및 두 번째 영상을 도시한 도면이다.
도 2는 본 발명의 구현 모델에 따른 회전축을 도시한 도면이다.
도 3은 본 발명의 구현 모델에 따른 방법을 도시한 흐름도이다.

도 1은 본 발명의 구현 모델에 따른, 트레일러의 토우 히치 위치를 계산하는 방법에서 사용되는 첫 번째 영상이나 영점 자세 영상 및 두 번째 영상을 도시한 도면이다. 첫 번째 영상 110에는, 예를 들어 도 1에 도시한 바와 같이 트레일러의 전면에 위치한 특징 112가 있는 트레일러 111과 견인 바 113이 포함되어 있다. 이와 유사하게, 두 번째 영상 120에는 동일하지만, 예를 들어 도 1에 도시한 바와 같이 트레일러의 전면에 위치한, 회전하고 이동한 특징 122가 있는 토우 히치를 중심으로 회전하는 트레일러 121과 회전하는 견인 바 123이 포함되어 있다. 트레일러 111에 있는 영상 특징 112는 학습 과정에 의해 식별될 수 있다. 본 발명의 한 예시 모델에서는 학습 과정에는 직선으로 전진 주행하는 동안 영상 110에서 영상 특징을 감지하고 추적하는 것이 포함되어 있을 수 있다. 사전에 지정된 시간이 지난 후 트레일러 111이 영점 각도로 차량 뒤에 위치해 있다고 가정한다. 그 다음 트레일러의 식별된 영상 특징 112는 영상 110에서 고정된 지향 방향을 지닌다고 간주될 수 있지만, 즉 이러한 영상 특징은 영상 110에서 정지해 있는 것으로 보이지만, 그에 반하여 예컨대 지면 위에 있는 특징이나 다른 물체와 같은 영상 110에 있는 다른 특징은 그 영상에서 움직일 것이다. 마지막으로 영점 자세의 영상 특징 112는 저장된다.

본 발명의 한 예시 모델에서는 그 다음 트레일러의 각도를 다음과 같이 첫 번째 자세나 영점 자세에 대해 상대적으로 계산한다. 두 번째 영상 120에서는, 첫 번째 자세에서 식별된 트레일러의 영상 특징 112가 현재의 트레일러 자세로 자신의 위치로 이동할 때 추적된다. 외부 및 내부 카메라 보정을 사용하여 현재 및 첫 번째 자세에서 각 영상 특징 122에 대한 카메라 광선을 결정하며, 여기서 외부 및 내부 카메라 보정값은 차량에 장착된 카메라의 외형과 카메라 광학 장치의 내적 외형 매개변수를 고려한다. 그 다음, 첫 번째 및 현재 자세에서 영상 특징에 대한 카메라 광선을 사용하여 변환 행렬를 계산한다. 적절한 변환 행렬의 한 예는 소위 말하는 “필수 행렬”이다. 미술 분야의 숙련된 사람과 유사한 다양한 알고리듬을 사용하여, 예를 들어 8-점 알고리듬을 사용하여 이 행렬을 계산할 수 있다. 8개 이상의 특징을 사용하는 경우 RanSaC 방법을 사용하여 이상값(outlier)을 배제할 수 있을 것이다. 마지막으로 회전값 및 이동값을 필수 행렬 또는 변환 행력에서 추출한다.

도 2는 카메라 202와 토우 히치 203이 장착된 차량 201의 측면도이다. 여기서는 트레일러가 첫 번째 자세 208과 두 번째 자세 207을 취하고 있음이 도시되어 있다. 이 자세에는 피치각, 요각 및 롤각이 포함된, 토우 히치를 중신으로 한 회전이 포함될 수 있다. 오일러의 회전 정리로 설명한 바와 같이, 축-각도 표시를 사용하여 첫 번째 및 두 번째 자세 사이에서의 트레일러의 요, 피치 및 롤 회전을 표시할 수 있다. 이 방식은 트레일러의 회전을, 예컨대 요, 피치 및 롤을 포함한 회전으로서라기보다는, 고정된 회전축이나 오일러 축을 중심으로 한 단일 회전으로서 설명한다. 첫 번째 자세 및 현재 자세 사이에서 트레일러가 회전하는 중심 축인 회전축 205는 예를 들어 3D 공간에 위치한, 위에서 기술한 변환의 결과물일 수 있는 불변 지점 206을 계산함으로써 결정할 수 있다. 불변 지점 206은 회전축 205 위에 있다. 회전축은 토우 히치 203에서 교차하는 바, 여기서는 다른 조건이 없으면 토우 히치 203과 카메라 202 사이의 거리, 카메라와 회전축 205 및 특징 209가 알려져 있지 않으므로 토우 히치의 위치 또한 이 단계에서는 알려져 있지 않다. 영상에 투영된 경우, 이 축은 선으로 나타날 것이다.

두 개의 영상 대신 여러 개의 영상을 평가할 수 있으므로, 시간이 지나면 여러 회전축이 겹치게 되고, 이때 각 회전축의 지향 방향을 약간씩 다르다. 예를 들어 트레일러의 피치가 변하면 축은 수형이 될 것이다. 트레일러의 요가 변하면 축은 수직이 될 것이다.

이 축은 회전축과 카메라 위치를 포함하는 면을 정의하면서 영상면의 단일 지점에서 교차할 것이다. 그러면 이러한 선의 교차가 토우 히치의 위치로 향하는 광선을 결정할 것이다.

카메라에서 토우 히치의 위치로 향하는 광선이 주어진 경우, 다른 기하학적 가정이 주어진 토우 히치의 정확한 위치를 계산할 수 있다. 예를 들어 외부 카메라 위치가 알려져 있고 토우 히치가 y=0인 경우, 토우 히치의 광선이 y=0인 면과 교차할 수 있는 바, 이 면은 차량의 뒷면에 대해, 예컨대 뒷면의 중앙에서 직각을 이루는 수직면이다.

또는 어떤 임의적인 비율을 선택할 수 있다. 예를 들어 토우 히치와 카메라 사이의 거리가 이 광선을 따라 1미터라고 가정할 수 있다.

도 3은 트레일러의 토우 히치 위치를 계산하는 방법을 나타내는 흐름도이다. 첫 번째 단계 S1에서는 트레일러의 첫 번째 영상과 트레일러의 두 번째 영상을 촬영한다. 두 번째 단계 S2에서는 촬영된 첫 번째 영상과 촬영된 두 번째 영상을 기반으로 하여 첫 번째 영상과 두 번째 영상 사이에서의 트레일러의 회전 및 트레일러의 이동을 계산한다. 세 번째 단계 S3에서는 계산한 트레일러의 회전과 트레일러의 이동을 기반으로 하여 첫 번째 영상과 두 번째 영상 사이에서의 트레일러의 첫 번째 회전축을 계산한다. 단계 S1에서 S3까지는 트레일러의 세 번째 및 네 번째 영상이나 여러 개의 영상을 사용하여 적어도 한 차례, 하지만 선호하는 바로는 여러 차례 반복되며, 이때 세 번째 또는 네 번째 영상에 있는 트레일러의 두 번째 회전축 또는 여러 개의 회전축을 각각 계산한다. 다음 단계인 S4에서는 계산한 회전축의 교차를 결정하여 토우 히치의 위치로 향하는 광선을 결정한다. 마지막 단계 S5에서는 토우 히치 위치로 향하는 광선과 기하학적 조건을 사용하여 토우 히치의 위치를 계산한다.

두 개의 다른 자세를 취한 트레일러를 촬영한 임의의 영상 쌍을 사용하여 단계 S1에서 S3까지를 반복할 수 있을 것이며, 따라서 이를 사용하여 토우 히치의 위치와 교차할 회전축을 계산할 수 있다.

그러므로 트레일러의 동작을 추적함으로써 차량에 장착된 토우 히치의 위치를 결정한다. 차량에 장착된 카메라로 촬영한 영상을 사용하여 추적이 실행된다. 이렇게 하여 수동 조치를 취하지 않고 전자 방식으로 토우 히치의 위치를 결정할 수 있다. 토우 히치의 위치를 저장하여 트레일러 히치 지원 시스템에 제공할 수 있는 바, 이 시스템에는 토우 히치의 위치를 입력값으로서 필요로 하는, 보다 더 정확한 트레일러 각도 계산 알고리듬이 포함되어 있을 수 있다.

토우 히치까지의 벡터를 다른 알고리듬에서도 사용하여 트레일러의 각도를 결정할 수 있다. 그러한 알고리듬에서는 비율이 불변이기 때문에 토우 히치의 위치를 알 필요가 없다.

토우 히치까지의 벡터를 디스플레이 장치에도 기재할 수 있으므로 사용자는 트레일러의 히치가 올바로 감지되었는지를 결정할 수 있다. 이러한 시스템에서는 영상에 투영된 점을 기재하기 위해 토우 히치의 위치를 알 필요가 없으며, 토우 히치의 벡터만으로 충분하다.

이 시스템은 트레일러의 동작을 사용하여 토우 히치의 벡터나 위치를 계산하기 때문에, 이 시스템은 토우 히치가 촬영한 영상에 나타나지 않는 경우에도 작동할 수 있다.

이 시스템은 앞 차축이 선회하는 차축이 두 개 장착된 트레일러와 같이 트레일러의 두 선회 위치를 계산하도록 조절될 수 있다.

Claims

토우 히치 (203)을 통해 트레일러 (207, 208)과 결합되는, 차량 (201)의 토우 히치까지의 벡터를 계산하는 방법에 관한 것으로서, 이 방법은 다음의 단계로 구성되어 있다:
영상 촬영 장치 (202)를 사용하여, 첫 번째 위치에 있는 트레일러의 첫 번째 영상 촬영 및 두 번째 위치에 있는 트레일러의 두 번째 영상 촬영 (단계 S1),
영상 촬영 장치에 대해 상대적인, 첫 번째 위치와 두 번째 위치 사이에서의 트레일러의 회전 및 트레일러의 이동 계산 (단계 S2),
계산한 트레일러의 회전과 트레일러의 이동을 기반으로 하여 첫 번째 영상와 두 번째 영상 사이에의 트레일러의 첫 번째 회전축 계산 (단계 S3),
트레일러의 세 번째 및 네 번째 영상을 이용하여 단계 S1에서 S3까지를 반복하고, 그것에 의해 세 번째 영상과 네 번째 영상 사이에서의 트레일러의 두 번째 회전축 계산 (단계 S1*에서 S3*까지),
첫 번째 및 두 번째 회전축의 교점을 결정하여 토우 히치 위치까지의 벡터 결정 (단계 S4).
청구항 1에 따른 방법에 관한 것으로서, 여기서 단계 S2의 트레일러 회전 및 트레일러 이동 계산에는 다음도 포함되어 있는 바, 즉
트레일러의 각도를 계산하는 방법의 입력값으로서 토우 히치 위치까지의 계산한 벡터 사용 (단계 S9).
청구항 1 또는 2에 따른 방법에 관한 것으로서, 이 방법에는 다음도 포함되어 있는 바, 즉
토우 히치 위치까지의 광선과 기하학적 조건을 사용하여 토우 히치의 위치 계산 (단계 S5).
청구항 3에 따른 방법에 관한 것으로서, 여기서 그 기하학적 조건은 첫 번째 및 두 번째 영상을 촬영하는 카메라의 알려진 외부 카메라 위치로서 구체화되고 그 토우 히치의 위치는 트레일러 (207, 208)을 견인하는 차량 (201)의 중심에 있다.
상기 청구항 중 어떤 청구항에 따른 방법에 관한 것으로서, 여기서 단계 S2의 트레일러 회전 및 트레일러 이동 계산에는 다음 단계도 포함되어 있는 바, 즉
트레일러의 촬영한 첫 번째 영상을 촬영한 두 번째 영상과 비교 (단계 S6) 및
촬영한 두 번째 영상에 있는 그 특징에 대해 상대적인, 촬영한 첫 번째 영상에 있는 트레일러의 특징이 있는 위치 식별 (단계 S7).
상기 청구항 중 어떤 청구항에 따른 방법에 관한 것으로서, 여기서 단계 S2의 트레일러 회전 및 트레일러 이동 계산에는 다음도 포함되어 있는 바, 즉
계산한 첫 번째 및 두 번째 회전축을 영상으로 투영 (단계 S8).
트레일러의 토우 히치 위치를 계산하기 위한 차량 (201)의 계산 장치 (210)에 관한 것으로서, 여기서 그 계산 장치를 다음을 위해 구성되어 있는 바, 즉
첫 번째 자세로 촬영된 트레일러의 첫 번째 영상과 두 번째 자세로 촬영된 트레일러의 두 번째 영상을 기반으로 하여 트레일러의 회전 및 트레일러의 이동 계산 (단계 S2),
계산한 트레일러의 회전과 트레일러의 이동을 기반으로 하여 첫 번째 영상과 두 번째 영상 사이에서의 트레일러의 첫 번째 회전축 계산 (단계 S3),
세 번째 자세를 취한 트레일러의 촬영한 세 번째 영상 및 네 번째 자세를 취한 네 번째 영상을 사용하여 단계 S2 및 S3 반복, 이를 이용하여 트레일러의 두 번째 회전축 계산 (단계 S2* 및 S3*),
첫 번째 및 두 번째 회전축의 교차를 결정하여 토우 히치 위치로 향하는 광선 결정 (단계 S4).
청구항 7의 계산 장치에 관한 것으로서, 여기서 이 계산 장치는 토우 히치 위치까지의 광선과 기하학적 조건을 사용하여 토우 히치의 위치 계산하도록 구성되어 있다 (단계 S5).
트레일러 (207, 0208)의 영상을 촬영하기 위한 카메라 (202)와 청구항 7 또는 8에 따른 계산 장치가 장차된 차량 (201).
프로세서에서 실행되고 있을 때 청구항 1의 방법을 실행하라고 그 프로세서에 지시하는 프로그램 요소.
청구항 8에 따른 프로그램 요소가 저장되어 있는, 컴퓨터가 읽을 수 있는 매체.