KR20020066214A

KR20020066214A - 화상 합성 장치

Info

Publication number: KR20020066214A
Application number: KR1020020007402A
Authority: KR
Inventors: 이다료스케; 미즈사와가즈후미; 미와미치오
Original assignee: 마쯔시다덴기산교 가부시키가이샤
Priority date: 2001-02-09
Filing date: 2002-02-08
Publication date: 2002-08-14
Also published as: ATE376507T1; KR100481248B1; EP1231110A3; CN1295656C; EP1231110A2; CN1371079A; US20020110262A1; JP2002314991A; JP3645196B2; US7058207B2; EP1231110B1; DE60223095D1; DE60223095T2

Abstract

가상 시점에서 촬영한 것처럼 변환한 영상에, 보조 영상을 중첩하여 모니터에 표시하는 것에 의해, 주위의 입체물로의 접근을 모니터 영상으로부터 용이하게 유추할 수 있는 영상을 제시하는 화상 합성 장치가 개시된다. 이 화상 합성 장치는 차량에 탑재된 촬상 수단(101)과, 촬상 수단(101)에 의해서 촬상된 화상을 시점 변환(視點變換)하여 화상을 합성하는 시점 변환 화상 합성 수단(102)과, 차량이 직진한 경우의 차량의 임의의 높이의 궤적선을 생성하는 차량 직진 궤적선 생성 수단(103)과, 상기 시점 변환 화상 합성 수단(102)에 의해서 합성된 화상 상에, 차량 직진 궤적선 생성 수단(103)에 의해서 생성된 궤적선을 묘화(描畵)하는 차량 궤적선 묘화 수단(104)을 구비하고 있다.

Description

화상 합성 장치{Picture synthesizing apparatus}

본 발명은 화상 합성 장치에 관한 것으로, 특히 자동차에 탑재된 복수의 촬상 장치에 의해서 얻어진 화상을 가상 시점으로부터의 화상으로 시점 변환하여 합성하고, 자동차의 주위의 화상을 운전자에게 제시하여, 주차시 등의 운전자의 운전을 지원하는 장치에 사용하기에 적합한 화상 합성 장치에 관한 것이다.

종래, 이 종류의 화상 표시 장치로서, 「The Principle of virtual viewpoint image synthesis using a road surface model」(제7회 ITS 세계 회의)에 의해 카메라의 실사 영상을 마치 가상 시점으로부터 촬영한 것 같은 영상으로 시점 변환하여, 모니터에 표시하는 장치가 알려져 있다. 또한, 일본 특허 제2610146호에 의해, 차량의 조향각(steering angle) 센서에 의해서 검출한 조향각에 대응한 후진 예측 궤적을 차량에 탑재한 카메라의 영상에 중첩하는 장치가 알려져 있다.

그러나, 종래의 화상 표시 장치에 있어서는 가상 시점에서 촬영한 것처럼 변환한 화상에, 후진 예측 궤도를 중첩하여 모니터에 표시한 경우, 주위의 입체물까지의 거리가, 모니터의 영상에서는 실제의 거리보다도 크다고 오해하기 쉽다는 문제가 있었다.

이하, 도면을 사용하여 설명한다. 도 30에 있어서, 모니터 영상 중에서는 자기 차량의 일러스트레이션(2401)과 다른 차량(2402; 他車輛)과의 거리는 아직 충분히 떨어져 있는 것처럼 보인다. 그러나, 실제로는 도 31에 도시하는 바와 같이 자기 차량(2401)과 다른 차량(2402)은 상당히 접근해 있다. 이것은 가상 시점으로의 변환에 의해, 범퍼와 같이 지상으로부터 떨어져 있는 물체가 변환 후의 화상에서는 실제의 위치보다도 카메라로부터 먼 위치로 투영되는 것에 기인한다.

본 발명은 상기 종래의 문제를 해결하기 위해서 이루어진 것으로, 가상 시점에서 촬영한 것처럼 변환한 영상에, 보조 영상을 중첩하여 모니터에 표시하는 것에 의해, 주위의 입체물로의 접근을 모니터 영상으로부터 용이하게 유추할 수 있는 영상을 제시하는 것이 가능한 화상 합성 장치를 제공하는 것을 목적으로 한다.

도 1은 본 발명의 실시예의 화상 합성 장치의 구성을 도시하는 블록도.

도 2는 도 1의 화상 합성 장치에 의해서 얻어진 상방(上方)으로부터 수직으로 내려다 본 경우의 합성 화상과 궤적선을 설명하기 위한 도면.

도 3은 도 1에 있어서의 임의의 높이의 궤적선 산출 수단(103B)의 구성에 관해서 설명하기 위한 블록도.

도 4는 도 1에 있어서의 임의의 높이의 궤적선 산출 수단(103B)의 처리의 흐름을 설명하기 위한 도면.

도 5는 도 2의 궤적선의 세부사항을 설명하기 위한 도면.

도 6은 도 1의 화상 합성 장치에 의해서 얻어진 후방 파노라마 합성 화상과 궤적선의 설명을 하기 위한 도면.

도 7은 본 발명의 제 2 실시예의 화상 합성 장치의 구성을 도시하는 블록도.

도 8은 도 7에 있어서의 임의의 높이의 궤적선의 산출 수단(502B)의 구성에 대해서 설명하기 위한 블록도.

도 9는 도 7의 화상 합성 장치에 의해서 얻어진 상방으로부터 수직으로 내려다 본 경우의 합성 화상과 궤적선의 설명을 하기 위한 도면.

도 10은 도 7의 화상 합성 장치에 의해서 얻어진 후방으로부터 본 경우의 합성 화상과 궤적선의 설명을 하기 위한 도면.

도 11은 도 7의 화상 합성 장치에 의해서 얻어진 상방으로부터 수직으로 내려다 본 경우의 합성 화상과 궤적선과 시간적으로 움직이는 자기 차량(自車輛)의 입체 표시를 설명하기 위한 도면,

도 12는 본 발명의 제 3 실시예의 화상 합성 장치의 구성을 도시하는 블록도.

도 13은 도 12의 화상 합성 장치에 의해서 얻어진 후방 파노라마 합성 화상과 궤적선과 충돌 개소(個所)의 강조 표시를 설명하기 위한 도면.

도 14는 본 발명의 제 4 실시예의 화상 합성 장치의 구성을 도시하는 블록도.

도 15는 도 14의 화상 합성 장치에 의해서 얻어진 다화면(多畵面) 표시 화상과 궤적선을 설명하기 위한 도면.

도 16은 본 발명의 제 5 실시예의 화상 합성 장치의 구성을 도시하는 블록도.

도 17은 도 16의 화상 합성 장치에 의해서 얻어진 다화면 표시 화상과 보조선을 설명하기 위한 도면.

도 18은 본 발명의 제 6 실시예의 화상 합성·표시 장치의 구성을 도시하는 블록도.

도 19는 본 발명의 제 6 실시예의 화상 합성·표시 장치의 촬상부 설치도.

도 20은 본 발명의 제 6 실시예의 화상 합성·표시 장치의 화면 구성도.

도 21은 본 발명의 제 7 실시예의 화상 합성·표시 장치의 화면 구성도.

도 22는 본 발명의 제 8 실시예의 화상 합성·표시 장치의 화면 구성도.

도 23은 본 발명의 제 9 실시예의 화상 합성·표시 장치의 화면 구성도.

도 24는 본 발명의 제 10 실시예의 화상 합성·표시 장치의 구성을 도시하는 블록도.

도 25는 본 발명의 제 11 실시예의 화상 합성·표시 장치의 화면 구성도.

도 26은 본 발명의 제 12 실시예의 화상 합성·표시 장치의 화면 구성도.

도 27은 본 발명의 제 13 실시예의 화상 합성·표시 장치의 구성을 도시하는 블록도.

도 28은 본 발명의 제 14 실시예의 화상 취득 경고 장치의 화면 구성도.

도 29는 본 발명의 제 15 실시예의 자기 차량의 위치 인지 판별 장치의 화면 구성도.

도 30은 종래의 후방 시계 표시 장치의 화면 구성도.

도 31은 종래의 후방 시계 표시 장치의 과제를 설명하기 위한 차량의 위치 관계도.

본 발명의 화상 합성 장치는 차량에 탑재된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 상기 차량의 임의의 높이의 궤적선 또는 수직선의 적어도 한쪽을 생성하는 차량 궤적선 생성 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에, 상기 차량 궤적선 생성 수단에 의해서 생성된 궤적선을 묘화하는 차량 궤적선 묘화 수단을 구비한 것이다. 이 구성에 의해, 자기 차량의 임의의 높이의 궤적선을 생성하여, 시점 변환에 의해서 얻어진 합성 화상 상에 표시하는 것으로 되기 때문에, 상기 합성 화상 상에 자기 차량의 입체적인 궤적을 묘화하는 것이 가능해진다. 따라서, 시점 변환 화상 합성을 행한 경우에 생기는 주위의 입체물의 왜곡과 마찬가지로 자기 차량의 궤적을 왜곡시키는 것에 의해, 주위와 자기 차량의 예상 궤적과의 3차원적인 위치 관계가 파악하기 쉽게 되어, 시인성이 향상되고, 자기 차량과 주위의 입체물과의 접촉 판정을 용이하게 행하는 것이 가능해진다.

또한, 본 발명의 화상 합성 장치는 차량에 탑재된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 상기 차량으로부터 임의의 위치의 보조선을 생성하는 보조선 생성 수단과, 상기 시점 변환 합성 수단에 의해서 합성된 화상 상에, 상기 보조선 생성 수단에의해서 생성된 보조선을 묘화하는 보조선 묘화 수단을 구비한 것이다. 이 구성에 의해, 자기 차량으로부터 임의의 위치의 보조선을 생성하고, 시점 변환에 의해서 얻어진 합성 화상에 표시하게 되기 때문에, 합성 화상 상에 거리의 기준이 되는 보조선을 그리고, 주행시 등에 운전자가 후방으로부터 접근하여 오는 차량과의 거리를 파악하기 쉽게 하는 것이 가능해진다.

더욱이, 본 발명의 화상 합성 장치는 차량에 탑재된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 미리 소정의 데이터가 저장된 기억 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에, 상기 기억 수단으로부터 판독된 데이터에 기초하여, 소정의 보조 데이터를 중첩하는 묘화 수단을 구비한 화상 합성 장치로서, 상기 촬상 수단은 상기 차량의 뒤쪽 가장자리부를 그 시야 내에 들어가게 하도록 설치되어 있고, 상기 시점 변환 화상 합성 수단은 상기 차량의 영상을 포함하여 시점 변환 합성하는 것을 특징으로 한다. 이 구성에 의해, 자기 차량의 뒤쪽 가장자리부의 화상의 변환·합성 결과를 운전자에게 제시하게 되기 때문에, 자기 차량과 차량 주변의 입체물과의 접촉 판정을 용이하게 하는 것이 가능해진다.

본 발명의 화상 표시 장치는 상기 화상 합성 장치에 의해서 합성한 화상을 표시하는 표시 수단과, 상기 표시 수단에 적합한 데이터로 표시해야 할 상기 화상을 변환하는 표시 데이터 변환 제어 수단을 갖는다.

이 구성에 의해, 촬상 수단에서 촬상된 화상 또는 합성 화상을 표시 수단에 표시할 수 있고, 조작자에게 주위의 상황이나 자동차와의 위치 관계를 파악하기 쉽게 제공할 수 있다.

또한, 본 발명의 화상 취득 경고 장치는 차량에 연결하는 연결 대상물이 접근하는 상황을 검지(檢知)하는 검지 수단과, 상기 검지 수단의 검지 정보 또는 상기 화상 합성 장치에 의해서 합성한 화상 정보의 적어도 한쪽의 정보에 기초하여 조작자에게 임의의 경고 정보를 발하는 경고 수단을 갖고, 임의로 설정한 상기 연결 대상물의 접근 상황에 따라서 상기 경고 정보를 발한다.

이 구성에 의해, 차체 후부(後部)로 연결 대상물을 연결하는 경우, 연결 대상물이 근접하는 것에 대응하여, 접근한 상태에 대응하여 경고 정보를 발함으로써, 조작자등의 주의를 환기시킬 수 있다. 또한, 연결 완료 시에, 완료 상태를 확인하는 것도 가능하다.

또한, 본 발명의 자기 차량 위치 인지 판별 장치는 상기 화상 합성 장치에 있어서, 촬상 수단 중 적어도 하나가 자동차의 후방에 설치된 후 후방 촬상 수단이고, 상기 후방 촬상 수단이 촬상한 화상 또는 상기 화상 합성 장치에서 합성된 화상으로부터 임의의 대상물의 화상을 검출하는 화상 검출 수단과, 상기 화상 검출 수단에 의해 검출된 검출 화상과, 자기 차량의 화상과의 위치 관계를 인지하는 인지 수단과, 임의로 설정한 조건과 비교하여 판단하는 비교 판별 수단을 갖는다.

이 구성에 의해, 촬상 수단에서 촬상된 화상 또는 합성 화상을 표시 수단에 표시할 수 있고, 조작자에게 주위의 상황, 특히 임의로 설정한 대상물의 화상으로부터 대상물(대상 표시도 포함한다)의 위치를 파악하거나, 자동차와의 위치 관계를 파악하기 쉽게 제공할 수 있다.

이하, 본 발명의 실시예에 대하여 도면을 참조하여 상세하게 설명한다.

(제 1 실시예)

도 1은 제 1 실시예의 화상 합성 장치의 구성을 도시하는 블록도이다. 이 화상 합성 장치는 자동차에 탑재된 촬상 수단(101)과, 시점 변환 화상 합성 수단(102)과, 차량 직진 궤적선 생성 수단(103)과, 차량 궤적선 묘화 수단(104)에 의해서 구성되어 있다.

촬상 수단(101)은 차량의 후부 또는 측부에 탑재된 1대 이상의 카메라로 구성되어 있고, 차량의 후방을 향하고 있다. 시점 변환 화상 합성 수단(102)은 촬상 수단(101)에 의해서 촬상된 1매 이상의 화상을 입력함으로써, 가상 시점으로부터 본 합성 화상을 출력한다. 차량 직진 궤적선 생성 수단(103)은 자기 차량의 크기 및 형상이나 시점 변환 시의 카메라 파라미터(parameter), 촬상 수단(101)의 촬상 상황을 입력함으로써, 자기 차량이 똑바로 후퇴한 경우의 궤적선을 출력한다. 차량 직진 궤적선 생성 수단(103)은 노면상의 궤적선 산출 수단(103A)과 임의의 높이의 궤적선 산출 수단(103B)을 구비하고 있고, 자기 차량의 임의의 위치의 궤적선을 출력하는 것이 가능하고, 예를 들어 도로면 상의 궤적이나, 차량의 범퍼 끝의 궤적 등을 동시에 출력하는 기능을 구비하고 있다. 차량 궤적선 묘화 수단(104)은 차량 직진 궤적선 생성 수단(103)에 의해서 출력된 자기 차량의 궤적선을 시점 변환 화상 합성 수단(102)에 의해서 얻어진 합성 화상 상에 중첩하여 묘화한다. 또, 차량 궤적선 묘화 수단(104)의 출력은 도시되어 있지 않는 표시 장치에 주어지고, 표시된다.

도 2는 촬상 수단(101)에 의해서 얻어진 화상을 시점 변환 화상 합성 수단 (102)에 의해서 자기 차량의 후방으로부터 자기 차량이 놓여져 있는 노면에 대하여 수직으로 내려다 본 화상을 합성하여, 차량 궤적선 묘화 수단(104)에 의해서 얻어진 자기 차량(204)의 노면상의 궤적선(201)과, 노면으로부터 높이 50cm의 위치의 자기 차량의 궤적선(202)을 차량 직진 궤적 생성 수단(103)에 의해서 합성 화상 상에 묘화한 경우의 도면이다. 합성 화상 상에서, 입체물이 어떻게 투영되어 있는지 이해하기 쉽게 하기 위해서, 노면상의 궤적선(201)과 높이를 갖는 궤적선(202)을 노면에 대하여 수직인 직선(203)으로 연결하고 있다. 여기서, 자기 차량(204)의 후방에는 제 1 다른 차량(205)이 존재하고, 측방에는 제 2 다른 차량(206)이 존재한다.

도 3은 도 1에서의 임의의 높이의 궤적선 산출 수단(103B)의 구성에 대해서 설명하기 위한 블록도이다. 임의의 높이의 궤적선 산출 수단(103B)은 3차원 궤적선 생성 수단(103B-1)과, 3차원 궤적선 도로면 투영 수단(103B-2)과, 합성 화상 투영 수단(103B-3)으로 구성되어 있다. 3차원 궤적선 생성 수단(103B-1)은 실공간 상에서의 차량의 임의의 높이의 3차원적인 궤적선을 생성하는 기능을 구비하고 있다. 3차원 궤적선 도로면 투영 수단(103B-2)은 3차원 궤적선 생성 수단(103B-1)에 의해서 생성된 3차원적인 궤적선을, 차에 장착된 촬상 수단으로부터 도로면상에 투영하는 기능을 구비하고 있다. 합성 화상 투영 수단(103B-3)은 3차원 궤적선 도로면 투영 수단(103B-2)에 의해서 도로면 상에 투영된 궤적선을 합성 화상 상에 투영하는 기능을 구비하고 있다.

도 4는 상기 임의의 높이의 궤적선 산출 수단(103B)의 처리의 흐름을 설명하기 위한 도면이다. 우선, 3차원 궤적선 생성 수단(103B-1)에 의해서, 3차원 공간 상에 자기 차량의 임의의 부분의 궤적선으로서 선분(105; 線分)이 생성된다. 다음에, 선분(105)은 3차원 궤적선 도로면 촬영 수단(103B-2)에 의해서, 차에 장착된 촬영 수단으로부터, 도로면 상의 선분(106)에 투영된다. 이어서, 선분(106)은 합성 화상 투영 수단(103B-3)에 의해서, 합성 화상 상의 선분(107)에 투영된다. 이렇게 하여 얻어진 선분(107)이 합성 화상 상에서의 궤적선이다.

도 5는 도 2의 궤적선을 상세하게 설명하기 위한 도면이다. 도 5에 도시하는 바와 같이, 차량의 노면상의 궤적 상의 각 점을 a로부터 h, 노면으로부터 높이 50cm의 궤적 상의 각 점을 A로부터 H로 한다.

직선(ab)은 자기 차량(204)의 후단의 노면상의 위치를 나타내는 직선, 직선(cd)은 자기 차량(204)의 후방 1m의 노면상의 위치를 나타내는 직선, 직선(ef)은 자기 차량(204)의 후방 2m의 노면상의 위치를 나타내는 직선, 직선(gh)은 자기 차량(204)의 후방 3m의 노면상의 위치를 나타내는 직선이다. 또한, 직선(AB)은 자기 차량(204)의 후단의 높이 50cm를 나타내는 직선, 직선(CD)은 자기 차량(204)의 후방 1m의 높이 50cm를 나타내는 직선, 직선(EF)은 자기 차량(204)의 후방 2m의 높이 50cm를 나타내는 직선, 직선(GH)은 자기 차량(204)의 후방 3m의 높이 50cm를 나타내는 직선이다. 따라서, 직선(Aa, Bb, Cc, Dd, Ee, Ff, Gg, Hh)은 노면상의 각각의 위치에 길이 50cm의 막대가 노면에 대하여 수직으로 서 있는 경우의 합성 화상 상에서의 상을 나타내고 있다고 생각할 수 있다.

상기한 바와 같이 궤적선을 정하면, 예를 들어, 합성 화상 상에서, 사각형 (ABCD) 내의 영역에 도로면 밖에 표시되어 있지 않는 경우, 적어도 자기 차량의 폭으로 후방 1m까지는 높이 50cm 이하의 물체는 존재하지 않는다는 것을 말할 수 있다. 반대로 사각형(ABCD) 내에 노면 이외의 입체물이 표시되어 있는 경우, 자기 차량의 폭으로 후방 1m까지 높이 50cm 이하의 물체가 존재할 가능성이 있다는 것을 말할 수 있다.

여기서, 도 1의 장치는 묘화하는 궤적선의 색을 자유롭게 바꾸는 것도 가능하다. 예를 들어, 자기 차량으로부터 1m의 범위까지를 나타내는 선분을 빨강, 1m로부터 2m까지의 범위를 나타내는 선분의 색을 노란색, 2m로부터 3m까지의 범위를 나타내는 선분의 색을 파랑으로 하는 것도 가능하다. 또한, 노면상의 궤적(aceg 및 bdfh)을 검게 하거나 굵게 함으로써 자기 차량의 타이어의 궤적이라는 것이 직감적으로 알기 쉽도록 표시하는 것도 가능하다.

또한, 도 1의 장치는 자기 차량의 범퍼의 높이의 궤적을 그리는 것도 가능하다. 자기 차량의 범퍼의 높이의 궤적을 그리면, 합성 화상 상에서 자기 차량의 범퍼와 주위의 물체와의 접촉 판정을 하는 것이 용이하게 된다는 특징을 갖게 하는 것이 가능하다.

더욱이, 도 2에서 그려지고 있는 궤적선은 차량의 후방 3m까지이지만, 임의의 거리까지의 궤적선을 그리는 것도 가능하다.

도 6은 촬상 수단(101)에 의해서 얻어진 화상으로부터 시점 변환 화상 합성 수단(102)에 의해서 후방 파노라마 화상을 합성하고, 이 합성 화상 상에 자기 차량의 도로면 상의 궤적(401)과 자기 차량의 범퍼 끝의 궤적(402)과 자기 차량의 차 높이의 궤적(403)을 그린 것이다. 자기 차량의 차 높이의 궤적을 그리는 것에 의해, 주위의 차량과의 거리감 등을 파악하기 쉬운 특징을 갖고 있다.

이와 같이, 본 발명의 제 1 실시예에 따르면, 시점 변환 합성 화상 상에 자기 차량의 입체적인 궤적을 묘화할 수 있기 때문에, 운전자는 자기 차량과 주위의 입체물과의 접촉 판정을 용이하게 행하는 것이 가능해진다.

또한, 자기 차량의 노면상의 궤적선과 임의의 높이의 궤적선을 직선 또는 곡선으로써 보간함으로써, 노면에 대하여 수직인 선이나, 자기 차량의 궤적선 상의 단면도를 합성 화상 상에 표시하는 것도 가능하다.

예를 들어, 자기 차량에 장비된 짐받이 연결기(히치; hitch)를 사용한 짐받이차와의 연결이라는 장면(scene)을 상정(想定)한 경우, 짐받이차가 자기 차량로부터 떨어져 있는 초기 상태, 즉 자기 차량을 짐받이차에 근접시키는 경우에 있어서는 표시되는 자기 차량의 예상 궤적에 의해, 대상이 되는 짐받이차에 어떻게 근접하면 좋은지 방침을 세우기 쉽고, 또한, 짐받이 차를 연결하기 직전에 있어서는 시점 변환에 의해 마치 바로 위에서 본 것과 같은 영상(평면 투영)을 제공하는 것에 의해, 상호의 히치의 위치 관계를 정확하게 파악하는 것이 가능해져, 이상의 동작과 사용 방법에 의해, 용이하게 짐받이와 자기 차량와의 연결이 가능해진다.

또한, 한정된 주차 공간으로의 주차일 때, 또는 복수 차선에서의 후방 차량의 위치 관계를 파악할 때에도, 운전자에게 이해하기 쉬운 영상을 제공할 수 있다는 동일한 이점이 생기는 것은 말할 필요도 없다.

더욱이, 상기한 예와 같이, 미리 히치의 높이나 범퍼의 높이 등 가장 중요한(critical) 부분의 높이를 알고 있다면, 그 높이의 궤적선을 운전자의 지시에 의해 묘화하여도 좋다.

그리고, 범퍼 끝의 궤적선을 묘화함으로써, 범퍼 끝의 접촉 판정을 가능하게 하거나, 차 높이의 궤적선을 합성 화상 상에 묘화함으로써, 직감적으로 이해하기 쉬운 궤적선을 묘화하거나 하는 것도 가능하다.

또한, 자기 차량으로부터의 거리에 따라서 궤적선의 색이나 굵기를 바꿔 묘화함으로써, 운전자의 주목을 자기 차량의 근방에 집중시키는 등의 효과를 얻는 것도 가능하다.

본 발명의 제 1 실시예의 화상 합성 장치는 운전자에 대하여, 후방 사각(dead angle)을 명료하게 표시하는 안전성과, 상기 주차나 연결 시의 편리성을 겸비한 뛰어난 운전 지원 장치로서도 활용·이용할 수 있다.

(제 2 실시예)

도 7은 제 2 실시예의 화상 합성 장치의 구성을 도시하는 블록도이다. 이 도면에 있어서, 도 1과 동일한 구성 요소 또는 대응하는 구성 요소에는 도 1에서 사용한 부호를 붙였다.

이 화상 합성 장치는 도 1의 화상 합성 장치에 있어서, 차량 직진 궤적선 생성 수단(103) 대신에 차량 조향각 대응 궤적선 생성 수단(502)을 설치하고, 더욱이 조향각 정보 출력 수단(501)을 부가하여, 그 출력을 차량 조향각 대응 궤적선 생성 수단(502)에 입력하도록 구성한 것이다. 그 밖의 구성 요소는 도 1의 장치와 동일한 구성을 갖는다.

조향각 정보 출력 수단(501)은 자기 차량의 핸들 조향각을 출력하는 장치이고, 차량 조향각 대응 궤적선 생성 수단(502)은 핸들 조향각을 입력으로 하고, 그 핸들 조향각에 따른 궤적선을 출력하는 장치이다. 차량 조향각 대응 궤적선 생성 수단(502)은 노면상의 궤적선의 산출 수단(502A)과 임의의 높이의 궤적선의 산출 수단(502B)을 구비하고 있고, 핸들 조향각과 자기 차량의 크기 및 형상과 시점 변환 시의 카메라 파라미터와 촬상 수단(101)의 촬상 상황을 입력함으로써, 자기 차량이 후퇴한 경우의 자기 차량의 임의의 위치의 조향각에 대응한 궤적선을 출력하는 기능을 구비하고 있다.

도 8은 도 7에 있어서의 임의의 높이의 궤적선의 산출 수단(502B)의 구성에 관해서 설명하기 위한 블록도이다. 임의의 높이의 궤적선의 산출 수단(502B)은 3차원 형상 기억 수단(502B-1)과, 3차원 궤적 영역 생성 수단(502B-2)과, 도로면 투영 수단(502B-3), 합성 화상 투영 수단(502B-4)으로 구성되어 있다. 3차원 형상 기억 수단(502B-1)은 자기 차량의 형상이나 자기 차량이 내접하는 직사각형체나 자기 차량의 일부, 예를 들어 범퍼나 차륜 등의 형상을 기억하는 것이 가능하다. 3차원 궤적 영역 생성 수단(502B-2)은 3차원 형상 기억 수단(502B-1)에 의해서 기억되어 있는 자기 차량의 형상이 자기 차량이 움직였을 때에 통과하는 실공간 상에서의 영역을 생성하는 기능을 구비하고, 도로면 투영 수단(502B-3)은 3차원 궤적 영역 생성 수단(502B-2)에 의해서 생성된 3차원 영역을 도로면 상에 투영하는 기능을 구비하고, 합성 화상 투영 수단(502B-4)은 도로면 투영 수단(502B-3)에 의해서 생성된 3차원 영역을 합성 화상 상에 투영하는 기능을 구비한다. 또, 3차원 형상 기억 수단(502B-1)에 의해서 기억되어 있는 형상이 자기 차량의 소정의 부분의 한 점인 것도 가능하기 때문에, 3차원 궤적 영역 생성 수단(502B-2)에 의해서 생성되는 영역을 3차원적인 선분으로 하는 것도 가능하다.

도 9는 시점 변환 화상 합성된 합성 화상 상에, 조향각 정보에 따른 궤적선을 그린 것이다. 여기서, 차량 조향각 대응 궤적선 생성 수단(502)에 있어서의 3차원 형상 기억 수단(502B-1)은 자기 차량의 후방의 코너에 위치하는 도로면으로부터 높이 50cm인 점의 3차원 위치를 기억하고 있다. 이 도면에 도시하는 바와 같이, 노면상의 조향각 대응 궤적선(601)과, 높이 50cm의 조향각 대응 궤적선(602)이 표시되어 있다. 이와 같이 표시함으로써, 얼마만큼 차량의 핸들을 돌리면 주위의 입체물과 접촉할지의 판정을 용이하게 행할 수 있게 되고, 주차시 등에 주위의 입체물과의 접촉의 회피가 용이하게 된다는 특징을 갖고 있다.

도 10은 도 7의 장치를 후방 파노라마 화상에 응용한 것이다. 여기서는 자기 차량의 후방에 2대의 다른 차량과, 노면상의 조향각 대응 궤적선(701)과, 범퍼의 높이의 조향각 대응 궤적선(702)과, 차 높이의 조향각 대응 궤적선(703)이 표시되어 있다.

도 11은 자기 차량이 후퇴하였을 때의 자기 차량의 타이어나 범퍼 등을 노면에 투영한 것을 합성 화상에 묘화한 것이다. 여기서는 3차원 형상 기억 수단(502B-1)은 자기 차량의 범퍼와 차륜의 형상을 기억하고 있고, 차량 조향각 대응 궤적선 생성 수단(502)에 의해서, 자기 차량(204)의 차륜의 투영상(801)과, 범퍼 끝의 투영상(802)을 투영하고 있다. 이 투영상은 소정의 주기로 자기 차량(204)의 후단으로부터 후방으로 시간적으로 움직인다. 이로써, 자기 차량(204)이 움직였을 때에, 주위의 물체와의 위치 관계를 직감적으로 포착하기 쉽게 하는 것이 가능하다. 특히 핸들을 꺾었을 때, 타이어의 궤적과 범퍼의 궤적은 회전 반경의 차에 따라 다르기 때문에, 도 8과 같이 자기 차량의 입체 모델을 합성 화상 상에 묘화하는 것이 유효하다.

이와 같이, 본 발명의 제 2 실시예에 따르면, 조향각에 따른 자기 차량의 입체적인 궤적을 묘화하는 것에 의해, 얼마만큼 차량의 핸들을 돌리면 주위의 입체물과 접촉하는지의 판정을 용이하게 행할 수 있게 되고, 주차시 등에 주위의 입체물과의 접촉의 회피가 용이하게 된다.

또한, 자기 차량의 단면이나 입체 모델을 자기 차량의 후단으로부터 멀어지도록 궤적선을 따라서 시간적으로 움직인 것을 화상 상에 묘화하는 것에 의해, 입체물과의 접촉 판정을 보다 용이하게 할 수 있다.

(제 3 실시예)

도 12는 제 3 실시예의 화상 합성 장치의 구성을 도시하는 블록도이다. 이 도면에 있어서, 도 7과 동일한 구성 요소 또는 대응하는 구성 요소에는 도 7에서 사용한 부호를 붙였다.

이 화상 합성 장치는 도 7의 장치에 장해물 충돌 예측 수단(901)과, 장해물충돌 강조 표시 수단(902)을 추가한 것이며, 그 밖의 구성 요소는 도 7의 장치의 동일한 구성을 갖는다.

장해물 충돌 예측 수단(901)은 자기 차량의 주위에 존재하는 차량 등의 장해물을 검출하는 장치이다. 또한 차량 궤적선 묘화 수단(104)은 장해물 충돌 예측 수단(901)에 의해서 검출된 장해물의 위치와 자기 차량의 궤적선이 충돌한다고 판정된 경우, 그 앞의 궤적선을 묘화하지 않도록 하는 기능을 구비하고 있다. 장해물 충돌 강조 표시 수단(902)은 자기 차량의 궤적선과 장해물이 충돌한다고 판정된 경우, 충돌하는 개소를 합성 화상 상에서 강조 표시하는 기능을 구비하고 있다.

이와 같이 구성함으로써, 도 12의 장치에서는 예상 궤적선 상에 장해물이 있는 경우, 장해물 상에 궤적이 묘화된다는 부자연스러움이 없어져, 보다 이해하기 쉬운 예상 궤적선을 표시하는 것이 가능해진다.

도 13은 도 12의 장치에 의해서 얻어진 파노라마 화상과 궤적선이다. 도 13에 있어서, 장해물보다 먼저 존재하는 궤적선의 점선의 부분(1001)은 화상 상에 묘화되지 않는다. 또한 충돌하는 개소를 도면부호 1002와 같이 강조 표시시킴으로써, 운전자의 주의를 충돌 개소에 집중시키는 것이 가능해진다.

이와 같이, 본 발명의 제 3 실시예에 따르면, 자기 차량의 주위의 장해물 상에 궤적선을 묘화하지 않도록 함으로써, 원래는 진행하는 것이 불가능한 진로 상에 궤적을 묘화한다는 부자연스러운 현상을 막는 것이 가능해져, 보다 주위의 상황을 이해하기 쉬운 궤적선의 묘화가 가능하게 된다.

또한, 자기 차량과 장해물의 충돌이 예측된 경우, 충돌 개소를 강조하여 표시함으로써, 운전자의 주의를 끄는 것도 가능하다.

(제 4 실시예)

도 14는 제 4 실시예의 화상 합성 장치의 구성을 도시하는 블록도이다. 이 도면에 있어서, 도 7과 동일한 구성 요소 또는 대응하는 구성 요소에는 도 7에서 사용한 부호를 붙였다.

이 화상 합성 장치는 도 7의 화상 합성 장치에, 다화면 생성 수단(1101)을 부가한 것으로서, 그 밖의 구성 요소는 도 7의 장치와 동일한 구성을 갖는다. 단지, 촬상 수단(101)은 다화면 생성을 위한 영상을 취득하기 위해서, 차량의 후부와 양측부(兩側部)에 탑재되어 있다.

도 15는 차량의 후부에 탑재된 카메라와, 차량의 양측부에 탑재된 카메라로부터의 화상을 기초로 도 14의 화상 합성 장치에 의해서 얻은 합성 화상과, 차량 궤적선을 도시하는 도면이다. 차량의 후부에 탑재된 카메라의 화상을 표시 영역의 위로부터 2/3 정도를 사용하여 표시하고, 차량의 양측부에 탑재된 카메라로부터의 화상을 표시 영역의 아래 1/3 정도를 사용하여 표시한다. 그리고, 각 화면에 대하여, 자기 차량의 후방의 궤적선(1201)을 그린다. 또한 자기 차량의 측방을 향하고 있는 카메라의 화상 상에는 자기 차량의 전방의 코너의 궤적(1202)도 그리는 것이 가능하다. 여기서, 다른 화면 간에서 동일한 위치를 나타내는 궤적선 또는 자기 차량 프레임을 동일 색으로 표시하는 것에 의해, 다른 화면에서도 자기 차량의 동일한 위치의 궤적의 대응을 취하는 것을 용이하게 하는 것이 적합하다.

이와 같이, 본 발명의 제 4 실시예에 따르면, 자기 차량 후방의 궤적을 두개 이상의 다른 위치의 카메라로부터 얻어진 화상 상에 그리기 때문에, 궤적선의 3차원적인 위치가 이해하기 쉽게 되어, 주위의 장해물과의 접촉 판정이 용이하게 된다.

또한, 다른 화면 간에서 동일한 위치를 나타내는 궤적선 또는 자기 차량 프레임을 동일한 색으로 표시함으로써, 다른 화면에서도 자기 차량의 동일한 위치의 궤적의 대응을 취하는 것이 용이하게 된다.

또한 자기 차량의 프레임(1203)을 시간적으로 이동시키는 기능을 도 14의 장치에 갖게 하는 것도 가능하다.

(제 5 실시예)

도 16은 제 5 실시예의 화상 합성 장치의 구성을 도시하는 블록도이다. 이 도면에 있어서, 도 1과 동일한 구성 요소 또는 대응하는 구성 요소에는 도 1에서 사용한 부호를 붙였다.

이 화상 합성 장치는 도 1의 화상 합성 장치에 다화면 생성 수단(1101)을 추가하고, 또한 궤적선 생성 수단(103)을 보조선 생성 수단(1301)에, 차량 궤적선 묘화 수단(104)을 보조선 묘화 수단(1302)으로 교체한 것이고, 그 밖의 구성 요소는 도 1의 장치와 동일한 구성을 갖는다.

보조선 생성 수단(1301)은 합성 화상 상에, 예를 들어 자기 차량으로부터 10m 후방과 20m 후방의 위치 등의 선을 생성하는 장치이다. 그리고, 보조선 묘화 수단(1302)은 보조선 생성 수단(1301)에 의해서 출력된 보조선을 다화면 생성 수단(1101)에 의해서 얻어진 합성 화상 상에 중첩하여 묘화한다.

도 17은 도 16의 화상 합성 장치에 의해서 얻어진 합성 화상이다. 여기서는 자기 차량으로부터 후방 10m의 보조선(1401)과, 자기 차량의 후방 20m의보조선(1402)이 표시되어 있다. 보조선(1401 및 1402)에 의해서, 후방으로부터 접근하는 차량과의 거리를 파악하는 것이 용이하게 된다. 또한, 자기 차량의 후단의 선을 노면에 수직으로 투영한 보조선(1403)처럼 묘화하는 것도 가능하다. 보조선(1403)에 의해서, 자기 차량을 추월하려고 하는 다른 차량 등이 자기 차량의 후단보다 뒤를 주행하고 있는지, 자기 차량의 측방을 주행하고 있는지의 판단이 용이하게 되어, 차선 변경시 등의 경우의 측방의 차량의 확인을 원활하게 행할 수 있다는 특징을 갖고 있다. 더욱이 보조선(1401, 1402, 1403) 상에서의 일반적인 차량의 차폭을 나타내는 보조선(1404)을 표시하는 것도 가능하다. 이로써, 후방으로부터 접근하는 차량이 소정의 스케일(scale)선에 근접하고, 그 차량의 폭이 보조선(1403)과 거의 같게 되면, 그 차량은 그 보조선 상 부근을 주행하고 있음을 알 수 있다.

이와 같이, 본 발명의 제 5 실시예에 따르면, 합성 화상 상에 거리의 기준이 되는 보조선을 그림으로써, 주행시 등에 운전자가 후방에서 접근하여 오는 차량과의 거리를 파악하기 쉽게 된다.

또한, 자기 차량의 측면을 촬상한 화상, 또는 상기 화상의 합성 화상 상에, 자기 차량의 후단의 위치를 나타내는 보조선을 생성함으로써, 측방의 차량의 전단이 자기 차량의 후단보다 후방에 있는지, 전방에 있는지가 이해하기 쉽게 되어, 차선 변경 등일 때에 유효하다.

더욱이, 이러한 보조선 상에, 일반적인 차량의 차폭을 나타내는 보조선을 묘화함으로써, 보다 주위의 차량과의 거리의 파악을 용이하게 시키는 것도 가능하다.

(제 6 실시예)

도 18은 제 6 실시예의 화상 합성·표시 장치의 구성을 도시하는 블록도이다. 이 화상 합성·표시 장치는 자동차에 탑재되는 제 1 촬상부(1501) 및 제 2 촬상부(1502)와, 화상 변환·합성부(1503)와, 묘화부(1504)와, 메모리(1505)와, 표시부(1506)로 구성되어 있다. 여기서, 제 1 촬상부(1501) 및 제 2 촬상부(1502)는 도 1의 촬상 수단(101)에 대응하고, 화상 변환·합성부(1503)는 시점 변환 화상 합성 수단(102)에 대응한다.

제 1 촬상부(1501) 및 제 2 촬상부(1502)는 차량의 후방을 촬영한다. 제 1 촬상부(1501) 및 제 2 촬상부(1502)에서 취득된 영상은 화상 변환·합성부(1503)에서 가상 시점으로부터 촬상한 듯한 영상으로 변환된다. 묘화부(1504)는 메모리(1505)에 저장되어 있는 데이터를 기초로, 출력 화상에 중첩해야 할 일러스트레이션, 보조선 등을 묘화한다. 이 묘화부(1504)에서 묘화된 영상은 표시부(1506)에 표시된다. 또, 도 18에서는 촬상부는 2대로 하고 있지만, 화상 변환·합성부(1503)가 대응할 수 있으면 몇 대라도 상관 없다. 도 19에 도시하는 바와 같이, 제 1 촬상부(1501) 및 제 2 촬상부(1502)는 자기 차량(204)의 범퍼 및 후부의 차체의 일부를 그 시야 내에 넣도록 자기 차량(204)의 후부에 탑재되어 있다.

이상과 같이 구성된 화상 합성·표시 장치에 관해서, 도 20을 사용하여 그 화면 구성을 설명한다. 이 도면은 마치 차량 후단으로부터 2m 정도 떨어진 지점의 상공에 촬상부를 설치한 듯한 영상으로 변환하였을 때의 표시예이다.

여기에는 자기 차량(204), 후방에 위치하는 제 1 다른 차량(205), 뒤쪽방에위치하는 제 2 다른 차량(206), 및 도로면(1701)이 표시되어 있다. 빗금친 부분(1702)은 촬상부의 시야 밖의 노면이다.

또한, 자기 차량(204)의 후부의 번호판(204A), 범퍼(204B), 및 정지등(204C)이 표시되어 있다. 또한, 범퍼의 후단 및 바디(body)의 뒤쪽 가장자리 위치에 보조선(1703)을 중첩하여 자기 차량의 뒤쪽 가장자리를 강조하고 있다. 이 때, 실제의 뒤쪽 가장자리보다도 외측으로 보조선을 그리거나, 보조선을 굵게 하는 등으로, 접촉의 위험성을 저감하는 것도 가능하다.

또한, 범퍼(204B)의 후단으로부터 일정한 거리만큼 후방에, 범퍼(204B)와 수평에 미러(mirror) 확인선(1704)을 긋고 있다. 이 미러 확인선(1704)은 표시 화상을 자기 차량과 동일한 영역의 위험 영역 및, 자기 차량과는 다른 영역의 안전 영역과의 2개의 영역으로 분리하는 보조선이고, 미러에 의해 운전자에게 주위의 물체와의 충돌 확인을 재촉하는 기능을 구비하고 있다. 결국, 운전 중에 차량 주위에 표시되는 물체가 이 미러 확인선(1704)에 접촉한 시점에서 미러를 확인함으로써, 운전자는 주위의 물체와의 충돌 가능성을 최적의 타이밍으로 확인할 수 있다. 또, 미러 확인선(1704)은 화상 중에 비치는 바디의 뒤쪽 가장자리, 및 범퍼의 후단으로부터 일정 거리만큼 외측으로 빼거나, 차량의 뒤쪽 가장자리를 둘러싸도록 곡선으로 하여도 좋다.

이와 같이, 본 발명의 제 6 실시예에 따르면, 자기 차량의 범퍼 및 후부의 차체의 일부가 그 시야 내에 들어오도록 촬상부를 설치하고, 자기 차량의 영상을 포함하여 시점 변환·합성하는 것에 의해, 자기 차량과 차량 주변의 입체물과의 접촉 판정을 용이하게 할 수 있다.

또한, 범퍼의 후단 및 자기 차량의 뒤쪽 가장자리 위치에 보조선을 중첩하여, 그것들의 위치를 강조 표시한 화상을 제공함으로써, 자기 차량의 뒤쪽 가장자리를 용이하게 판별하는 것이 가능해져, 접촉 판별이 보다 용이하게 된다.

더욱이, 자기 차량의 범퍼의 후단으로부터 일정 거리만큼 후방에 범퍼와 수평으로 미러 확인선을 표시한 화상을 제시함으로써, 최적의 타이밍에 의해 운전자에게 미러에 의한 주위의 안전 확인을 재촉하는 것이 가능해진다.

(제 7 실시예)

제 7 실시예의 화상 합성·표시 장치의 구성은 도 18과 동일하다. 도 21은 제 7 실시예의 화면 구성도이다.

도 21에는 자기 차량의 3차원적인 일러스트레이션(1801)이 표시되어 있다. 이 일러스트레이션(1801)은 마치 차량 후단으로부터 2m 정도 떨어진 지점의 상공에 설치된 가상 시점으로부터 본 영상으로 변환한 것처럼 작성되어 있고, 표시 화상의 자기 차량에 상당하는 영역에 중첩된다.

또한, 보조선(1802)은 범퍼 영역을 나타낸다. 이 영역에는 실제로 촬상부에서 촬영한 화상을 변환한 화상을 표시하여도 좋다. 이로써, 실제의 화상을 보고 있다는 안심감을 운전자에게 줄 수 있다. 이 때, 실제의 차량 위치보다도 범퍼 영역의 일러스트레이션을 크게 그림으로써, 접촉의 위험성을 저감하는 것도 가능하다.

더욱이, 보조선(1803)은 자기 차량이 직선적으로 후퇴한 경우에 그 바디 끝이 통과하는 위치를 노면상에 투영한 위치를 도시하는 노면상 통과 궤적(路面上通過軌跡)이다. 또한, 보조선(1804)은 자기 차량이 직선적으로 후퇴한 경우에 범퍼 끝이 통과하는 위치를 나타내는 범퍼 통과 궤적이다. 그리고, 보조선(1805A 내지 C)은 자기 차량으로부터 일정 거리에 있는 노면상 통과 궤적 상의 점과 범퍼끝 통과 궤적 상의 점을 잇는 입체 보조선이다. 또, 자기 차량의 범퍼 끝 뿐만 아니라, 자기 차량과는 다른 높이의 범퍼를 가지는 적당한 다른 차량(他車)의 범퍼의 높이에 상당하는 자기 차량의 바디 끝의 통과 궤적을 표시하는 것도 가능하다.

이와 같이, 본 발명의 제 7 실시예에 따르면, 자기 차량을 마치 실제로 설치한 촬상부에서 촬영하여 변환 합성한 것과 같은 3차원적인 일러스트레이션을 표시 화상에 중첩하여 자기 차량을 입체적으로 표시한 화상을 제공함으로써, 자기 차량을 입체적으로 포착하는 것이 가능해져, 자기 차량과 차량 주변의 입체물과의 위치 관계를 3차원적으로 파악하기 쉽게 된다. 그 결과, 접촉 판정이 용이하게 된다.

또한, 일러스트레이션의 범퍼에 상당하는 영역에 실사 화상을 변형·합성한 화상을 표시함으로써, 실제의 화상을 보고 있다고는 안심감을 운전자에게 줄 수 있다.

더욱이, 자기 차량이 후퇴한 경우에, 바디 끝이 통과하는 위치를 노면상에 투영한 위치를 나타내는 범퍼 끝 궤적, 및, 범퍼 끝이 통과하는 위치를 나타내는 범퍼끝 통과 궤적, 및, 이들을 연결하여 입체감을 생성하는 입체 보조선을 표시한 화상을 제시함으로써, 2개의 통과 궤적의 위치 관계를 입체적으로 파악하기 쉽게 할 수 있다.

(제 8 실시예)

제 8 실시예의 화상 합성·표시 장치의 구성은 도 18과 동일하다. 도 22는 제 8 실시예의 화면 구성도이다.

도 22에 있어서, 일러스트레이션(1901)은 자기 차량의 타이어가 노면에 접촉하고 있는 위치를 확인할 수 있도록, 자기 차량을 뼈대(skeleton)로 표현하는 동시에 타이어도 표현한 3차원적인 일러스트레이션이다. 이 일러스트레이션(1901)은 마치 차량후단으로부터 2m 정도 떨어진 지점의 상공에 설치된 가상 시점으로부터 본 영상으로 변환한 것처럼 작성되어 있고, 표시 화상의 자기 차량에 상당하는 영역에 중첩된다. 또, 자기 차량을, 와이어 프레임으로 표현하는 등으로 하여도 좋다.

또한, 보조선(1902)은 범퍼 영역을 나타낸다. 이 영역에는 실제로 촬상부에서 촬영한 화상을 변환한 화상을 표시하여도 좋다. 그리고, 보조선(1903)은 일러스트레이션(1901) 내의 타이어로부터 그린 노면 통과 궤적이다. 이로써, 노면상 통과 궤적의 의미를 직감적으로 파악하기 쉽게 된다.

이와 같이, 본 발명의 제 8 실시예에 따르면, 자기 차량의 일러스트레이션을 뼈대 또는 와이어 프레임 등으로 표현하고, 타이어 위치를 명시적으로 표시한 화상을 제시함으로써, 더욱 자기 차량의 입체감을 강조할 수 있는 동시에, 노면상에서의 타이어 위치를 직감적으로 이해할 수 있기 때문에, 자기 차량과 차량, 마치 차량후단으로부터 2m 정도 떨어진 지점의 상공에 설치된 가상 시점으로부터 본 영상으로 변환한 것처럼 주변의 입체물과의 위치 관계를 3차원적으로 파악하기 쉽게 되어, 접촉 판정이 용이하게 된다.

(제 9 실시예)

제 9 실시예의 화상 합성·표시 장치의 구성은 도 18과 동일하다. 도 23은 제 9 실시예의 화면 구성도이다.

도 23에 있어서, 제 1 벽면(2001)은 자기 차량의 후단 위치에 노면에 수직으로 놓여진 차량폭과 동일한 폭의 벽면의 일러스트레이션이다. 이 벽면(2001)은 마치 차량 후단으로부터 2m 정도 떨어진 지점의 상공에 설치된 가상 시점으로부터 본 영상으로 변환한 것처럼 작성되어 있고, 표시 화상의 자기 차량의 후단 위치에 상당하는 영역에 중첩된다. 또, 제 2 벽면(2002)은 제 1 벽면(2001)보다도 자기 차량의 안쪽에 놓여진 자기 차량 폭과 동일한 폭의 벽면의 일러스트레이션이다. 제 2 벽면(2002)은 제 1 벽면(2001)과 동일하게 작성되어 있고, 표시 화상 내의 적당한 위치에 중첩된다. 여기서, 제 2 벽면(2002)은 노면과 접촉하고 있는 곳이 보이도록 그려지고 있다.

또, 제 1 벽면(2001)에 차량 후부와 같은 일러스트레이션을 그리거나, 제 2 벽면(2002)이 노면과 접촉하는 부분에 타이어의 일러스트레이션을 그리는 것도 가능하다.

이와 같이, 본 발명의 제 9 실시예에 따르면, 자기 차량의 후단 위치, 및, 그 위치보다도 자기 차량의 안쪽에, 도로면과 수직으로 놓여진 자기 차량의 폭과 동일한 폭의 2장의 벽면의 일러스트레이션을 표시 화상에 중첩하여 자기 차량을 입체적인 물체로 비유적으로 표현한 화상을 제시함으로써, 자기 차량을 입체적으로포착하는 것이 가능해지기 때문에, 자기 차량과 차량 주변의 입체물과의 위치 관계를 3차원적으로 파악하기 쉽게 되어, 접촉 판정이 용이하게 된다.

(제 10 실시예)

도 24는 제 10 실시예의 화상 합성·표시 장치의 구성을 도시하는 블록도이다. 이 도면에 있어서, 도 18과 동일한 구성 요소 또는 대응하는 구성 요소에는 도 18에서 사용한 부호를 붙였다.

도 24에 있어서, 궤적 산출부(2101)는 외부로부터 입력되어 있는 자기 차량의 핸들의 조향각 신호를 기초로, 현재의 조향각 대로 후퇴한 경우에 자기 차량이 통과하는 궤적을 산출한다. 묘화부(1504; 描畵部)는 메모리(1505)에 저장되어 있는 데이터, 및, 궤적 산출부(2101)로부터 입력되어 있는 자기 차량의 통과 예측 궤적을 기초로, 출력 화상에 중첩해야 할 일러스트레이션, 보조선 등을 묘화한다.

제 10 실시예의 화면 구성은 도 21의 화면에 있어서의 보조선(1803, 1804, 1805A 내지 C)을 도 9의 보조선(601, 602)과 같이 조향각에 따라서 굴곡하게 된다.

이와 같이, 본 발명의 제 10 실시예에 따르면, 자기 차량의 조타각에 따라서 자기 차량의 바디 끝이 통과하는 위치를 노면상에 투영한 위치를 나타내는 노면상 통과 궤적, 자기 차량의 범퍼 끝이 통과하는 위치를 나타내는 범퍼 끝 통과 궤적, 및, 이들을 이어 입체감을 만들어 내는 입체 보조선을 표시한 화상을 제시함으로써, 후퇴하는 경우에, 자기 차량의 조타각에 따라서 실제의 통과 예측 궤적을 입체적으로 파악하기 쉽게 표시하는 것이 가능해지고, 운전자가 표시 화면을 참고로 하여 최적으로 핸들을 조작하는 것이 가능해진다.

또, 이러한 보조선을 제 6 내지 제 9 실시예(도 20 내지 도 23)에 나타내는 자기 차량의 실화 또는 일러스트레이션과 동시에 표시하거나, 노면상 통과 궤적을 타이어 자국과 같이 표시하거나, 범퍼 끝 통과 궤적을 자기 차량의 실화 또는 일러스트레이션의 범퍼 끝과 이어서 표시하여도 좋다. 적당한 높이의 바디 끝의 통과 궤적을 표시할 때는 그 높이에 상당하는 자기 차량 위치에 잇는다.

또한, 자기 차량을 뼈대 또는 와이어 프레임으로 표현하여도 좋다. 이 경우, 노면상 통과 궤적(1903)을 일러스트레이션 내의 타이어로 그리도록 한다. 이로써, 노면상 통과 궤적의 의미를 직감적으로 파악하기 쉽게 할 수 있다.

더욱이, 이러한 보조선을 자기 차량의 실화 또는 일러스트레이션과 동시에 표시하거나, 노면상 통과 궤적을 타이어 자국처럼 표시하거나, 범퍼 끝 통과 궤적을 자기 차량의 실화 또는 일러스트레이션의 범퍼 끝과 이어 표시함으로써, 2개의 통과 궤적과 자기 차량과의 관계를 직감적으로 파악하기 쉽게 하여도 좋다.

또한, 미러 확인선도 동시에 표시함으로써, 최적의 타이밍으로, 또한, 어떤 부근을 확인하면 좋은지를 운전자가 직감적으로 파악할 수 있도록 하여도 좋다.

(제 11 실시예)

제 11 실시예의 화상 합성·표시 장치의 구성은 도 18과 동일하다. 도 25는 제 11 실시예의 화면 구성도이다. 이하, 자기 차량을 세단(sedan)으로서 설명한다.

도 25에 있어서, 보조선(2201)은 자기 차량이 직선적으로 후퇴한 경우에 자기 차량의 바디 끝이 통과하는 위치를 노면상에 투영한 위치를 나타내는 노면상 통과 궤적이다. 보조선(2202)은 자기 차량이 직선적으로 후퇴한 경우에 범퍼 끝이 통과하는 위치를 나타내는 범퍼 끝 통과 궤적이다. 보조선(2203)은 자기 차량이 직선적으로 후퇴한 경우에 범퍼 위치가 자기 차량의 범퍼 위치보다도 높은 SUV 등의 범퍼 위치에 상당하는 자기 차량의 차체 끝이 통과하는 위치를 나타내는 통과 궤적이다. 일러스트레이션(2204A 내지 C)은 자기 차량의 후부의 차체면을 모방한 일러스트레이션이고, 각각의 위치에 자기 차량의 차체 후부가 위치할 때에 실제로 화상에 찍히는 모양을 일러스트레이션으로서 나타낸 것이다. 또, 일러스트레이션으로서 표시하고 있는 높이는 보조선(2203)과 동일한 높이로 하고 있지만, 반드시 같은 높이로 하지 않아도 좋고, 보조선(2203)의 높이도 임의로 결정하여도 좋다.

이와 같이, 본 발명의 제 11 실시예에 따르면, 직선적으로 후퇴한 경우의 자기 차량의 노면 통과 궤적, 자기 차량의 범퍼 끝 통과 궤적, SUV 등의 범퍼 끝 통과 궤적, 및 자기 차량의 후부의 차체를 모방한 일러스트레이션을 동시에 표시하는 것에 의해, 자기 차량의 진행 방향과 자기 차량의 주위에 존재하는 물체와의 위치 관계를 직감적으로 파악할 수 있다.

또, 제 7 내지 제 8 실시예와 같이, 자기 차량의 일러스트레이션과 조합하여, 이 일러스트레이션을 이동 또는 화면에 맞추어 변형하여 자기 차량의 후부의 차체면을 모방한 일러스트레이션으로서 사용하며, 노면상 통과 궤적을 타이어 자국과 같이 표시함으로써, 보다 직감적으로 자기 차량의 진행 방향과 자기 차량의 주위에 존재하는 물체와의 위치 관계를 파악할 수 있도록 구성하여도 좋다.

또한, 제 6 실시예에 있어서의 미러 확인선도 동시에 표시하거나, 제 10 실시예와 같이, 자기 차량의 조타각에 따라서, 이러한 보조선을 이동하여, 실제로 후퇴하였을 때에 통과하는 궤적을 표시하는 것도 가능하다. 또, 보조선의 위치만 정확하게 표시하여, 자기 차량의 후부를 모방한 일러스트레이션은 미리 정한 몇 종류로부터 선택하여 적당한 위치에 중첩하여도 좋다.

(제 12 실시예)

제 12 실시예의 화상 합성·표시 장치의 구성은 도 18과 동일하다. 도 26은 제 12 실시예의 화면 구성도이다. 이하, 자기 차량을 세단으로서 설명한다.

도 26에 있어서, 보조선(2301)은 자기 차량이 직선적으로 후퇴한 경우의 바디 끝이 통과하는 위치를 노면상에 투영한 위치를 도시하는 노면상 통과 궤적이다. 보조선(2302)은 자기 차량이 직선적으로 후퇴한 경우에 범퍼의 하면의 끝이 통과하는 위치를 나타내는 범퍼 하면 끝 통과 궤적이다. 보조선(2303)은 자기 차량이 직선적으로 후퇴한 경우에 범퍼의 상면의 끝이 통과하는 위치를 나타내는 범퍼 상면 통과 궤적이다. 일러스트레이션(2304A∼C)은 범퍼를 모방한 일러스트레이션이고, 각각의 위치에 범퍼만이 있는 경우에 실제로 화상으로서 표시되는 모양을 일러스트레이션로서 나타내는 것이다.

이와 같이, 본 발명의 제 12 실시예에 따르면, 자기 차량이 직선적으로 후퇴한 경우의 노면 통과 궤적, 범퍼 상면 끝 통과 궤적, 범퍼 하면 통과 궤적, 및 자기 차량의 범퍼를 모방한 일러스트레이션을 동시에 표시하는 것에 의해, 직감적으로 자기 차량의 운행 방향과 자기 차량의 주위에 존재하는 물체와의 위치 관계를 파악할 수 있다.

또, 제 7 내지 제 8 실시예와 같이, 자기 차량의 일러스트레이션과 조합하여, 이 일러스트레이션을 이동 또는 화면에 맞추어 변형하여 자기 차량의 후부의 차체면을 모방한 일러스트레이션으로서 사용하고, 노면상 통과 궤적을 타이어 자국과 같이 표시함으로써, 보다 직감적으로 자기 차량의 진행 방향과 자기 차량의 주위에 존재하는 물체와의 위치 관계를 파악할 수 있도록 구성하여도 좋다.

또한, 제 6 실시예에 있어서의 미러 확인선도 동시에 표시하거나, 실시예 10과 같이 자기 차량의 조타각에 따라서, 이러한 보조선을 이동하여, 실제로 후퇴하였을 때에 통과하는 궤적을 표시하는 것도 가능하다.

(제 13 실시예)

도 27은 본 발명의 제 13 실시예의 화면 합성·표시 장치의 블록도이다. 이 실시예는 상술한 실시예의 설명에서 도시 생략되어 있는 표시 장치를 포함하는 것이다. 즉, 도 27에 도시하는 바와 같이, 차량 궤적선 묘화 수단(104)의 출력 신호인 표시 데이터를 받아들여 소정 형식의 신호로 변환하는 표시 데이터 변환 제어 수단(80)과, 표시 데이터 변환 제어 수단(80)에서 얻어진 표시 데이터를 받아들여 화면 상에 표시하는 표시 수단(81)이 설치되어 있다. 이 표시 수단(81)은 차량의 리어뷰 미러 등에 표시 기능을 가지게 한 표시 기능이 딸린 미러로 할 수 있다.

이 구성에 의해, 화상을 표시 기능이 딸린 미러로 표시함으로써, 조작자에게 주위 상황이나 자기 차량 위치를 용이하게 인식할 수 있도록 할 수 있다. 또, 표시 기능이 딸린 미러로서의 미러 구성으로서는 액정 또는 유기 EL(Electro Luminescence) 등의 표시 수단(81)의 표시부의 표면에 하프 미러를 중첩한 형식이고, 이 액정 또는 유기 EL 부분은 전체로 1개의 표시부이거나, 또한, 복수의 표시부의 집합체이더라도 좋으며, 적어도 1개의 표시부로 구성되어 있다.

더욱이, 이 미러 구성에서는 통상의 미러로서 작동하는 상태와, 화상 표시화면으로서 작동하는 상태로 전환할 수 있다. 이 전환 동작은 자동차에 내장한 조도(照度) 센서에 의해, 밤이 되면 자동적으로 화상 표시 상태로 바꿀 수 있다. 또한, 조작자가 헤드라이트를 점등하는 동작에 맞추어서 바꾸도록 하여도 좋다. 더욱이, 비로 리어 윈도우(rear window)가 흐려졌을 때나 겨울 시기에 눈이나 결빙으로 후방이 보이지 않게 되었을 때 등에 리어 윈도우의 열선 히터의 스위치를 넣는 등으로 화상 표시 상태로 바꾸어도 좋다. 더욱이 전환은 기어와 연동시켜, 기어를 후진 기어로 넣었을 때만 화상 표시 상태로 할 수 있다.

이와 같이 미러 전체면을 통상의 미러 상태와 화상 표시 상태로 바꿀 수 있기 때문에, 조작자는 자동차의 후방의 상황을 넓은 표시면으로 용이하게 파악할 수 있고 안전하게 운전할 수 있다.

상기 미러 구성 대신에 사용할 수 있는 다른 구성으로서는 통상의 미러와, 액정 또는 유기 EL 등의 표시부를 병설(倂設)한 것이 있다. 이러한 다른 미러 구성에서는 통상의 미러부에서 후방의 상황을 개략 파악하고, 병설한 표시부에서 통상의 표시부에서는 사각(死角)이 되는 부분을 확대 표시하거나, 특히 주의를 요하는 대상 부분을 확대하는 등으로 표시하는 것도 가능하다. 또한, 이러한 표시 수단(81)은 미러에 한정되어 있는 것은 아니며, 대시보드에 설치한 표시부에서도, 네비게이션 시스템에 연결된 디스플레이나, 정보 휴대 단말 또는 헤드업 디스플레이등이라도 좋다.

(제 14 실시예)

도 28은 본 발명의 제 14 실시예의 화상 취득·경고 장치의 블록도이다. 이 실시예에서는 상술한 제 13 실시예에 더하여 차량의 후부 등에 설치된 검지 수단(82)과 검지 수단(82)의 출력 신호에 응답하는 경고 수단(83)을 설치하고 있다. 검지 수단(82)은 차량에 연결되는 연결 대상부로서의 캠핑카 등의 차량으로의 이상 접근을 검지하는 것이다. 이상 접근인지의 여부는 차량과 연결 대상부와의 사이의 거리가 미리 설정한 소정 거리보다 짧을 때에 이상 접근이라고 판단할 수 있다.

이 구성에 의해, 검지 수단(82)으로서 근접 센서를 사용하여 연결 대상물인 캠핑카의 접근을 검지하고, 화상으로 접근 상태를 확인하면서, 자동차측과 캠핑카측의 서로 쌍이 되는 짐받이연결기(히치)간의 거리가 제 1의 소정의 거리, 예를 들어 1 미터 이내로 접근하였을 때와 제 2의 소정의 거리, 예를 들어 50cm 이내로 접근하였을 때에, 각각 경보 수단(83)인 스피커로부터 조작자에게 경고하기 위한 경보음을 낼 수 있다. 경보음은 각각 다른 음으로 할 수 있다. 이렇게 하여, 짐받이 연결기(히치) 연결 작업에 있어서 화상으로 연결 작업을 확인하면서, 그 접근 상태에 따라서(연결 작업에 따라서 임의로 설정한 거리에 있어서) 적절하게 경고를 발할 수 있고, 연결 작업을 안전하고 확실하게 행할 수 있다.

또한 경고 수단(83)은 스피커를 사용하였으나 이것에 한정되지 않고, 도 28의 점선으로 도시한 바와 같이 연결하여 경고 신호를 송신함으로써 화상의 표시 장치에 경고용의 심볼(symbol) 화상이나 점멸하는 화상 등이나 주의를 촉구하기에 적합한 색채를 중첩하여 표시해 두어도 좋고, 더욱이, 경고 정보를 발하는 조건은 경고 신호 발생 조건 설정 수단(87)을 사용하여 자기 차량나 연결 대상물의 크기, 중량, 스피드 등에 따라 임의로 설정할 수 있다.

더욱이, 촬상 장치는 짐받이 연결기(히치)에 장착하여, 연결이 완료한 상태를 최후까지 확인하는 구성이라도 좋다.

또한 검출 수단(82)으로서는 초음파식, 전자식, 광학(적외선 포함) 등이라도 좋고, 더욱이 화상으로부터 직접 거리를 산출하여 경고하는 방식이라도 좋다.

더욱이, 연결 대상물을 캠핑카로 하였지만 보드를 탑재하는 것으로 트럭 등, 다른 것이라도 좋은 것은 당연하다.

(제 15 실시예)

도 29는 본 발명의 제 15 실시예의 자기 차량 위치 인식 장치의 블록도이다. 이 실시예에서는 상술한 제 1 내지 제 12 실시예에 더하여 차량의 후방의 화상을 처리함으로써 임의의 대상물의 화상을 검출하고, 검출 화상과 차량의 화상과의 위치 관계를 인식하고, 인식된 위치 관계와, 미리 설정된 위치 관계를 비교하여 양자 간의 어긋남량을 검출하도록 하고 있다. 즉, 도 15의 실시예의 자기 차량 위치 인식 장치는 촬상 수단(101)이 갖는 후방 촬상 수단에서 촬상된 화상 또는 제 1 내지 제 12 실시예의 화상 합성 장치에서 합성된 화상으로부터 임의의 대상물의 화상을 검출하는 화상 검출 수단(84)과 화상 검출 수단(84)에 의해 검출된 검출 화상과 차량의 화상과의 위치 관계를 인식하는 인식 수단(85)와, 인식 수단에서 인식된 위치관계와 미리 설정된 위치 관계를 비교하고, 이러한 위치 관계로부터 양자간의 어긋남량을 검출하는 비교 수단(86)을 가지고 있다. 후방 촬상 수단으로서는 차량의 후방에 설치된 카메라를 사용할 수 있다. 이로써 차량의 후방의 주차 공간을 나타내는 노면상의 흰선을 촬상한다. 화상 검출 수단(84)은 후방 촬상 수단에 의해 촬상된 화상이나, 또는 원통면과 구면을 조합시킨 3차원 투영 모델에 투영된 화상이나, 또는 화상 합성 수단에서 합성된 합성 화상으로부터 주차 공간을 나타내는 흰선을 검출한다. 인식 수단(85)은 검출된 흰선과 자기 차량의 화상과의 위치 관계를 화상 데이터로부터 연산하여 인식한다. 비교 수단(86)은 인식 수단(85)에서 인식된 실제의 위치 관계와 주차 공간을 획정(劃定)하는 좌우의 흰선의 중앙에 자기 차량의 화상의 중심이 위치한다는 미리 설정된 위치 관계를 비교하여, 이들 위치 관계로부터 양자간의 어긋남량을 검출한다. 또한, 이 어긋남량이 너무 클 때는 그대로 차량을 후진시키면 좌우의 흰선 내에 차량을 주차시킬 수 없기 때문에, 경보를 발하도록 구성하는 것도 가능하다.

이 구성에 의해, 운전자는 주차 공간의 흰선을 화상으로 확인하면서 차량을 후진시킬 수 있고, 자기 차량와 주차 공간의 위치 관계를 후방의 주위의 위치 관계와 맞추어서 용이하게 파악할 수 있으며, 더욱 안전한 운전이 가능하게 된다.

이상과 같이 본 발명은 가상 시점으로부터의 유사 영상 중에 적당한 일러스트레이션, 보조선, 궤적선 등을 중첩함으로써, 운전자가 자기 차량과 주위의 입체물과의 3차원적인 위치 관계를 직감적으로 파악할 수 있고, 그 결과, 적절한 접촉판정을 하는 것이 용이하게 된다는 뛰어난 효과를 갖는 화상 합성 장치를 제공할 수 있다.

Claims

차량에 탑재된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 상기 차량의 임의의 높이의 궤적선 또는 수직선의 적어도 한쪽을 생성하는 차량 궤적선 생성 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에, 상기 차량 궤적선 생성 수단에 의해서 생성된 궤적선을 묘화(描畵)하는 차량 궤적선 묘화 수단을 구비한 화상 합성 장치.
제 1 항에 있어서,

상기 차량 궤적선 생성 수단은 3차원 궤적선 생성 수단과, 도로면 투영 수단과, 합성 화상 투영 수단으로 이루어지는 화상 합성 장치.
제 1 항에 있어서,

상기 차량 궤적선 생성 수단은 상기 차량이 직진한 경우의 궤적선을 생성하는 화상 합성 장치.
제 1 항에 있어서,

상기 차량의 핸들 조향각을 출력하는 조향각 정보 출력 수단을 구비하고, 상기 차량 궤적선 생성 수단은 상기 조향각 정보 출력 수단에 의해서 출력된 조향각정보에 따른 궤적선을 생성하는 화상 합성 장치.
제 1 항에 있어서,

상기 차량의 노면상의 궤적선과 임의의 높이의 궤적선을 직선 또는 곡선에 의해서 보간함으로써, 상기 노면에 대하여 수직인 선을 상기 합성 화상 상에 묘화하는 화상 합성 장치.
제 1 항에 있어서,

상기 차량의 범퍼 끝의 궤적선 또는 차 높이의 궤적선을 상기 합성 화상 상에 묘화하는 화상 합성 장치.
제 1 항에 있어서,

상기 차량으로부터의 거리에 따라서 상기 궤적선의 색이나 두께를 바꾸어 묘화하는 화상 합성 장치.
제 4 항에 있어서,

상기 차량의 단면을 상기 차량의 후단으로부터 멀어지도록 상기 궤적선을 따라서 시간적으로 이동시킨 것을 상기 합성 화상 상에 묘화하는 화상 합성 장치.
제 4 항에 있어서,

상기 차량의 입체도를 상기 차량의 후단으로부터 멀어지도록 상기 궤적선을 따라서 시간적으로 이동시킨 것을 상기 합성 화상 상에 묘화하는 화상 합성 장치.
제 4 항에 있어서,

상기 차량의 궤적선 생성 수단은 3차원 형상 기억 수단과 3차원 궤적선 생성 수단과, 도로면 투영 수단과, 합성 화상 투영 수단으로 이루어지는 화상 합성 장치.
제 10 항에 있어서,

상기 3차원 형상 기억 수단은 상기 차량의 형상을 기억하고 있는 화상 합성 장치.
제 10 항에 있어서,

상기 3차원 형상 기억 수단은 상기 차량에 내접하는 직사각형체의 형상을 기억하고 있는 화상 합성 장치.
제 10 항에 있어서,

상기 3차원 형상 기억 수단은 상기 차량의 차륜의 형상을 기억하고 있는 화상 합성 장치.
제 10 항에 있어서,

상기 3차원 형상 기억 수단은 상기 차량의 범퍼의 형상을 기억하고 있는 화상 합성 수단.
제 4 항에 있어서,

상기 차량의 주위에 존재하는 장해물을 검지(檢知)하고, 상기 장해물과 상기 차량의 충돌의 가능성을 예측하는 장해물 충돌 예측 수단을 구비한 화상 합성 장치.
제 15 항에 있어서,

상기 차량 궤적선 묘화 수단은 상기 장해물 충돌 예측 수단에 의해 상기 차량과 상기 장해물과의 충돌이 예측된 경우, 충돌 개소보다 앞선 상기 차량의 궤적선을 묘화하지 않는 화상 합성 장치.
제 15 항에 있어서,

상기 차량 궤적선 묘화 수단은 상기 장해물 충돌 예측 수단에 의해 상기 차량과 상기 장해물과의 충돌이 예측된 경우, 충돌 개소를 강조하여 표시하는 화상 합성 장치.
제 4 항에 있어서,

상기 시점 변환 화상 합성 수단에 의해서 합성된 화상을 다화면(多畵面) 분할하여 표시시키는 다화면 생성 수단을 구비한 화상 합성 장치.
제 18 항에 있어서,

상기 차량 궤적선 묘화 수단은 상기 다화면 생성 수단에 의해서 생성된 각 화면에 차량의 궤적을 그리는 화상 합성 장치.
제 18 항에 있어서,

상기 촬상 수단은 상기 차량의 후방을 촬상하는 것과 상기 차량의 측방을 촬상하는 것을 갖는 화상 합성 장치.
제 18 항에 있어서,

상기 차량 궤적선 묘화 수단은 상기 차량의 측방을 촬상한 화상, 또는 상기 화상을 변환한 화상 상에 상기 차량의 후단의 궤적선을 묘화하는 화상 합성 장치.
제 19 항에 있어서,

상기 차량 궤적선 묘화 수단은 복수의 화면에 상기 궤적선을 묘화할 때, 다른 화면간에서 동일한 위치를 나타내는 궤적선 또는 차량 프레임을 동일한 색으로 묘화하는 화상 합성 장치.
차량에 탑재된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 상기 차량으로부터 임의의 위치의 보조선을 생성하는 보조선 생성 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에, 상기 보조선 생성 수단에 의해서 생성된 보조선을 묘화하는 보조선 묘화 수단을 구비한 화상 합성 장치.
제 23 항에 있어서,

상기 시점 변환 화상 합성 수단에 의해서 합성된 화상을 다화면 분할하여 표시시키는 다화면 생성 수단을 구비하고, 상기 보조선 묘화 수단은 생성한 보조선을 상기 다화면 생성 수단에 의해서 생성된 각 화면에 묘화하는 화상 합성 장치.
제 23 항에 있어서,

상기 보조선 생성 수단은 상기 차량의 후단의 위치를 나타내는 보조선을 생성하는 화상 합성 장치.
제 23 항에 있어서,

상기 보조선 생성 수단은 상기 차량의 후단으로부터 일정한 거리를 나타내는 보조선을 생성하는 화상 합성 장치.
제 23 항에 있어서,

상기 보조선 생성 수단은 일반적인 차량의 차폭을 나타내는 보조선을 생성하는 화상 합성 장치.
차량에 탑재되고, 상기 차량의 후부가 시야 내에 들어가도록 설치된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 상기 차량의 영상을 포함하는 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 미리 소정의 데이터가 저장된 기억 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에, 상기 기억 수단으로부터 판독된 데이터에 기초하여, 소정의 보조 데이터를 중첩하는 묘화 수단을 갖는 화상 합성 장치.
제 28 항에 있어서,

상기 차량의 뒤쪽 가장자리에 보조선을 중첩하고, 그 위치를 강조 표시한 화상을 제시하는 화상 합성 장치.
제 28 항에 있어서,

상기 차량을 실제로 설치된 촬상부에서 촬영하여 변환 합성한 것처럼 3차원적인 일러스트레이션을 표시한 화상을 제시하는 화상 합성 장치.
제 28 항에 있어서,

상기 차량을 뼈대(skeleton) 또는 와이어 프레임의 일러스트레이션으로 표현하고, 타이어 위치를 명시적으로 표시한 화상을 제시하는 화상 합성 장치.
제 31 항에 있어서,

일러스트레이션의 범퍼에 상당하는 영역에 상기 촬상 수단의 실사 화상을 변형·합성한 화상을 제시하는 화상 합성 장치.
제 28 항에 있어서,

상기 차량의 후단 위치, 및 그 위치보다도 상기 차량의 내측에, 도로면과 수직으로 설치된 상기 차량의 폭과 동일한 폭의 2매의 벽면의 일러스트레이션을 표시 화상에 중첩하여 상기 차량을 입체적인 물체로 비유적으로 표현한 화상을 제시하는 화상 합성 장치.
제 28 항에 있어서,

상기 차량의 범퍼의 후단으로부터 일정 거리만큼 후방에 상기 범퍼와 수평으로 미러(mirror) 확인선을 표시한 화상을 제시하는 화상 합성 장치.
제 28 항에 있어서,

상기 차량이 후퇴한 경우에, 상기 차량의 바디 끝이 통과하는 위치를 노면상에 투영한 위치를 나타내는 노면상 통과 궤적 및, 상기 차량의 범퍼 끝이 통과하는 위치를 나타내는 범퍼 끝 통과 궤적 및, 이들을 이어 입체감을 만들어내는 입체 보조선을 표시한 화상을 제시하는 화상 합성 장치.
제 35 항에 있어서,

상기 노면상 통과 궤적을 타이어 자국과 같이 표시하여, 범퍼 끝 통과 궤적과 상기 차량의 실화(實畵) 또는 일러스트레이션의 범퍼 끝을 이어 표시한 화상을 제시하는 화상 합성 장치.
제 35 항에 있어서,

상기 노면상 통과 궤적을 일러스트레이션 내에 명시된 타이어로 그려 표시한 화상을 제시하는 화상 합성 장치
제 37 항에 있어서,

상기 차량의 범퍼의 후단으로부터 일정 거리만큼 후방에 상기 범퍼와 수평으로 미러 확인선을 표시한 화상을 제시하는 화상 합성 장치.
제 35 항에 있어서,

외부로부터 입력되는 조향각 신호로부터 예측 궤적을 산출하는 궤적 산출부를 설치하고, 상기 차량의 조타각에 따른 노면상 통과 궤적 및, 상기 차량의 조타각에 따른 범퍼 끝 통과 궤적 및, 상기 차량의 조타각에 따른 범퍼 끝 통과 궤적, 및 이들을 이어서 입체감을 생성하는 입체 보조선을 표시한 화상을 제시하는 화상합성 장치.
제 28 항에 있어서,

상기 차량이 후퇴한 경우에, 노면상 통과 궤적, 범퍼 끝 통과 궤적, 상기 차량의 차체의 적당한 높이 부분이 통과하는 위치를 나타내는 통과 궤적 및, 자기 차량의 후부를 모방한 일러스트레이션을 동시에 표시한 화상을 제시하는 화상 합성 장치.
제 40 항에 있어서,

상기 노면상 통과 궤적을 타이어 자국과 같이 표시하고, 상기 범퍼 통과 궤적과 실화 또는 일러스트레이션의 범퍼 끝을 이어 표시한 화상을 제시하는 화상 합성 장치.
제 40 항에 있어서,

상기 노면상 통과 궤적을 일러스트레이션 내에 명시된 타이어로부터 그려 표시한 화상을 제시하는 화상 합성 장치.
제 42 항에 있어서,

상기 차량의 범퍼의 후단으로부터 일정 거리만큼 후방에 상기 범퍼와 수평으로 미러 확인선을 표시한 화상을 제시하는 화상 합성 장치.
제 40 항에 있어서,

외부로부터 입력되는 조향각 신호로부터 예측 궤적을 산출하는 궤적 산출부를 설치하고, 상기 차량의 조타각에 따른 상기 노면상 통과 궤적, 상기 차량의 조타각에 따른 상기 범퍼 끝 통과 궤적, 상기 차량의 차체의 적당한 높이 부분이 통과하는 위치를 나타내는 통과 체적 및, 상기의 차량의 후부를 모방한 일러스트레이션을 동시에 표시한 화상을 제시하는 화상 합성 장치.
제 28 항에 있어서,

상기 차량이 후퇴한 경우에, 노면상 통과 궤적, 상기 차량의 범퍼 상면의 끝이 통과하는 위치를 나타내는 펌퍼 상면 통과 궤적, 상기 차량의 범퍼 하면의 끝이 통과하는 위치를 나타내는 범퍼 하면 통과 궤적, 및 상기 차량의 후부를 모방한 일러스트레이션을 동시에 표시한 화상을 제시하는 화상 합성 장치.
제 45 항에 있어서,

상기 노면상 통과 궤적을 타이어 자국 처럼 표시하고, 범퍼 끝 통과 궤적과 차량의 실화 또는 일러스트레이션의 범퍼 끝을 이어 표시한 화상을 제시하는 화상 합성 장치.
제 45 항에 있어서,

상기 노면상 통과 궤적을 일러스트레이션 내에 명시된 타이어로부터 그려 표시한 화상을 제시하는 화상 합성 장치.
제 47 항에 있어서,

상기 차량의 범퍼 후단으로부터 일정 거리만큼 후방에 상기 범퍼와 수평으로 미러 확인선을 표시한 화상을 제시하는 화상 합성 장치.
제 45 항에 있어서,

외부로부터 입력되는 조향각 신호로부터 예측 궤적을 산출하는 궤적 산출부를 설치하고, 상기 차량의 조타각에 따른 상기 노면상 통과 궤적, 상기 차량의 조타각에 따른 상기 범퍼 상면 통과 궤적, 상기 차량의 조타각에 따른 상기 범퍼 하면 통과 궤적 및 상기 차량의 범퍼를 모방한 일러스트레이션을 동시에 표시한 화상을 제시하는 화상 합성 장치.
차량에 탑재된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 상기 차량의 임의의 높이의 궤적선 또는 수직선의 적어도 한쪽을 생성하는 차량 궤적선 생성 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에, 상기 차량 궤적선 생성 수단에 의해서 생성된 궤적선을 묘화하는 차량 궤적선 묘화 수단을 구비한 화상 합성 장치와,

상기 화상 합성 장치에 의해서 합성한 화상을 표시하는 표시 수단과,

표시해야 할 상기 화상을 상기 표시 수단에 적합한 데이터로 변환하는 표시 데이터 변환 수단을 갖는 화상 합성 표시 장치.
차량에 탑재된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 상기 차량으로부터 임의의 위치의 보조선을 생성하는 보조선 생성 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에, 상기 보조선 생성 수단에 의해서 생성된 보조선을 묘화하는 보조선 묘화 수단을 구비한 화상 합성 장치와,

상기 화상 합성 장치에 의해서 합성한 화상을 표시하는 표시 수단과,

표시해야 할 상기 화상을 상기 표시 수단에 적합한 데이터로 변환하는 표시 데이터 변환 수단을 갖는 화상 합성 표시 장치.
차량에 탑재되고, 상기 차량의 후부가 시야 내에 들어가도록 설치된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 상기 차량의 영상을 포함하는 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 미리 소정의 데이터가 저장된 기억 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에 상기 기억 수단으로부터 판독된 데이터에 기초하여 소정의 보조 데이터를 중첩하는 묘화 수단을 갖는 화상 합성 장치와,

상기 화상 합성 장치에 의해서 합성한 화상을 표시하는 표시 수단과,

표시해야 할 상기 화상을 상기 표시 수단에 적합한 데이터로 변환하는 표시 데이터 변환 수단을 갖는 화상 합성 표시 장치.
차량에 연결하는 연결 대상물에 접근하는 상황을 검지하는 검지 수단과,

상기 차량 및/또는 상기 연결 대상물에 탑재된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 상기 차량의 임의의 높이의 궤적선 또는 수직선의 적어도 한쪽을 생성하는 차량 궤적선 생성 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에 상기 차량 궤적선 생성 수단에 의해서 생성된 궤적선을 묘화하는 차량 궤적선 묘화 수단을 구비한 화상 합성 장치와,

상기 검지 수단에서 얻어진 상기 접근하는 상황 및/또는 상기 화상 합성 장치에 의해서 합성되어 화상 중의 상기 차량과 상기 연결 대상물의 관계로부터 경고 신호를 발생하는 경고 수단을 갖는 화상 취득 경고 장치.
차량에 연결하는 연결 대상물에 접근하는 상황을 검지하는 검지 수단과,

차량 및/또는 상기 연결 대상물에 탑재된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 상기 차량으로부터 임의의 위치의 보조선을 생성하는 보조선 생성 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에 상기 보조선 생성 수단에 의해서 생성된 보조선을 묘화하는 보조선 묘화 수단을 구비한 화상 합성 장치와,

상기 검지 수단에서 얻어진 상기 접근하는 상황 및/또는 상기 화상 합성 장치에 의해서 합성되어 화상 중의 상기 차량과 상기 연결 대상물의 관계로부터 경고 신호를 발생하는 경고 수단을 갖는 화상 취득 경고 장치.
차량에 연결하는 연결 대상물에 접근하는 상황을 검지하는 검지 수단과,

차량 및/또는 상기 연결 대상물에 탑재되고, 상기 차량의 후부가 시야 내에 들어가도록 설치된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 상기 차량의 영상을 포함하는 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 미리 소정의 데이터가 저장된 기억 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에 상기 기억 수단으로부터 판독된 데이터에 기초하여 소정의 보조 데이터를 중첩하는 묘화 수단을 갖는 화상 합성 장치와,

상기 검지 수단에서 얻어진 상기 접근하는 상황 및/또는 상기 화상 합성 장치에 의해서 합성되어 화상 중의 상기 차량과 상기 연결 대상물의 관계로부터 경고 신호를 발생하는 경고 수단을 갖는 화상 취득 경고 장치.
제 53 항 내지 제 55 항 중 어느 한 항에 있어서,

상기 경고 수단이 경고 신호를 발생하기 위한 조건을 사용자가 임의로 설정하기 위한 경고 신호 발생 조건 설정 수단을 더 갖는 화상 취득 경고 장치.
차량에 탑재되고, 상기 차량의 후방을 촬상하는 후방 촬상 수단을 포함하는복수의 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 상기 차량의 임의의 높이의 궤적선 또는 수직선의 적어도 한쪽을 생성하는 차량 궤적선 생성 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에 상기 차량 궤적선 생성 수단에 의해서 생성된 궤적선을 묘화하는 차량 궤적선 묘화 수단을 구비한 화상 합성 장치와,

상기 후방 촬상 수단에서 촬상된 화상 또는 상기 화상 합성 장치에서 합성된 화상으로부터 임의의 대상물의 화상을 검출하는 화상 검출 수단과,

상기 화상 검출 수단에 의해 검출된 검출 화상과 상기 차량의 화상과의 위치 관계를 인식하는 인식 수단과,

상기 인식 수단에서 인식된 상기 위치 관계와, 미리 설정된 위치 관계를 비교하여, 이러한 위치 관계로부터 양자간의 어긋남량을 검출하는 비교 수단을, 갖는 자기 차량 위치 인식 장치.
차량에 탑재되고, 상기 차량의 후방을 촬상하는 후방 촬상 수단을 포함하는 복수의 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 상기 차량으로부터 임의의 위치의 보조선을 생성하는 보조선 생성 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에, 상기 보조선 생성 수단에 의해서 생성된 보조선을 묘화하는 보조선 묘화 수단을 구비한 화상 합성 장치와,

상기 후방 촬상 수단에서 촬상된 화상 또는 상기 화상 합성 장치에서 합성된화상으로부터 임의의 대상물의 화상을 검출하는 화상 검출 수단과,

상기 화상 검출 수단에 의해 검출된 검출 화상과 상기 차량의 화상과의 위치 관계를 인식하는 인식 수단과,

상기 인식 수단에서 인식된 상기 위치 관계와 미리 설정된 위치 관계를 비교하여 이들의 위치 관계로부터 양자간의 어긋남량을 검출하는 비교 수단을 갖는 자기 차량 위치 인식 장치.
차량에 탑재되고, 상기 차량의 후방을 촬상하는 후방 촬상 수단을 포함하는 복수의 촬상 수단과, 상기 차량의 후부가 시야 내에 들어가도록 설치된 촬상 수단과, 상기 촬상 수단에 의해서 촬상된 상기 차량의 영상을 포함하는 화상을 시점 변환하여 화상을 합성하는 시점 변환 화상 합성 수단과, 미리 소정의 데이터가 저장된 기억 수단과, 상기 시점 변환 화상 합성 수단에 의해서 합성된 화상 상에, 상기 기억 수단으로부터 판독된 데이터에 기초하여, 소정의 보조 데이터를 중첩하는 묘화 수단을 갖는 화상 합성 장치와,

상기 후방 촬상 수단에서 촬상된 화상 또는 상기 화상 합성 장치에서 합성된 화상으로부터 임의의 대상물의 화상을 검출하는 화상 검출 수단과,

상기 화상 검출 수단에 의해 검출된 검출 화상과 상기 차량의 화상과의 위치 관계를 인식하는 인식 수단과,

상기 인식 수단에서 인식된 상기 위치 관계와 미리 설정된 위치 관계를 비교하여 이들의 위치 관계로부터 양자간의 어긋남량을 검출하는 비교 수단을, 갖는 자기 차량 위치 인식 장치.