KR101354068B1

KR101354068B1 - 차량주변화상생성장치

Info

Publication number: KR101354068B1
Application number: KR1020127003991A
Authority: KR
Inventors: 노보루 나가미네; 가즈야 와타나베; 도모유키 마츠바; 준 가도와키; 도시히로 모리; 유우이치 오오시타
Original assignee: 아이신세이끼가부시끼가이샤
Priority date: 2009-08-03
Filing date: 2010-07-28
Publication date: 2014-01-22
Also published as: CN102474597A; JP5500369B2; US9156402B2; JP2011055480A; KR20120030162A; WO2011016368A1; CN102474597B; EP2464113A4; EP2464113A1; EP2464113B1; US20120127312A1

Abstract

차량 주변을 동시에 널리 바라보는 것이 가능한 차량주변화상을 생성하는 차량주변화상생성장치를 제공한다. 이러한 차량주변화상생성장치는, 차량에 설치된 복수의 촬영 카메라에 의해 촬영된 차량의 주변화상을 취득하는 화상취득부와 차량의 차실내에 설치되며 화상을 표시하는 표시장치와, 당해 표시장치에 표시되는 화상의 시점이 되는 위치를 연직상방향으로부터의 시점으로 설정하는 시점위치설정부와, 주변화상을 이용해 시점위치설정부에 의해 설정된 위치를 시점으로 하는 어안화상을 생성하는 어안화상생성부와, 자기차량을 나타내는 자기차량이미지를 생성하는 자기차량이미지생성부 및 어안화상과 자기차량이미지를 이용하여 표시장치에 표시하는 화상을 생성하는 표시화상생성부를 구비하여 어안화상의 시점위치를 변경할 수 있다.

Description

차량주변화상생성장치{VEHICLE PERIPHERAL IMAGE GENERATION DEVICE}

본 발명은, 차량탑제 카메라에 의해 촬영된 차량주변화상을 이용하여 차량 주위의 상황을 나타내는 차량주변화상을 생성하는 차량주변화상생성장치에 관한 것이다.

차량에는, 주위의 상황을 확인하기 위해서 사이드 미러나 룸미러가 설치되어 있지만, 이러한 미러를 이용해도 차량의 구조상, 운전석에서 차량 외측의 정경을 확인할 수 없는 사각이 존재한다. 이러한 사각을 가능한 한 줄이기 위해, 차체(예를 들면 보닛 부근이나 리어게이트 부근)에 미러를 구비하는 차량이 있다. 그러나, 이런 종류의 미러를 이용해도 사각을 완전히 없애는 것은 용이하지 않고, 또한, 이러한 미러를 각 위치에 설치했을 경우에는 차량의 디자인을 해치게 된다. 이러한 문제를 감안해서, 근년에는, 차량의 각부에 설치된 카메라에 의해 취득된 차량의 주변화상(촬영화상)을 이용하여 차량의 주위 상황을 확인하는 기술이 이용되어 있다(예를 들면 특허문헌 1－4 등).

특허문헌 1－3에 기재된 기술은, 그래픽으로 그려진 자기차량을 나타내는 아이콘을 표시화상의 중앙에 배치하고, 당해 아이콘의 주변에 자기차량에 탑재된 카메라로 촬영한 촬영화상을 차량의 연직상방향으로부터의 시점으로 본 화상에 좌표변화시켜서 표시하는 차량의 주변을 감시한다.

또한, 특허문헌 4에 기재된 차량용 영상표시장치는, 차량에 복수의 카메라를 구비하여 구성된다. 이 차량용 영상표시장치는, 복수의 카메라에 의해 취득된 촬영화상에 의거하여 차량 상공의 소정의 시점으로부터 차량을 투사한 투사영상을 생성하고, 당해 작성된 투사영상에 차량 상공의 시점으로부터의 차량의 그래픽 데이터를 중첩시켜 표시한다.

특허문헌 1 : 일본특허 제3847547호 명세서 특허문헌 2 : 일본특허 제3475507호 명세서 특허문헌 3 : 일본공개특허공보 특개 2003－30627호 공보 특허문헌 4 : 일본공개특허공보 특개 2003－346189호 공보

특허문헌 1－3에 기재된 기술과 같이 연직상방향으로부터를 시점으로 하는 화상을 표시하는 형태는, 소위 "탑뷰(top view)화상"이라고 말한다. 당해 탑뷰화상과 같은 표시형태로는 차량 주변을 먼 곳까지 널리 바라볼 수가 없다는 문제가 있다. 탑뷰화상에 있어서는 차량 부근만이 표시장치에 표시되어, 후퇴(후진) 시의 진로방향으로 접근하는 보행자 등의 장애물이 차량에 아주 접근할 때까지 인식할 수 없거나, 장애물의 존재를 간과하거나 할 가능성이 있다. 이 때문에, 현재 상품화되어 있는 제품에 있어서는, 탑뷰화상과 함께 차량 후방의 영상이 동시에 표시장치에 표시되어 있다.

또한, 특허문헌 4에 기재된 기술에는, 차량 상공의 소정의 위치로부터 비스듬하게 내려다 보는 투사면에 투사할 방법이 개시되어 있다. 이 방법은, 수직에서 내려다 보고 투사면에 투영하는 방법에 비하면, 비스듬하게 내려다 보았을 경우의 주시점측을 입체적으로 표시할 수 있으므로 직감적으로 접근물의 존재를 알 수가 있으며, 게다가 시야도 그만큼 넓어진다. 그러나, 경사된 각도이기 때문에, 시점과 반대인 차량의 바로 아래쪽이 오히려 안 보이게 되므로 차량주변 전체를 동시에 널리 바라볼 수가 없다.

본 발명의 목적은, 상기 문제에 감안하여, 차량의 주변을 동시에 널리 바라보는 것이 가능한 차량주변화상을 생성하는 차량주변화상생성장치를 제공하는 데에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 차량주변화상생성장치의 특징 구성은, 차량에 설치된 복수의 촬영 카메라에 의해 촬영된 상기 차량의 주변화상을 취득하는 화상취득부와, 상기 차량의 차실내에 설치되며 화상을 표시하는 표시장치와, 상기 표시장치에 표시되는 화상의 시점이 되는 위치를 연직상방향으로부터의 시점으로 설정하는 시점위치설정부와, 상기 주변화상을 이용해 상기 시점위치설정부에 의해 설정된 위치를 시점으로 하는 어안화상을 생성하는 어안화상생성부와, 자기차량을 나타내는 자기차량이미지를 생성하는 자기차량 이미지생성부와, 상기 어안화상과 상기자기차량이미지를 이용하여 상기 표시장치에 표시하는 표시화상을 생성하는 표시화상 생성부를 구비하고, 상기 어안화상의 시점위치가 변경 가능한 점에 있다.

여기서, 촬영 화면에 일그러짐이 있는 광화각 카메라에 의해 취득된 촬영화상만을 표시할 경우에는 거리감이나 크기의 정도를 알기 어렵지만, 화각의 일그러짐에 맞추어 자기차량을 나타내는 자기차량이미지도 일그러져서 표시되므로, 직감적으로 거리감이나 크기 정도를 파악할 수 있다. 따라서 본 특징 구성에 의하면, 표시장치에 차량 주변을 어안화상으로 표시하므로 차량의 주변을 동시에 널리 바라볼 수 있게 된다. 또한, 어안화상의 시점이 연직상방향이므로, 어안화상에 포함되는 물체의 위치나 크기 등을 직감적으로 파악하기 쉬워진다. 게다가 센서디바이스의 검출 결과에 의거하는 차량 상태에 의해 어안화상의 시점 위치를 변경할 수 있는 동시에, 유저에 의해 임의로 어안화상의 시점 위치를 변경할 수 있으므로, 상황에 따라 주목하고 싶은 위치가 바뀌었을 경우에도, 적절한 시점으로부터의 어안화상을 표시시킬 수 있게 된다. 또한, 자기차량에 한정하지 않고, 어안카메라를 포함한 광화각 카메라를 사용해 촬영한 화상상에, 가상적으로 그래픽으로 그려진 장애물이나 보행자, 주차 지원 가이드 표시 등에도 적용할 수 있고, 어안카메라의 약점인 "직감적으로 거리감이 파악하기 어렵다"는 과제를 경감하는 효과도 갖는다.

또한, 상기 자기차량이미지가, 상기 시점위치설정부에 의해 설정된 위치를 시점으로 하는 어안화상으로 생성되어 있는 것이 바람직하다.

이러한 구성이라면, 차량의 상황에 따른 시점으로 하는 어안화상을 표시할 수 있게 된다.

또한, 상기 시점위치의 변경을 연직방향으로 수직인 수평면내에서 실시하는 것이 바람직하다.

이러한 구성이라면, 상황에 따라 주목하고 싶은 위치가 바뀌었을 경우에도, 적절한 시점으로부터의 어안화상을 표시시킬 수 있다.

또한, 상기 자기차량이미지생성부는, 상기 자기차량이미지의 길이를 짧게 하고 생성하는 것이 바람직하다.

이러한 구성이라면, 차량의 전후를 넓은 범위로 표시할 수 있게 된다.

또한, 상기 어안화상의 시점위치가, 유저의 조작에 따라 변경할 수 있는 것이 바람직하다.

이러한 구성이라면, 운전의 상황이나 차량 주위의 상황에 따라, 유저가 임의로 어안화상의 시점위치를 변경할 수 있다. 따라서, 운전의 상황이나 차량의 주위의 상황에 따른 적절한 시점으로부터의 어안화상을 표시할 수 있게 된다.

또한, 상기 어안화상의 시점 위치가, 상기 차량에 구비되는 센서디바이스의 검출 결과에 따라 변경할 수도 있다.

이러한 구성이라면, 센서디바이스의 검출 결과에 의거하여 차량 상태에 의해 자동적으로 어안화상의 시점 위치를 변경할 수 있다. 따라서, 차량 상태에 따른 적절한 시점으로부터의 어안화상을 표시할 수 있게 된다.

도 1은 차량주변화상생성장치를 구비한 차량의 개략을 나타내는 도면이다.
도 2는 차량주변화상생성장치의 개략을 나타내는 블럭도이다.
도 3은 차량의 현재 위치를 모식적으로 나타내는 도면이다.
도 4는 각 카메라에 의해 취득된 촬영화상의 일례를 나타내는 도면이다.
도 5는 차량주변화상생성장치에 의해 생성된 어안화상의 일례를 나타내는 도면이다.
도 6은 시점을 변경했을 경우의 어안화상의 예를 나타내는 도면이다.
도 7은 시점을 변경했을 경우의 어안화상의 예를 나타내는 도면이다.

이하, 본 발명의 실시형태에 대해, 상세하게 설명한다. 도 1은, 본 발명에 따른 차량주변화상생성장치(50)를 구비한 차량(100)의 개략을 나타내는 조감도이다. 차량(100)에는, 카메라디바이스(1)로서 프런트카메라(11), 사이드카메라(12), 리어카메라(13)를 구비할 수 있다. 프런트카메라(11)는, 차량(100)의 전방의 정경을 촬영한 촬영화상을 취득한다. 프런트 카메라(11)는 예를 들면 CCD 카메라 등에 의해 구성된다. 이러한 프런트카메라(11)는, 도 1에 도시하는 바와 같이, 차량(100)의 프런트부분(예를 들면 프런트그릴 등)에 설치된다. 프런트카메라(11)는, 예를 들면 어안렌즈를 이용해 구성하는 것이 바람직하고, 이럴 경우에는 적어도 도 1의 A로 나타내는 영역의 정경을 포함한 촬영화상이 취득된다.

사이드카메라(12)는, 차량(100)이 가지는 사이드미러(60)에 구비된다. 또한, 당해 사이드카메라(12)는, 사이드미러(60)의 연직하방을 포함한 차량(100)의 왼쪽 정경 및 오른쪽 정경을 촬영한 촬영화상을 취득하는 한쌍의 사이드카메라(12a),(12 b)(왼쪽사이드카메라(12a) 및 오른쪽사이드카메라(12b))로 구성된다. 본 실시형태에서는, 도 1에 도시하는 바와 같이, 차량(100)의 진행 방향에 대해 왼쪽 사이드미러(60a)에 설치되는 것을 왼쪽사이드카메라(12a)로 하고, 진행 방향에 대해 오른쪽 사이드미러(60b)에 설치되는 것을 오른쪽사이드카메라(12b)로 설명한다. 또한, 특히 왼쪽사이드카메라(12a) 및 오른쪽 사이드카메라(12b)의 어느 쪽이라고 한정할 필요가 없을 경우에는, 사이드카메라(12)로서 기재한다.

왼쪽 사이드카메라(12a)는, 왼쪽 사이드미러(60a)의 연직하방을 포함한 차량(100)의 왼쪽 정경을 촬영하여, 촬영화상을 취득한다. 상술한 프런트카메라(11)과 동일하게, 사이드카메라(12)도 어안렌즈를 이용해 구성하는 것이 바람직하다. 이럴 경우에는, 왼쪽 사이드카메라(12a)에 의해 적어도 도 1의 B로 나타내는 영역의 정경을 촬영한 촬영화상이 취득된다. 오른쪽 사이드카메라(12b)는, 오른쪽 사이드미러(60 b)의 연직하방을 포함한 차량(100)의 오른쪽 정경을 촬영하여, 촬영화상을 취득한다. 오른쪽 사이드카메라(12b)에 의해 적어도 도 1의 C로 나타내는 영역의 정경을 촬영한 촬영화상이 취득된다.

리어(후방)카메라(13)는, 차량(100)의 후방의 정경을 촬영한 촬영화상을 취득한다. 리어카메라(13)는, 도 1에 도시하는 바와 같이, 차량(100)의 리어(후방)부분(예를 들면 리어(후방)범퍼나 리어부분에 설치되는 몰 등)에 설치된다. 리어카메라(13)도, 예를 들면 어안 렌즈를 이용해 구성하는 것이 바람직하고, 이럴 경우에는 적어도 도 1의 D로 나타내는 영역의 정경을 촬영한 촬영화상이 취득된다. 이와 같이, 각 카메라로 촬영되는 영역은, 서로의 경계 부분에 있어 중복하도록 구성할 수 있다. 또한, 도시하지 않지만, 상술한 영역 A－D는, 각각 중복하는 영역을 갖지 않도록 구성할 수도 있다.

본 발명에 따른 차량주변화상생성장치(50)는, 이러한 차량(100)에 설치되는 프런트카메라(11), 사이드카메라(12), 리어카메라(13)에 의해 취득된 차량의 주변화상(촬영화상)을 이용하고, 유저가 바람직하게 차량(100)의 주위의 상황을 나타내는 차량주변화상을 생성하는 기능을 구비한다. 도 2는, 본 차량주변화상생성장치(50)의 개략 구성을 모식적으로 나타내는 블럭도이다.

차량주변화상생성장치(50)는, 카메라디바이스(1), 센서디바이스(2), ECU(전자제어유닛)(3), 표시장치(41), 시점전환스위치(42)를 구비하여 구성된다. 카메라디바이스(1)는, 상술한 바와 같이 프런트카메라(11), 왼쪽사이드카메라(12a), 오른쪽사이드카메라(12b), 리어카메라(13)를 구비하여 구성된다. 센서디바이스(2)는, 스티어링센서(21), 차륜속도센서(22), 시프트위치센서(23)를 구비하여 구성된다. ECU(3)는, 화상취득부(31), 시점위치설정부(32), 어안화상생성부(33), 표시화상생성부(34), 자기차량이미지생성부(35)의 각 기능부를 구비하여 구성된다. 이렇게 구성되는 본 차량주변화상생성장치(50)는, CPU를 핵심부재로서 차량(100)의 주변 상황을 나타내는 차량주변화상을 생성하는 다양한 처리를 실시하기 위한 상술한 기능부가 하드웨어 또는 소프트웨어 혹은 그 둘다로 구축되어 있다.

프런트카메라(11), 왼쪽 사이드카메라(12a), 오른쪽사이드카메라(12b), 리어카메라(13)는, 각각이 적어도 영역 A－D(도 1 참조)를 포함한 정경을 촬영한 촬영화상을 취득한다. 이렇게 취득된 촬영화상은, 후술한 화상취득부(31)에 전달된다.

스티어링센서(21)는, 차량(100)이 가진 스티어링(61)(도 1 참조)의 타각을 검출한다. 타각이란, 중립 상태에서 스티어링(61)을 시계 방향 또는 반시계방향으로 회전시켰을 때의 회전각에 상당하는 것이다. 중립 상태란, 차량(100)이 갖춘 차륜(미도시)의 조향륜의 방향이 차폭과 평행이 되는 상태, 즉 차량(100)이 직진할 수 있게 되는 상태이다. 이러한 스티어링 (61)의 회전각을 검출하는 스티어링센서(21)는, 홀소자를 이용해 구성할 수 있다. 홀소자는 전류가 흐르고 있는 도체에 자계를 더했을 경우에, 도체 내부의 전하가 가로 방향에 작동되도록 받는 힘에 따라 기전력을 발생하는 홀 효과를 이용해 자속을 검출하는 소자이다.

이러한 홀소자를 이용하는 경우에는, 스티어링(61)의 회전축의 주위에 영구자석을 배설하고, 스티어링(61)의 회전에 따라 변화하는 자계를 홀소자에 의해 검출하는 것이 바람직하다. 또한, 홀소자로부터 출력되는 검출 결과는 전기신호이므로, 스티어링센서(21)는 당해 검출 결과에 의거하여 스티어링(61)의 타각을 연산한다. 스티어링센서(21)에 의해 연산된 타각은 타각 정보로서 후술한 시점위치설정부(32)에 전달된다.

차륜속도센서(22)는, 차량(100)이 가지는 차륜의 회전속도의 검출을 실시한다. 차륜속도센서(22)도 상술한 스티어링센서(21)과 동일하게 홀소자를 이용하여 구성할 수 있고, 적절히 차륜의 회전속도를 검출할 수 있다. 차륜속도센서(22)는, 예를 들면 왼쪽 앞바퀴의 회전축 및 오른쪽 앞바퀴의 회전축에 각각 구비하는 것이 바람직하다. 이와 같이 좌우 양쪽 바퀴의 회전축에 구비하는 것으로, 직진 및 선회의 구별을 검출할 수 있게 된다. 즉, 좌우 양쪽 바퀴의 회전 속도가 같으면 직진이라고 판정할 수 있으며, 좌우 양쪽 바퀴의 회전 속도가 다르면 회전 속도가 늦은 쪽에 선회를 하고 있다고 판정할 수 있다. 한편 차륜속도센서(22)는 차량(100)이 구비하는 앞바퀴의 회전축 및 뒷바퀴의 회전축의 적어도 어느 한편에 구비될 수 있다. 차륜속도센서(22)에 의해 검출된 차륜속도의 검출 결과는, 후술한 시점위치설정부(32)에 전달된다.

시프트위치센서(23)는, 차량(100)이 가지는 실렉터(미도시)의 시프트위치의 검출을 실시한다. 실렉터는, 본 실시형태에 있어서는, AT(Automatic Transmission) 기구가 구비한 기어의 변환을 실시하는 레버이다. 이러한 AT기구는 변속기내부에서 구동계가 고정되며, 주로 주차 시에 사용하는〔P〕레인지, 후퇴 시에 사용하는〔R〕레인지, 변속기내부가 프리상태가 되어, 엔진으로부터의 동력을 구동계에 전달하지 않도록 하는〔N〕레인지, 통상 주행 시에 사용하는〔D〕레인지, 내리막길 등 엔진브레이크를 사용할 때 사용하고, 시프트업의 상한을 2단에 고정하는〔2〕레인지, 갑작스러운 내리막길 등, 강력한 엔진브레이크를 사용할 때 사용하고, 기어가 1단에 고정되는〔1〕레인지를 가지고 있다. AT기구는, 이러한 시프트레인지에 대응하는 시프트위치마다 출력전압이 출력 가능하게 설정되며, 시프트위치센서(23)는 당해 출력전압을 검출함으로써 현재의 시프트위치의 검출을 할 수 있게 된다. 시프트위치센서 (23)에 의해 검출된 시프트위치의 검출 결과는, 후술한 시점위치설정부(32)에 전달된다.

화상취득부(31)는, 차량(100)에 설치된 복수의 촬영 카메라(11)－(13)에 의해 촬영된 차량(100)의 주변화상을 취득한다. 화상취득부(31)에 의해 취득되는 촬영화상(주변화상)은, 화상취득부(31)가 구비한 기억 영역에 기억되며 필요에 따라서 후술하는 어안화상생성부(33)에 의해 판독되어(추출되어) 사용된다. 한편 화상취득부(31)에 기억된 촬영화상은, 기억된 후 소정 시간이 경과할 때마다 삭제하는 구성으로도 할 수 있고, 유저의 스위치 조작 등에 의해 삭제하는 구성으로 할 수도 있다. 혹은, 기억 영역의 용량을 소정의 고정값으로 설정하고, 소위 선입 선출 처리법(FIFO)으로 기억과 삭제를 실시하는 구성으로 할 수도 있다.

시점위치설정부(32)는, 자세한 것은 후술하지만, 차량(100)의 차실내에 설치되고 화상을 표시하는 표시장치(41)에 표시되는 화상의 시점이 되는 위치를 설정한다. 이 시점의 설정은, 스티어링센서(21)로부터 전달되는 스티어링(61)의 위치의 검출 결과나, 차륜속도센서(22)로부터 전달되는 차륜속도의 검출 결과나, 시프트위치센서(23)로부터 전달되는 실렉터의 시프트 위치의 검출 결과나, 유저에 의한 시점전환스위치(42)의 조작에 따라 설정된다.

예를 들면, 스티어링센서(21)의 검출 결과에 의거하여 시점의 설정을 실시하는 경우에는, 스티어링(61)의 조향에 따른 위쪽의 차량(100)의 전방(스티어링(61)을 시계 방향으로 회전하는 경우에는 차량(100)의 왼쪽 전방이 상당하고, 스티어링(61)을 반시계방향으로 회전하는 경우에는 차량(100)의 오른쪽 전방이 상당한다)으로 시점을 설정하는 것이 바람직하다. 이와 같이 시점을 설정하면, 사각에 존재하는 물체를 시인하기 쉬워진다.

또한, 차륜속도센서(23)의 검출 결과에 의거하여 시점의 설정을 실시하는 경우에는, 차량(100)의 차륜 속도가 늦을 만큼 차량(100)의 진행 방향의 부근을 시인 가능한 시점으로 설정하는 것이 바람직하다. 일반적으로 차량(100)의 부근에 장애물 등이 존재하는 경우에는 차량(100)의 이동 속도를 늦게 하여 주행하므로, 이렇게 시점을 설정하면, 사각을 보다 주시하기 쉬워진다.

게다가, 실렉터(11)의 위치가 적어도 전진 주행용의 위치, 즉, 상술한 AT기구가 가지는 레인지의〔D〕레인지, 〔2〕레인지, 〔1〕레인지의 어느 위치에 있는 경우에는 전진 주행용의 시점으로 설정하고, 실렉터(11)의 위치가 적어도 후퇴 주행용의 위치, 즉, 상술한 AT기구가 가지는 레인지의〔R〕레인지의 위치에 있는 경우에는 후퇴 주행용의 시점으로 설정한다. 이렇게 시점을 설정하면, 진행 방향에 따른 사각에 존재할 가능성이 있는 물체를 시인하기 쉬워진다.

여기서, 본 차량주변화상생성장치(50)는, 자세한 것은 후술 하지만, 차량(100)의 연직상방으로부터를 시점으로 하는 당해 차량(100)의 주위의 정경을 어안화상으로서 표시장치(41)에 표시할 수 있다. 차량(100)의 연직상방은, 차량(100)의 중앙부의 연직상방, 프런트부의 연직상방, 리어부의 연직상방으로 바꿀 수 있다. 또한, 차량(100)의 사이드부에서 소정 거리 멀어진 위치의 연직상방 등으로 바꾸는 것도 가능하다. 이 시점의 변환은, 유저가 시점전환스위치(42)를 눌러내림으로써 실시할 수 있게 된다. 본 실시형태에서는, 차량(100)의 중앙부의 연직상방으로부터의 시점이 기본값으로 설정되어 있는 것으로 하여 설명한다.

어안화상생성부(33)는, 주변화상을 이용하여 시점위치설정부(32)에 의해 설정된 위치를 시점으로 하는 어안화상을 생성한다. 주변화상이란, 차량(100)의 주변을 촬영해 얻을 수 있던 촬영화상이다. 상술한 바와 같이, 촬영화상은 화상취득부(31)에 기억되어 있다. 시점위치설정부(32)에 의해 설정된 위치란, 본 실시형태에서는 차량(100)의 중앙부의 연직상방이다. 어안화상이란, 소위 어안렌즈를 이용해 촬영했을 때 얻을 수 있는 화상이며, 화상 중심(시점)으로부터 화상의 주위에 떨어지는만큼, 화상의 일그러짐이 커지는 화상이다. 따라서, 어안화상생성부(33)는, 화상취득부(31)에 기억되어 있는 주변화상을 이용하여, 차량(100)의 중앙부의 연직상방을 시점으로 하는 어안화상을 생성한다. 어안화상생성부(33)에 의해 생성된 어안화상은, 후술한 표시화상생성부(34)에 전달된다.

자기차량이미지생성부(35)는, 자기차량을 나타내는 자기차량이미지를 생성한다. 자기차량이란, 본 차량주변화상생성장치(50)를 탑재하는 차량(100)이다. 자기차량이미지는, 표시장치(41)에 표시되는 화상내에서, 유저가 자기차량을 특정하기 쉽게 하기 위해서 표시되는 이미지 화상이다. 이 자기차량이미지는, 차량(100)을 축소한 화상일 수도 있고, 차량(100)의 네 귀퉁이를 나타내는 점일 수도 있다. 물론, 그 외의 형상(예를 들면 사각형 등)으로 나타내는 것도 가능하다. 본 실시형태에서는, 차량(100)을 축소한 화상으로서 설명한다. 자기차량이미지생성부(35)는, 이러한 자기차량이미지를 생성하여, 후술한 표시화상생성부(34)에 전달한다.

표시화상생성부(34)는, 어안화상과 자기차량이미지를 이용하여 표시장치(41)에 표시하는 표시화상을 생성한다. 어안화상은, 상술한 어안화상생성부(33)으로부터 전달된다. 자기차량이미지는, 상술한 자기차량이미지생성부(35)로부터 전달된다. 표시화상생성부(34)는, 어안화상에 자기차량이미지를 중첩하여 표시화상을 생성한다. 이렇게 생성된 표시화상은, 표시장치(41)에 표시된다.

다음에, 표시장치(41)에 표시되는 화상에 관해서 도면을 이용해 설명한다. 도 3은, 차량(100)의 현재 위치를 모식적으로 나타내는 도면이다. 다만 이 도면은 표시장치(41)에 표시되는 것이 아니라, 표시장치(41)에 표시되는 화상에 대해 이해를 용이하게 하기 위해서 표시한 도면이다. 도 3에 도시하는 바와 같이, 차량(100)의 왼쪽 전방에는 차량(200)이 주차되어 있으며, 차량(100)의 왼쪽 후방에는 차량(201)이 주차되어 있다. 또한, 차량(201)의 더 후방에는, 차량(202)이 주차되어 있다. 이러한 상황에 있어서, 차량(100)이 구비한 각 카메라(11)－(13)에 의해 취득되는 촬영화상을 도 4에 나타낸다.

도 4(a)는 차량(100)이 구비한 프런트카메라(11)에 의해 취득된 촬영화상이다. 도 4(a)에 도시하는 바와 같이, 프런트카메라(11)에 의해 취득된 촬영화상에는 차량(200)이 포함된다. 또한, 도 4(b)는 차량(100)이 구비한 왼쪽 사이드카메라(12a)에 의해 취득된 촬영화상이다. 도 4(b)에 도시하는 바와 같이, 왼쪽사이드카메라(12a)에 의해 취득된 촬영화상에는, 차량(100)의 왼쪽타이어의 일부와 차량(200)의 일부가 포함된다. 도 4(c)는 차량(100)이 구비한 오른쪽사이드카메라(12b)에 의해 취득된 촬영화상이다. 도 4(c)에 도시하는 바와 같이, 오른쪽사이드카메라(12b)에 의해 취득된 촬영화상에는, 차량(100)의 오른쪽타이어의 일부가 포함된다. 도 4(d)는 차량(100)이 구비한 리어카메라(13)에 의해 취득된 촬영화상이다. 도 4(d)에 도시하는 바와 같이, 리어카메라(13)에 의해 취득된 촬영화상에는 차량201 및 202가 포함된다. 이러한 촬영화상이 각 카메라(11)－(13)에 의해 취득되어, 화상취득부(31)에 기억된다.

상술한 바와 같이 촬영화상(특히 프런트카메라(11)에 의해 취득된 촬영화상 및 리어카메라(13)에 의해 취득된 촬영화상)에 있어서는, 차량(100)에서 아주 가까운 곳이 사각이 되므로, 당해 촬영화상을 이용한 차량(100)의 주위의 안전 확인은 만전하다고 하기 어렵다. 즉, 경우에 따라서는 차량(100)의 주위에 존재하는 사람이나 물건 등의 장애물을 간과해 버릴 가능성이 있다. 한편, 단지 각 카메라(11)－(13)로 취득된 촬영화상을 기본으로, 차량(100)의 연직상방으로부터의 화상을 표시한 것으로는 차량(100)의 먼 곳을 확인할 수 없게 된다. 본 차량주변화상생성장치(50)는, 차량(100)의 아주 가까운 곳을 표시하는 동시에, 차량(100)에서 멀어진 위치도 표시할 수 있는 화상을 표시장치(41)에 표시한다. 이러한 화상을 도 5에 도시한다.

도 5는, 차량(100)의 연직상방으로부터를 시점 위치로 하는 화상이며, 어안화상으로 이루어진다. 즉, 어안화상의 시점이 연직상방향으로부터의 시점이 되도록 형성된다. 이러한 어안화상은, 어안화상생성부(33)가, 화상취득부(31)에 기억되어 있는 각 카메라(11)－(13)에 의해 취득된 촬영화상을 기본으로 생성된다. 도 5에 나타나는 어안화상에는, 차량200 및 차량201이 포함된다. 또한, 차량(100)에서 아주 가까운 곳도 시인 가능하다. 게다가, 어안화상이기 때문에, 차량(100)으로부터 어느 정도 떨어진 위치도 포함된다. 따라서, 유저는 차량(100)의 아주 가까운 곳과 떨어진 위치를 하나의 화상으로 확인할 수 있게 된다.

본 차량주변화상생성장치(50)에 의하면, 어안화상의 시선 위치가 변경할 수 있다. 예를 들면, 도 6 왼쪽에 도시된 도면에 있어서, 차량201과 차량202 사이의 공간에 차량(100)을 주차할 때, 어안화상생성부(33)가 도 6 오른쪽에 표시되는 어안화상을 생성하고, 표시장치(41)에 표시하는 것도 가능하다. 이렇게 시선 위치를 적당하게 변경함으로써, 유저는 차량100과 차량201 사이를 주시할 수 있게 된다. 또한, 시선 위치가 설정되었을 경우에는, 차량(100)을 나타내는 자기차량이미지가 시점위치설정부(32)에 의해 설정된 위치를 시점으로 하는 어안화상으로 생성된다. 따라서, 적절히 차량(100)의 주위를 시인할 수 있게 된다.

〔그 외의 실시형태〕

상기 실시형태에서는, 각 카메라(11)－(13)에 의해 취득된 촬영화상을 기본으로 어안화상을 생성한다고 설명했다. 각 카메라(11)－(13)가 어안렌즈를 구비하는 경우에는, 각 카메라(11)－(13)에 의해 취득된 촬영화상을 합성하여 본 발명에 따른 어안화상을 생성할 수도 있다. 또한, 각 카메라(11)－(13)의 렌즈가 어안렌즈인지 아닌지에 상관없이, 평면적인 탑뷰화상을 생성하고, 그 후 어안화상화하는 구성으로 하는 것도 당연히 가능하다.

상기 실시형태에서는, 시점전환스위치(42)를 유저가 조작함으로써 어안화상의 시점 위치를 변경할 수 있다고 설명했다. 이러한 시점전환스위치는, 소위 "십자 키"와 같은 입력 디바이스를 조작하여 시점을 플렉시블하게 변경하는 구성으로 할 수도 있다. 이러한 구성으로 하면, "십자 키"를 유저가 조작함으로써, 도 7(a)에 도시하는 바와 같이 차량(100)의 중앙상부(도 7(a) 중의 O의 연직상방)를 시점 위치로 하는 어안화상을 표시할 수 있고, 도 7(b)에 도시하는 바와 같이 차량(100)의 전방상부(도 7(b) 중의 O의 연직상방)를 시점 위치로 하는 어안화상을 표시할 수 있다. 게다가, 도 7(c)에 도시하는 바와 같이 차량(100)의 후방상부(도 7(c) 중의 O의 연직상방)를 시점 위치로 하는 어안화상을 표시할 수 있다. 또한, 모두 선택 스위치 등을 설치하고, 적당히 시점 위치를 선택하여 표시하는 구성으로 하는 것도 당연히 가능하다. 이 도 7에서는, 시점 위치를 연직방향으로 수직인 수평면내에서 변경 가능한 것으로 설명했지만 연직방향(높이방향)에도 변경할 수 있다.

또한, 자기차량이미지생성부(35)는, 자기차량이미지의 길이를 짧게 하고 생성하는 것도 가능하다. 이렇게 자기차량이미지를 생성함으로써, 차량(100)의 전방 및 후방을 더 주시하기 쉬운 어안화상으로 할 수 있게 된다.

상기 실시형태에서는, 어안화상의 시점이 연직상방향으로부터의 시점이라고 하여 설명했다. 그러나, 본 발명의 적용 범위는 이에 한정되는 것이 아니다. 예를 들면, 어안화상의 시점을 기울기 상방으로부터의 시점으로 하는 것도 당연히 가능하다.

상기 실시형태에서는, 어안화상생성부(33)에 의해 어안화상이 생성되는것으로 설명했다. 상술한 바와 같이 어안화상이란 소위 어안렌즈를 이용하여 촬영했을 때 얻을 수 있는 화상, 즉 볼록형 화상이다. 이러한 어안화상을 생성할 때, 복수의 촬영 카메라(11)－(13)에 의해 촬영된 차량(100)의 주변화상을 볼록형 평면에 직접 투영 변환하여 생성하는 것도 가능하다. 또한, 복수의 촬영 카메라(11)－(13)에 의해 촬영된 차량(100)의 주변화상을 평면에 투영 변환하고, 맞추어 합성한 합성화상(예를 들면, 소위 "탑뷰화상")을 작성하고, 그 합성 화상을 볼록형면에 투영 변환해 생성하는 것도 가능하다.

본 발명은, 차량의 주변을 동시에 널리 바라보는 것이 가능한 차량주변화상을 생성하는 차량주변화상생성장치에 이용하는 것이 가능하다.

1：카메라디바이스
　2：센서디바이스
　3：ECU(전자제어유닛)
　11：프런트카메라
　12：사이드카메라
　12a：왼쪽사이드카메라
　12b：오른쪽사이드카메라
　13：리어카메라
　21：스티어링센서
　22：차륜속도센서
　23：시프트위치센서
　31：화상취득부
　32：시점위치설정부
　33：어안화상생성부
　34：표시화상생성부
　35：자기차량이미지생성부
　41：표시장치
　42：시점전환스위치
　50：차량주변화상생성장치

Claims

차량에 설치된 복수의 촬영 카메라에 의해 촬영된 상기 차량의 주변화상을 취득하는 화상취득부와,
상기 차량의 차실내에 설치되며 화상을 표시하는 표시장치와, 상기 표시장치에 표시되는 화상의 시점이 되는 위치를 연직상방향으로부터의 시점으로 설정하는 시점위치설정부와,
상기 주변화상을 이용하여 상기 시점 위치 설정부에 의해 설정된 위치를 시점으로 하는 어안화상을 생성하는 어안화상생성부와,
상기 시점위치설정부에 의해 설정된 위치를 시점으로 하는 어안화상으로서 자기차량을 나타내는 자기차량이미지를 생성하는 자기차량이미지 생성부 및
상기 어안화상과 상기 자기차량이미지를 이용해 상기 표시장치에 표시하는 표시화상을 생성하는 표시화상생성부를 구비하며
상기 어안화상의 시점 위치가 변경 가능한 차량주변화상생성장치.
제1항에 있어서,
상기 시점 위치의 변경이 연직방향으로 수직인 수평면내에 있어서 실시하는 차량주변화상생성장치.
제1항 또는 제2항에 있어서,
상기 자기차량이미지생성부는, 상기 자기차량이미지의 길이를 짧게 하여 생성하는 차량주변화상생성장치.
제1항 또는 제2항에 있어서,
상기 어안화상의 시점 위치가, 유저의 조작에 따라 변경 가능한 차량주변화상생성장치.
제1항 또는 제2항에 있어서,
상기 어안화상의 시점 위치가, 상기 차량에 구비될 센서디바이스의 검출 결과에 따라 변경 가능한 차량주변화상생성장치.
차량에 설치된 복수의 촬영 카메라에 의해 촬영된 상기 차량의 주변화상을 취득하는 화상취득부와,
상기 차량의 차실내에 설치되며 화상을 표시하는 표시장치와, 상기 표시장치에 표시되는 화상의 시점이 되는 위치를 연직상방향으로부터의 시점으로 설정하는 시점위치설정부와,
상기 주변화상을 이용하여 상기 시점 위치 설정부에 의해 설정된 위치를 시점으로 하는 어안화상을 생성하는 어안화상생성부와,
자기차량을 나타내는 자기차량이미지를 생성하는 자기차량이미지 생성부 및
상기 어안화상과 상기 자기차량이미지를 이용해 상기 표시장치에 표시하는 표시화상을 생성하는 표시화상생성부를 구비하며
상기 어안화상의 시점 위치의 변경이 연직방향으로 수직인 수평면내에 있어서 실시하는 차량주변화상생성장치.