KR100866450B1

KR100866450B1 - 차량 주위 감시 장치 및 그 조정 방법

Info

Publication number: KR100866450B1
Application number: KR1020020062532A
Authority: KR
Inventors: 오카모토슈사쿠; 나카가와마사미치; 모리무라아츠시; 미즈사와가즈후미; 이이사카아츠시; 요시다다카시
Original assignee: 파나소닉 주식회사
Priority date: 2001-10-15
Filing date: 2002-10-14
Publication date: 2008-10-31
Also published as: KR20030031445A; CN1412047A; EP1777107A2; ATE354497T1; US20030085999A1; EP1777107A3; EP1302365A3; EP1302365B1; EP1302365A2; CN1984323A; DE60218260D1; CN100443333C; US7502048B2; CN100536564C; DE60218260T2

Abstract

복수의 카메라의 촬영 화상을 합성하여 표시하는 차량 주위 감시 장치에 있어서, 부분 화상끼리의 경계 근방에서, 종래보다도 정확하고, 또한 사용자에게 알기 쉬운 화상을 제공한다.

합성 화상 상에서, 카메라 CA1이 촬영한 부분 화상(PIA1)과 카메라 CA2가 촬영한 부분 화상(PIA2)이, 경계(BLA12)에서 인접하고 있다. 경계(BLA12)의 근방에서, 카메라(CA1, CA2)의 촬영 방향은 경계(BLA12)의 방향과 거의 일치하고 있다. 이것에 의해, 경계(BLA12)의 근방에 있는 폴(P3)의 화상은, 카메라 CA1의 화상 상에서도 카메라 CA2의 화상 상에서도 모두 경계(BLA12)를 따라 늘어나고, 따라서 합성 화상 상에서 소멸하는 일은 없다.

Description

차량 주위 감시 장치 및 그 조정 방법{AUTOMOBILE SURROUNDING OBSERVATION DEVICE AND METHOD FOR ADJUSTING THE SAME}

도 1은 본 발명의 제1 실시 형태에 의한 운전 지원 장치의 구성을 도시하는 블록도,

도 2는 본 발명에 의한 차량에서의 카메라 설치의 일례를 도시하는 도면,

도 3은 도 2와 같이 배치된 각 카메라의 화상의 예를 도시하는 도면,

도 4는 도 3의 카메라 화상을 이용해 생성한 합성 화상의 예를 도시하는 도면,

도 5는 본 발명에 의한 차량에서의 카메라 설치의 일례를 도시하는 도면,

도 6은 도 5와 같이 배치된 각 카메라의 화상의 예를 도시하는 도면,

도 7은 도 6의 카메라 화상을 이용해 생성한 합성 화상의 예를 도시하는 도면,

도 8은 본 발명에 의한 카메라 설치의 일례를 도시하는 도면,

도 9는 도 8과 같이 배치된 카메라의 화상으로부터 생성된 합성 화상의 예를 도시하는 도면,

도 10은 본 발명에 의한 차량에서의 카메라 설치의 일례를 도시하는 도면,

도 11은 도 10과 같이 배치된 각 카메라 화상의 예를 도시하는 도면,

도 12는 도 11의 카메라 화상을 이용해 생성한 합성 화상의 예를 도시하는 도면,

도 13은 본 발명에 의한 카메라 배치의 일례를 도시하는 도면,

도 14는 도 13과 같이 배치된 카메라의 화상으로터생성된 합성 화상의 예를 도시하는 도면,

도 15는 본 발명에 의한 카메라 배치의 일례를 도시하는 도면,

도 16은 도 15와 같이 배치된 카메라의 화상으로부터 생성된 합성 화상의 예를 도시하는 도면,

도 17은 종래의 운전 지원 장치에서의 카메라 설치의 일례를 도시하는 도면,

도 18은 도 17과 같이 배치된 각 카메라의 화상의 예를 도시하는 도면,

도 19는 종래의 합성 화상의 예로, 부분 화상의 경계부에 있는 물체가 소실되는 경우를 도시하는 도면,

도 20은 종래의 합성 화상의 예로, 부분 화상의 경계부에 있는 물체가 이중상이 되는 경우를 도시하는 도면,

도 21은 부분 화상의 경계부에 있는 물체가, 소실되지 않고, 이중상으로도 되지 않는 경우를 도시하는 도면,

도 22는 중복 영역의 예를 도시하는 도면

도 23은 기하(幾何) 변환을 설명하기 위한 도면,

도 24는 기하 변환을 설명하기 위한 도면,

도 25는 기하 변환을 설명하기 위한 도면,

도 26은 기하 변환을 설명하기 위한 도면이다.

〈도면의 주요부분에 대한 부호의 설명〉

1 : 차량 11 : 카메라

20 : 화상 처리부 30 : 표시 장치

CA1 : 카메라(제1 카메라) CA2 : 카메라(제2 카메라)

CA3 : 카메라(제3 카메라) CA4 : 카메라(제4 카메라)

CB1 : 카메라(제1 카메라) CB2 : 카메라(제2 카메라)

CB3 : 카메라(제3 카메라) CB4 : 카메라(제4 카메라)

CC1 : 카메라(제1 카메라) CC2 : 카메라(제2 카메라)

CE1 : 카메라(제1 카메라) CE2 카메라(제2 카메라)

CE3 : 카메라(제4 카메라) CE4 카메라(제3 카메라)

CD1 ~ CD4, CF1 ~ CF4 : 카메라

PIA1 ~ PIA4, PIB1, PIB2, PIC3, PIC2, PID1 ~ PID4, PIE1 ~ PIE4,

PIF1 ~ PIF4 : 부분 화상

BLA12, BLA23, BLA34, BLB12, BLC12, BLD12, BLD23, BLD34, BLE12, BLE23,

BLE34, BLE14, BLF12, BLF23, BLF34, BLF14 : 경계

본 발명은, 차량의 주위를 촬영하는 복수의 카메라를 이용한 차량 주위 감시 장치에 관한 것으로, 특히, 각각의 카메라 화상으로부터 얻은 부분 화상을 합성하여, 사용자에게 차량의 주위 상황을 알아보기 쉬운 화상을 제공하는 기술에 속한다.

차량의 주위를 카메라를 이용해 감시하는 종래의 장치로서, 일본국 특개평 10-257482호 공보(이하, 문헌 1이라고 칭함)나, 일본국 특개평 11-78692호 공보(이하, 문헌 2라고 칭함)에 기재된 것 등이 알려져 있다.

문헌 1에 기재된 장치에서는, 차의 리어부 중앙에 1대, 좌우 도어 미러 부근에 각 1대씩, 후방을 향해 설치된 카메라의 화상끼리를, 무한 원점이 일치하도록 맞춰, 넓은 시야의 리어뷰 화상을 운전자에게 제공한다. 이것에 의해, 사용자는 차의 좌우 후방의 도로 상황을 1매의 가상적인 화상 정보로 얻을 수 있어, 전체의 상황을 파악하기 쉬워진다.

또 문헌 2에서는, 8대의 차량용 영상 제공을 위한 카메라를 차량의 주위에 설치하여, 각 카메라에 의해 촬영된 화상을 변형 ·합성해 새로운 화상을 작성하고 모니터에 표시하는 기술이 개시되어 있다. 특히, 복수의 카메라의 촬영 화상을 변형하여 합성할 때, 변형된 화상끼리가 인접한 경계 부분에서 화상의 연속성을 유지함으로써, 보다 정확한 화상을 운전자에게 제공할 수 있다.

그런데, 종래의 기술에 있어서, 경계부가 연속해 이어지도록 화상을 변형 ·합성하는 경우에는, 원리적으로는 원 카메라 화상에 비쳐지는 물체의 형상이나 거리를 정확히 실시간으로 계산하고, 이 계산 결과를 이용해 각 화상의 변형 처리를 행할 필요가 있다. 그러나, 이 계산에 필요한 비용은 매우 높기 때문에, 현실적으 로는 실시 곤란하다. 따라서 통상은, 경계부에 비쳐지는 모든 것에 대해 연속성을 유지할 수 없어, 화상에 비치는 어떤 부분이 연속해서 이어지도록 화상을 변형하는 수단이 취해진다. 예를 들면, 촬영 대상이 차량 주위인 경우에는, 연속성을 유지하는 부분으로서 노면(路面)이 이용된다. 이것이 이른바 노면 투영이라고 불리는 수법이다.

그러나, 이 수법을 이용하면, 경계 부분의 연속성을 유지하기 위해서, 어쩔 수 없이 원 카메라 화상의 일부를 잘라 버릴 필요가 있고, 이 때문에 카메라에 비쳐지는 물체가 합성 화상 상에서는 표시되지 않는 중대한 문제를 일으킬 가능성이 있다. 이 문제에 대해 도면을 참조하여 설명한다.

도 17은, 종래의 시스템에서의 차에 탑재된 카메라 배치의 전형적인 예를 나타낸 모식도이다. 도 17의 예에서는, 좌우 도어 미러 일부에 각각 카메라 CZ1, CZ4가, 후단부 중앙에 좌우 후방을 향해 각각 카메라 CZ2, CZ3이, 차량(1)의 운전석에서 후방을 촬영 범위로 커버하도록 설치되어 있다. P는 폴, WL은 주차선을 나타내는 흰색 선이다.

또 도 18은, 도 17과 같이 배치된 각 카메라(CZ1~CZ4)의 촬영 화상의 예, 도 19는, 도 18의 카메라 화상을 잘라내고 변형해서 이어붙임으로써, 마치 차량의 상방에서 내려다 본 것과 같은 가상 시점 화상을 합성한 도면이다. 도 19에서, PIZ1~PIZ4는 각각 카메라 CZ1~CZ4의 촬영 화상으로부터 잘라낸 부분 화상이다. 도 19의 예에서는, 적어도 노면 상의 물체(전형적으로는 흰색 선(WL))가 부분 화상(PIZ1~PIZ4)끼리의 경계부에서 일치하도록, 각 카메라 화상의 변형 ·잘라내기 및 이어붙이기가 행해지고 있다.

이러한 합성 방법에서 문제가 되는 것이, 원 카메라 화상의 일부를 잘라 버리는 것에 의해 생기는, 입체물(도 18에서는 차량(1)의 오른쪽 뒤에 서 있는 폴(P))의 소멸이다.

즉, 도 19의 합성 화상에서는, 카메라 CZ3에 관련된 부분 화상(PIZ3)과 카메라 CZ4에 관련된 부분 화상(PIZ4)의 경계(BLZ34)가 차량(1)의 우사선 후방으로 늘어나도록 설정되어 있다. 그리고, 경계(BLZ34)의 양측에서 노면이 일치하도록 각각의 카메라 화상을 변형할 때에, 카메라 CZ3에 비쳐지는 폴(P)은 오른쪽으로 늘어나도록 일그러지고(화상 PA), 한편, 카메라 CZ4에 비쳐지는 폴(P)은 아래를 향해 늘어나도록 일그러진다(화상 PB). 하지만, 폴(P)의 화상(PA, PB)은 모두 경계(BLZ34)를 넘어 버리므로, 화상 합성시에는 절취되어 버린다. 이 결과, 합성 화상 상에서는, 폴(P)의 근본이 겨우 남는 정도의 화상으로 되어, 폴(P)이 마치 소실된 것처럼 보인다.

이러한 물체의 소멸을 회피하기 위해서는, 도 20에 도시하는 바와 같이, 카메라 CZ3에서도 카메라 CZ4에서도 촬영되고 있는 영역(OL)에 대해, 각각의 카메라 화상을 변형한 화상을 혼합하는 것을 생각할 수 있다. 하지만 이 경우에는, 화상(PA, PB)이 모두 표시됨으로써, 합성 화상 상에서 폴(P)이 이중상으로 되어, 보기에 매우 알아보기 어려운 화상이 된다.

상기의 문제를 감안하여, 본 발명은, 복수의 카메라 촬영 화상을 합성하여 표시하는 차량 주위 감시 장치에 있어서, 부분 화상끼리의 경계 근방에서, 종래보 다도 정확하고 또한 사용자에게 알아보기 쉬운 영상을 제공하는 것을 과제로 한다.

그런데, 물체가 부분 화상의 경계 근방에 있는 경우에도, 상술한 바와 같은 합성 화상 상에서의 소실이 일어나지 않는 경우가 있다.

도 21은 부분 화상의 경계부에 있는 물체가 소실되지 않는 예를 나타내는 개념도이다. 도 21에서는, 경계(BLZ23) 근방에서는, 부분 화상(PIZ2)에 관련된 카메라 CZ2도 부분 화상(PIZ3)에 관련된 카메라 CZ3도, 그 촬영 방향이 경계(BLZ23) 방향과 거의 일치하고 있다. 또한, 본원 명세서에서 말하는 「촬영 방향」이란, 카메라의 광축 방향이 아니라, 카메라에서 대상물(여기에서는 경계 부분)을 보는 방향, 즉, 합성 화상에서는, 카메라의 설치 위치와 경계 부분을 묶는 직선 방향을 의미한다. 이 때문에, 페어 카메라 CZ2, CZ3의 직후에 서 있는 폴(P)의 화상은, 카메라 CZ2, CZ3 어느 쪽의 화상을 변형하여도 경계(BLZ23)를 따라 늘어나도록 일그러진다. 이 때문에, 경계(BLZ23) 근방에서, 부분 화상(PIZ2)과 부분 화상(PIZ3)을 혼합하는 처리 등을 행함으로써, 합성 화상에서 폴(P)의 화상이 소멸되는 것을 방지할 수 있다.

즉, 본원 발명자의 검토에 의하면, 일반적으로는, 다음의 조건을 충족할 때, 합성 화상 상에서 물체가 소실되는 현상은 일어나지 않는 것으로 생각된다.

조건: 인접한 2개의 부분 화상에 대해, 그 경계 근방에서, 해당 부분 화상을 촬영하고 있는 카메라의 촬영 방향이, 그 경계의 방향과 거의 일치하는 것

또한, 인접한 부분 화상은, 오버랩하고 있어도 되고, 단순히 접하고 있는 것 만으로도 된다. 경계 근방에서, 부분 화상끼리가 겹쳐져 있는 중복 영역이 있는 경우에는, 여기서 말하는 「경계 방향」이란, 그 중복 영역의 긴 쪽 방향의 중심선 방향을 가르키는 것으로 한다.

이 조건이 충족된 경우, 부분 화상끼리의 경계 근방에 있는 물체의 화상은, 시점 변환에 의해, 그 경계를 따라 늘어남으로써, 합성 화상 상에서, 경계 근방의 물체가 사라지는 일은 없어진다. 본 발명은, 이런 지식과 견문에 기초하여 이루어진 것이다.

즉, 상기 과제를 해결하기 위해서, 청구항 1의 발명이 강구한 해결 수단은, 차량 주위 감시 장치로서, 차량의 주위를 촬영하는 적어도 제1 및 제2 카메라를 포함한 복수의 카메라와, 상기 복수의 카메라의 촬영 화상을 입력으로 하고, 이들 카메라 화상을 이용해 부분 화상을 합성하여, 이 합성 화상을 표시 장치에 표시시키는 화상 처리부를 구비하고, 상기 합성 화상은, 상기 제1 카메라에 관련된 제1 부분 화상과 상기 제2 카메라에 관련된 제2 부분 화상이 인접하도록 배치된 것이고, 상기 제1 및 제2 카메라는, 그 촬영 방향이, 각각, 상기 제1 부분 화상과 상기 제2 부분 화상의 경계의 근방에서, 상기 경계의 방향과 거의 일치하도록, 설치되어 있는 것이다.

청구항 1의 발명에 의하면, 서로 인접한 제1 및 제2 부분 화상에 관련된 제1 및 제2 카메라는, 그 촬영 방향이 부분 화상끼리의 경계 방향과 거의 일치하도록 설치되어 있다. 이 때문에, 화상 합성시에, 경계 근방에 존재하는 물체의 화상이 카메라의 촬영 방향, 즉 경계의 방향과 거의 일치하는 방향을 따라 늘어나도록 변 형된다. 이 때문에, 그 물체의 화상은 절취되지 않고, 따라서 합성 화상 상에서 소실되는 일은 없다. 이것에 의해, 차 주위의 정보를 보다 정확히 사용자에게 전달할 수 있어, 보다 안전한 운전을 지원하는 일이 가능하게 된다.

그리고, 청구항 2의 발명에서는, 상기 청구항 1에 기재된 차량 주위 감시 장치에 있어서, 상기 제1 및 제2 카메라의 촬영 방향과 상기 경계의 방향이 이루는 각도는 각각 10도 이하인 것으로 한다.

그리고, 청구항 3의 발명에서는, 상기 청구항 1에 기재된 차량 주위 감시 장치에서의 합성 화상은, 상기 제1 부분 화상과 상기 제2 부분 화상의 경계에서, 상기 제1 및 제2 부분 화상을 혼합한 블렌드 화상이 배치된 것으로 한다.

또한, 청구항 4의 발명에서는, 상기 청구항 1의 차량 주위 감시 장치에 있어서, 상기 제1 카메라는, 해당 차량의 앞의 좌 또는 우단부에 우 또는 좌사선 전방을 향해 배치되어 있고, 상기 제2 카메라는, 해당 차량의 좌 또는 우측부에 좌 또는 우사선 전방을 향해 배치되어 있는 것으로 한다.

그리고, 청구항 5의 발명에서는, 상기 청구항 4의 차량 주위 감시 장치에서의 복수의 카메라는, 해당 차량의 좌 또는 우측부에 좌 또는 우사선 후방을 향해 배치되어 있는 제3 카메라와, 해당 차량 뒤쪽의 좌 또는 우단부에 우 또는 좌사선 후방을 향해 배치되어 있는 제4 카메라를 포함하는 것으로 한다.

그리고, 청구항 6의 발명에서는, 상기 청구항 1의 차량 주위 감시 장치에 있어서, 상기 제1 카메라는, 해당 차량의 앞의 우 또는 좌단부에 좌 또는 우사선 전방을 향해 배치되어 있고, 상기 제2 카메라는, 해당 차량의 앞의 좌 또는 우단부에 좌 또는 우사선 후방을 향해 배치되어 있는 것으로 한다.

그리고, 청구항 7의 발명에서는, 상기 청구항 6의 차량 주위 감시 장치에서의 복수의 카메라는, 해당 차량의 뒤쪽의 좌 또는 우단부에 우 또는 좌사선 방향을 향해 배치되어 있는 제3 카메라와, 해당 차량 뒤쪽의 우 또는 좌단부에 우 또는 좌사선 전방을 향해 배치되어 있는 제4 카메라를 포함하는 것이다.

또한, 청구항 8의 발명이 강구한 해결 수단은, 차량의 주위를 촬영하는 복수의 카메라와, 상기 복수의 카메라의 촬영 화상으로부터 얻은 부분 화상을 합성하여, 이 합성 화상을 표시 장치에 표시시키는 화상 처리부를 구비한 차량 주위 감시 장치를 조정하는 방법으로서, 상기 복수의 카메라 중, 상기 합성 화상에서 인접해 배치되는 부분 화상을 각각 촬영하는 제1 및 제2 카메라를, 그 촬영 영역이 오버랩하도록 배치하고, 상기 제1 카메라에 관련된 부분 화상과 상기 제2 카메라에 관련된 부분 화상의 경계 근방에서, 상기 제1 및 제2 카메라의 촬영 방향이, 각각 상기 경계 방향과 거의 일치하도록, 상기 제1 및 제2 카메라 및 상기 화상 처리부의 적어도 어느 하나를 조정하는 것이다.

상기 각 청구항에 의한 발명에 있어서, 카메라 배치에서의 「또는」이란, 감시하는 범위를, 차량의 우측을 중심으로 하는 경우와, 좌측을 중심으로 하는 경우를 포함하기 위한 기재이다. 혹은, 차량의 주위 전체를 감시하는 경우에, 카메라를 오른편에 배치하는 경우와, 왼편에 배치하는 경우를 포함하기 위한 기재이다. 이러한 배치의 선택은, 예를 들면 차량이 우핸들 이나 좌핸들에 의해 행하면 되고, 그 이외의 요인에 따라 선택해도 상관 없다. 또는, 임의로 선택해도 된다.

또, 카메라를 「사선」으로 배치하는 경우, 카메라의 상하 방향의 화각(畵角)이 크고, 카메라의 바로 아래도 시야에 포함되는 경우는, 카메라의 광축 방향은 수평이어도 된다. 단, 화각이 충분히 크지 않은 경우는, 카메라 바로 아래의 사각을 줄이기 위해, 카메라를 아래 쪽을 향하게 하는 것이 바람직하다. 이 경우, 예를 들면「우사선 전방」이란, 카메라를 우사선 전방을 향하게 하고, 또한 앙각을 아래 방향으로 바꾸는 것에 상당한다.

이하, 본 발명의 실시 형태에 대해서, 도면을 참조하여 설명한다.

도 1은 본 발명의 일 실시 형태에 의한 차량 주위 감시 장치의 구성을 도시하는 블록도이다. 도 1에 도시한 장치에서, 화상 처리부(20)는, 복수의 카메라(11)을 갖는 촬영 수단(10)으로부터 출력된 복수의 카메라 화상을 입력으로 하고, 이것을 변형 ·합성하여 새로운 합성 화상을 생성한다. 이 합성 화상은, 표시 장치(30)에 의해 표시된다.

합성 화상이란, 전형적으로는 가상 시점 화상이다. 가상 시점 화상이란, 실제 카메라 화상에 가공 처리를 실시하여, 이들을 이어붙이는 등으로 합성하여 얻은, 마치 가상의 카메라에서 본 것 같은 화상이다. 보다 구체적인 예로서는, 마치 차량의 상방에서 바로 아래를 내려다 본 것 같은 화상(예를 들면 도 4)이며, 이 가상 시점 화상은, 차량에 직접 설치된 1개 또는 복수개 카메라(예를 들면 도 2에서의 CA1~CA4)를 이용하여, 이들 카메라의 촬영 화상(예를 들면 도 3)에 각각 개별 가공 처리를 실시하여 합성함으로써 생성된다.

본 발명에 의한 표시 장치(30)는, 전형적으로는 액정 디스플레이이지만, 플라즈마 디스플레이 등의 다른 표시 디바이스를 이용할 수도 있다. 또한, 여기서 말하는 디스플레이는, 차량 탑재형의 GPS 단말 디스플레이(이른바 카 네비게이션 시스템의 디스플레이)와 공용되는 것이어도 되고, 이것과는 별도로 설치된 것이어도 된다.

촬영 수단(10)은, 전형적으로는 CCD, CMOS 디바이스 등의 개체 촬영 소자를 가진 컬러 또는 모노크롬 디지털 카메라(11)를 갖는다. 또, 촬영 수단(10)은, 예를 들면, 렌즈와, 프리즘 또는 미러와의 조합에 의해 구성되며, 렌즈, 프리즘 또는 미러로의 입사광이, 소정 광로를 통해 촬영 수단에서 떨어진 위치에 있는 촬영 소자에 전달되도록 구성되어 있어도 된다.

화상 처리부(20)는, 복수의 카메라(11)로부터의 촬영 화상을 입력으로 하고, 이들 촬영 화상을 가공한다. 여기서의 가공은, ①화상 잘라냄 변형 처리, ②변형된 부분 화상의 합성 처리(경계 처리를 포함함)이다. 이들 ①과 ②의 처리는, 각각 별도로 행해져도 되며, 전부 또는 일부가 하나의 공정에 의해 행해져도 된다. 도 1에서는, 촬영 화상의 가공을 하나의 공정으로 행하기 위해, 맵핑 테이블(MPT)를 구비한 구성으로 하고 있다.

맵핑 테이블(MPT)이란, 합성 화상의 화소와, 각 카메라 화상의 화소 데이터의 대응 관계가 기술된 테이블을 말하며, 합성 화상의 생성 처리를 고속으로 행하기 위해서 사용된다. 이러한 맵핑 테이블을, 후술하는 기하 변환 등을 이용한 계산이나 수작업 등에 의해 미리 작성해 둠으로써, 소망의 합성 화상을 고속으로 생 성할 수 있다.

맵핑 데이블(MPT)는 구체적으로는, 예를 들면 ROM(EEPROM 등의 기입·소거 가능한 ROM을 포함), 또는 RAM에 격납되어 있다. 맵핑 테이블(MPT)의 격납은, 예를 들면, 화상 처리부(20) 내의 프로세서가 계산으로 구한 맵핑 데이터를 ROM 또는 RAM에 기입함으로써 실현해도 되며, 펌웨어로서 제공되는 맵핑 테이블 데이터를, 통신회선이나 디스크 드라이브 등의 데이터 전송 수단을 이용해, RAM 또는 ROM에 기입하도록 해도 된다.

<카메라의 설치>

본 발명에 의한 카메라 설치에 대해, 주의해야 할 점을 2가지 들어 둔다.

1. 경계를 구성하는 2개의 부분 화상의 근본이 되는 카메라에 대해, 경계 근방을 촬영하는 방향을, 경계의 방향에 거의 일치시킨다. 이것은, 과제의 항에서 서술한 조건과 동일하다.

2. 인접한 카메라 화상을, 그 경계 부분에서 서로 오버랩시킨다. 이것은, 가상 시점 화상에서, 인접한 카메라 화상의 경계 부분에서 사각이 되는 부분이 생기지 않도록 하기 위함이다.

이하, 본 실시 형태에 의한 카메라 설치의 구체예를, 도면을 이용하여 설명한다. 또한, 이하의 설명에서는, 「우」 및 「좌」는, 차량의 전진 방향에 대해 표시한 것이다. 또한, 차량은 우핸들의 것, 즉, 운전석이 우측에 있고 조수석이 좌측에 있는 차량을 대상으로 한다. 따라서, 만약 본 발명을 좌핸들의 차량에 적용하는 경우에는, 카메라의 설치를 좌우 대칭으로 하면 되고, 이하의 카메라의 설 치 상태의 설명에서 「좌」와 「우」를 반대로 해석하면 된다.

(제1 예)

도 2는 본 발명에 의한 카메라 배치의 제1 예, 도 3은 도 2와 같이 배치된 각 카메라(CA1~CA4)의 촬영 화상의 예이다. 도 2의 배치예에서는, 4대의 카메라 (CA1~CA4)가 다음과 같이 배치되어 있다.

카메라 CA1 장소 : 차량(1)의 앞 좌단

방향 : 우사선 전방

시야 범위 : 영역 AA1

카메라 CA2 장소 : 차량(1)의 좌측 도어 미러부

방향 : 좌사선 전방

시야 범위 : 영역 AA2

카메라 CA3 장소 : 차량(1)의 좌측 도어 미러부

방향 : 좌사선 후방

시야 범위 : 영역 AA3

카메라CA4 장소 : 차량(1)의 뒤 좌단

방향 : 우사선 후방

시야 범위 : 영역 AA4

즉, 도 2에서는, 차량(1)의 네 변 중, 운전석 측의 1변을 제외한 전체 주위를 보는 가상 시점 화상을 합성하기 위해서, 상기와 같이 4대의 카메라(CA1~CA4)를 설치하고 있다. 또 P1~P4는 폴, WL은 흰색 선이다.

또한, 카메라 CA2, CA3는, 차량(1)의 좌측에 대해 실제적인 180도의 시야를 얻을 수 있도록, 페어로 배치되고 있다. 즉, 현상의 카메라에서는, 단체(單體)로 해상도를 유지하면서 180도의 시야를 확보하는 것이 어렵기 때문에, 편의적으로, 화각이 100도 정도인 카메라를 2대 페어로 배치하고 있다. 따라서 충분한 해상도가 얻어지고, 또한 180도의 시야를 얻을 수 있는 단일의 촬영 수단이 있다면, 그것을 카메라 CA2, CA3 대신에 이용해도 상관없다.

도 4는 도 3에 도시한 바와 같은 카메라 화상을 이용해서, 차량(1)의 주위를 위에서 내려다 본 것 같은 가상 시점 화상을 합성한 결과를 나타낸 모식도이다. 도 4에서, PIA1~PIA4는 각각 카메라 CA1~CA4의 촬영 화상으로부터 잘라낸 부분 화상, BLA12는 부분 화상(PIA1, PIA2)의 경계, BLA23은 부분 화상(PIA2, PIA3)의 경계, BLA34는 부분 화상(PIA3, PIA4)의 경계이다. 또한 DA는 어떤 카메라(CA1~CA4)로부터도 촬영되지 않은 사각 영역이다.

본 예와 같이 각 카메라(CA1~CA4)를 설치함으로써, 상술한 2개의 포인트는 모두 충족되고 있다. 즉, 도 4의 합성 화상에서, 부분 화상끼리의 경계 근방에서는, 그 부분 화상을 촬영한 카메라의 촬영 방향과 경계 방향이 거의 일치하고 있다. 예를 들면 도 2 및 도 4에서 알 수 있듯이, 제1 부분 화상으로서의 부분 화상(PIA1)과 제2 부분 화상으로서의 부분 화상(PIA2)의 경계(BLA12)의 근방에서, 부분 화상(PIA1)을 촬영한 제1 카메라로서의 카메라 CA1과, 부분 화상(PIA2)을 촬영한 제2 카메라로서의 카메라 CA2의 촬영 방향이, 경계(BLA12)의 방향에 거의 일치하고 있다. 경계 BLA23, BLA34에 관해서도 마찬가지라고 말할 수 있다.

또한, 카메라 CA1의 촬영 영역(AA1)과 카메라 CA2의 촬영 영역(AA2)은 서로 오버랩하고 있고, 마찬가지로, 카메라 CA2와 카메라 CA3, 카메라 CA3와 카메라 CA4는, 촬영 영역이 서로 오버랩하고 있다.

이 때문에, 도 4의 합성 화상에서는, 각 카메라(CA1~CA4)에 찍힌 물체의 위치 관계를 유지하면서, 사용자에게 알아보기 쉽게 보인다는 가상 시점 화상의 장점을 그대로 남기면서, 본 발명의 카메라 설치의 포인트를 충족함으로써, 물체가 소실되는 현상을 회피하고 있다. 이것은 예를 들면, 차량(1)의 좌 앞 각부나 좌 뒤 각부에 있는 폴(P3, P4)이, 경계(BLA12, BLA34)의 근방에 존재함에도 불구하고, 화상 합성에 의해 경계를 따라 늘어나 있어, 합성 화상 상에서 소실하지 않고 남아 있기 때문에 명확하다.

이와 같이 본 예에 의하면, 4대의 카메라(CA1~CA4)를 이용함으로써, 운전자가 창넘어 목시로 확인 가능한 운전석 측의 공간을 제외하고 차 주위를, 위치 관계를 지키면서, 또한, 사각이 없도록 화상으로서 표시하는 것이 가능하게 된다.

(제2 예) ·차량의 전방 및 좌측 전방의 안전 확인

본 발명에 의한 카메라 배치는, 차량 주위의 어느 영역의 안전 확인을 행하는가에 의해, 제1 예 이외에도 여러 가지 형태를 생각할 수 있다. 최근, 승용차의 대형화에 따라, 차량의 전방 및 좌측 전방의 사각에 대한 안전 확인을 행하기 위한 기술에 대해, 필요성이 높아지고 있다. 제2 예는, 차량의 전방 및 좌측 전방의 안전 확인을 행하기 위한 것이다.

도 5는 본 발명에 의한 카메라 배치의 제2 예, 도 6은 도 5와 같이 배치된 각 카메라(CB1, CB2)의 촬영 화상의 예이다. 도 5의 배치예에서는, 2대의 카메라 CB1, CB2가 다음과 같이 설치되어 있다.

카메라 CB1 장소 : 차량(1)의 앞 좌단

방향 : 우사선 전방

시야 범위 : 영역 AB1

카메라 CB2 장소 : 차량(1)의 좌측 도어 미러부

방향 : 좌사선 전방

시야 범위 : 영역 AB2

도 7은 도 6의 카메라 화상을 이용해 합성한 가상 시점 화상의 예를 나타낸 도면이다. 도 7에서, PIB1, PIB2는 각각 카메라 CB1, CB2의 촬영 화상으로부터 잘라낸 부분 화상, BLB12는 부분 화상(PIB1, PIB2)의 경계, DB는 어느 카메라(CB1, CB2)에서도 촬영되지 않는 사각 영역이다.

도 5 및 도 7에서 알 수 있듯이, 제1 부분 화상으로서의 부분 화상(PIB1)과 제2 부분 화상으로서의 부분 화상(PIB2)의 경계(BLB12)의 근방에서, 부분 화상(PIB1)을 촬영한 제1 카메라로서의 카메라 CB1과, 부분 화상(PIB2)을 촬영한 제2 카메라로서의 카메라 CB2의 촬영 방향이 경계(BLB12) 방향에 거의 일치하고 있다.

도 7의 합성 화면에서는, 도 4와 비교하면, 사각 영역(DB)가 넓어져 있고, 감시 가능한 범위는 작아져 있지만, 목적하는 차량의 전방 및 좌측 전측방의 시야는 충분히 확보되어 있다. 게다가, 본 발명의 카메라 설치의 포인트를 충족함으로 써, 예를 들면 차량(1)의 좌 앞 각부에 있는 폴(P3)이, 경계(BLB12)의 근방에 존재함에도 불구하고, 화상 합성에 의해 경계를 따라 늘어나 있어, 소실하지 않고 남아있다.

도 8은 본 예의 다른 카메라의 설치 상태이다. 도 8의 배치예에서는, 2대의 카메라(CC1, CC2)가 다음과 같이 설치되어 있다.

카메라 CC1 장소 : 차량(1)의 앞 우단

방향 : 좌사선 전방

시야 범위 : 영역 AC1

카메라 CC2 장소 : 차량(1)의 앞 좌단

방향 : 좌사선의 후방

시야 범위 : 영역 AC2

도 9는 도 8과 같이 설치된 카메라의 화상을 이용하여 합성한 가상 시점 화상의 예로서, 가상 시점의 위치 및 방향은 도 7과 공통이다. 도 9에서, PIC1, PIC2는 각각 카메라 CC1, CC2의 촬영 화상으로부터 잘라낸 부분 화상, BLC12는 부분 화상(PIC1, PIC2)의 경계, DC는 어느 카메라(CC1, CC2)에서도 촬영되지 않은 사각 영역이다.

도 8 및 도 9에서 알 수 있듯이, 제1 부분 화상으로서의 부분 화상(PIC1)과 제2 부분 화상으로서의 부분 화상(PIC2)의 경계(BLC12)의 근방에서, 부분 화상(PIC1)을 촬영한 제1 카메라로서의 카메라 CC1와, 부분 화상(PIC2)을 촬영한 제2 카메라로서의 카메라 CC2의 촬영 방향이, 경계(BLC12) 방향에 거의 일치하고 있다.

여기서, 도 7과 비교해서 주목해야할 점은, 합성 화상에서의 부분 화상끼리의 경계선의 위치가, 카메라 설치 형태에 의해 변하고 있는 것이다. 만약 도 8의 카메라 위치에서, 카메라 CC1에 관련된 부분 화상(PIC1)과 카메라 CC2에 관련된 부분 화상(PIC2)의 경계(BLC12)를, 도 7의 경계(BLB12)와 동일의 위치에 설정하였다고 하면, 폴(P3)의 화상이, 아래 부분에 아주 적은 부분을 남기고, 다른 부분이 절취되어 버리게 된다(도시하지 않음).

이와 같이, 합성 화상에서의 부분 화상끼리의 경계는, 카메라의 설치 상태를 고려해서 설정할 필요가 있다. 혹은, 각각의 카메라 설치 장소나 방향은, 합성 화상에서의 부분 화상끼리의 경계의 설정 위치를 고려해 정하지 않으면 안된다. 따라서, 본 발명에서는, 합성 화상에서 인접해 배치되는 부분 화상을 각각 촬영하는 각 카메라, 및 화상 처리부 중, 적어도 어느 하나를 조정할 필요가 있다.

즉, 본 발명은, 합성 화상에서 인접해 배치되는 부분 화상을 각각 촬영하는 2대의 카메라를, 그 촬영 영역이 오버랩하도록 배치하고, 그 부분 화상끼리의 경계 근방에서, 각 카메라의 촬영 방향이 각각 경계 방향과 거의 일치하도록, 카메라 및 화상 처리부의 적어도 어느 하나를 조정하는 것이라고 말할 수 있다.

여기서, 촬영 방향과 경계의 방향이 「거의」 일치한다는 것은, 예를 들면 다음과 같은 조건을 충족하는 정도이면 된다. 즉, 그 경계를 사람이 지날 때 거의 전신이 비칠 것, 또는 그 경계 근방을 물체가 이동할 때, 그 일부가 소실되더라도 소실 정도가 그 물체를 특정 가능한 범위일 것을 충족하면 된다. 구체적으로는, 각 카메라의 촬영 방향과 경계의 방향이 이루는 각도가 각각 10도 이하인 것이 바람직하다.

(제3 예) ·차량 전방을 제외한 전체 주위, 특히 후방의 안전 확인

제2 예에서 기술한 바와 같이, 차량 전방의 안전 확인은, 최근의 차량 대형화에 따라 필요성이 높이지고 있다. 이것과는 대칭적으로, 차량 후방의 안전 확인에 대해서 예전부터 검토되고 있고, 최근에는 1대의 카메라를 이용해 후방의 사각 부분을 모니터하는 안전 확인 시스템이 실용화되기 시작했다. 하지만 이 시스템에서는, 차량 후측방의 넓은 범위를 빈 틈 없이 모니터 하기에는 역시 불충분하기 때문에, 도 17과 같이 복수의 카메라를 이용한 시스템도 검토되고는 있지만, 과제의 항에서 기술한 바와 같이, 카메라 화상끼리의 경계 근방에서 물체가 일부 소멸하는 문제가 남아있다.

상술의 제1 예는, 운전석 측을 제외한 차량 전체 주위를 사각 없이 보여주는 것이지만, 이 제3 예에서는 제1 예에 의한 카메라 배치를 반시계 방향으로 90도 어긋나게 함으로써, 종래 기술의 문제를 해결하여, 차량의 전방을 제외한 전체 주위, 특히 후방의 안전 확인을 행할 수 있다.

도 10은 본 발명에 의한 카메라 배치의 제3 예, 도 11은 도 10과 같이 배치된 각 카메라(CD1~CD4)의 촬영 화상의 예이다. 도 10의 배치에서는, 4대의 카메라(CD1~CD4)가 다음과 같이 배치되어 있다.

카메라 CD1 장소 : 차량(1)의 뒤 좌단

방향 : 좌사선 전방

시야 범위 : 영역 AD1

카메라 CD2 장소 : 차량(1)의 뒤 중심

방향 : 좌사선 후방

시야 범위 : 영역 AD2

카메라 CD3 장소 : 차량(1)의 뒤 중심

방향 : 우사선 후방

시야 범위 : 영역 AD3

카메라 CD4 장소 : 차량(1)의 뒤 우단

방향 : 우사선 전방

시야 범위 : 영역 AD4

즉 도 10에서는, 차량(1)의 전방을 제외한 전체 주위를 볼 수 있는 가상 시점 화상을 합성하기 위해서, 상기와 같이 4대의 카메라(CD1~CD4)를 설치하고 있다.

도 12는 도 11에 도시한 바와 같은 카메라 화상을 이용해, 차량(1)의 주위를 위에서 내려다 본 것 같은 가상 시점 화상을 합성한 결과를 나타낸 모식도이다. 도 12에서, PID1~PID4는 각각 카메라 CD1~CD4의 촬영 화상으로부터 잘라낸 부분 화상, BLD12는 부분 화상(PID1, PID2)의 경계, BLD23은 부분 화상(PID2, PID3)의 경계, BLD34는 부분 화상(PID3, PID4)의 경계이다. 또한 DD는 어느 카메라(CD1~CD4)에서도 촬영되지 않는 사각 영역이다.

본 예와 같이 각 카메라(CA1~CD4)를 설치함으로써, 상술한 2가지 포인트는 모두 충족되고 있다. 즉, 도 12의 합성 화상에서, 각 부분 화상끼리의 경계 근방에서는, 그 부분 화상을 촬영한 카메라의 촬영 방향과 경계의 방향이 거의 일치하고 있다. 예를 들면 도 10 및 도 12에서 알 수 있듯이, 제1 부분 화상으로서의 부분 화상(PID1)과 제2 부분 화상으로서의 부분 화상(PID2)의 경계(BLD12)의 근방에서, 부분 화상(PID1)을 촬영한 제1 카메라로서의 카메라 CD1과, 부분 화상(PID2)을 촬영한 제2 카메라로서의 카메라 CD2의 촬영 방향이, 경계(BLD12)의 방향과 거의 일치하고 있다. 경계(BLD23, BLD34)에 관해서도 마찬가지라고 말할 수 있다.

또한, 카메라 CD1의 촬영 영역(AD1)과 카메라 CD2의 촬영 영역(AD2)은 서로 오버랩하고 있고, 마찬가지로 카메라 CD2와 카메라 CD3, 카메라 CD3과 카메라 CD4는, 촬영 영역이 서로 오버랩하고 있다.

이 때문에, 도 12의 합성 화상에서는, 각 카메라(CD1~CD4)에 비치는 물체의 위치 관계를 유지하면서, 보기 쉽게 보인다는 가상 시점 화상의 장점을 그대로 남기면서, 본 발명의 카메라 설치 포인트를 충족시킴으로써, 물체가 소실되는 현상을 회피할 수 있다는 것을 알 수 있다. 이것은 예를 들면, 차량(1)의 좌 뒤 각부나 우 뒤 각부에 있는 폴(P3, P4)이, 경계(BLD12, BLD34)의 근방에 존재함에도 불구하고, 합성 화상에 의해 경계를 따라 늘어나 있어, 합성 화상 상에서 소실하지 않고 남아 있기 때문에 명확하다.

이와 같이 본 예에 의하면, 4대의 카메라(CD1~CD4)를 이용함으로써, 차량의 전방을 제외한 전체 주위를, 위치 관계를 유지하면서, 또한, 사각이 없도록, 화상으로서 표시하는 것이 가능하게 된다.

또한, 도 12의 합성 화상에서, 부분 화상(PID1, PID2)의 경계(BLD12) 및, 부 분 화상(PID3, PID4)의 경계(BLD34)는, 차량(1)의 후단의 연장선 상에 거의 위치하고 있다. 가상 시점 화상에서는, 경계의 양측에서는 원 카메라 화상이 변형되어 방향이 다르기 때문에, 경계에 걸쳐진 물체는 불연속한 화상이 된다. 이 불연속성은, 통상은, 합성 화상의 품질을 떨어뜨린다고 생각된다. 그러나 견해를 바꾸면, 예를 들면, 후방에서 접근하는 물체가 부분 화상(PID3)의 영역에서 부분 화상(PID4)의 영역으로 접어들면, 화상 상 불연속으로 보이기 때문에, 이 시점에서 물체는 차량(1)의 후단보다도 앞으로 와 있다고 판단할 수 있다. 이 때문에, 도 12와 같이 경계(BLD12, BLD34)를 설정하는 것은 매우 의미 있는 것이다.

(제4 예) ·차량 전체 주위

그런데, 이제까지의 예에서는, 결과적으로 카메라가 일직선 상으로 나열되어 배치되어 있었다. 본 예에서는, 일직선 상에 카메라를 나열해 배치하는 것이 아니라, 상술한 본 발명에 의한 카메라 설치의 포인트를 충족하는 예를 나타낸다. 구체적으로는, 카메라 4대를 이용해, 차의 전체 주위를 사각이 없이 보일 수 있는 카메라 설치 상태를 나타낸다.

도 13은 본 발명에 의한 카메라 배치의 제4 예를 나타낸 도면이다. 도 13의 배치예에서는, 4대의 카메라(CE1~CE4)가 다음과 같이 배치되어 있다.

카메라 CE1 장소 : 차량(1)의 앞 우단

방향 : 우사선 후방

시야 범위 :영역 AE1

카메라 CE2 장소 : 차량(1)의 앞 좌단

방향 : 우사선 전방

시야 범위 : 영역 AE2

카메라 CE3 장소 : 차량(1)의 뒤 좌단

방향 : 좌사선 전방

시야 범위 : 영역 AE3

카메라 CE4 장소 : 차량(1)의 뒤 우단

방향 : 좌사선 후방

시야 범위 : 영역AE4

즉, 도 13에서는, 차량(1)의 전체 주위를 멀리 넓게 보는 가상 시점 화상을 합성하기 위해서, 상기와 같이 4대의 카메라(CE1~CE4)를 설치하고 있다.

도 14는 도 13에 도시한 바와 같은 카메라 화상을 이용해, 차량(1)의 주위를 위에서 내려다 본 것 같은 가상 시점 화상을 합성한 결과를 나타낸 모식도이다. 도 14에서, PIE1~PIE4는 각각 카메라 CE1~CE4의 촬영 화상으로부터 잘라낸 부분 화상, BLE12는 부분 화상(PIE1, PIE2)의 경계, BLE23은 부분 화상(PIE2, PIE3)의 경계, BLE34는 부분 화상(PIE3, PIE4)의 경계, BLE14는 부분 화상(PIE4, PIE1)의 경계이다.

본 예와 같이 각 카메라(CE1~CE4)를 설치함으로써, 상술한 2가지 포인트는 모두 충족되고 있다. 예를 들면 도 13 및 도 14에서 알 수 있듯이, 제1 부분 화상으로서의 부분 화상(PIE1)과 제 2부분 화상으로서의 부분 화상(PIE2)의 경계(BLE12)의 근방에서, 부분 화상(PIE1)을 촬영한 제1 카메라로서의 카메라 CE1 과, 부분 화상(PIE2)을 촬영한 제2 카메라로서의 카메라 CE2의 촬영 방향이, 경계(BLE12)의 방향에 거의 일치하고 있다. 경계(BLE23, BLE34, BLE14)에 관해서도 마찬가지라고 말 할 수 있다.

또한, 카메라 CE1의 촬영 영역(AE1)과 카메라 CE2의 촬영 영역(AE2)은 서로 오버랩하고 있고, 마찬가지로 카메라 CE2와 카메라 CE3, 카메라 CE3과 카메라 CE4, 카메라 CE4와 카메라 CE1은, 촬영 영역이 서로 오버랩 하고 있다.

이 때문에, 도 14의 합성 화상에서는, 각 카메라(CE1~CE4)에 비치는 물체의 위치 관계를 유지하면서, 사용자에게 알기 쉽게 보인다는 가상 시점 화상의 장점을 그대로 남기면서, 본 발명의 카메라 설치의 포인트를 충족시킴으로써, 물체가 소실되는 현상을 회피하고 있다. 이것은 예를 들면, 차량(1)의 네 귀퉁이에 있는 폴(P1~P4)이, 경계(BLE12, BLE23, BLE34, BLE14)의 근방에 존재함에도 불구하고, 화상 합성에 의해 경계를 따라 늘어나 있어, 합성 화상 상에서 소실되지 않고 남아있기 때문에 명확하다.

도 15는 본 예의 다른 카메라 설치 형태이다. 도 15의 설치 형태는, 도 13의 설치 형태에서 각 카메라의 방향을 180도 바꾼 것에 상당한다. 도 15의 배치예에서는, 4대의 카메라(CF1~CF4)가 다음과 같이 배치되어 있다.

카메라 CF1 장소 : 차량(1)의 앞 우단

방향 : 좌사선 전방

시야 범위 :영역 AF1

카메라 CF2 장소 : 차량의 앞 좌단

방향 : 좌사선 후방

시야 범위 : 영역 AF2

카메라 CF3 장소 : 차량의 뒤 좌단

방향 : 우사선 후방

시야 범위 : 영역 AF3

카메라 CF4 장소 : 차량(1)의 뒤 우단

방향 : 우사선 전방

시야 범위 : 영역 AF4

도 16은 도 15에 도시한 바와 같은 카메라 화상을 이용해, 차량(1)의 주위를 위에서 내려다 본 것과 같은 가상 시점 화상을 합성한 결과를 나타낸 모식도이다. 도 16에서, PIF1~PIF4는 각각 카메라 CF1~CF4의 촬영 화상으로부터 잘라낸 부분 화상, BLF12는 부분 화상(PIF1, PIF2)의 경계, BLF23은 부분 화상(PIF2, PIF3)의 경계, BLF34는 부분 화상(PIF3, PIF4)의 경계, BLF14는 부분 화상(PIF4, PIF1)의 경계이다.

이 예에서도, 상술한 2가지 포인트는 모두 충족되고 있다. 단, 도 14와 비교하면, 각 카메라의 방향이 180도 다르게 되어 있기 때문에, 부분 화상끼리의 경계 위치가 다르게 설정되어 있다. 다만, 도 14와 마찬가지로, 차량(1)의 네 귀퉁이에 있는 폴(P1~P4)이, 경계 BLF14, BLF12, BLF23, BLF34의 근방에 존재하고 있음에도 불구하고, 화상 합성에 의해 경계를 따라 늘어나 있어, 합성 화상 상에서 소실되지 않고 남아 있다.

이상, 본 발명의 주안이 되는 카메라의 설치 모습에 대해, 몇 가지의 예를 이용하여 설명했다. 이들 설명에서는, 모두 가상 시점 화상의 예로서 차 주위의 상황을 위에서 내려다 보는 것 같은 화상을 이용했지만, 물론 그것에 한정하지 않고, 예를 들면 후방 확인을 위해서, 차의 조금 전방의 위쪽에서 사선 후방을 내려다 보는 것 같은 가상 시점을 설정해도 된다.

또한, 합성 화상의 부분 화상끼리의 경계에서, 그 부분 화상을 혼합해 얻은 블렌드 화상을 배치해도 상관없다. 합성 화상에서, 인접한 부분 화상이 그 경계 부분에서 겹치는 영역을, 본원 명세서에서는 「중복 영역」이라고 부른다.

도 22는 도 17에 도시한 차량(1)의 뒷 부분을 발출한 부분으로, 중복 영역의 예를 개념적으로 나타내고 있다. 도 22에서는, 페어 카메라 CZ2, CZ3가 차량(1) 후단의 트렁크 상부 중앙에 설치되어 있고, 카메라 CZ2는 차량(1)의 좌 후방을 촬영하고 있으며(촬영 영역 AR2), 카메라 CZ3는 차량(1)의 우 후방을 촬영하고 있다(촬영 영역 AR3). 또 차량(1) 후방 중앙의 영역은, 카메라 CZ2, CZ3에서도 촬영되고 있다.

그리고, 도 22(a) ~ 도 22(c)는, 공통 카메라 설치 조건에서의 중복 영역의 설정의 예를 각각 나타내고 있다. OL이 중복 영역이며, CL이 중복 영역(OL)의 긴 쪽 방향의 중심선으로, 본원 명세서에서의 「경계의 방향」에 상당한다. 도 22(a)는 중복 영역(OL)을 최대한으로 넓혀 설정한 예이다. 도 22(b)는 중복 영역(OL)의 폭이, 차량(1)에 가까울 정도로 좁고, 멀어짐에 따라 넓어지도록 설정된 예이다. 도 22(c)는 중복 영역(OL)의 폭을, 차량(1)에 가까운 부분은 되도록 넓게 하고, 어 느 정도 떨어진 먼 곳 부분에 대해서는 거의 일정하게 되도록 설정한 예이다.

도 22(a) ~ 도 22(c) 중 어느 한 설정예를 이용해도 되고, 또 여기서 나타낸 이외의 방법에 의해, 중복 영역(OL)을 설정하여도 된다. 단, 중복 영역(OL)의 설정 목표는 다음과 같다.

·각각의 카메라에 비쳐지는 물체가 이중상으로 되어 보기 힘들지 않도록 너무 넓게 하지 않을 것.

·중복 영역(OL)에 존재하는 물체가 불연속으로 보이지 않도록, 너무 좁게 하지 않을 것.

이 두 점을 고려한 경우에는, 도 22(c)의 예가 바람직하다고 할 수 있다. 또한, 도 22에서는, 중복 영역(OL)은, 촬영 영역(AR2, AR3)이 겹쳐진 부분의 중심에 맞춰 설정되어 있지만, 반드시 중심에 맞추지 않아도 된다.

또한, 본 발명은 예시의 실시 형태 만으로 한정되는 것이 아니라, 특허청구범위 각각의 청구항에 기재된 사항의 범위 내에서, 구체적인 구성을 변경해 실시 가능하다.

또한, 본 발명에서 차량은, 보통 자동차, 경자동차, 화물자동차, 버스 등을 포함한다. 또 본 발명의 기술 사상이 적용될 수 있는 것이 있다면, 크레인차, 셔블(shovel)카 등의 특수 차량도 본 발명의 차량으로 할 수 있다.

또한, 상술한 예에서는, 합성 화상을 얻기 위해 필요한 카메라는 일시에 설치되는 것을 전제로 하여 설명을 행한다. 이것에 더하여, 예를 들면 이미 설치되어 있는 카메라에서는 감시 범위가 불충분하기 때문에, 더욱 카메라를 증가시키는 경우에도, 본 발명은 유효하다. 즉,

·추가하는 카메라를, 어느 위치에 어느 방향으로 설치하는가

·추가한 카메라의 촬영 화상을 이용해 새로운 합성 화상을 만들 때, 원래 설치되어 있던 카메라에 관련된 부분 화상과 추가한 카메라에 관련된 부분 화상의 경계를, 어디에 설정할 것이가

라는 문제에 대해서도, 이미 설명한 것과 같은 방법이 적용 가능하다.

예를 들면, 차의 구입시에는, 차량의 후단부 중앙에 뒤 방향으로 시야 180도를 볼 수 있는 카메라만이 설치되어 있고, 그 후, 후방 영역과 조수석 영역을 합쳐 나타난 듯한 합성 화상을 표시할 수 있도록, 조수석 측 영역을 촬영하는 카메라를 새롭게 추가하는 경우를 생각할 수 있다. 이러한 경우에도, 본 발명에 의한 차량 주위 감시 장치의 조정 방법은 적용 가능하다.

<기하 변환>

합성 화상을 위한 맵핑 테이블을 작성하기 위해서는, 가상 시점에서 본 합성 화상의 각 화소에 대응하는 각 카메라 화상의 화소의 좌표를 정할 필요가 있다.

이를 위해, 먼저 가상 시점에서의 합성 화상의 각 화소에 대응하는 월드 좌표계(Xw, Yz, Zw)를 구하고, 그 월드 좌표계의 3차원 좌표에 대응하는 카메라 화상의 화소의 좌표를 구하는 2단계를 생각하면 판단하기 쉽다.

최종적으로 필요한 관계는, 가상 시점의 합성 화상의 각 화소와 각 카메라 화상의 화소의 관계만으로, 이 월드 좌표계를 경유하는 맵핑 테이블에 한정되는 것은 아니다. 단, 이 월드 좌표계를 경유하는 맵핑 테이블은, 합성 화상의 실제 세 계에서의 좌표예인 월드 좌표계에서의 의미 부여가 명확하기 때문에, 주위의 상황을 실제 거리, 위치 관계와 대응시키기 쉬운 합성 화상을 생성하는 점에서 중요하다.

가상 시점의 위치와 방향을 나타낸 파라미터로서, 시점의 월드 좌표계에서의 좌표를 위치 벡터 Tv = (Txv, Tyv, Tzv), 시점의 방향을, 시평면 좌표계를 월드 좌표계의 방향에 일치시키는 회전을 나타내는 3행 3열의 회전 행렬 Rv로 나타낸다고 하면, 합성 화상의 시점 좌표(Vxe, Vye, Vze)의 대응하는 월드 좌표(Xw, Yw, Zw)는, 식(1)로 구할 수 있다.

도 23은, 시점 좌표계와 월드 좌표계의 관계를 설명하는 모식도이다.

도 24에 도시하는 바와 같이, 가상 시점의 방향을, 시선이 월드 좌표계 Y-Z 평면에 대해서 수평 회전 각도(방위각)을 αv, X-Z 평면에 대해 이루는 경사 각도(앙각)을 βv로 하고, 카메라 광축 주변의 회전(Twist)를 γv로 하면, 회전 행렬 Rv는,

가 된다.

한편, 가상 시점의 시점 좌표계(Vxe, Vye, Vze)의 Vxe, Vye와, 투영면 상의 2차원 좌표 Uv, Vv의 관계는, 투시 투영 변환보다 초점 거리(fv)를 이용해 이하의 식(3)으로 나타낸다.

초점 거리의 단위로서는, 투영면을 필름이나 CCD로 하고, 그 크기에 대응하는 mm나 인치로 나타내는 경우나, 합성 화상의 사이즈에 대응해서 화소로 나타내는 경우 등이 있는데, 이번은 투영면을 투영 중심을 중심으로 하는 폭 2, 높이 2의 정규화한 것으로 하고, 그것에 대한 초점 거리를 생각한다.

따라서, 투영면 상의 좌표와 합성 화상의 화소의 관계는, 화상의 우측 상단에서(Sv, Tv)의 위치에 있는 화소에 대응하는 투영면 상의 좌표(Uv, Vv)는, 화상의 가로 폭을 Wv 화소, 세로 폭을 Hv 화소로 하면,

Uv = 2 ×Sv/Wv - 1

Vv = 2 ×Tv/Hv - 1 … (4)

로 하여 구한다.

이상에서, 합성 화상의 임의 화소(Sv, Tv)에 대응하는 월드 좌표계의 3차원 좌표(Xw, Yw, Zw)는, 식(1) ~ (4)에 의해, 카메라의 위치(Txv, Tyv, Tzv), 카메라 의 방향(αv, βv, γv), 초점거리(fv)에 의해 다음 식(5)로 구할 수 있다.

다만, 식(5)에서는, 합성 화상의 좌표(Sv, Tv)에 대응하는 안길이(Vze)가 미정이다. 바꿔 말하면, 합성 화상으로 찍은 대상물까지의 각 화소에서의 안길이 값을 정할 필요가 있다.

가상 시점으로부터 보이는 대상물의 3차원 형상을 알 수 있으면, 각 화소의 안길이를 얻을 수 있지만, 일반적으로는 곤란하다. 그래서, 가상 시점에서 보이는 대상물의 형상에 몇 가지의 모델을 가정함으로써, 상기 Vze를 구하고, 합성 화상의 좌표와 월드 좌표계의 3차원 좌표의 관계를 구한다.

-노면 평면 모델-

그 일례로서, 대상물을 차가 접하고 있는 노면 평면에 한정한 경우에 대해서 설명한다.

모든 대상물이 월드 좌표계의 평면(노면)에 존재한다고 가정하면, 월드 좌표계의 3차원 좌표(Xw, Yw, Zw)는, 이하의 평면 방정식을 충족한다.

에 의해, 식(6)을 식(5)에 대입하여, Vze를 구하면,

이 된다.

따라서, 식(7)을 식(5)에 대입함으로써, 가상 시점의 합성 화상의 화소 좌표(Sv, Tv)로부터, 대응하는 월드 좌표계의 평면의 3차원 좌표(Xw, Yw, Zw)를 구할 수 있다.

예를 들면, 카메라1의 위치를 Tx1, Ty1, Tz1, 방향을 α1, β1, γ1로 하면, 합성 화상의 화소(Sv, Tv)에 대응하는 카메라1의 카메라 좌표계 Xe1, Ye1, Ze1이, 이하의 식(8)로부터 계산될 수 있다.

이 카메라 좌표계와 카메라 화상의 좌표계(U1, V1)의 관계는, 카메라1의 초점 거리를 f1로 하여, 식(3)으로부터

U1 = f1/Ze1×Xe1

V1 = f1/Ze1×Ye1 …(9)

로 하여 계산할 수 있다. 대응하는 카메라 화상의 화소는, 카메라 화상의 사이즈를 가로 H1 화소, 세로 W1 화소로 하고, 애스펙트비 1:1, 카메라 중심을 화상의 중심으로 생각하면, 다음의 식(10)으로 계산할 수 있다.

S1 = W1/2 × (Uv + 1)

T1 = H1/2 × (Vv + 1) …(10)

이상의 수순에 의해, 가상 시점 화상의 화소(Sv, Tv)에 대응하는 카메라1의 화상의 화소(S1, T1)를 구할 수 있다. 마찬가지로 카메라1 이외의 일반 카메라(n)에 대해서도 (Sv, Tv)에 대응하는 화소 좌표(Sn, Tn)를 계산할 수 있다. 실제로 파라미터 테이블에는, 그 가운데에서, (Sn, Tn)이 실제의 카메라 화상의 범위 내로 찍혀지는가, 화소의 확대, 축소율이 크지 않은가 등의 여러 조건에 의해, 그 최적의 것을 하나 또는 복수 선택하여, 카메라 번호(n)와 그 좌표(Sn, Tn)를 기입한다.

-원통 모델-

상기 노면 평면 모델에서는, 카메라 화상으로 수평선으로부터 위로 찍혀있는 물체는 노면 평면을 무한대로 늘려도 노면 평면 상에서는 기재되지 않기 때문에, 가상 시점으로부터 볼 수 없다.

이 물체들을 가상 시점에서의 합성 화상에 반영하기 위해서, 대상의 3차원 형상으로서 도 25에 도시하는 바와 같은 원통 모델을 생각할 수 있다. 이 모델은, 가상 시점의 방향이 노면에 대해 평행에 가까운 경우 등에 효과적이다.

지금 간단히 하기 위해, X축, Z축에 축을 가진 원통 모델을 생각하면, 타원 원통의 중심을 (Xc, Zc)로 하고, 타원의 파라미터(a, c)를 이용해, 그 모델을 다음의 식(11)로 나타낸다. 또한, X축, Z축 이외에 축을 가진 모델에도, XZ 평면 상에서의 회전을 생각함으로써, 쉽게 확장할 수 있다.

식(11)을 이용해 식(5)에서 Vze를 소거함으로써, 가상 시점의 합성 화상의 좌표(Sv, Tv)에 대응하는 월드 좌표계의 3차원 좌표(Xw, Yw, Zw)를 구할 수 있다. 이 좌표로부터, 상기 노면 평면 모델과 마찬가지로, 각 카메라 화상의 대응하는 화소를 계산함으로써, 가상 시점 화상의 화소(Sv, Tv)와, 카메라 화상의 화소(Sn, Tn)의 관계를 구하고, 맵핑 테이블을 작성한다.

또한, 노면 평면 모델과 원통 모델의 조합도 가능하다. 우선 노면 평면 모델에 의한 월드 좌표계의 3차원 좌표를 구하고, 그 3차원 좌표가, 원통 모델의 외측, 혹은 평면과의 교점을 가지지 않아 각이 생기지 않는 경우는, 다음에 원통 모델에 의해 3차원 좌표를 구한다. 이것에 의해 노면 평면 모델과 원통 모델의 복합에 의해 합성이 가능해진다.

-의사 원통 모델-

노면 평면 모델의 주변의 먼 곳의 상황을 파악하기 쉽게 하기 위해, 주의를 사발 모양의 의사 원통 모델을 도입한다. 모델의 형상을 도 26에 나타낸다. 가상 시점 화상의 주변이 될 정도로 먼 곳의 부분이 압축되고 합성되어, 보다 넓은 범위 가 표시 가능해진다. 이 의사 원통의 형상을 식(12)로 나타낸다.

사발 모양의 중심이 (Xc, Yc, Zc), X축, Y축, Z축 방향의 (a, b, c)의 길이를 가진다. 상기 원통 모델과 마찬가지로, 식(12) 및 식(5)에서, 가상 시점으로부터의 합성 화상의 좌표에 대응하는 월드 좌표계의 3차원 좌표(Xw, Yw, Zw)를 계산하여, 합성 화상의 각 화소와 각 카메라 화상의 화소의 대응 관계를 구할 수 있다.

또한, 원통 모델과 마찬가지로, 노면 평면 모델과의 조합에 의한 복합 모델에 의한 합성도 가능하다.

이상과 같이 본 발명에 의하면, 부분 화상끼리의 경계 근방에 존재하는 물체의 화상이 그 경계를 따라 변형되기 때문에, 합성 화상 상에서 소실되는 일이 없다. 따라서, 차 주위의 정보를 보다 정확하게 운전자에게 전달하여, 보다 안전한 운전을 지원할 수 있게 된다.

Claims

차량 주위 감시 장치에 있어서,

차량(1)의 주위를 촬영하는, 적어도 제1 카메라(CA1; CA3; CB1; CC1; CD1; CD3; CE1; CE3; CF1; CF3) 및 제2 카메라(CA2; CA4; CB2; CC2; CD2; CD4; CE2; CE4; CF2; CF4)를 포함하는 복수의 카메라(CA1~CA4; CB1~CB2; CC1~CC2; CD1~CD4; CE1~CE4; CF1~CF4)와,

상기 복수의 카메라(CA1~CA4; CB1~CB2; CC1~CC2; CD1~CD4; CE1~CE4; CF1~CF4)의 촬영 화상을 입력으로 하고, 이들 카메라 화상으로부터 얻은 부분 화상(PIA1~PIA4; PIB1~PIB2; PIC1~PIC2; PID1~PID4; PIE1~PIE4; PIF1~PIF4)을 합성하여, 이 합성 화상을 표시 장치(30)에 표시시키는 화상 처리부(20)를 구비하고,

상기 합성 화상은, 상기 제1 카메라(CA1; CA3; CB1; CC1; CD1; CD3; CE1; CE3; CF1; CF3)에 관련된 제1 부분 화상(PIA1; PIA3; PIB1; PIC1; PID1; PID3; PIE1; PIE3; PIF1; PIF3)과 상기 제2 카메라(CA2; CA4; CB2; CC2; CD2; CD4; CE2; CE4; CF2; CF4)에 관련되는 제2 부분 화상(PIA2; PIA4; PIB2; PIC2; PID2; PID4; PIE2; PIE4; PIF2; PIF4)이 인접하도록 배치된 것이고,

상기 제1 카메라(CA1; CA3; CB1; CC1; CD1; CD3; CE1; CE3; CF1; CF3) 및 제2 카메라(CA2; CA4; CB2; CC2; CD2; CD4; CE2; CE4; CF2; CF4)는,

상기 제1 부분 화상(PIA1; PIA3; PIB1; PIC1; PID1; PID3; PIE1; PIE3; PIF1; PIF3)과 상기 제2 부분 화상(PIA2; PIA4; PIB2; PIC2; PID2; PID4; PIE2; PIE4; PIF2; PIF4)의 경계(BLA12; BLA34; BLB12; BLC12; BLD12; BLD34; BLE12; BLE34; BLF12; BLF34) 근방에서, 상기 제1 카메라(CA1; CA3; CB1; CC1; CD1; CD3; CE1; CE3; CF1; CF3) 및 제2 카메라(CA2; CA4; CB2; CC2; CD2; CD4; CE2; CE4; CF2; CF4)의 촬영 방향과 상기 경계(BLA12; BLA34; BLB12; BLC12; BLD12; BLD34; BLE12; BLE34; BLF12; BLF34)의 방향이 이루는 각도가, 각각 10도 이하가 되도록, 설치되어 있는 것을 특징으로 하는 차량 주위 감시 장치.
삭제
제1항에 있어서,

상기 합성 화상은, 상기 제1 부분 화상(PIA1; PIA3; PIB1; PIC1; PID1; PID3; PIE1; PIE3; PIF1; PIF3)과 제2 부분 화상(PIA2; PIA4; PIB2; PIC2; PID2; PID4; PIE2; PIE4; PIF2; PIF4)의 경계(BLA12; BLA34; BLB12; BLC12; BLD12; BLD34; BLE12; BLE34; BLF12; BLF34)에서, 상기 제1 부분 화상(PIA1; PIA3; PIB1; PIC1; PID1; PID3; PIE1; PIE3; PIF1; PIF3) 및 제2 부분 화상(PIA2; PIA4; PIB2; PIC2; PID2; PID4; PIE2; PIE4; PIF2; PIF4)을 혼합한 블렌드 화상이 배치된 것임을 특징으로 하는 차량 주위 감시 장치.
제1항에 있어서,

상기 제1 카메라(CA1; CB1)는, 해당 차량(1)의 앞의 좌 또는 우단부에, 우 또는 좌사선 전방을 향해 배치되어 있고,

상기 제2 카메라(CA2; CB2)는, 해당 차량(1)의 좌 또는 우측부에, 좌 또는 우사선 전방을 향해 배치되어 있는 것을 특징으로 하는 차량 주위 감시 장치.
제4항에 있어서,

상기 복수의 카메라(CA1~CA4)는,

해당 차량(1)의 좌 또는 우측부에, 좌 또는 우사선 후방을 향해 배치되어 있는 제3 카메라(CA3)와,

해당 차량(1)의 뒤쪽의 좌 또는 우단부에, 우 또는 좌사선 후방을 향해 배치되어 있는 제4 카메라(CA4)를 포함하는 것을 특징으로 하는 차량 주위 감시 장치.
제1항에 있어서,

상기 제1 카메라(CC1; CF1)는, 해당 차량(1)의 앞의 우 또는 좌단부에, 좌 또는 우사선 전방을 향해 배치되어 있고,

상기 제2 카메라(CC2; CF2)는, 해당 차량(1)의 앞의 좌 또는 우단부에, 좌 또는 우사선 후방을 향해 배치되어 있는 것을 특징으로 하는 차량 주위 감시 장치.
제6항에 있어서,

상기 복수의 카메라(CF1~CF4)는,

해당 차량(1)의 뒤쪽의 좌 또는 우단부에, 우 또는 좌사선 후방을 향해 배치되어 있는 제3 카메라(CF3)와,

해당 차량(1)의 뒤쪽의 우 또는 좌단부에, 우 또는 좌사선 전방을 향해 배치되어 있는 제4 카메라(CF4)를 포함하는 것을 특징으로 하는 차량 주위 감시 장치.
차량(1) 주위를 촬영하는 복수의 카메라(CA1~CA4; CB1~CB2; CC1~CC2; CD1~CD4; CE1~CE4; CF1~CF4)와, 상기 복수의 카메라(CA1~CA4; CB1~CB2; CC1~CC2; CD1~CD4; CE1~CE4; CF1~CF4)의 촬영 화상으로부터 얻은 부분 화상(PIA1~PIA4; PIB1~PIB2; PIC1~PIC2; PID1~PID4; PIE1~PIE4; PIF1~PIF4)을 합성하여, 이 합성 화상을 표시 장치(30)에 표시시키는 화상 처리부(20)를 구비한 차량 주위 감시 장치를 조정하는 방법에 있어서,

상기 복수의 카메라(CA1~CA4; CB1~CB2; CC1~CC2; CD1~CD4; CE1~CE4; CF1~CF4) 중, 상기 합성 화상에서 인접해 배치되는 부분 화상을 각각 촬영하는 제1 카메라(CA1; CA3; CB1; CC1; CD1; CD3; CE1; CE3; CF1; CF3) 및 제2 카메라(CA2; CA4; CB2; CC2; CD2; CD4; CE2; CE4; CF2; CF4)를, 그 촬영 영역이 오버랩하도록 배치하고,

상기 제1 카메라(CA1; CA3; CB1; CC1; CD1; CD3; CE1; CE3; CF1; CF3)에 관련된 부분 화상(PIA1; PIA3; PIB1; PIC1; PID1; PID3; PIE1; PIE3; PIF1; PIF3)과 상기 제2 카메라(CA2; CA4; CB2; CC2; CD2; CD4; CE2; CE4; CF2; CF4)에 관련된 부분 화상(PIA2; PIA4; PIB2; PIC2; PID2; PID4; PIE2; PIE4; PIF2; PIF4)의 경계(BLA12; BLA34; BLB12; BLC12; BLD12; BLD34; BLE12; BLE34; BLF12; BLF34) 근방에서, 상기 제1 카메라(CA1; CA3; CB1; CC1; CD1; CD3; CE1; CE3; CF1; CF3) 및 제2 카메라(CA2; CA4; CB2; CC2; CD2; CD4; CE2; CE4; CF2; CF4)의 촬영 방향과 상기 경계(BLA12; BLA34; BLB12; BLC12; BLD12; BLD34; BLE12; BLE34; BLF12; BLF34)의 방향이 이루는 각도가, 각각 10도 이하가 되도록, 상기 제1 카메라(CA1; CA3; CB1; CC1; CD1; CD3; CE1; CE3; CF1; CF3) 및 제2 카메라(CA2; CA4; CB2; CC2; CD2; CD4; CE2; CE4; CF2; CF4)의 배치 위치에 따라 상기 화상 처리부(20)에 의해 합성 화상에서의 부분 화상끼리의 경계(BLA12; BLA34; BLB12; BLC12; BLD12; BLD34; BLE12; BLE34; BLF12; BLF34)를 조정하거나, 합성 화상에서의 부분 화상끼리의 경계(BLA12; BLA34; BLB12; BLC12; BLD12; BLD34; BLE12; BLE34; BLF12; BLF34)에 따라 상기 제1 카메라(CA1; CA3; CB1; CC1; CD1; CD3; CE1; CE3; CF1; CF3) 및 제2 카메라(CA2; CA4; CB2; CC2; CD2; CD4; CE2; CE4; CF2; CF4)의 배치 위치를 조정하는 것을 특징으로 하는 차량 주위 감시 장치의 조정 방법.