KR101491170B1 - 차량 주위 화상 표시 시스템 - Google Patents

Abstract

종래의 부감 합성 화상의 표시상의 위화감(장애물 등의 장애물이 노면에 넘어져 있는 것처럼 보이는, 등)을 염가의 방법으로 해소할 수 있는 차량 주위 화상 표시 시스템을 제공한다.

차량 주위를 촬상하기 위한 카메라와, 자차량 주위의 장애물을 검출하는 장애물 검출 수단과, 장애물에 대응하는 대체 화상을 미리 격납해 두는 메모리부와, 카메라가 취득한 화상을 기초로 자차량 주위의 가상 시점으로부터의 부감 화상을 생성하는 화상 처리부로 이루어지고, 장애물 검출 수단이 장애물을 검출한 경우에, 화상 처리부는 장애물을 고정하고, 고정된 장애물에 대응하는 대체 화상을 선택하여 메모리부로부터 읽어내고, 선택한 대체 화상의 방향과 기울기를 가상 시점에 맞추어 변경하여, 부감 화상에 중첩한다.

부감 합성 화상, 화상 표시 시스템, 장애물 검출, 화상 처리, 대체 화상

Description

차량 주위 화상 표시 시스템{Vehicle surrounding view display system}

본 발명은 자동차 등의 차량의 주위 화상을 표시하는 기술과 관한 것으로서, 특히, 차량 주위를 촬영하는 복수의 카메라로부터 얻은 화상을 기초로, 차량 및 그 주변의 부감 화상을 합성하여 표시할 때에, 부감 화상상에 표시되는 입체물(운전상 장해가 되는 물체, 또는 위해(危害)를 줄 우려가 있는 인체 등의 입체물이며, 이하, 장애물이라고 한다)을 위화감 없게 표시하는 기술에 관한 것이다.

차량 주위에 부착한 복수의 카메라 화상과 차량의 대체 화상을 합성하여, 차량 상공의 가상 시점에서 차량을 부감한 화상을 운전자에게 제공하는 시스템으로서는, 예를 들면 닛산 자동차 주식회사의 「어라운드 뷰·모니터(Around＿View＿Monitor)」가 있다.

그러나, 이런 종류의 종래 기술에 의한 경우, 부감 화상상에서는 장애물 등의 장애물이 노면에 넘어져 있는 것처럼 보인다고 하는 문제가 있다. 또한, 장애물, 즉, 원리적으로 높이가 있는 물체는 카메라의 촬상 범위보다 위쪽 부분이 표시 불가능하게 된다는 문제가 있다. 더욱이, 높이가 있는 물체는 카메라 설치 위치와 물체의 노면상의 위치를 묶은 직선 형상으로 차량측에서 외측을 향하여 뻗어나가는 것처럼 보인다고 하는, 위화감이 있는 표시 상태가 된다.

특허 문헌 1에는 장애물에 대해서 카메라가 촬상 불가능한 영역(카메라 방향에서 보아 장애물의 뒤편)에 대하여, 장애물이 검출되었을 때, 검출된 장애물의 차량측의 가장자리의 위치를 이용하여, 화상 결핍 영역을 특정하고, 대체 화상으로 메우는 기술이 기재되어 있다. 그러나, 이 기술은 톱 뷰(top view) 표시상에서의 발명이며, 차량 주위, 예를 들면 후면이나 측면으로부터 부감하는 화상에 대한 표시 개선의 기술(記述)이 없다. 또한, 장애물의 대체 화상에 동적 표현이 포함되지 않기 때문에, 인간 등의 장애물의 동작에 대하여 주의 환기성이 낮다.

특허 문헌 2에는, 장애물이 검출된 경우, 검출된 장애물의 종류(사람, 자전거, 차량, 등)에 따라 모식적인 그림 표시(정적인 대체 화상)가 검출된 위치에 표시하는 기술이 기재되어 있다.

그러나, 이러한 장애물의 표시는 동작의 유무나 자세의 방향을 수반하는 것은 아니고, 여전히 위화감이 심하다.

또한, 특허 문헌 3에는 검출한 장애물(사람)이 표시하는 화상의 범위외에 있는 경우에, 그 이동 상황을 톱 뷰상에서의 대체 화상으로 도시하는 기술이 기재되어 있지만, 대체 화상은 바로 위로부터의 것에 고정되어 있다. 또한, 장애물이 표시하는 화면의 범위내에 있는 경우는, 그대로 표시하는 것이며, 어느 쪽이든 상기 위화감은 해소되지 않는다.

(선행 기술 문헌)

(특허 문헌)

(특허 문헌 1) 일본국 공개 특허 2003－189293호 공보

(특허 문헌 2) 일본국 공개 특허 평 7－223488호 공보

(특허 문헌 3) 일본국 공개 특허 2007－295043호 공보

(비특허 문헌)

(비특허 문헌 1) 「모션 스테레오법에 따른 단안 측거 원리」, SEI＿Technical＿Review 2006년 7월 제 169호.

이러한 여러 문제를 해결하기 위하여 이루어진 본 발명의 목적은, 종래의 부감 합성 화상이 안고 있는 표시상의 위화감(장애물이 노면에 넘어져 있는 것처럼 보이는 등)을 염가의 방법으로 해소하고, 운전자가 직감적 또한 신속하게 차량 주위의 장애물을 발견할 수 있도록 하여, 차량 주위의 안전 확인을 보조하는 것에 있다.

상기 목적을 달성하기 위해서, 청구항 1에 기재된 발명에 의한 차량 주위 화상 표시 시스템은, 차량 주위를 촬상하기 위한 카메라와, 자차량 주위의 장애물을 검출하는 장애물 검출 수단과, 상기 장애물에 대응하는 대체 화상을 미리 격납해 두는 메모리부와, 상기 카메라가 취득한 화상을 기초로 자차량 주위의 가상 시점으로부터의 부감 화상을 생성하는 화상 처리부로 이루어지고, 상기 장애물 검출 수단이 상기 장애물을 검출한 경우에, 상기 화상 처리부는 상기 장애물을 고정하고, 상기 고정된 장애물에 대응하는 대체 화상을 선택하여 상기 메모리부로부터 읽어내고, 상기 선택한 대체 화상의 방향과 기울기를 상기 가상 시점에 맞추어 변경하고, 상기 부감 화상에 중첩하는 것을 특징으로 한다.

청구항 2에 의하면, 상기 화상 처리부는 상기 고정된 장애물의 사이즈를 측정하고, 동작의 유무를 검출하고, 측정된 사이즈에 상당하는 동화상 또는 정지화면 상의 대체 화상을 선택한다.

또한 청구항 3에 의하면, 상기 메모리부는 동종의 장애물에 대해서 크기가 다른 복수의 정지 대체 화상 및 동영상 대체 화상의 쌍방 또는 한쪽을 격납한다.

또한 청구항 4에 의하면, 상기 화상 처리부는 상기 대체 화상을 중첩하는 과정에 있어서, 상기 대체 화상의 중첩에 앞서, 상기 장애물 화상을 제거하고, 상기 장애물 화상의 주위의 화소 정보를 이용하여 보완 처리를 한다.

또한 청구항 5에 의하면, 상기 화상 처리부는 게다가 상기 대체 화상을 중첩한 후에, 상기 중첩한 대체 화상의 주위에 「바림(gradation)」효과용 화상을 삽입한다, 또는, 미리 상기 「바림」효과용 화상과 일조가 되어 있는 상기 대체 화상을 상기 메모리부로부터 읽어내어 중첩한다.

또한 청구항 6에 의하면, 상기 화상 처리부는 장애물 검출 수단이 검출한 장애물의 크기가, 어느 일정한 값보다 큰 경우는 대체 화상을 중첩하지 않는다.

또한 청구항 7에 의하면, 상기 화상 처리부는 자차량 중심부로부터 상기 장애물의 노면상의 위치를 묶는 직선상에 상기 대체 화상을 중첩한다.

또한 청구항 8에 의하면, 상기 메모리부는 동종의 상기 장애물에 대해서 자차량으로부터의 거리에 따른 복수개의 모델을 구비하고, 상기 모델은 상기 장애물이 상기 카메라의 촬상 범위에 부분적으로 들어가 있는 경우에 대한 모델을 포함하고, 상기 화상 처리부는 검출된 장애물의 화상을 상기 모델과 비교하여 상기 장애물을 고정하고, 상기 장애물의 전체 대체 화상을 선택한다.

본 발명에 의하면, 화상 처리부가 촬상 수단으로 촬상된 화상을 차량 상부 또는 차량 측면으로부터의 부감 화상으로 변환하고, 장애물 검출 수단으로부터의 정보를 기초로, 차량 주위의 입체 장애물의 크기, 동작에 알맞은 대체 화상을 메모리부로부터 선정하여, 동 부감 화상상에 덧쓰기 표시하므로, 차량 주위의 입체 장애물이 위화감 없이 표현되고, 운전자는 차량 주위의 장애물을 용이하게 발견할 수 있다.

이하, 본 발명의 실시의 형태를 첨부한 도표에 근거하여 설명한다.

도 1에 도시하는 바와 같이, 차량 주위 화상 표시 시스템은 차량 주위를 촬상하는 카메라(11, 촬상 수단)와, 차량 주위의 장애물을 검출하는 장애물 검출 수단(12)과, 대체 화상의 데이터를 격납하는 메모리부(13)와, 카메라로 촬상된 화상을 부감 화상으로 변환하여, 부감 화상상의 장애물(입체물)을 대체 화상으로 치환한 화상을 생성하는 화상 처리부(16)와, 화상 처리부(16)에서 생성된 화상을 표시하는 모니터(15, 표시부)를 구비한다.

메모리부(13)와 화상 처리부(16)는 통상, ECU(14, 전자 처리 장치)에 포함된다.

장애물 검출 수단(12)은 도 1(A)에 도시하는 바와 같이, 레이져, 소나(Sonar), 레이더의 어느 하나로 이루어지는 경우도 있고, 도 1(B)에 도시하는 바 와 같이, 촬상 수단(11)과 화상 처리부(16)에 포함되고, 촬상 수단으로 촬상된 화상을 화상 처리부에서 분석하여 장애물을 검출하는 경우도 있다.

카메라(11)는 통상, 차량의 전후좌우의 측부에 구비한 미러에 장착된다. 또한, 모니터(15)는 차량내에 독립적으로 구비하여도 좋지만, 내비게이션용의 모니터와 겸용하여, 저속 주행시 또는 정지시에 자동적으로 부감 화상용으로 바꾸어도 된다.

도 2(A), (B)에 도시하는 바와 같이, 자차량(20) 주위의 부감 화상을 생성할 때의 가상 시점으로서는, 자차량 위쪽, 자차량 옆쪽, 자차량 앞쪽, 자차량 뒤쪽의 가상 시점(21, 22, 23, 24)을 설정하고, 각각, 톱 뷰, 사이드 뷰, 프런트 뷰, 백 뷰 시점으로 하는 것을 생각할 수 있다.

실제로 예를 들면, 사이드 뷰 시점 및 톱 뷰 시점에 상당하는 위치로부터 자차량(20)과 그 측부에 서는 장애물(25)을 보았을 경우의 화상은 장애물의 높이가 낮은 경우는, 각각의 경우의 노면 화상(55, 50)에 대해서 도 3(A), (B)와 같아야 한다.

또한, 장애물의 높이가 높은 경우는, 각각의 경우의 노면 화상(55, 50)에 대해서 도 3(C), (B)와 같아야 한다.

그러나, 예를 들면 사이드 도어 미러에 장착된 카메라(11)에서 촬상된 화상을 화상 처리하고, 사이드 뷰 시점으로부터 본 부감 화상을 생성한 경우, 장애물의 높이가 낮은 경우에도, 후면을 보이고 서 있어야 할 장애물(25)이 통상은 도 4(D)에 도시하는 출력 화상과 같이, 전면을 보이고 물구나무 서기 하고 있거나, 혹은 「완전히 넘어져」 보이는, 즉, 장애물(28)이 위로 향해 누워 있는 것처럼 보인다는 위화감이 있다.

(이하, 장애물(25)의 전면, 후면은 각각, 장애물이 자차량(20)(즉, 사이드 도어 미러에 장착된 카메라(11))에 보이고 있는 면과 그 역의 면이다.)

더욱이 도 5와 같이, 장애물(25)의 높이가 높은 경우는, 장애물의 상부가 카메라의 시야에 들어가지 않기 때문에, 후면을 보이고 서 있어야 할 장애물(25)이 통상은 도 5(D)에 도시하는 출력 화상과 같이 전면을 보이고 물구나무 서기 하고 있거나, 혹은 「완전히 넘어져」보이는, 즉, 위로 향해 누워 있는 것처럼 보일 뿐만 아니라, 하부 밖에 표시되지 않는 상태의 장애물(28)이 되는 현상을 일으켜 운전자의 판단을 틀리게 하는 위화감이 있다.

상기 현상의 발생 원인을 장애물의 높이가 낮은 경우에 대해, 도 4(A)~(D)에 도시하는 부감 화상 생성의 흐름을 기초로 설명한다.

(A)는, 사이드 도어 미러에 설치한 카메라에 의해 촬상된 입력 화상이다.

(B)는, 이 「카메라측에서 본 화상」을 「사이드 뷰 시점으로부터 본 화상」으로 하기 때문에, 180도 회전하고, 「화상의 위쪽을 차량측, 아래쪽을 사이드 뷰 시점측」으로 한다. 여기서, 장애물(26)은, 그 상하가 반전한다.

(C)는, 다음에, 회전한 화상(B)의 원근감을 자연스럽게 하기 위하여, 투영 변환에 의해, 차량측(화상 위쪽)을 좁게 축소하고, 앞의 차량 외측(아래쪽)을 잡아늘인다. 이 시점에서, 장애물(27)이 크게 변형하여 버려, 위화감이 한층 더 늘어난다.

(D)는, 투영 변환한 화상(C)과 자차량의 대체 화상을 합성하여, 사이드 뷰 시점의 화상을 완성하지만, 장애물(28)은 그 상하가 반전하여(또는, 「위로 향해 완전히 넘어져」보인다), 형상이 크게 변형하여, 위화감이 심하고, 오히려 운전자의 오판단을 초래하는 경우가 있다.

상기의 현상의 발생 원인은 장애물의 높이가 높은 경우에 대해서도, 도 5(A)~(D)에 도시하는 부감 화상 생성의 흐름을 쫓는다면, 상기와 마찬가지로 이해된다. 다만, 이 경우는, 장애물(25)은 그 하부만이 촬상되고 상부는 촬상할 수 없기 때문에, 출력 부감 화상인 도 5(D)에서는, 상하가 반전되어 변형된 장애물의 하부(28)가 나타난다.

마찬가지의 문제는, 차량의 전후좌우 측부에 구비한 4개의 카메라에 의한 화상을 이용하여 톱 뷰 시점으로부터 본 부감 화상을 생성한 경우에도 발생한다.

도 6에, 이 경우의 부감 화상의 통상의 생성 순서를 도시한다.

잘 알려져 있는 바와 같이, 4개의 카메라로 잡은 원화 화상은 각각 기하 변환되어 카메라가 설치된 차량의 각 변에 따른 직사각형 화상이 되고, 각각 사다리꼴의 마스크에 의해 필요한 화상 정보를 잘라내고, 마지막에 차량의 대체 화상의 4둘레에 각각 사다리꼴 화상을 서로 붙여, 사다리꼴의 중첩 부분의 스무딩(smoothing)이 행하여져, 톱 뷰 시점의 부감 화상이 생성된다.

이 경우, 상기와 같은 180도 회전 처리는 불필요하므로, 장애물(25)의 전후 및 상하 반전은 생기지 않지만, 「위로 향해 완전히 넘어져」보이는 변형 현상이 마찬가지로 발생하고, 운전자가 느끼는 위화감이 심하다.

다음에, 상기의 장애물이 위로 향해 넘어져 보이는 변형 상태를 해결하는 본 발명에 의한 순서를, 화상 처리의 흐름을 설명하는 도 7과, 도 7에 대응하는 플로차트인 도 8을 이용하여, 단계 S1~단계 S12의 순서로 차례차례 설명한다.

[단계 1~2의 설명]

도 7과 도 8을 참조하면, 단계 S1에서, 예를 들면 사이드 도어 미러에 장착된 카메라(11)가 자차량 외부의 화상을 취득한다.

그리고, 단계 S2에서, 장애물 검출 수단(12)이 자차량 주위의 장애물의 유무를 검출한다. 도 7의 단계 S2에 있어서, 상단·하단의 도면은 각각, 장애물(25)의 유·무에 대응한다.

장애물 검출 수단(12)이 상기 도 1(B)에 도시하는 바와 같이, 촬상 수단(11)과 화상 처리부(16)로 구성되어 있는 경우는, 장애물 검출 수단(12)은 취득한 카메라 화상을 분석하여, 장애물(25)을 검출한다.

또한, 장애물 검출 수단(12)이 상기 도 1(A)에 도시하는 바와 같이, 별도 구비되어 있는 경우(예를 들면, 레이더인 경우)는, 이것에 의해 장애물(25)을 검출한다.

단계 S2에서 장애물이 검출되지 않은 경우는, 후술하는 단계 S10으로 직행한다.

[단계 3~7의 설명]

다음에, 단계 S3에서 장애물의 사이즈를 측정하고, 단계 S4에서 장애물의 동작 유무를 검출한다. 예를 들면, 장애물 검출 수단(12)이 레이더인 경우는, 장애 물을 레이더로 주사하는 것으로서, 장애물의 사이즈 측정 및 장애물의 동작 유무를 검출한다.

장애물 검출 수단(12)이 상기 도 1(B)에 도시하는 바와 같이, 촬상 수단(11)과 화상 처리부(16)로 구성되어 있는 경우, 예를 들면, 카메라 화상에 대한 모션 스테레오(Motion＿Stereo) 원리의 적용을 생각할 수 있다. 이 원리를 이용하는 것에 의하여, 주위 화상의 촬영과 장애물과의 거리계측과, 장애물의 형상 인식과, 장애물의 동작 판별을 실현될 수 있다.

예를 들면, 비특허 문헌 1에 나타나 있는 바와 같이, 모션 스테레오법은 도 14를 참조하면, 시각 t로 취득한 화상 데이터와 시각 t＋Δt로 취득한 화상 데이터로부터, 장애물과의 거리, 장애물의 형상을 추정하는 것이다.

또한, 이 방법에서는 자차량과 장애물의 양쪽 모두가 정지하고 있는 경우는 장애물을 검출할 수 없지만, 그 경우는 접촉의 위험이 없기 때문에 치명적 문제가 되지 않는다.

여기서 장애물이 움직이는 물체라고 판정된 경우는 단계 S5에서 메모리부(13)에 격납되어 있는 동영상 대체 화상을 검색하고, 단계 S7에서 검색된 것 중에서 측정된 사이즈에 상당하는 대체 화상(35)을 선택한다.

또한, 단계 S4에서 장애물이 움직이지 않는, 장애물(예를 들면, 서 있는 사람)이라고 판정된 경우는, 단계 S6에서 메모리부(13)에 격납되어 있는 정지화면 대체 화상을 검색하고, 단계 S7에서 검색된 것 중에서 측정된 사이즈에 상당하는 대체 화상(35)을 선택한다.

이와 같이 하여, 단계 S7에서 동영상 또는 정지화면의 대체 화상이 결정된다.

게다가 대체 화상(35)의 방향과 기울기는, 본 실시 형태에 있어서의 부감 화상의 시점인 사이드 뷰 시점(횡방향 기울기 위쪽으로부터 자차량을 본)에 맞추어 대체 화상(35)이 각각, 변경된다.

방향은 이 경우, 장애물(예를 들면, 서 있는 사람)의 후면 화상으로 하고, 기울기는 통상 직립(90도)이지만, 장애물이 기둥 등의 경우에 기울어져 있다고 판정된 경우는, 판정된 기울기 각도에 맞춘다.

이러한 「방향과 기울기」는, 그때마다 연산하여도 되고, 메모리부로부터 대응 대체 화상 중에서 최적의 것을 선택하여도 된다.

또한, 카메라 화상을 기초로 장애물의 거리계측, 형상 인식, 동작 판별 등을 계산하는 모션 스테레오 원리에서는, 카메라(11)의 촬상 범위외의 높이가 있는 장애물이 존재하는 경우, 정확하게 장애물의 특징을 파악하지 못하고, 적절한 대체 화상을 메모리부로부터 선택하는 것이 곤란해진다.

구체적으로는 예를 들면, 도 11(A)에 도시하는 바와 같이, 카메라(11)의 시야는 통상, 사이드 도어 미러의 높이로부터 먼 곳에서 노면에 이르는 범위에 있다.

따라서, 상기와 같이, 장애물의 위치가 자차량에 가깝고 장애물의 높이가 사이드 도어 미러보다 높은 경우나, 큰 장애물이 자차량에 접근하고 있는 경우는, 장애물(25)이 카메라의 촬상 범위로부터 초과하여 버리므로, 장애물의 크기를 정확하게 계측할 수 없다.

또한, 표시상의 먼 곳으로부터 차량 부근에 장애물이 접근해 왔을 경우 등, 도중에 대체 화상이 변화하여 버리는 것을 생각할 수 있다.

이러한 경우에 대처하기 위하여 본 발명에 의한 차량 주위 화상 표시 시스템에서는, 장애물(25, 사람)의 높이의 대소(어른과 소인), 및 그 자차량과의 거리에 따라 동종의 장애물에 대해서 도 11(B)에 도시하는 바와 같이, 장애물을 부분적으로 나타내는 경우를 포함한 여러 종류의 모델을 준비해 둔다.

취득한 장애물의 화상을 몇 개의 모델로 분류하여 고정하는 것에 의해, 카메라 촬상 범위 외의 부분이 있는 장애물에 대해서도, 카메라 촬상 범위 외의 부분을 포함한 장애물 전체의 적절한 대체 화상(35)을 할당하는 것이 가능해진다.

보다 구체적으로는, 도 11(A)에 도시하는 바와 같이, 어른의 장애물(25)의 경우, 자차량과의 거리에 따라 4 단계의 모델(1. 목 아래, 2. 가슴 아래, 3. 허리 아래, 4. 무릎 아래)을 촬상 형상 인식 모델로서 준비해 두고, 도 11(B)에 도시하는 바와 같이, 촬상 범위 외의 부분을 보완하여 어른의 전체에 대한 대체 화상을 제공한다.

소인에 대해서도, 유사한 순서를 채택한다.

또한, 장애물 검출 수단이 검출한 장애물이 차량이나, 벽 등, 소정의 크기, 예를 들면, 자차량의 전후좌우의 어느 하나의 촬상 범위의 50%이상을 차지하고 있다고 판단한 경우는, 이하의 화상 처리를 실시하지 않고, 현상의 표시 상태를 유지한다.

［단계 8~9의 설명］

한편, 단계 S8에서는, 상기 단계(1)에서 카메라(11)에 의해 취득한, 장애물(25)과 노면 화상(51)을 포함한 화상으로부터, 상기 단계 S2에서 검출한 장애물(25)(이라고 판정된 화상)의 화소를 일단 제거하여 노면 화상(52)을 얻는다.

다음에 단계 S9에서는 노면 화상(52)의 위화감을 없애기 위하여, 주변의 노면 부분의 화소의 색정보를 기초로 보완 재생하여 덧쓰기하여 노면 화상(53)을 작성한다.

이 보완 재생에는 최인접(Nearest＿Neighbor) 화소법 등의 화소 보완 기술을 적용한다.

또한, 노면상에 그려진 분리선 등의 교통 표지는 그것이 장애물이라고 인식되지 않도록 판정되고, 노면 화상의 일부를 형성하는 것으로 한다.

또한 본 발명에 의하면, 상기 단계 7에 있어서, 대체 화상(35) 자체에 상기 화소 보완에 가까운 「바림」효과를 가지는 화상을 부가하여, 노면 화상의 위화감을 저감할 수 있다.

이 「바림」효과용 화상은, 단계 7에 있어서, 그때마다 부가하여도 되지만, 대체 화상마다 대응하는 「바림」효과용 화상을 미리 부가하여 일조(一組)가 되어 있는 형태로, 메모리부에 보존해 두어도 된다.

예를 들면 도 13을 참조하면, 대체 화상(35)에 「바림」효과용 화상(45)을 부가하여 대체 화상으로 할 수 있다.

「바림」효과용 화상(45)은 원, 타원 등의 매끄러운 폐곡선으로 이루어지는 단순한 윤곽과 그레이 스케일의 단색의 색채를 가지고, 원래의 장애물 화상에 유래 하는 변형된 장애물 화상을 눈에 띄지 않게 피복한다.

이 경우, 상기의 단계 S8(장애물의 화소 제거)과, 단계 S9(노면 화소의 보간 재생)라고 하는 단계를 생략할 수 있고, 상기의 노면 화상의 위화감을 염가로 경감할 수 있다.

또한, 상기 단계 S9를 생략하고 S8만을 실행하여도 되고, 단계 S8과 S9의 쌍방을 생략하지 않고 실행하여도 된다.

［단계 10~단계 12의 설명］

다음에, 단계 S10에서는 부감 처리를 한다. 즉, 자차량(20)이 화면의 상부에 위치하도록 노면 화상(53)을 180도 반전하여 노면 화상(54)으로 하고, 다음에 반전한 노면 화상(54)에 대하여, 앞측이 가깝고, 차량측이 멀리 위치하도록 자연스러운 원근감을 갖게 하도록 투영 변환하고, 노면 화상(55)을 작성한다.

단계 S8에 있어서 장애물(25)의 화상을 제거한 후에도 단계 S9~S10을 통해서, 장애물의 노면상의 위치(26a, 27a, 28a)는 보존된다.

다음에, 단계 S11에서는 화상 중첩 처리를 행한다. 즉, 가상 시점으로부터 본 자차량(20)의 대체 화상과, 상기 단계 S10에서 생성된 노면 화상(55)을 합성한다.

또한, 단계 2에서 장애물(25)을 검출하고 있었던 경우는, 상기와 같이 자차량(20)의 대체 화상(이것도 「20」으로 나타낸다)과 노면 화상(55)을 합성한 후의 화상에 대해서, 상기 단계 S7에서 결정된 장애물(25)의 대체 화상(35)을 한층 더 중첩하는 것에 의해, 자차량 및 장애물을 가상 시점으로부터 본 부감 화상을 완성 하고, 단계 12에서 모니터(15)에 대해서 표시 출력시킨다.

그때, 장애물의 대체 화상(35)은 노면 화상(55)상의 노면상의 위치(28a)에 맞추어 덧쓰기 합성된다.

이상, 본 발명에 의한 차량 주위 화상 표시 시스템의 특징과 이점을 사이드 도어 미러 카메라에 의한 화상을 이용한 상기 도 2에 있어서의 자차량 옆쪽의 가상 시점(22, 사이드 뷰 시점)으로부터의 부감 화상 형성의 경우에 대해, 상기 도 7과 도 8의 순서에 따라 설명하였다.

본 발명에 의한 도 7과 도 8의 순서는, 도 2에 있어서의 자차량 전방의 가상 시점(23, 프런트 뷰 시점), 자차량 후방의 가상 시점(24, 백 뷰 시점)으로부터의 부감 화상 형성에 대해서도 완전히 마찬가지로 적용할 수 있다.

［톱 뷰 시점으로부터의 부감 화상］

다음에, 도 2에 있어서의 차량 중심부 위쪽의 가상 시점(21, 톱 뷰 시점)으로부터의 부감 화상의 경우는, 상기 도 6에 도시한 바와 같이, 차량의 전후좌우 측부에 구비한 4개의 카메라에 의한 화상을 이용하여 각각의 카메라 화상에 대해서, 역시 상기 도 7과 도 8의 순서를 적용할 수 있다.

다만, 이 경우는, 단계 S9에 있어서, 180도 반전 처리는 불필요하고, 노면 화상(53)은 즉시 투영 변환하여 노면 화상(55)으로 한다.

이 톱 뷰 시점(21)으로부터의 부감 화상의 경우, 장애물의 대체 화상(35)으로서 바로 위로부터의 화상을 채택하면, 장애물이, 예를 들면, 사람인가 기둥 형상물인가, 판단하기 어려워진다.

그래서 도 10(A)를 참조하면, 원래의 카메라 화상상의 장애물(25)의 화상으로 되돌아와, 예를 들면 프런트 카메라(11)의 화상을 기초로 한 부감 화상에 있어서의 장애물(25)의 경우, 프런트 카메라(11)와, 장애물의 노면상의 위치(27a)를 묶는 방향에 따른, 기울기상으로부터의 대체 화상(36)을 표시한다.

그런데도, 도 10(A)의 경우, 대체 화상(36)에는, 또한 「완전히 넘어진 것」같은 위화감이 남는다.

그래서, 또한 도 10(B)을 참조하면, 대체 화상(37)의 방향과 기울기는, 본 실시 형태에 있어서의 부감 화상의 시점인 톱 뷰 시점(21, 자차량의 중심부 위쪽의 시점)에 맞추고, 방향은 장애물(예를 들면, 서 있는 사람)의 정면 화상으로 하고, 기울기는 자차량의 중심부(톱 뷰 시점(21))와 장애물의 노면상의 위치(27a)를 묶는 방향을 따라 뒤로 기울인다. 대체 화상(37)에서는 「완전히 넘어진 것」같이 보인다고 하는 위화감이 제거되어 있다.

［「바림」효과용 화상］

도 12를 참조하면, 「바림」효과를 부여한 대체 화상을 이용한 경우의 효과를 나타내는 톱 뷰 화상의 예를 나타내는 도면이다.

이 경우, 도 12(A)는 상기 도 6에 도시한 순서로 얻어진 부감 화상이며, 예를 들면 프런트 카메라(11)의 화상을 기초로 한 부감 화상에 있어서의 장애물(25b)의 화상은 프런트 카메라(11)와, 장애물의 노면상의 위치(27a)를 묶는 방향에 따라, 현저하게 크고, 또한 노면에 「완전히 넘어져」있다.

도 12(B)는, 차량 중심부(21)와 장애물의 노면상의 위치(27a)를 묶는 방향에 따라 기울인, 기울기상으로부터의 대체 화상(37)을 덧쓰기 한 화상이다.

대체 화상(37) 자신은 위화감이 없지만, 장애물(25b)의 화상의 상당 부분이 대체 화상(37)에 의해 감쳐지지 않고 노출되어 있어, 혼란을 초래하고 위화감이 있다.

도 12(C)는, 도 13에 도시하는 바와 같은 대체 화상(35)에 대한 「바림」효과용 화상(45)을 대체 화상(37)에 부여한 경우이며, 장애물(25b)의 화상을 실질적으로 감출 수 있고, 도 12(D)에 도시하는 이상적 화상과 비교하여 손색이 없고, 실용적으로 위화감이 억제된다.

(C)는 염가로 실현될 수 있지만, 운전자에게 경고를 준다고 하는 관점으로부터는, 실용상으로는 (D)와 실질적으로 동등하다.

［대체 화상］

메모리부에 격납하는 대체 화상의 예를 도 9에 도시한다.

대체 화상을 동영상 대체 화상으로서 부감 화상상에 표시하는 경우, 장애물이 동물이나 인간의 경우, 양손이나 양다리를 교대로 움직인 정지 대체 화상을 교대로 표시하여, 걷고 있는 것 같이 표현하여도 좋다.

또한, 메모리부에 격납되는 대체 화상중에는, 정지 대체 화상으로서 기둥(말뚝), 자동 판매기, 벤치 등을 준비한다.

장애물 검출 수단은 차로부터 장애물과의 거리나, 장애물의 크기, 움직임의 유무를 알 수 있는 것이면 되고, 전술한 바와 같이, 카메라를 이용하여, 화상에 의하여 장애물과의 거리를 측정하는 모션 스테레오 원리에 의한 것이, 화상 취득 수 단과 겸한다고 하는 의미에서 비용적으로 바람직하지만, 레이저나 초음파 센서 등이라도 된다.

도 1은 차량 주위 화상 표시 시스템의 전체 구성을 나타내는 블럭도이며, (A)는 별도의 장애물 검출 수단을 구비하는 경우이며, (B)는 촬상 수단과 화상 처리 수단의 조(組)가 장해물 검출 수단을 포함하는 경우이다.

도 2는 차량 주위의 가상 시점의 위치를 도시하는 도면이며, (A)는 위쪽으로부터 보았을 경우, (B)는 옆쪽으로부터 보았을 경우의 도면이다.

도 3은 가상 시점에 상당하는 위치로부터 자차량과 측방에 서있는 장애물을 본 화상이며, (A)는 장애물의 높이가 낮은 경우의 사이드 뷰 시점, (B)는 장애물의 높이가 높은 경우와 낮은 경우에 공통되는 톱 뷰 시점, (C)는 장애물의 높이가 높은 경우의 사이드 뷰 시점, (D)는 장애물의 높이가 높은 경우의 백 뷰 시점의 경우이다.

도 4는 장애물의 높이가 낮은 경우에 대하여, 촬상 수단(사이드 카메라)의 화상을 사이드 뷰 가상 시점으로부터 본 부감 화상으로 변환하는 흐름을 설명하는 도면이며, (A)는 입력 화상, (B)는 회전 처리 화상, (C)는 투영 변환 화상, (D)는 출력 화상이다.

도 5는 장애물의 높이가 높은 경우에 대하여, 촬상 수단(사이드 카메라)의 화상을 사이드 뷰 가상 시점으로부터 본 부감 화상으로 변환하는 흐름을 설명하는 도이며, (A)는 입력 화상, (B)는 회전 처리 화상, (C)는 투영 변환 화상, (D)는 출력 화상이다.

도 6은 촬상 수단(전후좌우 4개의 사이드 카메라)의 화상을 톱 뷰 가상 시점 으로부터 본 부감 화상으로 변환하는 흐름을 설명하는 도면이다.

도 7은 사이드 카메라의 화상을 사이드 뷰 가상 시점으로부터 본 부감 화상으로 변환할 때에, 장애물의 화상을 본 발명에 의한 대체 화상에 의하여 옮겨놓는 흐름을 나타내는 도면이다.

도 8은 도 7에 있어서의 화상 처리의 흐름도이다.

도 9는 도 7에 있어서의 대체 화상의 예를 나타내는 도면이다.

도 10은 톱 뷰 화상에 있어서, 기울기상으로부터 본 대체 화상을 이용한 경우(A)와, 더욱이 각도 보정한 대체 화상을 이용한 경우(B)를 비교한 도면이다.

도 11은 자차량과의 거리에 따른 장애물의 촬상 가능 범위(A)와, 대체 화상의 선택예(B)를 나타내는 도면이다.

도 12는 「바림」효과를 부여한 대체 화상을 이용한 경우의 효과를 도시하는 톱 뷰 화상의 예를 나타내는 도면이며, (A)는 종래의(각도 보정하지 않은) 화상, (B)는 각도 보정한 대체 화상을 덧쓰기한 화상, (C)는 「바림」효과를 부여한 대체 화상을 이용한 화상, (D)는 이상적 화상이다.

도 13은 「바림」효과를 부여한 대체 화상을 설명하는 도면이다.

도 14는 모션 스테레오법에 의한 단안 측거 원리를 설명하는 도면이다.

(도면의 주요 부분에 대한 부호의 설명)

11 : 카메라(촬상 수단) 12 : 장애물 검출 수단

13 : 메모리부 14 : ECU

15 : 모니터(표시부) 16 : 화상 처리부

20 : 자차량

21, 22, 23, 24 : 자차량 위쪽, 자차 옆쪽, 자차량 앞쪽, 자차량 뒤쪽의 가상 시점

25, 26, 27, 28 : 장애물(입체물) 26a, 27a, 28a : 장애물의 노면상의 위치

25b : 장애물(입체물) 35, 36, 37 : 대체 화상

45 : 「바림」효과용 화상 50, 51, 52, 53, 54, 55 : 노면 화상

Claims (8)

1. 삭제
2. 차량 주위를 촬상하기 위한 카메라와,

   자차량 주위의 장애물을 검출하는 장애물 검출 수단과,

   상기 장애물에 대응하는 대체 화상을 미리 격납해 두는 메모리부와,

   상기 카메라가 취득한 화상을 기초로 자차량 주위의 가상 시점으로부터의 부감 화상을 생성하는 화상 처리부로 이루어지고,

   상기 장애물 검출 수단이 상기 장애물을 검출한 경우에, 상기 화상 처리부는 상기 장애물을 고정하고,

   상기 고정된 장애물에 대응하는 대체 화상을 선택하여 상기 메모리부로부터 읽어내고, 상기 선택한 대체 화상의 방향과 기울기를 상기 가상 시점에 맞추어 변경하고, 상기 부감 화상에 중첩하고,

   상기 화상 처리부는, 상기 고정된 장애물의 사이즈를 측정하고, 동작의 유무를 검출하여, 측정된 사이즈에 상당하는 동화상 또는 정지화면상의 대체 화상을 선택하는 것을 특징으로 하는 차량 주위 화상 표시 시스템.
3. 제 2 항에 있어서,

   상기 메모리부는 동종의 장애물에 대해서 크기가 다른 복수의 정지 대체 화상 및 동영상 대체 화상의 쌍방 또는 한쪽을 격납하는 것을 특징으로 하는 차량 주위 화상 표시 시스템.
4. 제 2 항에 있어서,

   상기 화상 처리부는 상기 대체 화상을 중첩하는 과정에 있어서, 상기 대체 화상의 중첩에 앞서, 상기 장애물 화상을 제거하고, 상기 장애물 화상의 주위의 화소 정보를 이용하여 보완 처리를 실시하는 것을 특징으로 하는 차량 주위 화상 표시 시스템.
5. 제 2 항에 있어서,

   상기 화상 처리부는 더욱이 상기 대체 화상을 중첩한 후에, 상기 중첩한 대체 화상의 주위에 「바림」효과용 화상을 삽입하는, 또는, 미리 상기 「바림」효과용 화상과 일조가 되어 있는 상기 대체 화상을 상기 메모리부로부터 읽어내어 중첩하는 것을 특징으로 하는 차량 주위 화상 표시 시스템.
6. 제 2 항에 있어서,

   상기 화상 처리부는 장애물 검출 수단이 검출한 장애물의 크기가 어느 일정한 값보다 큰 경우는, 대체 화상을 중첩하지 않는 것을 특징으로 하는 차량 주위 화상 표시 시스템.
7. 제 2 항에 있어서,

   상기 화상 처리부는 자차량 중심부로부터 상기 장애물의 노면상의 위치를 묶는 직선상에 상기 대체 화상을 중첩하는 것을 특징으로 하는 차량 주위 화상 표시 시스템.
8. 제 2 항에 있어서,

   상기 메모리부는 동종의 상기 장애물에 대해서 자차량으로부터의 거리에 따른 복수개의 모델을 구비하고, 상기 모델은 상기 장애물이 상기 카메라의 촬상 범위에 부분적으로 들어가 있는 경우에 대한 모델을 포함하여, 상기 화상 처리부는 검출된 장애물의 화상을 상기 모델과 비교하여 상기 장애물을 고정하고, 상기 장애물의 전체 대체 화상을 선택하는 것을 특징으로 하는 차량 주위 화상 표시 시스템.

Images