KR100425383B1 - 렌더링 장치 - Google Patents

렌더링 장치 Download PDF

Info

Publication number
KR100425383B1
KR100425383B1 KR10-2001-0028342A KR20010028342A KR100425383B1 KR 100425383 B1 KR100425383 B1 KR 100425383B1 KR 20010028342 A KR20010028342 A KR 20010028342A KR 100425383 B1 KR100425383 B1 KR 100425383B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
indicator
display
processor
Prior art date
Application number
KR10-2001-0028342A
Other languages
English (en)
Other versions
KR20010107676A (ko
Inventor
이시다아키라
이이사카아쯔시
요시다다카시
Original Assignee
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마쯔시다덴기산교 가부시키가이샤 filed Critical 마쯔시다덴기산교 가부시키가이샤
Publication of KR20010107676A publication Critical patent/KR20010107676A/ko
Application granted granted Critical
Publication of KR100425383B1 publication Critical patent/KR100425383B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

렌더링 장치(Urnd1)에 있어서, 프로세서(15)는 일정한 간격으로 전방 왼쪽 영상(Sfl)과 전방 오른쪽 영상(Sfr)을 수신하고, 그로 부터, 마스크 영상 상에 오버레이하기 위하여 부분적인 전방 왼쪽 영상과 부분적인 전방 오른쪽 영상을 컷아웃한다. 그 다음, 프로세서(1)는 미리 결정된 타이밍으로 크기가 변하는 어떤 차량 모델 영상을 마스크 영상에 오버레이한다. 여기서, 차량 모델 영상은, 마치 차량 모델 영상이 전진하는 것 처럼 동영상을 생성하는 방법으로 오버레이된다. 상기 차량 모델 영상으로, 차량의 운전자는 운전 보조 장치가 지금 차량의 전방측을 보여주고 있다는 것을 바로 인식할 수 있다.

Description

렌더링 장치{RENDERING DEVICE}
본 발명은 렌더링 장치, 특히 영상 캡처 장치에 의해 포착된 차량 주변의 영상을 처리해서 표시 장치에 표시하기 위한 영상을 발생시키는 렌더링 장치에 관한 것이다.
그러한 표시 장치의 예로는 일본 특허 공개 공보 평11-338074(99-338074)호에 개시된 감시 장치가 있다. 도 35는 제 1 CCD 카메라(1001), 제 2 CCD 카메라(1002), 제어 유닛(1003) 및 표시 유닛(1004)을 표함하는 감시 장치의 전체 구조를 도시한 블록 선도이다.
제 1 CCD 카메라(1001)는 차량의 전방 왼쪽 코너에 배치되어 전진 방향을 향한 차량 전방의 전방 왼쪽 영역의 영상을 포착한다. 이와 같이 포착된 영상을 좌측 영상(Scls)이라 칭한다. 마찬가지로, 제 2 CCD 카메라(1002)는 차량의 전방 오른쪽 코너에 배치되며, 이에 따라 포착된 영상을 우측 영상(Scrs)이라 칭한다.
제어 유닛(1003)은 개략적으로 영상 발생 장치(1005)와 영상 오버레이(overlay) 장치(1006)를 포함한다. 영상 발생 장치(1005)는 트리밍 (trimming) 영상(Sctr)과 차량 영상(Scve)을 발생시킨다. 여기서, 도 36에 도시된 바와 같이 트리밍 영상(Sctr)은 좌측 표시 영역(Acldp)과 우측 표시 영역(Acrdp)이 표시 장치(1004)의 표시 스크린 상에 형성되도록 마스킹 영역(Acmsk)에 의해 마스크 처리된 영상이다. 차량 영상(Scve)은 도 36에 도시된 바와 같이 트리밍 영상(Sctr)의 중앙에 오버레이된 후미에서 본 차량을 나타낸다.
영상 오버레이 장치(1006)는 차량 영상(Scve)이 트리밍 영상(Sctr)에 오버레이된 합성 영상 위에, 제 1 및 제 2 CCD 카메라(1001, 1002)에 의해 포착된 좌측 영상(Scls) 및 우측 영상(Scrs)을 오버레이시킨다. 구체적으로, 좌측 영상(Scls)은 좌측 표시 영역(Acldp) 상으로 오버레이되고, 우측 영상(Scrs)은 우측 표시 영역(Acrdp) 상으로 오버레이된다. 그 합성 영상은 표시 장치(1004) 상에 표시되는 표시 영상(Scdp)이다. 표시 영상(Scdp)에 있어서, 차량 영상(Scve)은 좌측 영상(Scls)과 우측 영상(Scrs) 사이에 위치되므로 운전자는 어떤 영상이 차량의 어느 쪽을 나타내는지를 적절하게 인식할 수 있다.
이와 같이, 상기 감시 장치는 2개의 CCD 카메라를 보유하지만, 이들 카메라는 차량의 전방부만을 커버한다. 최근에, 이러한 CCD 카메라는 통상적으로 차량 주변의 영상을 면밀하게 포착하기 위해서 차량의 전후좌우에 배치된다. 이러한 경우에 단순히 좌측 영상(Scls)과 우측 영상(Scrs) 사이에 차량 영상(Scve)을 오버레이시킴으로써 발생되는 합성 영상은 운전자를 혼란시킬 수 있다. 즉, 운전자는 그 사람이 보고 있는 영상이 어느 방향을 커버하는지를 즉각적으로 인식할 수 없다. 보다 구체적으로는, 2개의 CCD 카메라가 차량의 전방측에 배치되고, 2개 이상의 CCD 카메라가 차량의 후방측에 배치된다고 가정하자. 그러면, 운전자는 차량의 전방측과 후방측을 커버하는 영상을 볼 수 있지만, 그 사람이 영상을 통해 현재 차량의 어느 쪽을 보고 있는지를 즉각적으로 알 수 없다.
따라서, 본 발명의 목적은 운전자로 하여금 현재 차량의 어느 쪽이 운전 보조 장치에 의해 표시되고 있는지를 즉각적으로 인식할 수 있게 해주는 표시 영상을 렌더링 장치에 제공하는데 있다.
도 1은 본 발명의 제 1 실시예에 따른 렌더링 장치(Urnd1)를 그 내부에 구현한 운전 보조 장치(Uast1)의 구조를 도시한 블록 선도;
도 2는 렌더링 프로그램(Prnd1)과 임의의 다른 필요한 데이터를 내부에 저장시킨 도 1의 프로그램 메모리(2)를 도시한 선도;
도 3은 도 2의 마스크 데이터(Dmsk)로 표현되는 마스크 영역(Amsk)을 개략적으로 도시한 선도;
도 4a, 도 4b 및 도4c는 도 2의 3개의 차량 모델 데이터(Dmdl, Dmdm, Dmds)로 각각 표현되는 차량 모델 영상(Mvhcb, Mvhcm, Mvhcs)을 개략적으로 도시한 선도;
도 4d는 도 3의 마스크 영역(Amsk)에 위치 한정되는 상부 지점(Pumd), 중간 지점(Pmmd) 및 하부 지점(Pbmd)을 도시한 선도;
도 5는 도 1의 영상 캡처 장치(4 내지 7)가 차량(Vusr) 내에 배치되는 위치를 예시적으로 도시한 개략 선도;
도 6은 도 1의 운전 보조 장치(Uast1)의 작동을 도시한 주요 흐름도;
도 7은 도 6의 단계(S2)에서의 상세한 절차의 제 1 부분을 도시한 흐름도;
도 8은 도 6의 단계(S2)에서의 상세한 절차의 제 2 부분을 도시한 흐름도;
도 9는 도 6의 단계(S2)에서의 상세한 절차의 최종 부분을 도시한 흐름도;
도 10은 도 6의 단계(S4)에서의 상세한 절차의 제 1 부분을 도시한 흐름도;
도 11은 도 6의 단계(S4)에서의 상세한 절차의 제 2 부분을 도시한 흐름도;
도 12는 도 6의 단계(S4)에서의 상세한 절차의 최종 부분을 도시한 흐름도;
도 13a는 교차로에 차량(Vusr)이 봉착한 경우를 도시한 도면;
도 13b 및 도 13c는 도 7의 단계(S13)에서 수신된 전방 좌측 영상(Sfl)과 전방 우측 영상(Sfr)을 각각 예시적으로 도시한 선도;
도 14a 및 도 14b는 도 7의 단계(S14)에서 발생한 부분적인 전방 좌측 영상(Spfl)과 부분적인 전방 우측 영상(Spfr)을 각각 예시적으로 도시한 선도;
도 15a 및 도 15b는 도 7의 단계(S16)에서 발생된 중간 영상(Sint)과 도 8의 단계(S19)에서 발생된 전방 표시 영상(Sfv)을 각각 예시적으로 도시한 선도;
도 16은 전방 표시 영상(Sfv)이 카운터 값(N)에 따라 어떻게 달리 보이는지를 개략적으로 도시한 선도;
도 17a 및 도 17b는 도 9의 단계(S113, S115)에서 발생된 전방 표시 영상(Sfv)을 각각 예시적으로 도시한 선도;
도 18은 주차 공간으로부터 빠져나오기 위해 후진하는 차량(Vusr)을 도시한 선도;
도 19는 후방 표시 영상(Srv)이 카운터 값(N)에 따라 어떻게 달리 보이는지를 예시적으로 도시한 선도;
도 20은 영상 캡처 장치(4', 6')가 차량(Vusr)에 배치되는 위치를 예시적으로 선도;
도 21은 도 1의 렌더링 장치(Urnd1)의 변형예인 렌더링 장치(Urnd2)를 내부에 구현한 운전 보조 장치(Uast2)의 구조를 도시한 블록 선도.
도 22는 렌더링 프로그램(Prnd2)과 임의의 다른 필요한 데이터를 내부에 저장시킨 도 1의 프로그램 메모리(12)를 도시한 선도;
도 23은 도 21의 운전 보조 장치(Uast2)의 작동을 도시한 주요 흐름도;
도 24은 제 2 실시예에 따른 렌더링 장치(Urnd3)를 내부에 구현한 운전 보조 장치(Uast3)의 구조를 도시한 블록 선도;
도 25a는 렌더링 프로그램(Prnd3)과 제 1 및 제 2 목적 데이터(Dobj1, Dobj2)를 내부에 저장시킨 프로그램 메모리(16)를 도시한 선도;
도 25b 및 도 25c는 제 1 및 제 2 목적 데이터(Dobj1, Dobj2)에 무엇이 포함되는지를 각각 도시한 선도;
도 26a 및 도26b는 도 25a의 제 1 마스크 데이터(Dmsk1)로 표현되는 제 1 마스크 영상(Smsk1)을 도시한 선도;
도 27a 및 도27b는 도 25c의 제 2 마스크 데이터(Dmsk2)로 표현되는 제 2 마스크 영상(Smsk2)을 도시한 선도;
도 28은 도 24의 영상 캡처 장치(18, 19)가 차량(Vusr)에 배치되는 위치를 예시적으로 도시한 개략 선도;
도 29는 도 24의 운전 보조 장치(Uast3)의 작동을 도시한 주요 흐름도;
도 30은 도 29의 단계(S42)에서의 상세한 절차를 도시한 흐름도;
도 31은 도 29의 단계(S44)에서의 상세한 절차를 도시한 흐름도;
도 32a, 도 32b 및 도 32c는 도 30에서의 처리시에 발생한 전방 왼쪽 영상(Slf), 부분적인 전방 왼쪽 영상(Spfl)과 제 1 표시 측면 영상(Sdp2)을 각각 예시적으로 도시한 선도;
도 33a 내지 도 33c는 도 31에서의 처리시에 발생한 후방 왼쪽 영상(Sfr), 부분적인 후방 왼쪽 영상(Spfr)과 제 2 표시 측면 영상(Sdp2)을 각각 예시적으로 도시한 선도;
도 34는 도 25b의 차량 모델 데이터(Dmdl)에 대한 예시적인 대안적 데이터를 도시한 선도;
도 35는 종래의 렌더링 장치인 차량용 모니터 장치의 전체 구조를 도시한 블록 선도; 및
도 36은 도 35의 표시 장치(1004) 상에 표시된 트리밍 영상(Sctr)과 차량 영상(Scve)을 도시한 선도.
※ 도면의 주요 부분에 대한 부호의 설명
1: 프로세서 2: 프로그램 메모리
3: 작업 영역 4, 5: 전방 영상 캡처 장치(좌, 우)
6, 7: 후방 영상 캡처 장치(좌, 우) 8: 입력 장치
9, 10: 동작 버튼(전방, 후방) 11: 표시 장치
본 발명은 상기 목적을 달성하기 위한 다음과 같은 특징을 갖는다.
본 발명의 한 양태는 운전 보조용 표시 영상을 발생시키는 렌더링 장치에 관한 것으로서, 상기 장치는 차량에 장착된 영상 캡처 장치로부터 차량 주변을 둘러싸는 영역을 커버하는 주변 영상을 수신하기 위한 수신부와, 이 수신부로부터 수신된 주변 영상이 어느 방향을 커버하는지를 지시하기 위한 명령 영상을 상기 주변 영상 위로 오버레이시켜서 표시용 영상을 발생시키기 위한 제 1 영상을 포함한다.
본 발명의 상기 및 기타 목적, 특징, 양태 및 장점은 첨부 도면과 관련한 이하의 상세한 설명으로부터 보다 명백하게 이해될 것이다.
도 1은 본 발명의 제 1 실시예에 따른 렌더링 장치(Urnd1)의 하드웨어 구조를 도시한 블록 선도이다. 도 1에서 렌더링 장치(Urnd1)는 표시 장치(11) 상에 표시하기 위한 운전 보조용 영상(이후에 설명될 전방 표시 영상(Sfv) 및 후방 표시 영상(Srv))을 발생시킨다. 렌더링 장치(Urnd1)는 프로세서(1), 프로그램 메모리(2) 및 작업 영역(3)을 포함한다.
프로그램 메모리(2)은 대표적인 예로서 ROM(Read Only Memory)이 있으며, 도 2에 도시한 바와 같이 렌더링 프로그램(Prnd1)을 저장한다. 프로그램 메모리(2)는 또한 마스크 데이터(Dmsk)와 차량 모델 데이터(Dmdl, Dmdm, Dmds)를 포함하고, 이들 데이터 모두는 렌더링 프로그램(Prnd1)을 실행할 시에 요구된다.
마스크 데이터(Dmsk)는 도 3에서 해칭 영역으로 도시된 마스크 영역(Amsk)의 영상(이하, 마스크 영상(Smsk)이라 함)을 표현한다. 상세하게는, 마스크 영역(Amsk)은 상부 마스크 영역(Aumsk), 하부 마스크 영역(Abmsk), 중앙 마스크 영역(Acmsk), 좌측 마스크 영역(Almsk) 및 우측 마스크 영역(Armsk)으로 구성된다. 이들 마스크 영역들은 표시 장치(11)의 스크린 상의 대응 영역을 각각 마스크 처리한다. 구체적으로, 좌측 마스크 영역(Almsk)과 우측 마스크 영역(Armsk)에 대한 대응 영역은 각각 스크린의 좌측과 우측을 따라 형성된 영역이다. 여기서, 마스크 영역(Amsk)에 의해 마스크 처리되지 않은 영역들은 그 사이에 약간의 거리를 둔 좌측 표시 영역(Aldp)와 우측 표시 영역(Ardp)이다.
차량 모델 데이터(Dmdl)는 후방에서 본 차량의 영상을 표현하며, 그 영상의 크기는 도 4a에 도시된 바와 같이 비교적 크다. 지금부터, 이러한 영상을 차량 모델 영상(Mvhcb)이라고 칭한다. 마찬가지로, 차량 모델 데이터(Dmdm)는 차량 모델 영상(Mvhcm)(도 4b 참조)을 표현하며, 이 영상은 차량 모델 영상(Mvhcb)보다는 작지만, 차량 모델 데이터(Dmds)로 표현되는 차량 모델 영상(Mvhcs)보다는 크다(도 4c 참조).
그러한 차량 모델 영상(Mvhcb, Mvhcm, Mvhcs)은 각각 마스크 영역(Amsk) 상에 오버레이된다(그 방법은 이하에서 설명된다). 보다 상세하게는, 도 4d를 참조하면, 차량 모델 영상(Mvhcs)은 상부 지점(Pmud) 상에 배치되며, 이 상부 지점은 상부 마스크 영역(Aumsk)에 보다 근접한 중앙 마스크 영역(Acmsk)에 위치된다. 차량 모델 영상(Mvhcm)은 중앙 지점(Pmmd) 상에 배치되며, 이 중앙 지점은 또한 상부지점(Pumd)에 보다 낮은 중앙 마스크 영역(Acmsk)에 위치된다. 또한, 차량 모델 영상(Mvhcb)은 하부 지점(Pbmd) 상에 배치되며, 이 하부 지점은 하부 마스크 영역(Abmsk)에 보다 근접하고 중앙 지점(Pmmd)보다 낮은 중앙 마스크 영역(Acmsk)에 위치된다. 이들 차량 모델 영상(Mvhcb, Mvhcm, Mvhcs)들은 대표적인 예로서 특허청구범위에 기재된 인디케이터 영상이 있다.
도 1을 다시 참조하면, 작업 영역(3)은 대표적인 예로서 RAM(Random Access Memory)이 있으며, 프로세서(1)가 렌더링 프로그램(Prnd1)을 실행시킬 때 사용된다. 상기 구조의 렌더링 장치(Urnd1)는 전형적으로 운전 보조 장치(Uast1)에 포함되며, 그 내부의 프로세서(1)는 영상 캡처 장치(4 내지 7), 입력 장치(8) 및 표시 장치(11)와 통신이 가능하게 접속된다. 이러한 보조 장치(Uast1)는 도 5의 차량(Vusr)에 장착된다. 영상 캡처 장치(4)는 차량(Vusr)의 전방 좌측을 담당하고, 영상 캡처 장치(5)는 전방 우측을 담당하며, 영상 캡처 장치(6)는 후방 좌측을 담당하고, 영상 캡처 장치(7)는 후방 우측을 담당한다.
도 5에 도시된 바와 같이, 영상 캡처 장치(4, 5) 양자 모두는 차량(Vusr)의 전방측에 배치된다. 보다 상세하게는, 운전자로 하여금 운전자가 횡단하고자 하는 도로 상에 무슨 일이 벌어지고 있는지를 인식하는데 약간의 어려움이 있는 교차로에 차량(Vusr)이 봉착된 경우를 가정하자. 이것은 벽이 운전자의 시야를 막을 때 발생할 수 있다. 그러한 장애물(해칭 영역)로 인해 차량(Vusr) 앞의 전방 좌측 및 전방 우측 영역들은 부분적으로 운전자의 보이지 않는(블라인드) 영역이 된다. 본 실시예에서, 차량(Vusr) 앞쪽의 전방 좌측 영역에서 관찰되는 그러한 블라인드 영역을 도 5의 점선으로 표시된, 블라인드 영역(Aflb)이라 칭한다. 마찬가지로, 차량(Vusr) 앞의 전방 우측 영역에서 관찰되는 이러한 블라인드 영역을 블라인드 영역(Afrb)이라 칭한다. 영상 캡처 장치(4)에 관하여, 그 렌즈는 블라인드 영역(Aflb)을 향하도록 배치되며, 그 영상을 전방 좌측 영상(Sfl)으로서 포착한다. 영상 캡처 장치(5)에 있어서 그 렌즈는 블라인드 영역(Afrb)을 향하도록 배치되며, 그 영상을 전방 우측 영상(Sfr)으로서 포착한다.
마찬가지로, 차량(Vusr)이 주차 공간으로부터 도로로 빠져나기기 위해 후진하면, 운전자의 시야는 장애물에 의에 종종 방해받는다. 따라서, 운전자는 그가 횡단하고자 하는 도로 상에서 무슨 일이 일어나고 있는지를 인식하는데 어려움을 가질 수 있다. 그러한 장애물로 인해, 운전석에 있는 운전자에 대한 후방 왼쪽과 후방 오른쪽 영역은 부분적으로 운전자의 블라인드 영역이 된다. 본 실시예에서, 후방 왼쪽과 후방 오른쪽 영역에서 관찰되는 그러한 블라인드 영역을 블라인드 영역(Arlb)과 블라인드 영역(Arrb)이라 각각 칭한다. 상기 블라인드 영역(Arlb)과 블라인드 영역(Arrb)이 후방 왼쪽 영상(Srl)과 후방 오른쪽 영상(Srr)으로서 포착되도록 영상 캡처 장치(6, 7)가 차량(Vusr)의 후방측에 배치된다. 상기 전방 왼쪽 영상(Sfl), 전방 오른쪽 영상(Sfr), 후방 왼쪽 영상(Srl) 및 후방 오른쪽 영상(Srr)은 모두 특허청구범위에서 주변 영상에 대한 실례가 되고 있으며, 이를 기초로 해서, 전방 표시 영상(Sfv)과 후방 표시 영상(Srv)이 발생된다. 운전 보조 장치(Uast1)에 제공되는 영상 캡처 장치의 개수는 상기 4개의 영상 캡처 장치(4 내지 7)로 제한되지 않으며, 차량(Vusr)의 왼쪽과 오른쪽의 영역들을 커버하기 위해보다 많은 개수의 영상 캡처 장치가 사용될 수 있음을 주지하자.
도 1에서, 입력 장치(8)는 조작 버튼(9, 10)을 적어도 포함한다. 조작 버튼(9)을 누르면 명령 신호(Ifm)에 응답해서 전방 감시 모드가 시작되고(단계 S2), 조작 버튼(10)을 누르면 명령 신호(Irm)에 응답해서 전방 감시 모드가 시작된다(단계 S4). 전형적으로, 조작 버튼(9)은 차량(Vusr)이 어떤 교차로에 봉착하거나 주차 공간으로부터 빠져나오기 위해 전진할 때 운전자에 의해 눌려진다. 이 누름에 응답해서, 입력 장치(8)는 프로세서(1)로의 전송을 위한 명령 신호(Ifm)을 발생시킴으로써 프로세서(1)로 하여금 전방 감시 모드의 시작을 지시한다. 한편, 운전자는 차량(Vusr)을 후진시키기 전에 조작 버튼(10)을 누른다. 이 누름에 응답해서, 입력 장치(8)는 프로세서(1)로의 전송을 위한 명령 신호(Irm)을 발생시킴으로써 프로세서(1)로 하여금 후방 감시 모드의 시작을 지시한다.
여기서, 도 1의 표시 장치(11)는 전형적으로 액정 표시장치로서, 프로세서(1)에 의해 발생된 전방 표시 영상(Sfv)과 후방 표시 영상(Srv)을 스크린 상에 표시한다.
다음은 그러한 운전 보조 장치(Uast1)의 조작에 대해 흐름도인 도 6 내지 도 12를 참조해서 설명하기로 한다. 일단, 운전 보조 장치(Uast1)가 ON 되면, 프로세서(1)는 렌더링 프로그램(Prnd1)의 실행을 시작하는 동시에, 마스크 데이터(Dmsk)와 차량 모델 데이터(Dmdl, Dmdm, Dmds)를 작업 영역(3)으로 읽어들인다.
수신된 신호에 응답해서 프로세서(1)는 도 6의 주요 흐름도의 처리를 시작한다. 먼저, 프로세서(1)는 수신된 신호가 명령 신호(Ifm)인지의 여부를 판정한다(단계 S1). "예"로 판정되면, 프로세서(1)는 전방 감시 모드를 실행하고(단계 S2), 그렇지 않으면, 그 절차는 단계 S3으로 진행한다.
도 13a에 도시된 바와 같이, 차량(Vusr)이 교차로에 봉착한 것으로 가정하자. 이러한 경우에, 운전자는 조작 버튼(9)을 누르고, 이에 응답해서 입력 장치(8)는 명령 신호(Ifm)를 프로세서(1)로 전송한다. 다음에, 프로세서(1)는 명령 신호(Ifm)가 단계 S1에서 수신되었는지를 판정해서, 전방 감시 모드를 실행한다. 전방 감시 모드에서, 전방 표시 영상(Sfv)은 운전자의 운전을 보조하기 위해 발생되며, 그 상세한 절차는 도 7 내지 도 9에 도시되고 있다.
도 7에서, 프로세서(1)는 카운터(도시되지 않음)의 값(N)을 초기값인 1로 설정한다(단계 S11). 여기서, 카운터 값(N)은 전방 표시 영상(Sfv)이 발생될 때마다 1씩 증분된다. 여기서, 카운터 값(N)은 최고값이 Np(예를 들면, 30)일 수 있으며, 1 내지 상한(Np)의 순서로 현재 발생된 전방 표시 영상(Sfv)의 위치를 지시한다. 단계 S11를 통과한 후에, 프로세서(1)는 작업 영역(3)에 예약된 프레임 메모리(도시되지 않음)로 마스크 데이터(Dmsk)를 저장한다(단계 S12). 단계 S12를 통과한 후에, 프레임 메모리 상에는 마스크 영상(Smsk)(도 3 참조)만이 발생된다.
다음에, 프로세서(1)는 전방 왼쪽 영상(Sfl)과 전방 오른쪽 영상(Sfr)을 각각 포착하도록 차량(Vusr)의 전방측에 있는 영상 캡처 장치(4, 5)에 지시한다. 이에 응답해서, 영상 캡처 장치(4)는 도 13b에 도시된 바와 같이 전방 왼쪽 영상(Sfl)을 포착해서, 이것을 작업 영역(3)에 저장한다. 이에 응답해서, 영상 캡처 장치(5)도 도 13c에 도시된 바와 같은 전방 오른쪽 영상(Sfr)을 포착해서, 이것을 작업 영역(3)에 저장한다. 그러한 방식으로, 프로세서(1)는 차량(Vusr)용 전방 왼쪽 영상(Sfl)과 전방 오른쪽 영상(Sfr)을 수신한다(단계 S13).
다음에, 프로세서(1)는 컷아웃(cutout) 처리를 실행한다(단계 S14). 보다 구체적으로는, 프로세서(1)는 단계 S13에서 수신된 전방 왼쪽 영상(Sfl)로부터 도 14a에 도시된 바와 같은 부분적인 전방 왼쪽 영상(Spfl)을 오려낸다. 여기서, 부분적인 전방 왼쪽 영상(Spfl)은 좌측 표시 영역(Aldp) 상으로 오버레이되는 부분이다(도 3 참조). 또한, 프로세서(1)는 단계 S13에서 수신된 전방 왼쪽 영상(Sfl)으로부터 도 14b에 도시된 바와 같은 부분적인 전방 오른쪽 영상(Spfr)을 오려낸다. 여기서, 부분적인 전방 오른쪽 영상(Spfr)은 우측 표시 영역(Ardp) 상에 오버레이되는 부분이다(도 3 참조).
다음에, 프레임 메모리 상에서, 프로세서(1)는 이와 같이 오려낸 부분적인 전방 왼쪽 영상(Spfl)을 좌측 표시 영역(Aldp) 상으로 오버레이(붙이기)한다(단계 S15). 마찬가지로, 프로세서(1)는 부분적인 전방 오른쪽 영상(Spfr)에 대해서도 우측 표시 영역(Ardp) 상으로 오버레이를 수행한다(단계 S16). 단계 S15와 단계 S16을 진행한 후에, 도 15a에 도시된 바와 같이, 프레임 메모리 상에는 부분적인 전방 왼쪽 영상(Spfl)과 부분적인 전방 오른쪽 영상(Spfr)이 좌측 표시 영역(Aldp)과 우측 표시 영역(Ardp) 상으로 각각 오버레이된 중간 영상(Sint)이 발생된다.
다음에, 프로세서(1)는 지금이 차량 모델 영상을 오버레이할 시기인지의 여부를 판정한다(단계 S17). 여기서, 단계 S17을 상세히 설명하기 앞서, 단위 사이클(unit cycle)에 대해 설명하기로 한다. 단위 사이클은 카운터 값(N)이초기값(1)으로부터 시작되어 상한(Np)에 도달하는데 요구되는 시간을 가리킨다. 여기서, 카운터 값(N)은 어떤 차량 모델 영상이 오버레이되어야 하는지를 알기 위해 참조된다. 도 16에 도시된 바와 같이, 1 <= N <= Ni이면 차량 모델 영상(Mvhcb)이 오버레이될 영상이다. 여기서, Ni는 2 이상의 자연수, 예를 들어 5이다. Ni < N <= Nj이면, 어떠한 차량 모델 영상도 오버레이되지 않는다. 여기서, Nj는 (Ni + 1)을 초과하는 자연수, 예를 들어 10이다. Nj < N <= Nk이면, 차량 모델 영상(Mvhcm)이 오버레이될 영상이다. 여기서, Nk는 (Nj + 1)을 초과하는 자연수, 예를 들어 15이다. Nk < N <= Nm의 경우에는, 어떠한 차량 모델 영상도 오버레이되지 않는다. 여기서, Nm은 (Nk + 1)을 초과하는 자연수, 예를 들어 20이다. Nm < N <= Nn이면, 차량 모델 영상(Mvhcs)이 오버레이될 영상이다. 여기서, Nn은 (Nm + 1)을 초과하지만 상한(Np)를 초과하지 않는 자연수, 예를 들어 25이다. Nn < N <= Np의 경우에는, 어떠한 차량 모델 영상도 오버레이되지 않는다.
단계 S17에서, 프로세서(1)는 카운터 값(N)이 1 < N <= Ni, Nj < N <= Nk, 및 Nm < N <= Nn 중 어느 하나를 충족하는지의 여부를 판정한다. 카운터 값(N)이 상기 중 어느 것도 충족하지 않으면, 프로세서(1)는 지금이 차량 모델 영상을 오버레이할 시기가 아닌 것으로 결정하고, 그 절차는 단계 S110으로 넘어간다. 카운터 값(N)이 상기 중 어느 하나를 충족하면, 프로세서(1)는 현재가 차량 모델 영상을 오버레이할 시기라고 결정하고, 그 절차는 단계 S18로 진행한다.
본 실례에서, 카운터 값(N)은 1로 설정되므로, 1 < N <= Nj가 충족되는 것으로 판정된다. 다음에, 프로세서(1)는 차량 모델 영상(Mvhcb)이 이번 시기에 오버레이할 영상인지의 여부를 판정한다(단계 S18). 보다 상세하세는, 프로세서(1)는 카운터 값(N)이 1 < N <= Ni를 총족하는 지의 여부를 판정한다. "아니오" 이면, 절차는 단계 S113으로 진행한다(도 9 참조). "예" 이면, 프로세서(1)는 현재가 차량 모델 영상(Mvhcb)를 오버레이할 시기인 것으로 결정하고, 그 절차는 단계 S19로 진행한다.
현재, N =1 이므로, 프로세서(1)는 작업 영역(3) 상에서 차량 모델 데이터(Dmdl)를 선택한다. 또한, 프로세서(1)는 프레임 메모리 상에서, 그와 같이 선택된 차량 모델 데이터(Dmdl)로 표현되는 차량 모델 영상(Mvhcb)을 마스크 영역(Amsk) 상의 하부 지점(Pbmd)(도 4d 참조) 상으로 오버레이(붙이기)한다(단계 S19). 단계 S19를 통과한 후에, 프레임 메모리 상에는 차량 모델 영상(Mvhcb)이 중간 영상(Sint)(도 15a 참조) 위로 오버레이되는 단일 프레임의 전방 표시 영상(Sfv)이 발생된다. 그 후에, 프로세서(1)는 프레임 메모리 상의 전방 표시 영상(Sfv)을 표시 장치(11)로 전송한다(단계 S110). 그러면, 표시 장치(11)는 전방 표시 영상(Sfv)을 스크린 상에 표시한다.
다음에, 프로세서(1)는 단위 사이클이 현재 완료되었는지의 여부를 판정한다(단계 S111). 구체적으로는, 카운터 값(N)이 Np에 도달했으면, 프로세서(1)는 단위 사이클이 완료된 것으로 간주하고, 그 절차는 단계 S116으로 진행한다. 반면, N이 아직 Np에 도달하지 않았으면, 단위 사이클은 아직 완료되지 않은 것으로 간주되기 때문에 그 절차는 단계 S112로 진행한다.
현재, N = 1 이므로, 프로세서(1)는 카운터 값(N)을 1씩 증분시킨다(단계S112). 다음에, 그 절차는 도 7의 단계 S12로 복귀해서, 카운터 값(N)이 Ni가 될 때까지 단계 S12 내지 S112를 반복한다. 카운터 값(N)이 1과 Ni 사이의 범위 내에 있는 동안에, 표시 장치(11)는 도 15에 도시된 바와 같이 전방 표시 영상(Sfv)의 Ni 프레임을 스크린 상에 표시한다(도 16 참조). 제한된 공간으로 인해, 도 16의 전방 표시 영상(Sfv)은 1개의 프레임만을 보여준다.
단계 S110에서, 전방 표시 영상(Sfv)의 Ni번째 프레임이 전송된 후에, 그리고 단계 S112에서 카운터 값(N)이 (Ni + 1)로 갱신된 후에, 그 절차는 도 7의 단계 S12 내지 S16을 반복한다. 이들 단계들을 완료한 후에, 프레임 메모리 상에는 전방 왼쪽 영상(Sfl)과 전방 오른쪽 영상(Sfr)이 새롭게 포착된 영상인, 도 15a에 도시된 바와 같은 중간 영상(Sint)이 발생된다. 여기서, 현재는 N = (Ni + 1)이므로, 프로세서(1)는 단계 S17에서 1 < N <= Ni, Nj < N <= Nk, 및 Nm < N <= Nn 중 어느 것도 충족되지 않는 것으로 판정한다. 프로세서(1)는 현재가 차량 모델 영상을 오버레이할 시기가 아닌 것으로 결정하므로, 그 절차는 단계 S110으로 점핑한다. 단계 S110에서 프레임 메모리 상의 중간 영상(Sint)(도 15a 참조)은 그대로 전방 표시 영상(Sfv)으로서 표시 장치(11)로 이동된다. 이에 따라, 표시 장치(11)는 전방 표시 영상(Sfv)을 스크린 상에 표시한다.
다음에, N은 아직 Np에 도달하지 않았으므로, 프로세서(1)는 카운터 값(N)을 1씩 증분시킨다. 다음에, 그 절차는 도 7의 단계 12로 복귀해서 카운터 값(N)이 Nj가 될 때까지 단계 S12 내지 S17과 단계 S110 내지 S112를 반복한다. 한편, 도 16에 도시된 바와 같이, 표시 장치(1) 상에는 도 15a에 도시된 바와 같은 전방 표시 영상(Sfr)의 (Nj-Ni) 프레임들이 표시된다.
단계 110에서 전방 표시 영상(Sfv)의 Nj번째 프레임이 전송된 후에, 그리고 단계 112에서 카운터 값(N)이 (Nj + 1)로 갱신된 후에, 그 절차는 다시 도 7의 단계 S12 내지 S16을 반복한다. 이들 단계가 완료된 후에, 프레임 메모리 상에는 중간 영상(Sint)(도 15a 참조)이 발생된다. 현재는 N = (Nj + 1)이므로, 프로세서(1)는 단계 S17에서 Nj < N <= Nk가 충족되는 것으로 판정하지만, 단계 S18에서 1 <= N <= Ni은 충족되지 않은 것으로 판정한다.
이러한 경우에, 프로세서(1)는 이 시기에 차량 모델 영상(Mvhcm)이 오버레이할 영상인지의 여부를 판정한다(도 9의 단계 S113). 보다 상세하게는, 프로세서(1)는 카운터 값(N)이 Nj < N <= Nk를 충족하는지의 여부를 판정한다. 이것이 충족되지 않는 경우에는, 그 절차는 S115로 진행하며, 그렇지 않으면, 프로세서(1)는 현재가 차량 모델 영상(Mvhcm)을 오버레이할 시기인 것으로 간주하게 때문에 단계 S114로 진행한다.
현재는 N = (Nj + 1)이므로, Nj < N <= Nk가 충족된 것으로 판정되고, 그 절차는 단계 S114로 진행한다. 프로세서(1)는 작업 영역(3) 상에서 차량 모델 데이터(Dmdm)를 선택한다. 다음에, 프로세서(1)는 프레임 메모리 상에서, 그와 같이 선택된 차량 모델 데이터(Dmdm)로 표현되는 차량 모델 영상(Mvhcm)을 마스크 영역(Amsk) 상의 중간 지점(Pmmd)(도 4d 참조) 상으로 오버레이(붙이기)한다(단계 S114). 단계 S114를 진행한 후에, 프레임 메모리 상에는 차량 모델 영상(Mvhcm)이 중간 영상(Sint)(도 15a 참조) 위에 오버레이된 전방 표시 영상(Sfv)(도 17a 참조)이 발생된다. 그 후에, 그 절차는 도 8의 단계 S110으로 진행하므로, 표시 장치(11)는 도 17a에 도시된 바와 같은 전방 표시 영상(Sfv)을 스크린 상에 표시한다.
N은 아직 Np에 도달하지 않았기 때문에, 프로세서(1)는 단계 S112에서 카운터 값(N)을 1씩 증분시키고, 그 절차는 도 7의 단계 S12로 복귀한다. 다음에, 그 절차는 카운터 값(N)이 Nk가 될 때까지 단계 S12 내지 S18과, 단계 S113 및 S114를 반복한다. 한편, 도 16에 도시된 바와 같이, 표시 장치(11) 상에는 도 17a에 도시된 바와 같은 전방 표시 영상(Sfv)의 (Nk - Nj)프레임들이 표시된다. 단계 S110에서 전방 표시 영상(Sfv)의 Nk번째 프레임이 전송된 후에, 그리고 단계 S112에서 카운터 값(N)이 (Nk + 1)로 갱신된 후에, 그 절차는 도 7의 단계 S12로 복귀한다. 다음에, 카운터 값(N)이 Nm이 될 때까지, 프로세서(1)는 카운터 값(N)이 (Ni + 1)과 Nj 사이의 범위에 있는 시기에서의 처리와 동일한 처리를 실행한다. 한편, 도 6에 도시된 바와 같이, 표시 장치(11) 상에는 도 15a에 도시된 바와 같은 전방 표시 영상(Sfv)의 (Nm -Nk)프레임들이 표시된다.
단계 S110에서 전방 표시 영상(Sfv)의 Nm번째 프레임이 전송된 후에, 그리고 단계 S112에서 카운터 값(N)이 (Nm + 1)로 갱신된 후에, 그 절차는 다시 도 7의 단계 S12 내지 S16을 반복한다. 그 후에, 프레임 메모리 상에는 중간 영상(Sint)(도 15a 참조)이 발생된다. 현재는 N = (Nm + 1)이므로, 프로세서(1)는 단계 S17에서 Nm < N <= Nn은 충족되는 것으로 판정하지만, 단계 S18에서의 1 < N <= Ni과 단계 S113에서의 Nj < N <= Nk는 충족되지 않은 것으로 판정한다.
이것은 현재가 차량 모델 영상(Mvhcs)을 오버레이할 시기임을 말하는 것이므로, 그 절차는 단계 S115로 진행한다. 프로세서(1)는 작업 영역(3)에서 차량 모델 데이터(Dmds)를 선택한다. 다음에, 프로세서(1)는 프레임 메모리 상에서, 선택된 차량 모델 데이터(Dmds)로 표현되는 차량 모델 영상(Mvhcs)을 마스크 영역(Amsk) 상의 상부 지점(Pumd)(도 4d 참조) 상으로 오버레이(붙이기)한다(단계 S115). 단계 S115를 통과한 후에, 프레임 메모리 상에는 차량 모델 영상(Mvhcs)이 중간 영상(Sint)(도 15a 참조)에 오버레이된 전방 표시 영상(Sfv)(도 17b 참조)이 발생된다. 그 후에, 그 절차는 도 8의 단계 S110으로 진행하므로, 표시 장치(11)는 도 17b에 도시된 바와 같은 전방 표시 영상(Sfv)를 스크린 상에 표시한다.
N이 아직 Np에 도달하지 않았기 때문에, 프로세서(1)는 단계 S112에서 카운터 값을 1 만큼 증가시키고, 절차는 도 7의 단계 S12로 복귀한다. 그 다음, 절차는 단계 S12 내지 S18과, 단계 S113과 S115, 및 단계 S110 내지 S112를 카운터 값(N)이 Nn이 될 때까지 반복한다. 그 동안에, 도 16에 도시된 바와 같이, 표시 장치(11) 상에 도 17b에 도시된 바와 같은 전방 표시 영상(Sfv)의 (Nn - Nm)프레임들이 표시된다.
전방 표시 영상(Sfv)의 Nn번째 프레임이 단계 S110에서 전송된 후, 그리고 카운터 값(N)이 단계 S112에서 (Nn + 1)로 업데이트된 후, 절차는 도 7의 단계 S12로 복귀한다. 그 다음, 카운터 값(N)이 Np가 될 때까지, 프로세서(1)는 카운터 값(N)이 (Ni + 1)과 Nj 사이의 범위에 있는 시기에서의 처리와 동일한 처리를 실행한다. 그 동안에, 도 16에 도시된 바와 같이, 표시 장치(11) 상에는 도 15a에 도시된 바와 같은 전방 표시 영상(Sfv)의 (Np -Nn)프레임들이 표시된다.
전방 표시 영상(Sfv)의 Np번째 프레임이 단계 S110에서 전송된 후, 절차는 단계 S111로 진행한다. 단계 S111에서, N이 Np에 도달했을 경우, 프로세서(1)는 단위 사이클이 지금 종료된 것으로 결정한다. 따라서, 절차는 단계 S116로 진행한다. 그 다음, 프로세서(1)는 지금이 전방 감시 모드를 종료할 시기인지, 즉 차량(Vusr)이 교차로를 통과했는지를 결정한다(단계 S116).
단계 S116에서, 차량(Vusr)이 교차로를 통과했는지를 확인하기 위하여 다음의 두 방법이 통상적으로 적용된다. 제 1 방법에서, 프로세서(1)는 차량(Vusr)의 현재 속력이 미리 결정된 기준 속력(Vref1)을 초과했는지를 조사한다. 일반적으로, 차량(Vusr)의 속력은 교차로 내에서 비교적 낮지만, 차량(Vusr)이 교차로를 벗아나면 증가한다. 여기서, 상기 기준 속력(Vref1)은 차량(Vusr)이 여전히 교차로에 있는지 아닌지를 적절히 말할 수 있는 값으로 미리 정해진다. 차량(Vusr)의 현재 속력이 상기 기준 속력(Vref1) 미만(또는 이하)일 때, 프로세서(1)는 아직 차량(Vusr)이 교차로에 있다, 즉 지금은 전방 감시 모드를 종료하기에 너무 이르다고 해석한다. 반면, 현재 속력이 기준 속력(Vref1)을 초과(또는 이상)할 때, 프로세서(1)는 차량(Vusr)이 교차로를 벗어났다, 즉 지금은 전방 감시 모드를 종료할 시기라고 해석한다.
제 2 방법에서, 입력 장치(8)는 동작 버튼(도시하지 않음)을 눌러서 기능적으로 전방 감시 모드를 종료할 수 있고, 부가적으로 동작 버튼(9와 10)이 제공된다. 운전자는 차량(Vusr)이 교차로를 벗어날 때 동작 버튼을 누른다. 단계 S116에서 동작 버튼을 누르는 것을 검출할 때, 프로세서(1)는 지금이 전방 감시 모드를 종료할 시기라고 해석한다. 반대로, 단계 S116에서 동작 버튼이 눌러지지 않은 것을 검출한 경우, 프로세서(1)는 지금은 전방 감시 모드를 종료하기에 너무 이르다고 해석한다.
단계 S116에서 아직 "아니오"로 결정된 경우, 절차는 단계 S11로 복귀하여 단계 S11 내지 S115에 의해 확인된 동일한 처리를 위하여 카운터 값(N)을 1로 다시 리셋한다. 이것은 새로운 단위 사이클의 시작을 의미하고, 도 16에 도시된 전방 표시 영상(Sfv)이 표시 장치(11) 상에 표시된다. 반면, 단계 S116에서 "예"로 결정되는 경우, 이것은 도 7 내지 도 9의 처리의 종료를 나타낸다.
도 7 내지 도 9의 상기 처리의 종료에 의해, 운전 보조 장치(Uast1)는 교차로에 있는 동안 운전자에게 특히 운전자의 보이지 않는 영역(Aflb와 Afrb)(도 5 참조)을 나타내는 전방 표시 영상(Sfv)을 표시하여 차량(Vusr)의 운전자를 돕는다. 여기서, 종래의 감시 장치에서와 마찬가지로, 전방 표시 영상(Sfv)은 부분적인 전방 왼쪽 영상(Spfl)과 부분적인 전방 오른쪽 영상(Spfr)을 포함한다.
그러나, 여기서 전방 표시 영상(Sfv)은 도 16에 도시된 바와 같이 크기가 다른 차량 모델 영상(Mvhcb, Mvhcm 및 Mvhcs) 중 어느 것을 포함하고, 카운터 값(N)이 어떤 차량 모델 영상인지를 결정한다. 예를 들면, 카운터 값(N)이 상대적으로 작은 값으로 간주될 때(이번 실시예에서, 1 <= N <= Ni 일 때), 표시 장치(11)의 스크린의 하부(즉, 하부 포인트 Pbmd 상)의 표시 중에서 가장 큰 차량 모델 영상(Mvhcb)이 선택된다. 카운터 값(N)이 상대적으로 큰 값으로 간주될 때(이번실시예에서, Nm < N <= Nn 일 때), 표시 장치(11)의 스크린의 상부(즉, 하부 포인트 Pbmd 상)의 표시 중에서 가장 작은 차량 모델 영상(Mvhcs)이 선택된다. 카운터 값(N)이 상대적으로 크지도 작지도 않은 것으로 간주될 때(이번 실시예에서, Nj < N <= Nk 일 때), 표시 장치(11)의 스크린의 중앙부(즉, 중간 포인트 Pmmd 상)의 표시에 위한 차량 모델 영상(Mvhcm)이 선택된다.
이러한 차량 모델 영상(Mvhcb, Mvhcm 및 Mvhcs)은 차량이 표시 장치(11) 상에서 전방으로 이동하는 것과 같은 동영상을 생성한다. 달리 말해서, 이러한 차량 모델 영상으로, 운전자는 현재 주변 표시 영상이 어느 방향을 커버하는지를 말할 수 있다. 따라서, 후방 표시 영상(Sfr)(나중에 설명함)이 전방 표시 영상(Sfv)과 함께 이용 가능한 경우, 운전자는 차량 모델 영상의 이동에 따라서 후방 표시 영상(Sfr)과 전방 표시 영상(Sfv) 중 어느 영상이 지금 표시되는지를 바로 인식할 수 있다.
그러한 전방 표시 영상(Sfv)에서, 부분적인 전방 왼쪽 영상(Spfl)과 부분적인 전방 오른쪽 영상(Spfr)이 마스크 영상(Smsk) 상의 좌측과 우측 표시 영역(Aldp와 Ardp) 상에 각각 오버레이된다. 또한, 마스크 영상(Smsk) 상의 이러한 좌측과 우측 표시 영역(Aldp와 Ardp) 사이에 형성된 중앙 마스크 영역(Acmsk) 상에서, 차량 모델 영상(Mvhcb)이 예를 들어 오버레이된다. 따라서, 운전자는 차량 모델 영상의 이동에 따라서 전방 표시 영상(Sfv)이 지금 표시 장치 상에 표시되는 것를 바로 인식할 수 있다.
상기에서, 전방 감시 모드는 실례로 차량(Vusr)이 교차로를 만났을 때 실행된다. 이것에 제한되지 않고, 전방 감시 모드는 예를 들어 차량(Vusr)이 전진하여 주차 공간을 빠져나갈 때 실행될 수 있다. 그 이전에, 운전자는 동작 버튼(9)을 누르고, 이에 따라서 전방 표시 영상(Sfv)이 운전 보조 장치(Uast1)에 의해 표시된다.
도 6의 단계 S1에서, 수신된 신호가 명령 신호(Ifm)가 아니라고 결정된 경우, 프로세서(1)는 수신된 신호가 명령 신호(Irm) 인지를 조사한다(단계 S3). "아니오"로 결정되면, 이것은 도 6의 처리의 종료를 나타낸다. 반면, "예"로 결정되면, 프로세서(1)는 후방 감시 모드를 실행한다(단계 S4).
도 18을 참조하여, 차량(Vsur)이 지금 주차 공간을 빠져나가기 위하여 후진하는 경우를 생각해보자. 이 경우, 운전자는 동작 버튼(10)을 누르고, 입력 장치(8)는 응답으로 명령 신호(Irm)를 프로세서(1)로 전송한다. 그 다음, 프로세서(1)는 단계 S3에서 상기 명령 신호(Irm)가 수신되었는지를 결정하여, 후방 감시 모드를 실행한다. 후방 감시 모드에서, 운전자의 운전을 돕기 위하여 후방 표시 영상(Srv)이 발생되고, 이의 상세한 절차는 도 10 내지 도 12에 도시된다. 도 7 내지 도 9의 흐름도와 비교해서, 도 10 내지 도 12의 흐름도는 단계 S13 내지 단계 S16, 단계 S18 내지 단계 S110, 및 단계 S115와 단계 116의 대안으로 단계 S21 내지 단계 S29를 갖는다. 여기서, 동일한 단계에는 동일한 단계 번호를 부여하고, 다시 설명하지 않는다.
도 10에서, 단계 S11과 S12를 마친 이후, 프로세서(1)는 차량(Vusr)의 후방측의 영상 캡처 장치(6과 7)가 후방 왼쪽 영상(Srl)과 후방 오른쪽 영상(Srr)을 각각 포착하도록 명령한다. 영상 캡처 장치(6)는 응답으로 왼쪽의 영상(Srl)을 포착하여 작업 영역(3)에 저장한다. 또한, 영상 캡처 장치(7)는 응답으로 오른쪽의 영상(Srr)을 포착하여 작업 영역(3)에 저장한다. 상기와 같은 방법으로, 프로세서(1)는 후방 왼쪽 영상(Srl)과 후방 오른쪽 영상(Srr)을 수신한다(단계 S21). 여기서, 편의상, 이러한 후방 왼쪽 영상(Srl)과 후방 오른쪽 영상(Srr)은 도 13c와 도 13b에 도시된 영상들과 동일하다.
그 다음, 프로세서(1)는 컷아웃 프로세싱을 실행한다(단계 S22). 보다 구체적으로, 단계 S21로부터 수신된 후방 왼쪽 영상(Srl)으로부터, 프로세서(1)는 도 14b에 도시된 바와 같은 부분적인 후방 왼쪽 영상(Sprl)을 컷아웃한다. 여기서, 부분적인 후방 왼쪽 영상(Sprl)은 좌측 표시 영역(Aldp)(도 3 참조) 상에 오버레이된 영상이다. 또한, 단계(21)로부터 수신된 후방 오른쪽 영상(Srr)으로부터, 프로세서(1)는 도 14a에 도시된 바와 같은 부분적인 후방 오른쪽 영상(Sprr)을 컷아웃한다. 여기서, 부분적인 후방 오른쪽 영상(Sprr)은 우측 표시 영역(Ardp)(도 3 참조) 상에 오버레이된 영상이다.
그 다음, 프레임 메모리 상에서, 프로세서(1)는 컷아웃된 부분적인 후방 왼쪽 영상(Sprl)을 좌측 표시 영역(Aldp) 상에 오버레이한다(놓는다)(단계 S23). 후방 오른쪽 영상(Sprr)에 대해서도 마찬가지로, 프로세서(1)는 우측 표시 영역(Ardp) 상에 동일한 동작을 한다. 단계 S23과 S24를 통과한 다음, 프레임 메모리 상에 중간 영상(Sint)이 발생된다(도 15a 참조). 여기서, 부분적인 후방 왼쪽 영상(Sprl)과 부분적인 후방 오른쪽 영상(Sprr)이 좌측 표시 영역(Aldp)과 우측표시 영역(Ardp) 상에 각각 오버레이된다.
프로세서(1)는 그 다음 카운터 값(N)에 기초하여 지금이 차량 모델 영상을 오버레이할 때인지 아닌지를 결정한다(단계 S17). "아니오"로 결정된 경우, 절차는 단계(S27)로 넘어가고, 그렇지 않은 경우, 단계(S25)로 진행한다.
이번 실례에서, 카운터 값(N)이 1로 설정되어, 절차가 단계 S17 내지 단계 S25로 진행한다. 프로세서(1)는 차량 모델 영상(Mvhcs)이 이때 오버레이를 위한 것인지를 결정한다(단계 S25). 만약, 1〈= N 〈=Ni 이 만족되지 않는다면, 절차는, 프로세서(1)가 지금은 차량 모델 영상(Mvhcs)을 오버레이할 때가 아니라고 결정한 단계(S113)로 진행한다. 반대로, 1〈= N 〈=Ni 이 만족된다면, 프로세서(1)는 지금이 그 때라고 결정하고, 절차는 단계(S26)로 진행한다.
지금, N = 1 이기 때문에, 프로세서(1)는 작업 영역(3) 상의 차량 모델 데이터(Dmds)(도 2 참조)를 선택한다. 프로세서(1)는 또한 프레임 메모리 상에서, 선택된 차량 모델 데이터(Dmds)에 의해 표시되는 차량 모델 영상(Mvhcs)을 마스크 영역(Amsk) 상의 상부 포인트(Pumd)(도 4d 참조) 상에 오버레이한다(놓는다). 따라서, 후방 표시 영상(Srv)이 발생된다(도 17b 참조). 그 후, 프로세서(1)는 프레임 메모리 상의 후방 표시 영상(Srv)을 표시 장치(11)로 전송한다(단계 S27). 그 다음, 표시 장치(11)는 스크린 상에 후방 표시 영상(Srv)을 표시한다.
그 다음, 프로세서(1)는 카운터 값(N)에 기초하여 단위 사이클이 지금 종료되었는지 아닌지를 결정한다(단계 S111). 특히, 프로세서(1)가 단위 사이클이 종료된 것으로 간주하는 경우, 절차는 단계 S116으로 진행한다. 아직 종료되지 않은경우에는, 절차는 단계 S112로 진행한다.
지금, N = 1 이기 때문에, 절차는 그 다음 도 7의 단계(S12)로 복귀되어 단계 S12, 단계 S21 내지 S24, 단계 S17, 단계 S25 내지 S27, 및 단계 S111과 S112을 카운터 값(N)이 Ni가 될 때까지 반복한다. 그 동안에, 도 19에 도시된 바와 같이, 표시 장치(11)는 도 17b에 도시된 바와 같은 후방 표시 영상(Srv)의 Ni 프레임들을 표시한다. 제한된 공간 때문에, 도 19의 후방 표시 영상(Srv)은 도 16에 도시된 바와 같이 카운터 값(N)에 따라서 각각의 시간 기간 동안 하나의 프레임만 나타낸다.
후방 표시 영상(Srv)의 Ni번째 프레임이 단계 S27에서 전송되고, 카운터 값(N)이 단계 S112에서 (Ni + 1)로 업데이트된 이후에, 절차는 도 10의 단계 S12 내지 S24를 반복한다. 이러한 단계들이 끝난 다음, 새로운 중간 영상(Sint)이 프레임 메모리 상에 발생된다(도 15a 참조). 여기서, 지금, N = (Ni + 1)이기 때문에, 단계(S17)에서 프로세서(1)는 지금은 아직 차량 모델 영상을 오버레이할 때가 아니라는 것을 결정한다. 이 경우, 단계(S27)에서, 프레임 메모리 상의 중간 영상(Sint)(도 15a 참조)은 그대로 후방 표시 영상(Srv)으로서 표시 장치(11)에 전송된다. 이에 따라서, 표시 장치(11)는 스크린 상에 후방 표시 영상(Srv)을 표시한다.
다음, N 이 아직 Np에 도달하지 않은 경우, 단계(S112)에서, 프로세서(1)는 카운터 값(N)을 1 만큼 증가시킨다. 절차는 그 다음 도 10의 단계(S12)로 복귀되어 단계 S12 내지 S24, 단계 S17, 단계 S27, 및 단계 S110과 S112를 카운터 값(N)이 Nj가 될 때까지 반복한다. 그 동안에, 도 19에 도시된 바와 같이, 표시 장치(11) 상에 도 15a에 도시된 바와 같은 후방 표시 영상(Srv)의 (Nj - Ni) 프레임이 표시된다.
후방 표시 영상(Srv)의 Nj번째 프레임이 단계 S110에서 전송되고, 카운터 값이 단계 S112에서 (Nj + 1)로 업데이트된 이후, 절차는 도 10의 단계 S12 내지 S24를 다시 반복한다. 이러한 단계들이 끝난 다음, 프레임 메모리 상에 다른 새로운 중간 영상(Sint)이 발생된다. 지금, N = (Nj + 1)이기 때문에, 프로세서(1)는 단계 S17에서 지금은 차량 모델 영상의 일부를 오버레이할 때라고 결정하지만, 단계 S25에서 차량 모델 영상(Mvhcs)은 아니라고 결정한다.
이 경우, 그 다음, 프로세서(1)는 차량 모델 영상(Mvhcm)이 이때 오버레이할 영상인지 아닌지를 결정한다(도 12의 단계 S113). "아니오"라고 결정한 경우, 절차는 단계 S28로 진행하고, 그렇지 않으면, 프로세서(1)가 차량 모델 영상(Mvhcm)이 이때 오버레이할 영상이라고 결정하는 단계 S114로 진행한다.
지금, N = (Nj + 1)이기 때문에, 절차는 단계 S114로 진행한다. 프로세서(1)는 프레임 메모리 상에서, 차량 모델 영상(Mvhcm)을 마스크 영역(Amsk) 상의 중간 포인트(Pmmd)(도 4d 참조) 상에 오버레이한다(도 17a 참조). 따라서, 후방 표시 영상(Srv)이 발생된다. 그 후, 절차는 도 11의 단계 S27로 진행하고, 따라서 표시 장치(11)는 상기 후방 표시 영상(Srv)을 도 17a에 도시한 바와 같이 스크린 상에 표시한다. 그 다음, 절차는 단계 S12 내지 S24, 단계 S17, 단계 S25, 단계 S113과 S114, 단계 S27, 및 단계 S111과 S112를 카운터 값(N)이 Nk가 될 때까지 반복한다. 그 동안에, 도 19에 도시된 바와 같이, 표시 장치(11) 상에 도 17a와 같은 후방 표시 영상(Srv)의 (Nk - Nj)프레임이 표시된다.
후방 표시 영상(Srv)의 Nk번째 프레임이 단계(S27)에서 전송되고, 카운터 값(N)이 단계 S112에서 (Nk + 1)로 업데이트된 이후에, 절차는 도 10의 단계 S12로 복귀한다. 그 다음, 카운터 값(N)이 Nm이 될 때까지, 프로세서(1)는 카운터 값(N)이 (Ni + 1)과 Nj 사이의 범위에 있었던 기간에서와 동일한 처리를 실행한다. 그 동안에, 도 19에 도시된 바와 같이, 표시 장치(11) 상에 도 15a와 같은 후방 표시 영상(Srv)의 (Nj - Ni)프레임이 표시된다.
후방 표시 영상(Srv)의 Nm번째 프레임이 단계 S27에서 전송되고, 카운터 값(N)이 단계 S112에서 (Nm + 1)로 업데이트된 이후에, 절차는 도 10의 단계 S12 내지 S24를 다시 반복한다. 그 후, 프레임 메모리 상에 새로운 중간 영상(Sint)이 발생된다. 지금, N = (Nm + 1)이기 때문에, 프로세서(1)는 단계 S17에서 지금은 차량 모델 영상 중 어느 것를 오버레이할 때라고 결정하지만, 단계 S25에서 차량 모델 영상(Mvhcs)은 아니라고 결정하고, 단계 S113에서, 차량 모델 영상(Mvhcm)도 아니라고 결정한다.
이것은, 지금은 차량 모델 영상(Mvhcb)을 오버레이할 때라는 것을 말해주는 것으로, 절차는 단계 S28로 진행한다. 프로세서(1)는 작업 영역(3) 상에서 차량 모델 데이터(Dmdl)를 선택한다. 그 다음, 프로세서(1)는 프레임 메모리 상에서, 차량 모델 영상(Mvhcb)을 마스크 영역(Amsk) 상의 하부 포인트(Pbmd) 상에 오버레이한다(단계 S28). 단계 S28를 통과한 이후, 프레임 메모리 상에 후방 표시영상(Srv)이 발생된다(도 15b 참조). 여기서, 차량 모델 영상(Mvhcb)은 중간 영상(Sint) 상에 오버레이된다(도 15a 참조). 그 후, 절차는 도 11의 단계 S27로 진행하고, 따라서, 표시 장치(11)는 도 15b에 도시된 바와 같은 그러한 후방 표시 영상(Srv)을 스크린 상에 표시한다.
N이 아직 Np에 도달하지 않았기 때문에, 프로세서(1)는 단계 S112에서 카운터 값(N)을 1 만큼 증가시키고, 절차는 단계 S12 내지 S24, 단계 S17, 단계 S25, 단계 113, 단계 S27과 S28, 및 단계 S111과 S112를 카운터 값(N)이 Nm이 될 때까지 반복한다. 그 동안에, 도 19에 도시된 바와 같이, 표시 장치(11) 상에 도 15b와 같은 후방 표시 영상(Srv)의 (Nn - Nm)프레임이 표시된다.
후방 표시 영상(Srv)의 Nn번째 프레임이 단계 S27에서 전송되고, 카운터 값(N)이 단계 S112에서 (Nn + 1)로 업데이트된 이후에, 절차는 도 10의 단계 S12로 복귀한다. 그 다음, 카운터 값(N)이 Np가 될 때까지, 프로세서(1)는 카운터 값(N)이 (Ni + 1)과 Nj 사이의 범위에 있었던 기간에서와 동일한 처리를 실행한다. 그 동안에, 도 19에 도시된 바와 같이, 표시 장치(11) 상에 도 15a와 같은 후방 표시 영상(Srv)의 (Np - Nn)프레임이 표시된다.
후방 표시 영상(Srv)의 Np번째 프레임이 단계 S27에서 전송된 후, 절차는 단계 S111로 진행한다. 단계 S111에서, N이 Np에 도달했을 경우, 프로세서(1)는 단위 사이클이 지금 끝난 것으로 결정한다. 따라서, 절차는 단계 S29로 진행한다. 프로세서(1)는 그 다음 지금이 후방 감시 모드를 종료할 때인지를 결정한다(단계 S29).
단계 S29에서, 후방 감시 모드를 종료할 때를 조사하기 위하여, 전방 감시 모드에서와 동일한 방법이 적용되므로, 다시 기술하지는 않는다. 단계 S29에서 아직 "아니오"라고 결정된 경우, 절차는 단계 S11로 복귀되어 동일한 처리를 위해 다시 카운터 값(N)을 1로 리셋한다. 이것은 새로운 단위 사이클을 시작한다는 것을 의미하고, 도 19에 도시된 바와 같은 후방 표시 영상(Srv)이 표시 장치(11)의 스크린 상에 표시된다. 반면, 단계 S29에서 "예"라고 결정된 경우, 이것은 도 10 내지 도 12의 처리의 종료를 나타낸다.
도 10 내지 도 12의 처리를 종료하여, 운전 보조 장치(Uast1)는 운전자에게 운전자의 보이지 않는 영역(Arlb와 Arrb)을 나타내는 후방 표시 영상(Srv)을 표시함으로써 차량의 운전자(Vusr)를 돕는다(도 5 참조). 여기서, 전방 표시 영상(Sfv)에서와 마찬가지로, 후방 표시 영상(Srv) 또한 도 19에 도시된 바와 같이 크기가 다른 차량 모델 영상(Mvhcb, Mvhcs, Mvhcs) 중 어떤 것을 포함하고, 카운터 값(N)은 어느 차량 모델 영상인지를 결정한다. 여기서, 이러한 차량 모델 영상들을 이용하여, 차량(Vusr)이 마치 후방으로 움직이는 것 같은 동영상이 후방 표시 영상(Srv)으로 생성되고, 이는 전방 표시 영상(Sfv)에 반대된다. 따라서, 후방 표시 영상(Sfr)이 전방 표시 영상(Sfv)와 함께 이용되는 경우, 운전자는 전방 표시 영상(Sfv)이 차량 모델 영상의 이동에 따라서 지금 표시 장치(11) 상에 있다는 것을 바로 인식한다.
이러한 후방 표시 영상(Srv)에서, 부분적인 후방 왼쪽 영상(Sprl)과 부분적인 후방 오른쪽 영상(Sprr)이 마스크 영상(Smsk) 상의 좌측과 우측 표시 영역(Aldp와 Ardp)에 각각 오버레이된다. 또한, 이러한 마스크 영역(Smsk) 상의 좌측과 우측 표시 영역(Aldp와 Ardp) 사이에 형성된 중앙 마스크 영역(Acmsk)에, 예를 들어 차량 모델 영상(Mvhcb)이 오버레이된다. 따라서, 운전자는 부분적인 후방 왼쪽 영상(Sprl)과 부분적인 후방 오른쪽 영상(Sprr) 중 어느 영상이 차량(Vusr)의 어떤 쪽을 나타내는지를 바로 인식하게 된다.
상기에 기술한 바와 같이, 후방 감시 모드는 실례로 차량(Vusr)이 주차 공간에서 나가기 위하여 후진할 때 실행되다. 이에 제한되지 않고, 후방 감시 모드는 차량(Vusr)이 예를 들어 후진할 때마다 실행될 수 있다.
상기와 같이, 영상 캡처 장치(4와 5)는 전방 왼쪽 영상(Sfl)과 전방 오른쪽 영상(Sfr)을 각각 포착하고, 영상 캡처 장치(6와 7)는 후방 왼쪽 영상(Srl)과 후방 오른쪽 영상(Srr)을 각각 포획한다. 이것에 제한되지 않고, 도 20에 도시된 바와 같이, 차량(Vusr)의 전방의 영상 캡처 장치(4')와 차량(Vusr)의 후방의 영상 캡처 장치(5')가 이용될 수 있다. 이 경우, 영상 캡처 장치(4')에는 광각(廣角) 렌즈가 제공되어, 적어도 도 5를 참조하여 설명된 보이지 않는 영역(Aflb와 Afrb)의 모두를 나타내는 전방 영상(Sflb)을 포착하는 것이 바람직하다. 전방 표시 영상(Sfv)을 발생하기 위하여, 프로세서(1)는 전방 영상(Sflr)으로부터 부분적인 전방 왼쪽 영상(Spfl)과 부분적인 전방 오른쪽 영상(Spfr) 모두를 컷아웃하여 좌측 표시 영역(Aldp)과 우측 표시 영역(Ardp) 상에 각각 오버레이한다. 영상 캡처 장치(6')에는 또한 도 20에 도시된 바와 같이 광각 렌즈가 제공되어, 적어도 보이지 않는 영역(Arlb와 Arrb) 모두를 나타내는 후방 영상(Srlf)을 포착하는 것이 바람직하다.
또한, 상기의 중간 영상(Sint)은 부분적인 전방 왼쪽 영상(Spfl)과 부분적인 전방 오른쪽 영상(Spfr)을 좌측 표시 영역(Aldp)과 우측 표시 영역(Ardp) 상에 오버레이하여 발생된 영상이다(자세하게는 도 7의 단계 S13 내지 S16 참조). 이것에 제한되지 않고, 영상 처리에서의 종래의 감시 장치에서와 동일하게, 마크스 영상(Smsk)(도 3 참조)을 단일 영상 상에 오버레이하여 중간 영상(Sint)이 발생될 수 있고, 여기서, 전방 왼쪽 영상(Sfl)과 전방 오른쪽 영상(Sfr)은 그 사이에 공간 없이 서로 결합된다.
또한, 상기에서, 차량 모델 영상은 운전자가 디스플레이 상의 현재 영상이 어느 방향을 나타내는지를 인식하는 것을 돕는다. 여기서, 차량 모델 영상은 이에 제한되지 않고, 모양이 더 간단한 어떤 영상도 방향을 나타내기 위해 아주 정확하게 동작할 것이다.
도 21을 참조하여, 다음에는 그 안에 통합된 렌더링 장치(Urnd2)를 갖는 운전 보조 장치(Uast2)에 대하여 설명된다. 여기서, 렌더링 장치(Urnd2)는 렌더링 장치(Urnd1)의 변형된 형태이다. 도 21에서, 상기 장치간의 유일한 차이는 프로그램 메모리(2)의 대안으로서 렌더링 장치(Urnd2)에 제공되는 프로그램 메모리(21)이다. 따라서, 동일한 구성 요소에는 동일한 부호를 붙이고, 이의 설명을 생략한다. 운전 보조 장치(Uast2)에 관해서, 그 안의 입력 장치는 동작 버튼(9와 10) 대신에 제공된 동작 버튼(13)과 부가적으로 제공된 기어 센서(14)를 갖는다. 이 외에, 운전 보조 장치(Uast1와 Uast2)는 구조적으로 동일하여, 동일한 구성 요소는 동일한 부호를 붙이고, 이의 설명은 여기서 생략한다.
프로그램 메모리(21)는 ROM(Read Only Memory)으로 대표되고, 도 2에 도시된 바와 같이, 렌더링 프로그램(Prnd2)를 기억하고 있다. 프로그램 메모리(21)는 또한 마스크 데이터(Dmsk)와 차량 모델 데이터(Dmdb, Dmdm, Dmds)를 포함하고, 상기 모든 데이터는 렌더링 프로그램(Prnd2)를 실행할 때에 필요하다. 이의 상세한 내용에 대해서는 상기 기술 내용을 참조하라.
도 21에서, 입력 장치(8)에는 명령 신호에 응답하여 전방 감시 모드(도 23의 단계 S2) 또는 후방 감시 모드(도 23의 단계 S4) 중 하나를 시동시키는 누름 단추인 동작 버튼(13)이 제공된다. 운전자가 운전 보조 장치(Uast2)로부터 표시 영상(전방 표시 영상(Sfv) 또는 후방 표시 영상(Srv))을 보기를 원할 때, 운전자는 상기 동작 버튼(13)을 누른다. 상기 누름에 응답하여, 입력 장치(8)는 명령 신호(Ifrm)를 프로세서(1)에 전송하여 전방 감시 모드 또는 후방 감시 모드 중 하나를 개시하도록 명령한다.
본 발명의 운전 보조 장치(Uast2)를 갖는 차량을 운전할 때, 운전자는 기어시프트를 이동하여 기어를 상위 또는 하위로 이동시킨다. 기어시프트가 어떤 기어에 있는지를 검출하기 위하여 기어 센서(14)가 제공된다. 이에 의해 검출된 결과에 따라서, 기어 센서(14)는 프로세서(1)로 전송시키기 위하여 기어시프트가 어떤 기어에 있는지를 나타내는 기어시프트 신호(Isp)를 발생시킨다.
다음에, 상기 운전 보조 장치(Uast2)의 동작이 설명된다. 운전 보조 장치(Uast2)가 ON 되면, 프로세서(1)는 렌더링 프로그램(Prnd2)을 실행시키기 시작하고, 동시에 마스크 데이터(Dmsk)와 차량 모델 데이터(Dmdb, Dmdm, Dmds)를 작업영역(3)으로 판독하여 준다.
어떤 신호를 수신하면, 프로세서(1)는 도 23의 주요 흐름도의 처리를 실행하기 시작한다. 도 6의 주요 흐름도와 비교해서, 단계 S31과 S32는 단계 S1과 S3 대신 새롭게 포함된다. 이 외에, 이들 두 주요 흐름도는 동일하므로, 동일한 단계는 동일한 번호를 부여하여, 이의 설명을 생략한다.
도 23에서, 프로세서(1)는 먼저 수신된 신호가 명령 신호(Ifrm)인지 아닌지를 결정한다(단계 S31). "아니오"로 결정되면, 도 23의 처리가 종료된다. "예"로 결정되면, 프로세서(1)는 운전자가 지금 전방 표시 영상(Sfv) 또는 후방 표시 영상(Srv)이 필요하다는 것으로 해석한다. 그 다음, 절차는 단계 S32로 진행한다.
단계 S32에서, 명령 신호(Ifrm)는 프로세서(1)가 어느 표시 영상이 필요한지를 상술하기에 충분한 단서가 아니다. 따라서, 프로세서(1)는 기어 센서(14)로부터 기어시프트 신호(Isp)를 수신하여 기어시프트가 어떤 기어에 있는지를 알게 되고, 그 다음 차량(Vusr)이 지금 전진하고 있는지 후진하고 있는지를 결정한다(단계 S32). 차량이 전진하고 있다고 결정하면, 프로세서(1)는 전방 감시 모드를 실행한다(단계 S2). 후진하고 있다고 결정하면, 반면, 후방 감시 모드를 실행한다(단계 S4).
상기 제 1 실시예에는, 운전자가 원하는 표시 영상에 따라서 누름 단추의 운전자 선택을 위하여 제공된 두 개의 동작 버튼(9와 10)이 있다. 그렇게 때문에, 운전 보조 장치(Uast1)에서, 운전자는 여러 버튼을 선택적으로 동작시켜야 한다. 이번 변형된 실례에서는, 기어 센서(14)로부터의 기어시프트 신호(Isp)에 기초하여프로세서(1)에 대하여 왼쪽이 선택된다. 그러므로, 운전자는 단지 하나의 동작 버튼(13)만을 눌러서 전방 표시 영상(Sfv) 또는 후방 표시 영상(Srv) 중 하나를 얻게 되고, 모두 운전자의 요구를 충족시키게 된다. 상기에 알려진 바와 같이, 기어 센서(14)를 사용하여, 운전 보조 장치(Uast2)는 훨씬 운전에 도움이 될 수 있다.
도 24는 본 발명의 제 2 실시예에 따른 렌더링 장치(Urnd3)의 하드웨어 구조를 나타내는 블럭도이다. 도 24에서, 렌더링 장치(Urnd3)는 표시 장치(23) 상의 표시를 위하여 운전 보조용 영상(이후에 설명될 측면 표시 영상(Sdp1과 Sdp2))을 발생시킨다. 렌더링 장치(Urnd3)는 프로세서(15), 프로그램 메모리(16) 및 작업 영역(17)을 포함한다.
프로그램 메모리(16)는 ROM으로 대표되고, 도 25a에 도시된 바와 같이, 렌더링 프로그램(Prnd3)을 기억하고 있다. 프로그램 메모리(16)는 또한 제 1 및 제 2 목적 데이터(Dobj1과 Dobj2)를 포함하고, 상기 데이터는 모두 렌더링 프로그램(Prnd3)을 실행시킬 때에 필요하다.
상기 제 1 목적 데이터(Dobj1)는 제 1 측면 표시 영상(Sdp1)을 발생시키기 위하여 사용되고, 도 25b에 도시된 바와 같이, 제 1 장치 식별 데이터(Did1), 제 1 마스크 데이터(Dmsk1), 제 1 차량 모델 데이터(Dmd1) 및 제 1 방향 데이터(Dind1)로 구성된다. 여기서, 제 1 장치 식별 데이터(Did1)는 식별을 위하여 영상 캡처 장치(18)에 미리 할당된 식별 번호(N1d1)를 나타낸다. 제 1 마스크 데이터(Dmsk1)는 해칭된 영역으로 도 16a에 도시된 바와 같은 제 1 마스크 영역(Amsk1)의 영상을 나타낸다(지금부터, 제 1 마스크 영상(Smsk1)으로 언급함). 상세하게는, 제 1 마스크 영역(Amsk1)은 제 1 표시 영역(Adp1), 제 1 차량 모델 오버레이 영역(Amd1), 및 제 1 인디케이터 오버레이 영역(Aind1)으로 구성되고, 모두는 위치상 미리 결정된다. 도 26b에 도시된 바와 같이, 제 1 표시 영역(Adp1)은 부분적인 왼쪽 후방 영상(Splf)(나중에 설명함)이 오버레이되는 영역이고, 이번 실시예에서는 가정으로 표시 장치(23)의 스크린의 거의 좌측을 차지한다. 제 1 차량 모델 오버레이 영역(Amd1)은 제 1 차량 모델 영상(Mvhc1)(나중에 설명함)이 오버레이되는 영역이다. 이번 실시예에서, 그 위치는 실례로 표시 장치(23)의 스크린의 상부 오른쪽이다. 제 1 인디케이터 오버레이 영역(Aind1)은 제 1 인디케이터 영상(Mind1)(나중에 설명함)이 오버레이되는 영역이고, 이번 실시예에서는, 실례로 표시 장치(23)의 스크린 상의 제 1 표시 영역(Adp1)과 제 1 차량 모델 오버레이 영역(Amd1) 사이에 위치한다.
제 1 차량 모델 데이터(Dmd1)는 도 26b에 도시된 바와 같이 위에서 보이는 차량의 영상을 나타낸다(지금부터, 제 1 차량 모델 영상(Mvhc1)로 언급함). 제 1 방향 데이터(Dind1)는 부분적인 왼쪽 전방 영상(Splf)이 지금 어느 방향을 나타내는지를 표시하는 인디케이터의 영상을 나타낸다(상기 영상은 제 1 인디케이터 영상(Mind1)으로 언급된다). 이 실시예에서, 제 1 인디케이터 영상(Mind1)은 이등변 삼각형의 모양이다(도 26b의 점이 찍힌 부분). 보다 구체적으로, 상기 이등변 삼각형은 제 1 차량 모델 영상(Mvhc1)의 좌측의 도어 거울에 정점을 갖는다. 또한, 동일한 길이의 이등변 삼각형의 양측은 부분적인 왼쪽 전방 영상(Splf) 방향으로 넓어지고 있다.
제 2 목적 데이터(Dobj2)는 제 2 측면 표시 영상(Sdp2)를 발생하기 위하여 사용되고, 도 25c에 도시된 바와 같이, 제 2 장치 식별 데이터(Did2), 제 2 마스크 데이터(Dmsk2), 제 2 차량 모델 데이터(Dmd2), 및 제 2 방향 데이터(Dind2)로 구성된다. 여기서, 제 2 장치 식별 데이터(Did2)는 식별을 위해 영상 캡처 장치(19)에 미리 할당된 식별 번호(Nid2)를 나타낸다. 제 2 마스크 데이터(Dmsk2)는 해칭된 영역(hatched area)으로 도 27a에 도시한 바와 같은 제 2 마스크 영역(Smsk2)를 나타낸다(지금부터, 제 2 마스크 영상(Smsk1)으로 언급함). 상세히 말해서, 제 2 마스크 영역(Amsk2)은 제 2 표시 영역(Adp2), 제 2 차량 모델 오버레이 영역(Amd2), 및 제 2 인디케이터 오버레이 영역(Aind2)를 포함하고, 모두 위치상 미리 결정된다. 도 27b에 도시된 바와 같이, 제 2 표시 영역(Adp2)은 부분적인 왼쪽 후방 영상(Splr)(나중에 설명함)이 오버레이되는 영역이고, 이번 실시예에서 가정으로, 표시 장치(23) 스크린의 거의 좌측을 차지한다. 제 2 차량 모델 오버레이 영역(Amd2)은 제 2 차량 모델 영상(Mvhc1)이 오버레이되는 영역이다. 이번 실시예에서, 그 위치는 실례로 표시 장치(23) 스크린의 하부 오른쪽이다. 제 2 인디케이터 오버레이 영역(Aind2)는 제 2 인디케이터 영상(Mind2)(나중에 설명함)이 오버레이되는 영역이고, 이번 실시예에서, 실례로 표시 장치(23) 스크린 상의 제 2 표시 영역(Adp2)과 제 2 차량 모델 오버레이 영역(Amd2)의 사이에 위치한다.
제 2 차량 모델 데이터(Dmd2)는 제 2 차량 모델 영상(Mvhc2)을 나타내고, 상기 영상은 제 1 차량 모델 영상(Mvhc1)과 동일하게 보인다(도 27b 참조). 제 2 방향 데이터(Dind2)는 부분적인 왼쪽 후방 영상(Splr)이 지금 어느 방향을 나타내는지를 표시하는 인디케이터의 영상을 나타낸다(상기 영상은 제 2 인디케이터 영상(Mind2)으로 언급된다). 이번 실시예에서, 제 2 인디케이터 영상(Mind2)은 이등변 삼각형의 모양이다(도 27b의 점이 찍힌 부분). 보다 구체적으로, 상기 이등변 삼각형은 제 2 차량 모델 영상(Mvhc2)의 좌측의 도어 거울에 정점을 갖는다. 또한, 동일한 길이의 이등변 삼각형의 양측은 부분적인 왼쪽 후방 영상(Splr) 방향으로 넓어지고 있다.
도 24를 다시 참조하여, 작업 영역(17)은 RAM(Random Access Memory)로 대표되고, 프로세서(15)가 렌더링 프로그램(Prnd3)을 실행할 때 사용된다. 상기 구조의 렌더링 장치(Urnd3)는 통상적으로 운전 보조 장치(Uast3)에 포함되고, 프로세서(15)는 영상 캡처 장치(18과 19), 입력 장치(20), 및 표시 장치(23)에 통신이 가능하게 접속되고, 모두는 운전 보조 장치(Uast3)에 포함된다. 특히, 이 운전 보조 장치(Uast3)는 도 28의 차량(Vusr)에 장착되고, 그 안의 영상 캡처 장치(18)가 차량(Vusr)의 왼쪽 전방측을 담당하고, 영상 캡처 장치(19)가 차량의 왼쪽 후방측을 담당한다.
도 28에 도시된 바와 같이, 영상 캡처 장치(18)는 차량(Vusr)의 좌측에 위치하여 외부에서 왼쪽 전방측으로 향해있다. 보다 바람직하게는, 영상 캡처 장치(18)는 운전자가 운전석에 앉았을 때 운전자가 볼 수 없는, 점선으로 표시된 영역(Alfb)으로 향하도록 배치된다. 여기서, 영상 캡처 장치(18)에 의해 차량(Vusr) 주변의 영상이 캡처되고, 특히, 보이지 않는 영역(Alfb)을 나타내는 왼쪽 전방 영상(Slf)이 캡처된다. 동일하게, 영상 캡처 장치(19)는 또한 차량(Vusr)의 좌측에 배치되어 외부에서 왼쪽 후방측으로 향해있다. 보다 바람직하게는, 영상 캡처 장치(19)는 점선으로 나타내어진 운전자가 볼 수 없는 영역(Alrb)으로 향하도록 놓인다. 여기서, 또한 영상 캡처 장치(19)에 의해 차량(Vusr)의 주위 영상, 특히 보이지 않는 영역(Alrb)을 나타내는 왼쪽 전방 영상(Slr)이 캡처된다. 상기 영상 캡처 장치(18과 19)에는 서로 다른 식별 번호(Nid1과 Nid2)가 할당되어, 그들 사이의 혼동을 피할 수 있다. 운전 보조 장치(Uast3)에 제공된 영상 캡처 장치의 수는 이들 2개로 제한되지 않고, 차량(Vusr)의 오른쪽 전방, 오른쪽 후방, 전방 오른쪽, 및 후방 오른쪽을 커버할 수 있도록 많을 수 있다는 것에 주목하자.
도 24에서, 입력 장치(20)는 적어도 동작 버튼(21과 22)을 포함한다. 동작 버튼(21)을 누름으로써 명령 신호(Ilfm)에 응답하여 왼쪽 전방 감시 모드가 시작되고(도 29의 단계 S42), 동작 버튼(22)을 누름으로써 명령 신호(Ilrm)에 응답하여 왼쪽 후방 감시 모드가 시작된다(도 29의 단계 S44). 통상적으로, 운전자가 보이지 않는 영역(Alfb)에 대하여 알고 싶을 때, 예를 들면, 차량(Vusr)을 주차할 때, 동작 버튼(21)이 운전자에 의해 눌러진다(도 28 참조). 그에 대한 응답으로, 입력 장치(20)은 프로세서(15)에게 왼쪽 전방 감시 모드를 개시하도록 명령하기 위하여 프로세서(15)로의 전송을 위한 명령 신호(Ilfm)를 발생시킨다. 여기서, 상기 명령 신호(Ilfm)는 상기에 기술된 식별 번호(Ndi1)를 포함한다. 반면, 운전자는 차량(Vusr)을 후진시키기 전에 바로 동작 버튼(22)를 누른다. 응답으로, 입력 장치(20)는 프로세서(15)에게 왼쪽 후방 감시 모드를 개시하도록 명령하기 위하여 프로세서(15)로의 전송을 위한 식별 번호(Nid2)를 포함하는 명령 신호(Ilrm)를 발생시킨다.
여기서, 도 24에서, 표시 장치(23)는 대표적으로 액정 표시 장치이고, 프로세서(15)에 의해 발생된 제 1 및 제 2 측면 표시 영상(Sdp1과 Sdp2)을 스크린 상에 표시한다.
다음에, 흐름도인 도 29 내지 도 31을 참조하여 상기 운전 보조 장치(Uast3)의 동작을 설명한다. 운전 보조 장치(Uast3)가 ON 되면, 프로세서(15)는 렌더링 프로그램(Prnd3)을 실행시키기 시작하고, 동시에 제 1 및 제 2 목적 데이터(Dobj1과 Dobj2)를 작업 영역(17)에 판독시킨다.
어떤 신호가 수신되면, 프로세서(15)는 도 29의 주요 흐름도의 처리를 실행하기 시작한다. 프로세서(15)는 먼저 수신된 신호가 명령 신호(Ilfm)인지 아닌지를 결정한다(단계 S41). "예"로 결정되면, 프로세서(15)는 왼쪽 전방 감시 모드를 실행시키고(단계 S42), 그렇지 않으면, 절차는 단계 S43로 진행하며, 상기 단계는 후술할 것이다.
지금, 운전자가 차량(Vusr)의 왼쪽 전방측이 어떤 상태인지를 알 필요가 있다고 가정하자. 이 경우, 운전자는 동작 버튼(21)을 누르고, 입력 장치(20)는 응답으로 명령 신호(Ilfm)를 프로세서(15)에 전송한다. 단계 S41에서 프로세서(15)는 그 다음 상기 명령 신호(Ilfm)가 수신되었는지를 결정하여, 왼쪽 전방 감시 모드를 실행한다. 왼쪽 전방 감시 모드에서, 운전자의 운전을 돕기 위하여 제 1 측면 표시 영상(Sdp1)이 발생되고, 상세한 절차는 도 30에 도시되어 있다.
도 30에서, 프로세서(15)는 먼저 수신된 명령 신호(Ilfm)로부터 식별번호(Nid1)를 추출한다. 그 다음, 프로세서(15)는 작업 영역(3)에서 제 1 목적 데이터(Dobj1)를 선택한다(단계 S51). 이것은 상기 제 1 목적 데이터(Dobj1)가 추출된 식별 번호(Nid1)를 제 1 장치 식별 데이터(Did1)로서 포함하는 것이기 때문이다. 그 후, 상기 제 1 목적 데이터(Dobj1)로부터, 프로세서(15)는 제 1 마스크 데이터(Dmsk1)를 추출하여, 작업 영역(17)에 저장되어 있는 프레임 메모리(도시하지 않음)에 기억시킨다(단계 S52). 단계 S52가 끝난 이후, 프레임 메모리 상에 제 1 마스크 영상(Smsk1)만이 발생된다(도 26a 참조).
식별 번호(Nid1)가 추출되었기 때문에, 그 다음 프로세서(15)는 적용 가능한 영상 캡처 장치(18)가 왼쪽 전방 영상(Slf)을 캡처하도록 명령한다. 영상 캡처 장치(18)는 응답으로 도 32a에 도시된 바와 같은 왼쪽 전방 영상(Slf)을 캡처하여, 작업 영역(17)에 저장한다. 그에 따라서, 프로세서(15)는 차량(Vusr)에 대한 왼쪽 전방 영상(Slf)을 수신한다(단계 S53).
그 다음, 프로세서(15)는 단계 S53에서 수신된 왼쪽 전방 영상(Slf)에서 도 32b에 도시된 바와 같은 부분적인 왼쪽 전방 영상(Splf)을 컷아웃한다. 여기서, 부분적인 왼쪽 전방 영상(Splf)은 왼쪽 전방 영상(Slf)이 있는 제 1 표시 영역(Adp1) 상에 오버레이된 영상이다(도 26a 참조).
그 다음, 프레임 메모리 상에서, 프로세서(15)는 컷아웃된 부분적인 왼쪽 전방 영상(Splf)을 제 1 표시 영역(Adp1) 상에 오버레이한다(단계 S55). 단계 S55를 끝낸 후, 프레임 메모리 상에 중간 영상이 발생되고, 여기서 부분적인 왼쪽 전방 영상(Splf)이 제 1 마스크 영상(Smsk1)의 제 1 표시 영역(Adp1) 상에 오버레이된다.
단계 S51에서 선택된 제 1 목적 데이터(Dobj1)로부터, 프로세서(15)는 제 1 차량 모델 데이터(Dmd1)와 제 1 방향 데이터(Dind1)를 추출한다. 그 다음, 단계 S55에서 발생된 중간 영상에 대하여, 프로세서(15)는 추출된 제 1 차량 모델 데이터(Dmd1)에 의해 표현되는 제 1 차량 모델 영상(Mvhc1)을 제 1 마스크 영상(Smsk1)의 제 1 차량 오버레이 영역(Amd1) 상에 오버레이한다. 또한, 프로세서(15)는 추출된 제 1 방향 데이터(Dind1)에 의해 표현되는 제 1 인디케이터 영상(Mind1)을 제 1 마스크 영상(Smsk1)의 제 1 인디케이터 영역(Aind1) 상에 오버레이한다(단계 S56). 단계 S56을 통과한 후, 프레임 메모리 상에 제 1 측면 표시 영상(Sdp1)이 발생되고, 부분적인 왼쪽 전방 영상(Splf), 제 1 차량 모델 영상(Mvhc1), 및 제 1 인디케이터 영상(Mind1)이 제 1 마스크 영상(Smsk1) 상에 오버레이된다(도 32c 참조).
그 후, 프로세서(15)는 프레임 메모리 상의 제 1 측면 표시 영상(Sdp1)을 표시 장치(23)로 전송한다(단계 S57). 상기 표시 장치(23)는 이에 따라서 제 1 표시측 영상(Sdp1)을 스크린 상에 표시한다.
그 다음, 프로세서(15)는 지금이 왼쪽 전방 감시 모드를 종료할 시기인지를 결정한다(단계 S58). 여기서, 왼쪽 전방 감시 모드를 종료할 때를 조사하기 위하여, 단계 S116(도 8 참조)에 대하여 설명된 것과 동일한 방법이 적용될 수 있다. 단계 S58에서 아직 "아니오"로 결정된 경우, 절차는 단계 S52로 복귀하여 동일한 처리를 다시 통과함으로써 새로운 제 1 측면 표시 영상(Sdp1)을 발생시킨다. 반면, "예"로 결정된 경우, 도 30의 처리의 종료가 된다.
차량(Vusr)의 전방 좌측 주위의 운전자가 볼 수 없는 영역을 커버하는 제 1 측면 표시 영상(Sdp1)을 운전자에게 표시함으로써, 운전 보조 장치(Uast3)는 운전하는 운전자에게 도움을 준다. 여기서, 도 32c에 도시된 바와 같이, 표시 장치(23) 스크린 상의 상부 왼쪽에 부분적인 왼쪽 전방 영상(Splf), 하부 오른쪽에 제 1 차량 모델 영상(Mvhc1), 및 제 1 차량 모델 영상(Mvhc1)의 도어 거울에 정점을 갖는 이등변 삼각형 모양의 제 1 인디케이터 영상(Mind1)이 표시된다. 여기서, 동일한 길이의 이등변 삼각형의 양변은 부분적인 왼쪽 전방 영상(Splf) 방향으로 넓어진다. 따라서, 제 2 측면 표시 영상(Sdp2)(나중에 설명함)이 제 1 표시측 영상(Sdp1)과 함께 이용 가능할 경우, 운전자는 그 사이에서 혼동하지 않을 수 있다. 즉, 표시된 제 1 인디케이터 영상(Sind1)으로, 운전자는 운전자가 지금 보고있는 영상이 차량(Vusr)의 전방 좌측을 커버하고 있다는 것을 바로 인식할 수 있다.
이미 기술한 바와 같이, 도 29의 단계 S41에서 수신된 신호가 명령 신호(Ilfm)가 아닌 것으로 결정되면, 프로세서(15)는 명령 신호(Ilrm)인지를 확인한다(단계 S43). "아니오"로 결정되면, 도 29의 처리는 종료된다. 반면, "예"로 결정되면, 프로세서(15)는 왼쪽 후방 감시 모드를 실행한다(단계 S44).
지금, 운전자가 수평 주차를 위하여 차량(Vusr)을 후진시키고 있다고 가정하자. 이 경우, 운전자는 동작 버튼(22)을 누르고, 입력 장치(20)는 응답으로 명령 신호(Ilrm)을 프로세서(15)에 전송한다. 그 다음, 프로세서(15)는 단계 S43에서 명령 신호(Ilrm)가 수신되었는지를 결정하여, 왼쪽 후방 감시 모드를 실행한다.후방 왼쪽 감시 모드에서, 운전자의 운전을 돕기 위하여 제 2 표시측 영상(Sdp2)이 발생되고, 상세한 절차는 도 31에 도시된다.
도 31에서, 프로세서(15)는 먼저 수신된 명령 신호(Ilrm)로부터 식별 번호(Nid2)를 추출한다. 그 다음, 프로세서(15)는 작업 영역(17)에서 제 2 목적 데이터(Dobj2)를 선택한다(단계 S61). 이것은 상기 제 2 목적 데이터(Dobj2)가 추출된 식별 번호(Nid2)를 제 2 장치 식별 데이터(Did2)로서 포함하기 때문이다. 그 후, 제 2 목적 데이터(Dobj2)로부터, 프로세서(15)는 작업 영역(17)에 보존되는 프레임 메모리(도시하지 않음) 내의 기억을 위하여 제 2 마스크 데이터(Dmsk2)를 추출한다(단계 S62). 단계 S62가 끝난 다음, 프레임 메모리 상에 제 2 마스크 영상(Smsk2)만이 발생된다(도 27a 참조).
식별 번호(Nid2)가 추출되었기 때문에, 프로세서(15)는 적용할 수 있는 영상 캡처 장치(19)가 왼쪽 후방 영상(Slr)을 캡처하도록 명령한다. 영상 캡처 장치(19)는 응답으로 작업 영역(17)에 기억하기 위하여 도 33a에 도시된 바와 같은 왼쪽 후방 영상(Slr)을 캡처한다. 이에 따라, 프로세서(15)는 차량(Vusr)에 대한 왼쪽 후방 영상(Slr)을 수신한다.
그 다음, 프로세서(15)는 단계 S63에서 수신된 왼쪽 후방 영상(Slr)에서 도 33b에 도시된 바와 같은 부분적인 왼쪽 후방 영상(Splr)을 컷아웃한다. 여기서, 상기 부분적인 왼쪽 후방 영상(Splr)은 왼쪽 후방 영상(Slr)의 제 2 표시 영역(Adp2)상에 가상으로 오버레이된 일부분이다(도 27a 참조).
그 다음, 프레임 메모리 상에서, 프로세서(15)는 컷아웃된 부분적인 왼쪽 후방 영상(Splr)을 제 2 표시 영역(Adp2) 상에 오버레이한다(단계 S56). 단계 S56을 마친 이후, 프레임 메모리 상에 중간 영상이 발생되고, 여기서, 부분적인 왼쪽 후방 영상(Splr)이 제 2 마스크 영상(Smsk2)의 제 2 표시 영역(Adp2) 상에 오버레이된다.
단계 S61에서 선택된 제 2 목적 데이터(Dobj2)로부터, 프로세서(15)는 제 2 차량 모델 데이터(Dmd2)와 제 2 방향 데이터(Dind2)를 추출한다. 그 다음, 프로세서(15)는 추출된 제 2 차량 모델 데이터(Dmd2)에 의해 나타내어지는 제 2 차량 모델 영상(Mvhc2)을 제 2 마스크 영상(Smsk2)의 제 2 차량 오버레이 영역(Amd2) 상에 오버레이한다. 또한, 프로세서(15)는 추출된 제 1 방향 데이터(Dind1)에 의해 나타내어지는 제 1 인디케이터 영상(Mind1)을 제 1 마스크 영상(Smsk1)의 제 1 인디케이터 영역(Aind1) 상에 오버레이한다(단계 S66). 단계 S66을 끝낸 다음, 프레임 메모리 상에는 도 33c에 도시된 바와 같은 제 2 측면 표시 영상(Sdp2)이 발생된다.
이 후, 프로세서(15)는 프레임 메모리의 제 2 측면 표시 영상(Sdp2)을 표시 장치(23)로 전송한다(단계 S67). 표시 장치(23)는 이에 따라서 제 2 측면 표시 영상(Sdp2)을 스크린에 표시한다. 그 다음, 프로세서(15)는 단계 S58에서와 동일한 방법으로 지금이 왼쪽 후방 감시 모드를 종료할 시기인지를 결정한다(단계 S68). 단계 S68에서 아직은 "아니오"라고 결정되면, 절차는 단계 S62로 복귀하여 동일한 처리를 다시 통과함으로써 새로운 제 2 측면 표시 영상(Sdp2)을 발생시킨다. 반면, 단계 S68에서 "예"로 결정되면, 도 31의 처리는 종료된다.
운전자에게 차량(Vusr)의 왼쪽 후방측 주위의 운전자가 볼 수 없는 영역을커버하는 제 2 측면 표시 영상(Sdp2)을 표시함으로써, 운전 보조 장치(Uast3)는 운전자의 운전을 돕는다. 여기서, 도 33c에 도시된 바와 같이, 표시 장치(23) 스크린 상의 하부 왼쪽에 부분적인 왼쪽 후방 영상(Splr), 상부 오른쪽에 제 2 차량 모델 영상(Mvhc2), 및 제 2 차량 모델 영상(Mvhc2)의 도어 거울에 정점을 갖는 이등변 삼각형 모양의 제 2 인디케이터 영상(Mind2)이 표시된다. 여기서, 동일한 길이의 이등변 삼각형의 양변은 부분적인 왼쪽 전방 영상(Splf) 방향으로 넓어진다. 따라서, 제 2 측면 표시 영상(Sdp2)(나중에 설명함)이 제 1 측면 표시 영상(Sdp1)과 함께 이용 가능할 경우, 운전자는 그 사이에서 혼동하지 않을 수 있다. 즉, 표시된 제 2 인디케이터 영상(Sind2)으로, 운전자는 운전자가 지금 보고있는 영상이 차량(Vusr)이 왼쪽 후방측을 커버하고 있다는 것을 바로 인식할 수 있다.
여기서, 제 1 인디케이터 영상(Mind1)이 이등변 삼각형 모양이라는 것에 주목하자. 이것에 제한되지 않고, 부분적인 왼쪽 전방 영상(Splr)이 차량(Vusr)의 어느 쪽을 보여주고 있는지를 충분히 나타낼 수 있으면, 다른 어떤 모양의 영상도 아주 정확하게 동작할 것이다. 또한, 이것은 제 2 인디케이터 영상(Mind2)에 적용할 수 있다.
상기에서, 제 1 목적 데이터(Dobj1)는 제 1 차량 모델 데이터(Dmd1)를 포함한다. 이것에 제한되지 않고, 제 1 목적 데이터(Dobj1)는 도 34에 도시된 바와 같은 차량 모델 영상(Mds)을 표시하는 데이터, 즉, 운전석 주위의 후방 광경을 포함할 수 있다. 이것은 또한 제 2 목적 데이터(Dobj2)에 적용할 수 있다.
또한, 편의상, 운전 보조 장치(Uast3)는 상기에서 운전자에게 차량(Vusr)의왼쪽 전방과 왼쪽 후방측을 표시한다. 여기서, 측면 표시 영상(Sdp1)에 적용된 동일한 방법으로, 운전 보조 장치(Dast3)는 운전자에게 차량(Vusr)의 오른쪽 전방, 오른쪽 후방, 전방 왼쪽, 전방 오른쪽, 후방 왼쪽, 및 후방 오른쪽을 나타내는 영상을 발생시킬 수 있다.
상기 실시예에서, 렌더링 프로그램(Prnd1 내지 Prnd3)은 렌더링 장치(Urnd1 내지 Urnd3)에 각각 기억된다. 이것에 제한되지 않고, 이러한 프로그램들(Prnd1 내지 Prnd3)은 CD-ROM으로 대표되는 기록 매체에 분배되거나, 인터넷과 같은 통신 네트워크를 통하여 분배될 수 있다.
본 발명이 상세히 기술되는 반면, 전술한 설명은 모든 측면에서 설명되었고, 이제 제한되지 않는다. 본 발명의 범위를 벗어나지 않고 다양한 수정과 변형예가 고안될 수 있다는 것을 이해할 수 있을 것이다.
상기에 기술한 바와 같이, 본 발명의 렌더링 장치를 도입함으로써, 표시된 영상에 대하여 혼동을 주지 않고, 운전자에게 현재 차량의 어느 쪽이 운전 보조 장치에 의해 표시되고 있는지를 즉각적으로 인식할 수 있도록 전, 후방 표시 영상을 제공할 수 있다.

Claims (15)

  1. 운전을 돕기 위한 표시 영상을 발생시키는 렌더링 장치에 있어서,
    차량에 장착된 영상 캡처 장치로부터 차량 주위의 주변 영역을 커버하는 주변 영상을 수신하는 수신부 및
    상기 주변 영상이 어느 방향을 커버하는지를 나타내기 위해 인디케이터 영상을 주변 영상 상에 오버레이함으로써 표시 영상을 발생시키는 제 1 영상 오버레이부를 포함하는 것을 특징으로 하는 렌더링 장치.
  2. 제 1 항에 있어서,
    상기 수신부에 의해 수신된 주변 영상으로부터 부분적인 주변 영상으로서 미리 결정된 영역을 컷아웃하는 컷아웃부, 및
    상기 컷아웃부에 의해 컷아웃된 부분적인 주변 영상을 미리 준비된 마스크 영역 상에 오버레이함으로써 중간 영상을 발생시키는 제 2 영상 오버레이부를 추가로 포함하고,
    상기 제 1 영상 오버레이부는 상기 인디케이터 영상을 상기 제 2 영상 오버레이부에 의해 발생된 중간 영상 상에 오버레이하는 것을 특징으로 하는 렌더링 장치.
  3. 제 1 항에 있어서,
    상기 인디케이터 영상은 차량 모델의 형상이고,
    상기 제 1 영상 오버레이부는 인디케이터 영상이 마치 움직이고 있는 것처럼 동영상을 생성하는 방법으로 인디케이터 영상을 주변 영상에 오버레이하는 것을 특징으로 하는 렌더링 장치.
  4. 제 3 항에 있어서,
    상기 인디케이터 영상은 후방에서 본 차량 모델의 형상인 것을 특징으로 하는 렌더링 장치.
  5. 제 1 항에 있어서,
    상기 인디케이터 영상은 그래픽 형태이고,
    상기 제 1 영상 오버레이부는 인디케이터 영상이 마치 움직이고 있는 것처럼 동영상을 생성하는 방법으로 인디케이터 영상을 오버레이하는 것을 특징으로 하는 렌더링 장치.
  6. 제 1 항에 있어서,
    상기 영상 캡처 장치는 적어도 차량의 전방과 후방측에 배치되고,
    상기 차량의 전방측의 영상 캡처 장치는 차량의 주변 영상으로서 전방 영상을 캡처하고,
    상기 차량의 후방측의 영상 캡처 장치는 차량의 주변 영상으로서 후방 영상을 캡처하고,
    전방 감시 모드를 개시하기 위하여 제 1 동작 버튼이 외부에 제공되고,
    후방 감시 모드를 개시하기 위하여 제 2 동작 버튼이 외부에 제공되고,
    상기 제 1 동작 버튼을 누르는 것에 응답하여, 상기 수신부는 차량의 전방측에 배치된 영상 캡처 장치로부터 차량의 주변 영상으로서 전방 영상을 수신하고,
    상기 제 1 영상 오버레이부는 전방 영상이 어느 방향을 커버하는지를 나타내기 위하여 인디케이터 영상이 전방 영상 상에 오버레이되는 전방 표시 영상을 발생시키고,
    상기 제 2 동작 버튼을 누르는 것에 응답하여, 상기 수신부는 차량의 후방측에 배치된 영상 캡처 장치로부터 차량의 주변 영상으로서 후방 영상을 수신하며,
    상기 제 1 영상 오버레이부는 후방 영상이 어느 방향을 커버하는지를 나타내기 위하여 인디케이터 영상이 후방 영상 상에 오버레이되는 후방 표시 영상을 발생시키는 것을 특징으로 하는 렌더링 장치.
  7. 제 6 항에 있어서,
    상기 인디케이터 영상은 후방에서 본 차량 모델의 형상이고,
    상기 제 1 영상 오버레이부는,
    상기 제 1 동작 버튼을 누르는 것에 대한 응답으로 인디케이터 영상이 마치 위쪽으로 움직이고 있는 것처럼 동영상을 생성하는 방법으로 인디케이터 영상을 주변 영상 상에 오버레이하고,
    상기 제 1 동작 버튼을 누르는 것에 대한 응답으로 인디케이터 영상이 마치 아래쪽으로 움직이고 있는 것처럼 동영상을 생성하는 방법으로 인디케이터 영상을 주변 영상 상에 오버레이하는 것을 특징으로 하는 렌더링 장치.
  8. 제 1 항에 있어서,
    상기 영상 캡처 장치는 적어도 차량의 전방과 후방측에 배치되고,
    상기 차량의 전방측의 영상 캡처 장치는 차량의 주변 영상으로서 전방 영상을 캡처하고,
    상기 차량의 후방측의 영상 캡처 장치는 차량의 주변 영상으로서 후방 영상을 캡처하고,
    감시 모드를 개시하기 위하여 동작 버튼이 제공되고, 차량의 기어시프트가 현재 어떤 기어에 있는지를 검출하기 위하여 기어 센서가 제공되며,
    상기 동작 버튼이 눌려지고, 기어 센서가 차량이 전진하고 있다는 것을 검출할 때, 상기 수신부는 차량의 전방측의 영상 캡처 장치로부터 차량의 주변 영상으로서 전방 영상을 수신하며,
    상기 제 1 영상 오버레이부는 전방 영상이 어느 방향을 커버하는지를 나타내기 위하여 인디케이터 영상이 전방 영상 상에 오버레이되는 전방 표시 영상을 발생시키고,
    상기 동작 버튼이 눌려지고, 기어 센서가 차량이 후진하고 있다는 것을 검출할 때, 상기 수신부는 차량의 후방측의 영상 캡처 장치로부터 차량의 주변 영상으로서 후방 영상을 수신하며,
    상기 제 1 영상 오버레이부는 후방 영상이 어느 방향을 커버하는지를 나타내기 위하여 인디케이터 영상이 후방 영상 상에 오버레이되는 후방 표시 영상을 발생시키는 것을 특징으로 하는 렌더링 장치.
  9. 제 8 항에 있어서,
    상기 인디케이터 영상은 후방에서 본 차량 모델의 형상이고,
    상기 제 1 영상 오버레이부는,
    상기 동작 버튼이 눌려지고, 상기 기어 센서가 차량이 전진하고 있다고 검출할 때, 인디케이터 영상이 마치 위쪽으로 움직이고 있는 것처럼 동영상을 생성하는 방법으로 인디케이터 영상을 주변 영상 상에 오버레이하고,
    상기 동작 버튼이 눌려지고, 상기 기어 센서가 차량이 후진하고 있다고 검출할 때, 인디케이터 영상이 마치 아래쪽으로 움직이고 있는 것처럼 동영상을 생성하는 방법으로 인디케이터 영상을 주변 영상 상에 오버레이하는 것을 특징으로 하는 렌더링 장치.
  10. 제 1 항에 있어서,
    상기 인디케이터 영상은 그래픽 형태이고,
    상기 제 1 영상 오버레이부는 주변 영상이 어느 방향을 커버하는지를 나타내는 인디케이터 영상 및 차량 모델의 형상인 영상 모두를, 상기 수신부에 의해 수신된 주변 영상 상에 오버레이하는 것을 특징으로 하는 렌더링 장치.
  11. 제 10 항에 있어서,
    상기 인디케이터 영상은 위에서 본 차량 모델의 형상인 것을 특징으로 하는 렌더링 장치.
  12. 제 10 항에 있어서,
    상기 인디케이터 영상은 운전석 주위의 후방 광경인 것을 특징으로 하는 렌더링 장치.
  13. 차량의 운전자의 운전을 돕기 위한 표시 영상을 발생시키는 렌더링 방법에 있어서,
    차량에 장착된 영상 캡처 장치로부터 차량 주위의 주변 영역을 커버하는 주변 영상을 수신하는 단계, 및
    주변 영상이 어느 방향을 커버하는지를 나타내기 위해 인디케이터 영상을 주변 영상 상에 오버레이함으로써 표시 영상을 발생시키는 단계를 포함하는 것을 특징으로 하는 렌더링 방법.
  14. 차량의 운전자의 운전을 돕기 위한 표시 영상을 발생시키기 위하여 렌더링 프로그램을 그 안에 기록한 기록 매체에 있어서,
    차량에 장착된 영상 캡처 장치로부터 차량 주위의 주변 영역을 커버하는 주변 영상을 수신하는 단계, 및
    주변 영상이 어느 방향을 커버하는지를 나타내기 위해 인디케이터 영상을 주변 영상 상에 오버레이함으로써 표시 영상을 발생시키는 단계를 포함하는 것을 특징으로 하는 렌더링 프로그램.
  15. 차량의 운전자의 운전을 돕기 위한 표시 영상을 발생시키는 렌더링 프로그램에 있어서,
    차량에 장착된 영상 캡처 장치로부터 차량 주위의 주변 영역을 커버하는 주변 영상을 수신하는 단계, 및
    주변 영상이 어느 방향을 커버하는지를 나타내기 위해 인디케이터 영상을 주변 영상 상에 오버레이함으로써 표시 영상을 발생시키는 단계를 포함하는 것을 특징으로 하는 렌더링 프로그램.
KR10-2001-0028342A 2000-05-24 2001-05-23 렌더링 장치 KR100425383B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000152381 2000-05-24
JP152381/2000 2000-05-24

Publications (2)

Publication Number Publication Date
KR20010107676A KR20010107676A (ko) 2001-12-07
KR100425383B1 true KR100425383B1 (ko) 2004-03-30

Family

ID=18657811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0028342A KR100425383B1 (ko) 2000-05-24 2001-05-23 렌더링 장치

Country Status (4)

Country Link
US (2) US7304651B2 (ko)
EP (2) EP1158803A3 (ko)
KR (1) KR100425383B1 (ko)
CN (1) CN100386223C (ko)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1158803A3 (en) * 2000-05-24 2003-12-10 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a display image
US6825779B2 (en) * 2000-06-30 2004-11-30 Matsushita Electric Industrial Co., Ltd. Rendering device
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
DE10140146A1 (de) * 2001-08-16 2003-02-27 Philips Corp Intellectual Pty Anordnung zur Fahrzeugpositionszuordnung von Rädern eines Fahrzeugs
JP3947375B2 (ja) * 2001-08-24 2007-07-18 アイシン精機株式会社 駐車補助装置
US6916584B2 (en) * 2002-08-01 2005-07-12 Molecular Imprints, Inc. Alignment methods for imprint lithography
JP4509119B2 (ja) * 2003-11-13 2010-07-21 本田技研工業株式会社 部分空間の逐次更新を伴う適応型確率的画像追跡
US7219766B2 (en) * 2004-06-29 2007-05-22 Deuer Joseph F Mid-span fall protection system
US20060002590A1 (en) * 2004-06-30 2006-01-05 Borak Jason M Method of collecting information for a geographic database for use with a navigation system
US7460953B2 (en) * 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
US8751156B2 (en) 2004-06-30 2014-06-10 HERE North America LLC Method of operating a navigation system using images
WO2006010129A2 (en) * 2004-07-09 2006-01-26 Honda Motor Co., Ltd. Adaptive discriminative generative model and incremental fisher discriminant analysis and application to visual tracking
DE102005004394B4 (de) * 2005-01-31 2012-09-06 Continental Automotive Gmbh Rückfahrtassistent
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
US7451041B2 (en) * 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
US7623731B2 (en) * 2005-06-20 2009-11-24 Honda Motor Co., Ltd. Direct method for modeling non-rigid motion with thin plate spline transformation
DE112006001864T5 (de) * 2005-07-14 2008-06-05 GM Global Technology Operations, Inc., Detroit System zur Beobachtung der Fahrzeugumgebung aus einer entfernten Perspektive
FR2890614B1 (fr) * 2005-09-14 2008-12-05 Renault Sas Dispositif d'aide a la manoeuvre en marche arriere pour vehicule automobile, en particulier pour le parcage en creneau, et procede correspondant
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
US8535791B2 (en) * 2006-06-30 2013-09-17 The University Of Akron Aligned carbon nanotube-polymer materials, systems and methods
GB2447672B (en) * 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
KR100974704B1 (ko) * 2007-04-30 2010-08-06 현대자동차주식회사 자동차의 주차 안내 방법
US20100324770A1 (en) * 2007-07-03 2010-12-23 J. Edward Ramsey Trailer hitch alignment device and method
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
DE102008034594B4 (de) 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
JP5420216B2 (ja) * 2008-09-16 2014-02-19 本田技研工業株式会社 車両周囲監視装置
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
US8935055B2 (en) * 2009-01-23 2015-01-13 Robert Bosch Gmbh Method and apparatus for vehicle with adaptive lighting system
JP5102795B2 (ja) * 2009-03-13 2012-12-19 パナソニック株式会社 運転支援表示装置
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
DE102010048185B4 (de) * 2010-10-13 2021-10-28 Wirtgen Gmbh Selbstfahrende Baumaschine
US9969428B2 (en) 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9513103B2 (en) 2011-04-19 2016-12-06 Ford Global Technologies, Llc Hitch angle sensor assembly
US10196088B2 (en) 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9506774B2 (en) 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US9683848B2 (en) 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9937953B2 (en) 2011-04-19 2018-04-10 Ford Global Technologies, Llc Trailer backup offset determination
US9500497B2 (en) 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
JP5124671B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
JP5845794B2 (ja) * 2011-10-11 2016-01-20 富士通株式会社 移動軌跡補間装置、移動軌跡補間方法、及びプログラム
EP2581268B2 (en) * 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
US9221469B2 (en) * 2012-02-16 2015-12-29 Toyota Jidosha Kabushiki Kaisha Vehicle height estimation device and vehicle height estimation method
DE102012202916A1 (de) * 2012-02-27 2013-08-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
KR101376211B1 (ko) * 2012-06-01 2014-03-21 현대모비스 주식회사 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법
JP6079131B2 (ja) 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
US9592851B2 (en) 2013-02-04 2017-03-14 Ford Global Technologies, Llc Control modes for a trailer backup assist system
US9511799B2 (en) 2013-02-04 2016-12-06 Ford Global Technologies, Llc Object avoidance for a trailer backup assist system
KR101510336B1 (ko) * 2013-11-14 2015-04-07 현대자동차 주식회사 차량용 운전자 지원 시스템의 검사 장치
KR101510338B1 (ko) * 2013-11-22 2015-04-07 현대자동차 주식회사 차량용 차선 이탈 경보 시스템의 검사 장치
US9963004B2 (en) 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method
US9517668B2 (en) 2014-07-28 2016-12-13 Ford Global Technologies, Llc Hitch angle warning system and method
US10112537B2 (en) 2014-09-03 2018-10-30 Ford Global Technologies, Llc Trailer angle detection target fade warning
US10399495B1 (en) * 2014-09-05 2019-09-03 United Services Automobile Association (Usaa) Systems and methods for indicating proximity conditions for a vehicle
US9522677B2 (en) 2014-12-05 2016-12-20 Ford Global Technologies, Llc Mitigation of input device failure and mode management
US9533683B2 (en) 2014-12-05 2017-01-03 Ford Global Technologies, Llc Sensor failure mitigation system and mode management
US9607242B2 (en) 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
US9522699B2 (en) 2015-02-05 2016-12-20 Ford Global Technologies, Llc Trailer backup assist system with adaptive steering angle limits
US9616923B2 (en) 2015-03-03 2017-04-11 Ford Global Technologies, Llc Topographical integration for trailer backup assist system
US9804022B2 (en) 2015-03-24 2017-10-31 Ford Global Technologies, Llc System and method for hitch angle detection
US9849864B2 (en) 2015-07-31 2017-12-26 Ford Global Technologies, Llc Vehicle parking assist system
CN105128760B (zh) * 2015-08-27 2018-10-16 惠州华阳通用电子有限公司 倒车轨迹描绘方法及装置
US9896130B2 (en) 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
US9981656B2 (en) 2015-10-13 2018-05-29 Ford Global Technologies, Llc Vehicle parking assist system
US10384607B2 (en) 2015-10-19 2019-08-20 Ford Global Technologies, Llc Trailer backup assist system with hitch angle offset estimation
US10611407B2 (en) 2015-10-19 2020-04-07 Ford Global Technologies, Llc Speed control for motor vehicles
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10328933B2 (en) 2015-10-29 2019-06-25 Ford Global Technologies, Llc Cognitive reverse speed limiting
CN106683037A (zh) * 2015-11-06 2017-05-17 阿里巴巴集团控股有限公司 三维可视化移动轨迹数据的方法和设备
US10017115B2 (en) 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
US9798953B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Template matching solution for locating trailer hitch point
US10155478B2 (en) 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
US9934572B2 (en) 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
US9610975B1 (en) 2015-12-17 2017-04-04 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9827818B2 (en) 2015-12-17 2017-11-28 Ford Global Technologies, Llc Multi-stage solution for trailer hitch angle initialization
US10005492B2 (en) 2016-02-18 2018-06-26 Ford Global Technologies, Llc Trailer length and hitch angle bias estimation
US10112646B2 (en) 2016-05-05 2018-10-30 Ford Global Technologies, Llc Turn recovery human machine interface for trailer backup assist
JP6555195B2 (ja) * 2016-06-13 2019-08-07 株式会社デンソー 画像生成装置
US10106193B2 (en) 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization
US10046800B2 (en) 2016-08-10 2018-08-14 Ford Global Technologies, Llc Trailer wheel targetless trailer angle detection
US10222804B2 (en) 2016-10-21 2019-03-05 Ford Global Technologies, Llc Inertial reference for TBA speed limiting
US10684625B2 (en) * 2017-08-30 2020-06-16 Robert Bosch Gmbh Automated parking for virtual parking spot
US10710585B2 (en) 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
US10744941B2 (en) 2017-10-12 2020-08-18 Magna Electronics Inc. Vehicle vision system with bird's eye view display
US11164287B2 (en) * 2018-09-10 2021-11-02 Lumileds Llc Large LED array with reduced data management
US11077795B2 (en) 2018-11-26 2021-08-03 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
US10829046B2 (en) 2019-03-06 2020-11-10 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
CN113574581B (zh) * 2019-03-28 2023-02-24 本田技研工业株式会社 跨骑型车辆
CN113525232A (zh) * 2020-04-16 2021-10-22 上海途擎微电子有限公司 车辆倒车辅助线的形成显示方法、车辆、设备及存储介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6414700A (en) 1987-07-08 1989-01-18 Aisin Aw Co Device for displaying prospective track of vehicle
US5163095A (en) * 1988-04-22 1992-11-10 Toa Medical Electronics Co., Ltd. Processor for extracting and memorizing cell images, and method of practicing same
US5065447A (en) * 1989-07-05 1991-11-12 Iterated Systems, Inc. Method and apparatus for processing digital data
JP2901112B2 (ja) * 1991-09-19 1999-06-07 矢崎総業株式会社 車両周辺監視装置
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP2799375B2 (ja) * 1993-09-30 1998-09-17 本田技研工業株式会社 衝突防止装置
JPH07248821A (ja) 1994-03-10 1995-09-26 Fujitsu Ltd ライン追跡装置
JPH0850899A (ja) 1994-05-30 1996-02-20 Sanyo Electric Co Ltd 固体電解質燃料電池用セル
JP3395393B2 (ja) 1994-08-05 2003-04-14 日産自動車株式会社 車両周囲表示装置
JP3475507B2 (ja) * 1994-08-08 2003-12-08 日産自動車株式会社 車両用周囲モニタ装置
JPH0935196A (ja) 1995-07-17 1997-02-07 Mitsubishi Electric Corp 車両用周辺監視装置及び車両用周辺監視方法
US6507025B1 (en) * 1995-10-23 2003-01-14 Science Applications International Corporation Density detection using real time discrete photon counting for fast moving targets
US5742141A (en) * 1996-06-04 1998-04-21 Ford Motor Company Semi-autonomous parking control system for a vehicle providing tactile feedback to a vehicle operator
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
JP3711705B2 (ja) * 1996-10-15 2005-11-02 いすゞ自動車株式会社 車両後方視界支援装置
US5995903A (en) * 1996-11-12 1999-11-30 Smith; Eric L. Method and system for assisting navigation using rendered terrain imagery
JPH10257482A (ja) 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP3284917B2 (ja) 1997-03-17 2002-05-27 三菱自動車工業株式会社 車両用周辺視認装置
US6049171A (en) * 1998-09-18 2000-04-11 Gentex Corporation Continuously variable headlamp control
JPH1155656A (ja) 1997-08-06 1999-02-26 Matsushita Electric Ind Co Ltd 車両側方監視装置
JPH1178692A (ja) * 1997-09-03 1999-03-23 Nissan Motor Co Ltd 車両用映像提示装置
JP3528548B2 (ja) * 1997-11-18 2004-05-17 トヨタ自動車株式会社 車両用動画像処理方法および車両用動画像処理装置
JP2986439B2 (ja) 1998-01-12 1999-12-06 松下電器産業株式会社 車両用画像処理装置
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
JP2000067395A (ja) 1998-08-26 2000-03-03 Nissan Motor Co Ltd 駐車誘導装置
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
US6421081B1 (en) * 1999-01-07 2002-07-16 Bernard Markus Real time video rear and side viewing device for vehicles void of rear and quarter windows
US6184781B1 (en) * 1999-02-02 2001-02-06 Intel Corporation Rear looking vision system
DE60009976T2 (de) * 1999-03-01 2004-09-02 Yazaki Corp. Rück- und Seitenblickmonitor mit Kamera für Fahrzeug
JP4287532B2 (ja) * 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
US6463363B1 (en) * 1999-03-19 2002-10-08 Yazaki Corporation Back monitoring apparatus for vehicle
DE60009000T2 (de) * 1999-10-21 2005-03-10 Matsushita Electric Industrial Co., Ltd., Kadoma System zur Einparkhilfe
US6515597B1 (en) * 2000-01-31 2003-02-04 Matsushita Electric Industrial Co. Ltd. Vicinity display for car
EP1158803A3 (en) * 2000-05-24 2003-12-10 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a display image
EP1167120B1 (en) * 2000-06-30 2014-08-27 Panasonic Corporation Rendering device for parking aid
US6369701B1 (en) * 2000-06-30 2002-04-09 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a drive assistant image for drive assistance
US6424273B1 (en) * 2001-03-30 2002-07-23 Koninklijke Philips Electronics N.V. System to aid a driver to determine whether to change lanes

Also Published As

Publication number Publication date
EP1158803A3 (en) 2003-12-10
US6539288B2 (en) 2003-03-25
CN100386223C (zh) 2008-05-07
US20010048446A1 (en) 2001-12-06
US20020002427A1 (en) 2002-01-03
US7304651B2 (en) 2007-12-04
EP1158804A2 (en) 2001-11-28
CN1324739A (zh) 2001-12-05
EP1158804A3 (en) 2003-12-17
KR20010107676A (ko) 2001-12-07
EP1158803A2 (en) 2001-11-28

Similar Documents

Publication Publication Date Title
KR100425383B1 (ko) 렌더링 장치
EP1876813B1 (en) Vehicle comprising an image display system and image display method
US8330816B2 (en) Image processing device
US8279279B2 (en) Image processing apparatus
JP4595976B2 (ja) 映像処理装置及びカメラ
EP2424221B1 (en) Imaging device, imaging system, and imaging method
WO2011036892A1 (ja) 運転支援表示装置
JP3807331B2 (ja) カメラの汚れ検出装置およびカメラの汚れ検出方法
JPH11338074A (ja) 車両用周囲モニタ装置
JP6981433B2 (ja) 運転支援装置
JP3626613B2 (ja) 障害物検出表示装置
JP3575691B2 (ja) 描画装置
JP4651745B2 (ja) 映像処理装置
JP2000280822A (ja) 車両用バックモニタ装置
JP2017212633A (ja) 撮像装置、撮像表示方法および撮像表示プログラム
JPH1047978A (ja) 車両用前方モニタ装置
CN111186375B (zh) 车辆用电子镜系统
JPH0963000A (ja) 車両搭載用映像装置
JP2004192345A (ja) 運転者状態検出装置
JP3574299B2 (ja) 車両用監視装置
JPH04254229A (ja) 車両用前側方監視装置
WO2023002776A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
US20240137647A1 (en) Image processing apparatus, image processing system, image processing method, and image processing program
JP3460481B2 (ja) 映像観察装置
JP3370693B2 (ja) ビデオカメラ

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090311

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee